CN109063567B - 人体识别方法、装置及存储介质 - Google Patents

人体识别方法、装置及存储介质 Download PDF

Info

Publication number
CN109063567B
CN109063567B CN201810719692.3A CN201810719692A CN109063567B CN 109063567 B CN109063567 B CN 109063567B CN 201810719692 A CN201810719692 A CN 201810719692A CN 109063567 B CN109063567 B CN 109063567B
Authority
CN
China
Prior art keywords
target person
cameras
camera
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810719692.3A
Other languages
English (en)
Other versions
CN109063567A (zh
Inventor
王健
李旭斌
亢乐
刘泽宇
迟至真
张成月
刘霄
孙昊
文石磊
包英泽
陈明裕
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810719692.3A priority Critical patent/CN109063567B/zh
Publication of CN109063567A publication Critical patent/CN109063567A/zh
Priority to KR1020207013408A priority patent/KR102377295B1/ko
Priority to EP19830531.0A priority patent/EP3819815A4/en
Priority to PCT/CN2019/089969 priority patent/WO2020007156A1/zh
Priority to JP2020526101A priority patent/JP7055867B2/ja
Priority to US16/934,174 priority patent/US11354923B2/en
Application granted granted Critical
Publication of CN109063567B publication Critical patent/CN109063567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Quality & Reliability (AREA)

Abstract

本发明提供一种人体识别方法、装置及存储介质，该方法包括：根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；根据摄像头的反投影误差确定所述摄像头是否存在人体识别错误；当存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。本发明可以在人体重识别技术中引入人体的三维空间坐标来对图像的识别结果进行预判处理，并对存在识别错误的图像进行重识别，从而有效提高人体识别结果的准确率。

Description

人体识别方法、装置及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种人体识别方法、装置及存储介质。
背景技术
随着监控技术的发展，摄像头的部署数量逐步增多，使得在封闭场景下对人体的实时跟踪和识别成为了可能。
目前，多视角条件下的多人跟踪和识别主要依赖于二维图像信息，通过人体在二维图像中的语义特征来对人体进行跨摄像头的识别和关联。
但是，人体在多个摄像头下呈现的姿态差异可能非常大，从而导致二维图像中的人体视觉特征存在较大的偏差。这也使得通过二维图像提供的信息来进行跨摄像头识别，其准确率低，容易出现人体识别错误。
发明内容
本发明提供一种车辆的行程预估处理方法、装置及存储介质，可以在人体重识别技术中引入人体的三维空间坐标来对图像的识别结果进行预判处理，并对存在识别错误的图像进行重识别，从而有效提高人体识别结果的准确率。
第一方面，本发明提供一种人体识别方法，包括：
根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；
根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；
针对每个摄像头，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误；
当存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。
在一种可能的设计中，在根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标之前，还包括：
采用行人重识别技术ReID对场景中多个摄像头所采集的图像进行人体识别，得到目标人物在多个摄像头下的对应关系；
根据目标人物在多个摄像头下的对应关系，筛选出至少2个摄像头采集的包含目标人物的图像。
在一种可能的设计中，所述根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标，包括：
选取任意两个摄像头在同一时刻采集的包含目标人物的图像；
分别获取两个摄像头采集的包含目标人物的图像中目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵；其中，所述摄像头矩阵是根据已知的摄像头参数获取到的；
根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标。
在一种可能的设计中，根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标，包括：
假设X1和X2分别是两个摄像头下所述目标人物在图像内的坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与所述目标人物的在三维空间中的坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
在一种可能的设计中，根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差，包括：
令Ui＝Pi*W；
其中，Ui为W在第i个摄像头下的反投影坐标，Pi为第i个摄像头的摄像头矩阵；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数；
令ei＝Ui-Xi；
其中，ei为第i个摄像头下的反投影误差，Xi为所述目标人物在第i个摄像头对应图像内的坐标；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数。
在一种可能的设计中，根据摄像头的反投影误差确定所述摄像头是否存在人体识别错误，包括：
若所述摄像头的反投影误差大于预设阈值，则确定所述摄像头存在人体识别错误。
在一种可能的设计中，在采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值之后，还包括：
获取所述目标人物在不同摄像头对应图像内的坐标，以及图像标签；
将所述坐标和图像标签发送给监控平台。
第二方面，本发明实施例提供一种人体识别装置，包括：
确定模块，用于根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；
计算模块，用于根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；
判别模块，用于针对每个摄像头，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误；
识别模块，用于在存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。
在一种可能的设计中，还包括：
预识别模块，用于在根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标之前，采用行人重识别技术ReID对场景中多个摄像头所采集的图像进行人体识别，得到目标人物在多个摄像头下的对应关系；
根据目标人物在多个摄像头下的对应关系，筛选出至少2个摄像头采集的包含目标人物的图像。
在一种可能的设计中，所述确定模块，具体用于：
选取任意两个摄像头在同一时刻采集的包含目标人物的图像；
分别获取两个摄像头采集的包含目标人物的图像中目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵；其中，所述摄像头矩阵是根据已知的摄像头参数获取到的；
根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标。
在一种可能的设计中，根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标，包括：
假设X1和X2分别是两个摄像头下所述目标人物在图像内的坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与所述目标人物的在三维空间中的坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
在一种可能的设计中，根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差，包括：
令Ui＝Pi*W；
其中，Ui为W在第i个摄像头下的反投影坐标，Pi为第i个摄像头的摄像头矩阵；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数；
令ei＝Ui-Xi；
其中，ei为第i个摄像头下的反投影误差，Xi为所述目标人物在第i个摄像头对应图像内的坐标；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数。
在一种可能的设计中，所述判别模块，具体用于：
若所述摄像头的反投影误差大于预设阈值，则确定所述摄像头存在人体识别错误。
在一种可能的设计中，还包括：
发送模块，用于在采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值之后，获取所述目标人物在不同摄像头对应图像内的坐标，以及图像标签；
将所述坐标和图像标签发送给监控平台。
第三方面，本发明实施例提供一种服务器，包括：处理器和存储器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的人体识别方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的人体识别方法。
本发明提供的一种人体识别方法、装置及存储介质，通过根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；根据摄像头的反投影误差确定所述摄像头是否存在人体识别错误；当存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。本发明可以在人体重识别技术中引入人体的三维空间坐标来对图像的识别结果进行预判处理，并对存在识别错误的图像进行重识别，从而有效提高人体识别结果的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的结构示意图；
图2为本发明实施例一提供的人体识别方法的流程图；
图3为本发明实施例二提供的人体识别装置的结构示意图；
图4为本发明实施例三提供的人体识别装置的结构示意图；
图5为本发明实施例四提供的服务器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解：
1)行人重识别技术(Person re-identification，简称ReID)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补目前固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
在一场景中预先布置了多个摄像头，多个摄像头可以从不同的视角观测场景内人体的活动。具体地，图1为本发明一应用场景的结构示意图，如图1所示，场景内的所有摄像头构成摄像头组10，摄像头组10中不同摄像头11将采集到的目标人物的图像发送给服务器20，服务器20根据至少2个摄像头采集的包含目标人物的图像，来确定目标人物在三维空间中的坐标。本实施例中三维空间指的是场景内的空间。服务器20根据目标人物在三维空间中的坐标分别计算目标人物在不同摄像头11下的反投影误差；根据摄像头11的反投影误差来确定摄像头11是否存在人体识别错误；当存在人体识别错误时，采用行人重识别技术ReID重新对摄像头11下的目标人物进行重新识别处理，直到所有包含目标人物的摄像头11的反投影误差不大于预设阈值。服务器20将最终识别到的目标人物在不同摄像头对应图像内的坐标，以及图像标签发送给监控平台30。本实施例可以在人体重识别技术中引入人体的三维空间坐标来对图像的识别结果进行预判处理，并对存在识别错误的图像进行重识别，从而有效提高人体识别结果的准确率。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例一提供的人体识别方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标。
在一种可选的实施方式中，可以选取任意两个摄像头在同一时刻采集的包含目标人物的图像；分别获取两个摄像头采集的包含目标人物的图像中目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵；其中，所述摄像头矩阵是根据已知的摄像头参数获取到的；根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标。
本实施例中，在场景内预先布置了多个摄像头，每个摄像头的观测视角不同，通过这些摄像头可以对场景内的人体活动进行跟踪和识别。在一种可选的实施方式中，可以采用行人重识别技术ReID对场景中多个摄像头所采集的图像进行人体识别，得到目标人物在多个摄像头下的对应关系；根据目标人物在多个摄像头下的对应关系，筛选出至少2个摄像头采集的包含目标人物的图像。
具体地，假设X1和X2分别是两个摄像头下所述目标人物在图像内的坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与所述目标人物的在三维空间中的坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
S102、根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差。
本实施例中，可以根据三维空间中的坐标以及摄像头的摄像头矩阵来计算三维空间中的坐标在摄像头采集的图像中的反投影坐标，将该反投影坐标与摄像头采集的图像中对应的坐标(按照现有的二维图像坐标算法得到)作差值运算，得到对应的反投影误差。
在一种可选的实施方式中，假设已经得到目标人物的在三维空间中的坐标W，令Ui＝Pi*W；
其中，Ui为W在第i个摄像头下的反投影坐标，Pi为第i个摄像头的摄像头矩阵；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数；
令ei＝Ui-Xi；
其中，ei为第i个摄像头下的反投影误差，Xi为所述目标人物在第i个摄像头对应图像内的坐标；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数。
S103、针对每个摄像头，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误。
本实施例中，可以通过反投影误差的大小来确定摄像头对应图像是否存在人体识别错误。可选地，若某一摄像头的反投影误差大于预设阈值，则确定所述摄像头存在人体识别错误。若某一摄像头的反投影误差不大于预设阈值，则确定所述摄像头的人体识别结果正确。
S104、当存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。
本实施例中，可以通过现有的行人重识别技术ReID对存在人体识别错误的摄像头下的目标人物进行重新识别处理，从而有效地排除识别错误的结果，提高人体识别的准确率。
在一种可选的实施方式中，在采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值之后，再最后获取所述目标人物在不同摄像头对应图像内的坐标，以及图像标签；将所述坐标和图像标签发送给监控平台。
本实施例，通过根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；根据摄像头的反投影误差确定所述摄像头是否存在人体识别错误；当存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。本发明可以在人体重识别技术中引入人体的三维空间坐标来对图像的识别结果进行预判处理，并对存在识别错误的图像进行重识别，从而有效提高人体识别结果的准确率。
图3为本发明实施例二提供的人体识别装置的结构示意图，如图3所示，本实施例的人体识别装置可以包括：
确定模块41，用于根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；
计算模块42，用于根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；
判别模块43，用于针对每个摄像头，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误；
识别模块44，用于在存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。
在一种可能的设计中，所述确定模块41，具体用于：
选取任意两个摄像头在同一时刻采集的包含目标人物的图像；
分别获取两个摄像头采集的包含目标人物的图像中目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵；其中，所述摄像头矩阵是根据已知的摄像头参数获取到的；
根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标。
在一种可能的设计中，根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标，包括：
假设X1和X2分别是两个摄像头下所述目标人物在图像内的坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与所述目标人物的在三维空间中的坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
在一种可能的设计中，根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差，包括：
令Ui＝Pi*W；
其中，Ui为W在第i个摄像头下的反投影坐标，Pi为第i个摄像头的摄像头矩阵；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数；
令ei＝Ui-Xi；
其中，ei为第i个摄像头下的反投影误差，Xi为所述目标人物在第i个摄像头对应图像内的坐标；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数。
在一种可能的设计中，所述判别模块43，具体用于：
若所述摄像头的反投影误差大于预设阈值，则确定所述摄像头存在人体识别错误。
本实施例的车辆的行程预估处理装置，可以执行上述任一方法实施例的方法中的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4为本发明实施例三提供的人体识别装置的结构示意图，如图4所示，在图3所示装置的基础上，本实施例的人体识别装置还可以包括：
预识别模块45，用于在根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标之前，采用行人重识别技术ReID对场景中多个摄像头所采集的图像进行人体识别，得到目标人物在多个摄像头下的对应关系；
根据目标人物在多个摄像头下的对应关系，筛选出至少2个摄像头采集的包含目标人物的图像。
在一种可能的设计中，还包括：
发送模块46，用于在采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值之后，获取所述目标人物在不同摄像头对应图像内的坐标，以及图像标签；
将所述坐标和图像标签发送给监控平台。
本实施例的车辆的行程预估处理装置，可以执行上述任一方法实施例的方法中的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例四提供的服务器，如图5所示，本实施例中的服务器50包括：处理器51和存储器52。
存储器52，用于存储计算机程序(如实现上述人体识别方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器52中。并且上述的计算机程序、计算机指令、数据等可以被处理器51调用。
处理器51，用于执行所述存储器52存储的所述计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。其中，存储器52、处理器51可以通过总线53耦合连接。
本实施例的服务器，可以执行上述任一方法实施例的方法中的技术方案，其实现原理和技术效果类似，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种人体识别方法，其特征在于，包括：
根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；
根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；
针对每个摄像头，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误；
当存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。
2.根据权利要求1所述的方法，其特征在于，在根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标之前，还包括：
采用行人重识别技术ReID对场景中多个摄像头所采集的图像进行人体识别，得到目标人物在多个摄像头下的对应关系；
根据目标人物在多个摄像头下的对应关系，筛选出至少2个摄像头采集的包含目标人物的图像。
3.根据权利要求1所述的方法，其特征在于，所述根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标，包括：
选取任意两个摄像头在同一时刻采集的包含目标人物的图像；
分别获取两个摄像头采集的包含目标人物的图像中目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵；其中，所述摄像头矩阵是根据已知的摄像头参数获取到的；
根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标。
4.根据权利要求3所述的方法，其特征在于，根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标，包括：
假设X1和X2分别是两个摄像头下所述目标人物在图像内的坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与所述目标人物的在三维空间中的坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
5.根据权利要求4所述的方法，其特征在于，根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差，包括：
令Ui＝Pi*W；
其中，Ui为W在第i个摄像头下的反投影坐标，Pi为第i个摄像头的摄像头矩阵；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数；
令ei＝Ui-Xi；
其中，ei为第i个摄像头下的反投影误差，Xi为所述目标人物在第i个摄像头对应图像内的坐标；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数。
6.根据权利要求1所述的方法，其特征在于，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误，包括：
若所述摄像头的反投影误差大于预设阈值，则确定所述摄像头存在人体识别错误。
7.根据权利要求1-6中任一项所述的方法，其特征在于，在采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值之后，还包括：
获取所述目标人物在不同摄像头对应图像内的坐标，以及图像标签；
将所述坐标和图像标签发送给监控平台。
8.一种人体识别装置，其特征在于，包括：
确定模块，用于根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标；
计算模块，用于根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差；
判别模块，用于针对每个摄像头，根据所述摄像头的反投影误差确定所述摄像头是否存在人体识别错误；
识别模块，用于在存在人体识别错误时，采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值。
9.根据权利要求8所述的装置，其特征在于，还包括：
预识别模块，用于在根据至少2个摄像头采集的包含目标人物的图像，确定目标人物在三维空间中的坐标之前，采用行人重识别技术ReID对场景中多个摄像头所采集的图像进行人体识别，得到目标人物在多个摄像头下的对应关系；
根据目标人物在多个摄像头下的对应关系，筛选出至少2个摄像头采集的包含目标人物的图像。
10.根据权利要求8所述的装置，其特征在于，所述确定模块，具体用于：
选取任意两个摄像头在同一时刻采集的包含目标人物的图像；
分别获取两个摄像头采集的包含目标人物的图像中目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵；其中，所述摄像头矩阵是根据已知的摄像头参数获取到的；
根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标。
11.根据权利要求10所述的装置，其特征在于，根据所述目标人物在图像内的坐标，以及两个摄像头的摄像头矩阵，得到目标人物的在三维空间中的坐标，包括：
假设X1和X2分别是两个摄像头下所述目标人物在图像内的坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与所述目标人物的在三维空间中的坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
12.根据权利要求11所述的装置，其特征在于，根据所述目标人物在三维空间中的坐标分别计算所述目标人物在不同摄像头下的反投影误差，包括：
令Ui＝Pi*W；
其中，Ui为W在第i个摄像头下的反投影坐标，Pi为第i个摄像头的摄像头矩阵；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数；
令ei＝Ui-Xi；
其中，ei为第i个摄像头下的反投影误差，Xi为所述目标人物在第i个摄像头对应图像内的坐标；i＝1,2,3…N；N为包含目标人物的图像的摄像头总数。
13.根据权利要求8所述的装置，其特征在于，所述判别模块，具体用于：
若所述摄像头的反投影误差大于预设阈值，则确定所述摄像头存在人体识别错误。
14.根据权利要求8-13中任一项所述的装置，其特征在于，还包括：
发送模块，用于在采用行人重识别技术ReID重新对所述摄像头下的目标人物进行重新识别处理，直到所有包含所述目标人物的摄像头的反投影误差不大于预设阈值之后，获取所述目标人物在不同摄像头对应图像内的坐标，以及图像标签；
将所述坐标和图像标签发送给监控平台。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的人体识别方法。
CN201810719692.3A 2018-07-03 2018-07-03 人体识别方法、装置及存储介质 Active CN109063567B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810719692.3A CN109063567B (zh) 2018-07-03 2018-07-03 人体识别方法、装置及存储介质
KR1020207013408A KR102377295B1 (ko) 2018-07-03 2019-06-04 인체 식별 방법, 장치 및 저장 매체
EP19830531.0A EP3819815A4 (en) 2018-07-03 2019-06-04 METHOD AND DEVICE FOR RECOGNIZING A HUMAN BODY AND STORAGE MEDIA
PCT/CN2019/089969 WO2020007156A1 (zh) 2018-07-03 2019-06-04 人体识别方法、装置及存储介质
JP2020526101A JP7055867B2 (ja) 2018-07-03 2019-06-04 人体認識方法、機器及び記憶媒体
US16/934,174 US11354923B2 (en) 2018-07-03 2020-07-21 Human body recognition method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810719692.3A CN109063567B (zh) 2018-07-03 2018-07-03 人体识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109063567A CN109063567A (zh) 2018-12-21
CN109063567B true CN109063567B (zh) 2021-04-13

Family

ID=64818440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810719692.3A Active CN109063567B (zh) 2018-07-03 2018-07-03 人体识别方法、装置及存储介质

Country Status (6)

Country Link
US (1) US11354923B2 (zh)
EP (1) EP3819815A4 (zh)
JP (1) JP7055867B2 (zh)
KR (1) KR102377295B1 (zh)
CN (1) CN109063567B (zh)
WO (1) WO2020007156A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018105063A1 (de) 2018-03-06 2019-09-12 Ebm-Papst Mulfingen Gmbh & Co. Kg Vorrichtung und Verfahren zur Luftmengenerfassung
CN109063567B (zh) * 2018-07-03 2021-04-13 百度在线网络技术（北京）有限公司 人体识别方法、装置及存储介质
CN110443228B (zh) * 2019-08-20 2022-03-04 图谱未来(南京)人工智能研究院有限公司 一种行人匹配方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222348A (zh) * 2011-06-28 2011-10-19 南京大学 一种三维目标运动矢量计算方法
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法
CN104408436A (zh) * 2014-12-08 2015-03-11 上海宇航系统工程研究所 一种基于反投影的合作目标识别方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3871582B2 (ja) * 2002-03-01 2007-01-24 日本電信電話株式会社 物体形状復元・移動物体検出方法、物体形状復元・移動物体検出装置、物体形状復元・移動物体検出プログラム、およびこのプログラムを記録した記録媒体
US7616807B2 (en) * 2005-02-24 2009-11-10 Siemens Corporate Research, Inc. System and method for using texture landmarks for improved markerless tracking in augmented reality applications
US8948461B1 (en) * 2005-04-29 2015-02-03 Hewlett-Packard Development Company, L.P. Method and system for estimating the three dimensional position of an object in a three dimensional physical space
US10621738B2 (en) * 2011-03-16 2020-04-14 Siemens Healthcare Gmbh 2D/3D registration for abdominal aortic aneurysm intervention
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
CN105247573B (zh) * 2013-06-11 2018-11-30 高通股份有限公司 用于捕获适合于对象检测的三维对象的紧凑表示的方法和装置
WO2015151098A2 (en) * 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
JP2016139949A (ja) * 2015-01-28 2016-08-04 富士通株式会社 動線判断装置、動線判断方法、及び動線判断プログラム
JP2017017441A (ja) * 2015-06-29 2017-01-19 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US9911198B2 (en) * 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
JP6558803B2 (ja) * 2016-03-23 2019-08-14 Kddi株式会社 幾何検証装置及びプログラム
CN106203400A (zh) * 2016-07-29 2016-12-07 广州国信达计算机网络通讯有限公司 一种人脸识别方法及装置
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US11017531B2 (en) * 2017-03-09 2021-05-25 Cathworks Ltd Shell-constrained localization of vasculature
US10417833B2 (en) * 2017-11-06 2019-09-17 Adobe Inc. Automatic 3D camera alignment and object arrangment to match a 2D background image
TWI708210B (zh) * 2017-12-25 2020-10-21 宏達國際電子股份有限公司 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
CN109063567B (zh) * 2018-07-03 2021-04-13 百度在线网络技术（北京）有限公司 人体识别方法、装置及存储介质
CN108921874B (zh) * 2018-07-04 2020-12-29 百度在线网络技术（北京）有限公司 人体跟踪处理方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222348A (zh) * 2011-06-28 2011-10-19 南京大学 一种三维目标运动矢量计算方法
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法
CN104408436A (zh) * 2014-12-08 2015-03-11 上海宇航系统工程研究所 一种基于反投影的合作目标识别方法及系统

Also Published As

Publication number Publication date
US20200349349A1 (en) 2020-11-05
CN109063567A (zh) 2018-12-21
US11354923B2 (en) 2022-06-07
JP7055867B2 (ja) 2022-04-18
EP3819815A4 (en) 2022-05-04
KR102377295B1 (ko) 2022-03-22
WO2020007156A1 (zh) 2020-01-09
KR20200068709A (ko) 2020-06-15
EP3819815A1 (en) 2021-05-12
JP2021502646A (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
CN108845574B (zh) 目标识别与追踪方法、装置、设备及介质
US11093789B2 (en) Method and apparatus for object re-identification
CN111696132B (zh) 目标跟踪方法、装置、计算机可读存储介质及机器人
CN109063567B (zh) 人体识别方法、装置及存储介质
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN111445531B (zh) 一种多目相机导航方法、装置、设备及存储介质
CN111512317A (zh) 一种多目标实时跟踪方法、装置及电子设备
CN109840503B (zh) 一种确定种类信息的方法及装置
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
EP3404513A1 (en) Information processing apparatus, method, and program
US20190043168A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN109685830A (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN108109164B (zh) 一种信息处理方法及电子设备
CN114742112A (zh) 一种对象关联方法、装置及电子设备
CN109948515B (zh) 物体的类别识别方法和装置
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
CN110728249A (zh) 目标行人的跨摄像机识别方法、装置及系统
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN115410121A (zh) 基于视频的密接人员自动判断方法、电子设备及存储介质
CN111524161A (zh) 提取轨迹的方法和装置
CN114511591B (zh) 轨迹跟踪方法、装置、电子设备及存储介质
EP4386670A1 (en) Planar object tracking method and system, and training method
CN116503695B (zh) 目标检测模型的训练方法、目标检测方法及设备
CN111460977B (zh) 一种跨视域人员再识别方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant