CN108921874B - 人体跟踪处理方法、装置及系统 - Google Patents

人体跟踪处理方法、装置及系统 Download PDF

Info

Publication number
CN108921874B
CN108921874B CN201810726681.8A CN201810726681A CN108921874B CN 108921874 B CN108921874 B CN 108921874B CN 201810726681 A CN201810726681 A CN 201810726681A CN 108921874 B CN108921874 B CN 108921874B
Authority
CN
China
Prior art keywords
human body
cloud server
body detection
detection tracking
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810726681.8A
Other languages
English (en)
Other versions
CN108921874A (zh
Inventor
刘泽宇
亢乐
张成月
迟至真
王健
李旭斌
刘霄
孙昊
文石磊
丁二锐
章宏武
陈明裕
包英泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810726681.8A priority Critical patent/CN108921874B/zh
Publication of CN108921874A publication Critical patent/CN108921874A/zh
Priority to US16/459,868 priority patent/US11263445B2/en
Priority to EP19183929.9A priority patent/EP3531342B1/en
Application granted granted Critical
Publication of CN108921874B publication Critical patent/CN108921874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供的人体跟踪处理方法、装置及系统，系统中视频采集处理装置内置智能芯片，在智能芯片向云端服务器上传视频数据之前，智能芯片对视频数据进行预处理，保留关键图像帧，并采用人体检测跟踪算法对关键图像帧进行人体检测和跟踪处理，得到第一人体检测跟踪结果，将第一人体检测跟踪结果发送给云端服务器，以使云端服务器对第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。通过智能芯片的预处理过程，降低了人体跟踪系统对网络带宽的要求，减轻了对云端服务器资源的依赖，提高了系统整体的处理速度；通过云端服务器三维重建算法辅助人体重识别算法判定目标人体，提高了人体识别算法的准确率。

Description

人体跟踪处理方法、装置及系统
技术领域
本发明涉及人体跟踪技术领域，尤其涉及一种人体跟踪处理方法、装置及系统。
背景技术
人体跟踪技术是指对视频中的人体进行实时跟踪，得到各时刻人体位置的一种技术。人体跟踪是计算机视觉领域的一个经典研究方向，被应用于视频监控、行为分析等众多场景中。
在当前视频监控场景中，人体跟踪系统包括多摄像头和云端服务器，云端服务器分别对单个摄像头中目标人体进行跟踪，利用滤波、卷积神经网络等方法；通过人体检测对跟踪过程中跟踪失败的目标进行重新检测，并对每一帧图像的跟踪目标进行修正；通过人体重识别，对多个摄像头中的目标人体进行身份识别、验证，实现多摄像头人体跟踪。
目前市面上存在的大部分人体跟踪系统，没有考虑到多摄像头之间的位置关系，在进行多摄像头内容融合过程中，容易产生较大误差，导致目标人体身份识别错误、定位偏差等问题。同时，由于普通的监控摄像头不具有计算能力，所有摄像头拍摄到的视频数据都需要上传到云端服务器进行处理，这就对网络带宽、服务器资源等有较高要求，而且不利于快速扩展，如增加监控摄像头个数、支持更大场景等。
发明内容
本发明提供的人体跟踪处理方法、装置及系统，降低了人体跟踪系统对网络带宽的要求，减轻了对云端服务器资源的依赖，提高了系统整体的处理速度。
本发明第一方面提供一种人体跟踪处理方法，所述方法应用于视频采集处理装置，所述视频采集处理装置包括摄像头和智能芯片；
所述方法，包括：
所述摄像头采集视频数据；
所述智能芯片对所述摄像头所采集的视频数据进行人体检测跟踪算法处理，得到第一人体检测跟踪结果；
所述智能芯片将所述第一人体检测跟踪结果发送给云端服务器，以使所述云端服务器对所述第一人体检测跟踪结果进行处理得到第二人体检测跟踪结果。
可选的，所述智能芯片对所述摄像头所采集的视频数据进行人体检测跟踪算法处理，得到第一人体检测跟踪结果，包括：
所述智能芯片对所述摄像头所采集的视频数据进行截取，获得待处理的视频图像帧；
从所述待处理的视频图像帧中提取包含人体的关键图像帧；
采用人体检测跟踪算法对所述关键图像帧进行处理，得到第一人体检测跟踪结果。
可选的，所述采用人体检测跟踪算法对所述关键图像帧进行处理，得到第一人体检测跟踪结果，包括：
采用人体检测跟踪算法对所述关键图像帧进行处理，得到人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识；
相应的，所述智能芯片将所述第一人体检测跟踪结果发送给云端服务器，以使所述云端服务器对所述第一人体检测跟踪结果进行处理得到第二人体检测跟踪结果，包括：
所述智能芯片将所述人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识发送给云端服务器，以使所述云端服务器根据至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。
本发明第二方面提供一种人体跟踪处理方法，包括：
云端服务器接收至少两个视频采集处理装置中的智能芯片分别发送的第一人体检测跟踪结果，所述第一人体检测跟踪结果为智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的；
所述云端服务器对所述第一人体检测跟踪结果进行处理，得到第二人体检测跟踪结果。
可选的，所述第一人体检测跟踪结果包括人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识；
相应的，所述云端服务器对所述第一人体检测跟踪结果进行处理，得到第二人体检测跟踪结果，包括：
采用人体重识别算法对所述第一人体检测跟踪结果中的所述人体前景图像进行重识别，重新确定所述人体的人体标识；和/或
采用三维重建算法对所述至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果中相同人体标识对应的所述人体在所述关键图像帧中的二维位置进行三维重建，判断是否存在人体识别错误，若存在，则进行人体重识别。
本发明第三方面提供一种视频采集处理装置，包括：
彼此通信连接的摄像头和智能芯片；
所述摄像头，用于采集视频数据；
所述智能芯片，用于对所述摄像头所采集的视频数据进行人体检测跟踪算法处理，得到第一人体检测跟踪结果；将所述第一人体检测跟踪结果发送给云端服务器，以使所述云端服务器对所述第一人体检测跟踪结果进行处理得到第二人体检测跟踪结果。
可选的，所述智能芯片，具体用于对所述摄像头所采集的视频数据进行截取，获得待处理的视频图像帧；
从所述待处理的视频图像帧中提取包含人体的关键图像帧；
采用人体检测跟踪算法对所述关键图像帧进行处理，得到第一人体检测跟踪结果。
可选的，所述智能芯片，具体用于采用人体检测跟踪算法对所述关键图像帧进行处理，得到人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识；
将所述人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识发送给云端服务器，以使所述云端服务器根据至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。
本发明第四方面提供一种云端服务器，包括：
处理器和与所述处理器连接的存储器和通信接口；
所述通信接口与至少两个视频采集处理装置中的智能芯片通信连接；
所述处理器通过所述通信接口接收至少两个视频采集处理装置中的智能芯片分别发送的第一人体检测跟踪结果，所述第一人体检测跟踪结果为智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的；对所述第一人体检测跟踪结果进行处理，得到第二人体检测跟踪结果；
所述存储器，用于存储所述处理器进行处理过程中所需的程序代码。
可选的，所述第一人体检测跟踪结果包括人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识；
所述处理器，具体用于采用人体重识别算法对所述第一人体检测跟踪结果中的所述人体前景图像进行重识别，重新确定所述人体的人体标识；和/或
采用三维重建算法对所述至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果中相同人体标识对应的所述人体在所述关键图像帧中的二维位置进行三维重建，判断是否存在人体识别错误，若存在，则进行人体重识别。
本发明第五方面提供一种人体跟踪处理系统，包括：
至少两个视频采集处理装置和云端服务器，其中，
所述视频采集处理装置采用本发明第三方面任一项所述的装置，所述云端服务器采用本发明第四方面任一项所述的服务器。
本发明实施例提供的人体跟踪处理方法、装置及系统，系统中视频采集处理装置内置智能芯片，在智能芯片向云端服务器上传视频数据之前，智能芯片对视频数据进行预处理，保留关键图像帧，并采用人体检测跟踪算法对关键图像帧进行人体检测和跟踪处理，得到第一人体检测跟踪结果，将第一人体检测跟踪结果发送给云端服务器，以使云端服务器对第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。通过视频采集处理装置的预处理过程大大降低了人体跟踪系统对网络带宽的要求，减轻了对云端服务器资源的依赖，提高了系统整体的处理速度，同时，云端服务器通过三维重建算法辅助人体重识别算法判定目标人体，提高了人体识别算法的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明一实施例提供的人体跟踪处理方法的流程图；
图2为本发明另一实施例提供的人体跟踪处理方法的流程图；
图3为本发明一实施例提供的视频采集处理装置的硬件结构图；
图4为本发明一实施例提供的云端服务器的硬件结构图；
图5为本发明一实施例提供的人体跟踪处理系统的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的说明书中通篇提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一实施例中”或“本实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
图1为本发明一实施例提供的人体跟踪处理方法的流程图，方法的执行主体为视频采集处理装置，如图1所示，本实施例提供的人体跟踪处理方法包括以下步骤：
S101、摄像头采集视频数据；
本实施例中的视频采集处理装置包括摄像头与智能芯片，摄像头与智能芯片通信连接，摄像头将采集到的某场景下的视频数据实时地发送给智能芯片，以使智能芯片对视频数据进行预处理。
S102、智能芯片对摄像头所采集的视频数据进行人体检测跟踪算法处理，得到第一人体检测跟踪结果；
本实施例中智能芯片对视频数据的预处理包括提取关键图像帧，以及对关键图像帧的人体检测。
具体的，智能芯片对摄像头所采集的视频数据进行截取，获得待处理的视频图像帧，由于待处理的视频图像帧中存在不包含人体的图像帧，因此智能芯片对视频数据进行截取，获得待处理的视频图像帧之后，还需从待处理的视频图像帧中提取包含人体的关键图像帧，剔除掉不包含人体的图像帧。
随后智能芯片采用人体检测跟踪算法对关键图像帧进行人体检测和跟踪处理，得到第一人体检测跟踪结果。其中，
第一人体检测跟踪结果包括人体前景图像、人体在关键图像帧中的二维位置以及人体标识。
智能芯片对关键图像帧的人体检测和跟踪处理的具体过程如下：
对关键图像帧进行特征提取；
确定关键图像帧中人体特征的区域框；
具体的，智能芯片对关键图像帧分别做检测和跟踪处理，对检测结果和跟踪结果做融合，匹配检测框和跟踪框，对匹配上的检测框和跟踪框做加权融合，确定关键图像帧中人体特征的区域框；对没有匹配上的跟踪框，认为此时跟踪有可能不稳定，降低置信度；对没有匹配上的检测框，认为此时可能有新的人体目标出现，初始化新的跟踪器。对于没有匹配上的跟踪框，智能芯片标注的人体标识可能出现错误；
对于没有匹配上的检测框，智能芯片初始化新的跟踪框，由云端服务器标注新的人体标识。
确定区域框在关键图像帧中的二维位置；
保留该区域框对应的人体前景图像，并将区域框在图像帧中的二维位置作为人体在关键图像帧中的二维位置。S103、智能芯片将第一人体检测跟踪结果发送给云端服务器，以使云端服务器对第一人体检测跟踪结果进行处理得到第二人体检测跟踪结果。
智能芯片将包括人体前景图像、人体在关键图像帧中的二维位置以及人体标识的第一人体检测跟踪结果发送给云端服务器，以使云端服务器根据至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。
现有技术中，普通的监控摄像头不具有计算能力，所有摄像头拍摄的视频数据都需要上传到云端服务器进行处理，这就对网络带宽、服务器资源等有较高的要求，而且不利于快速扩展(增加监控摄像头、支持更大场景等)。本实施例的视频采集处理装置对视频数据进行预处理，将处理后的结果上传至云端服务器，不仅较大程度地降低了人体跟踪系统对网络带宽的要求，而且易于系统的扩展。另外，由于人体检测跟踪算法处理任务由智能芯片分担，从而大大减轻了对云端服务器资源的依赖，系统整体的处理速度加快。
可选的，本实施例的智能芯片包括NVIDIA TX2、Inter Movidius。
本发明实施例提供的人体跟踪处理方法，视频采集处理装置内置智能芯片，在智能芯片向云端服务器上传数据之前，智能芯片对视频数据进行预处理，保留关键图像帧，并采用人体检测跟踪算法对关键图像帧进行人体检测和跟踪处理，得到第一人体检测跟踪结果，将第一人体检测跟踪结果发送给云端服务器，以使云端服务器对第一人体检测跟踪结果进行处理得到第二人体检测跟踪结果。通过视频采集处理装置的预处理过程大大降低了人体跟踪系统对网络带宽的要求，减轻了对云端服务器资源的依赖，提高了系统整体的处理速度。
图2为本发明另一实施例提供的人体跟踪处理方法的流程图，方法的执行主体为云端服务器，如图2所示，本实施例提供的人体跟踪处理方法具体包括如下步骤：
S201、接收至少两个视频采集处理装置中的智能芯片分别发送的第一人体检测跟踪结果，第一人体检测跟踪结果为智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的；
本实施例中，云端服务器接收同一场景下设置在不同角度的至少两个视频采集处理装置中的智能芯片发送的同一时刻第一人体检测跟踪结果。其中，
第一人体检测跟踪结果包括人体前景图像、人体在关键图像帧中的二维位置以及人体标识。
可以理解，不同视频采集处理装置拍摄的同一时刻同一场景下的同一人体的人体前景图像不同，人体在关键图像帧中的二维位置也不同。
S202、对第一人体检测跟踪结果进行处理，得到第二人体检测跟踪结果。
云端服务器在接收到不同视频采集处理装置中的智能芯片发送的第一人体检测跟踪结果之后，确定人体在关键图像帧中的二维位置不稳定时，即确定人体跟踪出现问题时，智能芯片标注的人体标识可能出现错误，此时云端服务器采用人体重识别算法对第一人体检测跟踪结果中的人体前景图像进行重识别，重新确定人体标识，从而校正视频采集处理装置中的智能芯片对人体标注的错误。
具体来说，云端服务器采用人体重识别算法提取人体前景图像的人体特征，与人体数据库中保存的历史人体特征进行匹配，将匹配度最高的人体前景图像对应的人体标识作为当前人体前景图像中人体的人体标识。其中，人体数据库中保存有历史人体前景图像与人体标识的对应关系。
需要指出的是，云端服务器在确定视频采集处理装置中的智能芯片发送的第一人体检测跟踪结果中存在新的人体目标时，对新的人体目标进行标注，并将新的人体标识与对应的人体前景图像保存至人体数据库中，以便后续进行人体重识别处理。云端服务器除了对第一人体检测跟踪结果进行人体重识别处理之外，还包括对至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果进行三维重建处理，判断各个视频采集处理装置的智能芯片是否存在人体识别错误，若存在，则云端服务器重新进行人体识别。
下面对云端服务器的三维重建处理过程做详细说明。
云端服务器根据至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果，确定相同人体标识对应的目标人体在三维空间中的位置坐标；
云端服务器根据至少两个摄像头在同一时刻采集的相同人体标识对应的目标人体在图像中的二维位置，以及两个摄像头的摄像头矩阵确定相同目标人体在三维空间中的位置坐标。其中，摄像头矩阵是根据已知的摄像头参数获取到的。
具体的，假设X1和X2分别是两个摄像头下相同目标人体在图像内的二维位置坐标，P1是X1对应摄像头的摄像头矩阵，P2是X2对应摄像头的摄像头矩阵；则X1、X2与目标人体在三维空间中的位置坐标W存在如下对应关系：
X1＝P1*W，X2＝P2*W；
其中，*表示乘法运算。
云端服务器根据相同人体标识对应的目标人体在三维空间中的位置坐标分别计算目标人体在不同视频采集处理装置的摄像头下的反投影误差；
本实施例中，可以根据三维空间中的坐标以及摄像头的摄像头矩阵，计算三维空间中的坐标在摄像头采集的图像中的反投影坐标，将该反投影坐标与摄像头采集的图像中对应的二维位置坐标(按照现有的二维图像坐标算法得到)作差值运算，得到对应的反投影误差。
具体的，假设已经得到目标人体的在三维空间中的位置坐标W，令Ui＝Pi*W；
令ei＝Ui-Xi；
其中，Ui为W在第i个摄像头下的反投影坐标；
Pi为第i个摄像头的摄像头矩阵；
ei为第i个摄像头下的反投影误差；
Xi为目标人体在第i个摄像头对应图像内的二维位置坐标；
i为场景中设置的摄像头的总数，i≥2。(3)云端服务器根据目标人体在不同视频采集处理装置的摄像头下的反投影误差的大小，确定摄像头是否存在人体识别错误。
具体的，若某一视频采集处理装置的摄像头下的反投影误差大于预设阈值，则确定该视频采集处理装置的智能芯片存在人体识别错误；
若某一视频采集处理装置的摄像头下的反投影误差不大于预设阈值，则确定该视频采集处理装置的智能芯片的人体识别结果正确。
本实施例通过人体重识别算法处理和/或三维重建算法处理，得到校正后的第二人体检测跟踪结果，提高了人体识别算法的准确率。
本发明实施例提供的人体跟踪处理方法，通过接收至少两个视频采集装置中的智能芯片分别发送的第一人体检测跟踪结果，第一人体检测跟踪结果为智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的，对第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。通过三维重建算法辅助人体重识别算法判定目标人体，大大提高了人体识别算法的准确率。
本发明实施例还提供一种视频采集处理装置，请参见图3所示，本发明实施例仅以图3为例进行说明，并不表示本发明仅限于此。
图3为本发明一实施例提供的视频采集处理装置的硬件结构图。如图3所示，本实施例提供的视频采集处理装置30包括：
彼此通信连接的摄像头31和智能芯片32；
所述摄像头31，用于采集视频数据；
所述智能芯片32，用于对所述摄像头所采集的视频数据进行人体检测跟踪算法处理，得到第一人体检测跟踪结果；将所述第一人体检测跟踪结果发送给云端服务器，以使所述云端服务器对所述第一人体检测跟踪结果进行处理得到第二人体检测跟踪结果。
可选的，所述智能芯片32，具体用于对所述摄像头所采集的视频数据进行截取，获得待处理的视频图像帧；
从所述待处理的视频图像帧中提取包含人体的关键图像帧；
采用人体检测跟踪算法对所述关键图像帧进行处理，得到第一人体检测跟踪结果。
可选的，所述智能芯片32，具体用于采用人体检测跟踪算法对所述关键图像帧进行处理，得到人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识；
将所述人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识发送给云端服务器，以使所述云端服务器根据至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果进行人体重识别算法处理和/或三维重建算法处理，得到第二人体检测跟踪结果。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供一种云端服务器，请参见图4所示，本发明实施例仅以图4为例进行说明，并不表示本发明仅限于此。
图4为本发明一实施例提供的云端服务器的硬件结构图。如图4所示，本实施例提供的云端服务器40包括：
处理器41和与所述处理器41连接的存储器42和通信接口43；
所述通信接口43与至少两个视频采集处理装置中的智能芯片通信连接；
所述处理器41通过所述通信接口接收至少两个视频采集处理装置中的智能芯片分别发送的第一人体检测跟踪结果，所述第一人体检测跟踪结果为智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的；对所述第一人体检测跟踪结果进行处理，得到第二人体检测跟踪结果；
所述存储器42，用于存储所述处理器41进行处理过程中所需的程序代码。
可选的，所述第一人体检测跟踪结果包括人体前景图像、人体在所述关键图像帧中的二维位置以及人体标识；
所述处理器41，具体用于采用人体重识别算法对所述第一人体检测跟踪结果中的所述人体前景图像进行重识别，重新确定所述人体的人体标识；和/或
采用三维重建算法对所述至少两个视频采集处理装置的智能芯片发送的第一人体检测跟踪结果中相同人体标识对应的所述人体在所述关键图像帧中的二维位置进行三维重建，判断是否存在人体识别错误，若存在，则进行人体重识别。
本实施例的云端服务器，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
其中，存储器42和处理器41之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器42中存储有实现人体跟踪处理方法的技术方案的计算机程序，包括至少一个可以软件或固件的形式存储于存储器42中的软件功能模块，处理器41通过运行存储在存储器42内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器42可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器42用于存储程序，处理器41在接收到执行指令后，执行程序。进一步地，上述存储器42内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器41可以是一种集成电路芯片，具有信号的处理能力。上述的处理器41可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图4的结构仅为示意，还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件和/或软件实现。
本发明实施例还提供一种人体跟踪处理系统，请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。
图5为本发明一实施例提供的人体跟踪处理系统的结构示意图。如图5所示，本实施例提供的人体跟踪处理系统50包括：
至少两个视频采集处理装置30和云端服务器40，其中，
所述视频采集处理装置30采用上述实施例中图3所示的装置，所述云端服务器40采用上述实施例中图4所示的服务器。其中，
至少两个视频采集处理装置30采集同一场景下不同视角的视频数据。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的人体跟踪处理方法。
本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种人体跟踪处理方法，其特征在于，包括：
云端服务器接收至少两个视频采集处理装置中的智能芯片分别发送的第一人体检测跟踪结果，所述第一人体检测跟踪结果为所述智能芯片对所述智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的；
所述云端服务器采用三维重建算法确定是否对所述第一人体检测跟踪结果中的人体前景图像进行人体重识别处理，若确定对所述人体前景图像进行人体重识别处理，将人体重识别处理后的结果作为第二人体检测跟踪结果；
所述第一人体检测跟踪结果包括人体前景图像、人体在关键图像帧中的二维位置以及人体标识；所述云端服务器采用三维重建算法确定是否对所述第一人体检测跟踪结果中的人体前景图像进行人体重识别处理，包括：
所述云端服务器根据至少两个所述第一人体检测跟踪结果，确定具有相同人体标识的目标人体在三维空间中的位置坐标；
所述云端服务器根据所述目标人体在三维空间中的位置坐标、不同视频采集处理装置中摄像头的摄像头矩阵，确定所述目标人体在不同摄像头下的反投影位置坐标；
所述云端服务器根据所述反投影位置坐标及所述目标人体在不同摄像头采集的图像中的二维位置坐标，确定反投影误差；
所述云端服务器根据所述反投影误差与预设阈值的大小关系，确定是否对所述第一人体检测跟踪结果中的人体前景图像进行人体重识别处理。
2.一种云端服务器，其特征在于，包括：
处理器和与所述处理器连接的存储器和通信接口；
所述通信接口与至少两个视频采集处理装置中的智能芯片通信连接；
所述处理器通过所述通信接口接收至少两个视频采集处理装置中的智能芯片分别发送的第一人体检测跟踪结果，所述第一人体检测跟踪结果为所述智能芯片对所述智能芯片所属的视频采集处理装置中的摄像头所采集的视频数据进行人体检测跟踪算法处理得到的；
所述处理器采用三维重建算法确定是否对所述第一人体检测跟踪结果中的人体前景图像进行人体重识别处理，若确定对所述人体前景图像进行人体重识别处理，将人体重识别处理后的结果作为第二人体检测跟踪结果；
所述存储器，用于存储所述处理器进行处理过程中所需的程序代码；
所述第一人体检测跟踪结果包括人体前景图像、人体在关键图像帧中的二维位置以及人体标识；所述处理器，具体用于：
根据至少两个所述第一人体检测跟踪结果，确定具有相同人体标识的目标人体在三维空间中的位置坐标；
根据所述目标人体在三维空间中的位置坐标、不同视频采集处理装置中摄像头的摄像头矩阵，确定所述目标人体在不同摄像头下的反投影位置坐标；
根据所述反投影位置坐标及所述目标人体在不同摄像头采集的图像中的二维位置坐标，确定反投影误差；
根据所述反投影误差与预设阈值的大小关系，确定是否对所述第一人体检测跟踪结果中的人体前景图像进行人体重识别处理。
3.一种人体跟踪处理系统，其特征在于，包括：
至少两个视频采集处理装置和云端服务器，所述云端服务器与所述至少两个视频采集处理装置通信连接；
其中，所述云端服务器采用权利要求2所述的服务器。
CN201810726681.8A 2018-07-04 2018-07-04 人体跟踪处理方法、装置及系统 Active CN108921874B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810726681.8A CN108921874B (zh) 2018-07-04 2018-07-04 人体跟踪处理方法、装置及系统
US16/459,868 US11263445B2 (en) 2018-07-04 2019-07-02 Method, apparatus and system for human body tracking processing
EP19183929.9A EP3531342B1 (en) 2018-07-04 2019-07-02 Method, apparatus and system for human body tracking processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810726681.8A CN108921874B (zh) 2018-07-04 2018-07-04 人体跟踪处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108921874A CN108921874A (zh) 2018-11-30
CN108921874B true CN108921874B (zh) 2020-12-29

Family

ID=64423941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810726681.8A Active CN108921874B (zh) 2018-07-04 2018-07-04 人体跟踪处理方法、装置及系统

Country Status (3)

Country Link
US (1) US11263445B2 (zh)
EP (1) EP3531342B1 (zh)
CN (1) CN108921874B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063567B (zh) * 2018-07-03 2021-04-13 百度在线网络技术（北京）有限公司 人体识别方法、装置及存储介质
CN111291599A (zh) * 2018-12-07 2020-06-16 杭州海康威视数字技术股份有限公司 一种图像处理方法和装置
CN109740573B (zh) * 2019-01-24 2021-10-01 北京旷视科技有限公司 视频分析方法、装置、设备及服务器
CN110044486B (zh) * 2019-03-11 2020-05-22 武汉高德智感科技有限公司 用于人体检验检疫系统避免重复报警的方法、装置、设备
CN109949347B (zh) * 2019-03-15 2021-09-17 百度在线网络技术（北京）有限公司 人体跟踪方法、装置、系统、电子设备和存储介质
CN111199576B (zh) * 2019-12-25 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN113111681B (zh) * 2020-01-09 2024-05-03 北京君正集成电路股份有限公司 一种降低人形上半身检测误报的方法
CN111612930B (zh) * 2020-04-14 2022-03-04 安徽中迅徽软科技有限公司 一种考勤系统及方法
CN112528957A (zh) * 2020-12-28 2021-03-19 北京万觉科技有限公司 人体运动基础信息检测方法、系统及电子设备
CN112869734B (zh) * 2021-01-11 2022-10-21 乐鑫信息科技（上海）股份有限公司 一种Wi-Fi人体检测的方法和智能设备
CN113780120A (zh) * 2021-08-27 2021-12-10 深圳云天励飞技术股份有限公司 生成人体三维模型的方法、装置、服务器和存储介质
KR20240023738A (ko) * 2022-08-16 2024-02-23 한화비전 주식회사 적어도 하나의 카메라를 이용하여 투숙객의 이용 현황을 모니터링하기 위한 방법 및 이를 지원하는 장치
CN115501050A (zh) * 2022-10-31 2022-12-23 江苏理工学院 一种基于计算机视觉的轮椅用户健康监测系统及其检测网络的训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558996A (zh) * 2009-05-15 2009-10-21 天津大学 基于人体运动结构正投影三维重建的步态识别方法
CN105554354A (zh) * 2015-12-24 2016-05-04 浙江工商大学 一种高清摄像头

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US20030053659A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US7330566B2 (en) * 2003-05-15 2008-02-12 Microsoft Corporation Video-based gait recognition
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US8456528B2 (en) * 2007-03-20 2013-06-04 International Business Machines Corporation System and method for managing the interaction of object detection and tracking systems in video surveillance
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
US9002057B2 (en) * 2011-03-22 2015-04-07 Alcatel Lucent Collaborative camera services for distributed real-time object analysis
US9390334B2 (en) * 2011-03-31 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Number of persons measurement device
CN102254154B (zh) 2011-07-05 2013-06-12 南京大学 一种基于三维模型重建的人脸身份认证方法
US20150278585A1 (en) * 2012-04-18 2015-10-01 Vixs Systems, Inc. Video processing system for video surveillance and methods for use therewith
US9147114B2 (en) * 2012-06-19 2015-09-29 Honeywell International Inc. Vision based target tracking for constrained environments
WO2014014238A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
JP5356615B1 (ja) * 2013-02-01 2013-12-04 パナソニック株式会社 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法
US9639747B2 (en) * 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
US9158971B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
JP5834254B2 (ja) * 2014-04-11 2015-12-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
SG10201402026RA (en) * 2014-05-04 2015-12-30 Seow Loong Tan Activity monitoring method and system
US9858679B2 (en) * 2014-11-04 2018-01-02 Hewlett-Packard Development Company, L.P. Dynamic face identification
CN105574506B (zh) 2015-12-16 2020-03-17 深圳市商汤科技有限公司 基于深度学习和大规模集群的智能人脸追逃系统及方法
US10192347B2 (en) 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
CN108090403A (zh) 2016-11-22 2018-05-29 上海银晨智能识别科技有限公司 一种基于3d卷积神经网络的人脸动态识别方法及系统
US10708635B2 (en) * 2017-03-02 2020-07-07 Ricoh Company, Ltd. Subsumption architecture for processing fragments of a video stream
CN107222529B (zh) 2017-05-22 2022-04-26 北京邮电大学 增强现实处理方法、web模块、终端和云端服务器
CN107844775A (zh) * 2017-11-13 2018-03-27 常州大学 一种基于块稀疏表示的行人重识别方法
US11170301B2 (en) * 2017-11-16 2021-11-09 Mitsubishi Electric Research Laboratories, Inc. Machine learning via double layer optimization
CN107995495B (zh) * 2017-11-23 2019-09-24 华中科技大学 一种隐私保护下的视频运动物体轨迹跟踪方法及系统
US10599947B2 (en) * 2018-03-09 2020-03-24 Ricoh Co., Ltd. On-demand visual analysis focalized on salient events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558996A (zh) * 2009-05-15 2009-10-21 天津大学 基于人体运动结构正投影三维重建的步态识别方法
CN105554354A (zh) * 2015-12-24 2016-05-04 浙江工商大学 一种高清摄像头

Also Published As

Publication number Publication date
CN108921874A (zh) 2018-11-30
EP3531342A3 (en) 2019-11-20
EP3531342A2 (en) 2019-08-28
EP3531342B1 (en) 2022-03-16
US20190325209A1 (en) 2019-10-24
US11263445B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
CN108921874B (zh) 人体跟踪处理方法、装置及系统
US20200116498A1 (en) Visual assisted distance-based slam method and mobile robot using the same
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
US20210024083A1 (en) Method and device for determining unmanned vehicle running scene
US20110134221A1 (en) Object recognition system using left and right images and method
US20220246040A1 (en) Control method and device for unmanned aerial vehicle, and computer readable storage medium
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
CN111291646A (zh) 一种人流量统计方法、装置、设备及存储介质
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
JP7055867B2 (ja) 人体認識方法、機器及び記憶媒体
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN116258748A (zh) 轨迹跟踪方法
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
Elloumi et al. Tracking orthogonal vanishing points in video sequences for a reliable camera orientation in manhattan world
CN115439534A (zh) 图像的特征点匹配方法、设备、介质及程序产品
CN114821131A (zh) 目标检测方法、装置和无人车
CN111368608B (zh) 一种人脸识别方法、装置及系统
KR102224218B1 (ko) 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치
CN111723610B (zh) 图像识别方法、装置及设备
CN113763468A (zh) 一种定位方法、装置、系统及存储介质
CN111738082A (zh) 基于机器视觉自动跟踪定位火灾火源点的识别方法和装置
Millard Multiple target tracking in realistic environments using recursive-RANSAC in a data fusion framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant