CN108509896A - 一种轨迹跟踪方法、装置和存储介质 - Google Patents

一种轨迹跟踪方法、装置和存储介质 Download PDF

Info

Publication number
CN108509896A
CN108509896A CN201810267283.4A CN201810267283A CN108509896A CN 108509896 A CN108509896 A CN 108509896A CN 201810267283 A CN201810267283 A CN 201810267283A CN 108509896 A CN108509896 A CN 108509896A
Authority
CN
China
Prior art keywords
image
head
face image
video frame
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810267283.4A
Other languages
English (en)
Other versions
CN108509896B (zh
Inventor
何长伟
汪铖杰
李季檩
王亚彪
赵艳丹
葛彦昊
倪辉
熊意超
甘振业
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810267283.4A priority Critical patent/CN108509896B/zh
Publication of CN108509896A publication Critical patent/CN108509896A/zh
Priority to PCT/CN2019/078529 priority patent/WO2019184749A1/zh
Priority to EP19776970.6A priority patent/EP3779772B1/en
Priority to US16/890,087 priority patent/US11087476B2/en
Application granted granted Critical
Publication of CN108509896B publication Critical patent/CN108509896B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种轨迹跟踪方法、装置和存储介质，本发明实施例对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。由于头部特征相同人体其它部分比较固定，且发生遮挡的概率较小，对头部图像进行运动跟踪，能够获取到相较于完整人体更为准确的运动轨迹，即使跟踪中断，也能通过头部图像对应的脸部图像将中断的运动轨迹进行合并，从而达到提升运动跟踪准确性的目的。

Description

一种轨迹跟踪方法、装置和存储介质
技术领域
本发明涉及运动跟踪技术领域，具体涉及一种轨迹跟踪方法、装置和存储介质。
背景技术
目前，运动跟踪技术在智能安防、监控等领域有着广泛的应用。运动跟踪是对视频中出现的人进行跟踪，从而得到不同的人在视频中从出现到消失完整的运动轨迹。准确的运动跟踪是分析人群行为的前提条件，比如分析出打架、斗殴等行为。
目前，在进行运动跟踪时，首先检测出视频的所有视频帧中出现的人体，然后采用全局目标关联算法对每一视频帧的人体进行关联，但是，在人体受到遮挡的情况下可能导致人体漏检，从而导致关联失败，此时，采用目前的运动跟踪方案会无法获取人群的运动轨迹。
发明内容
本发明实施例提供一种轨迹跟踪方法、装置和存储介质，可以提升运动跟踪的准确性。
本发明实施例提供一种轨迹跟踪方法，包括：
对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；
获取在各个视频帧中所述头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；
从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；
将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。
对应的，本发明实施例还提供了一种轨迹跟踪装置，包括：
运动跟踪模块，用于对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；
图像获取模块，用于获取在各个视频帧中所述头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；
图像确定模块，用于从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；
轨迹合并模块，用于将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。
对应的，本发明实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本发明实施例任一提供的轨迹跟踪方法。
本发明实施例对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。由于头部特征相同人体其它部分比较固定，且发生遮挡的概率较小，对头部图像进行运动跟踪，能够获取到相较于完整人体更为准确的运动轨迹，即使跟踪中断，也能通过头部图像对应的脸部图像将中断的运动轨迹进行合并，从而达到提升运动跟踪准确性的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的轨迹跟踪系统的场景示意图；
图2a是本发明实施例提供的轨迹跟踪方法的第一种流程示意图；
图2b是本发明实施例中解码视频得到多个视频帧的示例图；
图2c是本发明实施例中确定出视频帧中头部图像以及脸部图像的一种流程示意图；
图2d是本发明实施例中视频帧中头部图像和脸部图像之间组合方式的示例图；
图2e是本发明实施例中确定出视频帧中头部图像以及脸部图像的另一种流程示意图；
图2f是本发明实施例中合并运动轨迹的的示意图；
图3a是本发明实施例提供的轨迹跟踪方法的第二种流程示意图；
图3b是本发明实施例中终端播放携带运动轨迹的监控视频的示例图；
图4a是本发明实施例提供的轨迹跟踪装置的第一种结构示意图；
图4b是本发明实施例提供的轨迹跟踪装置的第二种结构示意图；
图5是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都对应本发明保护的范围。
本发明实施例提供一种轨迹跟踪系统，该轨迹跟踪系统包括本发明实施例提供的任一轨迹跟踪装置，该轨迹跟踪装置可以集成在具备存储器并安装有处理器而具有运算能力的服务器中。
请参照图1，本发明实施例提供的轨迹跟踪系统，包括：服务器10和终端20，服务器10与终端20通过网络30连接。其中，网络30中包括路由器、网关等等网络实体，图1中并未一一示意出。终端20可以通过有线网络或无线网络与服务器10进行信息交互，比如，终端20可以通过视频采集设备(比如监控摄像头等)采集需要进行运动跟踪的视频，并将采集到的视频通过网络30传输至服务器10；服务器10在接收到来自终端20的视频之后，对视频的多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹，然后对属于相同人物的运动轨迹进行合并处理，再将合并处理得到的、新的运动轨迹合成至视频中，最后将携带运动轨迹的视频返回至终端20。这样，终端20在展示携带有运动轨迹的视频时，视频画面中将实时显示视频中人物的运动轨迹。
基于上述图1所示的轨迹跟踪系统，服务器10可以通过网络30获取来自终端20的视频，并对视频进行解析，得到多个视频帧；对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；将确定的脸部图像集合所对应的运动轨迹进行合并处理，之后，服务器10可以将合并处理得到的、新的运动轨迹合成至视频中，并将携带运动轨迹的视频通过网络30传输至终端20。
需要说明的是，上述图1示出的仅是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图1所示的系统架构，基于该系统架构，提出本发明各个实施例。
在本实施例中，将从轨迹跟踪装置的角度进行描述，该轨迹跟踪装置具体可以集成在服务器中。
一种轨迹跟踪方法，包括：对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；将确定的脸部图像集合所对应的运动轨迹进行合并处理。
请参照图2a，图2a是本发明实施例提供的轨迹跟踪方法的流程示意图，如图2a所示，该轨迹跟踪方法包括：
在步骤101中，对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹。
本发明实施例中，轨迹跟踪装置首先获取到需要进行运动跟踪的视频，对于该视频的获取方式，此处不做具体限制，可以通过多张方式获取到需要进行运动跟踪的视频，比如，可以接收监控设备主动推送的、需要进行运动跟踪的视频，又比如，可以主动从监控设备拉取需要进行运动跟踪的视频。
在获取到需要进行运动跟踪的视频之后，轨迹跟踪装置首先对视频的视频流数据进行解码，得到对应该视频的多个视频帧。比如，请参照图2b，通过对需进行运动跟踪的视频进行解码，共得到N个视频帧。
考虑到“头部作为人体不可分割的一部分，相同人物头部的运动轨迹与其完整人体的运动轨迹必然一致”，将头部的运动轨迹作为人物的运动轨迹。换言之，本发明实施例中将多个视频帧中出现的人头图像作为跟踪目标，采用头部跟踪算法对视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹。
其中，对头部图像的运动跟踪可以基于头部图像的轮廓信息、颜色信息(如头发的颜色及其分布等)以及运动信息(如头部表面各点之间的运动相关性)等进行。结合头部图像的这些信息，可以采用的头部跟踪算法包括但不限于：
模型法，对头部及其器官进行建模，利用模板匹配来实现对头部图像的运动跟踪。
灰度分布法，求解三维空间内头部表面的灰度分布马赛克图，利用匹配来实现对头部图像的运动跟踪。
块特征法，通过批量块特征的运动矢量计算来对头部图像的运动跟踪，其具有精度高、不依赖于具体目标模型等优点，可实现对头部图像自由运动的跟踪。
需要说明的是，对于采用何种头部跟踪算法，本发明实施例不做具体限制，可由本领域技术人员根据实际需要进行选取，可以是本发明实施例中所描述的头部跟踪算法，也可以是本发明实施例中所未描述的头部跟踪算法。
容易理解的是，在运动过程中，头部相对完整人体更难被遮挡，对头部图像进行运动跟踪，将得到更准确的运动轨迹。
在步骤102中，获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合。
其中，头部图像和脸部图像的对应关系用于描述“相互对应的头部图像和脸部图像属于相同人物”。其中，头部图像和脸部图像的对应关系可以在开始对头部图像进行运动跟踪之前建立，也可以在对头部图像进行运动跟踪的同时建立，还可以在完成对头部图像进行运动跟踪之后建立。
可选的，在一实施例中，对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹之前，还包括：
对多个视频帧进行头部检测和脸部检测，确定出各个视频帧中的头部图像以及脸部图像；
确定各个视频帧中属于相同人物的头部图像和脸部图像，并建立属于相同人物的头部图像和脸部图像之间的对应关系；
而获取在各个视频帧中头部图像对应的脸部图像，包括：
根据建立的对应关系，获取在各个视频帧中头部图像对应的脸部图像。
在该实施例中，轨迹跟踪装置在获取到需要进行运动跟踪的视频、且对该视频解码得到多个视频帧之后，首先对多个视频帧进行头部检测和脸部检测，确定出各个视频帧中的头部图像和脸部图像。需要说明的是，对于各个视频帧，对其进行头部检测，获得头部数据，该头部数据包括用于指示一个或多个头部图像位置的、一个或多个头部坐标框；对于各个视频帧，对其进行脸部检测，获得脸部数据，该脸部数据包括用于指示一个或多个脸部图像位置的、一个或多个脸部坐标框。其中，头部坐标框和脸部坐标框均为矩形框。
其中，对于多个视频帧中的任一视频帧，可以分别采用头部检测算法(比如AdaBoost法、SVM法、贝叶斯法以及神经网络法等)和脸部检测算法(比如AdaBoost法、分类回归树法以及神经网络法等)，对该视频帧进行头部检测和脸部检测，确定出该视频帧中的头部图像以及脸部图像。其中，对于采用何种头部检测算法以及何种脸部检测算法，本发明实施例对此不做具体限制，可由本领域技术人员根据实际需要进行选取。
比如，请参照图2c，对于某视频帧，采用头部检测算法对其进行检测，得到5个不同的头部图像，采用脸部检测算法对其进行检测，得到5个不同的脸部部图像。
在确定出各个视频中的头部图像以及脸部图像之后，就要建立头部图像和脸部图像之间的对应关系，也即是建立各视频帧中属于相同人物的头部图像和脸部图像之间的对应关系。因此，首先需要确定各个视频帧中属于相同人物的头部图像和脸部图像。
具体的，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
获取各个视频帧中确定出的各头部图像和各脸部图像之间的面积重合度；
根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
其中，对于任意一个视频帧，假设从视频帧中确定出m个头部图像和n个脸部图像(其中，m和n可以相等，也可以不等，具体取决于实际检测结果)，然后获取m个头部图像中每一个头部图像和n个脸部图像之间的面积重合度，由于m个头部图像和n个脸部图像之间有m*n个组合方式，将获取到m*n的面积重合度。
比如，请参照图2d，以某视频帧为例，从该视频帧中确定出5个不同的脸部图像和5个不同的头部图像，对于每一个头部图像，获取与5个脸部图像之间的面积相似度，这样将获取到5*5共25个相似度，也即是头部图像和脸部图像之间有25种可能的组合方式。
由于，头部图像和脸部图像均是不规则的，为实现面积重合度的快速计算，本发明实施例中，采用头部图像对应的头部坐标框的面积来表征头部图像的面积，采用脸部图像对应的脸部坐标框的面积来表征脸部图像的面积。对于任意一种头部图像和脸部图像的组合，按照如下公式计算其面积面积重合度：
其中，A表示头部图像，B表示脸部图像，IOU(A，B)表示头部图像和脸部图像的重合度，|A∩B|表示头部图像对应的头部坐标框、和脸部图像对应的脸部坐标框相交区域的面积，|A∪B|表示头部图像对应的头部坐标框、和脸部图像对应的脸部坐标框相并区域的面积。
在获取到各个视频帧中，头部图像和脸部图像的各种组合方式所对应的面积重合度之后，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
可具体的，在一个可选的实施方式中，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
根据各个视频帧中获取到的面积重合度，对各个视频帧中的头部图像和脸部图像进行二分图最佳匹配；
确定各个视频帧中、相互匹配的头部图像和脸部图像属于相同人物。
本发明实施例中，对于任一视频帧，根据从该视频帧中获取到的面积重合度，构建以头部图像和脸部图像为顶点的二分图，然后对二分图求解最佳匹配(或称最大匹配)，确定相互匹配的头部图像和脸部图像属于相同人物。
其中，可采用匈牙利算法来求解二分图的最佳匹配。
在确定各个视频帧中属于相同人物的头部图像和脸部图像之后，即可建立属于相同人物的头部图像和脸部图像之间的对应关系，或者说，将各个视频帧中、属于相同人物的头部图像和脸部图像进行绑定。
相应的，在获取各个视频帧中头部图像对应的脸部图像时，即可根据建立的对应关系相应获取，从而得到头部图像对应的脸部图像集合(其中包括各视频帧中与头部图像属于相同人物的脸部图像)。
可具体的，在另一个可选的实施方式中，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
确定各个视频帧中的各头部图像、与其面积相似度最大的脸部图像属于相同人物。
比如，对于任一视频帧，从其中检测出m个头部图像，以及n个脸部图像，则对于m个头部图像中的每一个头部图像，将存在n种和脸部图像的组合方式，相应的，对于每一个头部图像，将获取到其与不同脸部图像之间共n个面积相似度。若此时，对于m个头部图像中的第一个头部图像而言，若该第一个头部图像与n个人脸图像中第二个脸部图像的面积重合度、大于该第一个头部图像与第二个脸部图像之外其它脸部图像的面积重合度，则确定该第一个头部图像和该第二个脸部图像属于相同人物。
在确定各个视频帧中属于相同人物的头部图像和脸部图像之后，即可建立属于相同人物的头部图像和脸部图像之间的对应关系，或者说，将各个视频帧中、属于相同人物的头部图像和脸部图像进行绑定。
相应的，在获取各个视频帧中头部图像对应的脸部图像时，即可根据建立的对应关系相应获取，从而得到头部图像对应的脸部图像集合(其中包括各视频帧中与头部图像属于相同人物的脸部图像)。
可选的，在一实施例中，对多个视频帧进行头部检测和脸部检测，确定出各个视频帧中的头部图像以及脸部图像，包括：
对多个视频帧进行头部检测，确定出各个视频帧中的头部图像；
对各个视频帧中确定出的头部图像进行脸部检测，确定出个个视频帧中、头部图像中的脸部图像；
而确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
确定各个视频帧中的头部图像、与其中确定出的脸部图像属于相同人物。
比如，请参照图2e，以任一视频帧为例，首先对视频帧进行头部检测，确定出其中的头部图像；然后对该视频帧中确定出的头部图像进行脸部检测，确定出头部图像中的脸部图像，由于脸部图像直接从确定出的头部图像中确定出，因此确定头部图像与其中确定出的脸部图像属于相同人物。
在步骤103中，从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合。
本发明实施例中，在获取得到头部图像对应的脸部图像集合之后，从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合。
可具体的，从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合，包括：
从头部图像对应的脸部图像集合中选取两个脸部图像集合；
获取选取的两个脸部图像集合间脸部图像的相似度，得到多个相似度；
判断获取的多个相似度中是否有相似度达到第一预设相似度；
在获取的多个相似度中有相似度达到第一预设相似度时，确定选取的两个脸部图像集合具有相同脸部图像。
需要说明的是，任意两个脸部图像集合可能对应相同的头部图像，也可能对应不同的头部图像，也即是说，任意两个脸部图像集合可能属于相同人物，也可能属于不同人物。
本发明实施例中，在获取得到头部图像对应的脸部图像集合之后，首先从头部图像对应的脸部图像集合中选取两个脸部图像集合，具体可任意选取两个脸部图像集合。
在选取两个脸部图像集合之后，获取选取的两个脸部图像集合间脸部图像的相似度，得到多个相似度，比如，选取的一个脸部图像集合包括5个脸部图像，选取的另一个脸部图像集合包括6个脸部图像集合，由于选取的这个脸部图像之间脸部图像共有5*6共30种组合方式，将获取到30个对应脸部图像集合间脸部图像不同组合方式的相似度。
在获取得到多个相似度之后，进一步判断获取到的多个相似度中是否有相似度达到第一预设相似度，或者说，判断获取到的多个相似度中的、最大相似度是否达到第一预设相似度。其中，第一相似度用于描述两个脸部图像相同，或者说两个脸部图像属于相同人物，该第一预设相似度的大小可由本领域技术人员根据实际需要进行设置，比如，可以设置第一预设相似度为95％。
若获取到的多个相似度中有相似度达到第一预设相似度，则可确定这两个脸部图像集合具有相同的脸部图像，也即是相似度达到第一预设相似度的两个脸部图像相同。
可选的，在一实施例中，判断获取的多个相似度中是否有相似度达到第一预设相似度之后，还包括：
在获取到的多个相似度均未达到第一预设相似度时，获取多个相似度的平均相似度；
判断平均相似度是否达到第二预设相似度，其中，第二预设相似度小于第一预设相似度；
在平均相似度达到第二预设相似度时，确定两个脸部图像集合具有相同脸部图像。
其中，在获取得到多个相似度之后，进一步判断获取到的多个相似度中是否有相似度达到第一预设相似度，或者说，判断获取到的多个相似度中的、最大相似度是否达到第一预设相似度。
若获取到的多个相似度均未达到第一预设相似度，则进一步计算获取到的多个相似度的平均相似度；之后，判断计算得到的平均相似度是否达到第二预设相似度，该第二预设相似度被配置为小于第一预设相似度，比如，在第一预设相似度被配置为95％时，该第二预设相似度被配置为85％；若计算得到的平均相似度达到第二预设相似度，则确定选取的两个脸部图像集合具有相同的脸部图像。
可具体的，在一实施例中，取两个脸部图像集合间脸部图像的相似度，包括：
分别从两个脸部图像集合中选取一个脸部图像，得到两个脸部图像；
分别获取选取的两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像特征集合；
获取第一图像特征集合和第二图像特征集合的距离，并将获取到的距离作为两个脸部图像的相似度。
其中，对于获取的图像特征的类型，此处不做具体限制，可由本领域技术人员根据实际需要进行选取，比如，可以获取脸部图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征、颜色特征、模板特征以及结构特征等。
在分别获取到两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像集合之后，获取第一图像特征集合与第二图像特征集合的距离，并将获取到的距离作为两个脸部图像间的相似度。其中，可由本领域技术人员根据实际需要选取任意一种特征距离(比如欧氏距离、曼哈顿距离、切比雪夫距离等等)来衡量两个图像特征集合之间的距离。
比如，可以获取第一图像特征集合和第二图像特征集合的余弦距离，具体参照以下公式：
其中，e表示第一图像特征集合和第二图像特征集合的余弦距离，f表示第一图像特征集合，N表示第一图像特征集合和第二图像特征集合的维度(两个图像特征集合的维度相同)，fi表示第一图像特征集合中第i维度的图像特征，gi表示第二图像特征集合中第i维度的图像特征。
在步骤104中，将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。
本发明实施例中，在确定具有相同脸部图像的至少两个脸部图像集合之后，或者说，确定属于相同人物的脸部图像集合之后，将确定的、属于相同人物的脸部图像集合所对应的运动轨迹进行合并(首先确定与脸部图像集合对应的头部图像，再确定该头部图像所对应的运动轨迹，作为与该脸部图像集合对应的运动轨迹)，得到轨迹跟踪的最终运动轨迹，也即是对应人物的完整运动轨迹。
其中，进行运动轨迹合并时，以运动轨迹A和运动轨迹B为例，若运动轨迹A尾部的头部图像所在视频帧的时刻(即该视频帧在视频中的时刻)、早于运动轨迹B头部图像所在视频帧的时刻(即该视频帧在视频中的时刻)，则将运动轨迹A的尾部和运动轨迹B的头部连接，实现运动轨迹A和运动轨迹B的合并。
比如，请参照图2f，示出了确定出的两条属于相同人物的运动轨迹，其中运动轨迹1上包括头部图像1、头部图像2、头部图像3、头部图像4以及头部图像5，这5个头部图像为相同的头部图像(或者说，为同一头部在不同视频帧中的头部图像)；运动轨迹2上包括头部图像1’、头部图像2’、头部图像3’、头部图像4’以及头部图像5’，这5个头部图像为相同的头部图像(或者说，为同一头部在不同视频帧中的头部图像)；经比较，头部图像5所在视频帧的时刻早于头部图像1’所在视频帧的时刻，因此，将运动轨迹1的尾部和运动轨迹2的头部连接，得到该人物的完整运动轨迹。
由上可知，本发明实施例提供的轨迹跟踪方法，对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。由于头部特征相同人体其它部分比较固定，且发生遮挡的概率较小，对头部图像进行运动跟踪，能够获取到相较于完整人体更为准确的运动轨迹，即使跟踪中断，也能通过头部图像对应的脸部图像将中断的运动轨迹进行合并，从而达到提升运动跟踪准确性的目的。
在一实施例中，以需要进行运动跟踪的视频为监控摄像头拍摄的监控视频为例，来详细介绍本发明提供的轨迹跟踪方法。
在本实施例中，将从轨迹跟踪系统的角度进行描述，其中该轨迹跟踪系统包括终端、网络和服务器，终端与监控摄像头连接，对监控摄像头进行控制，并接收来自监控摄像头的视频图像，编码得到监控视频，之后，将编码得到的监控视频作为需要进行运动跟踪的视频通过网络传输至服务器；服务器对来自终端的监控视频进行运动跟踪，得到监控视频中出现的所有人头图像的完整的运动轨迹(即人头图像从出现到消失的运动轨迹)，然后将得到运动轨迹合成至监控视频中，最后将携带运动轨迹的监控视频返回至终端。
具体的，请参照图3a，该轨迹跟踪方法的具体流程如下：
在步骤201中，终端通过监控摄像头获取监控视频。
其中，终端可以同时连接多个监控摄像头，在获取监控视频时，可以根据跟踪需求选择一个监控摄像头获取监控视频。
在步骤202中，终端将获取的监控视频通过网络传输至服务器。
其中，网络包括路由器、网关等等网络实体，用于实现终端和服务器之间的信息交互。
在步骤203中，服务器对监控视频进行解码，得到监控视频的多个视频帧。
服务器在接收到来自终端的监控视频之后，将该监控视频作为需要进行运动跟踪的视频，对该监控视频的视频流数据进行解码，得到对应该监控视频的多个视频帧。
在步骤204中，服务器对多个视频帧中进行头部检测和脸部检测，确定出各个视频帧中的头部图像以及脸部图像。
其中，对于多个视频帧中的任一视频帧，可以分别采用头部检测算法(比如AdaBoost法、SVM法、贝叶斯法以及神经网络法等)和脸部检测算法(比如AdaBoost法、分类回归树法以及神经网络法等)，对该视频帧进行头部检测和脸部检测，确定出该视频帧中的头部图像以及脸部图像。其中，对于采用何种头部检测算法以及何种脸部检测算法，本发明实施例对此不做具体限制，可由本领域技术人员根据实际需要进行选取。
比如，请参照图2c，对于某视频帧，采用头部检测算法对其进行检测，得到5个不同的头部图像，采用脸部检测算法对其进行检测，得到5个不同的脸部部图像。
在步骤205中，服务器确定各个视频帧中属于相同人物的头部图像和脸部图像，并建立属于相同人物的头部图像和脸部图像之间的对应关系。
可具体的，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
获取各个视频帧中确定出的各头部图像和各脸部图像之间的面积重合度；
根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
其中，对于任意一个视频帧，假设从视频帧中确定出m个头部图像和n个脸部图像(其中，m和n可以相等，也可以不等，具体取决于实际检测结果)，然后获取m个头部图像中每一个头部图像和n个脸部图像之间的面积重合度，由于m个头部图像和n个脸部图像之间有m*n个组合方式，将获取到m*n的面积重合度。
比如，请参照图2d，以某视频帧为例，从该视频帧中确定出5个不同的脸部图像和5个不同的头部图像，对于每一个头部图像，获取与5个脸部图像之间的面积相似度，这样将获取到5*5共25个相似度，也即是头部图像和脸部图像之间有25种可能的组合方式。
由于，头部图像和脸部图像均是不规则的，为实现面积重合度的快速计算，本发明实施例中，采用头部图像对应的头部坐标框的面积来表征头部图像的面积，采用脸部图像对应的脸部坐标框的面积来表征脸部图像的面积。对于任意一种头部图像和脸部图像的组合，按照如下公式计算其面积面积重合度：
其中，A表示头部图像，B表示脸部图像，IOU(A，B)表示头部图像和脸部图像的重合度，|A∩B|表示头部图像对应的头部坐标框、和脸部图像对应的脸部坐标框相交区域的面积，|A∪B|表示头部图像对应的头部坐标框、和脸部图像对应的脸部坐标框相并区域的面积。
在获取到各个视频帧中，头部图像和脸部图像的各种组合方式所对应的面积重合度之后，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
可具体的，在一个可选的实施方式中，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
根据各个视频帧中获取到的面积重合度，对各个视频帧中的头部图像和脸部图像进行二分图最佳匹配；
确定各个视频帧中、相互匹配的头部图像和脸部图像属于相同人物。
本发明实施例中，对于任一视频帧，根据从该视频帧中获取到的面积重合度，构建以头部图像和脸部图像为顶点的二分图，然后对二分图求解最佳匹配(或称最大匹配)，确定相互匹配的头部图像和脸部图像属于相同人物。
其中，可采用匈牙利算法来求解二分图的最佳匹配。
在确定各个视频帧中属于相同人物的头部图像和脸部图像之后，即可建立属于相同人物的头部图像和脸部图像之间的对应关系，或者说，将各个视频帧中、属于相同人物的头部图像和脸部图像进行绑定。
可具体的，在另一个可选的实施方式中，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
确定各个视频帧中的各头部图像、与其面积相似度最大的脸部图像属于相同人物。
比如，对于任一视频帧，从其中检测出m个头部图像，以及n个脸部图像，则对于m个头部图像中的每一个头部图像，将存在n种和脸部图像的组合方式，相应的，对于每一个头部图像，将获取到其与不同脸部图像之间共n个面积相似度。若此时，对于m个头部图像中的第一个头部图像而言，若该第一个头部图像与n个人脸图像中第二个脸部图像的面积重合度、大于该第一个头部图像与第二个脸部图像之外其它脸部图像的面积重合度，则确定该第一个头部图像和该第二个脸部图像属于相同人物。
在确定各个视频帧中属于相同人物的头部图像和脸部图像之后，即可建立属于相同人物的头部图像和脸部图像之间的对应关系，或者说，将各个视频帧中、属于相同人物的头部图像和脸部图像进行绑定。
在步骤206中，服务器对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹。
考虑到“头部作为人体不可分割的一部分，相同人物头部的运动轨迹与其完整人体的运动轨迹必然一致”，将头部的运动轨迹作为人物的运动轨迹。换言之，本发明实施例中将多个视频帧中出现的人头图像作为跟踪目标，采用头部跟踪算法对视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹。
其中，对头部图像的运动跟踪可以基于头部图像的轮廓信息、颜色信息(如头发的颜色及其分布等)以及运动信息(如头部表面各点之间的运动相关性)等进行。结合头部图像的这些信息，可以采用的头部跟踪算法包括但不限于：
模型法，对头部及其器官进行建模，利用模板匹配来实现对头部图像的运动跟踪。
灰度分布法，求解三维空间内头部表面的灰度分布马赛克图，利用匹配来实现对头部图像的运动跟踪。
块特征法，通过批量块特征的运动矢量计算来对头部图像的运动跟踪，其具有精度高、不依赖于具体目标模型等优点，可实现对头部图像自由运动的跟踪。
需要说明的是，对于采用何种头部跟踪算法，本发明实施例不做具体限制，可由本领域技术人员根据实际需要进行选取，可以是本发明实施例中所描述的头部跟踪算法，也可以是本发明实施例中所未描述的头部跟踪算法。
在步骤207中，服务器根据建立的对应关系，获取在各个视频帧中与头部图像对应的脸部图像，得到头部图像对应的脸部图像集合。
其中，服务器在获取各个视频帧中头部图像对应的脸部图像时，可根据之前建立的头部图像和脸部图像之间的对应关系相应获取，从而得到头部图像对应的脸部图像集合(其中包括各视频帧中与头部图像属于相同人物的脸部图像)。
在步骤208中，服务器从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合。
在获取得到头部图像对应的脸部图像集合之后，从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合。
可具体的，从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合，包括：
从头部图像对应的脸部图像集合中选取两个脸部图像集合；
获取选取的两个脸部图像集合间脸部图像的相似度，得到多个相似度；
判断获取的多个相似度中是否有相似度达到第一预设相似度；
在获取的多个相似度中有相似度达到第一预设相似度时，确定选取的两个脸部图像集合具有相同脸部图像。
需要说明的是，任意两个脸部图像集合可能对应相同的头部图像，也可能对应不同的头部图像，也即是说，任意两个脸部图像集合可能属于相同人物，也可能属于不同人物。
本发明实施例中，在获取得到头部图像对应的脸部图像集合之后，首先从头部图像对应的脸部图像集合中选取两个脸部图像集合，具体可任意选取两个脸部图像集合。
在选取两个脸部图像集合之后，获取选取的两个脸部图像集合间脸部图像的相似度，得到多个相似度，比如，选取的一个脸部图像集合包括5个脸部图像，选取的另一个脸部图像集合包括6个脸部图像集合，由于选取的这个脸部图像之间脸部图像共有5*6共30种组合方式，将获取到30个对应脸部图像集合间脸部图像不同组合方式的相似度。
在获取得到多个相似度之后，进一步判断获取到的多个相似度中是否有相似度达到第一预设相似度，或者说，判断获取到的多个相似度中的、最大相似度是否达到第一预设相似度。其中，第一相似度用于描述两个脸部图像相同，或者说两个脸部图像属于相同人物，该第一预设相似度的大小可由本领域技术人员根据实际需要进行设置，比如，可以设置第一预设相似度为95％。
若获取到的多个相似度中有相似度达到第一预设相似度，则可确定这两个脸部图像集合具有相同的脸部图像，也即是相似度达到第一预设相似度的两个脸部图像相同。
可选的，在一实施例中，判断获取的多个相似度中是否有相似度达到第一预设相似度之后，还包括：
在获取到的多个相似度均未达到第一预设相似度时，获取多个相似度的平均相似度；
判断平均相似度是否达到第二预设相似度，其中，第二预设相似度小于第一预设相似度；
在平均相似度达到第二预设相似度时，确定两个脸部图像集合具有相同脸部图像。
其中，在获取得到多个相似度之后，进一步判断获取到的多个相似度中是否有相似度达到第一预设相似度，或者说，判断获取到的多个相似度中的、最大相似度是否达到第一预设相似度。
若获取到的多个相似度均未达到第一预设相似度，则进一步计算获取到的多个相似度的平均相似度；之后，判断计算得到的平均相似度是否达到第二预设相似度，该第二预设相似度被配置为小于第一预设相似度，比如，在第一预设相似度被配置为95％时，该第二预设相似度被配置为85％；若计算得到的平均相似度达到第二预设相似度，则确定选取的两个脸部图像集合具有相同的脸部图像。
可具体的，在一实施例中，取两个脸部图像集合间脸部图像的相似度，包括：
分别从两个脸部图像集合中选取一个脸部图像，得到两个脸部图像；
分别获取选取的两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像特征集合；
获取第一图像特征集合和第二图像特征集合的距离，并将获取到的距离作为两个脸部图像的相似度。
其中，对于获取的图像特征的类型，此处不做具体限制，可由本领域技术人员根据实际需要进行选取，比如，可以获取脸部图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征、颜色特征、模板特征以及结构特征等。
在分别获取到两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像集合之后，获取第一图像特征集合与第二图像特征集合的距离，并将获取到的距离作为两个脸部图像间的相似度。其中，可由本领域技术人员根据实际需要选取任意一种特征距离(比如欧氏距离、曼哈顿距离、切比雪夫距离等等)来衡量两个图像特征集合之间的距离。
比如，可以获取第一图像特征集合和第二图像特征集合的余弦距离，具体参照以下公式：
其中，e表示第一图像特征集合和第二图像特征集合的余弦距离，f表示第一图像特征集合，N表示第一图像特征集合和第二图像特征集合的维度(两个图像特征集合的维度相同)，fi表示第一图像特征集合中第i维度的图像特征，gi表示第二图像特征集合中第i维度的图像特征。
在步骤209中，服务器将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。
服务器在确定具有相同脸部图像的至少两个脸部图像集合之后，或者说，确定属于相同人物的脸部图像集合之后，将确定的、属于相同人物的脸部图像集合所对应的运动轨迹进行合并(首先确定与脸部图像集合对应的头部图像，再确定该头部图像所对应的运动轨迹，作为与该脸部图像集合对应的运动轨迹)，得到轨迹跟踪的最终运动轨迹，也即是对应人物的完整运动轨迹。
其中，进行运动轨迹合并时，以运动轨迹A和运动轨迹B为例，若运动轨迹A尾部的头部图像所在视频帧的时刻(即该视频帧在视频中的时刻)、早于运动轨迹B头部图像所在视频帧的时刻(即该视频帧在视频中的时刻)，则将运动轨迹A的尾部和运动轨迹B的头部连接，实现运动轨迹A和运动轨迹B的合并。
比如，请参照图2f，示出了确定出的两条属于相同人物的运动轨迹，其中运动轨迹1上包括头部图像1、头部图像2、头部图像3、头部图像4以及头部图像5，这5个头部图像为相同的头部图像(或者说，为同一头部在不同视频帧中的头部图像)；运动轨迹2上包括头部图像1’、头部图像2’、头部图像3’、头部图像4’以及头部图像5’，这5个头部图像为相同的头部图像(或者说，为同一头部在不同视频帧中的头部图像)；经比较，头部图像5所在视频帧的时刻早于头部图像1’所在视频帧的时刻，因此，将运动轨迹1的尾部和运动轨迹2的头部连接，得到该人物的完整运动轨迹。
在步骤S210中，服务器将合并得到的运动轨迹合成至监控视频中，并将携带运动轨迹的监控视频通过网络返回至终端。
其中，终端在接收到服务器返回的携带运动轨迹的监控视频之后，通过播放该监控视频即可跟随时刻变化展示不同头部图像在各时刻的运动轨迹。比如，请参照图3b，示出了某时刻对应的视频帧，如图3b所示，展示了人物丙、人物丁以及人物戊到该时刻为止的运动轨迹，其中，人物丙的第一运动轨迹110示出了人物丙由监控区域的左上方出现，并向监控区域的左下方走动；人物丁的第二运动轨迹120示出了人物丁由监控区域的上方出现，并向监控区域的下方走动；人物戊的第三运动轨迹130示出了人物戊由监控区域的右上方出现，并向监控区域的左上方走动。
可选的，在一实施例中，服务器还可以对合并得到的运动轨迹进行分析，得到分析结果；
在将携带运动轨迹的监控视频通过网络返回至终端的同时，还将分析得到分析结果通过网络返回至终端。
以终端获取到监控视频为某商场的监控视频为例，服务器完成该监控视频的轨迹跟踪，并得到合并后的运动轨迹之后，可以对合并得到的运动轨迹进行如下分析：
1、对合并得到运动轨迹的数量进行分析，确定合并得到的运动轨迹的数量，由于一条运动轨迹对应一个人物，由此可将确定的运动轨迹的数量作为监控视频对应时长内的人流量，实现对商场的人流量监控。
2、对于合并得到的各条运动轨迹，提取各条运动轨迹上停留超过预设时长的位置点(即视频帧中头部图像的质心，同一人物在不同视频帧中头部图像的质心相连构成运动轨迹)，将该位置点作为主要停留点，由此得到所有运动轨迹的主要停留点；之后对得到的这些主要停留点进行聚类，得到运动轨迹的主要停留区域，将这些主要停留区域与监控区域内的商场柜台进行关联，即可分析得到人流主要停留的柜台，或者说人流喜好的柜台，实现对人流到店喜好的分析。
此外，本领域技术人员还可根据实际需要为服务器配置其它类型的分析规则，由服务器完成对运动轨迹的分析，得到需要的分析结果。
为了便于更好的实施本发明实施例提供的轨迹跟踪方法，在一实施例中还提供了一种轨迹跟踪装置。其中名词的含义与上述轨迹跟踪方法中相同，具体实现细节可以参考方法实施例中的说明。
在一实施例中，还提供了一种轨迹跟踪装置，如图4a所示，该轨迹跟踪装置可以包括：运动跟踪模块301、图像获取模块302、图像确定模块303、以及轨迹合并模块304；
运动跟踪模块301，用于对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；
图像获取模块302，用于获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；
图像确定模块303，用于从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；
轨迹合并模块304，用于将确定的脸部图像集合所对应的运动轨迹进行合并处理。
请参照图4b，在一实施例中，轨迹跟踪装置还包括关系建立模块305，用于：
对多个视频帧进行头部检测和脸部检测，确定出各个视频帧中的头部图像以及脸部图像；
确定各个视频帧中属于相同人物的头部图像和脸部图像，并建立属于相同人物的头部图像和脸部图像之间的对应关系；
图像获取模块302，具体用于：
根据关系建立模块305建立的对应关系，获取在各个视频帧中头部图像对应的脸部图像。
在一实施例中，关系建立模块305具体用于：
获取各个视频帧中确定出的各头部图像和各脸部图像之间的面积重合度；
根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
在一实施例中，关系建立模块305还具体用于：
根据各个视频帧中获取到的面积重合度，对各个视频帧中的头部图像和脸部图像进行二分图最佳匹配；
确定各个视频帧中、相互匹配的头部图像和脸部图像属于相同人物。
在一实施例中，图像确定模块303具体用于：
从头部图像对应的脸部图像集合中选取两个脸部图像集合；
获取两个脸部图像集合间脸部图像的相似度，得到多个相似度；
判断获取到的多个相似度中是否有相似度达到第一预设相似度；
在多个相似度中有相似度达到第一预设相似度时，确定选取的两个脸部图像集合具有相同脸部图像。
在一实施例中，图像确定模块303还用于：
在获取到的多个相似度均未达到第一预设相似度时，获取多个相似度的平均相似度；
判断平均相似度是否达到第二预设相似度，其中，第二预设相似度小于第一预设相似度；
在平均相似度达到第二预设相似度时，确定选取的两个脸部图像集合具有相同脸部图像。
在一实施例中，图像确定模块303还用于：
分别从选取的两个脸部图像集合中选取一个脸部图像，得到两个脸部图像；
分别获取两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像特征集合；
获取第一图像特征集合和第二图像特征集合的距离，并将获取到的距离作为选取的两个脸部图像的相似度。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本发明实施例轨迹跟踪装置采用运动跟踪模块301对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；图像获取模块302获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；图像确定模块303从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；轨迹合并模块304将确定的脸部图像集合所对应的运动轨迹进行合并处理。由于头部特征相同人体其它部分比较固定，且发生遮挡的概率较小，对头部图像进行运动跟踪，能够获取到相较于完整人体更为准确的运动轨迹，即使跟踪中断，也能通过头部图像对应的脸部图像将中断的运动轨迹进行合并，从而达到提升运动跟踪准确性的目的。
参考图5，本发明实施例提供了一种服务器，可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、射频(Radio Frequency，RF)电路403、电源404、输入单元405、以及显示单元406等部件。本领域技术人员可以理解，图5中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。
RF电路403可用于收发信息过程中，信号的接收和发送。
服务器还包括给各个部件供电的电源404(比如电池)，优选的，电源可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
该服务器还可包括输入单元405，该输入单元405可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器还可包括显示单元406，该显示单元406可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；
获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；
从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；
将确定的脸部图像集合所对应的运动轨迹进行合并处理。
轨迹跟踪方法详细步骤介绍可以参考上述方法实例的描述，这里不再赘述。
由上可知，本发明实施例提供的服务器可以对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；获取在各个视频帧中头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；将确定的脸部图像集合所对应的运动轨迹进行合并处理。由于头部特征相同人体其它部分比较固定，且发生遮挡的概率较小，对头部图像进行运动跟踪，能够获取到相较于完整人体更为准确的运动轨迹，即使跟踪中断，也能通过头部图像对应的脸部图像将中断的运动轨迹进行合并，从而达到提升运动跟踪准确性的目的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种轨迹跟踪方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种轨迹跟踪方法，其特征在于，包括：
对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；
获取在各个视频帧中所述头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；
从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；
将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。
2.如权利要求1所述的轨迹跟踪方法，其特征在于，对多个视频帧中的头部图像进行运动跟踪之前，还包括：
对所述多个视频帧进行头部检测和脸部检测，确定出各个视频帧中的头部图像以及脸部图像；
确定各个视频帧中属于相同人物的头部图像和脸部图像，并建立属于相同人物的头部图像和脸部图像之间的对应关系；
而获取在各个视频帧中所述头部图像对应的脸部图像，包括：
根据建立的所述对应关系，获取在各个视频帧中所述头部图像对应的脸部图像。
3.如权利要求2所述的轨迹跟踪方法，其特征在于，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
获取各个视频帧中确定出的各头部图像和各脸部图像之间的面积重合度；
根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
4.如权利要求3所述的轨迹跟踪方法，其特征在于，根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像，包括：
根据各个视频帧中获取到的面积重合度，对各个视频帧中的头部图像和脸部图像进行二分图最佳匹配；
确定各个视频帧中、相互匹配的头部图像和脸部图像属于相同人物。
5.如权利要求1-4任一项所述的轨迹跟踪方法，其特征在于，从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合，包括：
从头部图像对应的脸部图像集合中选取两个脸部图像集合；
获取所述两个脸部图像集合间脸部图像的相似度，得到多个相似度；
判断所述多个相似度中是否有相似度达到第一预设相似度；
在所述多个相似度中有相似度达到所述第一预设相似度时，确定所述两个脸部图像集合具有相同脸部图像。
6.如权利要求5所述的轨迹跟踪方法，其特征在于，判断所述多个相似度中是否有相似度达到第一预设相似度之后，还包括：
在所述多个相似度均未达到所述第一预设相似度时，获取所述多个相似度的平均相似度；
判断所述平均相似度是否达到第二预设相似度，其中，所述第二预设相似度小于所述第一预设相似度；
在所述平均相似度达到所述第二预设相似度时，确定所述两个脸部图像集合具有相同脸部图像。
7.如权利要求5所述的轨迹跟踪方法，其特征在于，获取所述两个脸部图像集合间脸部图像的相似度，包括：
分别从所述两个脸部图像集合中选取一个脸部图像，得到两个脸部图像；
分别获取所述两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像特征集合；
获取所述第一图像特征集合和所述第二图像特征集合的距离，并将获取到的所述距离作为所述两个脸部图像的相似度。
8.一种轨迹跟踪装置，其特征在于，包括：
运动跟踪模块，用于对多个视频帧中的头部图像进行运动跟踪，得到头部图像对应的运动轨迹；
图像获取模块，用于获取在各个视频帧中所述头部图像对应的脸部图像，得到头部图像对应的脸部图像集合；
图像确定模块，用于从头部图像对应的脸部图像集合中，确定具有相同脸部图像的至少两个脸部图像集合；
轨迹合并模块，用于将确定的脸部图像集合所对应的运动轨迹进行合并处理，得到轨迹跟踪的最终运动轨迹。
9.如权利要求8所述的轨迹跟踪装置，其特征在于，轨迹跟踪装置还包括关系建立模块，用于：
对所述多个视频帧进行头部检测和脸部检测，确定出各个视频帧中的头部图像以及脸部图像；
确定各个视频帧中属于相同人物的头部图像和脸部图像，并建立属于相同人物的头部图像和脸部图像之间的对应关系；
所述图像获取模块，具体用于：
根据所述关系建立模块建立的所述对应关系，获取在各个视频帧中所述头部图像对应的脸部图像。
10.如权利要求9所述的轨迹跟踪装置，其特征在于，所述关系建立模块，具体用于：
获取各个视频帧中确定出的各头部图像和各脸部图像之间的面积重合度；
根据各个视频帧中获取到的面积重合度，确定各个视频帧中属于相同人物的头部图像和脸部图像。
11.如权利要求10所述的轨迹跟踪装置，其特征在于，所述关系建立模块，还具体用于：
根据各个视频帧中获取到的面积重合度，对各个视频帧中的头部图像和脸部图像进行二分图最佳匹配；
确定各个视频帧中、相互匹配的头部图像和脸部图像属于相同人物。
12.如权利要求7-11任一项所述的轨迹跟踪装置，其特征在于，所述图像确定模块，具体用于：
从头部图像对应的脸部图像集合中选取两个脸部图像集合；
获取所述两个脸部图像集合间脸部图像的相似度，得到多个相似度；
判断所述多个相似度中是否有相似度达到第一预设相似度；
在所述多个相似度中有相似度达到所述第一预设相似度时，确定所述两个脸部图像集合具有相同脸部图像。
13.如权利要求12所述的轨迹跟踪装置，其特征在于，在判断所述多个相似度中是否有相似度达到第一预设相似度之后，所述图像确定模块还用于：
在所述多个相似度均未达到所述第一预设相似度时，获取所述多个相似度的平均相似度；
判断所述平均相似度是否达到第二预设相似度，其中，所述第二预设相似度小于所述第一预设相似度；
在所述平均相似度达到所述第二预设相似度时，确定所述两个脸部图像集合具有相同脸部图像。
14.如权利要求12所述的轨迹跟踪装置，其特征在于，所述图像确定模块，还具体用于：
分别从所述两个脸部图像集合中选取一个脸部图像，得到两个脸部图像；
分别获取所述两个脸部图像的多维图像特征，得到第一图像特征集合和第二图像特征集合；
获取所述第一图像特征集合和所述第二图像特征集合的距离，并将获取到的所述距离作为所述两个脸部图像的相似度。
15.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令被处理器执行时实现如权利要求1-7任一项所述的轨迹跟踪方法。
CN201810267283.4A 2018-03-28 2018-03-28 一种轨迹跟踪方法、装置和存储介质 Expired - Fee Related CN108509896B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810267283.4A CN108509896B (zh) 2018-03-28 2018-03-28 一种轨迹跟踪方法、装置和存储介质
PCT/CN2019/078529 WO2019184749A1 (zh) 2018-03-28 2019-03-18 轨迹跟踪方法、装置、计算机设备和存储介质
EP19776970.6A EP3779772B1 (en) 2018-03-28 2019-03-18 Trajectory tracking method and apparatus, and computer device and storage medium
US16/890,087 US11087476B2 (en) 2018-03-28 2020-06-02 Trajectory tracking method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810267283.4A CN108509896B (zh) 2018-03-28 2018-03-28 一种轨迹跟踪方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN108509896A true CN108509896A (zh) 2018-09-07
CN108509896B CN108509896B (zh) 2020-10-13

Family

ID=63379076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810267283.4A Expired - Fee Related CN108509896B (zh) 2018-03-28 2018-03-28 一种轨迹跟踪方法、装置和存储介质

Country Status (4)

Country Link
US (1) US11087476B2 (zh)
EP (1) EP3779772B1 (zh)
CN (1) CN108509896B (zh)
WO (1) WO2019184749A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325467A (zh) * 2018-10-18 2019-02-12 广州云从人工智能技术有限公司 一种基于视频检测结果的车辆跟踪方法
CN110211161A (zh) * 2019-05-20 2019-09-06 深兰科技（上海）有限公司 一种多摄像头轨迹重合分析的方法及装置
CN110221699A (zh) * 2019-06-13 2019-09-10 北京师范大学珠海分校 一种前置摄像头视频源的眼动行为识别方法
WO2019184749A1 (zh) * 2018-03-28 2019-10-03 腾讯科技（深圳）有限公司 轨迹跟踪方法、装置、计算机设备和存储介质
CN111239727A (zh) * 2020-02-26 2020-06-05 深圳雷研技术有限公司 一种乘客计数方法及通信设备
CN111340427A (zh) * 2020-03-02 2020-06-26 西南交通大学 一种基于轨迹数据的货车运行状态识别方法
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112001209A (zh) * 2019-05-27 2020-11-27 深圳市希科普股份有限公司 一种基于人工智能的学生课堂学习行为的监测系统
CN112232153A (zh) * 2020-09-30 2021-01-15 广东职业技术学院 一种获取目标人物的轨迹的方法及系统
WO2021051857A1 (zh) * 2019-09-18 2021-03-25 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
CN113158706A (zh) * 2020-01-07 2021-07-23 北京地平线机器人技术研发有限公司 脸部抓拍方法、装置、介质以及电子设备
CN113515982A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN115098732A (zh) * 2022-08-11 2022-09-23 腾讯科技（深圳）有限公司 数据处理方法及相关装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379683B2 (en) * 2019-02-28 2022-07-05 Stats Llc System and method for generating trackable video frames from broadcast video
CN112163503A (zh) * 2020-09-24 2021-01-01 高新兴科技集团股份有限公司 办案区人员无感轨迹生成方法、系统、存储介质及设备
CN112364714A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 人脸识别方法、装置、计算机设备和存储介质
CN114513741B (zh) * 2020-10-28 2024-01-30 华为技术有限公司 基于测量报告对终端设备进行定位的方法及装置
CN112464875A (zh) * 2020-12-09 2021-03-09 南京大学 一种视频中的人-物交互关系检测方法及装置
CN112634326A (zh) * 2020-12-17 2021-04-09 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN115053268A (zh) * 2020-12-25 2022-09-13 京东方科技集团股份有限公司 基于视频数据进行人脸注册的方法、装置和电子白板
CN112597924A (zh) * 2020-12-28 2021-04-02 深圳市金溢科技股份有限公司 电动自行车轨迹追踪方法、摄像机装置和服务器
CN113536914A (zh) * 2021-06-09 2021-10-22 重庆中科云从科技有限公司 一种对象跟踪识别方法、系统、设备及介质
CN114972434A (zh) * 2022-06-06 2022-08-30 电子科技大学 一种级联检测和匹配的端到端多目标跟踪系统
CN117671774B (zh) * 2024-01-11 2024-04-26 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464946A (zh) * 2009-01-08 2009-06-24 上海交通大学 基于头部识别和跟踪特征的检测方法
CN102324024A (zh) * 2011-09-06 2012-01-18 苏州科雷芯电子科技有限公司 一种基于目标跟踪技术的机场乘客识别定位方法及系统
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN105069408A (zh) * 2015-07-24 2015-11-18 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统
CN107610151A (zh) * 2017-08-24 2018-01-19 上海汇纳信息科技股份有限公司 行人轨迹线处理方法/系统、计算机可读存储介质及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5077164B2 (ja) * 2008-09-16 2012-11-21 オムロン株式会社 追跡装置及び追跡方法
JP5538909B2 (ja) * 2010-01-05 2014-07-02 キヤノン株式会社 検出装置およびその方法
CN104361327B (zh) * 2014-11-20 2018-09-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN106778637B (zh) * 2016-12-19 2020-01-07 江苏慧眼数据科技股份有限公司 一种对男女客流的统计方法
CN107341445A (zh) * 2017-06-07 2017-11-10 武汉大千信息技术有限公司 监控场景下行人目标的全景描述方法及系统
CN108509896B (zh) * 2018-03-28 2020-10-13 腾讯科技（深圳）有限公司 一种轨迹跟踪方法、装置和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464946A (zh) * 2009-01-08 2009-06-24 上海交通大学 基于头部识别和跟踪特征的检测方法
CN102324024A (zh) * 2011-09-06 2012-01-18 苏州科雷芯电子科技有限公司 一种基于目标跟踪技术的机场乘客识别定位方法及系统
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN105069408A (zh) * 2015-07-24 2015-11-18 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统
CN107610151A (zh) * 2017-08-24 2018-01-19 上海汇纳信息科技股份有限公司 行人轨迹线处理方法/系统、计算机可读存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苑洋 等: "面面向 不同 距离的实时人体检测与跟踪系统", 《模式识别与人工智能》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184749A1 (zh) * 2018-03-28 2019-10-03 腾讯科技（深圳）有限公司 轨迹跟踪方法、装置、计算机设备和存储介质
US11087476B2 (en) 2018-03-28 2021-08-10 Tencent Technology (Shenzhen) Company Limited Trajectory tracking method and apparatus, computer device, and storage medium
CN109325467A (zh) * 2018-10-18 2019-02-12 广州云从人工智能技术有限公司 一种基于视频检测结果的车辆跟踪方法
CN110211161A (zh) * 2019-05-20 2019-09-06 深兰科技（上海）有限公司 一种多摄像头轨迹重合分析的方法及装置
CN110211161B (zh) * 2019-05-20 2021-06-11 深兰科技（上海）有限公司 一种多摄像头轨迹重合分析的方法及装置
CN112001209A (zh) * 2019-05-27 2020-11-27 深圳市希科普股份有限公司 一种基于人工智能的学生课堂学习行为的监测系统
CN110221699A (zh) * 2019-06-13 2019-09-10 北京师范大学珠海分校 一种前置摄像头视频源的眼动行为识别方法
CN110221699B (zh) * 2019-06-13 2022-03-25 北京师范大学珠海分校 一种前置摄像头视频源的眼动行为识别方法
JP2022542668A (ja) * 2019-09-18 2022-10-06 ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
TWI747325B (zh) * 2019-09-18 2021-11-21 大陸商北京市商湯科技開發有限公司 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
JP7262659B2 (ja) 2019-09-18 2023-04-21 ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
WO2021051857A1 (zh) * 2019-09-18 2021-03-25 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
CN113158706A (zh) * 2020-01-07 2021-07-23 北京地平线机器人技术研发有限公司 脸部抓拍方法、装置、介质以及电子设备
CN111239727A (zh) * 2020-02-26 2020-06-05 深圳雷研技术有限公司 一种乘客计数方法及通信设备
CN111239727B (zh) * 2020-02-26 2020-12-29 深圳雷研技术有限公司 一种乘客计数方法及通信设备
CN111340427A (zh) * 2020-03-02 2020-06-26 西南交通大学 一种基于轨迹数据的货车运行状态识别方法
CN113515982A (zh) * 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN113515982B (zh) * 2020-05-22 2022-06-14 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN111784730A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN111784730B (zh) * 2020-07-01 2024-05-03 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112232153A (zh) * 2020-09-30 2021-01-15 广东职业技术学院 一种获取目标人物的轨迹的方法及系统
CN115098732A (zh) * 2022-08-11 2022-09-23 腾讯科技（深圳）有限公司 数据处理方法及相关装置
CN115098732B (zh) * 2022-08-11 2022-11-11 腾讯科技（深圳）有限公司 数据处理方法及相关装置
WO2024032177A1 (zh) * 2022-08-11 2024-02-15 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备、存储介质及程序产品

Also Published As

Publication number Publication date
EP3779772B1 (en) 2022-07-27
CN108509896B (zh) 2020-10-13
EP3779772A4 (en) 2021-12-15
US20200294250A1 (en) 2020-09-17
EP3779772A1 (en) 2021-02-17
WO2019184749A1 (zh) 2019-10-03
US11087476B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108509896A (zh) 一种轨迹跟踪方法、装置和存储介质
US9251424B2 (en) Assisted video surveillance of persons-of-interest
TWI749113B (zh) 在視訊監控系統中產生警示之方法、系統及電腦程式產品
WO2021143266A1 (zh) 一种活体检测方法、装置、电子设备和存储介质
CN109446981A (zh) 一种脸部活体检测、身份认证方法及装置
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
Chen et al. Discovering social interactions in real work environments
D'Orazio et al. A survey of automatic event detection in multi-camera third generation surveillance systems
Huang et al. Soft-margin mixture of regressions
Usman et al. Metapose: Fast 3d pose from multiple views without 3d supervision
Qi et al. Scene-centric joint parsing of cross-view videos
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
Guler et al. Human joint angle estimation and gesture recognition for assistive robotic vision
Dobrea et al. A face recognition system based on a Kinect sensor and Windows Azure cloud technology
Sun et al. An integral pose regression system for the ECCV2018 PoseTrack Challenge
CN109523360B (zh) 一种信息推荐方法及系统
Vaniya et al. Exploring object segmentation methods in visual surveillance for human activity recognition
CN110110620A (zh) 一种基于人脸识别的学生行为管理系统及设计方法
Calderara et al. A distributed outdoor video surveillance system for detection of abnormal people trajectories
CN113496200A (zh) 数据处理方法、装置、电子设备及存储介质
Rehman et al. Using margin-based region of interest technique with multi-task convolutional neural network and template matching for robust face detection and tracking system
Haller et al. Human activity recognition based on multiple kinects
Heath et al. Facenet: Tracking people and acquiring canonical face images in a wireless camera sensor network
Wu et al. Real-time human pose estimation: A case study in algorithm design for smart camera networks
Kira et al. Leveraging deep learning for spatio-temporal understanding of everyday environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201013