CN111709974A - 基于rgb-d图像的人体跟踪方法及装置 - Google Patents

基于rgb-d图像的人体跟踪方法及装置 Download PDF

Info

Publication number
CN111709974A
CN111709974A CN202010573284.9A CN202010573284A CN111709974A CN 111709974 A CN111709974 A CN 111709974A CN 202010573284 A CN202010573284 A CN 202010573284A CN 111709974 A CN111709974 A CN 111709974A
Authority
CN
China
Prior art keywords
track
state
pedestrian
depth image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010573284.9A
Other languages
English (en)
Other versions
CN111709974B (zh
Inventor
蔡忠强
王文光
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Cloud Computing Co Ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010573284.9A priority Critical patent/CN111709974B/zh
Publication of CN111709974A publication Critical patent/CN111709974A/zh
Priority to PCT/CN2021/098724 priority patent/WO2021259055A1/zh
Application granted granted Critical
Publication of CN111709974B publication Critical patent/CN111709974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于RGB‑D图像的人体跟踪方法及装置，能够提高行人轨迹跟踪的准确性。该方法包括：将监控区域划分为目标外区域、注册区域和目标内区域；分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态；基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态；当任一行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹。

Description

基于RGB-D图像的人体跟踪方法及装置
技术领域
本发明涉及人体跟踪技术领域，尤其涉及一种基于RGB-D图像的人体跟踪方法及装置。
背景技术
在信息技术的强势驱动下，各行各业均产生巨大变革，智慧城市、智慧工业、智慧零售等概念应运而生。利用视觉技术将人们从繁重的重复性劳动中解放出来成为潮流，视频监控则是视觉技术应用的重要领域，在视频监控领域跨摄像头多目标跟踪技术(Multi-target Multi-camera tracking，MTMC tracking)是一个非常重要的研究课题，该技术可广泛应用于犯罪刑侦、仓库管理、无人购物、无人驾驶等场景下，具有较高的实用价值。
跨摄像头多目标跟踪技术主要是为了解决不同摄像头间行人的持续定位和追踪确认的问题。目前较为成熟的跨摄像头多目标跟踪技术多针对开阔场景下接近平行视角的目标进行跟踪，而实际的监控场景多受限于环境因素，如为了获取室内较大的拍摄角度，通常将摄像头安装成斜拍的角度，这样随之而来的是行人遮挡问题，进而会导致多视角下行人的姿态差异较大，这些问题会直接影响行人轨迹的跟踪质量，解决这些问题对跨摄像头多目标跟踪技术从学术研究走向实际生产具有重要意义。
发明内容
本发明的目的在于提供一种基于RGB-D图像的人体跟踪方法及装置，采用多个RGB-D深度摄像头俯拍监控区域，通过追踪行人头部的3D重心点可以避免出现人体框跟踪形变大和易遮挡的问题，提高了行人轨迹跟踪的准确性。
为了实现上述目的，本发明的第一方面提供一种基于RGB-D图像的人体跟踪方法，包括：
将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，并利用分布的多个深度摄像头俯拍实时采集深度图像；
分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；
将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态，更新的状态包括新建状态、正常状态、丢失状态和删除状态；
基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态，更新的状态包括初始状态、进入状态、注册状态和离开状态；
当任一行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹，其中x＞0，且x为整数。
优选地，分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定的方法包括：
轮询当前帧对应的各深度图像，采用RGB-D目标检测方法获取各深度图像中行人的人体框、人头框及行人所处的区域位置；
轮询各深度图像中出现的人体框面积和人头框面积，遍历每一对人体框和人头框的包含度；
基于每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定。
较佳地，基于每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定的方法包括：
根据各深度图像对应的包含度大小，利用二分图最大匹配算法筛选出每个深度图像中的人体框和人头框做初始配对；
将各深度图像对应初始配对中的包含度分别与重合度阈值比较，将包含度大于或等于重合度阈值的初始配对筛选出来做绑定确认，将包含度小于重合度阈值的初始配对筛选出来做绑定解除。
较佳地，计算行人轨迹3D重心点预测位置的方法包括：
将每个深度图像进行三维坐标转换，并计算深度图像中人头框的3D重心点；
对行人轨迹3D重心点的空间位置进行多维建模，所述模型的维度向量包括(x,y,z,h,Vx,Vy,Vz)，其中，x,y,z对应表示3D重心点的三维坐标，Vx,Vy,Vz对应表示3D重心点在对应维度坐标方向上的运动速度，h表示3D重心点所属行人的身高；
基于行人轨迹3D重心点当前的x轴坐标、y轴坐标、z轴坐标及对应在x轴方向上的运动速度Vx、y轴方向上的运动速度Vy、z轴方向上的运动速度z，分别计算当前行人轨迹3D重心点在下一帧深度图像中所处x轴方向上的预测位置、所处y轴方向上的预测位置以及所处z轴方向上的预测位置。
较佳地，将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态的方法包括：
采用卡尔曼滤波器的跟踪算法对当前帧各深度图像中对应的人头框3D重心点的实际位置进行追踪，获取3D重心点的实际位置；
遍历计算当前帧各深度图像中每个3D重心点的实际位置与每个行人轨迹3D重心点预测位置的代价度量，得到代价矩阵；
在当前帧各深度图像遍历计算完成后，基于代价矩阵采用二分图最大匹配算法筛选出各行人轨迹与当前帧每个深度图像中3D重心点实际位置的初选配对；
筛选出代价度量小于或等于代价阈值的初选配对认为配对成功，筛选出代价度量大于代价阈值的初选配对认为未配对成功；
所述未配对成功的初选配对包括剩余未配对的人头框3D重心点和剩余未配对的行人轨迹，对于当前帧各深度图像中剩余未配对且处于目标外区域的人头框3D重心点，新建一行人轨迹并将轨迹跟踪状态更新为新建状态，同时将新建行人轨迹的轨迹区域状态更新为初始状态，和/或，对于当前帧各深度图像中剩余未配对的行人轨迹，将所述行人轨迹的轨迹跟踪状态更新为丢失状态；
对配对成功的初选配对阈值过滤后，将其中配对的行人轨迹的轨迹跟踪状态更新为正常状态，同时将配对的人头框3D重心点的实际位置更新为当前行人轨迹的3D重心点位置；
对于配对的人头框3D重心点处于目标外区域且连续n帧轨迹跟踪状态均为丢失状态的行人轨迹，和/或，轨迹区域状态为离开状态的行人轨迹，和/或，轨迹跟踪状态为初始状态且连续m帧轨迹跟踪状态均为丢失状态的行人轨迹，将所述行人轨迹的轨迹跟踪状态更新为删除状态，其中，n＞0，m＞0，且n和m均为整数。
进一步地，还包括：
当行人轨迹对应的轨迹跟踪状态为删除状态时，删除该行人轨迹及其对应的底库特征数据表；
优选地，还包括：
基于各深度图像中3D重心点所处的区域位置更新每个行人轨迹的轨迹区域状态的方法包括：
遍历当前帧各深度图像中的人头框3D重心点，识别出现在目标外区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为初始状态；
遍历当前帧各深度图像中的人头框3D重心点，识别出现在注册区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为注册状态，注册并实时更新底库特征数据表；
遍历当前帧各深度图像中的人头框3D重心点，识别出现在目标内区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为进入状态；
遍历当前帧各深度图像中的人头框3D重心点，识别离开目标内区域进入目标外区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为离开状态。
优选地，判断行人轨迹的轨迹跟踪状态为丢失状态的方法包括：
识别当前帧各深度图像中的人头框3D重心点，若行人轨迹不能与任一个深度图像中的人头框3D重心点相匹配，则认为所述行人轨迹的轨迹跟踪状态为丢失状态。
与现有技术相比，本发明提供的基于RGB-D图像的人体跟踪方法具有以下有益效果：
本发明提供的基于RGB-D图像的人体跟踪方法中，将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，也就是说行人最先进入的监控区域为目标外区域，然后通过目标外区域经过注册区域进入到目标内区域，行人离开监控区域的路线与上述进入路线相反，监控区域上分布有多个俯拍的深度摄像头用于实时采集各区域的深度图像，通过轮询检测各深度图像中行人的人体框、人头框及所处区域位置，并对深度图像中同一行人的人体框和人头框互做绑定，接着根据各深度图像中人头框3D重心点的实际位置与行人轨迹的3D重心点预测位置做跟踪匹配，并根据得到的跟踪匹配结果对每个行人轨迹的轨迹跟踪状态进行更新，以及根据当前帧各深度图像中人头框的3D重心点所处的区域位置对行人轨迹的轨迹区域状态进行更新，从而在人头框的3D重心点追踪匹配正常时，采用位置信息法(人头框3D重心点的位置坐标)对行人轨迹进行更新，而在人头框的3D重心点追踪匹配失败时，也即行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID策略对丢失的行人轨迹进行匹配找回并更新。
可见，本发明采用俯拍深度图片并轮询计算的方式对头部框的3D重心点进行有效的跟踪匹配，解决了跨摄像头行人追踪过程中因遮挡导致的追踪失败问题。另外，通过设置注册区域，能够在行人进入注册区域时自动为行人注册底库特征数据表，以在基于位置坐标匹配行人轨迹失败时，自动切换至采用了深度学习的ReID策略进行行人轨迹的匹配找回，提高了轨迹跟踪结果的准确性和可靠性。
本发明的第二方面提供一种基于RGB-D图像的人体跟踪装置，应用于上述技术方案所述的基于RGB-D图像的人体跟踪方法中，所述装置包括：
分区设置单元，用于将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，并利用分布的多个深度摄像头俯拍实时采集深度图像；
检测框绑定单元，用于分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；
轨迹跟踪状态检测单元，用于将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态，更新的状态包括新建状态、正常状态、丢失状态和删除状态；
轨迹区域状态检测单元，基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态，更新的状态包括初始状态、进入状态、注册状态和离开状态；
轨迹追踪单元，当任一行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹，其中x＞0，且x为整数。
与现有技术相比，本发明提供的基于RGB-D图像的人体跟踪装置的有益效果与上述技术方案提供的基于RGB-D图像的人体跟踪方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于RGB-D图像的人体跟踪方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的基于RGB-D图像的人体跟踪方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中基于RGB-D图像的人体跟踪方法的流程示意图；
图2为图1中对当前帧各深度图像中同一行人的人体框和人头框互做绑定处理的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1，本实施例提供一种基于RGB-D图像的人体跟踪方法，包括：
将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，并利用分布的多个深度摄像头俯拍实时采集深度图像；
分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；
将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态，更新的状态包括新建状态、正常状态、丢失状态和删除状态；
基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态，更新的状态包括初始状态、进入状态、注册状态和离开状态；
当任一行人轨迹对应的轨迹跟踪状态为丢失状态且轨迹区域状态为注册状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹。
本实施例提供的基于RGB-D图像的人体跟踪方法中，将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，也就是说行人最先进入的监控区域为目标外区域，然后通过目标外区域经过注册区域进入到目标内区域，行人离开监控区域的路线与上述进入路线相反，监控区域上分布有多个俯拍的深度摄像头用于实时采集各区域的深度图像，通过轮询检测各深度图像中行人的人体框、人头框及所处区域位置，并对深度图像中同一行人的人体框和人头框互做绑定，接着根据各深度图像中人头框3D重心点的实际位置与行人轨迹的3D重心点预测位置做跟踪匹配，并根据得到的跟踪匹配结果对每个行人轨迹的轨迹跟踪状态进行更新，以及根据当前帧各深度图像中人头框的3D重心点所处的区域位置对行人轨迹的轨迹区域状态进行更新，从而在人头框的3D重心点追踪匹配正常时，采用位置信息法(人头框3D重心点的位置坐标)对行人轨迹进行更新，而在人头框的3D重心点追踪匹配失败时，也即行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID策略对丢失的行人轨迹进行匹配找回并更新。
可见，本实施例采用俯拍深度图片并轮询计算的方式对头部框的3D重心点进行有效的跟踪匹配，解决了跨摄像头行人追踪过程中因遮挡导致的追踪失败问题。另外，通过设置注册区域，能够在行人进入注册区域时自动为行人注册底库特征数据表，以在基于位置坐标匹配行人轨迹失败时，自动切换至采用了深度学习的ReID策略进行行人轨迹的匹配找回，提高了轨迹跟踪结果的准确性和可靠性。
具体实施时，上述目标外区域、注册区域和目标内区域通过在监控区域上设置3D坐标范围分界线进行划分，且注册区域属于目标内区域的一部分。目标外区域、注册区域和目标内区域的上方均设置有至少一台俯拍的深度摄像头，用于实时采集所拍区域的深度图像，通过多台深度摄像头的设置，能够实时采集多角度的深度图像。
请参阅图2，上述实施例中分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定的方法包括：
轮询当前帧对应的各深度图像，采用RGB-D目标检测方法获取各深度图像中行人的人体框、人头框及行人所处的区域位置；
轮询各深度图像中出现的人体框面积和人头框面积，遍历每一对人体框和人头框的包含度；
基于每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定。
可以理解的是，假设一共设置有k台深度摄像头，那么当前帧各深度图像就对应为当前帧一共采集的k个深度图像，通过依次计算每个深度图像中出现的人体框面积和人头框面积，并分别计算每个深度图像中两两成对的人体框和人头框的包含度，此处的两两成对包括了深度图像中人体框和人头框的全部成对组合，然后针对每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定。其中，包含度的计算方法为：将一对人体框和人头框中的重叠面积除以其中的人头框面积，得到该对人体框和人头框的包含度。
具体地，基于每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定的方法包括：
根据各深度图像对应的包含度大小，利用二分图最大匹配算法筛选出每个深度图像中的人体框和人头框做初始配对；
将各深度图像对应初始配对中的包含度分别与重合度阈值比较，将包含度大于或等于重合度阈值的初始配对筛选出来做绑定确认，将包含度小于重合度阈值的初始配对筛选出来做绑定解除。
具体实施时，采用RGB-D目标检测技术轮询检测各深度摄像头对应深度图像中行人的人体框、人头框及所处区域位置，并轮询计算各深度图像中人体框和人头框的绑定结果。根据先验知识可知，人头是人体的一部分，因此目标检测输出每个实例的人体框和人头框会具有较大的重叠度，但现有技术并不能直接输出实例的人头框和人体框的绑定结果，因此同一深度图像中的人体框和人头框的匹配问题可建模为指派问题进行绑定，本实施例采用二分图最大匹配算法(KM算法)作为指派问题的建模求解方法，并设计了一种新的代价度量方法-包含度来解决指派代价计算问题。该代价度量的计算可用如下公式表述：
Figure BDA0002550426610000101
式中Sh∩b表示检测框和人头检测框的重叠面积，Sh为人头检测框的面积，Dinclusion表示包含度值。
举例说明：假设某一深度摄像头采集的某一深度图像中存在两个人体框{Bbody1,Bbody2}和两个人头框{Bhead1,Bhead2}，总共存在4对绑定组合，遍历计算每一对人体框和人头框组合的包含度，得到包含度集合为{Dbody1head1,Dbody1head2,Dbody2head1,Dbody2head2}，KM算法的优化目标是尽可能匹配较多的人体框和人头框，同时得到匹配结果的包含度之和应尽可能大。若假设的包含度集合{Dbody1head1,Dbody1head2,Dbody2head1,Dbody2head2}对应为{0.4,0.5,0.9,0.1}，故KM算法指派的结果是Bbody1和Bhead2为同一行人的人体框和人头框，Bbody2和Bhead1为另一行人的人体框和人头框，总的代价值和1.4。
在具体实施过程中，由于检测可能存在误检人头框或人体框的情况，因此设定重合度阈值来对指派结果进行过滤，具体可由如下公式表示：
Figure BDA0002550426610000102
上述公式中，DmatchedBodyN_HeadM表示经过KM算法指派后配对的人体框BBodyN和人头框BHeadM的包含度，Filter_Thresh是包含度阈值，低于阈值的配对结果M(DmatchedBodyN_HeadM)判定为0，解除对应人体框和人头框的配对关系，高于阈值的配对结果M(DmatchedBodyN_HeadM)判定为1，作为合法输出保持配对关系。
通过上述绑定策略，可以将当前帧各深度图像中同一行人实例的人头框和人体框相互绑定，为后续的跟踪匹配提供可靠的预处理输入。
上述实施例中，计算行人轨迹3D重心点预测位置的方法包括：
将每个深度图像进行三维坐标转换，并计算深度图像中人头框的3D重心点；
对行人轨迹3D重心点的空间位置进行多维建模，所述模型的维度向量包括(x,y,z,h,Vx,Vy,Vz)，其中，x,y,z对应表示3D重心点的三维坐标，Vx,Vy,Vz对应表示3D重心点在对应维度坐标方向上的运动速度，h表示3D重心点所属行人的身高；
基于行人轨迹3D重心点当前的x轴坐标、y轴坐标、z轴坐标及对应在x轴方向上的运动速度Vx、y轴方向上的运动速度Vy、z轴方向上的运动速度z，分别计算当前行人轨迹3D重心点在下一帧深度图像中所处x轴方向上的预测位置、所处y轴方向上的预测位置以及所处z轴方向上的预测位置。
具体实施时，本实施例采用单摄像头轮询的方式进行多目标跟踪轨迹状态的更新，能够简单有效地解决了跨摄像头跟踪中重叠区域的人体去重问题。另外，由于单摄像头的深度图像为二维画面，采用预先标定好的深度摄像头的内参外参获取坐标系转换公式，将二维画面坐标RGB-D中的点转换为三维坐标点，人头框的3D重心点坐标可通过人头框深度图中的平均重心投影到三维坐标系获得。
本实施例采用3D卡尔曼滤波器对空间中人体头点运动的行人轨迹进行建模，采用一个6维空间位置状态向量(x,y,z,h,Vx,Vy,Vz)来描述行人轨迹，x,y,z分别表示行人人头3D重心点空间坐标的三个维度，h表示行人身高，Vx,Vy,Vz则表示行人在对应维度上的运动速度。通过3D卡尔曼滤波器利用下述公式可得到当前帧行人的预测位置：
xestimate＝x+Vx*t,yestimate＝y+Vy*t,zestimate＝z+Vz*t
上式中，带estimate下标的变量表示3D卡尔曼滤波器在当前帧的行人位置的预测输出，x,y,z以及Vx,Vy,Vz则是3D卡尔曼滤波器的状态参量,t表示相邻两帧所用的时间。
上述实施中，将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态的方法包括：
采用卡尔曼滤波器的跟踪算法对当前帧各深度图像中对应的人头框3D重心点的实际位置进行追踪，获取3D重心点的实际位置；
遍历计算当前帧各深度图像中每个3D重心点的实际位置与每个行人轨迹3D重心点预测位置的代价度量，得到代价矩阵；
在当前帧各深度图像遍历计算完成后，基于代价矩阵采用二分图最大匹配算法筛选出各行人轨迹与当前帧每个深度图像中3D重心点实际位置的初选配对；
筛选出代价度量小于或等于代价阈值的初选配对认为配对成功，筛选出代价度量大于代价阈值的初选配对认为未配对成功；
所述未配对成功的初选配对包括剩余未配对的人头框3D重心点和剩余未配对的行人轨迹，对于当前帧各深度图像中剩余未配对且处于目标外区域的人头框3D重心点，新建一行人轨迹并将轨迹跟踪状态更新为新建状态，同时将新建行人轨迹的轨迹区域状态更新为初始状态，和/或，对于当前帧各深度图像中剩余未配对的行人轨迹，将所述行人轨迹的轨迹跟踪状态更新为丢失状态；
对配对成功的初选配对阈值过滤后，将其中配对的行人轨迹的轨迹跟踪状态更新为正常状态，同时将配对的人头框3D重心点的实际位置更新为当前行人轨迹的3D重心点位置；
对于配对的人头框3D重心点处于目标外区域且连续n帧轨迹跟踪状态均为丢失状态的行人轨迹，和/或，轨迹区域状态为离开状态的行人轨迹，和/或，轨迹跟踪状态为初始状态且连续m帧轨迹跟踪状态均为丢失状态的行人轨迹，将所述行人轨迹的轨迹跟踪状态更新为删除状态，其中，n＞0，m＞0，且n和m均为整数。
具体实施时，3D卡尔曼滤波器的算法需根据行人轨迹在上一帧中的3D重心点的坐标位置更新算法参数，以计算下一帧配对的人头框3D重心点的预测位置。以此循环，反复更新3D卡尔曼滤波器的算法参数，实现持续对下一帧配对的人头框3D重心点位置的预测。
本实施例对上一帧各深度图像中所有的行人轨迹与当前帧各深度图像中的人头框3D重心点进行指派，指派的代价度量可以为马氏距离，利用各行人轨迹的3D重心点预测位置和当前帧各深度图像检测的人头框3D重心点实际位置计算代价矩阵，如采用KM算法作为指派算法实施最佳指派，对指派结果采用阈值过滤后得到可靠的匹配结果，对于指派成功以及通过阈值过滤的匹配结果可通过增加行人身高校验机制进一步防止行人轨迹出现误匹配的情况，最终对匹配成功的行人轨迹进行轨迹更新和状态更新。
优选地，m取3，n取大或等于5的整数，也就是说当轨迹跟踪状态为初始状态且连续3帧各深度图像中的轨迹跟踪状态均为丢失状态的行人轨迹，需将该行人轨迹视为噪音删除，当人头框3D重心点处于目标外区域且连续5帧各深度图像中的轨迹跟踪状态均为丢失状态的行人轨迹，需将该行人轨迹视为噪音删除，还有就是轨迹区域状态为离开状态的行人轨迹，需将该行人轨迹视为噪音删除，而对于其他复杂场景，如人头框3D重心点处于目标内区域，其无论连续多少帧各深度图像中的轨迹跟踪状态均为丢失状态该行人轨迹也不会被删除，而是持续进行轨迹匹配，直至匹配成功为止。这样设置主要是考虑到无人商店这种追踪场景，在目标内区域中的人不会凭空消失，而追踪失败多是因为技术问题导致，故后续还需持续追踪找回。
进一步地还包括：当行人轨迹对应的轨迹跟踪状态为删除状态时，删除该行人轨迹及其对应的底库特征数据表。
上述实施例中基于各深度图像中3D重心点所处的区域位置更新每个行人轨迹的轨迹区域状态的方法包括：
遍历当前帧各深度图像中的人头框3D重心点，识别出现在目标外区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为初始状态；
遍历当前帧各深度图像中的人头框3D重心点，识别出现在注册区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为注册状态，注册并实时更新底库特征数据表；
遍历当前帧各深度图像中的人头框3D重心点，识别出现在目标内区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为进入状态；
遍历当前帧各深度图像中的人头框3D重心点，识别离开目标内区域进入目标外区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为离开状态。
上述实施例中判断行人轨迹的轨迹跟踪状态为丢失状态的方法包括：
识别当前帧各深度图像中的人头框3D重心点，若行人轨迹不能与当前帧任一个深度图像中的人头框3D重心点相匹配，则认为所述行人轨迹的轨迹跟踪状态为丢失状态。
具体实施时，本实施例可对深度图像中所有检测到的行人轨迹进行持续跟踪，还可根据实际需求对处于不同区域位置的行人轨迹采用不同的处理策略，但考虑到深度摄像头的覆盖范围以及应用场景特点，部分深度摄像头可能会拍摄到目标外区域的行人，由于目标外区域的行人可能会对目标内区域的行人追踪产生一定的干扰，因此本实施例设计了一套行人轨迹区域状态管理策略，具体阐述如下：
1、目标外区域的行人轨迹区域状态设置为初始状态，该种状态的行人不会对其丢失轨迹进行额外处理，如不会对丢失轨迹通过ReID方式找回，处于目标外区域的剩余未配的人头框3D重心点，可以新建一行人轨迹；
2、从目标外区域进入目标内区域的行人轨迹区域状态设置为进入状态，该种状态的行人是跟踪关注的重点；
3、行人进入到注册区域后，行人的轨迹区域状态设置为注册状态，该种状态的行人会在无感知的情况下完成底库特征数据表的注册，注册完成后在目标内区域的行人轨迹始终保持为进入状态；
4、从目标内区域走到目标外区域的行人，其行人轨迹的区域状态更新为离开状态，该状态下的行人轨迹将会被删除，同时对应的底库特征数据表也会被删除，以避免对其他跟踪目标产生影响；
5、除上述正常跟踪流程外未加说明的非法行为，如行人轨迹的初始位置出现在目标内区域，可根据实际需求进行相应的报警操作。
对上述策略3需进一步说明的是，注册区域属于目标内区域的一部分，该区域仅用于实现注册行人底库特征数据表(如ReID底库图片)的功能，在完成注册行为后行人的轨迹区域状态可设置为进入状态。
本实施例中的轨迹跟踪状态分为以下四种：新建状态、正常状态、丢失状态和删除状态。行人轨迹在初始生成时其轨迹跟踪状态为新建状态，行人轨迹在连续成功跟踪m帧目标后，轨迹跟踪状态置为正常状态，正常状态下的行人轨迹不能与当前帧任一个深度图像中的人头框3D重心点相匹配时，轨迹跟踪状态设置为丢失状态，在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹，如果行人轨迹长时间找回失败，或轨迹区域状态更新为离开状态，此时将其轨迹跟踪状态设置为删除状态，该状态下会对相应的行人轨迹以及其底库特征数据表进行删除处理。
综上，本实施例在行人轨迹的初始跟踪阶段采用的是基于空间位置信息的卡尔曼滤波器进行跟踪，但由于人头重心点3D坐标估计的误差、漏检以及密集人群的遮挡干扰等问题，可能会导致目标内区域正常行走行人的行人轨迹丢失，该种情况下本实施例采用了基于深度学习特征的匹配策略对丢失的行人轨迹和无匹配的行人轨迹进行检测匹配，利用深度学习特征间的距离，如余弦距离作为代价度量，采用KM算法解决丢失的行人轨迹和无匹配的行人轨迹之间的指派问题，对指派结果采用阈值过滤得到可靠的匹配结果，以对丢失的行人轨迹和无匹配的行人轨迹进行更新。
需要说明的是，ReID主要是依靠底库特征数据表对应的特征数据以及行人轨迹数据表中行人轨迹的区域位置、行人轨迹的区域状态来实现行人跟踪的，其具体实现方案为本领域技术人员所公知的，本实施例对此不做赘述。
本实施例的应用场景十分丰富，如无人超市、智慧工厂、仓库防盗损监控等，本实施例提供的基于RGB-D图像的人体跟踪方法，保证行人在目标内区域轨迹跟踪的可靠性和持续性，同时轨迹区域状态管理为实际应用提供了扩展性强的技术支撑，能够在降低人工成本的同时提升管理效率，具有较强的应用价值和丰富的应用场景。
实施例二
本实施例提供一种基于RGB-D图像的人体跟踪装置，包括：
分区设置单元，用于将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，并利用分布的多个深度摄像头俯拍实时采集深度图像；
检测框绑定单元，用于分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；
轨迹跟踪状态检测单元，用于将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态，更新的状态包括新建状态、正常状态、丢失状态和删除状态；
轨迹区域状态检测单元，基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态，更新的状态包括初始状态、进入状态、注册状态和离开状态；
轨迹追踪单元，当任一行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹，其中x＞0，且x为整数。
与现有技术相比，本发明实施例提供的基于RGB-D图像的人体跟踪装置的有益效果与上述实施例一提供的基于RGB-D图像的人体跟踪方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于RGB-D图像的人体跟踪方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的基于RGB-D图像的人体跟踪方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于RGB-D图像的人体跟踪方法，其特征在于，包括：
将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，并利用分布的多个深度摄像头俯拍实时采集深度图像；
分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；
将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态，更新的状态包括新建状态、正常状态、丢失状态和删除状态；
基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态，更新的状态包括初始状态、进入状态、注册状态和离开状态；
当任一行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹，其中x＞0，且x为整数。
2.根据权利要求1所述的方法，其特征在于，分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定的方法包括：
轮询当前帧对应的各深度图像，采用RGB-D目标检测方法获取各深度图像中行人的人体框、人头框及行人所处的区域位置；
轮询各深度图像中出现的人体框面积和人头框面积，遍历每一对人体框和人头框的包含度；
基于每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定。
3.根据权利要求2所述的方法，其特征在于，基于每个深度图像对应的包含度采用二分图最大匹配算法筛选出每个深度图像中属于同一行人的人体框和人头框互做绑定的方法包括：
根据各深度图像对应的包含度大小，利用二分图最大匹配算法筛选出每个深度图像中的人体框和人头框做初始配对；
将各深度图像对应初始配对中的包含度分别与重合度阈值比较，将包含度大于或等于重合度阈值的初始配对筛选出来做绑定确认，将包含度小于重合度阈值的初始配对筛选出来做绑定解除。
4.根据权利要求1所述的方法，其特征在于，计算行人轨迹3D重心点预测位置的方法包括：
将每个深度图像进行三维坐标转换，并计算深度图像中人头框的3D重心点；
对行人轨迹3D重心点的空间位置进行多维建模，所述模型的维度向量包括(x,y,z,h,Vx,Vy,Vz)，其中，x,y,z对应表示3D重心点的三维坐标，Vx,Vy,Vz对应表示3D重心点在对应维度坐标方向上的运动速度，h表示3D重心点所属行人的身高；
基于行人轨迹3D重心点当前的x轴坐标、y轴坐标、z轴坐标及对应在x轴方向上的运动速度Vx、y轴方向上的运动速度Vy、z轴方向上的运动速度z，分别计算当前行人轨迹3D重心点在下一帧深度图像中所处x轴方向上的预测位置、所处y轴方向上的预测位置以及所处z轴方向上的预测位置。
5.根据权利要求4所述的方法，其特征在于，将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态的方法包括：
采用卡尔曼滤波器的跟踪算法对当前帧各深度图像中对应的人头框3D重心点的实际位置进行追踪，获取3D重心点的实际位置；
遍历计算当前帧各深度图像中每个3D重心点的实际位置与每个行人轨迹3D重心点预测位置的代价度量，得到代价矩阵；
在当前帧各深度图像遍历计算完成后，基于代价矩阵采用二分图最大匹配算法筛选出各行人轨迹与当前帧每个深度图像中3D重心点实际位置的初选配对；
筛选出代价度量小于或等于代价阈值的初选配对认为配对成功，筛选出代价度量大于代价阈值的初选配对认为未配对成功；
所述未配对成功的初选配对包括剩余未配对的人头框3D重心点和剩余未配对的行人轨迹，对于当前帧各深度图像中剩余未配对且处于目标外区域的人头框3D重心点，新建一行人轨迹并将轨迹跟踪状态更新为新建状态，同时将新建行人轨迹的轨迹区域状态更新为初始状态，和/或，对于当前帧各深度图像中剩余未配对的行人轨迹，将所述行人轨迹的轨迹跟踪状态更新为丢失状态；
对配对成功的初选配对阈值过滤后，将其中配对的行人轨迹的轨迹跟踪状态更新为正常状态，同时将配对的人头框3D重心点的实际位置更新为当前行人轨迹的3D重心点位置；
对于配对的人头框3D重心点处于目标外区域且连续n帧轨迹跟踪状态均为丢失状态的行人轨迹，和/或，轨迹区域状态为离开状态的行人轨迹，和/或，轨迹跟踪状态为初始状态且连续m帧轨迹跟踪状态均为丢失状态的行人轨迹，将所述行人轨迹的轨迹跟踪状态更新为删除状态，其中，n＞0，m＞0，且n和m均为整数。
6.根据权利要求5所述的方法，其特征在于，还包括：
当行人轨迹对应的轨迹跟踪状态为删除状态时，删除该行人轨迹及其对应的底库特征数据表。
7.根据权利要求6所述的方法，其特征在于，基于各深度图像中3D重心点所处的区域位置更新每个行人轨迹的轨迹区域状态的方法包括：
遍历当前帧各深度图像中的人头框3D重心点，识别出现在目标外区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为初始状态；
遍历当前帧各深度图像中的人头框3D重心点，识别出现在注册区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为注册状态，注册并实时更新底库特征数据表；
遍历当前帧各深度图像中的人头框3D重心点，识别出现在目标内区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为进入状态；
遍历当前帧各深度图像中的人头框3D重心点，识别离开目标内区域进入目标外区域的人头框3D重心点，将其对应行人轨迹的轨迹区域状态置为离开状态。
8.根据权利要求1所述的方法，其特征在于，判断行人轨迹的轨迹跟踪状态为丢失状态的方法包括：
识别当前帧各深度图像中的人头框3D重心点，若行人轨迹不能与任一个深度图像中的人头框3D重心点相匹配，则认为所述行人轨迹的轨迹跟踪状态为丢失状态。
9.一种基于RGB-D图像的人体跟踪装置，其特征在于，包括：
分区设置单元，用于将监控区域按照行进路线依次划分为目标外区域、注册区域和目标内区域，并利用分布的多个深度摄像头俯拍实时采集深度图像；
检测框绑定单元，用于分别检测各深度图像中行人的人体框、人头框及所处区域位置，对深度图像中同一行人的人体框和人头框互做绑定；
轨迹跟踪状态检测单元，用于将每个行人轨迹的3D重心点预测位置与各深度图像对应人头框的3D重心点实际位置做跟踪匹配，根据跟踪匹配结果更新每个行人轨迹的轨迹跟踪状态，更新的状态包括新建状态、正常状态、丢失状态和删除状态；
轨迹区域状态检测单元，基于各深度图像中3D重心点所处区域位置更新每个行人轨迹的轨迹区域状态，更新的状态包括初始状态、进入状态、注册状态和离开状态；
轨迹追踪单元，当任一行人轨迹在连续x帧深度图像中对应的轨迹跟踪状态均为丢失状态且轨迹区域状态为注册状态或进入状态时，采用ReID方式匹配找回丢失的行人轨迹并对应更新，否则根据深度图像中跟踪匹配到的人头框的3D重心点位置坐标对应更新行人轨迹，其中x＞0，且x为整数。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至8任一项所述方法的步骤。
CN202010573284.9A 2020-06-22 2020-06-22 基于rgb-d图像的人体跟踪方法及装置 Active CN111709974B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010573284.9A CN111709974B (zh) 2020-06-22 2020-06-22 基于rgb-d图像的人体跟踪方法及装置
PCT/CN2021/098724 WO2021259055A1 (zh) 2020-06-22 2021-06-07 基于 rgb-d 图像的人体跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010573284.9A CN111709974B (zh) 2020-06-22 2020-06-22 基于rgb-d图像的人体跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN111709974A true CN111709974A (zh) 2020-09-25
CN111709974B CN111709974B (zh) 2022-08-02

Family

ID=72541731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010573284.9A Active CN111709974B (zh) 2020-06-22 2020-06-22 基于rgb-d图像的人体跟踪方法及装置

Country Status (2)

Country Link
CN (1) CN111709974B (zh)
WO (1) WO2021259055A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581507A (zh) * 2020-12-31 2021-03-30 北京澎思科技有限公司 目标跟踪方法、系统及计算机可读存储介质
CN112686178A (zh) * 2020-12-30 2021-04-20 中国电子科技集团公司信息科学研究院 一种多视角目标轨迹生成方法、装置和电子设备
CN113377192A (zh) * 2021-05-20 2021-09-10 广州紫为云科技有限公司 一种基于深度学习的体感游戏跟踪方法及装置
CN113544701A (zh) * 2020-12-29 2021-10-22 商汤国际私人有限公司 关联对象的检测方法及装置
WO2021259055A1 (zh) * 2020-06-22 2021-12-30 苏宁易购集团股份有限公司 基于 rgb-d 图像的人体跟踪方法及装置
CN113963375A (zh) * 2021-10-20 2022-01-21 中国石油大学(华东) 一种基于区域的多特征匹配速滑运动员多目标跟踪方法
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法
WO2022126668A1 (zh) * 2020-12-15 2022-06-23 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
CN114708304A (zh) * 2022-06-06 2022-07-05 苏州浪潮智能科技有限公司 一种跨摄像头的多目标追踪方法、装置、设备及介质
WO2022144601A1 (en) * 2020-12-29 2022-07-07 Sensetime International Pte. Ltd. Method and apparatus for detecting associated objects
WO2022144600A1 (en) * 2020-12-29 2022-07-07 Sensetime International Pte. Ltd. Object detection method and apparatus, and electronic device
WO2022193516A1 (zh) * 2021-03-19 2022-09-22 奥比中光科技集团股份有限公司 一种基于深度相机的人流分析方法及装置
CN116528062A (zh) * 2023-07-05 2023-08-01 合肥中科类脑智能技术有限公司 多目标追踪方法
WO2024004197A1 (ja) * 2022-07-01 2024-01-04 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972417B (zh) * 2022-04-02 2023-06-30 江南大学 动态轨迹质量量化和特征重规划的多目标跟踪方法
CN115019241B (zh) * 2022-08-05 2022-11-01 江西中业智能科技有限公司 一种行人识别与追踪方法、装置、可读存储介质及设备
CN115994925B (zh) * 2023-02-14 2023-09-29 成都理工大学工程技术学院 一种基于关键点检测的多行人快速跟踪方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120308116A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Head rotation tracking from depth-based center of mass
CN103400106A (zh) * 2012-06-22 2013-11-20 微软公司 用基于深度的跟踪来生成和更新数据库的自学习面部识别
CN104751491A (zh) * 2015-04-10 2015-07-01 中国科学院宁波材料技术与工程研究所 一种人群跟踪及人流量统计方法及装置
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program
CN107180435A (zh) * 2017-05-09 2017-09-19 杭州电子科技大学 一种适用于深度图像的人体目标跟踪方法
US20170337692A1 (en) * 2015-01-27 2017-11-23 Apical Ltd Method, system and computer program product for automatically altering a video stream
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN109146923A (zh) * 2018-07-13 2019-01-04 高新兴科技集团股份有限公司 一种目标跟踪丢断帧的处理方法及系统
CN109583373A (zh) * 2018-11-29 2019-04-05 成都索贝数码科技股份有限公司 一种行人重识别实现方法
CN109919974A (zh) * 2019-02-21 2019-06-21 上海理工大学 基于r-fcn框架多候选关联的在线多目标跟踪方法
CN110490161A (zh) * 2019-08-23 2019-11-22 安徽农业大学 一种基于深度学习的圈养动物行为分析方法
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
CN111079600A (zh) * 2019-12-06 2020-04-28 长沙海格北斗信息技术有限公司 多摄像头的行人识别方法及识别系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN110443116B (zh) * 2019-06-19 2023-06-20 平安科技（深圳）有限公司 视频行人检测方法、装置、服务器及存储介质
CN111709974B (zh) * 2020-06-22 2022-08-02 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120308116A1 (en) * 2011-06-06 2012-12-06 Microsoft Corporation Head rotation tracking from depth-based center of mass
CN103400106A (zh) * 2012-06-22 2013-11-20 微软公司 用基于深度的跟踪来生成和更新数据库的自学习面部识别
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program
US20170337692A1 (en) * 2015-01-27 2017-11-23 Apical Ltd Method, system and computer program product for automatically altering a video stream
CN104751491A (zh) * 2015-04-10 2015-07-01 中国科学院宁波材料技术与工程研究所 一种人群跟踪及人流量统计方法及装置
CN107180435A (zh) * 2017-05-09 2017-09-19 杭州电子科技大学 一种适用于深度图像的人体目标跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN109146923A (zh) * 2018-07-13 2019-01-04 高新兴科技集团股份有限公司 一种目标跟踪丢断帧的处理方法及系统
CN109583373A (zh) * 2018-11-29 2019-04-05 成都索贝数码科技股份有限公司 一种行人重识别实现方法
CN109919974A (zh) * 2019-02-21 2019-06-21 上海理工大学 基于r-fcn框架多候选关联的在线多目标跟踪方法
CN110490161A (zh) * 2019-08-23 2019-11-22 安徽农业大学 一种基于深度学习的圈养动物行为分析方法
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
CN111079600A (zh) * 2019-12-06 2020-04-28 长沙海格北斗信息技术有限公司 多摄像头的行人识别方法及识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘磊: "基于深度图像序列的行人检测与统计方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》, no. 07, 15 July 2017 (2017-07-15), pages 1 - 65 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259055A1 (zh) * 2020-06-22 2021-12-30 苏宁易购集团股份有限公司 基于 rgb-d 图像的人体跟踪方法及装置
WO2022126668A1 (zh) * 2020-12-15 2022-06-23 中电海康集团有限公司 一种公共场所行人识别方法及人流统计系统
CN113544701A (zh) * 2020-12-29 2021-10-22 商汤国际私人有限公司 关联对象的检测方法及装置
WO2022144601A1 (en) * 2020-12-29 2022-07-07 Sensetime International Pte. Ltd. Method and apparatus for detecting associated objects
WO2022144600A1 (en) * 2020-12-29 2022-07-07 Sensetime International Pte. Ltd. Object detection method and apparatus, and electronic device
CN112686178A (zh) * 2020-12-30 2021-04-20 中国电子科技集团公司信息科学研究院 一种多视角目标轨迹生成方法、装置和电子设备
CN112581507A (zh) * 2020-12-31 2021-03-30 北京澎思科技有限公司 目标跟踪方法、系统及计算机可读存储介质
WO2022193516A1 (zh) * 2021-03-19 2022-09-22 奥比中光科技集团股份有限公司 一种基于深度相机的人流分析方法及装置
CN113377192A (zh) * 2021-05-20 2021-09-10 广州紫为云科技有限公司 一种基于深度学习的体感游戏跟踪方法及装置
CN113963375A (zh) * 2021-10-20 2022-01-21 中国石油大学(华东) 一种基于区域的多特征匹配速滑运动员多目标跟踪方法
CN114240997A (zh) * 2021-11-16 2022-03-25 南京云牛智能科技有限公司 一种智慧楼宇在线跨摄像头多目标追踪方法
CN114708304A (zh) * 2022-06-06 2022-07-05 苏州浪潮智能科技有限公司 一种跨摄像头的多目标追踪方法、装置、设备及介质
WO2023236514A1 (zh) * 2022-06-06 2023-12-14 苏州元脑智能科技有限公司 一种跨摄像头的多目标追踪方法、装置、设备及介质
WO2024004197A1 (ja) * 2022-07-01 2024-01-04 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
CN116528062A (zh) * 2023-07-05 2023-08-01 合肥中科类脑智能技术有限公司 多目标追踪方法
CN116528062B (zh) * 2023-07-05 2023-09-15 合肥中科类脑智能技术有限公司 多目标追踪方法

Also Published As

Publication number Publication date
WO2021259055A1 (zh) 2021-12-30
CN111709974B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN111709974B (zh) 基于rgb-d图像的人体跟踪方法及装置
US11887318B2 (en) Object tracking
CN109163722B (zh) 一种仿人机器人路径规划方法及装置
CN107851318A (zh) 用于对象跟踪的系统和方法
CN101344965A (zh) 基于双目摄像的跟踪系统
CN110751674A (zh) 多目标跟踪方法及相应视频分析系统
JPH07336669A (ja) ステレオ画像対応付け方法およびステレオ画像視差計測方法
CN101794384A (zh) 一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法
CN103729861A (zh) 一种多目标跟踪方法
CN115131420A (zh) 基于关键帧优化的视觉slam方法及装置
CN106228570A (zh) 一种真值数据确定方法和装置
Avraham et al. Empnet: Neural localisation and mapping using embedded memory points
Arsic et al. Applying multi layer homography for multi camera person tracking
Prokaj et al. Using 3d scene structure to improve tracking
Lira et al. A computer-vision approach to traffic analysis over intersections
Funde et al. Object detection and tracking approaches for video surveillance over camera network
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
CN109344712B (zh) 一种道路车辆跟踪方法
Kyrkou C 3 Net: end-to-end deep learning for efficient real-time visual active camera control
Amer Voting-based simultaneous tracking of multiple video objects
LaLonde et al. Fully convolutional deep neural networks for persistent multi-frame multi-object detection in wide area aerial videos
CN106023252A (zh) 一种基于oab算法的多摄像机人体跟踪方法
CN114137512B (zh) 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN115731287A (zh) 基于集合与拓扑空间的运动目标检索方法
CN113744302B (zh) 动态目标行为预测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant