CN111753638A - 一种基于rgbd图像的行人跟踪方法及系统 - Google Patents
一种基于rgbd图像的行人跟踪方法及系统 Download PDFInfo
- Publication number
- CN111753638A CN111753638A CN202010369002.3A CN202010369002A CN111753638A CN 111753638 A CN111753638 A CN 111753638A CN 202010369002 A CN202010369002 A CN 202010369002A CN 111753638 A CN111753638 A CN 111753638A
- Authority
- CN
- China
- Prior art keywords
- human body
- target
- bounding box
- rgbd image
- joint point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 210000000323 shoulder joint Anatomy 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003108 foot joint Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于RGBD图像的行人跟踪方法，包括如下步骤：S1、获取目标区域的RGBD图像，并对所述RGBD图像进行检测，提取目标人体关节点的2D坐标以及对应的第一深度值；S2、对所述目标人体关节点进行遮挡检测，并获取被遮挡关节点的第二深度值；S3、根据所述人体关节点的2D坐标及所述第一、第二深度值构建目标人体的第一3D边界框；S4、基于所述第一3D边界框对所述目标人体进行跟踪，得到所述目标人体的ID。本发明基于RGBD图像进行实时行人跟踪，可以有效解决行人遮挡的问题；同时，利用关节点检测算法对RGBD图像进行处理获取目标关节点2D坐标，检测鲁棒性强，准确度高。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于RGBD图像的行人跟踪方法及系统。
背景技术
在计算机视觉中，目标跟踪已成为一个热门并且具有挑战性的热点问题，目标跟踪的应用也越来越广泛，例如：在智能安防、人机交互以及自动驾驶等领域，均会运用到目标跟踪技术。而人体跟踪作为目标跟踪的一个细分分支，随着计算机视觉、图像处理、机器学习等技术的发展，越来越多的基于人体的检测与跟踪的方法被提出来，这些方法目前主要是基于视觉的图像处理算法和基于深度传感器的点云处理算法。其中，基于视觉的图像处理算法主要是针对图像中的前景和后景进行分离，提取出前景及跟踪目标；而基于深度传感器的点云算法是通过获取环境的三维点云，通过对三维点云进行特征提取和匹配处理，检测跟踪目标。
但是，由于现实应用中场景的复杂性，人体跟踪过程中可能遇到各种各样的问题，如部分遮挡或者安全遮挡等，这些都将会使得跟踪结果的稳定性以及精确性受到影响。而目前的跟踪算法通常具有算法复杂度高、目标提取精度较低、存在遮挡时效果不好等问题。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种基于RGBD图像的行人跟踪方法及系统，以解决上述背景技术问题中的至少一种。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种基于RGBD图像的行人跟踪方法，包括如下步骤：
S1、获取目标区域的RGBD图像，并对所述RGBD图像进行检测，提取目标人体关节点的2D坐标以及对应的第一深度值；
S2、对所述目标人体关节点进行遮挡检测，并获取被遮挡关节点的第二深度值；
S3、根据所述人体关节点的2D坐标及所述第一、第二深度值构建目标人体的第一3D边界框；
S4、基于所述第一3D边界框对所述目标人体进行跟踪，得到所述目标人体的ID。
在一些实施例中，步骤S2中，预先设定所述关节点的置信度的阈值，判断部分关节点的置信度是否低于设定的阈值，若低于阈值，则判断为有遮挡发生，根据未出现遮挡的所述关节点的第一深度值估计出现遮挡的所述关节点的第二深度值。
在一些实施例中，所述关节点为肩部和胯部关节点；通过设定目标人体肩宽的阈值进行判断是否有遮挡，根据所述RGBD图像确定所述目标人体左肩与右肩之间的距离，若所述距离小于所述肩宽的阈值，则判断为有遮挡发生；或者，通过设定目标人体左右胯之间的距离阈值进行判断是否有遮挡，根据所述RGBD图像确定所述目标人体左胯与右胯之间的距离，若所述距离小于所述距离阈值，则判断为有遮挡发生。
在一些实施例中，当检测到有遮挡发生时，根据所述RGBD图像估计人体的身高，以进一步估计所述肩宽，根据所述肩宽确定左肩或右肩的所述第二深度值；或者，根据所述人体的身高，以进一步估计所述胯部的距离，确定所述左胯或右胯的所述第二深度值。
在一些实施例中，步骤S2中，通过基于深度直方图的遮挡检测单元检测所述目标人体关节点是否有发生遮挡。
在一些实施例中，步骤S3还包括：设定一厚度阈值,若所述第一3D边界框的厚度小于所述厚度阈值,则将人体中心的坐标(x1，y1，z1)作为所述3D边界框的中心，并沿Z轴方向上增加厚度以使所述第一3D边界框的厚度达到所述厚度阈值。
本发明实施例另一技术方案为：
一种基于RGBD图像的行人跟踪系统，包括相机拍摄模块、目标提取模块、第一3D边界框确定模块以及目标跟踪模块；其中，
所述相机拍摄模块用于获取目标区域的RGBD图像；
所述目标提取模块对所述RGBD图像进行检测，提取目标人体关节点的2D坐标以及对应的第一深度值；并对所述人体关节点进行遮挡检测，获取被遮挡关节点的第二深度值；
第一3D边界框确定模块用于根据所述人体关节点的2D坐标及所述第一、第二深度值构建第一3D边界框；
所述目标跟踪模块基于所述第一3D边界框对目标人体进行跟踪，以得到目标人体的ID。
在一些实施例中，所述目标提取模块包括有遮挡检测单元，所述遮挡检测单元基于深度直方图对所述人体关节点是否有发生遮挡进行判断。
在一些实施例中，所述目标提取模块包括有遮挡检测单元，所述遮挡检测单元根据预先设定的关节点的置信度的阈值，判断所述人体关节点的置信度是否低于所述阈值，若低于所述阈值，则判断为所述关节点有遮挡。
本发明实施例又一技术方案为：
一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时至少实现前述方案所述基于RGBD图像的行人跟踪方法。
本发明技术方案的有益效果是：
相较于现有技术，本发明基于RGBD图像进行实时行人跟踪，可以有效解决行人遮挡的问题；同时，利用关节点检测算法对RGBD图像进行处理获取目标关节点2D坐标，检测鲁棒性强，准确度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例基于RGBD图像的行人跟踪方法的流程图示。
图2是根据本发明一个实施例基于RGBD图像的行人跟踪系统的示意图。
图3是人体关节点的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1是根据本发明一实施例一种基于RGBD图像的行人跟踪方法的流程图示。为便于理解，先对RGBD图像进行简要说明，RGBD图像中的每个像素点包括R、G、B像素以及对应的深度信息(Depth信息)；其中，R、G、B像素信息构成目标场景的RGB图像；像素的深度信息D构成场景的二维像素矩阵，简称深度图。
参照图1所示，本发明实施例一种基于RGBD图像的行人跟踪方法包括如下步骤：
S1：获取目标区域的RGBD图像，并对RGBD图像进行检测，提取目标人体关节点的2D坐标以及对应的第一深度值；
其中，人体关节点主要选取人体上稳定的不易被自我遮挡的关节点，本发明实施例中，人体关节点选择肩部和胯部，具体为左肩、右肩和左胯、右胯。
具体的，利用人体关节点检测方法对RGBD图像进行检测，输出图像中人体关节点的2D坐标信息以及对应的第一深度值。在一个实施例中，可以利用openpose框架进行人体目标的多个关节点进行检测。参照图3所示，通常人体关节点包括人体的头部、四肢、胸部、腰部、腹部等部位。考虑到四肢延展性较强，若在多人情况下，不同人之间的边界框容易出现较大的交集，从而影响跟踪的性能，因此，在本发明实施例中，主要提取肩部(如：左肩301、右肩302)和胯部(如：左胯303、右胯304)的人体关节点信息用于构建3D边界框(3Dbounding box)。
S2：对目标人体关节点进行遮挡检测，并获取被遮挡关节点的第二深度值；
本发明实施例中，预先设定关节点的置信度的阈值，判断部分关节点的置信度是否低于设定的阈值，若低于阈值，则判断为有遮挡，根据未出现遮挡的所述关节点的第一深度值估计出现遮挡的所述关节点的第二深度值。
在实际目标跟踪中，通常会出现跟踪目标被遮挡的情况，或者跟踪目标侧身(相当于被自身遮挡)的情况，此时RGBD相机获取的深度图将出现误差，为有效解决行人遮挡的问题，在本发明实施例中采用估计深度值而非深度图像中采集的深度值确定检测目标的3D边界框。以肩部为例进行说明(胯部同理)，假设左肩比右肩离摄像头近，左肩处的深度值为wls，在对RGBD图像进行关节点检测中设定置信度的阈值thrers,若关节点检测中右肩的置信度小于阈值thrers，则判断右肩被遮挡。在一些实施例中，还可以通过设定行人肩宽的阈值threh进行判断是否有遮挡，根据RGBD图像可以确定目标人体左肩与右肩之间的距离，若距离小于肩宽的阈值，则认为右肩被遮挡。
具体的，当检测到有遮挡发生时，根据RGBD图像估计行人的身高进一步估计行人的肩宽，根据行人的肩宽确定右肩的深度值。根据关节点检测的结果获取目标头部和脚部关节点的像素坐标，进行坐标变换将其变换为相机坐标系下的对应坐标；其中，头部和脚部在y轴方向上的差值即为目标的身高。根据目标的身高估计该目标的肩宽ws，则右肩的深度值为wrs＝wls+ws，记为第二深度值。所述坐标变换基于人体三维重建以及确定身高估计肩宽的方法采用目前本领域技术人员已知的现有技术即可，在此不再赘述。
同理，可以根据关节点检测的置信度来判断胯部是否出现遮挡，相应的，根据目标身高估计胯部的宽度，进一步估计被遮挡的左胯或右胯的第二深度值，具体实现方式与肩部估计过程相同，在此不再重复赘述。
在一个实施例中，可以通过遮挡检测单元检测目标人体关节点是否有发生遮挡。例如，遮挡检测单元可以基于深度直方图来进行判断，因为目标人体中的深度值是连续的，对应直方图中会有一个最大值的波峰；当有遮挡发生时,深度值发生变化,直方图中将会出现新的峰值。因此，基于深度直方图可进行遮挡检测。可以理解的是，遮挡检测单元也可以基于其它检测方案进行检测，以发现目标人体关节点是否有遮挡发生。
S3：根据人体关节点的2D坐标及第一、第二深度值构建目标的第一3D边界框；
具体的，基于肩部和胯部的2D坐标以及对应的第一深度值和第二深度值得到肩部和胯部的3D坐标信息，构建出跟踪目标的3D边界框，记为第一3D边界框。可以理解的是，这里的第一深度值是未被遮挡关节点的第一深度值，在构建跟踪目标的第一3D边界框时，被遮挡的部位则不再使用深度图中获取的第一深度值，而是根据估计得到的第二深度值进行构建；而未被遮挡的部位，仍使用深度图中获取的第一深度图，根据左肩、右肩、左胯、右胯对应的第一或第二深度值构建第一3D边界框。
在一个实施例中，为了防止3D边界框过薄而无法进行后续的目标跟踪，设定3D边界框具有厚度阈值thkthi,若第一3D边界框的厚度小于厚度阈值thkthi,则将人体中心的坐标(x1，y1，z1)作为3D边界框的中心，沿Z轴的z和-z方向上增加厚度以使第一3D边界框的厚度达到该厚度阈值thkthi。其中，人体中心的坐标(x1，y1，z1)可以根据肩部和胯部的坐标采用加权平均的计算方法计算得到，权重根据关节点检测中获得的置信度确定，通过这样的计算方法可以有效减小部分关节点的置信度过低带来的误差。
S4：基于第一3D边界框对该目标人体进行跟踪，得到目标人体的ID。
具体的，基于SORT跟踪算法原理，根据第一3D边界框构建运动模型，运动模型包括第一3D边界框的中心位置、横纵比、高度以及目标在相机坐标系中对应的速度和加速度信息，其中第一3D边界框的中心位置为人体中心坐标(x1，y1，z1)。利用卡尔曼滤波估计下一帧3D边界框的位置，记为第二3D边界框。
在进行当前帧图像中的目标跟踪时，根据当前帧检测到的3D边界框与利用卡尔曼滤波估计的第二3D边界框进行匹配，根据匹配的结果获取目标的ID；其中，基于前述确定第一3D边界框的方法步骤确定当前帧检测的3D边界框，记为第三3D边界框。具体的，将当前帧检测到的全部第三3D边界框与估计得到的全部第二3D边界框进行两两匹配计算交并比(IOU)。优选地，采用匈牙利算法进行匹配计算。
若第三3D边界框与第二3D边界框匹配不成功，则说明第三3D边界框内的目标为新出现在画面内的目标，而并非前述的目标，则根据第三3D边界框建立一个新的轨迹，此时可以理解为将第三3D边界框设定为一个新的第一3D边界框，根据该3D边界框建立运动模型对该目标进行跟踪。若第三3D边界框与第二3D边界框匹配成功，则利用第三3D边界框更新轨迹，作为当前帧的第一3D边界框，重复上述的跟踪过程在下一帧图像中对目标进行跟踪。
在跟踪过程中，可能存在跟踪目标出现遮挡或者移出画面的情况。若根据匹配结果发现在当前帧图像的跟踪中未找到与第二3D边界框匹配成功的情况，则将第二3D边界框作为当前帧图像中跟踪目标的第一3D边界框，重复上述跟踪过程进行下一帧图像的跟踪，若许多帧图像的匹配中都未找到与该第二3D边界框匹配的第三3D边界框，则说明目标已经离开当前画面，则删除轨迹。其中，上述所说明的每一个轨迹即为每一个行人的ID。
作为本发明另一实施例，还提供一种基于RGBD图像的行人跟踪系统，图2是根据本发明一个实施例的基于RGBD图像的行人跟踪系统的示意图，参照图2所示，系统20包括相机拍摄模块201、目标提取模块202、第一3D边界框确定模块203、以及目标跟踪模块204。
其中，相机拍摄模块201用于获取目标区域每一帧的RGBD图像。相机拍摄模块201可以是RGBD相机，用于采集目标的RGBD图像，利用RGBD图像可以获取目标的3D坐标信息。一般地，RGBD相机包括用于采集RGB图像的彩色相机单元以及用于获取深度图像的深度相机单元，深度相机单元可以是结构光深度相机、时间飞行深度相机或者双目视觉深度相机等。RGBD图像中的每个像素点包括R、G、B像素以及对应的深度信息，其中，R、G、B像素信息构成目标场景的RGB图像；像素的深度信息(Depth信息)构成目标场景的二维像素矩阵。
目标提取模块202利用人体关节点检测方法对RGBD图像进行检测，输出图像中人体关节点的2D坐标信息以及每个关节点坐标对应的深度值。具体的，预先设定关节点的置信度的阈值，根据预设定的关节点阈值判断目标的左肩、右肩、左胯、右胯是否存在遮挡，若部分关节点置信度低于阈值，则判断该关节点出现遮挡，则根据未出现遮挡的关节点的第一深度值估计出现遮挡的关节点的第二深度值。比如右肩存在遮挡，则根据左肩的深度值以及人体的身高估计右肩的深度值，获得右肩的第二深度值。
在一些实施例中，目标提取模块202包括有遮挡检测单元(未图示)，通过遮挡检测单元检测目标人体关节点是否有发生遮挡。
第一3D边界框确定模块203根据左肩、右肩、左胯、右胯对应的2D坐标以及第一、第二深度值构建第一3D边界框。其中，这里的第一深度值是未被遮挡关节点的第一深度值，在构建跟踪目标的第一3D边界框时，被遮挡的部位则不再使用深度图中获取的第一深度值，而是采用根据估计得到的第二深度值；而未被遮挡的部位，仍使用深度图中获取的第一深度图，根据左肩、右肩、左胯、右胯对应的第一或第二深度值构建第一3D边界框。
在一个实施例中，第一3D边界框确定模块203包括有边界框厚度调节单元(未图示)，以用于根据预设的3D边界框厚度阈值调整第一3D边界框的厚度。若第一3D边界框的厚度低于厚度阈值，则以人体中心坐标点为第一3D边界框的中心点，增加第一3D边界框的厚度达到厚度阈值。人体中心坐标点的坐标根据左肩、右肩、左胯、右胯的坐标采用加权平均的算法计算得到，其中，根据关节点置信度确定关节点的权重。
目标跟踪模块204根据SORT目标跟踪算法利用第一3D边界框对目标进行跟踪得到目标的ID。根据第一帧图像中获取的第一3D边界框构建运动模型，结合卡尔曼滤波算法估计目标下一帧图像的第二3D边界框。在进行当前帧图像中的目标跟踪时，根据当前帧图像中的第三3D边界框以及预测的第二3D边界框进行匹配，根据匹配的结果获取目标的ID，其中，当前帧检测的第三3D边界框基于确定第一3D边界框的方法确定，记为第三3D边界框。
以上各模块具体执行方法如图1实施例所述，在此不再赘述。
可以理解的是，目标提取模块202、第一3D边界框确定模块203、目标跟踪模块204是从功能的角度描述系统的组成，其可以通过多种方式来实现。比如在一个实施例中，可以由处理器及存储器来实现，存储器用于存储可实现各个模块的计算机程序，处理器则通过调用存储器中的计算机程序来实现各个模块的功能；在一个实施例中，可以由专用的处理器来实现，即基于各个模块的功能设计出专门用于执行这些功能的处理器中，比如FPGA、ASIC芯片等。
本申请实施还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述实施例所述的基于RGBD图像的行人跟踪方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的基于RGBD图像的行人跟踪方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被服务器执行时，可实现上述各个方法实施例的步骤。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于RGBD图像的行人跟踪方法，其特征在于，包括如下步骤：
S1、获取目标区域的RGBD图像，并对所述RGBD图像进行检测，提取目标人体关节点的2D坐标以及对应的第一深度值；
S2、对所述目标人体关节点进行遮挡检测，并获取被遮挡关节点的第二深度值；
S3、根据所述人体关节点的2D坐标及所述第一、第二深度值构建目标人体的第一3D边界框；
S4、基于所述第一3D边界框对所述目标人体进行跟踪，得到所述目标人体的ID。
2.如权利要求1所述的基于RGBD图像的行人跟踪方法，其特征在于：步骤S2中，预先设定所述关节点的置信度的阈值，判断部分关节点的置信度是否低于设定的阈值，若低于阈值，则判断为有遮挡发生，根据未出现遮挡的所述关节点的第一深度值估计出现遮挡的所述关节点的第二深度值。
3.如权利要求2所述的基于RGBD图像的行人跟踪方法，其特征在于：所述关节点为肩部和胯部关节点；通过设定目标人体肩宽的阈值进行判断是否有遮挡，根据所述RGBD图像确定所述目标人体左肩与右肩之间的距离，若所述距离小于所述肩宽的阈值，则判断为有遮挡发生；或者,通过设定目标人体左右胯之间的距离阈值进行判断是否有遮挡，根据所述RGBD图像确定所述目标人体左胯与右胯之间的距离，若所述距离小于所述距离阈值，则判断为有遮挡发生。
4.如权利要求3所述的基于RGBD图像的行人跟踪方法，其特征在于：当检测到有遮挡发生时，根据所述RGBD图像估计人体的身高，以进一步估计所述肩宽，根据所述肩宽确定所述左肩或右肩的所述第二深度值；或者，根据所述人体的身高，以进一步估计所述胯部距离，确定所述左胯或右胯的所述第二深度值。
5.如权利要求1所述的基于RGBD图像的行人跟踪方法，其特征在于：步骤S2中，通过基于深度直方图的遮挡检测单元检测所述目标人体关节点是否有发生遮挡。
6.如权利要求1所述的基于RGBD图像的行人跟踪方法，其特征在于：步骤S3还包括：设定一厚度阈值,若所述第一3D边界框的厚度小于所述厚度阈值,则将人体中心的坐标(x1，y1，z1)作为所述3D边界框的中心，并沿Z轴方向上增加厚度以使所述第一3D边界框的厚度达到所述厚度阈值。
7.一种基于RGBD图像的行人跟踪系统，其特征在于，包括相机拍摄模块、目标提取模块、第一3D边界框确定模块以及目标跟踪模块；其中，
所述相机拍摄模块用于获取目标区域的RGBD图像；
所述目标提取模块对所述RGBD图像进行检测，提取目标人体关节点的2D坐标以及对应的第一深度值；并对所述人体关节点进行遮挡检测，获取被遮挡关节点的第二深度值；
第一3D边界框确定模块用于根据所述人体关节点的2D坐标及所述第一、第二深度值构建第一3D边界框；
所述目标跟踪模块基于所述第一3D边界框对目标人体进行跟踪，以得到目标人体的ID。
8.如权利要求7所述的基于RGBD图像的行人跟踪系统，其特征在于：所述目标提取模块包括有遮挡检测单元，所述遮挡检测单元基于深度直方图对所述人体关节点是否有发生遮挡进行判断。
9.如权利要求7所述的基于RGBD图像的行人跟踪系统，其特征在于：所述目标提取模块包括有遮挡检测单元，所述遮挡检测单元根据预先设定的关节点的置信度的阈值，判断所述人体关节点的置信度是否低于所述阈值，若低于所述阈值，则判断为所述关节点有遮挡。
10.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时至少实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010369002.3A CN111753638A (zh) | 2020-05-03 | 2020-05-03 | 一种基于rgbd图像的行人跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010369002.3A CN111753638A (zh) | 2020-05-03 | 2020-05-03 | 一种基于rgbd图像的行人跟踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111753638A true CN111753638A (zh) | 2020-10-09 |
Family
ID=72673190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010369002.3A Pending CN111753638A (zh) | 2020-05-03 | 2020-05-03 | 一种基于rgbd图像的行人跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753638A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464747A (zh) * | 2020-11-10 | 2021-03-09 | 广州富港万嘉智能科技有限公司 | 基于图像采集设备的身高检测方法及装置 |
| CN113034544A (zh) * | 2021-03-19 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种基于深度相机的人流分析方法及装置 |
| CN113361334A (zh) * | 2021-05-18 | 2021-09-07 | 山东师范大学 | 基于关键点优化和多跳注意图卷积行人重识别方法及系统 |
| WO2023005922A1 (zh) * | 2021-07-27 | 2023-02-02 | 深圳市优必选科技股份有限公司 | 人-物体场景识别方法、装置及计算机可读存储介质 |
| CN117017276A (zh) * | 2023-10-08 | 2023-11-10 | 中国科学技术大学 | 一种基于毫米波雷达的实时人体紧密边界检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107128492A (zh) * | 2017-05-05 | 2017-09-05 | 成都通甲优博科技有限责任公司 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
| US20180047175A1 (en) * | 2016-08-12 | 2018-02-15 | Nanjing Huajie Imi Technology Co., Ltd | Method for implementing human skeleton tracking system based on depth data |
| CN108572663A (zh) * | 2017-03-08 | 2018-09-25 | 通用汽车环球科技运作有限责任公司 | 目标跟踪 |
| CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
| KR20190084594A (ko) * | 2018-01-08 | 2019-07-17 | 현대모비스 주식회사 | 3차원 영상정보 기반 객체 추적 장치 및 방법 |
| CN110458863A (zh) * | 2019-06-25 | 2019-11-15 | 广东工业大学 | 一种基于rgbd与编码器融合的动态slam系统 |
| CN110619254A (zh) * | 2018-06-19 | 2019-12-27 | 海信集团有限公司 | 一种基于视差图的目标跟踪方法、装置及终端 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| US20200074228A1 (en) * | 2016-12-22 | 2020-03-05 | Robert Bosch Gmbh | Rgbd sensing based object detection system and method thereof |
-
2020
- 2020-05-03 CN CN202010369002.3A patent/CN111753638A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180047175A1 (en) * | 2016-08-12 | 2018-02-15 | Nanjing Huajie Imi Technology Co., Ltd | Method for implementing human skeleton tracking system based on depth data |
| US20200074228A1 (en) * | 2016-12-22 | 2020-03-05 | Robert Bosch Gmbh | Rgbd sensing based object detection system and method thereof |
| CN108572663A (zh) * | 2017-03-08 | 2018-09-25 | 通用汽车环球科技运作有限责任公司 | 目标跟踪 |
| CN107128492A (zh) * | 2017-05-05 | 2017-09-05 | 成都通甲优博科技有限责任公司 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
| KR20190084594A (ko) * | 2018-01-08 | 2019-07-17 | 현대모비스 주식회사 | 3차원 영상정보 기반 객체 추적 장치 및 방법 |
| CN110619254A (zh) * | 2018-06-19 | 2019-12-27 | 海信集团有限公司 | 一种基于视差图的目标跟踪方法、装置及终端 |
| CN109522793A (zh) * | 2018-10-10 | 2019-03-26 | 华南理工大学 | 基于机器视觉的多人异常行为检测与识别方法 |
| CN110458863A (zh) * | 2019-06-25 | 2019-11-15 | 广东工业大学 | 一种基于rgbd与编码器融合的动态slam系统 |
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| JUN LIU, ET AL.: "Detecting and tracking people in real time with RGB-D camera", 《PATTERN RECOGNITION LETTERS》, vol. 53, 1 February 2015 (2015-02-01) * |
| 刘今越等: "基于模型约束的人体姿态视觉识别算法研究", 《仪器仪表学报》, vol. 41, no. 4, pages 209 - 213 * |
| 周政: "基于RGBD多模态信息的行人轮廓跟踪方法研究", 《中国优秀硕士学位论文全文数据库》, 15 January 2020 (2020-01-15) * |
| 朱梦哲等: "基于三维模型的粒子滤波行人跟踪算法", 《计算机系统应用》, vol. 25, no. 11, pages 113 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464747A (zh) * | 2020-11-10 | 2021-03-09 | 广州富港万嘉智能科技有限公司 | 基于图像采集设备的身高检测方法及装置 |
| CN113034544A (zh) * | 2021-03-19 | 2021-06-25 | 奥比中光科技集团股份有限公司 | 一种基于深度相机的人流分析方法及装置 |
| CN113361334A (zh) * | 2021-05-18 | 2021-09-07 | 山东师范大学 | 基于关键点优化和多跳注意图卷积行人重识别方法及系统 |
| CN113361334B (zh) * | 2021-05-18 | 2022-07-22 | 山东师范大学 | 基于关键点优化和多跳注意图卷积行人重识别方法及系统 |
| WO2023005922A1 (zh) * | 2021-07-27 | 2023-02-02 | 深圳市优必选科技股份有限公司 | 人-物体场景识别方法、装置及计算机可读存储介质 |
| US20230030837A1 (en) * | 2021-07-27 | 2023-02-02 | Ubtech North America Research And Development Center Corp | Human-object scene recognition method, device and computer-readable storage medium |
| US11854255B2 (en) | 2021-07-27 | 2023-12-26 | Ubkang (Qingdao) Technology Co., Ltd. | Human-object scene recognition method, device and computer-readable storage medium |
| CN117017276A (zh) * | 2023-10-08 | 2023-11-10 | 中国科学技术大学 | 一种基于毫米波雷达的实时人体紧密边界检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753638A (zh) | 一种基于rgbd图像的行人跟踪方法及系统 | |
| KR101169533B1 (ko) | 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| US10260862B2 (en) | Pose estimation using sensors | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US10789719B2 (en) | Method and apparatus for detection of false alarm obstacle | |
| KR100544677B1 (ko) | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 | |
| US9672634B2 (en) | System and a method for tracking objects | |
| EP2757524A1 (en) | Depth sensing method and system for autonomous vehicles | |
| CN111829484B (zh) | 基于视觉的目标距离测算方法 | |
| CN103345751A (zh) | 一种基于鲁棒特征跟踪的视觉定位方法 | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| BR112016010089A2 (pt) | dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento | |
| Pundlik et al. | Time to collision and collision risk estimation from local scale and motion | |
| CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| KR20150074544A (ko) | 차량 검출 방법 | |
| KR101681104B1 (ko) | 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법 | |
| KR100939294B1 (ko) | 3차원 공간에서의 사람 움직임 추적 방법 및 장치 | |
| KR101207535B1 (ko) | 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법 | |
| CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
| CN111723778B (zh) | 基于MobileNet-SSD的车辆测距系统及方法 | |
| Geiger et al. | Object flow: A descriptor for classifying traffic motion | |
| Dornaika et al. | A new framework for stereo sensor pose through road segmentation and registration | |
| JP7354767B2 (ja) | 物体追跡装置および物体追跡方法 | |
| CN113723432A (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| JP3700681B2 (ja) | 走行路検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant after: Obi Zhongguang Technology Group Co., Ltd Address before: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: SHENZHEN ORBBEC Co.,Ltd. |
|
| CB02 | Change of applicant information |