CN111738075A - 一种基于行人检测的关节点跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于行人检测的关节点跟踪方法，包括步骤：S1、获取目标区域的RGB图像，并对所述RGB图像进行检测以确定所述目标区域中行人的第一2D边界框以及关节点坐标；S2、根据步骤S1中确定的所述关节点坐标，利用所述关节点的连接关系以确定所述关节点是否属于同一个人，并根据所述关节点坐标计算所述关节点的第一2D矩形框；S3、根据步骤S1中所获得的第一2D边界框对行人进行跟踪，得到行人的id；S4、根据步骤S3中所获得的行人的id确定关节点的id。本发明可以同时进行行人检测和关节点检测，最终实现关节点的跟踪。

Description

一种基于行人检测的关节点跟踪方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于行人检测的关节点跟踪方法及系统。

背景技术

计算机视觉技术在运动捕捉、动画制作、智能监控、医学治疗等方面有很重要的作用。因而行人检测和关节点检测成为计算机视觉领域的一个重要研究课题。但是，目前的算法对行人检测和关节点检测这两个问题都是分开解决的；比如，首先针对视频帧进行行人检测，根据行人检测的中间结果得到每个行人的位置(通常用行人框bounding-box，bbox表示)，然后通过对行人框内部的内容进行分析，得出每个行人的关节点数据。由于这两个问题被分开解决，所以行人检测的中间结果不能辅助关节点检测，并且这种方法需要使用两个模型来进行分析处理，从而导致计算量增大。

除此外，还有的方法是通过计算关节点的外接矩形来代替行人检测。然而，由于关节点检测和行人检测两个任务不是完全等价的，若直接用一个任务的结果计算另一个任务的结果，如此会导致检测的准确性不高。

其次，通常针对上述的检测方法会通过搭建网络明确要学习的参数，根据数据集训练学习参数，并根据这些参数进行推理检测，但是现有的数据集一般只适合单任务。比如，行人检测数据集一般没有骨架标注，而数据集的完善会直接影响后续的检测速度、精度等方面。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的目的在于提供一种基于行人检测的关节点跟踪方法及系统，以解决上述背景技术问题中的至少一种问题。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种基于行人检测的关节点跟踪方法，包括如下步骤：

S1、获取目标区域的RGB图像，并对所述RGB图像进行检测以确定所述目标区域中行人的第一2D边界框以及关节点坐标；

S2、根据步骤S1中确定的所述关节点坐标，利用所述关节点的连接关系以确定所述关节点是否属于同一个人，并根据所述关节点坐标计算所述关节点的第一2D矩形框；

S3、根据步骤S1中所获得的第一2D边界框对行人进行跟踪，得到行人的id；

S4、根据步骤S3中所获得的行人的id确定关节点的id。

在一些实施例中，步骤S1中,利用特征提取方法提取所述RGB图像中的全局特征，根据所述全局特征输出行人检测信息和关节点的坐标信息。

在一些实施例中，步骤S3包括:利用所述第一2D边界框构建运动模型，估算下一帧图像中目标行人的第二2D边界框；将估算的所述第二2D边界框与检测到的下一帧图像中目标行人的2D边界框进行匹配；根据匹配结果确定行人的id。

在一些实施例中，步骤S4中，将所述第一2D边界框与所述第一2D矩形框进行匹配，并根据匹配结果利用所述行人的id确定所述关节点的id。

在一些实施例中，通过匹配计算同一帧时刻行人的所述第一2D边界框与关节点的所述第一2D矩形框的交并比，根据匹配结果将行人的所述第一2D边界框与关节点的所述第一2D矩形框进行关联，将每一个行人的id对应每一组关节点的id，从而完成关节点的跟踪。

在一些实施例中，采用共同训练的方法获取行人检测学习参数和关节点检测学习参数，以利用所述RGB图像确定行人的所述第一2D边界框和所述关节点坐标；或者，采用分步训练方法获取行人检测学习参数和关节点检测学习参数，以利用所述RGB图像确定行人的所述第一2D边界框和所述关节点坐标。

本发明实施例另一技术方案为：

一种基于行人检测的关节点跟踪系统，包括：相机拍摄模块、目标提取模块、边框确定模块、目标跟踪与匹配模块、以及关联模块；其中，所述相机拍摄模块用于获取目标区域的RGB图像；所述目标提取模块用于提取所述RGB图像中的全局特征，根据所述全局特征输出行人检测信息和关节点的坐标信息；所述边框确定模块用于根据所述行人检测信息和所述关节点的坐标信息确定行人的第一2D边界框和关节点的第一2D矩形框；所述目标跟踪与匹配模块基于所述第一2D边界框对目标行人进行跟踪，得到行人的id；所述关联模块用于根据所述行人的id确定所述关节点的id。

在一些实施例中，所述目标跟踪与匹配模块利用行人的所述第一2D边界框与关节点的所述第一2D矩形框进行匹配计算，并将匹配结果传输至所述关联模块。

在一些实施例中，所述关联模块根据所述匹配结果将行人的所述第一2D边界框与关节点的所述第一2D矩形框进行关联，根据行人的id确定关节点的id。

本发明实施例又一技术方案为：

一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述任一技术方案所述的方法。

本发明技术方案的有益效果是：

相较于现有技术，本发明通过单模型多任务网络结构可以同时进行行人检测和关节点检测，最终实现关节点的跟踪，且通过这种网络结构设计一种训练方法，能够适应该网络结构，完成网络参数的学习。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例基于行人检测的关节点跟踪方法的流程图示。

图2是根据本发明一个实施例基于行人检测的关节点跟踪系统的示意图。

图3是人体关节点的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1是根据本发明一实施例一种基于行人检测的关节点跟踪方法的流程图示。为便于理解，先对RGB图像进行简要说明，RGB图像中的每个像素点包括R、G、B像素；其中，R、G、B像素信息构成目标区域的RGB图像。

参照图1所示，本发明实施例一种基于行人检测的关节点跟踪方法包括如下步骤：

S1、获取目标区域的RGB图像，并对所述RGB图像进行检测以确定所述目标区域中行人的第一2D边界框以及关节点坐标；

具体地，利用特征提取方法，比如：采用ResNet方法提取RGB图像中的全局特征，根据全局特征输出行人检测信息和关节点的坐标信息。在一个实施例中，根据行人检测信息(比如，坐标信息)，可以确定行人的第一2D边界框(bounding-box)，并参考OpenPose框架对人体目标的多个关节点进行检测以获取关节点的坐标信息。为便于理解，下面对OpenPose框架进行简要说明，OpenPose中包含对人脸关键点的定位、人手的关键点的定位以及人身体的各个关节的定位，因此OpenPose可以实现人的面部表情、躯干和四肢甚至手指的跟踪，且不仅适用于单人也适用于多人的情形。参照图3所示，通常人体关节点包括人体的鼻子300、脖子301、左肩关节302、右肩关节303、左肘关节304、右肘关节305、左腕关节306、右腕关节307、左臀部308、右臀部309、左膝关节310、右膝关节311、左踝关节312、以及右踝关节313等。

S2、根据步骤S1中确定的关节点坐标，利用所述关节点的连接关系以确定所述关节点是否属于同一个人，并根据所述关节点坐标计算所述关节点的第一2D矩形框；

可以理解的是，随着目标区域中人体数量增加，RGB图像中会出现多人的情况，从而会导致出现人体关节点连接错误的问题。比如，RGB图像中同时出现人体A目标和人体B目标，A目标的左肘关节匹配到了B目标的左腕关节，从而导致B目标的左肘关节无匹配项。而正确的匹配关系应该是A目标的左肘关节匹配A目标的左腕关节，B目标的左肘关节匹配B目标的左腕关节。这种现象随着目标RGB图像中人体数量的增多而出现的概率往往还会增大。因此，本发明实施例中利用关节点的连接关系以确定这些关节点是否属于同一个人，并基于步骤S1所获得的关节点的坐标信息计算关节点的第一2D矩形框，以便后续进行人体匹配。

S3、根据步骤S1中所获得的第一2D边界框对行人进行跟踪，得到行人id；

在本发明实施例中，利用目标跟踪方法根据第一2D边界框对行人进行跟踪，得到行人的id。具体的，利用第一2D边界框构建运动模型，估算下一帧图像中目标行人的第二2D边界框，将所估算的第二2D边界框与检测到的下一帧图像中目标行人的2D边界框进行匹配，根据匹配结果确定行人的id。

下面以基于SORT跟踪算法原理的跟踪方法进行详细说明，在第一帧(T1帧)时刻基于步骤S1获取目标行人的第一2D边界框，根据该第一2D边界框构建运动模型，运动模型包括有第一2D边界框的中心位置、横纵比、高度以及目标行人在相机坐标系中对应的速度和加速度信息；其中，第一2D边界框的中心位置为人体中心坐标(x1，y1)。利用卡尔曼滤波算法估算在第二帧(T2帧)时刻目标行人的2D边界框的位置，记为第二2D边界框。

将T2帧时刻检测到的目标行人的2D边界框与利用卡尔曼滤波估计的第二2D边界框进行匹配；其中，通过步骤S1确定T2帧时刻目标行人的2D边界框，为方面描述，将T2帧时刻检测到的目标行人的2D边界框记为第三2D边界框。具体的，将T2帧时刻检测到的全部第三2D边界框与利用卡尔曼滤波算法估算得到的全部第二2D边界框进行两两匹配计算交并比(Intersection-over-Union，IoU)，并根据IOU确定目标行人的下一帧跟踪的边界框。其中，交并比为两个框面积的交集和并集的比值，即两个框的交叠率，在完全重叠的情况下，比值为1。优选地，在本发明实施例中，采用匈牙利算法进行匹配计算IOU。

在T2帧时刻，若第三2D边界框与第二2D边界框匹配不成功，则说明第三2D边界框内的目标是新出现在画面内，而并非前述的目标，则根据第三2D边界框建立一个新的候选轨迹，如果该候选轨迹在后续的T3…Tn帧时刻中的若干帧都匹配成功，则确定为新的轨迹，否则丢弃该候选轨迹。若确定为新的轨迹，则将该第三2D边界框设定为一个新的第一2D边界框，根据该2D边界框建立运动模型对目标行人进行跟踪。若第三2D边界框与第二2D边界框匹配成功，则利用该第三2D边界框更新轨迹，以该第三2D边界框作为目标在T2帧时刻的第一2D边界框，重复上述的跟踪过程在后续帧图像中对该目标进行跟踪。

需要说明的是，在跟踪过程中，可能存在跟踪目标出现遮挡或者移出画面的情况。若根据匹配结果发现在T2帧时刻的图像跟踪中未找到与第二2D边界框匹配成功的情况，则将第二2D边界框作为T2帧时刻图像中目标的第一2D边界框，重复上述跟踪过程进行下一帧图像的跟踪。若在T3…Tn帧时刻图像中都未找到与该第二2D边界框匹配的第三2D边界框，说明目标已经离开当前画面，则删除轨迹。

其中，上述所说的轨迹即为行人的id。

S4、根据步骤S3中获得的行人的id确定关节点的id。

对RGB图像进行检测以获取到关节点的第一2D矩形框，利用行人的第一2D边界框与关节点的第一2D矩形框进行两两匹配计算IOU。优选地，采用匈牙利算法进行匹配计算IOU。具体的，在T1帧时刻获取目标区域的RGB图像，并对该RGB图像进行检测以获取行人的第一2D边界框和关节点的第一矩形框。可以理解的是，当RGB图像中存在多个行人时，就会存在多个行人的第一2D边界框和多个关节点第一2D矩形框，根据步骤S3可以确定多个行人的id，然而却无法确定关节点的id。因此，通过匹配计算在同一帧时刻行人的第一2D边界框与关节点的第一2D矩形框的IOU，根据匹配结果将行人的第一2D边界框与关节点的第一2D矩形框进行关联，将每一个行人的id对应每一组关节点的id，从而完成关节点的跟踪。

在一些实施例中，对输入的RGB图像进行检测提取行人的第一2D边界框以及关节点坐标需要通过搭建网络明确要学习的参数，根据数据集训练学习参数，然后根据这些参数实现推理检测。

在一个实施例中，采用共同训练的方法获取行人检测学习参数和关节点检测学习参数，以利用RGB图像确定行人的第一2D边界框和所述关节点坐标。其中，训练数据包含图片和标记文件，标注包含行人检测边界框数据集(记为dataset1)和关节点坐标数据集(记为dataset2)两个部分，在读取数据集时增加一个读入标志，用于记录数据属于行人检测数据集或者关节点检测数据集。比如：输入一张RGB图像，首先增加一个读入标值d，d可以记录该数据属于dataset1还是dataset2，对于训练中的每一个数据，若数据来自dataset1，则关节点检测的损失函数(loss)权重设置为0；若数据来自dataset2，则行人检测的loss权重设置为0。假设数据属于dataset1，则输入RGB图像以及行人检测边界框信息，比如(x，y，w，h)以确定RGB图像中行人的边界框，网络根据该RGB图像可推理一个(x1，y1，w1，h1)。

同样的，假设数据属于dataset2，则输入RGB图像中各关节点的坐标标注，比如：输入其中一个关节点坐标为(x，y)，则网络根据该RGB图像可推理该关节点坐标为(x1，y1)。可以理解的是，根据需要训练的关节点数量人为赋予相应数量关节点的坐标标注，网络根据RGB图像即可推理出这些关节点的坐标。

由于数据集训练较少，网络推理出来的边界框信息和关节点坐标可能损失函数(loss)很大，因此，可以通过大量训练数据集减小loss以完成卷积神经网络学习，当训练足够多次迭代后，loss趋向稳定，则认为数据训练完成。

在另一个实施例中，采用分步训练方法获取行人检测学习参数和关节点检测学习参数，以利用所述RGB图像确定行人的第一2D边界框和关节点坐标。其中，训练数据包含图片和标记文件，标注包含行人检测边界框(记为dataset1)和关节点坐标(记为dataset2)两个部分。比如：先通过dataset2训练主干网络和关节点分支的网络参数，以完成关节点坐标的网络学习；然后固定该关节点分支的网络参数，通过dataset1训练主干网络和行人检测分支网络的参数，以完成行人检测边界框的网络学习；最后根据第二步中的固定的主干网络和行人检测分支的网络参数，再次训练关节点分支的网络参数，能够得到更优的关节点分支的网络参数，从而完成主干网络、行人检测分支和关节点分支的网络参数学习。可以理解的是，当训练足够多次迭代后，loss趋向稳定，则可认为数据训练完成。

图2是根据本发明一个实施例基于行人检测的关节点跟踪系统，系统20包括相机拍摄模块201、目标提取模块202、边框确定模块203、目标跟踪与匹配模块204、以及关联模块205。

其中，相机拍摄模块201用于获取目标区域每一帧的RGB图像，相机拍摄模块为RGB相机，用于采集目标的RGB图像，利用RGB图像获取目标的2D坐标信息。

目标提取模块202利用特征提取方法提取RGB图像中的全局特征，比如：采用ResNet方法提取RGB图像中的全局特征，根据全局特征输出行人检测信息和关节点坐标信息。

边框确定模块203根据行人检测信息和关节点坐标信息确定行人的第一2D边界框和关节点的第一2D矩形框。随着目标区域中人体数量增加，RGB图像中会出现多人的情况，从而会导致出现人体关节点连接错误的问题。比如，RGB图像中同时出现人体A目标和人体B目标，A目标的左肘关节匹配到了B目标的左腕关节，从而导致B目标的左肘关节无匹配项。而正确的匹配关系应该是A目标的左肘关节匹配A目标的左腕关节，B目标的左肘关节匹配B目标的左腕关节。这种现象随着目标RGB图像中人体数量的增多而出现的概率往往还会增大。因此，本发明实施例中利用关节点的连接关系以确定这些关节点是否属于同一个人，以确定行人的第一2D边界框和关节点的第一2D矩形框，便于后续进行人体匹配。

目标跟踪与匹配模块204利用目标跟踪算法根据第一2D边界框对目标进行跟踪得到目标的id。具体的，根据第一帧(即T1帧)图像中获取的第一2D边界框构建运动模型，结合卡尔曼滤波算法估计目标T2帧时刻图像的第二2D边界框。在进行T2帧时刻图像中的目标跟踪时，根据T2帧时刻图像中的第三2D边界框以及预测的第二2D边界框进行匹配计算IOU，优选地，采用匈牙利算法进行匹配计算IOU，并根据匹配结果得到目标的id。其中，T2帧时刻检测的第三2D边界框和确定第一2D边界框的方法相同。

在本发明实施例中，目标跟踪与匹配模块204利用行人的第一2D边界框与关节点的第一2D矩形框进行两两匹配计算IOU，优选地，采用匈牙利算法进行匹配计算IOU。由于目标跟踪模块203可以确定行人的id，却无法确定关节点的id。因此，通过匹配计算在同一帧时刻行人的第一2D边界框与关节点的第一2D矩形框的IOU，并将匹配结果传输至关联模块205。

关联模块205根据匹配结果将行人的第一2D边界框与关节点的第一2D矩形框进行关联，根据行人的id确定关节点的id，且每一组关节点坐标对应一个行人的id，从而完成关节点的跟踪。

以上各模块具体的执行方法内容如图1所述，在此就不再赘述。在本发明实施例中，目标提取模块202、边框确定模块203、目标跟踪与匹配模块204、关联模块205是从功能的角度描述系统的组成，其可以通过多种方式来实现。比如，在一个实施例中，可以由处理器及存储器来实现，存储器用于存储可实现各个模块的计算机程序，处理器则通过调用存储器中的计算机程序来实现各个模块的功能。

在另一个实施例中，可以由专用的处理器来实现，即基于各个模块的功能设计出专门用于执行这些功能的处理器，比如FPGA\ASIC芯片等。

本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的基于行人检测的关节点跟踪方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。

本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的基于行人检测的关节点跟踪方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被服务器执行时，可实现上述各个方法实施例的步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于行人检测的关节点跟踪方法，其特征在于，包括如下步骤：

S1、获取目标区域的RGB图像，并对所述RGB图像进行检测以确定所述目标区域中行人的第一2D边界框以及关节点坐标；

S2、根据步骤S1中确定的所述关节点坐标，利用所述关节点的连接关系以确定所述关节点是否属于同一个人，并根据所述关节点坐标计算所述关节点的第一2D矩形框；

S3、根据步骤S1中所获得的第一2D边界框对行人进行跟踪，得到行人的id；

S4、根据步骤S3中所获得的行人的id确定关节点的id。

2.如权利要求1所述的基于行人检测的关节点跟踪方法，其特征在于：在步骤S1中,利用特征提取方法提取所述RGB图像中的全局特征，根据所述全局特征输出行人检测信息和关节点的坐标信息。

3.如权利要求1所述的基于行人检测的关节点跟踪方法，其特征在于：步骤S3中包括:

利用所述第一2D边界框构建运动模型，估算下一帧图像中目标行人的第二2D边界框；

将估算的所述第二2D边界框与检测到的下一帧图像中目标行人的2D边界框进行匹配；

根据匹配结果确定行人的id。

4.如权利要求1所述的基于行人检测的关节点跟踪方法，其特征在于：步骤S4中，将所述第一2D边界框与所述第一2D矩形框进行匹配，并根据匹配结果利用所述行人的id确定所述关节点的id。

5.如权利要求4所述的基于行人检测的关节点跟踪方法，其特征在于：通过匹配计算同一帧时刻行人的所述第一2D边界框与关节点的所述第一2D矩形框的交并比，根据匹配结果将行人的所述第一2D边界框与关节点的所述第一2D矩形框进行关联，将每一个行人的id对应每一组关节点的id，从而完成关节点的跟踪。

6.如权利要求1所述的基于行人检测的关节点跟踪方法，其特征在于：采用共同训练的方法获取行人检测学习参数和关节点检测学习参数，以利用所述RGB图像确定行人的所述第一2D边界框和所述关节点坐标；或者，

采用分步训练方法获取行人检测学习参数和关节点检测学习参数，以利用所述RGB图像确定行人的所述第一2D边界框和所述关节点坐标。

7.一种基于行人检测的关节点跟踪系统，其特征在于，包括：相机拍摄模块、目标提取模块、边框确定模块、目标跟踪与匹配模块、以及关联模块；其中，

所述相机拍摄模块用于获取目标区域的RGB图像；

所述目标提取模块用于提取所述RGB图像中的全局特征，根据所述全局特征输出行人检测信息和关节点的坐标信息；

所述边框确定模块用于根据所述行人检测信息和所述关节点的坐标信息确定行人的第一2D边界框和关节点的第一2D矩形框；

所述目标跟踪与匹配模块基于所述第一2D边界框对目标行人进行跟踪，得到行人的id；

所述关联模块用于根据所述行人的id确定所述关节点的id。

8.如权利要求7所述的基于行人检测的关节点跟踪系统，其特征在于：所述目标跟踪与匹配模块利用行人的所述第一2D边界框与关节点的所述第一2D矩形框进行匹配计算，并将匹配结果传输至所述关联模块。

9.如权利要求8所述的基于行人检测的关节点跟踪系统，其特征在于：所述关联模块根据所述匹配结果将行人的所述第一2D边界框与关节点的所述第一2D矩形框进行关联，根据行人的id确定关节点的id。

10.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时至少实现权利要求1-6任一项所述的方法。

Images