CN110111368B - 一种基于人体姿态识别的相似移动目标的检测跟踪方法 - Google Patents

Abstract

本发明属于计算机视频图像处理技术领域，尤其涉及一种基于人体姿态识别的相似移动目标的检测跟踪方法。该种基于人体姿态识别的相似移动目标的检测跟踪方法通过深度学习，能够实现对工作场景中特征差异较小的移动目标进行识别和跟踪。一种基于人体姿态识别的相似移动目标的检测跟踪方法包括有对工作场景内的图像数据进行采集、对移动目标的二维姿态进行识别、将移动目标的二维姿态输入至三维场景中进行重建、利用深度神经网路，计算连续帧之间移动目标的三维姿态特征的相似度；结合该移动目标在公共坐标系中的位置信息，实现对移动目标的检测跟踪等步骤。

Description

一种基于人体姿态识别的相似移动目标的检测跟踪方法

技术领域

该发明属于计算机视频图像处理技术领域，尤其涉及一种基于人体姿态识别的相似移动目标的检测跟踪方法。

背景技术

移动目标检测作为视频图像处理技术领域的一个重要分支，其在自动驾驶、智能视频监控、安防等领域具有着广泛的应用。目标检测主要解决的是图片或视频帧中是否存在目标，并对已判断出的目标给定对应的边界框；然而对于计算机而言，由于图片的目标物体都是RGB像素矩阵，很难直接得到目标物体的确切位置，再加上有时多个物体混叠以及一些背景信息的干扰，导致目标检测难度较大。发明人进一步研究后发现，虽然近年来卷积神经网络在图像识别目标检测领域已经取得了突破性进展，但无论是two-stage还是one-stage目标检测方法，其根本原理仍然是提取图片中目标的特征，将特征放入深度神经网络进行训练以得出该目标模型。而对大多数工厂及企业的工作场景而言，工作人员往往身穿相同的工作服，头戴相同的安全帽，彼此间的差异特征非常之少；并且一般监控设备根本无法采集到有效的面部信息，所以很难通过经典的目标检测算法实现对相似移动目标的检测和跟踪。

发明内容

本发明提供了一种基于人体姿态识别的相似移动目标的检测跟踪方法，该相似移动目标的检测跟踪方法通过深度学习功能，能够实现对工作场景中特征差异较小的移动目标进行识别和跟踪。

为解决上述技术问题，本发明采用了如下技术方案：

一种基于人体姿态识别的相似移动目标的检测跟踪方法，包括有如下步骤：

对工作场景内的图像数据进行采集；

对移动目标的二维姿态进行识别；

将移动目标的二维姿态输入至三维场景中进行重建；

利用深度神经网路，计算连续帧之间移动目标的三维姿态特征的相似度；结合该移动目标在公共坐标系中的位置信息，实现对移动目标的检测跟踪。

进一步的，还包括有如下步骤：

在采集得到工作场景内的图像数据后，对采集得到的工作场景内的图像数据进行预处理。

较为优选的，所述对采集得到的工作场景内的图像数据进行预处理的步骤具体可描述为：

对采集得到的工作场景内的图像数据进行灰度化处理；所述灰度化处理具体为对采集得到的工作场景内的图像数据中每个像素点的R、G、B三个分量依照下述公式进行加权平均计算：Gray(i，j)＝0.299*R(i，j)+0.578*G(i，j)+0.114*B(i，j)；

对采集得到的工作场景内的图像数据进行平滑处理；所述平滑处理具体为利用均值滤波法，突出工作场景内的图像数据中的宽大区域、低频成分及主干部分，抑制工作场景内的图像数据中的噪声及干扰高频成分；

对采集得到的工作场景内的图像数据进行锐化处理；所述锐化处理具体为使用高通滤波法，突出工作场景内的图像数据中的特征信息。

可选择的，采集工作场景内的图像数据由多组摄像头、按照拍摄不同角度分布式采集完成。

进一步的，还包括有如下步骤：

执行数据关联；将多个移动目标信息整合至同一公共坐标系中，完成对多个移动目标的检测跟踪。

优选的，所述对移动目标的二维姿态进行识别的步骤具体可描述为：

训练提取人体关键点的卷积网络模型；

将包含有移动目标的图像数据输入卷积网络模型得到特征图集；并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图；

使用偶匹配算法，求出每个关节点所属的移动目标，合并得到移动目标的整体框架。

优选的，所述将移动目标的二维姿态输入至三维场景中进行重建的步骤具体可描述为：

根据移动目标与摄像头的实际高度差估计出移动目标的头部坐标；

选取至少三个移动目标的头部坐标，构建形成一个平面；对该平面和移动目标的双脚坐标作垂线，结合均值漂移技术，计算出垂直消失点；将移动目标的头部坐标和双脚坐标带入拉普拉斯线性回归，计算得到水平线；

初始化摄像头的参数，通过分布算法优化摄像头的参数，获得3D投影矩阵；

优选的，所述执行数据关联的步骤具体可描述为：

从相邻帧中提取每个移动目标的姿态，计算相邻帧各个移动目标的马氏距离，依照马氏距离公式：d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)，确定移动目标的相似度作为第一度量；

依照下述公式计算相邻帧中移动目标的三维位置的余弦距离作为第二度量：d⁽²⁾(i，j)＝min{1-r_j ^Tr_k ⁽ⁱ⁾|}r_k ⁽ⁱ⁾∈Rⁱ；

依照下述公式对第一度量、第一度量作线性加权得到最终的度量：C_i，j＝λd⁽¹⁾(i，j)+(1+λ)d⁽²⁾(i，j)。

本发明提供了一种基于人体姿态识别的相似移动目标的检测跟踪方法，该相似移动目标的检测跟踪方法包括有对工作场景内的图像数据进行采集、对移动目标的二维姿态进行识别、将移动目标的二维姿态输入至三维场景中进行重建、利用深度神经网路，计算连续帧之间移动目标的三维姿态特征的相似度；结合该移动目标在公共坐标系中的位置信息，实现对移动目标的检测跟踪等步骤；具有上述步骤特征的基于人体姿态识别的相似移动目标的检测跟踪方法，该相似移动目标的检测跟踪方法具备深度学习功能，能够对工作场景中特征差异较小的移动目标进行识别和跟踪。

附图说明

图1为本发明提供的一种基于人体姿态识别的相似移动目标的检测跟踪方法的流程图。

具体实施方式

本发明提供了一种基于人体姿态识别的相似移动目标的检测跟踪方法，该相似移动目标的检测跟踪方法通过深度学习，能够实现对工作场景中特征差异较小的移动目标进行识别和跟踪。

如图1所示，本发明提供了一种基于人体姿态识别的相似移动目标的检测跟踪方法，具体的，该基于人体姿态识别的相似移动目标的检测跟踪方法包括有如下步骤：

首先，对工作场景内的图像数据进行采集。其中，作为本发明的一种较为优选的实施方式，采集工作场景内的图像或视频数据的工作可由多组摄像头、按照拍摄不同角度分布式采集完成。

而在完成采集工作场景内的图像或视频数据之后，优选可对上述采集工作场景内的图像或视频数据进行预处理。具体的，该预处理的步骤进一步可描述为：对采集所得工作场景内的图像或视频数据进行灰度化处理；对采集所得工作场景内的图像或视频数据进行平滑处理；以及对采集所得工作场景内的图像或视频数据进行锐化处理。

其中，灰度化处理是将彩色图像数据转化成为灰度图像。以彩色图像为例，每一幅彩色图像中的每个像素的颜色由R、G、B三个分量决定；而每个分量又有255中值可取，因此一个像素点可以有1600多万(255*255*255)的颜色的变化范围。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像，其一个像素点的变化范围为255种，所以在数字图像处理中先将各种格式的图像转变成灰度图像，以使后续的图像计算量变得少一些。灰度图像的描述与彩色图像一样，仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。在本检测跟踪方法中，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：Gray(i，j)＝0.299*R(i，j)+0.578*G(i，j)+0.114*B(i，j)；计算完成后，再将这个加权平均值赋予给对应像素的三个分量来实现灰度化处理。

而平滑的目的在于抑制噪声或者其他小的波动，这等同于在傅里叶变换域抑制高频部分。但是值得注意的是，平滑处理会模糊所有带有重要信息的明显边缘，因此在本检测跟踪方法中，使用的是均值滤波法对图像进行平滑处理。具体为利用均值滤波法，突出工作场景内的图像数据中的宽大区域、低频成分及主干部分，抑制工作场景内的图像数据中的噪声及干扰高频成分。

而锐化处理是为了让图像的边界、轮廓线以及图像的细节变得更加清晰；具体使用了高通滤波法，突出工作场景内的图像数据中的特征信息。但需要说明的是，对图像的锐化需要图像要有比较高的信噪比，否则锐化后图像信噪比会变低。因此，在本检测跟踪方法中先对图像进行平滑处理后再进行锐化处理。

而后，对移动目标的二维姿态进行识别。具体的，对移动目标的二维姿态进行识别可具体描述为如下步骤：

首先，训练提取人体关键点的卷积网络模型。例如：采用VGG-19网络结构的前10层进行初始化并微调。在训练前先对数据集中的图片根据COCO数据集格式进行人体关键点的标注，然后输入图片经过卷积神经网络训练，根据输出结果不断调整网络权重，获得稳定的卷积网络模型。

然后，将包含有移动目标的图像数据输入卷积网络模型得到特征图集；并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图。具体的，采用VGG pre-trainnetwork网络作为骨架，有两个分支分别回归人体关节点和人体骨架走向，从而分别获取得到人体关节点的热图、人体关节点的矢量图。其中，每一个分支计算一次loss(损失)，之后把关节点和骨架走向输入连接函数中，继续下一个分支的训练。

使用偶匹配算法，求出每个关节点所属的移动目标，合并得到移动目标的整体框架。具体的，在得到图像数据中人体关节点的热图和人体关节点的矢量图这两个信息后，首先使用偶匹配算法求出每个关节点属于哪一个人；而后将同一个人的关节点连接起来,最终合并即可得到一个人的整体框架。

而后，将移动目标的二维姿态输入至三维场景中进行重建。具体的，将移动目标的二维姿态输入至三维场景中进行重建的步骤具体可描述为下述步骤：

首先，根据移动目标与摄像头的实际高度差估计出移动目标的头部坐标。在获取得到移动目标头部坐标后，选取至少三个移动目标的头部坐标，构建形成一个平面；对该平面和移动目标的双脚坐标作垂线，结合均值漂移技术，计算出垂直消失点；然后，将移动目标的头部坐标和双脚坐标带入拉普拉斯线性回归，计算得到水平线。

而后，初始化摄像头的参数，通过分布算法优化摄像头的参数，获得3D投影矩阵。

最后，利用深度神经网路，计算连续帧之间移动目标的三维姿态特征的相似度；结合该移动目标在公共坐标系中的位置信息，即可实现对移动目标的检测跟踪。

当然，作为本发明一种较为优选的实施方式，在完成对单一移动目标的检测跟踪后，可进一步执行数据关联，将多个移动目标信息整合至同一公共坐标系中，从而完成对多个移动目标的检测跟踪。

值得注意的是，在执行数据关联的过程中，主要依照下列两个度量进行：

其中，从相邻帧中提取每个移动目标的姿态，计算相邻帧各个移动目标的马氏距离，依照马氏距离公式：d⁽¹⁾(i，j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)，确定移动目标的相似度作为第一度量。

而后，依照下述公式计算相邻帧中移动目标的三维位置的余弦距离作为第二度量：d⁽²⁾(i，j)＝min{1-r_j ^Tr_k ⁽ⁱ⁾|}r_k ⁽ⁱ⁾∈Rⁱ；

在得到第一度量、第二度量后，进一步作线性加权得到最终的度量，最终的度量满足：C_i，j＝λd⁽¹⁾(i，j)+(1+λ)d⁽²⁾(i，j)。

本发明提供了一种基于人体姿态识别的相似移动目标的检测跟踪方法，该相似移动目标的检测跟踪方法包括有对工作场景内的图像数据进行采集、对移动目标的二维姿态进行识别、将移动目标的二维姿态输入至三维场景中进行重建、利用深度神经网路，计算连续帧之间移动目标的三维姿态特征的相似度；结合该移动目标在公共坐标系中的位置信息，实现对移动目标的检测跟踪等步骤；具有上述步骤特征的基于人体姿态识别的相似移动目标的检测跟踪方法，该相似移动目标的检测跟踪方法具备深度学习功能，能够对工作场景中特征差异较小的移动目标进行识别和跟踪。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于人体姿态识别的相似移动目标的检测跟踪方法，其特征在于，包括有如下步骤：

对工作场景内的图像数据进行采集；

对移动目标的二维姿态进行识别；

将移动目标的二维姿态输入至三维场景中进行重建；

所述将移动目标的二维姿态输入至三维场景中进行重建的步骤具体可描述为：

根据移动目标与摄像头的实际高度差估计出移动目标的头部坐标；

选取至少三个移动目标的头部坐标，构建形成一个平面；对该平面和移动目标的双脚坐标作垂线，结合均值漂移技术，计算出垂直消失点；将移动目标的头部坐标和双脚坐标带入拉普拉斯线性回归，计算得到水平线；

初始化摄像头的参数，通过分布算法优化摄像头的参数，获得3D投影矩阵；

利用深度神经网路，计算连续帧之间移动目标的三维姿态特征的相似度；结合该移动目标在公共坐标系中的位置信息，实现对移动目标的检测跟踪；

所述的一种基于人体姿态识别的相似移动目标的检测跟踪方法，还包括有如下步骤：

执行数据关联；将多个移动目标信息整合至同一公共坐标系中，完成对多个移动目标的检测跟踪；

所述执行数据关联的步骤具体可描述为：

从相邻帧中提取每个移动目标的姿态，计算相邻帧各个移动目标的马氏距离，依照马氏距离公式：，确定移动目标的相似度作为第一度量；

依照下述公式计算相邻帧中移动目标的三维位置的余弦距离作为第二度量：；

依照下述公式对第一度量、第一度量作线性加权得到最终的度量：。

2.根据权利要求1所述的一种基于人体姿态识别的相似移动目标的检测跟踪方法，其特征在于，还包括有如下步骤：

在采集得到工作场景内的图像数据后，对采集得到的工作场景内的图像数据进行预处理。

3.根据权利要求2所述的一种基于人体姿态识别的相似移动目标的检测跟踪方法，其特征在于，所述对采集得到的工作场景内的图像数据进行预处理的步骤具体可描述为：

对采集得到的工作场景内的图像数据进行灰度化处理；所述灰度化处理具体为对采集得到的工作场景内的图像数据中每个像素点的R、G、B三个分量依照下述公式进行加权平均计算：；

对采集得到的工作场景内的图像数据进行平滑处理；所述平滑处理具体为利用均值滤波法，突出工作场景内的图像数据中的宽大区域、低频成分及主干部分，抑制工作场景内的图像数据中的噪声及干扰高频成分；

对采集得到的工作场景内的图像数据进行锐化处理；所述锐化处理具体为使用高通滤波法，突出工作场景内的图像数据中的特征信息。

4.根据权利要求1所述的一种基于人体姿态识别的相似移动目标的检测跟踪方法，其特征在于，采集工作场景内的图像数据由多组摄像头、按照拍摄不同角度分布式采集完成。

5.根据权利要求1所述的一种基于人体姿态识别的相似移动目标的检测跟踪方法，其特征在于，所述对移动目标的二维姿态进行识别的步骤具体可描述为：

训练提取人体关键点的卷积网络模型；

将包含有移动目标的图像数据输入卷积网络模型得到特征图集；并根据特征图集获取得到人体关节点的热图、人体关节点的矢量图；

使用偶匹配算法，求出每个关节点所属的移动目标，合并得到移动目标的整体框架。

Images