CN113096154B - 一种基于斜装深度相机的目标检测与跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于斜装深度相机的目标检测与跟踪方法，所述方法包括：对获取的前N帧深度图像进行求平均，得到一平均深度图像；根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域。相应的，本发明还公开了基于深度相机的目标检测与跟踪系统。通过本发明，提供简单并且准确率高的目标检测的技术方案。

Description

一种基于斜装深度相机的目标检测与跟踪方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于斜装深度相机的目标检测与跟踪方法及系统。

背景技术

目标检测与跟踪技术是计算机视觉技术领域的关键问题之一，在视频监控、机器人导航、智能交通等领域都有着广泛的应用。传统的目标检测与跟踪主要是基于单目视觉或者双目视觉的技术方案实现。基于单目视觉的技术方案通过机器学习的方法来实现目标检测和跟踪，该方案最简单，使用也最广泛。但是该技术方案对光照变化、阴影、目标的姿态、运动速度等变化都很敏感，而且当目标被遮挡的时候容易出现统计错误的情形。基于双目乃至多目的技术方案是通过视差的计算得到三维信息，并进行目标的检测与跟踪，但是，该技术方案计算量太大，而且容易受到场景中目标的几何形状、噪声干扰等因素的影响，并且该技术方案完全依赖于特征点的匹配，当目标纹理不好的时候，容易出现目标统计错误的问题。

也有一些技术方案采用结构光相机(比如Kinect)来实现客流统计，比如申请公布号为CN104732559A的专利提出了基于RGB-D数据的多目标检测与跟踪，该方法比传统的单目视觉和多目视觉的方案虽然在鲁棒性具有优势，但是仍然存在下面的一些问题：

1、针对运动状态的目标对象，缺乏对于静止目标对象的检测与跟踪的支持；

2、严重依赖于RGB的数据信息，采用基于传统的机器学习来进行分类，当环境的光线变化、目标对象运动过快等情况时，都会导致检测准确率变差；

3、该技术方案先通过滑动窗口的方式基于RGB和深度信息提取方向梯度直方图特征并进行分类，然后将检测的结果带入到粒子滤波算法来实现目标的跟踪，其技术方案的处理流程太复杂，计算复杂度太高，并且非常耗时，对于在边缘计算设备上的实际方案部署不是很理想。

发明内容

基于此，本发明的目的在于提供一种基于斜装深度相机的目标检测与跟踪方法及系统，解决上述技术问题，提供简单并且准确率高的目标检测的技术方案。

为实现上述目的，本发明提供了一种基于斜装深度相机的目标检测与跟踪方法，所述方法包括：

S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；

S2、根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；

S3、根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；

S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域。

优选的，所述步骤S1包括：

获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像；

其中，i、j为图像坐标系下的横坐标和纵坐标，D_a(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，D^l(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。

优选的，所述步骤S2包括：

根据公式(2)、(3)和(4)计算得到深度相机的安装高度信息h和角度信息ɑ，

h＝L₁×cos(α) (2)；

其中，L₁为所述平均深度图像在中心点(W/2,H/2)处的深度值，L₂为所述平均深度图像在坐标点(W/2,H*3/4)处的深度值，

为所述平均深度图像中心点(W/2,H/2)和坐标点(W/2,H*3/4)的光线的夹角，δ为深度相机纵向视场角的一半，y₁和y₂分别为所述平均深度图像中心点(W/2,H/2)和坐标点(W/2,H*3/4)的y轴的坐标值，W和H分别为所述平均深度图像的横向和纵向的分辨率的大小。

优选的，所述步骤S3包括：

根据所述安装高度信息、角度信息以及所述平均深度图像中每一个像素点的深度值信息，利用公式(5)得到所述当前帧的深度图像对应的前景图，

其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D_a(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值,H为深度相机的纵向分辨率，α为深度相机倾角，δ为深度相机纵向视场角的一半,y为图像坐标系下的纵向坐标。

优选的，所述步骤S3还包括：

基于所述前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式(6)，

其中，D_p(i，j)为所述投影深度图在图像坐标系下(x，y)点处的深度值，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D(i，j)为所述当前帧的深度图像在图像坐标系下(x，y)点处的像素值，H为深度相机的纵向分辨率，α为深度相机倾角，δ为深度相机纵向视场角的一半,y为图像坐标系下的纵向坐标。

优选的，所述步骤S3还包括：对所述投影深度图进行栅格化降采样处理，得到栅格化后的投影深度图。

优选的，所述步骤S4还包括：对所述局部极值点集合采用局部最大值约束的方式，得到约束后的局部极值点集合。

优选的，于所述步骤S4后还包括：根据最近邻搜索的方式在相邻两帧的深度图像中获取每一个头部区域的运行轨迹。

优选的，所述最近邻搜索的步骤具体包括：

获取相邻两帧的深度图像，分别获取相邻两帧的深度图像的局部极值点集合，分别标记为第一局部极值点集合和第二局部极值点集合；

计算所述第一局部极值点集合中的一个点与所述第二局部极值点集合中的每一个点的距离，将距离最近的点作为该点对应的匹配点；

以此类推，得到所述第一局部极值点集合中的每一个点对应所述第二局部极值点集合中的匹配点，建立相邻两帧的深度图像之间的运行轨迹，获取每一头部区域的运行轨迹。

为实现上述目的，本发明提供了一种基于斜装深度相机的目标检测与跟踪系统，所述系统包括：

平均图像模块，用于对获取的前N帧深度图像进行求平均，得到一平均深度图像；

相机信息模块，用于根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；

投影深度图模块，用于根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；

局部极值点模块，用于在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域。

与现有技术相比，本发明一种基于斜装深度相机的目标检测与跟踪方法及系统，所带来的有益效果为：本发明通过深度相机采集原始的深度数据信息，并基于该数据信息进行目标检测和跟踪，因此对于环境变化、阴影、噪声等都有非常好的抗干扰能力；采用斜装式深度相机，其适用的场景高度范围非常宽，其典型的安装高度范围在2m-8m之间，安装角度在20度-80度之间；采用投影变换的方式进行目标前景的提取，提高了图像的抗干扰能力；本技术方案不采用传统的阈值分割的方式，而采用栅格化极值点搜索的技术方案来进行目标检测，其准确率更高；本技术方案基于投影深度图的极值点检测实现目标检测的技术方案，并基于最近邻搜索方式获取目标点的运行轨迹并进行跟踪，该技术方案实现简单方便，并且准确率非常高，能够非常好的实时性地进行目标跟踪。

附图说明

图1是根据本发明的一个实施例的基于斜装深度相机的目标检测与跟踪方法的流程示意图。

图2是根据本发明的一个实施例的基于斜装深度相机的目标检测与跟踪系统的系统示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

如图1所示的本发明的一实施例，本发明提供一种基于斜装深度相机的目标检测与跟踪方法，所述方法包括：

S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；

S2、根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；

S3、根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；

S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域。

在所述步骤S1中，利用深度相机采集深度图像。本发明中的深度相机采取斜装的安装方式，基于该斜装方式的深度相机对目标的检测和跟踪的技术方案。对采集到的前N帧深度图像进行求平均，得到一平均深度图像。根据本发明的一具体实施例，所述N取值为10。具体地，获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像，

其中，i、j为图像坐标系下的横坐标和纵坐标，D_a(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，D^l(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。

在步骤S2中，根据所述平均深度图像，得到深度相机的安装高度信息和角度信息。根据公式(2)、(3)和(4)计算得到深度相机的安装高度信息h和角度信息ɑ；

h＝L₁×cos(α) (2)；

其中，L₁为所述平均深度图像在中心点(W/2,H/2)处的深度值，L₂为所述平均深度图像在坐标点(W/2,H*3/4)处的深度值，

为所述平均深度图像中心点(W/2,H/2)和坐标点(W/2,H*3/4)的光线的夹角，δ为深度相机纵向视场角的一半，y₁和y₂分别为所述平均深度图像中心点(W/2,H/2)和坐标点(W/2,H*3/4)的y轴的坐标值，W和H分别为所述平均深度图像的横向和纵向的分辨率的大小。W和H的值取决于深度相机的分辨率。

在所述步骤S3中，根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图。具体地，根据所述安装高度信息、角度信息以及所述平均深度图像中每一个像素点的深度值信息，利用公式(5)得到所述当前帧的深度图像对应的前景图，

其中，其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D_a(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值,H为深度相机的纵向分辨率，α为深度相机倾角，δ为深度相机纵向视场角的一半,y为图像坐标系下的纵向坐标。T一般取值为1200mm。

基于所述前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式(6)，

其中，D_p(i，j)为所述投影深度图在图像坐标系下(x，y)点处的深度值，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D(i，j)为所述当前帧的深度图像在图像坐标系下(x，y)点处的像素值，H为深度相机的纵向分辨率，α为深度相机倾角，δ为深度相机纵向视场角的一半,y为图像坐标系下的纵向坐标。通过投影变换的方式实现目前前景的提取，提高了图像的抗干扰能力。

根据本发明的一具体实施例，所述步骤S3还包括：对所述投影深度图进行栅格化降采样处理，得到栅格化后的投影深度图。具体地，从所述投影深度图的左上角到其右下角，按照从左到右以及从上到下的顺序，设置降采样系数为K，降采样前投影深度图的每K*K个点对应降采样后投影深度图的一个点。通过采用取平均值的方式，从左到右及从上到下的间隔步长均是K。其中，K的取值一般是为经验值，其典型值包含3、5、7等。K值一般和图像的原始分辨率有关，分辨率越大，K值越大。

在所述步骤S4中，在所述投影深度图中进行像素点遍历，得到一局部极值点集合，得到所述当前帧的深度图像中的各个头部区域。通过滑动窗口方式在当前帧的投影深度图中搜索局部极值点集合，并通过迭代的方式获取局部极值点集合。具体地，从所述栅格化后的投影深度图中的左上角开始遍历，以列优先的方式逐行逐列对每一个像素点进行遍历，计算当前遍历的像素点的深度值与该像素点相邻的L*L区域内的每一个像素点的深度值进行比较，若当前遍历的像素点的深度值比所述L*L区域内的每一个像素点的深度值都小，则将当前遍历的像素点作为极值点，以此类推，对每一个遍历的像素点进行计算，得到局部极值点集合。比如，所述L值为15。所述局部极值点集合包括多个点集。将所述局部极值点集合中的坐标点作为目标点，根据目标点，得到所述当前帧的深度图像中的各个头部区域，从而完成对目标点的检测。通过对栅格化的投影深度图进行极值点搜索来进行目标检测，其检测的准确率更高。

根据本发明的一具体实施例，所述步骤S4还包括：对所述局部极值点集合采用局部最大值约束的方式，得到约束后的局部极值点集合。具体地，计算所述局部极值点集合中个的每一个点与该集合中的其它点的欧式距离，若所述欧式距离小于一预设距离阈值，则将值较小的点加入到约束后的局部极值点集合中，若所述欧式距离大于所述距离阈值时，则将该点加入到约束后的局部极值点集合中。所述距离阈值取值为20。将所述约束后的局部极值点集合中的坐标点作为目标点，根据目标点，得到所述当前帧的深度图像中的各个头部区域，从而完成对目标点的检测。

根据本发明的一具体实施例，于所述步骤S4后还包括：根据最近邻搜索的方式在相邻两帧的深度图像中获取每一个头部区域的运行轨迹。具体地，获取相邻两帧的深度图像，基于上述技术方案，分别获取相邻两帧的深度图像的局部极值点集合，分别标记为第一局部极值点集合和第二局部极值点集合，计算所述第一局部极值点集合中的一个点与所述第二局部极值点集合中的每一个点的距离，将距离最近的点作为该点对应的匹配点，以此类推，得到所述第一局部极值点集合中的每一个点对应所述第二局部极值点集合中的匹配点，建立相邻两帧的深度图像之间的运行轨迹，因此获取每一头部区域的运行轨迹。基于该技术方案，通过最近邻搜索的方式获取目标点的运行轨迹并进行跟踪，该技术方案实现简单方便，并且准确率非常高，能够非常好的实时性地进行目标跟踪。

如图2所示的本发明的一实施例，本发明提供一种基于斜装深度相机的目标检测与跟踪系统，所述系统包括：

平均图像模块20，用于对获取的前N帧深度图像进行求平均，得到一平均深度图像；

相机信息模块21，用于根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；

投影深度图模块22，用于根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；

局部极值点模块23，用于在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域。

所述平均图像模块对采集到的前N帧深度图像进行求平均，得到一平均深度图像。根据本发明的一具体实施例，所述N取值为10。根据上述方法步骤中公式(1)，计算得到所述平均深度图像。

所述相机信息模块根据所述平均深度图像，得到深度相机的安装高度信息和角度信息。根据上述方法步骤中公式(2)、(3)和(4)计算得到深度相机的安装高度信息和角度信息。

所述投影深度图模块根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图。具体地，根据所述安装高度信息、角度信息以及所述平均深度图像中每一个像素点的深度值信息，利用公式(5)得到所述当前帧的深度图像对应的前景图，并基于所述前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图。根据本发明的一具体实施例，所述投影深度图模块还用于对所述投影深度图进行栅格化降采样处理，得到栅格化后的投影深度图。

所述局部极值点模块在所述投影深度图中进行像素点遍历，得到一局部极值点集合，得到所述当前帧的深度图像中的各个头部区域。根据上述实施例，通过滑动窗口方式在栅格化后的投影深度图中搜索局部极值点集合，通过迭代的方式获取局部极值点集合。根据本发明的一具体实施例，所述局部极值点模块对所述局部极值点集合采用局部最大值约束的方式，得到约束后的局部极值点集合。将所述约束后的局部极值点集合中的坐标点作为目标点，从而得到所述当前帧的深度图像中的各个头部区域

根据本发明的一具体实施例，所述系统还包括最近邻模块，用于根据最近邻搜索的方式在相邻两帧的深度图像中获取每一个头部区域的运行轨迹，实现对目标的跟踪。

尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下，各种改进、增加以及取代是可能的。

Claims (4)

1.一种基于斜装深度相机的目标检测与跟踪方法，其特征在于，所述方法包括步骤：

S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；

S2、根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；

S3、根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；

S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域；

所述步骤S3包括：

根据所述安装高度信息、角度信息以及所述平均深度图像中每一个像素点的深度值信息，利用公式（5）得到所述当前帧的深度图像对应的前景图，

（5）；

其中，F（i,j）为所述前景图在图像坐标系下（x，y）点处的像素值，D_a(i,j)为所述平均深度图像在图像坐标系中i、j处的深度值,H为深度相机的纵向分辨率，α为深度相机倾角，δ为深度相机纵向视场角的一半，y为图像坐标系下的纵向坐标；

基于所述前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式（6），

（6）；

其中，D_p（i,j）为所述投影深度图在图像坐标系下（x，y）点处的深度值，F(i,j)为所述前景图在图像坐标系下（x，y）点处的像素值，D(i,j)为所述当前帧的深度图像在图像坐标系下（x，y）点处的像素值，H为深度相机的纵向分辨率，α深度相机倾角，δ为深度相机纵向视场角的一半,y为图像坐标系下的纵向坐标；

对所述投影深度图进行栅格化降采样处理，得到栅格化后的投影深度图;

所述步骤S4包括：

对所述局部极值点集合采用局部最大值约束的方式，得到约束后的局部极值点集合；

根据最近邻搜索的方式在相邻两帧的深度图像中获取每一个头部区域的运行轨迹，其中，所述最近邻搜索的步骤具体包括：

获取相邻两帧的深度图像，分别获取相邻两帧的深度图像的局部极值点集合，分别标记为第一局部极值点集合和第二局部极值点集合；

计算所述第一局部极值点集合中的一个点与所述第二局部极值点集合中的每一个点的距离，将距离最近的点作为该点对应的匹配点；

以此类推，得到所述第一局部极值点集合中的每一个点对应所述第二局部极值点集合中的匹配点，建立相邻两帧的深度图像之间的运行轨迹，获取每一头部区域的运行轨迹。

2.如权利要求1所述的基于斜装深度相机的目标检测与跟踪方法，其特征在于，所述步骤S1包括：

获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式（1），计算得到所述平均深度图像；

（1）；

其中，i、j为图像坐标系下的横坐标和纵坐标，D_a(i,j)为所述平均深度图像在图像坐标系中i、j处的深度值，D^l(i,j)为第l帧深度图像在图像坐标系中i、j处的深度值。

3.如权利要求2所述的基于斜装深度相机的目标检测与跟踪方法，其特征在于，所述步骤S2包括:

根据公式（2）、（3）和（4）计算得到深度相机的安装高度信息h和倾角信息ɑ,

（2）；

（3）；

（4）；

其中，L₁为所述平均深度图像在中心点(W/2, H/2)处的深度值，L₂为所述平均深度图像在坐标点(W/2, H*3/4)处的深度值，∂为所述平均深度图像中心点(W/2, H/2) 和坐标点(W/2, H*3/4)的光线的夹角，δ为深度相机纵向视场角的一半，y₁和y₂分别为所述平均深度图像中心点(W/2, H/2) 和坐标点(W/2, H*3/4)的y轴的坐标值，W和H分别为所述平均深度图像的横向和纵向的分辨率的大小。

4.一种基于斜装深度相机的目标检测与跟踪系统，其特征在于，所述系统执行如权利要求1-3任一所述的基于斜装深度相机的目标检测与跟踪方法，所述系统包括：

平均图像模块，用于对获取的前N帧深度图像进行求平均，得到一平均深度图像；

相机信息模块，用于根据所述平均深度图像，得到深度相机的安装高度信息和角度信息；

投影深度图模块，用于根据所述平均深度图像、安装高度信息、角度信息以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；

局部极值点模块，用于在所述投影深度图中进行像素点遍历，得到一局部极值点集合，并获取所述当前帧的深度图像中的各个头部区域。

Images