CN103971381A - 一种多目标跟踪系统及方法 - Google Patents

Abstract

本申请涉及一种多目标跟踪系统及方法，通过对目标的颜色特点来确定目标的范围，并根据同一目标的相同区域在运动中的不变性，对初步获得的目标区域进行合并，得到能够代表该目标的较大的目标范围，从而将视窗中的过个目标成功划分出来，并进行计数；并且通过提前设定视窗尺寸，在视窗获取成像装置上直接切割出该尺寸的目标视窗，并将获取的数据的预处理在GPU中进行，从而有效降低系统的数据处理量。

Description

一种多目标跟踪系统及方法

技术领域

本发明涉及一种多目标跟踪系统及方法，属于多目标跟踪及识别领域，尤其涉及一种对室内近距离的多个移动目标的识别跟踪及计数的系统和方法。

背景技术

在现阶段，对于多个移动目标的识别跟踪在多种场合中拥有着广泛的应用，例如对关键区域的监控，对特定区域的目标流量统计等等。然而，由于运动目标的方向不确定性，以及在同一场景中多个目标之间可能存在的重叠、交叉等因素，使得多个运动目标，尤其是人的识别跟踪相对复杂，致使常规的算法运算量大，不便于实际使用。

因此，如何尽量多的去除不关注的背景信息以及大量的类似衣服等信息，在降低运算量的基础上保证目标划分与跟踪的准确性，成为了该类技术的一个发展方向。

发明内容

本发明针对现有技术的不足，提出了一种多目标跟踪系统及方法，并在图像数据获取及处理中，使用成像窗口切割以及充分利用GPU数据处理能力方法，进一步有效减少系统中处理的数据量，提高系统速度。

本发明具体采用如下的技术方案：

一种多目标跟踪系统，该系统包括：

目标区域划分模块：用于实现根据目标灰度值特性对图像中目标区域的划分范围进行确定，以为后续多目标跟踪提供区域划分依据；该模块包括：图像预处理子模块，用于将视频图像转换为灰度图像，并取像素值60、195作为阈值，将小于60的区域像素值设置为0，将大于195的区域像素值设置为220，图像预处理子模块的功能在图像处理器GPU中完成，从而加速图像的后续处理；灰度直方图子模块，用于获取图像预处理子模块得到的灰度图像的灰度直方图，并对灰度直方图进行像素值分布统计；像素密集分布区域子模块，用于将视频图像数据统计后的像素密集分布区域个数进行计数，并记录计数值最大的像素区域的最大、最小像素值区间[k₁ ,k₂]；

视频图像获取模块：用于获取行人腰部以上部位视频图像，并根据不同的入口大小在感光成像装置上直接切割出入口大小的成像窗口，仅将该窗口大小的视频数据作为待处理图像数据向后续模块传送；

同一区域确定模块：用于将实时获取的当前帧图像转换为灰度图像，将像素值在区间[k₁ ,k₂]中的区域转换为统一的像素值K，获取每个像素值为K的连通区域的像素数目及该区域上边缘纵坐标最大的像素点坐标；获取此后连续δ帧图像，并按照上述方法获取该些帧图像中的连通区域像素数目及该区域上边缘最高值点，其中δ取满足20≤δ≤30的任一整数；

目标区域计数模块：用于当同一区域确定模块中获得的区域满足连续两帧图像中该些连通区域像素数目差值绝对值小于等于预设阈值q时，并且其上边缘最高值点坐标值的距离相等时，将该些连通区域合并为同一区域，并为这些区域编码，否则分别编码；统计第δ帧中的不同编码区域数量。

优选地，灰度直方图子模块进行灰度直方图像素值分布统计的具体方法为：

对灰度直方图从左向右进行像素值分布统计，以直方图在横坐标轴上最左侧的点d_i-1为起点，沿该从左到右的方向对直方图中的灰度值进行分布统计，其中，点d_i为直方图上灰度值存在分布的点，也即该点的像素值，其中i=1,2,…,m，m为横轴上的存在灰度值分布的点的总个数；

设定a为灰度值分布集中间隔区间，其中5≤a≤10，当直方图在该轴上的点d_i+1与点d_i的灰度值满足d_i+1﹤d_i+a时，保存该两点的像素值，否则不保存，并另i=i+1；

重复上述像素值分布统计运算的步骤（2.1）、（2.2），直至i=m，从而获取每幅图像中的像素密集分布区域。

优选地，像素密集分布区域子模块进行区域个数计数的具体方法为：

将获取的当前帧图像平均分割为n个子图像块，n的取值为4、8、16、32；

对每个子图像块统计灰度值密集分布的区域，并记录区域像素值范围，并对该范围计数；

对于各个区块记录的区域像素值范围进行与运算，并将与运算不为零的区域个数相加，并记录与运算的像素值范围结果，直至将所有子图像块依次进行上述与运算，获取最终区域像素值范围及计数值，从而获得计数值最大的像素密集分布区域个数及该区域[k₁ ,k₂]。

此外，本发明还提出了一种多目标跟踪方法，其实现的具体步骤如下：

（1）将视频获取装置设置于面向室内入口方向，使视频中仅获取行人腰部以上部位，由图像处理装置对视频获取装置设置窗口切割数据，以根据不同的入口大小在感光成像装置上直接切割出入口大小的成像窗口，仅将该窗口大小的视频数据作为待处理图像数据向后续处理装置传送；

（2）获取一定数量的入口视频数据，对视频中的各帧图像进行灰度转换，取像素值60、195作为阈值，将小于60的区域像素值设置为0，将大于195的区域像素值设置为220，得到灰度图像，并转化得到各个灰度图像的灰度直方图；对灰度直方图进行像素值分布统计；

优选地，该对灰度直方图像素值分布统计的具体步骤为：

（2.1）对灰度直方图从左向右进行像素值分布统计，以直方图在横坐标轴上最左侧的点d_i-1为起点，沿该从左到右的方向对直方图中的灰度值进行分布统计，其中，点d_i为直方图上灰度值存在分布的点，也即该点的像素值，其中i=1,2,…,m，m为横轴上的存在灰度值分布的点的总个数；

（2.2）设定a为灰度值分布集中间隔区间，其中5≤a≤10，当直方图在该轴上的点d_i+1与点d_i的灰度值满足d_i+1﹤d_i+a时，保存该两点的像素值，否则不保存，并另i=i+1；

（2.3）重复上述像素值分布统计运算的步骤（2.1）、（2.2），直至i=m，从而获取每幅图像中的像素密集分布区域；

（3）将步骤（2）中该一定数量的视频图像数据统计后的像素密集分布区域个数进行计数，并记录计数值最大的像素区域的最大、最小像素值区间[k₁ ,k₂]；

优选地，该像素密集分布区域个数进行计数的具体步骤为：

（3.1）将获取的当前帧图像平均分割为n个子图像块，n的取值为4、8、16、32；

（3.2）对每个子图像块统计灰度值密集分布的区域，并记录区域像素值范围，并对该范围计数；

（3.3）对于各个区块记录的区域像素值范围进行与运算，并将与运算不为零的区域个数相加，并记录与运算的像素值范围结果，直至将所有子图像块依次进行上述与运算，获取最终区域像素值范围及计数值，从而获得计数值最大的像素密集分布区域个数及该区域[k₁ ,k₂]。

（4）将实时获取的当前帧图像转换为灰度图像，将像素值在区间[k₁ ,k₂]中的区域转换为统一的像素值K，获取每个像素值为K的连通区域的像素数目及该区域上边缘纵坐标最大的像素点坐标；获取此后连续δ帧图像，并按照上述方法获取该些帧图像中的连通区域像素数目及该区域上边缘最高值点，其中δ取满足20≤δ≤30的任一整数；

（5）当满足连续两帧图像中连通区域像素数目差值绝对值小于等于预设阈值q时，并且其上边缘最高值点坐标值的距离相等，则将该些连通区域合并为同一区域，并为这些区域编码，否则分别编码；统计第δ帧中的不同编码区域数量。

本发明的优点在于：

通过对目标的颜色特点来确定目标的范围，并根据同一目标的相同区域在运动中的不变性，对初步获得的目标区域进行合并，得到能够代表该目标的较大的目标范围，从而将视窗中的过个目标成功划分出来，并进行计数，这样就仅考虑人面部以及颈部部分为主的区域，而忽略掉了背景、衣服以及胳膊区域，有效降低了数据处理量；并且通过提前设定视窗尺寸，在视窗获取成像装置上直接切割出该尺寸的目标视窗，并将获取的数据的预处理在GPU中进行，进一步降低了系统的数据处理量。

附图说明

图1为本发明的系统结构图；

图2为本发明的方法流程图。

具体实施方式

为将本发明的技术手段和特征以及有益效果更加详细地说明，现结合具体图示，进一步阐述本发明的内容。

本发明的多目标跟踪系统适用于多个运动目标的划分识别与跟踪，尤其适用于室内区域的多目标跟踪，如图1所示，本系统包括如下：

一种多目标跟踪系统，该系统包括：

目标区域划分模块：用于实现根据目标灰度值特性对图像中目标区域的划分范围进行确定，以为后续多目标跟踪提供区域划分依据；该模块包括：

图像预处理子模块，用于将视频图像转换为灰度图像，并取像素值60、195作为阈值，将小于60的区域像素值设置为0，将大于195的区域像素值设置为220，考虑到在现有的图像获取装置中，例如摄影机等，都具有能够进行大量数据处理的GPU处理器，因此，可以充分利用GPU的数据处理能力，将图像数据的一部分预处理放置在GPU及其存储器中进行，本发明中，将图像预处理子模块的功能在图像处理器GPU中完成，从而分担一部分系统中央处理器的数据处理负担，加速图像的后续处理；

灰度直方图子模块，用于获取图像预处理子模块得到的灰度图像的灰度直方图，并对灰度直方图进行像素值分布统计；

像素密集分布区域子模块，用于将视频图像数据统计后的像素密集分布区域个数进行计数，并记录计数值最大的像素区域的最大、最小像素值区间[k₁ ,k₂]；

视频图像获取模块：用于获取行人腰部以上部位视频图像，并根据不同的入口大小在感光成像装置上直接切割出入口大小的成像窗口，这样，仅仅按照这个窗口大小的块通过数字成像装置得到直接的窗口图像，仅将该窗口大小的视频数据作为待处理图像数据向后续模块传送，同时，这一窗口大小是可以更改的，是用户可以根据使用的区域特点进行实际测试后所确定的，例如，如果图像获取装置，例如摄像机、红外摄像机等，镜头方向为斜向下的，那么窗口一般设置为长方向区域，且短边一般叫窄，这样可以适当减少同时出现在镜头范围内的目标数量，而长边则可以设置为能够检测到只有行人能够通过的区域即可，这样可以直接去掉不需要关注的背景区域；

同一区域确定模块：用于将实时获取的当前帧图像转换为灰度图像，将像素值在区间[k₁ ,k₂]中的区域转换为统一的像素值K，这个K值可以是区间[k₁ ,k₂]中的某个值，也可以是用户根据所监测目标的颜色特点，设置的一个拥有较大颜色反差的像素值，这样更易于对目标范围的获取；获取每个像素值为K的连通区域的像素数目及该区域上边缘纵坐标最大的像素点坐标；获取此后连续δ帧图像，并按照上述方法获取该些帧图像中的连通区域像素数目及该区域上边缘最高值点，其中δ取满足20≤δ≤30的任一整数；

目标区域计数模块：用于当同一区域确定模块中获得的区域满足连续两帧图像中该些连通区域像素数目差值绝对值小于等于预设阈值q时，并且其上边缘最高值点坐标值的距离相等时，将该些连通区域合并为同一区域，并为这些区域编码，否则分别编码；统计第δ帧中的不同编码区域数量；预设阈值q一般取值在20～47之间，在本发明中，当q取值25时，可以达到较佳的区域效果；

优选地，灰度直方图子模块进行灰度直方图像素值分布统计的具体方法为：

对灰度直方图从左向右进行像素值分布统计，以直方图在横坐标轴上最左侧的点d_i-1为起点，沿该从左到右的方向对直方图中的灰度值进行分布统计，其中，点d_i为直方图上灰度值存在分布的点，也即该点的像素值，其中i=1,2,…,m，m为横轴上的存在灰度值分布的点的总个数；

设定a为灰度值分布集中间隔区间，其中5≤a≤10，当直方图在该轴上的点d_i+1与点d_i的灰度值满足d_i+1﹤d_i+a时，保存该两点的像素值，否则不保存，并另i=i+1；

重复上述像素值分布统计运算的步骤（2.1）、（2.2），直至i=m，从而获取每幅图像中的像素密集分布区域。

优选地，像素密集分布区域子模块进行区域个数计数的具体方法为：

将获取的当前帧图像平均分割为n个子图像块，n的取值为4、8、16、32；

对每个子图像块统计灰度值密集分布的区域，并记录区域像素值范围，并对该范围计数；

对于各个区块记录的区域像素值范围进行与运算，并将与运算不为零的区域个数相加，并记录与运算的像素值范围结果，直至将所有子图像块依次进行上述与运算，获取最终区域像素值范围及计数值，从而获得计数值最大的像素密集分布区域个数及该区域[k₁ ,k₂]。

下面依照图2所示，介绍本发明的多目标跟踪方法，其实现的具体步骤如下：

（1）将视频获取装置设置于面向室内入口方向，使视频中仅获取行人腰部以上部位，由图像处理装置对视频获取装置设置窗口切割数据，以根据不同的入口大小在感光成像装置上直接切割出入口大小的成像窗口，仅将该窗口大小的视频数据作为待处理图像数据向后续处理装置传送；

（2）获取一定数量的入口视频数据，对视频中的各帧图像进行灰度转换，取像素值60、195作为阈值，将小于60的区域像素值设置为0，将大于195的区域像素值设置为220，得到灰度图像，并转化得到各个灰度图像的灰度直方图；对灰度直方图进行像素值分布统计；

优选地，该对灰度直方图像素值分布统计的具体步骤为：

（2.1）对灰度直方图从左向右进行像素值分布统计，以直方图在横坐标轴上最左侧的点d_i-1为起点，沿该从左到右的方向对直方图中的灰度值进行分布统计，其中，点d_i为直方图上灰度值存在分布的点，也即该点的像素值，其中i=1,2,…,m，m为横轴上的存在灰度值分布的点的总个数；

（2.2）设定a为灰度值分布集中间隔区间，其中5≤a≤10，当直方图在该轴上的点d_i+1与点d_i的灰度值满足d_i+1﹤d_i+a时，保存该两点的像素值，否则不保存，并另i=i+1；

（2.3）重复上述像素值分布统计运算的步骤（2.1）、（2.2），直至i=m，从而获取每幅图像中的像素密集分布区域；

（3）将步骤（2）中该一定数量的视频图像数据统计后的像素密集分布区域个数进行计数，并记录计数值最大的像素区域的最大、最小像素值区间[k₁ ,k₂]；

优选地，该像素密集分布区域个数进行计数的具体步骤为：

（3.1）将获取的当前帧图像平均分割为n个子图像块，n的取值为4、8、16、32；

（3.2）对每个子图像块统计灰度值密集分布的区域，并记录区域像素值范围，并对该范围计数；

（3.3）对于各个区块记录的区域像素值范围进行与运算，并将与运算不为零的区域个数相加，并记录与运算的像素值范围结果，直至将所有子图像块依次进行上述与运算，获取最终区域像素值范围及计数值，从而获得计数值最大的像素密集分布区域个数及该区域[k₁ ,k₂]。

（4）将实时获取的当前帧图像转换为灰度图像，将像素值在区间[k₁ ,k₂]中的区域转换为统一的像素值K，获取每个像素值为K的连通区域的像素数目及该区域上边缘纵坐标最大的像素点坐标；获取此后连续δ帧图像，并按照上述方法获取该些帧图像中的连通区域像素数目及该区域上边缘最高值点，其中δ取满足20≤δ≤30的任一整数；

（5）当满足连续两帧图像中连通区域像素数目差值绝对值小于等于预设阈值q时，并且其上边缘最高值点坐标值的距离相等，则将该些连通区域合并为同一区域，将这δ帧内的该些相同的区域，即属于同一目标的区域标记为同一个编号，对第δ帧图像中的编号不同区域进行数量计数，从而获得区域编码，否则分别编码；统计第δ帧中的不同编码区域数量，这一数量即为该时刻的目标数量。

本方法对实现物联网数据的高效处理、简化物联网设备控制及物品管理以及改善物联网系统中RFID标签读取的冲突，具有良好效果及重要意义。

以上实施方式仅用于说明本发明，而非对本发明的限制。本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种多目标跟踪系统，其特征在于，系统包括：

目标区域划分模块：用于实现根据目标灰度值特性对图像中目标区域的划分范围进行确定，以为后续多目标跟踪提供区域划分依据；其中，该目标区域划分模块包括：图像预处理子模块，用于将视频图像转换为灰度图像，并取像素值60、195作为阈值，将小于60的区域像素值设置为0，将大于195的区域像素值设置为220；灰度直方图子模块，用于获取图像预处理子模块得到的灰度图像的灰度直方图，并对灰度直方图进行像素值分布统计；像素密集分布区域子模块，用于将视频图像数据统计后的像素密集分布区域个数进行计数，并记录计数值最大的像素区域的最大、最小像素值区间[k₁ ,k₂]；

视频图像获取模块：用于获取行人腰部以上部位视频图像，并根据不同的入口大小在感光成像装置上直接切割出入口大小的成像窗口，仅将该成像窗口大小的视频数据作为待处理图像数据向后续模块传送；

同一区域确定模块：用于将实时获取的当前帧图像转换为灰度图像，将像素值在区间[k₁ ,k₂]中的区域转换为统一的像素值K，获取每个像素值为K的连通区域的像素数目及该区域上边缘纵坐标最大的像素点坐标；获取此后连续δ帧图像，并按照上述方法获取该些帧图像中的连通区域像素数目及该区域上边缘最高值点，其中δ取满足20≤δ≤30的任一整数；

目标区域计数模块：用于当同一区域确定模块中获得的区域满足连续两帧图像中该些连通区域像素数目差值绝对值小于等于预设阈值q时，并且其上边缘最高值点坐标值的距离相等时，将该些连通区域合并为同一区域，并为这些区域编码，否则分别编码；统计第δ帧中的不同编码区域数量。

2.如权利要求1所述的系统，其特征在于：所述灰度直方图子模块进行灰度直方图像素值分布统计的具体方法为：

对灰度直方图从左向右进行像素值分布统计，以直方图在横坐标轴上最左侧的点d_i-1为起点，沿该从左到右的方向对直方图中的灰度值进行分布统计，其中，点d_i为直方图上灰度值存在分布的点，也即该点的像素值，其中i=1,2,…,m，m为横轴上的存在灰度值分布的点的总个数；

设定a为灰度值分布集中间隔区间，其中5≤a≤10，当直方图在该轴上的点d_i+1与点d_i的灰度值满足d_i+1﹤d_i+a时，保存该两点的像素值，否则不保存，并另i=i+1；

重复上述像素值分布统计运算的步骤（2.1）、（2.2），直至i=m，从而获取每幅图像中的像素密集分布区域。

3.如权利要求1所述的系统，其特征在于：所述像素密集分布区域子模块进行区域个数计数的具体方法为：

将获取的当前帧图像平均分割为n个子图像块，n的取值为4、8、16、32；

对每个子图像块统计灰度值密集分布的区域，并记录区域像素值范围，并对该范围计数；

对于各个区块记录的区域像素值范围进行与运算，并将与运算不为零的区域个数相加，并记录与运算的像素值范围结果，直至将所有子图像块依次进行上述与运算，获取最终区域像素值范围及计数值，从而获得计数值最大的像素密集分布区域个数及该区域[k₁ ,k₂]。

4.如权利要求1所述的系统，其特征在于：所述图像预处理子模块的功能在图像处理器GPU中完成，从而加速图像的后续处理。

5.一种多目标跟踪方法，其特征在于，该多目标跟踪方法包括：

（1）将视频获取装置设置于面向室内入口方向，使视频中仅获取行人腰部以上部位，由图像处理装置对视频获取装置设置窗口切割数据，以根据不同的入口大小在感光成像装置上直接切割出入口大小的成像窗口，仅将该窗口大小的视频数据作为待处理图像数据向后续处理装置传送；

（2）获取一定数量的入口视频数据，对视频中的各帧图像进行灰度转换，取像素值60、195作为阈值，将小于60的区域像素值设置为0，将大于195的区域像素值设置为220，得到灰度图像，并转化得到各个灰度图像的灰度直方图；对灰度直方图进行像素值分布统计；

（3）将步骤（2）中该一定数量的视频图像数据统计后的像素密集分布区域个数进行计数，并记录计数值最大的像素区域的最大、最小像素值区间[k₁ ,k₂]；

（4）将实时获取的当前帧图像转换为灰度图像，将像素值在区间[k₁ ,k₂]中的区域转换为统一的像素值K，获取每个像素值为K的连通区域的像素数目及该区域上边缘纵坐标最大的像素点坐标；获取此后连续δ帧图像，并按照上述方法获取该些帧图像中的连通区域像素数目及该区域上边缘最高值点，其中δ取满足20≤δ≤30的任一整数；

（5）当满足连续两帧图像中连通区域像素数目差值绝对值小于等于预设阈值q时，并且其上边缘最高值点坐标值的距离相等，则将该些连通区域合并为同一区域，并为这些区域编码，否则分别编码；统计第δ帧中的不同编码区域数量。

6.如权利要求5所述的方法，其特征在于：所述步骤（2）中对灰度直方图像素值分布统计的具体步骤为：

（2.1）对灰度直方图从左向右进行像素值分布统计，以直方图在横坐标轴上最左侧的点d_i-1为起点，沿该从左到右的方向对直方图中的灰度值进行分布统计，其中，点d_i为直方图上灰度值存在分布的点，也即该点的像素值，其中i=1,2,…,m，m为横轴上的存在灰度值分布的点的总个数；

（2.2）设定a为灰度值分布集中间隔区间，其中5≤a≤10，当直方图在该轴上的点d_i+1与点d_i的灰度值满足d_i+1﹤d_i+a时，保存该两点的像素值，否则不保存，并另i=i+1；

（2.3）重复上述像素值分布统计运算的步骤（2.1）、（2.2），直至i=m，从而获取每幅图像中的像素密集分布区域。

7.如权利要求5所述的方法，其特征在于：所述步骤（3）中的像素密集分布区域个数进行计数的具体步骤为：

（3.1）将获取的当前帧图像平均分割为n个子图像块，n的取值为4、8、16、32；

（3.2）对每个子图像块统计灰度值密集分布的区域，并记录区域像素值范围，并对该范围计数；

（3.3）对于各个区块记录的区域像素值范围进行与运算，并将与运算不为零的区域个数相加，并记录与运算的像素值范围结果，直至将所有子图像块依次进行上述与运算，获取最终区域像素值范围及计数值，从而获得计数值最大的像素密集分布区域个数及该区域[k₁ ,k₂]。