CN103997624B - 重叠域双摄像头目标跟踪系统及方法 - Google Patents

Abstract

本发明是一种重叠域内双摄像头目标跟踪系统及方法，该系统主要是采用基于HSV空间背景加权Meanshift算法和改进的视野分界线目标交接。该目标跟踪算法是对前端单摄像头跟踪子系统对每个摄像头采集的视频序列分别在各自的视野范围内执行相对独立的跟踪任务，得到被跟踪目标的相关信息，然后利用目标交接算法实现摄像头之间的数据通信，后续进行行为判断等高级视频处理过程。

Description

重叠域双摄像头目标跟踪系统及方法

技术领域

本发明采用两个固定摄像头在重叠视野域内对运动目标进行跟踪分析，将单摄像头下的目标检测与跟踪相关理论应用到双摄像头跟踪系统，实现目标在双摄像头下的连续跟踪。

背景技术

随着智能监控系统规模的不断扩大，环境变化日益复杂，为了实现连续的目标跟踪，采用单个摄像头的监控系统变得越来越难以完成上述要求。在这种情况下，多摄像头目标跟踪应运而生。多摄像头目标跟踪技术是智能视频监控系统的一个重要发展方向，它涵盖了计算机视觉、人工智能、模式识别以及信息融合等内容，是一项多学科交叉的前沿课题，它以单摄像头目标跟踪技术为基础，联合多摄像头共同监控重要场所，对同一目标在不同摄像头下的跟踪具有一致性标记，实现了目标的连续跟踪。相比于单摄像头系统，多摄像头系统有效解决目标遮挡问题，扩大了跟踪面积，更全面地获得运动目标的信息，有效的提高了跟踪的准确度。

多摄像头的一个关键问题是建立不同视野间的对应关系。单摄像头跟踪是研究目标在各个图像帧内的对应位置，多摄像头跟踪是解决同一时刻目标在不同视野内的对应关系。多摄像头跟踪以单摄像头跟踪为基础，然后融合来自每个摄像头获得的轨迹来获得该目标的最终运动轨迹。一般多摄像头监控的场景都是有重叠区域的，如采用多个摄像头监控小区门口，商场的走廊等，常常安装两个摄像头对该区域同时进行监控。因此，研究重叠视域的双摄像头跟踪系统有着重要的应用价值。另外，目前单摄像头目标跟踪技术已经非常成熟，这为研究双摄像头的目标跟踪技术提供了丰富的理论基础，基于重叠域双摄像头的目标跟踪技术有着巨大的发展前景，已成为科研人员备受关注的前沿方向。

发明内容

本发明是一种重叠域内双摄像头目标跟踪系统，该系统主要分为两个模块：单摄像头跟踪子模块和双摄像头目标交接模块。前端单摄像头跟踪子系统对每个摄像头采集的视频序列分别在各自的视野范围内执行相对独立的跟踪任务，得到被跟踪目标的相关信息，然后利用目标交接算法实现摄像头之间的数据通信，后续进行行为判断等高级视频处理过程。

本发明对单摄像头目标跟踪中的Meanshift算法进行分析，针对该算法基于颜色信息作为目标特征，易受背景相近颜色信息干扰影响，本发明将图像由RGB空间转换为HSV空间，提出了一种在HSV空间改进的背景加权直方图的Meanshift算法。对于有重叠域的双摄像头目标跟踪，使用基于视野分界线的目标交接方法实现目标的一致性标记。选择基于SIFT及单应性矩阵的方法恢复视野分界线，并利用RANSAC算法去除SIFT生成的误匹配点；在进行视野分界线的目标交接过程中，引入了空间颜色直方图，为待匹配的目标建立空间颜色直方图，计算Bhattacharyya系数，完成对目标的二次匹配，匹配度最高的赋予相同的标号。

为了实现上述目的，本发明实施案例提供的技术方案如下：

步骤1：摄像头采集图像

步骤2：目标检测

步骤3：目标跟踪，采用基于HSV空间背景加权Meanshift算法

步骤4：双摄像头目标交接，采用改进的视野分界线目标交接

步骤5：后续处理

其中，所述步骤3基于HSV空间背景加权Meanshift算法具体包括：

步骤31：图像转换到HSV空间；

步骤32：计算目标模型颜色直方图

步骤33：对当前帧中目标的位置y₀和搜索窗尺寸h进行初始化，并计算搜索区域中候选目标模型在y₀处的颜色直方图然后估计候选目标模型颜色直方图与目标模型颜色直方图的相似度，计算二者的Bhattacharyya系数搜索窗区域就是候选目标区域。值越大，候选目标像素点为实际目标像素点的概率越大；

步骤34：计算搜索窗内各像素点的权值和目标新的位置y₁；

步骤35：更新候选目标在新位置处的颜色直方图并估计该直方图与目标模型颜色直方图的相似度

步骤36：若说明目标新位置y₁处的颜色分布与目标模型颜色分布的相似度低于目标原位置y₀处的颜色分布与目标模型颜色分布的相似度，则缩小目标新位置y₁与原位置y₀的距离，取二者的中间位置，即直到

步骤37：若目标新位置与原位置之差||y₁-y₀||<ε，ε为一个预设阈值，说明已经跟踪到视频序列的最后一帧了，跟踪结束；否则更新目标位置，y₀←y₁，跳转到步骤32继续进行。另外，当meanshift跟踪算法的迭代次数大于预设的最大迭代次数(一般在15～20)时，跟踪结束。

其中，所述步骤4改进的视野分界线目标交接包括：

步骤41：利用改进的Meanshift算法实现单摄像头的目标跟踪，并记录目标的脚点位置；

步骤42：利用SIFT及单应性矩阵恢复视野分界线；

步骤43：某个时刻摄像头C₂中出现了新的目标P时，判断目标在摄像头C₁中的可见性。若不可见，为目标P赋予一个新的标号，转到步骤45；若可见，计算摄像头C₁中各个目标与视野分界线的距离D；

步骤44：设定一个阈值Th，比较D与Th的大小对目标进行二次匹配；

当D≤Th时，分两种情况：

(1)满足条件的只有一个目标，则该目标就是与目标P对应的目标，对目标P赋予相同的标号；

(2)满足条件的有多个目标，计算目标P与满足条件的目标的空间颜色直方图，用巴氏系数度量各个目标与目标P的空间颜色直方图的相似性，巴氏系数最大的目标即为与目标P匹配的目标，给予目标一致性标记；

步骤45：完成目标交接。

本发明还公开了一种重叠域内双摄像头目标跟踪系统，包括单摄像头跟踪子系统和双摄像头跟踪系统，

单摄像头跟踪子系统就是传统的视频监控系统，包含运动目标的检测和跟踪。目标检测就是在图像序列中从背景中提取出感兴趣目标，它是目标跟踪的基础，检测的结果直接影响后续目标跟踪的效果。目标跟踪是单摄像头跟踪子系统的中心环节，目标跟踪就是在检测的基础上，得到目标的运动信息，从而判断其行为，获得的运动信息一般为目标的运动轨迹、位置等。本发明对单摄像头目标跟踪中的Meanshift算法进行分析，针对该算法基于颜色信息作为目标特征，易受背景相近颜色信息干扰影响，本发明将图像由RGB空间转换为HSV空间，提出了一种在HSV空间改进的背景加权直方图的Meanshift算法。

双摄像头跟踪系统在单摄像头跟踪子模块完成后，就获得了各个子模块得到的目标信息，在后面处理就利用子模块获取的目标信息进行目标交接任务，然后获取目标的最终轨迹。双摄像头跟踪的核心环节是目标交接，它负责目标从一个摄像头跨越到另一个摄像头的一致性标记。目标交接解决了双摄像头的目标匹配问题。本发明选择基于SIFT及单应性矩阵的方法恢复视野分界线，并利用RANSAC算法去除SIFT生成的误匹配点；在进行视野分界线的目标交接过程中，引入了空间颜色直方图，为待匹配的目标建立空间颜色直方图，计算Bhattacharyya系数，完成对目标的二次匹配，匹配度最高的赋予相同的标号。

本发明系统主要涉及两个关键问题：一是单摄像头的运动目标检测与跟踪，二是双摄像头的目标交接问题，即解决被观测目标离开或者进入另一个摄像头的视野范围时，如何实现目标的匹配，给予目标一致性标记问题。

本发明与现有技术相比，具有以下优点:

(1)重叠视域双摄像头跟踪可以从不同视角对感兴趣目标进行观测从而获得关于目标更顽健的跟踪信息，有效地解决了当目标发生遮挡或进入死角时目标容易跟丢的问题。

(2)本发明改进的Meanshift算法，它是一种基于无参核密度估计的区域匹配算法，该方法不需要对整个图像进行搜索，只是局部搜索就能够达到较高的跟踪精度，而且耗时少，而且对背景信息具有很好的抗干扰性。

(3)本发明利用空间颜色直方图匹配的方法对目标进行二次匹配，消除了误差的影响，提高了准确度。

附图说明

图1重叠域双摄像头目标跟踪系统结构图

图2 MeanShift算法的流程图；

图3本文改进的双摄像头目标交接算法流程图。

具体实施方式

下面结合附图做进一步说明。

如图1所示，本发明一种重叠域内双摄像头目标跟踪算法具体包括：

步骤S101：摄像头采集图像

步骤S102：目标检测

步骤S103：目标跟踪，采用基于HSV空间背景加权Meanshift算法

步骤S104：双摄像头目标交接，采用改进的视野分界线目标交接

步骤S105：后续处理

如图2所示，对目标跟踪的步骤包括：

步骤S201：图像转换到HSV空间；

步骤S202：计算目标模型颜色直方图

步骤S203：对当前帧中目标的位置y₀和搜索窗尺寸h进行初始化；

步骤S204：计算搜索区域中候选目标模型在y₀处的颜色直方图然后估计候选目标模型颜色直方图与目标模型颜色直方图的相似度，计算二者的Bhattacharyya系数搜索窗区域就是候选目标区域。值越大，候选目标像素点为实际目标像素点的概率越大；

步骤S205：计算搜索窗内各像素点的权值和目标新的位置y₁；

步骤S206：更新候选目标在新位置处的颜色直方图并估计该直方图与目标模型颜色直方图的相似度

步骤S207：判断若是则转至步骤S208；若不是则转至步骤S209；

步骤S208：转至步骤S206；

步骤S209：判断目标新位置与原位置之差||y₁-y₀||<ε，ε为一个预设阈值，如是则跟踪结束；若不是则转至步骤S210；

步骤S210：y₀←y₁，跳转到第S204步继续进行。

如图3所示,双摄像头目标交接步骤包括

步骤S301：利用改进的Meanshift算法实现单摄像头的目标跟踪，并记录目标的脚点位置；步骤S302：利用SIFT及单应性矩阵恢复视野分界线；

步骤S303：某个时刻摄像头C₂中出现了新的目标P；

步骤S304：判断目标在摄像头C₁中的可见性。若不可见，转至步骤S305；若可见，转至目标S306；

步骤S305：为目标P赋予一个新的标号，转到步骤S311；

步骤S306：计算摄像头C₁中各个目标与视野分界线的距离D；

步骤S307：设定一个阈值Th，比较D与Th的大小对目标进行二次匹配。若D大于阈值转至步骤S305；若D小于阈值转至步骤S308；

步骤S308：判断目标是否唯一。若目标唯一则转至步骤S309；若目标不唯一则转至步骤S310；

步骤S309：满足条件的只有一个目标，则该目标就是与目标P对应的目标，对目标P赋予相同的标号；

步骤S310：计算目标P与满足条件的目标的空间颜色直方图，用巴氏系数度量各个目标与目标P的空间颜色直方图的相似性，巴氏系数最大的目标即为与目标P匹配的目标，给予目标一致性标记；

步骤S311：完成目标交接。

由上述实施方式可以看出，本发明是一种重叠域内双摄像头目标跟踪系统，该系统主要分为两个模块：单摄像头跟踪子模块和双摄像头目标交接模块。前端单摄像头跟踪子系统对每个摄像头采集的视频序列分别在各自的视野范围内执行相对独立的跟踪任务，得到被跟踪目标的相关信息，然后利用目标交接算法实现摄像头之间的数据通信，后续进行行为判断等高级视频处理过程。

相比于单摄像头系统，多摄像头系统有效解决目标遮挡问题，扩大了跟踪面积，更全面地获得运动目标的信息，有效的提高了跟踪的准确度。

Claims (2)

1.一种重叠域双摄像头目标跟踪方法,其特征在于该方法包括：

步骤1：摄像头采集图像

步骤2：目标检测

步骤3：目标跟踪，采用基于HSV空间背景加权Meanshift算法

步骤4：双摄像头目标交接，采用改进的视野分界线目标交接

步骤5：后续处理；

所述步骤3基于HSV空间背景加权Meanshift算法具体包括：

步骤31：图像转换到HSV空间；

步骤32：计算目标模型颜色直方图其中m为目标模型中定义的颜色数目；

步骤33：对当前帧中目标的位置y₀和搜索窗尺寸h进行初始化，并计算搜索区域中候选目标模型在y₀处的颜色直方图其中m为目标模型中定义的颜色数目，然后估计候选目标模型颜色直方图与目标模型颜色直方图的相似度，计算二者的Bhattacharyya系数搜索窗区域就是候选目标区域；值越大，候选目标像素点为实际目标像素点的概率越大；

步骤34：计算搜索窗内各像素点的权值和目标新的位置y₁；n_h为搜索窗口内像素的总数；

步骤35：更新候选目标在新位置处的颜色直方图其中m为目标模型中定义的颜色数目，并估计该直方图与目标模型颜色直方图的相似度

步骤36：若说明目标新位置y₁处的颜色分布与目标模型颜色分布的相似度低于目标原位置y₀处的颜色分布与目标模型颜色分布的相似度，则缩小目标新位置y₁与原位置y₀的距离，取二者的中间位置，即直到

步骤37：若目标新位置与原位置之差||y₁-y₀||<ε，ε为一个预设阈值，说明已经跟踪到视频序列的最后一帧了，跟踪结束；否则更新目标位置，y₀←y₁，跳转到步骤32继续进行；另外，当meanshift跟踪算法的迭代次数大于预设的最大迭代次数(一般在15～20)时，跟踪结束。

2.根据权利要求1所述的方法，其特征在于所述步骤4改进的视野分界线目标交接包括：

步骤41：利用改进的Meanshift算法实现单摄像头的目标跟踪，并记录目标的脚点位置；

步骤42：利用SIFT及单应性矩阵恢复视野分界线；

步骤43：某个时刻摄像头C₂中出现了新的目标P时，判断目标在摄像头C₁中的可见性，若不可见，为目标P赋予一个新的标号，转到步骤45；若可见，计算摄像头C₁中各个目标与视野分界线的距离D；

步骤44：设定一个阈值Th，比较D与Th的大小对目标进行二次匹配；

当D≤Th时，分两种情况：

(1)满足条件的只有一个目标，则该目标就是与目标P对应的目标，对目标P赋予相同的标号；

(2)满足条件的有多个目标，计算目标P与满足条件的目标的空间颜色直方图，用巴氏系数度量各个目标与目标P的空间颜色直方图的相似性，巴氏系数最大的目标即为与目标P匹配的目标，给予目标一致性标记；

步骤45：完成目标交接。