CN102005040B - 基于多特征融合匹配的目标交接方法 - Google Patents

Abstract

基于多特征融合匹配的目标交接方法属多摄像机视频监控技术领域，本发明首先融合目标的形状特征和颜色的统计特征，计算当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标间的初匹配相似度，从而进行初匹配；统计初匹配后待匹配目标的个数，如果个数小于1，则待交接目标为新目标；否则，对待交接目标与待匹配目标进行二次匹配，即根据目标的边缘特征提取颜色的空间分布特征，将目标分割为颜色块，融合颜色块的平均颜色特征和位置特征，通过二次匹配矩阵计算目标间的二次匹配相似度，由此判断两个目标是否匹配；本发明通过多特征融合匹配，可有效地解决目标特征随时间和地点的变化而改变的难题，同时可提高目标交接的准确性。

Description

基于多特征融合匹配的目标交接方法

技术领域

本发明属多摄像机视频监控技术领域。

背景技术

视频监控技术是利用计算机视觉和图像处理的方法对图像序列进行运动目标检测、目标分类、目标跟踪以及对监控场景中目标行为的分析，由于其具有很好的应用前景，因此引起了许多国家的高度重视。然而，在大多数实际场景中，在单摄像机环境下进行检测和跟踪运动目标时，如何克服周围场景光线的变化和阴影的干扰，如何正确跟踪发生遮挡的运动目标，如何多角度、长时间、大范围对目标跟踪，一直是研究的难点。因此，多摄像机环境下的目标跟踪在广域监控场景中得到了很多的关注。

在多摄像机目标跟踪系统中，主要的难点是如何在多摄像机之间对相同的目标建立正确的对应关系，即多个摄像机所观测到的相同目标要使用同一个标号来表示，这种建立对应关系的过程称为目标交接。相邻摄像机的视野之间存在两种关系，即有重叠区域和无重叠区域。目标交接问题是多摄像机跟踪系统中的关键步骤，只有成功解决这个问题，才能进行后续的目标行为分析等工作。

目前，主要的目标交接算法有基于三维信息的目标交接算法、基于队列的目标交接算法、基于视野分界线的目标交接算法、基于投影不变量的目标交接算法，以及基于特征匹配的目标交接算法等。基于三维信息的目标交接算法难以保证实时性，且在有些环境中，三维建模或者摄像机标定是难以实现的；基于队列的目标交接算法的前提条件是相邻摄像机的视野之间必须存在重叠区域，比较适用的场景是走廊监控等具有连续性的场合；基于视野分界线的目标交接算法原理简单、易于实现，但是由于新目标进入摄像机时的检测一般存在延时问题，因此仅利用视野分界线来实行一致性标号非常容易出错；基于投影不变量的目标交接算法较为准确，但在多个目标距离较近的情况下会引起误判。

基于特征匹配的目标交接算法选用目标的一些简单特征，然后利用统计学或者概率等方法得出最后的对应关系，是解决多摄像机目标跟踪中的目标交接问题最主要，同时也是最原始的方法。然而，由于人体是非刚体，特征很容易随着时间和地点的变化而改变，这对基于特征匹配的目标交接算法带来致命的打击；而且，不同的摄像机可能有不同的内部参数和光度性能，也会影响特征匹配的准确性；传统的基于特征匹配的目标交接算法只利用了目标颜色的统计特征，忽略了目标颜色的空间分布特征，而目标颜色的空间分布特征对目标而言是很重要的一种信息。可见，基于特征匹配的目标交接算法还需要在很多方面进行改进。

发明内容

本发明的目的是提供一种基于多特征融合匹配的目标交接方法，融合目标的形状特征、边缘特征、颜色的统计特征以及空间分布特征进行目标匹配，有效地解决目标特征随时间和地点的变化而改变的难题，尤其对人体这样的非刚性目标，减小姿势变化等的影响，提高目标交接的准确性。

本发明包括下列步骤：

1.对当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标进行初匹配，其具体过程包括下列步骤：

1.1提取待交接目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高宽比来衡量；颜色的统计特征采用颜色直方图来衡量；

1.2提取待匹配目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高宽比来衡量；颜色的统计特征采用颜色直方图来衡量；

1.3分别计算两个目标间的高宽比相似度和颜色直方图相似度；

1.4计算两个目标间的初匹配相似度；

1.5如果初匹配相似度大于给定阈值，则相邻摄像机视野中的此目标仍为待匹配目标；否则，相邻摄像机视野中的此目标为不匹配目标；

1.6如果此待匹配目标是最后一个待匹配目标，则结束初匹配过程；否则，对相邻摄像机视野中的下一个待匹配目标重复步骤1.2到步骤1.6；

上述的步骤1.1和步骤1.2可同时进行。

2.统计初匹配后待匹配目标的个数，如果个数小于1，则待交接目标为新目标；否则，转到步骤3)；

3.对当前摄像机视野中的待交接目标与初匹配后的待匹配目标进行二次匹配，其具体过程包括下列步骤：

3.1提取待交接目标的颜色空间分布，将目标分割为两种颜色块：低频颜色块与高频颜色块；

3.2提取待交接目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡量；

3.3提取待匹配目标的颜色空间分布，将目标分割为两种颜色块：低频颜色块与高频颜色块；

3.4提取待匹配目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡量；

3.5依次计算不同目标内的两个颜色块间的颜色平均值相似度和位置相似度；

3.6依次计算不同目标内的两个颜色块间的颜色块相似度；

3.7以待交接目标内的颜色块为行，以待匹配目标内的颜色块为列，不同目标内的两个颜色块间的颜色块相似度为元素，建立两个目标间的二次匹配矩阵；

3.8根据二次匹配矩阵，计算两个目标间的二次匹配相似度；

3.9如果此待匹配目标是最后一个待匹配目标，则转到步骤3.10；否则，对初匹配后的下一个待匹配目标重复步骤3.3到步骤3.9；

3.10搜索所有二次匹配相似度中的最大值，如果此最大值小于给定阈值，则待交接目标为新目标；否则，此最大值所对应的待匹配目标与待交接目标相匹配；

上述的步骤3.1和步骤3.3、步骤3.2和步骤3.4可同时进行。

上述步骤3.1中所述的提取待交接目标的颜色空间分布，将目标分割为两种颜色块：低频颜色块与高频颜色块，具体过程包括下列步骤：

3.1.1将目标的最小外接矩形内的区域分割为固定大小的块；

3.1.2将块分为三类：背景块、前景块和边界块，其中，块内像素点都为背景像素点的块为背景块，块内像素点都为目标像素点的块为前景块，其余的块内一部分像素点属于背景，一部分像素点属于目标，这些块为边界块；

3.1.3对目标进行Sobel算子边缘检测；

3.1.4统计每个前景块内的边缘像素点个数，如果个数小于给定阈值，则将此前景块标记为低频块；否则，将此前景块标记为高频块；

3.1.5计算每个低频块内的像素值的平均值，分别将平均值相近且位置相邻的低频块合并，将合并后的每个低频块标记为低频颜色块，去除小区域的低频颜色块；

3.1.6计算每个高频块内的像素值的平均值，分别将平均值相近且位置相邻的高频块合并，将合并后的每个高频块标记为高频颜色块，去除小区域的高频颜色块；

3.1.7得到的低频颜色块与高频颜色块构成此目标的颜色空间分布；

上述的步骤3.1.1和步骤3.1.3、步骤3.1.5和步骤3.1.6可同时进行。

上述步骤3.8中所述的根据二次匹配矩阵，计算两个目标间的二次匹配相似度的具体过程包括下列步骤：

3.8.1初始化二次匹配相似度为0；

3.8.2在二次匹配矩阵中搜索颜色块相似度的最大值；

3.8.3如果此最大值为0，则转到步骤3.8.6；否则，转到步骤3.8.4；

3.8.4将此最大值累加到二次匹配相似度中；

3.8.5将此最大值的对应行、对应列中的颜色块相似度都赋为0，转到步骤3.8.2；

3.8.6计算过程结束，记录下最终得到的二次匹配相似度。

本发明的积极效果在于：先进行目标间的初匹配，再进行二次匹配，降低了二次匹配的计算量；取代了固定大小的分块方法，将目标分割为不同的颜色块，并且融合了目标的形状特征、边缘特征、颜色的统计特征以及空间分布特征，以及颜色块的平均颜色特征和位置特征进行目标匹配，能有效地解决目标特征随时间和地点的变化而改变的难题，尤其对人体这样的非刚性目标，可减小姿势变化等的影响，提高目标交接的准确性。

附图说明

图1为基于多特征融合匹配的目标交接方法流程图

图2为颜色空间分布提取过程流程图

具体实施方式

本发明是一种基于多特征融合匹配的目标交接方法，如图1所示，具体过程包括下列步骤：

1.对当前摄像机Ci视野中的待交接目标

与相邻摄像机Cj视野中的待匹配目标进行初匹配，包括下列步骤：

1)提取待交接目标

的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高宽比S来衡量；颜色的统计特征采用颜色直方图H来衡量；

2)提取待匹配目标

的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高宽比S来衡量；颜色的统计特征采用颜色直方图H来衡量；

3)分别计算两个目标间的高宽比相似度和颜色直方图相似度 ${\mathrm{Sim}}_H(O_i^u,O_j^v):$

${\mathrm{Sim}}_S(O_i^u,O_j^v)=\frac{\sqrt{S_i^u\·S_j^v}+1}{\sqrt{(S_i^u+1)(S_j^v+1)}},$

${\mathrm{Sim}}_H(O_i^u,O_j^v)=\frac{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}(G_i^u\left(m\right)-\stackrel{\‾}{G_i^u})(G_j^v\left(m\right)-\stackrel{\‾}{G_j^v})}{\sqrt{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{(G_i^u\left(m\right)-\stackrel{\‾}{G_i^u})}^2\·\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{(G_j^v\left(m\right)-\stackrel{\‾}{G_j^v})}^2}};$

其中：

与

分别为目标

与的外接矩形的高宽比，

与

分别为目标

与

的颜色直方图，

和分别为

和

的平均值；

4)计算两个目标间的初匹配相似度

${\mathrm{Sim}}_1(O_i^u,O_j^v)={\mathrm{Sim}}_S(O_i^u,O_j^v)\·{\mathrm{Sim}}_H(O_i^u,O_j^v);$

5)如果初匹配相似度大于给定阈值，则仍标记相邻摄像机视野中的此目标为待匹配目标，记为

否则，标记此目标为不匹配目标；

6)此待匹配目标是否为最后一个待匹配目标，如果是，则结束初匹配过程；否则，对下一个待匹配目标重复步骤2)到6)。

2.统计初匹配后待匹配目标的个数，如果个数小于1，则当前摄像机视野中的待交接目标为新目标；否则，转到步骤3；

3.对当前摄像机Ci视野中的待交接目标

与初匹配后的待匹配目标进行二次匹配，包括下列步骤：

1)提取待交接目标

的颜色空间分布，即将目标分割为两种颜色块：低频颜色块与高频颜色块，如图2所示，包括下列步骤：

1.1将目标的最小外接矩形内的区域分割为固定大小的块；

1.2将块分为三类：背景块、前景块以及边界块；其中，块内像素点都为背景像素点的块为背景块，块内像素点都为目标像素点的块为前景块，其余的块内一部分像素点属于背景，一部分像素点属于目标，这些块为边界块；

1.3对目标进行Sobel算子边缘检测；

1.4统计每个前景块内的边缘像素点个数，如果个数小于给定阈值，则将此前景块标记为低频块；否则，将此前景块标记为高频块；

1.5计算每个低频块内的像素值的平均值，分别将平均值相近且位置相邻的低频块合并，将合并后的每个低频块标记为低频颜色块，去除小区域的低频颜色块；

1.6计算每个高频块内的像素值的平均值，分别将平均值相近且位置相邻的高频块合并，将合并后的每个高频块标记为高频颜色块，去除小区域的高频颜色块；

1.7得到的低频颜色块与高频颜色块便构成了此目标的颜色空间分布。

2)提取待交接目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采用颜色平均值C来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置(X，Y)来衡量；

3)提取待匹配目标

的颜色空间分布；其中，颜色空间分布的提取方法与步骤1)相同；

4)提取待匹配目标

内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采用颜色平均值C来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置(X，Y)来衡量；

5)依次计算不同目标内的两个颜色块间的颜色平均值相似度

和位置相似度

${\mathrm{Sim}}_C(B_i^{u,s},B_j^{w,t})=e^{-|C_i^{u,s}-C_j^{w,t}|},$

${\mathrm{Sim}}_D(B_{i,}^{u,s},B_j^{w,t})=e^{-D(B_i^{u,s},B_j^{w,t})};$

其中：

为目标

内的第s个颜色块，

为目标

内的第t个颜色块，

与分别为颜色块

与的颜色平均值，为颜色块与

的中心点距离；

6)依次计算不同目标内的两个颜色块间的颜色块相似度

${\mathrm{Sim}}_{\mathrm{color}}(B_i^{u,s},B_j^{w,t})={\mathrm{Sim}}_C(B_i^{u,s},B_j^{w,t})\·{\mathrm{Sim}}_D(B_i^{u,s},B_j^{w,t});$

7)以待交接目标

内的颜色块

为行，以待匹配目标

内的颜色块

为列，不同目标内的两个颜色块间的颜色块相似度

为元素，建立两个目标间的二次匹配矩阵Matrix，矩阵的大小为S×T；

其中：S与T分别为s与t的最大值；

8)根据二次匹配矩阵Matrix计算两个目标间的二次匹配相似度

包括下列步骤：

8.1初始化二次匹配相似度

8.2在二次匹配矩阵中搜索颜色块相似度的最大值Matrix(p，q)＝max(Matrix)；

8.3如果此最大值为0，则转到步骤8.6；否则，转到步骤8.4；

8.4将此最大值累加到二次匹配相似度中，即：

${\mathrm{Sim}}_2(O_i^u,O_j^w)={\mathrm{Sim}}_2(O_i^u,O_j^w)+{\mathrm{Sim}}_{\mathrm{color}}(B_i^{u,s},B_j^{w,t});$

8.5将此最大值的对应行、对应列中的颜色块相似度都赋为0，即：

Matrix(p，：)＝Matrix(：，q)＝0；

转到步骤8.2；

8.6计算过程结束，记录下最终得到的二次匹配相似度

9)此待匹配目标是否为最后一个待匹配目标，如果是，则转到步骤10)；否则，对下一个待匹配目标重复步骤3)到9)；

10)搜索所有二次匹配相似度中的最大值，如果此最大值小于给定阈值，则待交接目标

为新目标；否则，此最大值所对应的待匹配目标即为与待交接目标相匹配的目标。

Claims (3)

1.一种基于多特征融合匹配的目标交接方法，其特征在于包括下列步骤：

1)对当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标进行初匹配，具体过程包括下列步骤：

1.1提取待交接目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高宽比来衡量；颜色的统计特征采用颜色直方图来衡量；

1.2提取待匹配目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高宽比来衡量；颜色的统计特征采用颜色直方图来衡量；

1.3分别计算两个目标间的高宽比相似度和颜色直方图相似度；

1.4计算两个目标间的初匹配相似度；

1.5如果初匹配相似度大于给定阈值，则相邻摄像机视野中的此目标仍为待匹配目标；否则，相邻摄像机视野中的此目标为不匹配目标；

1.6如果此待匹配目标是最后一个待匹配目标，则结束初匹配过程；否则，对相邻摄像机视野中的下一个待匹配目标重复步骤1.2到步骤1.6；

上述的步骤1.1和步骤1.2可同时进行；

2)统计初匹配后待匹配目标的个数，如果个数小于1，则待交接目标为新目标；否则，转到步骤3)；

3)对当前摄像机视野中的待交接目标与初匹配后的待匹配目标进行二次匹配，具体过程包括下列步骤：

3.1提取待交接目标的颜色空间分布，将目标分割为两种颜色块：低频颜色块与高频颜色块；

3.2提取待交接目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡量；

3.3提取待匹配目标的颜色空间分布，将目标分割为两种颜色块：低频颜色块与高频颜色块；

3.4提取待匹配目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡量；

3.5依次计算不同目标内的两个颜色块间的颜色平均值相似度和位置相似度；

3.6依次计算不同目标内的两个颜色块间的颜色块相似度；

3.7以待交接目标内的颜色块为行，以待匹配目标内的颜色块为列，不同目标内的两个颜色块间的颜色块相似度为元素，建立两个目标间的二次匹配矩阵；

3.8根据二次匹配矩阵，计算两个目标间的二次匹配相似度；

3.9如果此待匹配目标是最后一个待匹配目标，则转到步骤3.10；否则，对初匹配后的下一个待匹配目标重复步骤3.3到步骤3.9；

3.10搜索所有二次匹配相似度中的最大值，如果此最大值小于给定阈值，则待交接目标为新目标；否则，此最大值所对应的待匹配目标与待交接目标相匹配；

上述的步骤3.1和步骤3.3、步骤3.2和步骤3.4可同时进行。

2.按权利要求1所述的基于多特征融合匹配的目标交接方法，其特征在于步骤3.1中所述的提取待交接目标的颜色空间分布，将目标分割为两种颜色块：低频颜色块与高频颜色块，具体过程包括下列步骤：

3.1.1将目标的最小外接矩形内的区域分割为固定大小的块；

3.1.2将块分为三类：背景块、前景块和边界块，其中，块内像素点都为背景像素点的块为背景块，块内像素点都为目标像素点的块为前景块，其余的块内一部分像素点属于背景，一部分像素点属于目标，这些块为边界块；

3.1.3对目标进行Sobe1算子边缘检测；

3.1.4统计每个前景块内的边缘像素点个数，如果个数小于给定阈值，则将此前景块标记为低频块；否则，将此前景块标记为高频块；

3.1.5计算每个低频块内的像素值的平均值，分别将平均值相近且位置相邻的低频块合并，将合并后的每个低频块标记为低频颜色块，去除小区域的低频颜色块；

3.1.6计算每个高频块内的像素值的平均值，分别将平均值相近且位置相邻的高频块合并，将合并后的每个高频块标记为高频颜色块，去除小区域的高频颜色块；

3.1.7得到的低频颜色块与高频颜色块构成此目标的颜色空间分布；

上述的步骤3.1.1和步骤3.1.3、步骤3.1.5和步骤3.1.6可同时进行。

3.按权利要求1所述的基于多特征融合匹配的目标交接方法，其特征在于步骤3.8中所述的根据二次匹配矩阵，计算两个目标间的二次匹配相似度的具体过程包括下列步骤：

3.8.1初始化二次匹配相似度为0；

3.8.2在二次匹配矩阵中搜索颜色块相似度的最大值；

3.8.3如果此最大值为0，则转到步骤3.8.6；否则，转到步骤3.8.4；

3.8.4将此最大值累加到二次匹配相似度中；

3.8.5将此最大值的对应行、对应列中的颜色块相似度都赋为0，转到步骤3.8.2；

3.8.6计算过程结束，记录下最终得到的二次匹配相似度。

Images