CN101329765A - 多摄像机目标匹配特征融合方法 - Google Patents

Abstract

本发明公开了一种多摄像机目标匹配特征融合方法，用于多摄像机视频监控领域中的信息处理，利用叠代加宽的算法进行实时特征融合，包括：(1)提取被跟踪目标的外观特征，包括颜色直方图特征，UV色度特征，主要颜色谱特征，以及SIFT特征；(2)分别针对各种特征计算两个待匹配目标间的相似度，并建立特征相似度矩阵；(3)根据相似度矩阵计算确定待匹配目标间的置信度指数；(4)采用叠代加宽的特征融合算法获取目的目标。本发明具有易于实现、鲁棒性强、可靠性高、实时性强等优点，可以为多摄像机目标匹配提供实时可靠的信息。

Description

多摄像机目标匹配特征融合方法

技术领域

本发明涉及一种多摄像机视频监控领域中信息处理的方法，具体是一种多摄像机目标匹配的特征融合方法。

背景技术

随着视频监控技术的快速发展，以及单摄像机有限的视域无法满足广域视频监控的要求，多摄像机非重叠视域目标跟踪成为有效解决广域视频监控问题的一种途径。目标特征提取与匹配是多摄像机目标跟踪中的基础以及重点。目标匹配是指把在不同时刻出现在不同摄像机前的目标进行匹配，由于目标物体在不同摄像机前的颜色、形状和摄像机的观测距离、观测角度等方面的巨大的差异，以及各个摄像机的内部参数和监控区域中光照等环境条件的不同等种种复杂的原因，传统计算机视觉理论中关于单摄像机跟踪匹配的很多方法都不再适用。所以，无重叠视域摄像机之间的特征提取和目标匹配需要建立适合自己特殊问题的新方法。

经对现有技术文献的检索发现，Javed等人于2008年在《Computer Vision andImage Understanding》(计算机视觉与图像理解)发表的论文“Modeling inter-camera space-time and appearance relationships for tracking acrossnon-overlapping views”(针对非重叠视域跟踪的多摄像机时空及外观关系建模)运用颜色直方图建立外观模型。

然而，由于多摄像机视域中各摄像机之间多种因素变化的不确定性，这些特征均无法对于这些不确定因素同时具有鲁棒性。因此，对多种特征进行融合可以实现更加准确的匹配。例如，Patwardhan等人于2007年在ICIP(图像处理国际会议)发表的论文“A graph-based foreground representation and ITS application inexample based people matching in video”(基于图形的前景表示和ITS在基于实例的人匹配中的应用)融合了颜色直方图的特征和尺度不变(SIFT)的特征来进行目标匹配。Madden和Piccardi于2007年在AVSS(先进视频及信号监控)发表的论文“A framework for track matching across disjoint cameras using robustshape and appearance features”(一种针对非重叠摄像机跟踪匹配的鲁棒外形和外观特征的框架)建立了一个框架来融合身高的信息和主要颜色谱的分布信息。然而，目前的融合大都建立在简单的贝叶斯框架或高斯框架下，缺少考虑特征本身的特点以及在不同条件下的效果。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种多摄像机目标匹配特征融合方法，对外观特征进行叠代加宽融合，如：颜色直方图特征，UV色度特征，主要颜色谱特征，以及SIFT特征。使其克服各种特征对于不同变化因素的不确定性，在特征级上进行融合，最终为多摄像机目标跟踪提供实时、全面、准确的匹配依据。

本发明是通过以下技术方案实现的，本发明具体包括以下步骤：

(1)提取被跟踪目标的外观特征；

(2)特征相似度矩阵S的建立；

(3)置信度指数的确定；

(4)叠代加宽的特征融合算法。

所述提取被跟踪目标的外观体征，由以下方法实现：

使用混合高斯模型建模提取颜色外观特征。

使用Cheng和Piccardi于2007年在《Optical Engineering》(光学工程)发表的论文“Disjoint track matching based on a major color spectrumhistogram representation”(基于主要颜色谱直方图表示方法的非重叠跟踪匹配)的方法提取主要颜色谱直方图。

使用Lowe于2004年在《International Journal of Computer Vision》(计算机视觉)发表的论文“Distinctive image features from scale-invariantkeypoints”(源于尺度不变关键点的区分性图像特征)的方法提取尺度不变特征。

对于颜色直方图特征和UV色度特征，特征提取结果为混合高斯模型。对于主要颜色谱，特征提取为主要颜色直方图。对于SIFT，特征提取128维尺度不变特征。

所述的特征相似度矩阵S的建立，通过以下步骤实现：

(1)对于颜色直方图特征及UV色度特征，利用混合高斯模型参数，由下式计算两个待匹配目标间的相似度，

$s=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\{\sqrt{w_{\mathrm{ai}}\·w_{\mathrm{bi}}}\·[\left|\log \left(\frac{w_{\mathrm{ai}}}{w_{\mathrm{bi}}}\right)\right|+\underset{k=1}{\overset{n}{\mathrm{\Π}}}\left|\right|\log \left(\frac{x_{\mathrm{aik}}}{x_{\mathrm{bik}}}\right)\left|\right|+d{(p_{\mathrm{ai}},p_{\mathrm{bi}})}^2\left]\right\}$

其中，w_a和w_b表示待匹配目标a和b的混合高斯模型中各分量的权值，x_aik和x_bik表示混合高斯模型中各分量的协方差矩阵，d(p_ai，p_bi)表示混合高斯模型均值的欧式距离，相似度数值越小，相似度越大；

对于主要颜色谱特征，由下式计算两个待匹配目标间的相似度，

$s=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{p_{\mathrm{ai}}\·p_{\mathrm{bi}}}\·d\left(C_{a,}{C}_b\right)$

其中，p_ai和p_bi表示待匹配目标a和b的主要颜色直方图中相对应颜色柱的权值；d(C_a，C_b)表示颜色柱C_a和C_b之间的距离，相似度数值越小，相似度越大；

对于尺度不变特征，两个待匹配目标间的相似度采用提取尺度不变特征方法获取，相似度数值越大，相似度越大；

(2)将获得的相似度构成特征相似度矩阵S，其表示为：

其中，S_i，j表示特征i中跟踪目标与第j个待匹配目标间的相似度；i＝1，2，…，N j＝1，2，…，M；

所述的置信度指数的确定，通过以下方法计算：

对于颜色直方图特征，UV色度特征及主要颜色谱特征，两个待匹配目标间的置信度指数根据相似度矩阵，由下式计算得到：

$C_{\mathrm{rij}}=\frac{\frac{1}{S_{\mathrm{ij}}}}{\underset{j=0}{\overset{N}{\mathrm{\Σ}}}\frac{1}{S_{\mathrm{ij}}}}$

其中，S_ij表示相似度矩阵每行的元素。i＝1，2，…，M j＝1，2，…，N

对于SIFT特征，两个待匹配目标间的置信度指数根据相似度矩阵，由下式计算得到：

$C_{\mathrm{rij}}=\frac{S_{\mathrm{ij}}}{\underset{j=0}{\overset{N}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}}$

如果C_ir的值小于

则将置信度指数最小值设为

置信度指数最大值为1。

将置信度指数构成置信度指数矩阵，置信度指数矩阵与相似度矩阵行列数相同。

所述的叠代加宽的特征融合算法，通过以下步骤实现：

(1)设置w为叠代宽度阈值，设置叠代宽度初值a＝1；

(2)在相似度矩阵中搜索每个特征行中前a个相似度最大的目标，如果某一列且只有一列中的所有N个特征行的元素都被搜索到，则该列所对应的待匹配目标即表示目的目标，叠代终止；

(3)如果有大于1的m列中所有N个特征行的元素都被搜索到，则分别计算置信度指数矩阵中与此m列所对应的每一列的期望值，期望值最高的一列所对应的待匹配目标即表示目的目标，叠代终止；

(4)如果没有一列中的所有特征行的元素都被搜索到，即在当前宽度下未找到任何目的目标，则更新叠代宽度a＝a+1；a≤w，转步骤(2)，进行下一次叠代；

(5)若a＞w，则在当前宽度下搜索第二相似的目的目标，即取被搜索到的元素最多的那一列所对应的待匹配目标作为目的目标，叠代终止。

本发明与现有技术相比的显著效果在于：较单特征的匹配算法准确率较高，有效克服不同特征对于各种不确定因素鲁棒性不同等缺点，为多摄像机非重叠视阈目标跟踪系统提供更加实时、全面、准确的匹配依据。而且，与一般的基于贝叶斯框架的融合算法相比，对于置信度相差较大的特征，准确度较贝叶斯算法提高。

本发明针对多摄像机目标跟踪的需要，在特征级上对参与匹配的特征进行融合，并考虑到不同特征的适用性，具有实时性强、可信度高、鲁棒性强等优点，特别是在特征间的置信度指数差别较大或特征置信度指数未知的情况下进行在线融合，这是以往技术方法都难以克服的难点，也是阻碍它们实现真正工程应用的主要障碍。本发明使用先进的智能方法，实现不同特征间相似度的融合，最终为多摄像机监控提供实时，可靠的依据。

附图说明

图1本发明方法步骤方框示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

为了更好地理解本实施例提出的方法，选取非重叠视域摄像机数目为2，参与匹配的目标数量为10，设置两摄像机具有不同的观察角度，不同的光照条件及摄像机参数。

如图1所示，本实施例具体实施步骤如下：

(1)对被匹配目标颜色直方图特征，UV色度特征，主要颜色谱特征，以及SIFT特征进行特征提取。通过以下方法实现：

(1)颜色直方图特征：使用Cai等人于2007年在ACCV(亚洲计算机视觉会议)发表的论文“Continuously tracking objects across multiple widely separatedcameras”(广域非重叠多摄像机持续目标跟踪)的方法提取基于前景分割的颜色直方图特征。

根据空间关系将目标划分为三个部分，对于每部分使用高斯混合模型(GMM)来估计颜色分布，不同部分的权值由下式计算：

$p_i=p(a_s=b_s|S_{\mathrm{ai}}=S_{\mathrm{bi}})$

$=\frac{p(S_{\mathrm{ai}}=S_{\mathrm{bi}}|a_s=b_s)\×p(a_s=b_s)}{p(S_{\mathrm{ai}}=S_{\mathrm{bi}})}$

其中，a_s和b_s代表摄像机A和B中的检测目标，p(S_ai＝S_bi)代表  a_s和b_s中的对应部分相匹配的概率，p(a_s＝b_s)代表摄像机A和B中的目标相匹配的概率。

(2)UV色度特征：使用Jeong和Jaynes于2008年在《Machine Vision andApplications》(机器视觉及应用)发表的论文“Object matching in disjointcameras using a color transfer approach”(使用颜色转换方法的非重叠摄像机目标匹配)提取UV色度空间模型。

将目标划分为三个部分，根据YUV颜色空间的UV通道建立色度平面。对于平面上的颜色分布建立二维高斯混合模型。权值计算同颜色直方图。

(3)主要颜色谱特征：使用Cheng和Piccardi于2007年在《OpticalEngineering》(光学工程)发表的论文“Disjoint track matching based on a majorcolor spectrum histogram representation”(基于主要颜色谱直方图表示方法的非重叠跟踪匹配)的方法提取主要颜色谱直方图。使用最邻近分类法(NNC)对像素进行聚类，分类阈值由下式计算：

$d(C_a,C_b)=1-\frac{\left|\right|C_a\left|\right|\·\left|\right|C_b\left|\right|\·\cos \mathrm{\θ}}{{\left|\right|C_a\left|\right|}^2+{\left|\right|C_b\left|\right|}^2}$

如果两个像素间的距离大于设定的阈值，则建立一个新的聚类中心。并使用k均值算法调整分类中心：

${\mathrm{Ch}}_k\left[i\right]={\mathrm{Ch}}_k\left[i\right]\·(1-\frac{1}{n})\·{\mathrm{Ch}}_k[i-1]+{\mathrm{Ch}}_k\left[i\right]\·\frac{1}{n}$

其中Ch_k[i]代表k通道中聚类中心的当前值，n当前聚类中心的像素数量，Ch_k[i-1]代表聚类中心的上一个值，特征提取为主要颜色直方图，分类阈值为0.07。

(4)SIFT特征：使用Lowe于2004年在《International Journal of ComputerVision》(计算机视觉)发表的论文“Distinctive image features fromscale-invariant keypoints”(源于尺度不变关键点的区分性图像特征)的方法提取尺度不变特征。本方法将靠近物体轮廓边缘具有较清晰的分界线的特征进行去除，得到128维特征。

特征提取使用Visual C++语言编程。

(2)特征相似度矩阵S的建立

在真实数据集中利用 $s=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\{\sqrt{w_{\mathrm{ai}}\·w_{\mathrm{bi}}}\·[\left|\log \left(\frac{w_{\mathrm{ai}}}{w_{\mathrm{bi}}}\right)\right|+\underset{k=1}{\overset{n}{\mathrm{\Π}}}\left|\right|\log \left(\frac{x_{\mathrm{aik}}}{x_{\mathrm{bik}}}\right)\left|\right|+d{(p_{\mathrm{ai}},p_{\mathrm{bi}})}^2\left]\right\}$

计算两个目标间颜色直方图特征及UV色度特征的相似度。利用 $s=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{p_{\mathrm{ai}}\·p_{\mathrm{bi}}}\·d\left(C_{a,}{C}_b\right)$ 计算两个目标间主要颜色谱特征的相似度。两个目标间SIFT特征相似度的相似度为采用尺度不提取尺度不便特征的方法获取。将计算结果构成特征相似度矩阵，表示为：

$S=\begin{array}{c}{f}_1\\ f_2\\ f_3\\ f_4\end{array}\left[\begin{array}{cccccccccc}0.482& 0.353& 0.397& 0.437& 1.0& 0.599& 0.575& 0.884& 0.438& 0.427\\ 0.740& 0.409& 0.060& 0.426& 0.135& 0.276& 1.000& 0.198& 0.689& 0.053\\ 0.809& 0.784& 0.714& 0.852& 0.990& 0.768& 0.826& 1.000& 0.710& 0.729\\ 1& 1& 4& 2& 4& 6& 2& 0& 2& 3\end{array}\right]$

式中，f₁～f₄表示四种特征的对应不同匹配目标的相似度。其中，前三种基于颜色的特征相似度数值越小表示相似度越大，SIFT特征相似度数值越大表示与相似度越大。

(3)置信度指数的确定：

根据 $C_{\mathrm{rij}}=\frac{\frac{1}{S_{\mathrm{ij}}}}{\underset{j=0}{\overset{N}{\mathrm{\Σ}}}\frac{1}{S_{\mathrm{ij}}}}$ 及 $C_{\mathrm{rij}}=\frac{S_{\mathrm{ij}}}{\underset{j=0}{\overset{N}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}}$ 计算得置信度指数为：

颜色直方图特征：[0.104 0.143 0.127 0.114 0.1 0.1 0.1 0.1 0.114 0.117]

UV色度特征：[0.1 0.1 0.277 0.1 0.1228 0.1 0.1 0.1 0.1 0.3127]

主要颜色谱特征：[0.1 0.103 0.113 0.1 0.1 0.105 0.1 0.1 0.1137 0.1107]

以及SIFT特征：[0.1 0.1 0.148 0.1 0.148 0.222 0.1 0.1 0.1 0.1]

(4)叠代加宽融合算法：

用本融合算法对四种特征进行融合，融合算法用Visual C++语言编程。

根据叠代加宽融合算法步骤(1)：参数设置为：叠代宽度阈值w＝5，叠代宽度初值a＝1。

根据叠代加宽融合算法步骤(2)：在相似度矩阵中搜索每个特征行中前a个相似度最大的目标，结果为：特征1的第2个目标，特征2的第10个目标，特征3的第9个目标，特征4的第6个目标。未找到任何一列中所有N个特征行的元素均被搜索到。

根据叠代加宽融合算法步骤(4)：a＝2，转步骤(2)。

根据叠代加宽融合算法步骤(2)：在相似度矩阵中搜索每个特征行中前a个相似度最大的目标，结果为：特征1的第2、3个目标，特征2的第3、10个目标，特征3的第3、9个目标，特征4的第3、6个目标。找到第3列中的N个特征行的元素均被搜索到。则第三个目标即为目的目标，叠代终止。

另外，对四种特征进行两两融合，结果如下：

颜色直方图特征和UV色度特征间的融合，叠代宽度b＝2，迭代结果为第三个待匹配目标。UV色度特征和主要颜色谱特征，迭代宽度b＝1，迭代结果为第三个待匹配目标。主要颜色谱特征和SIFT特征，迭代宽度b＝2，迭代结果为第三个待匹配目标。其他特征间的融合可以得到类似的结果。

通过与贝叶斯贝叶斯框架融合算法的结果相比较，本发明方法达到75％以上的准确率，而且与贝叶斯框架算法相比表现出较好的鲁棒性。

Claims (1)

1、一种多摄像机目标匹配特征融合方法，其特征在于包括以下步骤：

1)对于不同摄像机中出现的跟踪目标提取外观特征；其中，对于跟踪目标的颜色直方图特征，提取结果以一维混合高斯模型表示；对于UV色度特征，提取结果以二维混合高斯模型表示；对于主要颜色谱特征，提取结果以主要颜色直方图表示；对于尺度不变特征，提取结果为128维尺度不变特征；

2)建立特征相似度矩阵S：

对于颜色直方图特征及UV色度特征，利用混合高斯模型参数，由下式计算两个待匹配目标间的相似度，

$s=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\{\sqrt{w_{\mathrm{ai}}\·w_{\mathrm{bi}}}\·[\left|\log \left(\frac{w_{\mathrm{ai}}}{w_{\mathrm{bi}}}\right)\right|+\underset{k=1}{\overset{n}{\mathrm{\Π}}}\left|\right|\log \left(\frac{x_{\mathrm{aik}}}{x_{\mathrm{bik}}}\right)\left|\right|+d{(p_{\mathrm{ai}},p_{\mathrm{bi}})}^2\left]\right\}$

其中，w_a和w_b表示待匹配目标a和b的混合高斯模型中各分量的权值，x_aik和x_bik表示混合高斯模型中各分量的协方差矩阵，d(p_ai，p_bi)表示混合高斯模型均值的欧式距离，相似度数值越小，相似度越大；

对于主要颜色谱特征，由下式计算两个待匹配目标间的相似度，

$s=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{p_{\mathrm{ai}}\·p_{\mathrm{bi}}}\·d(C_a,C_b)$

其中，p_ai和p_bi表示待匹配目标a和b的主要颜色直方图中相对应颜色柱的权值；d(C_a，C_b)表示颜色柱C_a和C_b之间的距离，相似度数值越小，相似度越大；

对于尺度不变特征，两个待匹配目标间的相似度采用提取尺度不变特征方法获取，相似度数值越大，相似度越大；

将获得的相似度构成特征相似度矩阵S，其表示为：

其中，s_i，j表示特征i中跟踪目标与第j个待匹配目标间的相似度；i＝1，2，…，Nj＝1，2，…，M；

3)确定置信度指数：

对于颜色直方图特征，UV色度特征及主要颜色谱特征，两个待匹配目标间的置信度指数根据相似度矩阵，由下式计算得到：

$C_{\mathrm{rij}}=\frac{\frac{1}{S_{\mathrm{ij}}}}{\underset{j=0}{\overset{N}{\mathrm{\Σ}}}\frac{1}{S_{\mathrm{ij}}}}$

其中，S_ij表示相似度矩阵每行的元素；i＝1，2，…，M j＝1，2，…，N；

对于尺度不变特征，两个待匹配目标间的置信度指数根据相似度矩阵，由下式计算得到：

$C_{\mathrm{rij}}=\frac{S_{\mathrm{ij}}}{\underset{j=0}{\overset{N}{\mathrm{\Σ}}}{S}_{\mathrm{ij}}}$

如果C_ir的值小于则将置信度指数最小值设为置信度指数最大值为1；

将置信度指数构成置信度指数矩阵，置信度指数矩阵与相似度矩阵行列数相同；

4)进行叠代加宽的特征融合，通过以下步骤实现：

(1)设置w为叠代宽度阈值，设置叠代宽度初值a＝1；

(2)在相似度矩阵中搜索每个特征行中前a个相似度最大的目标，如果某一列且只有一列中的所有N个特征行的元素都被搜索到，则该列所对应的待匹配目标即表示目的目标，叠代终止；

(3)如果有大于1的m列中所有N个特征行的元素都被搜索到，则分别计算置信度指数矩阵中与此m列所对应的每一列的期望值，期望值最高的一列所对应的待匹配目标即表示目的目标，叠代终止；

(4)如果没有一列中的所有特征行的元素都被搜索到，即在当前宽度下未找到任何目的目标，则更新叠代宽度a＝a+1；若a≤w，转步骤(2)，进行下一次叠代；

(5)若a＞w，则在当前宽度下搜索第二相似的目的目标，即取被搜索到的元素最多的那一列所对应的待匹配目标作为目的目标，叠代终止。

Images