CN104463151A - 基于主颜色直方图和空间位置信息融合的快速目标匹配方法 - Google Patents

Abstract

本发明公开了一种基于主颜色直方图和空间位置信息融合的快速目标匹配方法，其具体实施步骤如下：获取一帧图像，在图像里选取目标模板同时得到去除目标模板区域的背景图像；分别计算目标模板和背景图像的主颜色空间，并且根据两个主颜色空间得到最终的目标主颜色；根据目标主颜色计算目标模板和待匹配目标模板的主颜色直方图；比较待匹配目标模板和目标模板的主颜色直方图，得出相似度最高的即为匹配目标。本发明提供的目标匹配方法具有匹配精确度高，处理速度快的优点。

Description

基于主颜色直方图和空间位置信息融合的快速目标匹配方法

技术领域

本发明涉及图像处理和计算机视觉领域，具体说来，涉及一种基于主颜色直方图和空间位置信息融合的快速目标匹配方法。

背景技术

目前视频监控已经广泛应用于交通监控，社会安防，金融安全监控以及家庭个人。交通监控的主要目的是通过对路况的分析及时协助交警进行交通管制和路况播报，方便广大市民的出行。视频监控在社会安防、金融安全和家庭个人中的作用体现在通过分析视频及时发现异常行为或异常人群，从而预防发生人身、财产危险。

在视频监控系统中，目标匹配技术是最为广泛应用的技术之一。其目的在于通过对多个摄像机获取的图像序列进行处理，自动匹配到我们感兴趣的目标，然后输出给后续的处理系统继续进行相关处理。在跟踪系统，异常检测系统，交通违章监控系统，视频检索等领域已经得到了广泛应用。

目前成熟的目标匹配技术大致可以分为基于图像灰度，图像特征，图像变换域三类。基于图像灰度的匹配方法是最早出现的，如：MAD，NCC，SSDA等算法。因为其巨大的计算量不能满足实时性要求，而且当有较大的灰度畸变和几何变形时,匹配往往会失败，所以在实际应用中很少使用。基于图像变换域的匹配方法是最近兴起的还处于不断完善阶段。现在主流的匹配技术是基于图像特征的。基于图像特征的匹配方法可以分为两大类：基于局部特征的和基于全局特征的。基于局部特征的匹配方法是研究最多也最热的，如STFT，SURF等算法已经在很多应用中使用但是这些算法一般需要图片的分辨率足够高，否则提取不出足够的特征导致匹配失败。基于全局特征的匹配方法对于任何图像均适用，但是在传统的基于全局特征的匹配方法中只考虑到图像的全局信息没有考虑到位置信息，所以使得精确度不能满足应用要求。总之，上述所有匹配算法都在速度或精确度上有待提高，而同时利用图像的全局特征和位置信息的匹配是一种既能满足匹配精度又能解决匹配速度的方法。

发明内容

本发明提供了一种基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，本方法可以实现快速准确的目标的匹配。

为了解决匹配的速度和精度的平衡问题，本发明的具体实施步骤为：

(1)提取选取的含有背景的目标模板的主颜色；

(2)提取背景图像的主颜色；

(3)计算目标的主颜色；

(4)计算目标模板和待匹配目标的分块主颜色直方图；

(5)根据直方图相交计算相似度，得到匹配的目标；

进一步，步骤(1)中提取含有背景的目标模板的主颜色是指：根据聚类公式(1)(2)进行颜色聚类之后得出主颜色空间{C₁,C₂,C₃…C_n}，然后把主颜色空间按主颜色包含的像素数目进行降序排序选取前90％的主颜色{C_FG1,C_FG2,C_FG3…C_FGm}。

$\left.\begin{array}{c}{R}_{\mathrm{ClusterCenter}}\left(i\right)=w\left(i\right)*R\left(i\right)+(1-w\left(i\right))*R_{\mathrm{ClusterCenter}}(i-1)\\ G_{\mathrm{ClusterCenter}}\left(i\right)=w\left(i\right)*G\left(i\right)+(1-w\left(i\right))*G_{\mathrm{ClusterCenter}}(i-1)\\ B_{\mathrm{ClusterCenter}}\left(i\right)=w\left(i\right)*B\left(i\right)+(1-w\left(i\right))*B_{\mathrm{ClusterCenter}}(i-1)\end{array}\right\}---\left(1\right)$

$\left.\begin{array}{c}{R}_{\mathrm{ClusterCenter}}\left(i\right)=w(i+1)*R_{\mathrm{ClusterCenter}}(i+1)-(1+w(i+1))*R(i+1)\\ G_{\mathrm{ClusterCenter}}\left(i\right)=w(i+1)*G_{\mathrm{ClusterCenter}}(i-1)-(1+w(i+1))*G(i+1)\\ B_{\mathrm{ClusterCenter}}\left(i\right)=w(i+1)*B_{\mathrm{ClusterCenter}}(i-1)-(1-w(i+1))*B(i+1)\end{array}\right\}---\left(2\right)$

公式中i是当前类的像素数目，w(i)＝1/i是像素点的权重。

进一步，步骤(2)中提取背景图像的主颜色是指：将获取的一帧图像通过背景减除，去除目标模板区域得到背景图像，将背景图像进行步骤(1)中的计算得到背景图像的主颜色{C_BG1,C_BG2,C_BG3…C_BGk}。

进一步，步骤(3)中目标的主颜色是指：根据公式(3)颜色距离公式依次计算目标模板的主颜色与背景图像的主颜色的颜色距离，如果d(C_FGi,C_BGj)<ε则去掉目标主颜色中的C_FGi，得到最终的目标主颜色{C_FG1,C_FG2,C_FG3…C_FGt}。

$\begin{array}{c}d(C_{\mathrm{FG}1},C_{\mathrm{BG}1})=\frac{\left|\right|C_{\mathrm{FG}1}-C_{\mathrm{BG}1}\left|\right|}{\left|\right|C_{\mathrm{FG}1}\left|\right|+\left|\right|C_{\mathrm{BG}1}\left|\right|}\\ =\frac{\sqrt{{(r_{\mathrm{FG}1}-r_{\mathrm{BG}1})}^2+{(g_{\mathrm{FG}1}-g_{\mathrm{BG}1})}^2+{(b_{\mathrm{FG}1}-b_{\mathrm{BG}1})}^2}}{\sqrt{{r_{\mathrm{FG}1}}^2+{g_{\mathrm{FG}1}}^2+{b_{\mathrm{FG}1}}^2}+\sqrt{{r_{\mathrm{BG}1}}^2+{g_{\mathrm{BG}1}}^2+{b_{\mathrm{BG}1}}^2}}\end{array}---\left(3\right)$

进一步，步骤(4)中目标模板和待匹配目标模板的分块主颜色直方图是指：将目标模板和待匹配目标模板分成m*n个子区域，计算第一个子区域的主颜色直方图，将该区域中的像素点与步骤(3)中的到的目标主颜色{C_FG1,C_FG2,C_FG3…C_FGt}根据公式(3)依次计算颜色距离，如果颜色距离d(C_FG1,I)<δ则像素I∈C_FG1的bin。遍历该区域中所有像素即可得该区域的主颜色直方图，按上述方法计算所有子区域的主颜色直方图，并将m*n个主颜色直方图组合成一个包含有t*m*n个bin的主颜色直方图。

进一步，步骤(5)中根据直方图相交计算相似度是指：将步骤(4)中计算出的目标模板和待匹配目标模板的主颜色直方图根据公式(4)计算相似度。

进一步，步骤(5)中的匹配目标是指：计算的到的相似度{Sim₁,Sim₂,Sim₃…Sim_N}中相似度最高的一个待匹配目标即为匹配目标。

本发明的优点在于采用基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，该方法在主颜色聚类中使用了二次中心更新方法使得聚类得到的主颜色更加接近图像中的颜色。并且在充分利用图像的颜色信息的同时还利用了空间位置信息，从而在提高了匹配的精确度。另外本方法的算法复杂度比较低，能更好的适应目前计算机视觉系统的应用。

附图说明

图1为本发明实施例的实施流程示意图；

图2为输入的一帧待匹配图像；

图3为在输入图像中选取的含有部分背景的目标模板；

图4为含有部分背景的目标模板的聚类主颜色空间；

图5为去除目标模板区域的背景图像；

图6为背景图像的聚类主颜色空间；

图7为去除背景主颜色后的目标主颜色空间；

图8为目标模板的分块主颜色直方图；

图9为待匹配的两个目标模板；

图10为最终的匹配结果；

具体实施方式

为了更好的说明本发明，以下参照附图和实施例对本发明的具体实施做进一步详细的描述。

如图1所示，本发明的具体实施步骤为：

(1)获取一帧图像(记为I)，在图像中通过鼠标画矩形框选取目标模板，记为I_obj，并且通过该帧图像I减去选取的目标模板I_obj得到背景图像,记为I_BG。本实例中图2为获得的一帧图像I，图3为选取的目标模板I_obj，图5为背景图像I_BG。

(2)分别计算目标模板和背景图像的主颜色空间，并且根据两个主颜色空间得到最终的目标主颜色。

首先计算目标模板的主颜色空间{C_FG1,C_FG2,C_FG3…C_FGm}。

对目标模板进行主颜色k-means聚类，在聚类过程中把d(C_FGi,C_FGj)<μ的颜色归为一类，当某一类中增加或者减少成员时类中心根据公式(1)(2)进行动态更新。本实例中使用3-means聚类，μ＝0.03。

聚类结束后我们得到了目标模板的初始主颜色空间{C_FG1,C_FG2,C_FG3…C_FGn}，在该主颜色空间中有一些主颜色包含了很少的像素，通过将主颜色空间{C_FG1,C_FG2,C_FG3…C_FGn}按包含像素数目降序排序，再选取前90％的主颜色作为目标模板最终的主颜色空间{C_FG1,C_FG2,C_FG3…C_FGm}。图4即为目标模板的主颜色空间。

得到目标模板的主颜空间后，通过相同的方法计算背景图像的主颜色空间{C_BG1,C_BG2,C_BG3…C_BGk}。图6即为背景图像的主颜色空间

得到两个主颜色空间后，把目标模板的主颜色空间中的主颜色依次与背景主颜色空间中主颜色进行比较，当存在d(C_FGi,C_BGj)<ε时将目标模板中主颜色C_FGi删除。遍历目标主颜色空间中每一个成员，得到最终的目标主颜色空间{C_FG1,C_FG2,C_FG3…C_FGt}。图7即为去除背景主颜色后的目标主颜色空间，本实例中ε＝0.035，主颜色个数t为21。

(3)根据目标主颜色计算目标模板和待匹配目标模板的主颜色直方图。

首先将目标模板和待匹配目标模板分成m*n个子区域。计算第一个子区域的主颜色直方图，将该区域中的像素点与目标主颜色空间{C_FG1,C_FG2,C_FG3…C_FGt}根据公式(3)依次计算颜色距离，如果颜色距离d(C_FG1,I)<δ则像素I∈C_FG1的bin。遍历该区域中所有像素即可得该区域的主颜色直方图。根据计算第一个子区域的方法计算所有子区域的主颜色直方图，并将m*n个主颜色直方图组合成一个包含有t*m*n个bin的主颜色直方图。图8即为目标模板的分块主颜色直方图，本实例中δ＝0.03，t＝21，m＝n＝2。

(4)比较待匹配目标模板和目标模板的主颜色直方图，得出相似度最高的即为匹配目标。

将得到的待匹配目标模板分块主颜色直方图和目标模板分块主颜色直方图通过公式d_sim(H₁,H₂)＝∑_imin(H₁,H₂)计算相似度，相似度最高的一个即为匹配目标。图9为待匹配目标模板，图10即为最终的匹配结果。

本实施例是在配置为3.60GHz Intel(R)Xeon(R)E5-1620CPU和8G内存的计算机中采用C++编程实现的，每秒处理21帧640*480的图像并且匹配准确率达到95.4％。

Claims (6)

1.一种基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，其特征在于该方法的具体步骤为： 

步骤(1)，提取选取的含有背景的目标模板的主颜色； 

步骤(2)，提取背景图像的主颜色； 

步骤(3)，计算目标的主颜色； 

步骤(4)，计算目标模板和待匹配目标的分块主颜色直方图； 

步骤(5)，根据直方图相交计算相似度，得到匹配的目标。 

2.根据权利1所述的基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，其特征在于步骤(1)中提取选取的含有背景的目标模板的主颜色，具体步骤如下： 

S1.1：根据公式(1),(2)进行像素点颜色聚类，得到聚类后的主颜色 

公式中i是当前类的像素数目，w(i)＝1/i是像素点的权重。 

S1.2：把S1.1中得到的主颜色{C_FG1,C_FG2,C_FG3...C_FGn}根据每个主颜色包含的像素的数目进行降序排序。 

S1.3：选取前90％的主颜色作为目标模板的主颜色{C_FG1,C_FG2,C_FG3...C_FGm}。 

3.根据权利1所述的基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，其特征在于步骤(2)中提取背景图像的主颜色，具体步骤如下： 

S2.1：将获取的一帧图像通过背景减除，去除目标模板区域得到背景图像。 

S2.2：将背景图像进行步骤(1)中的计算得到背景图像的主颜色{C_FG1,C_FG2,C_BG3...C_BGk}。 

4.根据权利1所述的基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，其 特征在于步骤(3)中计算目标的主颜色，具体步骤如下： 

S3.1：根据公式(3)颜色距离公式依次计算目标模板的主颜色与背景图像的主颜色的 

颜色距离，如果d(C_FGi,C_BGj)<ε则去掉目标主颜色中的C_FGi，得到最终的目标主颜色{C_FG1,C_FG2,C_FG3...C_FGt}。 

公式(3)中C_FG1,C_FG1是颜色向量，包含r,g,b三个通道。 

5.根据权利1所述的基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，其特征在于步骤(4)中计算目标模板的分块主颜色直方图，具体步骤如下： 

S4.1：将目标模板和待匹配目标模板分成m*n个子区域。 

S4.2：计算第一个子区域的主颜色直方图，将该区域中的像素点与步骤(3)中的到的目标主颜色{C_FG1,C_FG2,C_FG3...C_FGt}根据公式(3)依次计算颜色距离，如果颜色距离d(C_FG1,I)<δ则像素I∈C_FG1的bin。遍历该区域中所有像素即可得该区域的主颜色直方图。 

S4.3：根据S4.2的方法以此计算所有子区域的主颜色直方图，并将m*n个主颜色直方图组合成一个包含有t*m*n个bin的主颜色直方图。 

6.根据权利1所述的基于主颜色外观模型和空间位置信息融合的快速目标匹配方法，其特征在于步骤(5)中根据公式(4)计算相似度，得到匹配的目标，具体步骤如下： 

S5.1：将步骤(4)中计算出的目标模板和待匹配目标模板的主颜色直方图通过直方图相交方法分别计算相似度，得到相似度{Sim₁,Sim₂,Sim₃...Sim_N}，选取其中相似度最高的作为匹配目标。 

公式中H₁,H₂代表两个直方图。