CN101833763B - 一种水面倒影图像检测方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种水面倒影图像检测方法，包括下列步骤：(1)通过边缘检测和采样的方法获得待检测物体的轮廓；(2)在对数极坐标下，计算每个采样点的分布直方图；(3)利用卡方距离公式，计算采样点之间的相似度；(4)图片中对应点的匹配，利用KM匹配算法，寻找每个采样点的匹配对，并利用角度投票的投票器排除错误的匹配对；(5)应用TPS-RPM模型转换，优化采样点的匹配结果。本发明的图像检测方法，可以实现在复杂背景之下，对于图片中原来的物体和水面中倒影的匹配，不仅具有尺度不变性，旋转不变性，而且允许一定程度的几何失真等优点，另外增加了水平翻转不变的性质。

Description

一种水面倒影图像检测方法

技术领域

本发明属于图像处理技术领域，涉及一种图像检测方法。

背景技术

Shape context方法(参见文献Serge Belongie，Jitendra Malik，and Jan Puzicha.应用形状上下文实现图片匹配和物体识别IEEE Trans.Pattern Analysis andMachineIntelligence，24(4)：509-522，April 2002)采用一种基于图像中物体的轮廓的描述符，它能够很好的描述图像区域内的特征而且具有比其他基于轮廓的描述符更高的匹配精确度。它是每一个采样点的特征集，其中图片中每一个点的特征来源于它的周围的其他采样点的分布。首先，通过以每一个采样点为圆心点建立一个对数极坐标系，该方法将对数极坐标系划分为60个面元，其中角度均分为12个，半径设置为5个长度。通过统计每一个面元内的采样点的数目，建立一个其他采样点相对于中心采样点的分布直方图H。这个直方图就被定义为当前采样点的Shape context。然后，应用卡方距离去计算每个采样点的直方图的相似度。利用各个采样点之间的相似程度作为边权，应用Hungarian算法求出相互匹配的对应采样点对。最后，Shape context通过应用TPS(样条函数)进行模板转换，根据匹配点对调整原来的采样点的位置，进而优化匹配。

发明内容

本发明的目的在于改进Shape context方法，提供一种具有水平翻转不变性的图像识别方法，能够应用于物体水面倒影的检测上。本发明采用如下的技术方案：

一种水面倒影图像检测方法，包括下列步骤：

(1)通过边缘检测和采样的方法获得待检测物体的轮廓；

(2)在对数极坐标下，计算每个采样点的分布直方图，步骤如下：

对于每一个采样点pi，以该点作为对数极坐标系的原点，X轴作为极轴建立该采样点的对数极坐标系，划分面元，在该对数极坐标系下，根据其他采样点q与原点pi所形成的向量与X轴的角度和该向量的长度确定其他采样点q所属面元，得到采样点pi相对其他各采样点的

离散数集，即分布直方图；在所有面元中找出采样点最密集的面元，然后找出采样点第二密集的面元，同时保证采样点第二密集的面元和采样点最密集的面元不在同一个角度间隔里面，若是在同一个间隔，则舍弃当前第二密集的，去寻找采样点第三密集的面元，直至它们不在同一个角度间隔；假设对数极坐标的旋转方向是由最密集面元指向次密集的面元，将主方向的位置进行调整，建立极径长度×极坐标角度的直方图分布矩阵，使得采样点最密集的面元始终保持在形成的分布矩阵的第一列，得到对采样点pi的具有翻转不变性的描述符；

(3)利用卡方距离公式，计算采样点之间的相似度；

(4)将图片中的对应点进行匹配，方法如下：

将卡方距离C_ij作为邻接矩阵，每个采样点之间的相似度作为边权，让相互匹配的点的边权值之和为目标，利用KM匹配算法，寻找每个采样点的匹配对，并利用角度投票的投票器排除错误的匹配对，根据匹配结果，取出对称轴，将倒影和原物体轮廓投射到同一个平面下；

(5)应用TPS-RPM模型转换，优化采样点的匹配结果。

作为优选实施方式，其中的步骤(1)采用SERB轮廓边缘检测及采样的方法，获得待检测物体的轮廓；其中的步骤(4)，采用下面的方法：假设h_i(k)为图片上的一个采样点p_i的分布直方图，h_j(k)是图片上另一个采样点q_j的分布直方图，应用卡方距离公式

计算每个采样点的分布直方图的相似度，其中，K表示对数极坐标系的对应的面元总数。

本发明利用Shape context形成分布直方图的方式，针对于水面反射倒影检测，提出了一种新型的检测图片倒影的方法，可以实现在复杂背景之下，对于图片中原来的物体和水面中倒影的匹配。本发明提出的方法同样是采用了对数极坐标系下关于采样点的分布形成的直方图，因而不仅保留了Shape context的所有优点，比如尺度不变性，旋转不变性，而且允许一定程度的几何失真等优点，另外增加了水平翻转不变的性质，具有更加广泛的应用领域，而且实用性更强。本方法与传统的Shape context方法比较有以下几点优点：

1)本发明通过一种设定主方向和主方向的旋转方式，实现了对于翻转图片的识别。可以减少进行匹配时所要存储的模板的数量。同时，采用新的匹配方法提高了匹配的精确度。2)对于图片在提取边界的时候采用的是SERB一种全新的边界检测方法，通过本发明可以得到图片上显著物体的轮廓故而可以有效的减少背景的干扰。所以说，本发明具有更大的应用范围。而且对于结果上本发明匹配精确率也有很大程度的提高。本发明可以适应于复杂背景的图片物体倒影的检测。

同时本发明与MIFT(参见文献Guo，X.，Cao，X.，Zhang，J.，Li，X.：Mift：A mirrorreflection invariant feature descriptor.MIFT：一种镜面反射不变性特征描述In Proc.ACCV(2009))相比较的优点有：

1)本发明利用的是图片中物体的轮廓，而非图片上每一块区域的梯度值，因此对于梯度的变化有一定的容忍性。而MIFT是建立在SIFT基础上的，是依赖于图片物体的梯度的，对于梯度的变化造成的干扰非常的敏感。

2)是本发明是按照物体的轮廓去取点并且是实现匹配的，因此对于有模糊的主体纹理但是清晰的边界的图片有很好的匹配的效果。例如，水中倒影的和本体只有边缘上比较清晰的，其他位置会相对的变化的比较模糊。

3)对于MIFT无法检测到的水面倒影图片，通过应用本发明可以得到很好的匹配结果。同时本发明同样适应于镜面反射的检测。对于镜面反射的图片，本发明能得到和MIFT相当的匹配效果。

附图说明

图1本发明的总体流程图；

图2：(a)输入图片(b)经过SERB提取边界后的图片(c)采样点图片(采样点数目为400，黑色点表示采样点)；

图3：初次匹配结果；

图4：采用TPS-RPM优化后结果；

图54组经过不同方法处理的图片的匹配效果图，每组图片的第一张是采用具有反转特性的Shape context的匹配结果。第二张图片是采用MIFT得到的匹配结果；第三张图片是采用本发明的匹配方法得到的结果。

具体实施方式

本发明是对于每一张图片首先提取他们的边界，然后围绕边界进行采样。在对当前采样点进行计算该点的分布的直方图同时，加入了翻转水平不变性的特征。具体地，本方法是根据每个采样点的分布直方图的卡方相似性，然后通过运用匹配算法去寻求相似性最高的2个采样点，进而得出相互匹配的2个采样点。同时还通过利用TPS-RPM将得到的对应点进行优化，实现更多和更精确的匹配。本发明的图片的检测和匹配的主要步骤如下：

1.提取图片的边界和采样。

对于输入的图片，为减少背景的干扰，可以通过边缘检测来获得所需的物体轮廓，边缘检测的方法有Canny边缘算子，Sobel边缘算子等，本发明采用一种新的轮廓边缘检测的方法Stable Extremal Region Boundary(SERB)(参见Riemenschneider，H.and Donoser，M.and Bischof，H.：Finding stable extremal region boundaries.获取稳定的极值区域的边界In Proc.AAPR(2009))，该方法不仅可以有效提取出图片中物体和它的倒影的边缘，而且可以去除背景和物体上细节信息的干扰。SERB的主要步骤是首先将灰度图像按照灰度值分层，然后将每一层中相互邻接的像素点标记为相同的像素值，提取出每一层相同标记值的区域的轮廓，判断不同层的轮廓的相似度，稳定的轮廓是在不同的层下相似度基本不变的。最后，提取出符合要求的稳定的区域的轮廓。为了减少计算的复杂度，本发明通过采样的方法，用一定数目的采样点去表示物体和它的倒影。

2.在对数极坐标下，计算每个采样点的分布直方图。

首先，这里采用与Shape context相同的对数极坐标系，即同样把对数极坐标系分为60个面元。其中半径R取5个值分别是R＝{0.125，0.25，0.5，1，2}，角度均分为12个分别为T＝{0，30，60，90，120，150，180，210，240，270，300，330}。为了让所有的采样点都能够在对数极坐标下，将R乘上图片中所有采样点之间距离的平均值。对于每一个面元中的采样点应用公式：

hi(k)＝#{q≠p_i：(q-p_i)∈bin(k)}            (1)

其中公式中p_i表示当前采样点，q-p_i表示的是其他采样点与当前采样点形成的向量，k表示面元编号。以当前采样点p_i作为对数极坐标系的原点，将X轴作为极轴，这样其他采样点就会分布到对数极坐标系的60个面元中去，利用采样点q与原点(p_i)所形成的向量与X轴的角度和该向量的长度确定采样点q所属面元。通过统计每个面元中的采样点的数目，得到采样点的分布直方图h_i(k)。应用公式(1)可以得到采样点相对其他各点的区域离散数集，也就是分布直方图，该分布直方图是5×12的矩阵。

由于原来的Shape context是以x轴或者y轴为主方向，并且旋转方向定义为顺时针或者逆时针，这样编码会导致当物体出现水平翻转的情况的时候，形成完全不同的直方图。本发明采用的新的编码方式是：首先，在60个面元中找出采样点最密集的面元，然后找出采样点第二密集的面元，同时保证采样点第二密集的面元和采样点最密集的面元不在同一个角度间隔里面，若是在同一个间隔，则舍弃当前第二密集的面元，去寻找采样点第三密集的面元，直至它们不在同一个角度间隔。这是防止旋转方向的错误选择，进而避免产生错误的分布直方图。其次，当选定最密集和次密集的面元后，本发明假设对数极坐标的旋转方向是由采样点最密集域指向次密集的面元。最后，将主方向的位置进行调整，使得采样点最密集的面元始终保持在形成的分布矩阵的第一列，这样是为了防止出现最密集区域和次密集面元对称的情况的时候，出现错误的旋转形成错误的分布直方图。采用上述编码方式，就可以得到具有翻转不变性的描述符。

3.计算采样点之间的相似度

通过步骤2得到了图片上每一个采样点相对于其它采样点的Shape context(分布直方图)，这个直方图的矩阵形式是一个5×12的矩阵。然后就算每个采样点的h_i(k)相似度。首先假设h_i(k)为图片上的一个采样点p_i的分布直方图，h_j(k)是图片上另外一个采样点q_j的分布直方图。在这里应用卡方距离公式，计算每个采样点的分布直方图的相似度，公式如下：

$C_{\mathrm{ij}}\≡C(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}---\left(2\right)$

其中公式中的C_ij的值表示点p_i和q_j的相似值。k表示对数极坐标的对应的面元，K等于60是面元的总数。应用公式(2)可以得到每个点相对于其他采样的点的相似程度值，这个值越小表示越相似。

4.图片中对应点的匹配。

通过步骤3可以得到一个包含所有对应点的点集C_ij。将C_ij看作是邻接矩阵。然后将每个点之间的相似程度看成是边权，目标是让相互匹配的点的边权值之和最小即满足公式：

$H\left(\mathrm{\π}\right)=\min \left(\underset{i}{\mathrm{\Σ}}C(p_i,q_{\mathrm{\π}\left(i\right)})\right)---\left(3\right)$

其中，H(π)表示的是所有相互匹配的采样点的边权的和，p_i表示其中一个采样点集中的采样点，q_π(i)表示另外一个采样点集中与前一个点集中相互对应的采样点。采用的匹配方法是KM算法，该算法执行的时间复杂度是0(N³).其中N是采样点的数目。此时得到的匹配对中存在错误的匹配，通过一个角度投票的投票器去排除错误的匹配对，获得符合要求的匹配。角度投票器的建立，首先是把角度均分为D个区间(本发明中D＝18)，然后是计算形成的匹配对向量的角度，并且将该角度投放到各个区间中去，统计出得票对最多的区间并且认定这个角度区间里面的匹配对为正确的匹配对。然后利用这个匹配结果，取出对称轴将倒影和原物体轮廓投射到同一个平面下，用作是对下一步优化的初始匹配条件。

5、模型转换提高匹配精度

通过上一步使得物体和他的倒影在同一平面内，而且对应点之间还有一定的对应关系。为了获得更好的匹配对应效果，本发明应用一种新的求匹配点的方法TPS-RPM(参见文献Chui，H.，Rangarajan，A.：A new point matching algorithm for non-rigid registration.一种全新的对于非刚性的配置的点匹配算法CVIU 89(2003)114-141)。该方法可以将2个平面内的对应点通过样条函数变换和逐步退化的方式逐步进行点对点匹配。首先假设原物体的采样点S＝{s_i，i＝1，2，3.....U}，倒影的采样点集为X＝{x_j，j＝1，2，3...N}；令f为TPS映射函数，主要目的是为了使采样点满足x_j＝f(s_i)。通过(4)，(5)两式定义TPS映射函数f：

$E_{\mathrm{TPS}}\left(f\right)=\underset{i=1}{\overset{\mathrm{sums}}{\mathrm{\Σ}}}{\left|\right|y_i-f\left(x_i\right)\left|\right|}^2+\mathrm{\η}\∫\∫[{\left(\frac{{\∂}^{2}f}{\∂x^2}\right)}^2+2{\left(\frac{{\∂}^{2}f}{\∂x\∂y}\right)}^2+{\left(\frac{{\∂}^{2}f}{\∂y^2}\right)}^2]---\left(4\right)$

$f=f_{\mathrm{tps}}=\arg \underset{f}{\min }{E}_{\mathrm{TPS}}---\left(5\right)$

其中，E_TPS(f)是能量函数，目的是查找出使该能量函数值达到最小的映射f。y_i指一个采样点集当前的位置，f(x_i)是指另一个采样点集在函数f的作用下变化后的位置，sums是指采样点的数目，η是权重函数，用于控制f的平滑性。通过求解(4)，(5)两式得到符合要求的TPS映射函数f。

只要让所有的采样点满足下式：

$\underset{Z,f}{\min }E(Z,f)=\underset{Z,f}{\min }\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{U}{\mathrm{\Σ}}}{z}_{\mathrm{ij}}{\left|\right|x_j-f\left(s_i\right)\left|\right|}^2+\mathrm{\λ}{\left|\right|\mathrm{Lf}\left|\right|}^2+T\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{U}{\mathrm{\Σ}}}{z}_{\mathrm{ij}}\log z_{\mathrm{ij}}-\mathrm{\ξ}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{U}{\mathrm{\Σ}}}{z}_{\mathrm{ij}}---\left(6\right)$

其中

且z_ij∈{0，1}主要用来标定内点和外点，λ，ζ分别是控制TPS转换强度和判定外点的数目；‖Lf‖²是转换平面控制平滑程；T是采样点集之间的最小二次距离，当T退化为0时就实现了采样点的一一对应。该方法首先计算采样点集S和采样点集X中采样点之间的距离，然后通过迭代估算出点集S中采样点需要移动的步长，计算采样点移动后公式(4)的值；然后将T值退化，逐步求出符合要求的相互距离最小的采样点，并且将无法找到最小距离对应点的采样点视为外点。通过上述步骤最终实现点对点匹配和排除外点的目的。

图2给出本发明的总体流程，以下针对一个图片，具体说明书实施步骤：

1、输入图片预处理图片和提取图像边界

如图2(a)所示对输入图片，并且应用SERB的边界检测方法提取图像边界如图2(b)所示。

2、围绕图像边界采样

为了减少计算量，用一定数目的采样点去表示整张图片。沿着图2(b)中的轮廓取样，得到的结果如图2(c)所示，取采样点数目为400.

3、计算样本点的分布直方图

应用公式(1)，计算每个样本点的直方图值即hi(k)值。对于每个采样点建立一个5×12的矩阵。然后构成一个400×60的采样点矩阵。

4、计算图片上采样点的相似度。

应用公式(2)，计算采样点分布直方图的相似度。求得每个采样点的之间的相似度，并且构成邻接矩阵。

5、通过KM算法和角度投票，实现采样点初次匹配

KM算法可以有效的实现最小边权的匹配。然后再通过角度投票的方法去除掉不符合要求的点。初次匹配效果如图3所示。

6、采用TPS-RPM优化和角度投票机制实现优化匹配

通过上述步骤，得到了初始的匹配结果，然后将图片反转以后采用TPS-RPM的方法进行优化匹配。得到的结果如图4所示。

图5是几张不同的具有水面倒影的图片按照水波强度排列。分别是应用具有反转特性的Shape context，即对于Shape context让其采用本发明计算采样点的分布的方法；MIFT和本发明的方法的比较结果。其中，由于原来的方法没有采用和本发明一样的边缘提取方法和优化方法，识别的效果不好，本发明具有识别水平翻转图片的能力能够得到较好的识别效果；MIFT具有很好的识别水平翻转图片的能力，但是由于有水波的干扰导致识别效果不是很好。从而得出本方法具有更好的稳定性和精确性对于检测问题水面倒影上。

Claims (3)

1.一种水面倒影图像检测方法，包括下列步骤：

（1）通过边缘检测和采样的方法获得待检测物体的轮廓；

（2）在对数极坐标下，计算每个采样点的分布直方图，步骤如下：

对于每一个采样点pi，以该点作为对数极坐标系的原点，X轴作为极轴建立该采样点的对数极坐标系，把对数极坐标系分为60个面元，其中半径R取5个值分别是R={0.125，0.25，0.5，1，2}，角度均分为12个分别为T={0，30，60，90，120，150，180，210，240，270，300，330}，划分面元，在该对数极坐标系下，根据其他采样点q与原点pi所形成的向量与X轴的角度和该向量的长度确定其他采样点q所属面元，得到采样点pi相对其他各采样点的离散数集，即分布直方图；在所有面元中找出采样点最密集的面元，然后找出采样点第二密集的面元，同时保证采样点第二密集的面元和采样点最密集的面元不在同一个角度间隔里面，若是在同一个间隔，则舍弃当前第二密集的，去寻找采样点第三密集的面元，直至它们不在同一个角度间隔；假设对数极坐标的旋转方向是由最密集面元指向次密集的面元，将主方向的位置进行调整，建立极径长度×极坐标角度的直方图分布矩阵，使得采样点最密集的面元始终保持在形成的分布矩阵的第一列，得到对采样点pi的具有翻转不变性的描述符；

（3）利用卡方距离公式，计算采样点之间的相似度；

（4）将图片中的对应点进行匹配，方法如下：

将卡方距离C_ij作为邻接矩阵，每个采样点之间的相似度作为边权，让相互匹配的点的边权值之和为目标，利用二分图最优匹配算法，寻找每个采样点的匹配对；再建立角度投票器，把角度

均分为若干个区间，然后计算形成的匹配对向量的角度，并且将该角度投放到各个区间中去，统计出得票对最多的区间并且认定这个角度区间里面的匹配对为正确的匹配对，从而排除错误的匹配对；接着根据匹配结果，取出对称轴，将倒影和原物体轮廓投射到同一个平面下；

（5）应用基于样条函数的鲁棒点匹配模型转换，优化采样点的匹配结果。

2.根据权利要求1所述的水面倒影图像检测方法，其特征在于，其中的步骤1采用稳定极大值区域边界轮廓边缘检测及采样的方法，获得待检测物体的轮廓。

3.根据权利要求1所述的水面倒影图像检测方法，其特征在于，其中的步骤（4）对于每个采样点之间的相似度采用下面的方法计算：假设h_i(k)为图片上的一个采样点p_i的分布直方图，h_j(k)是图片上另一个采样点q_j的分布直方图，应用卡方距离公式计算每个采样点的分布直方图的相似度，其中，K表示对数极坐标系的对应的面元总数。

Images