CN1545061A - 刚体变换下基于轮廓的多源图像配准方法 - Google Patents

Abstract

本发明涉及一种刚体变换下基于轮廓的多源图像配准方法，对输入多源图像分别进行噪声滤波预处理后进行边缘检测，将各自检测后的边缘进行链接，得到闭合的或开的轮廓，对于闭合轮廓应用矩不变量进行匹配，对于开轮廓应用链码表示的方法进行匹配，然后通过将开轮廓对中的开轮廓的两个端点用直线段连接，将开轮廓对转化为闭合轮廓对，最后求取所有闭合轮廓对中闭合轮廓的质心和最小转动惯量轴，并据此得到两幅待配准图像之间的旋转量和平移量，实现配准。本发明避免了现有配准方法中由于采用闭合轮廓的质心或者开轮廓的角点作为控制点带来的配准误差，可应用于遥感、安全监测、机载多源图像融合、图像跟踪等民用或军用领域。

Description

刚体变换下基于轮廓的多源图像配准方法

技术领域：

本发明涉及一种刚体变换下基于轮廓的多源图像配准方法，用于解决具有刚体变形的多源图像配准问题，在遥感、安全监测等民用领域和机载多源图像融合、图像跟踪等军事领域均有广泛应用。

背景技术：

图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两幅图像或者多幅图像进行匹配的过程。将一幅图像与另一幅图像进行图像配准，需对一幅图像进行一系列的坐标变换，这些变换可分为刚体变换、仿射变换、投影变换和非线性变换。如果第一幅图像中的两点间的距离经变换到第二幅图像中后仍保持不变，则这种变换称为刚体变换，也就是说两幅待配准图像之间仅存在旋转和位移。目前常用的刚体变换下的图像配准方法可归结为基于灰度的配准方法(例如基于互相关、互信息的图像配准方法)、基于频域的配准方法(例如基于快速傅立叶变换、小波变换、金字塔变换的图像配准方法)、基于特征(如边缘、角点、轮廓或者目标等)的配准方法等。

多源图像配准是对取自不同传感器同一场景的两幅图像或者多幅图像进行匹配的过程。不同传感器获得的不同源图像在像素的灰度分布特性上有很大差异。一般的基于灰度信息的图像配准算法(如基于互信息或互相关的图像配准算法)、基于频域的图像配准算法并不能很好的应用在多源图像配准中。多源图像配准中常用的是基于特征的图像配准方法。尽管多源图像像素的灰度分布特性之间有很大差异，但物体的一些明显轮廓在两幅图像中均能得到较好的保持，这些轮廓特征可以用来作为参照来进行图像配准。目前基于轮廓的图像配准算法一般是采用闭合轮廓的质心作为控制点进行配准，但实际图像中闭合轮廓的数目较少甚至根本不具备闭合的轮廓，图像中出现最多的还是开轮廓。另有一些算法是将闭合轮廓的质心和开轮廓的角点作为控制点来进行配准，但由于多源传感器成像性质的差异，同一物体所成的轮廓形状并不完全相同，采用开轮廓的角点作为控制点会影响配准精度。

发明内容：

本发明的目的在于针对现有技术存在的不足，提供一种刚体变换下基于轮廓的多源图像配准方法，避免一般基于轮廓的配准方法中由于采用闭合轮廓的质心或者开轮廓的角点作为控制点带来的配准误差，运算量较小而配准精度高。

为实现上述目的，本发明的技术方案中，首先对输入多源图像分别进行噪声滤波处理，以最大程度上压制各自图像噪声对轮廓提取的影响，再对预处理后的多源图像进行边缘检测，将各自检测后的边缘像素进行链接，即可得到闭合的或开的轮廓。为了利用检测后的轮廓特征进行配准，必须对两幅图像中所有检测后的轮廓进行轮廓匹配，从提取后的两幅图像轮廓之间找出形状相同的具有一一对应关系的匹配轮廓对，包括闭合轮廓对和开轮廓对。对于闭合轮廓应用矩不变量进行匹配，对于开轮廓应用链码表示的方法进行匹配，然后将开轮廓对转化为闭合轮廓对，最后求取所有闭合轮廓对中闭合轮廓的质心和最小转动惯量轴的方向，并利用所有闭合轮廓对的质心和最小转动惯量轴(即长轴)作为特征进行配准，求出两幅待配准图像之间的旋转量和平移量，实现配准。

本发明的方法包括如下具体步骤：

1、图像预处理及轮廓提取：首先采用中值滤波的方法对输入的多源图像分别进行噪声滤波预处理，以最大程度上压制各自图像噪声对轮廓提取的影响，再对预处理后的图像进行轮廓提取，轮廓提取包括边缘检测和边缘链接。采用Canny算子对预处理后的多源图像进行Canny算子边缘检测，根据边缘像素的空间位置关系将相邻的边缘像素连接起来组成区域的轮廓，包括闭合的轮廓和开的轮廓。为提高配准算法的速度，只保留图像中长度大于某一阈值的轮廓。

2、轮廓匹配：为了利用提取后的轮廓特征进行配准，必须对两幅图像中所有提取后的轮廓进行轮廓匹配。轮廓匹配的目的就是要从提取后的两幅图像轮廓之间找出形状相同的具有一一对应关系的匹配轮廓对，包括闭合轮廓对和开轮廓对。对于闭合轮廓应用归一化的矩不变量进行匹配，若两闭合轮廓归一化的矩不变量间的距离小于某一阈值即将此两闭合轮廓标记为一匹配的闭合轮廓对，对于开轮廓应用轮廓链码表示的方法进行匹配。

3、剔除误匹配的轮廓对：根据上一步所获得的匹配轮廓之间的位置关系，剔除其中可能产生的误匹配的轮廓对。定义闭合轮廓对的距离为闭合轮廓对中两闭合轮廓质心间的距离，定义开轮廓对的距离为开轮廓对上所有对应点间的距离的平均。求取所有闭合轮廓对的距离总和以及所有开轮廓对的距离总和，两者相加，并除以轮廓对个数(包括闭合轮廓对和开轮廓对)，从而得到轮廓对平均距离，如果某轮廓对的距离与轮廓对平均距离之差的绝对值超过某一个阈值，即将该轮廓对认为是误匹配的轮廓对，并将其剔除。

4、将匹配的开轮廓对转化为闭合的轮廓对：方法是将开轮廓对中的轮廓的两个端点用直线段连接从而形成封闭的轮廓。

5、求取所有闭合轮廓对中闭合轮廓的质心和最小转动惯量轴的方向角：首先将闭合轮廓区域填充后表示为闭合区域，然后求取该闭合区域的质心和最小转动惯量轴的方向作为该闭合轮廓的质心和转动惯量轴的方向角。

6、求取配准参数：根据上一步求取的所有闭合轮廓对中闭合轮廓的质心和转动惯量轴之间的关系求取配准参数。假设两幅待配准图像中第一幅图像为参考图像，配准过程中只对第二幅图像进行坐标变化。首先将两幅图像中的匹配的闭合轮廓对最小转动惯量轴的夹角按大小顺序排列，去除几个最小的和几个最大的，求取所有剩余闭合轮廓对最小转动惯量轴的夹角的平均值，该平均值即为两幅待配准图像之间的旋转量。然后根据此旋转量对第二幅图像进行旋转，求取旋转后闭合轮廓对的质心坐标差(水平方向或垂直方向)并按大小排序，去除几个最小的和最大的，求取所有剩余坐标差的平均值，该平均值即为两幅待配准图像之间的平移量(水平方向或垂直方向)。配准参数即为所求旋转量和平移量(包括水平方向和垂直方向)。根据配准参数对待配准图像中的第二幅图像进行坐标变换，完成图像配准。

本发明通过采用所有闭合轮廓对的质心和最小转动惯量轴作为特征进行配准，避免了一般基于轮廓的配准方法中由于采用闭合轮廓的质心或者开轮廓的角点作为控制点带来的配准误差，运算量小，配准精度高。

本发明可应用于遥感、安全监测、机载多源图像融合、图像跟踪等民用或军用领域。

附图说明：

图1为本发明的刚体变换下基于轮廓的多源图像配准方法流程图。

图2为本发明实施例中采用的待配准图像。

其中：图2(a)为参考图像I-红外图像，图2(b)为I′-可见光图像。

图3为轮廓提取结果。

其中：图3(a)为红外图像中提取的轮廓，图3(b)为可见光图像中提取的轮廓。

图4为轮廓匹配结果。

其中：图4(a)为红外图像中匹配后的轮廓，图4(b)为可见光图像中匹配后的轮廓。

图5为闭合轮廓的质心和最小转动惯量轴。

其中：图5(a)为红外图像中闭合轮廓的质心和最小转动惯量轴，图5(b)为可见光图像中闭合轮廓的质心和最小转动惯量轴。

图6为配准结果。

其中：图6(a)为参考图像-红外图像，图6(b)为配准后的可见光图像。

具体实施方式：

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

1、图像预处理及轮廓提取

多源图像中均不同程度的存在噪声污染，这些噪声对图像的轮廓提取构成很大干扰。由于中值滤波能较好的剔除图像中的噪声并能较好的保持边缘，本发明中首先采用中值滤波方法对输入的多源图像分别进行预处理。

轮廓提取包括边缘检测和边缘链接。首先采用Canny算子对预处理后的输入图像进行边缘检测，然后根据边缘像素的空间位置关系将相邻的边缘像素连接起来组成区域的轮廓(包括闭合的轮廓和开的轮廓)。为提高配准算法的速度，只保留图像中长度大于某一阈值的轮廓。

2、轮廓匹配

轮廓匹配的目的就是要从提取后的两幅图像轮廓之间找出形状相同的具有一一对应的匹配轮廓。对于闭合轮廓采用矩不变量进行匹配；对于开轮廓采用链码表示的方法来进行匹配。

(1)闭合轮廓的匹配

闭合轮廓对应于区域的边界，而区域内的像素可以通过填充算法来填满。对于闭合轮廓的匹配问题采用了不变矩。首先对闭合轮廓进行区域填充得到闭合区域。如果表示任意两个闭合轮廓A和B所对应的闭合区域为R_A和R_B，根据M.K.Hu(1996)提出的七个矩不变量计算其相应的七个矩不变量中的前六个矩不变量，分别记为{φ_iA′，i＝1，2，...，6}和{φ_iB′，i＝1，2，...，6}，然后对六个不变矩函数式进行归一化：

${\mathrm{\φ}}_i^{\′}=\frac{{\mathrm{\φ}}_i}{\sqrt{\underset{i=1}{\overset{6}{\mathrm{\Σ}}}{\mathrm{\φ}}_i^2}},...\left(1\right)$

然后计算

$d_{\mathrm{AB}}=\sqrt{\underset{i=1}{\overset{6}{\mathrm{\Σ}}}{[{\mathrm{\φ}}_{\mathrm{iA}}^{\′}-{\mathrm{\φ}}_{\mathrm{iB}}^{\′}]}^2},...\left(2\right)$

如果d_AB小于某一个阈值d，即认为这两个闭合轮廓A和B为匹配的闭合轮廓对。

(2)开轮廓的匹配

对于开轮廓的匹配应用了H.Li(1995)提出的改进的链码表示的方法。假定一条轮廓的8邻点链码表示为{a₁，a₂，a₃，...，a_n}，改进后的链码表示先对原8邻点链码{a₁，a₂，a₃，...，a_n}进行如下变换(其中mod表示求模操作)：

然后在{b₁，b₂，b₃，...，b_n}的基础上对其采用高斯平滑从而得到最终的链码表示{c₁，c₂，c₃，...，c_n}。

假设任两个待匹配的开轮廓A和B的改进链码表示分别为{a₁，a₂，a₃，...，aN_A }和{b₁，b₂，b₃，...，bN_B }，从两个开轮廓上分别任取长度均为n(n一般大于开轮廓A和B最小长度的2/3)的片断α和β，其中α起始于轮廓A的第k个边缘点，β起始于轮廓B的第1个边缘点，则α和β之间的匹配度定义为：

$D_{\mathrm{kl}}^n=\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}\cos \frac{\mathrm{\π}}{4}(a_{k+j}^{\′}-b_{l+j}^{\′})...\left(4\right)$

其中 $a_{k+l}^{\&prime;}=a_{k+i}-\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{a}_{k+j},0\&le;i<n,$ $b_{k+l}^{\&prime;}=b_{k+i}-\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{b}_{k+j},0\&le;i<n,$ 然后找到片断长度为n时的最佳匹配对 $(K_n,L_n)=\arg \underset{k,l}{\max }\left(D_{\mathrm{kl}}^n\right),$ 其匹配度表示为D_KnLn ⁿ。假设匹配度阈值定为D，则可求得 $N=\max \left\{n\right|D_{K_n{L}_n}^n>D\},$ 如果N为空集，则说明开轮廓A和B是不匹配的，否则就可求得开轮廓A和B上长度为N，起始边缘点分别为K_N和L_N的匹配轮廓对。

3、剔除误匹配的轮廓对

经过闭合轮廓之间的匹配以及开轮廓之间的匹配后，假设得到L条匹配轮廓对(A_i，B_i)，i＝1，2，...，L，这L条匹配轮廓对里面不能排除因形状十分相似而误匹配的轮廓对，这些误匹配的轮廓对如果不能排除将严重影响后续过程求取的配准参数的精度。

对于匹配的闭合轮廓对(A_i，B_i)，i＝1，2，...，N，可以将其区域填充后求出其质心(CA_i，CB_i)，并定义

                    D(A_i，B_i)＝d(CA_i，CB_i)，                          (5)

其中d(CA_i，CB_i)为二维平面内质心CA_i、CB_i两点间的欧氏距离。

对于匹配的开轮廓对(A_i，B_i)，i＝1，2，...，M，长度为L_i，其中A_i是其上边缘点坐标的有序表{PA₁ ⁱ，PA₂ ⁱ，PA₃ ⁱ，...，PA_Li ⁱ}，B_i为{PB₁ ⁱ，PB₂ ⁱ，PB₃ ⁱ，...，PB_Li ⁱ}定义

$D(A_i,B_i)=\frac{1}{L_i}\underset{p=1}{\overset{L_i}{\mathrm{\&Sigma;}}}d(P{A}_p^i,P{B}_p^i)...\left(6\right)$

其中d(PA_p ⁱ，PB_p ⁱ)为二维平面上PA_p ⁱ、PB_p ⁱ两点之间的欧氏距离。

$\stackrel{\&OverBar;}{D}=\frac{1}{M+N}\underset{i=1}{\overset{M+N}{\mathrm{\&Sigma;}}}D(A_i,B_i)...\left(7\right)$

如果|D(A_j，B_j)- D|＞D，D为阈值，则认为匹配轮廓对(A_j，B_j)是一个假匹配轮廓对，从而将其剔除。

4、将匹配的开轮廓对转化为闭合的轮廓对

匹配的开轮廓对不具备闭合轮廓对的一些性质，比如质心和最小转动惯量轴。为了利用开轮廓对提供的信息进行配准，首先将开轮廓对转化为闭合轮廓对，方法就是将开轮廓对中开轮廓的的两个端点用直线段连接从而形成封闭的轮廓。

5、求取所有闭合轮廓对中闭合轮廓的质心和最小转动惯量轴的方向

首先将闭合轮廓区域填充后表示为闭合区域，然后求取该闭合区域的质心和最小转动惯量轴的方向作为该闭合轮廓的质心和转动惯量轴(即为长轴)的方向角。

6、求取配准参数

在刚体变换下两幅待配准图像I和I′的坐标(x，y)与(x′，y′)之间满足如下关系(x轴为垂直方向，y轴为水平方向，原点为图像中心)：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\&Delta;x}\\ \mathrm{\&Delta;y}\end{array}\right],...\left(8\right)$

其中(θ，Δx，Δy)即为待求的两图像之间的旋转量和平移量。

记(θ_i，x_i，y_i)(i＝1，2，...，Num，Num为所有匹配的闭合轮廓对的数目)为第i个闭合轮廓对中位于图像I中的闭合轮廓的最小转动惯量轴的方向和质心，(θ_i′，x_i′，y_i′)为第i个闭合轮廓对中位于图像I′中的闭合轮廓的最小转动惯量轴的方向和质心，计算：

则配准参数计算如下：

其中φ_Num＝{φ_i|i＝1，2，...，Num}，φ_Num：j是集合φ_Num。中的所有元素按从小到大排序后的第j个元素，Δx_Num：j和Δy_Num：j与φ_Num：j涵义类似，α(0＜α＜1)是分位数。

根据上述得到的闭合轮廓对的最小转动惯量轴的夹角以及闭合轮廓对的质心位置关系，可得到两幅待配准图像之间的旋转量以及两幅待配准图像之间的平移量，实现刚体变换下的多源图像配准。

在本发明的实施例中，实验图像采用红外图像和可见光图像(如图2)。配准时将红外图像作为参考图像，也就是只对可见光图像做坐标变换。经图像预处理后，从两幅输入图像中进行轮廓提取，提取结果如图3。根据上面算法描述对提取后的轮廓进行匹配，匹配后的结果如图4。然后求取闭合轮廓对中各轮廓的质心和最小转动惯量轴(如图5)，根据闭合轮廓对中各轮廓的质心和最小转动惯量轴求取配准参数，然后根据配准参数，对待配准图像进行坐标变换，配准后的结果如图6。配准参数(θ，Δx，Δy)＝(8.1318°，20.0229，20.2923)。

Claims (1)

1、一种刚体变换下基于轮廓的多源图像配准方法，其特征在于包括如下具体步骤：

1)图像预处理及轮廓提取：采用中值滤波法对输入的多源图像分别进行除噪预处理后进行轮廓提取，轮廓提取包括边缘检测和边缘链接，首先采用Canny算子对预处理后的输入图像进行边缘检测，然后根据边缘像素的空间位置关系将相邻的边缘像素连接起来组成区域的轮廓，包括闭合轮廓和开轮廓，并只保留图像中长度大于某一阈值的轮廓；

2)轮廓匹配：从提取后的两幅图像轮廓之间找出形状相同的具有一一对应关系的匹配轮廓对，对于闭合轮廓应用归一化的矩不变量进行匹配，若两闭合轮廓归一化的矩不变量间的距离小于某一阈值即将此两闭合轮廓标记为一匹配的闭合轮廓对，对于开轮廓应用轮廓链码表示的方法进行匹配；

3)剔除误匹配的轮廓对：定义闭合轮廓对的距离为闭合轮廓对中两闭合轮廓质心间的距离，定义开轮廓对的距离为开轮廓对上所有对应点间的距离的平均，求取所有闭合轮廓对的距离总和以及所有开轮廓对的距离总和，两者相加，并除以轮廓对个数，得到轮廓对平均距离，如果某轮廓对的距离与轮廓对平均距离之差的绝对值超过某一个阈值，即将该轮廓对认为是误匹配的轮廓对，并将其剔除；

4)将匹配的开轮廓对转化为闭合的轮廓对：将开轮廓对中的轮廓的两个端点用直线段连接从而形成封闭的轮廓；

5)求取所有闭合轮廓对中闭合轮廓的质心和最小转动惯量轴的方向角；

6)根据求取的所有闭合轮廓对中闭合轮廓的质心和最小转动惯量轴之间的关系求取配准参数：设两幅待配准图像中第一幅图像为参考图像，配准过程中只对第二幅图像进行坐标变化，首先将两幅图像中的匹配的闭合轮廓对最小转动惯量轴的夹角按大小顺序排列，去除几个最小的和几个最大的，求取所有剩余闭合轮廓对最小转动惯量轴的夹角的平均值，该平均值即为两幅待配准图像之间的旋转量，然后根据此旋转量对第二幅图像进行旋转，求取旋转后闭合轮廓对的质心坐标差并按大小排序，去除几个最小的和最大的，求取所有剩余坐标差的平均值，该平均值即为两幅待配准图像之间的平移量，配准参数即为所求旋转量和平移量，根据配准参数对待配准图像中的第二幅图像进行坐标变换，完成图像配准。

Images