CN104036520B - 异源建筑物图像配准方法 - Google Patents

Abstract

本发明涉及一种异源建筑物图像配准方法，包括以下步骤：提取天空线；先分别计算图像的每一列的颜色差异度大的位置，再将每列的位置连成一个向量；匹配天空线；通过匹配两张图像的天空线，得到两张图像的配准参数。本发明的异源建筑物图像配准方法，利用建筑物图像的天空线作为轮廓特征，简化了传统的基于轮廓特征的配准算法的轮廓提取过程，能够针对视场中存在天空线的一类异源图像进行有针对性的、准确且快速的配准。此方法同样适用于视场中存在海天线的异源图像配准。

Description

异源建筑物图像配准方法

技术领域

本发明属于计算机视觉领域，涉及一种针对城市中建筑物的异源建筑物图像配准方法。

背景技术

异源图像配准是可见光、红外或雷达图像之间的配准。依据相似性度量准则得到异源图像间的坐标变换参数(匹配参数)，使得从不同传感器和不同时间获取的同一场景的两幅或多幅图像变换到同一坐标系下。其难点在于基于灰度信息的特征，不能很好解决异源图像配准的问题，故异源图像配准的现有算法主要是基于图像的结构特征和基于区域的配准方法。

基于区域的配准方法，又称模板匹配法，利用模板的灰度信息或灰度信息的某种变换进行配准。最具有代表性的是互信息法，互信息法在医学异源图像配准上应用较为成熟，因其主要应用与时候处理，实时性较差，故在军事需求中难以得到很好的应用。

基于图像的结构特征，常用的是提取图像的角点、轮廓特征来进行配准。国内的相关研究，如清华大学的Li Bin等人在《OPTICS EXPRESS》上发表的《Multi-sensor imageregistration based on algebraic projective invariants》，首先提取图像中景物的轮廓，再提取轮廓的角点，进而由这些角点组合成一个新特征“Five Sequential Corners”，通过匹配这个新特征来实现异源图像的配准。国外的相关研究，如荷兰计算机科学与数学研究中心(Centrum Wiskunde&Informatica)的Jungong Han等人在《Pattern RecognitionLetters》上发表的《Visible and infrared image registration in man-madeenvironmentsemploying hybrid visual features》，分 别利用特征直线和特征点先后进行粗匹配和细匹配，最后得到仿射变换矩阵，实现两幅异源图像的配准。上述方法中，都是两幅异源图像之间存在仿射变换或投影变换时的配准，配准难度比较大，且算法复杂度较高，难以实时地实施配准。

发明内容

本发明要解决现有技术中的技术问题，提供一种基于天空线匹配的，异源建筑物图像配准方法。

为了解决上述技术问题，本发明的技术方案具体如下：

一种异源建筑物图像配准方法，包括以下步骤：

步骤i：提取天空线；先分别计算图像的每一列的颜色差异度大的位置，再将每列的位置连成一个向量；

步骤ii：匹配天空线；通过匹配两张图像的天空线，得到两张图像的配准参数。

在上述技术方案中，所述步骤i具体为：在图像的每一列，从上至下比较相邻像素点的颜色差异度，再通过与设定的阈值进行比较，得出颜色由天空跳变到建筑物的高度，再将不同列的颜色跳变的高度连成一个向量，得到天空线。

在上述技术方案中，提取天空线时，首先从第一列开始，从上至下寻找每列颜色差异度跳变的高度。

在上述技术方案中，所述步骤ii具体为：

以图像I₁的天空线TKX₁为基准，选取中间的一段作为匹配模板，生成这段天空线的特征向量V₀；

在图像I₂的天空线TKX₂上选取不同长度、不同位置的区段，得到它的特征向量V₁，并计算V₁与V₀的匹配函数C；

当匹配函数C取得极小值时，说明这一段与TKX₁上选取的模板形状最为接近，对应着现实景物中的相同区域。

在上述技术方案中，步骤ii中的配准参数包括：缩放关系zoom，水平平移量dx，垂直平移量dy。

本发明的有益效果：

本发明的异源建筑物图像配准方法，利用建筑物图像的天空线作为轮廓特征，简化了传统的基于轮廓特征的配准算法的轮廓提取过程，能够针对视场中存在天空线的一类异源图像进行有针对性的、准确且快速的配准。此方法同样适用于视场中存在海天线的异源图像配准。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明实施的具体流程图。

图2中a、b、c、d为实施例1的原图和天空线图。

图3为实施例1可见光与红外图像配准后图像示意图。

图4中a、b、c、d为实施例2的原图和天空线图。

图5为实施例2可见光与红外图像配准后图像示意图。

具体实施方式

本发明的发明思想为：

本发明的异源建筑物图像配准方法针对两幅存在平移和缩放变换的异源图像的配准问题，能够抓住问题关键，实现快速、准确地异源图像配准。

本发明的异源建筑物图像配准方法，针对于视野中存在“天空线”的异源图像 或同源图像进行配准，分两个步骤：①提取天空线；②匹配天空线。通过匹配天空线，实现将两幅存在平移、缩放的图像进行配准，配准的具体步骤如图1所示。

①提取天空线

拍摄建筑物景象时，往往存在“天空线”，即远方的建筑物边缘与天空的交界处。无论是可见光图像还是红外图像，当图像中存在天空线时，其上方的天空与下方的建筑物的颜色差异较大，因此可以通过计算颜色差异度来确定天空线的位置。

使用“逐列生成法”生成天空线，即先分别计算每列的颜色差异度大的位置，再将每列的位置连成一个向量。在图像的每一列，从上至下比较相邻像素点的颜色差异度，再通过与设定的阈值进行比较，得出颜色由天空跳变到建筑物的高度(用像素表示)，再将不同列的颜色跳变的高度连成一个向量，得到天空线。计算颜色差异度，采用求RGB空间的距离的方法，即将某像素点的RGB数值看成RGB空间的一个点，两个像素点的颜色差异度就是RGB空间两点间的距离。

d_RGB(i,j)为图像上第j列第i行与第j列第i+1行像素点的RGB空间距离，I(i,j,1)、I(i,j,2)、I(i,j,3)分别是图像上第j列第i行像素点颜色的RGB三个分量。

提取天空线时，首先从第一列开始，从上至下寻找每列颜色差异度跳变的高度。即第j列时，从第1行开始计算d_RGB(1,j)，并与预设的阈值TH进行比较，若距离d_RGB(i,j)<TH，则计算下一个距离d_RGB(i+1,j)，当d_RGB(i_t,j)>TH时，记天空线向量的第j个元素值为i_t。搜索完每列的跳变高度，得出一条长度为图像宽度 的天空线向量，用TKX表示。

②匹配天空线

通过匹配两张图像的天空线，得到两张图像的配准参数，包括缩放关系zoom、水平平移量dx，进一步计算能得到垂直平移量dy。应用这些参数，调整图像的大小、位置以及旋转角度，能够实现两幅异源图像的配准。

为匹配两幅图像的天空线，首先以其中一张图像I₁的天空线TKX₁为基准，选取中间的一段作为匹配模板，生成这段天空线的特征向量V₀；然后，在图像I₂的天空线TKX₂上选取不同长度、不同位置的区段，得到它的特征向量V₁，并计算V₁与V₀的匹配函数C，即穷举式地进行天空线匹配。其中不同长度、不同位置的区段用它在TKX₂上的首尾序号来标识。当匹配函数C取得极小值时，说明这一段与TKX₁上选取的模板形状最为接近，对应着现实景物中的相同区域。

特征向量与匹配函数：

为表示天空线某区段的特征，使用这个区段计算它的特征向量：将这个区段平均分成N等分，计算每等分天空线向量元素的平均值。

其中V(i)为特征向量的第i个分量，为每个等分的长度，x₀与x₁为区段在天空线向量的首尾序号，表示区段取TKX(x₀)，～TKX(x₁)这一段。为了能消除图像分辨率不同带来的影响，将特征向量V(i)除以图像的高度height，得到“标准化”特征向量V_s。

为了匹配两段天空线，可以使用匹配函数来衡量它们的标准化特征向量之 间的相似度。设V_0s与V_1s为待匹配的两段天空线的标准化特征向量，匹配函数C定义为：

设在TKX₁上选取的模板区段，记为“模板段”，它的首尾序号分别为left1与right1，通过穷举式搜索匹配，得到TKX₂上与其匹配度最高(即匹配函数取得最小值时)的一段，记为“匹配段”，它的首尾序号为left2与right2，则I₂相对于I₁的缩放zoom，水平平移量dx可表示为：

为求垂直平移量，分别计算模板段与匹配段的均值，记为mean1与mean2，则垂直平移量dy为：

dy＝mean1-zoommean2(5)

通过进行天空线匹配以及后续计算，可配准存在缩放、平移和小角度旋转的图像间的配准。配准时，首先将I₂放大到zoom倍，再平移(dx，dy)，其中dx取向右为正，dy取向下为正。

下面结合附图对本发明做以详细说明。

实施例1

如图2中a、图2中c所示，可见光原图与红外原图，这是两张视场中有天空线的建筑物的图像，它们成像区域不同，红外图像区域略大。可见光图像分辨率为1024×768像素，红外图像分辨率为640×480像素。为实现两张图像的配准，首先生成两张图像的天空线，可见光图像的天空线TKX₁形状如图2中b所示，红外图像的天空线TKX₂形状如图2中d所示。以可见光图像为基准图，取TKX₁中间 一段作为模板段，记录其首尾序号为left1＝230与right1＝830，在图2中b中用黑色虚线标出，计算模板段的特征向量，进而得到标准化特征向量V_0s，V_0s的值如表1所示，这里选取特征向量的长度N为40，故由红外图像生成的天空线TKX₂上，穷举不同位置、不同长度的区段，计算它们的标准化特征向量集合{V_1s}，并分别求与V_0s的相关函数C。本实施例中，当C取得最小值时，记录匹配段的首尾序号left2＝133与right2＝453，在图2中d中用黑色虚线标出，与V_0s匹配度最高的V_1s的数值如表1所示。

根据发明内容中对zoom、dx、dy的计算公式，算得本实施例中的配准参数：

dx＝left1-zoomleft2＝230-1.875×133＝-19

mean1＝295,mean2＝194,dy＝mean1-zoommean2＝-69

根据配准参数，首先将红外图像放大到原来的1.875倍，并向左平移19个像素，向上平移69个像素，然后与可见光图像融合，得到如图3所示的配准后融合图。用VisualStudio2010编程实现，运行时间为330ms。

表1 实施例1的模板段与匹配段的标准化特征向量元素值

实施例2

如图4中a、图4中c所示，另一组建筑物的异源图像，可见这组异源图像中，天空线的中间段的起伏很小，且红外图像右侧有瑕疵，不利于特征向量的匹配。选择这组图像的目的，是为了验证在天空线起伏较小时，算法依然能够快速、准确地配准图像。可见光图像分辨率为1024×768像素，红外图像分辨率为640×480像素。以可见光图像的天空线TKX₁上的一段作为模板段，在图4中b中用黑色虚线标出，记录其首尾序号为left1＝230与right1＝830。计算模板段的特征向量，得到标准化特征向量V_0s，V_0s的值如表2所示，这里选取的特征向量的长度N为40，故由红外图像生成的天空线TKX₂上，穷举不同位置、不同长度的区段，计算它们的标准化特征向量集合{V_1s}，并分别求与V_0s的相关函数C。本实施例中，当C取得最小值时，记录匹配段的首尾序号left2＝49与right2＝369，在图4中d中用黑色虚线标出，与V_0s匹配度最高的V_1s的数值如表2所示。

表2 实施例2的模板段与匹配段的标准化特征向量元素值

根据发明内容中对zoom、dx、dy的计算公式，算得本实施例中的配准参数：

dx＝left1-zoomleft2＝230-1.875×49＝138

mean1＝369,mean2＝228,dy＝mean1-zoommean2＝-58

根据配准参数，首先将红外图像放大到原来的1.875倍，并向右平移138个像素，向上平移58个像素，然后与可见光图像融合，得到如图5所示的配准后融合图。用VisualStudio2010编程实现，运行时间为310ms。可以看出在天空线起伏较小，图像有瑕疵的情况下，本算法仍能够快速、准确地将异源图像配准。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (4)

1.一种异源建筑物图像配准方法，其特征在于，包括以下步骤：

步骤i：提取天空线；先分别计算图像的每一列的颜色差异度大的位置，再将每列的位置连成一个向量；

步骤ii：通过匹配两张图像的天空线，得到两张图像的配准参数，以图像I₁的天空线TKX₁为基准，选取中间的一段作为匹配模板，生成这段天空线的特征向量V₀；

在图像I₂的天空线TKX₂上选取不同长度、不同位置的区段，得到它的特征向量V₁，并计算V₁与V₀的匹配函数C；

当匹配函数C取得极小值时，说明这一段与TKX₁上选取的模板形状最为接近，对应着现实景物中的相同区域；

所述特征向量V₀和特征向量V₁满足：

为表示天空线某区段的特征，使用这个区段计算它的特征向量：将这个区段平均分成N等分，计算每等分天空线向量元素的平均值；

$\begin{array}{c}V\left(i\right)=\frac{\underset{k=0}{\overset{k=dN}{\mathrm{\&Sigma;}}}TKX\left(\right(i-1)\&CenterDot;dN+k)}{dN},i=1,2,...,N\\ V_s=\frac{V\left(i\right)}{height}\end{array}---\left(2\right)$

其中V(i)为特征向量的第i个分量，为每个等分的长度，x₀与x₁为区段在天空线向量的首尾序号，表示区段取TKX(x₀)～TKX(x₁)这一段；

为了能消除图像分辨率不同带来的影响，将特征向量V(i)除以图像的高度height，得到“标准化”特征向量V_s。

2.根据权利要求1所述的异源建筑物图像配准方法，其特征在于，

所述步骤i具体为：在图像的每一列，从上至下比较相邻像素点的颜色差异度，再通过与设定的阈值进行比较，得出颜色由天空跳变到建筑物的高度，再将不同列的颜色跳变的高度连成一个向量，得到天空线。

3.根据权利要求2所述的异源建筑物图像配准方法，其特征在于，提取天空线时，首先从第一列开始，从上至下寻找每列颜色差异度跳变的高度。

4.根据权利要求1所述的异源建筑物图像配准方法，其特征在于，经过步骤ii后，可配准存在缩放、平移和小角度旋转的图像间的配准；配准时，首先将I₂放大到zoom倍，再平移dx，平移dy，其中dx取向右为正，dy取向下为正。