CN102096920B - 基于标靶图像的亚像素配准方法 - Google Patents

Abstract

一种基于标靶图像的亚像素配准方法，通过采用标靶图像来精确获取真实图像之间亚像素级别的空间关系，用于评测位置固定的多传感器之间的空间关系，或是评测同一传感器从不同视角拍摄的图像之间的空间关系，此评测结果可用于获取图像亚像素配准参数；相对于现有的图像配准方法，本发明消除了配准结果的图像内容依赖性，易于实现，而且本方法充分利用了标靶图像的预设模型，能够得到高精度的亚像素配准结果。

Description

基于标靶图像的亚像素配准方法

技术领域

本发明涉及图像配准技术领域，具体涉及一种基于标靶图像的亚像素配准方法。

背景技术

图像配准就是将在不同时间、不同视角或不同传感器的成像设备条件下对同一地域或物体获取的两幅或多幅图像进行匹配、叠加的过程。图像配准是一些图像处理和分析任务的前提，广泛应用于计算机视觉、高分辨率遥感图像获取、医学图像处理等领域中。

亚像素配准是指配准的精度能够达到亚像素级别，对图像进行精确的亚像素配准是实现超分辨率重建等技术的关键。现有的图像配准方法主要包括特征检测、特征匹配、变换模型估计、图像变换和重采样四个步骤。对于特征检测，传统的配准方法是直接对包含有各种外形和颜色的物体的真实世界图像进行处理，以找到其中的关于点、线、区域等形状或者颜色特征，进而对提取到的特征进行描述，得到它们的数学表示形式，并根据某种相似准则对不同图像之间的此类特征进行匹配。这样的方法意味着如果获得的某些真实世界的图像不包含有明显的特征或特征数量太少，那么此特征匹配的方法就会失效，而且对于某种特征也可能找不到合适的方式对其描述，从而就不能得到高精度的配准结果。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于标靶图像的亚像素配准方法，通过采用标靶图像来精确获取真实图像之间亚像素级别的空间关系。这种方法可用于评测位置固定的多传感器之间的空间关系，或是评测同一传感器从不同视角拍摄的图像之间的空间关系，此评测结果可用于获取图像亚像素配准参数。相对于现有的图像配准方法，本发明消除了配准结果的图像内容依赖性，易于实现，而且本方法充分利用了标靶图像的预设模型，能够得到高精度的亚像素配准结果。

为了达到上述目的，本发明所采用的技术方案是：

一种基于标靶图像的亚像素配准方法，步骤如下：

步骤1：将一个以上预先设计的标靶图像绘制或印刷于一个空间位置固定的硬质平面上；

步骤2：用成像头在同一平面的两个以上的图像传感器或者一个图像传感器，从两个以上的平面视角分别对空间位置固定的硬质平面上的标靶图像和其对应的真实世界进行成像，分别得到两个以上的标靶映射图像及其对应的两个以上真实世界映射图像；

步骤3：将获取的标靶映射图像通过频域转换器变换至频域，再利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度

值；

步骤4：根据所得到的两个以上的标靶映射图像之间的旋转角度对相应的标靶映射图像进行去旋转处理，得到去旋转处理后的标靶映射图像；

步骤5：将每个去旋转处理后的标靶映射图像进行边缘检测，由此得到一一对应的包含边缘直线的二值图像，然后进一步利用霍夫变换检测出二值图像中包含的直线，并获取对应的直线参数；

步骤6：随后根据标靶的预设直线模型对由利用霍夫变换检测出的每个标靶映射图像中包含的直线参数进行微调，得到交叉直线的交点；

步骤7：利用得到的直线交点坐标之间的差值来确定标靶映射图像间的亚像素平移参数；

步骤8：最后根据所述的标靶映射图像间的旋转角度和亚像素级平移参数来配准所述的真实世界图像。

所述的步骤1中的预先设计的标靶图像中包含N条直线，其中包括H条水平直线的水平直线组、包括V条竖直直线的竖直直线组以及包括S条倾斜交叉直线的倾斜交叉直线组，该N条直线构成了标靶的预设直线模型；其中：N为不小于2的自然数，H为大于等于0的整数，V为大于等于0的整数，S为大于等于0的整数。

所述的步骤3中的利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度的方式为在两个以上的标靶映射图像中按照预定的顺序依次选取一个标靶映射图像作为参考图像，按照预定的顺序依次将另外的标靶映射图像中的每个标靶映射图像逐一作为输入图像，所述的参考图像和输入图像的频域分别用f₁(s)和f₂(s)表示，根据成像头在同一平面得到的标靶映射图像之间为相似变换关系，得到参考图像和输入图像之间的旋转和亚像素级平移关系，用公式（1）描述为：

f₂(s)=f₁(R(s+Δs ))    （1）

其中， $s=\left[\begin{array}{c}x\\ y\end{array}\right],$ $\mathrm{\Δs}=\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$ s为图像的空间坐标向量，x为水平方向坐标值，y为竖直方向坐标值，Δs为输入图像相对于参考图像的平移向量，Δx为水平x方向的位移，Δy为竖直y方向的位移，R为旋转矩阵，

为输入图像相对于参考图像的旋转角度；随后设置F₁(u)和F₂(u)分别表示f₁(s)和f₂(s)的傅里叶变换，用公式（2）描述为：

|F₂(u)|=|F₁(Ru)|    （2）

其中，u为频域坐标向量，R为旋转矩阵，随后将|F₁(u)|和|F₂(u)|变换到极坐标，分别得到|F₁(r,β)|和|F₂(r,β)|，然后将它们沿着径向和极角的方向对其进行积分，分别得到关于角度的函数h₁(γ)和h₂(γ)，如公式（3）和公式（4）所示:

$h_1\left(\mathrm{\γ}\right)={\∫}_{\mathrm{\γ}-\mathrm{\Δ\γ}/2}^{\mathrm{\γ}+\mathrm{\Δ\γ}/2}{\∫}_0^{\∞}\left|F_1(r,\mathrm{\β})\right|\mathrm{drd\β}---\left(3\right)$

$h_2\left(\mathrm{\γ}\right)={\∫}_{\mathrm{\γ}-\mathrm{\Δ\γ}/2}^{\mathrm{\γ}+\mathrm{\Δ\γ}/2}{\∫}_0^{\∞}\left|F_1(r,\mathrm{\β})\right|\mathrm{drd\β}---\left(4\right)$

其中r为极径，β为极角，随后求出公式（3）和公式（4）的相关函数取最大值处的γ值，该γ值即为对应的标靶映射图像之间，也即输入图像相对于参考图像的旋转角度

值。

所述的步骤5中的边缘检测中使用的是Canny算子。

所述的步骤5中的霍夫变换使用的是直线的极坐标表示形式。

所述的步骤5中的获取对应的直线参数的方式为双层网格搜索方法。

通过采用标靶图像来精确获取真实图像之间亚像素级别的空间关系。这种方法可用于评测位置固定的多传感器之间的空间关系，或是评测同一传感器从不同视角拍摄的图像之间的空间关系，此评测结果可用于获取图像亚像素配准参数。相对于现有的图像配准方法，本发明消除了配准结果的图像内容依赖性，易于实现，而且本方法充分利用了标靶图像的预设模型，能够得到高精度的亚像素配准结果。

具体实施方式

下面结合实施例对本发明作更详细的说明。

实施例1：

基于标靶图像的亚像素配准方法，步骤如下：

步骤1：将一个以上预先设计的标靶图像绘制或印刷于一个空间位置固定的硬质平面上；

步骤2：用成像头在同一平面的两个以上的图像传感器或者一个图像传感器，从两个以上的平面视角分别对空间位置固定的硬质平面上的标靶图像和其对应的真实世界进行成像，分别得到两个以上的标靶映射图像及其对应的两个以上真实世界映射图像；

步骤3：将获取的标靶映射图像通过频域转换器变换至频域，再利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度

值；

步骤4：根据所得到的两个以上的标靶映射图像之间的旋转角度对相应的标靶映射图像进行去旋转处理，得到去旋转处理后的标靶映射图像；

步骤5：将每个去旋转处理后的标靶映射图像进行边缘检测，由此得到一一对应的包含边缘直线的二值图像，然后进一步利用霍夫变换检测出二值图像中包含的直线，并获取对应的直线参数；

步骤6：随后根据标靶的预设直线模型对由利用霍夫变换检测出的每个标靶映射图像中包含的直线参数进行微调，得到交叉直线的交点；

步骤7：利用得到的直线交点坐标之间的差值来确定标靶映射图像间的亚像素平移参数；

步骤8：最后根据所述的标靶映射图像间的旋转角度和亚像素级平移参数来配准所述的真实世界图像。

所述的步骤1中的预先设计的标靶图像中包含8条直线，其中包括2条水平直线的水平直线组、包括2条竖直直线的竖直直线组以及包括4条倾斜交叉直线的倾斜交叉直线组，该8条直线构成了步骤6中所述的标靶的预设直线模型。

所述的步骤3中的利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度的方式为在两个以上的标靶映射图像中按照预定的顺序依次选取一个标靶映射图像作为参考图像，按照预定的顺序依次将另外的标靶映射图像中的每个标靶映射图像逐一作为输入图像，所述的参考图像和输入图像的频域分别用f₁(s)和f₂(s)表示，根据成像头在同一平面得到的标靶映射图像之间为相似变换关系，得到参考图像和输入图像之间的旋转和亚像素级平移关系，用公式（1）描述为：

f₂(s)=f₁(R(s+Δs))    （1）

其中， $s=\left[\begin{array}{c}x\\ y\end{array}\right],$ $\mathrm{\Δs}=\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

s为图像的空间坐标向量，x为水平方向坐标值，y为竖直方向坐标值，Δs为输入图像相对于参考图像的平移向量，Δx为水平x方向的位移，Δy为竖直y方向的位移，R为旋转矩阵，

为输入图像相对于参考图像的旋转角度；随后设置F₁(u)和F₂(u)分别表示f₁(s)和f₂(s)的傅里叶变换，用公式（2）描述为：

|F₂(u)|=|F₁(Ru)|    （2）

其中，u为频域坐标向量，R为旋转矩阵，随后将|F₁(u)|和|F₂(u)|变换到极坐标，分别得到|F₁(r,β)|和|F₂(r,β)|，然后将它们沿着径向和极角的方向对其进行积分，分别得到关于角度的函数h₁(γ)和h₂(γ)，如公式（3）和公式（4）所示:

$h_1\left(\mathrm{\γ}\right)={\∫}_{\mathrm{\γ}-\mathrm{\Δ\γ}/2}^{\mathrm{\γ}+\mathrm{\Δ\γ}/2}{\∫}_0^{\∞}\left|F_1(r,\mathrm{\β})\right|\mathrm{drd\β}---\left(3\right)$

$h_2\left(\mathrm{\γ}\right)={\∫}_{\mathrm{\γ}-\mathrm{\Δ\γ}/2}^{\mathrm{\γ}+\mathrm{\Δ\γ}/2}{\∫}_0^{\∞}\left|F_1(r,\mathrm{\β})\right|\mathrm{drd\β}---\left(4\right)$

其中r为极径，β为极角，随后求出公式（3）和公式（4）的相关函数取最大值处的γ值，该γ值即为对应的标靶映射图像之间，也即输入图像相对于参考图像的旋转角度

值。

所述的步骤5中的边缘检测中使用的是Canny算子。

所述的步骤5中的霍夫变换使用的是直线的极坐标表示形式。

所述的步骤5中的获取对应的直线参数的方式为双层网格搜索方法。

实施例2：

基于标靶图像的亚像素配准方法，步骤如下：

步骤1：将一个以上预先设计的标靶图像绘制或印刷于一个空间位置固定的硬质平面上；

步骤2：用成像头在同一平面的两个以上的图像传感器或者一个图像传感器，从两个以上的平面视角分别对空间位置固定的硬质平面上的标靶图像和其对应的真实世界进行成像，分别得到两个以上的标靶映射图像及其对应的两个以上真实世界映射图像；

步骤3：将获取的标靶映射图像通过频域转换器变换至频域，再利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度

值；

步骤4：根据所得到的两个以上的标靶映射图像之间的旋转角度对相应的标靶映射图像进行去旋转处理，得到去旋转处理后的标靶映射图像；

步骤5：将每个去旋转处理后的标靶映射图像进行边缘检测，由此得到一一对应的包含边缘直线的二值图像，然后进一步利用霍夫变换检测出二值图像中包含的直线，并获取对应的直线参数；

步骤6：随后根据标靶的预设直线模型对由利用霍夫变换检测出的每个标靶映射图像中包含的直线参数进行微调，得到交叉直线的交点；

步骤7：利用得到的直线交点坐标之间的差值来确定标靶映射图像间的亚像素平移参数；

步骤8：最后根据所述的标靶映射图像间的旋转角度和亚像素级平移参数来配准所述的真实世界图像。

所述的步骤1中的预先设计的标靶图像中包含9条直线，其中包括3条水平直线的水平直线组、包括0条竖直直线的竖直直线组以及包括6条倾斜交叉直线的倾斜交叉直线组，该9条直线构成了步骤6中所述的标靶的预设直线模型。

所述的步骤3中的利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度的方式为在两个以上的标靶映射图像中按照预定的顺序依次选取一个标靶映射图像作为参考图像，按照预定的顺序依次将另外的标靶映射图像中的每个标靶映射图像逐一作为输入图像，所述的参考图像和输入图像的频域分别用f₁(s)和f₂(s)表示，根据成像头在同一平面得到的标靶映射图像之间为相似变换关系，得到参考图像和输入图像之间的旋转和亚像素级平移关系，用公式（1）描述为：

f₂(s)=f₁(R(s+Δs ))    （1）

其中， $s=\left[\begin{array}{c}x\\ y\end{array}\right],$ $\mathrm{\Δs}=\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\end{array}\right],$

s为图像的空间坐标向量，x为水平方向坐标值，y为竖直方向坐标值，Δs为输入图像相对于参考图像的平移向量，Δx为水平x方向的位移，Δy为竖直y方向的位移，R为旋转矩阵，

为输入图像相对于参考图像的旋转角度；随后设置F₁(u)和F₂(u)分别表示f₁(s)和f₂(s)的傅里叶变换，用公式（2）描述为：

|F₂(u)|=|F₁(Ru)|    （2）

其中，u为频域坐标向量，R为旋转矩阵，随后将|F₁(u)|和|F₂(u)|变换到极坐标，分别得到|F₁(r,β)|和|F₂(r,β)|，然后将它们沿着径向和极角的方向对其进行积分，分别得到关于角度的函数h₁(γ)和h₂(γ)，如公式（3）和公式（4）所示:

$h_1\left(\mathrm{\γ}\right)={\∫}_{\mathrm{\γ}-\mathrm{\Δ\γ}/2}^{\mathrm{\γ}+\mathrm{\Δ\γ}/2}{\∫}_0^{\∞}\left|F_1(r,\mathrm{\β})\right|\mathrm{drd\β}---\left(3\right)$

$h_2\left(\mathrm{\γ}\right)={\∫}_{\mathrm{\γ}-\mathrm{\Δ\γ}/2}^{\mathrm{\γ}+\mathrm{\Δ\γ}/2}{\∫}_0^{\∞}\left|F_1(r,\mathrm{\β})\right|\mathrm{drd\β}---\left(4\right)$

其中r为极径，β为极角，随后求出公式（3）和公式（4）的相关函数取最大值处的γ值，该γ值即为对应的标靶映射图像之间，也即输入图像相对于参考图像的旋转角度

值。

所述的步骤5中的边缘检测中使用的是Canny算子。

所述的步骤5中的霍夫变换使用的是直线的极坐标表示形式。

所述的步骤5中的获取对应的直线参数的方式为双层网格搜索方法。

本发明的实施例通过采用标靶图像来精确获取图像之间亚像素级别的空间关系，这种方法可用于评测位置固定的双传感器之间的空间关系，或是评测同一传感器从不同视角拍摄的图像之间的空间关系，此评测结果可用于获取图像亚像素配准参数。相对于现有的图像配准方法，本发明采用了预先设计的标靶图像来得到配准参数，从而消除了配准结果的图像内容依赖性，易于实现，而且本方法充分利用了标靶图像的预设知识能够得到高精度的亚像素配准结果。加上为了减少检测时间和提高检测精度，本发明的实施例中采用了双层网格搜索方法来得到直线的极坐标参数，还有通过处理二值图像来得到亚像素平移参数，所以能够减少光照不均匀对配准参数精度带来的影响。另外当需要配准一系列不同的由固定位置的成像传感器得到的图像时，采用本发明提出的方法仅需要对标靶进行一次配准，得到传感器的空间位置关系，而不需要对每次得到的不同内容的图像分别进行配准。

Claims (4)

1.一种基于标靶图像的亚像素配准方法，其特征在于，步骤如下：

步骤1：将一个以上预先设计的标靶图像绘制或印刷于一个空间位置固定的硬质平面上；

步骤2：用成像头在同一平面的两个以上的图像传感器或者一个图像传感器，从两个以上的平面视角分别对空间位置固定的硬质平面上的标靶图像和其对应的真实世界进行成像，分别得到两个以上的标靶映射图像及其对应的两个以上真实世界映射图像；

步骤3：将获取的标靶映射图像通过频域转换器变换至频域，再利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度

值；

步骤4：根据所得到的两个以上的标靶映射图像之间的旋转角度对相应的标靶映射图像进行去旋转处理，得到去旋转处理后的标靶映射图像；

步骤5：将每个去旋转处理后的标靶映射图像进行边缘检测，由此得到一一对应的包含边缘直线的二值图像，然后进一步利用霍夫变换检测出二值图像中包含的直线，并获取对应的直线参数；

步骤6：随后根据标靶的预设直线模型对由利用霍夫变换检测出的每个标靶映射图像中包含的直线参数进行微调，得到交叉直线的交点；

步骤7：利用得到的直线交点坐标之间的差值来确定标靶映射图像间的亚像素平移参数；

步骤8：最后根据所述的标靶映射图像间的旋转角度和亚像素级平移参数来配准所述的真实世界映射图像，

所述的步骤1中的预先设计的标靶图像中包含N条直线，其中包括H条水平直线的水平直线组、包括V条竖直直线的竖直直线组以及包括S条倾斜交叉直 线的倾斜交叉直线组，该N条直线构成了标靶的预设直线模型；其中：N为不小于2的自然数，H为大于等于0的整数，V为大于等于0的整数，S为大于等于0的整数；

所述的步骤3中的利用傅里叶变换频谱幅度之间的关系得到标靶映射图像之间的旋转角度的方式为在两个以上的标靶映射图像中按照预定的顺序依次选取一个标靶映射图像作为参考图像，按照预定的顺序依次将另外的标靶映射图像中的每个标靶映射图像逐一作为输入图像，所述的参考图像和输入图像的频域分别用f₁(s)和f₂(s)表示，根据成像头在同一平面得到的标靶映射图像之间为相似变换关系，得到参考图像和输入图像之间的旋转和亚像素级平移关系，用公式（1）描述为：

f₂(s)=f₁(R(s+Δs))    （1）

其中，

s为图像的空间坐标向量，x为水平方向坐标值，y为竖直方向坐标值，Δs为输入图像相对于参考图像的平移向量，Δx为水平x方向的位移，Δy为竖直y方向的位移，R为旋转矩阵，

为输入图像相对于参考图像的旋转角度；随后设置F₁(u)和F₂(u)分别表示f₁(s)和f₂(s)的傅里叶变换，用公式（2）描述为：

|F₂(u)|=|F₁(Ru)|    （2）

其中，u为频域坐标向量，R为旋转矩阵，随后将|F₁(u)|和|F₂(u)|变换到极坐标，分别得到|F₁(r,β)|和|F₂(r,β)|，然后将它们沿着径向和极角的方向对其进行积分，分别得到关于角度的函数h₁(γ)和h₂(γ)，如公式（3）和公式（4）所示:

其中r为极径，β为极角，随后求出公式（3）和公式（4）的相关函数取最大值 处的γ值，该γ值即为对应的标靶映射图像之间，也即输入图像相对于参考图像的旋转角度

值。

2.根据权利要求1所述的基于标靶图像的亚像素配准方法，其特征在于：所述的步骤5中的边缘检测中使用的是Canny算子。

3.根据权利要求1所述的基于标靶图像的亚像素配准方法，其特征在于：所述的步骤5中的霍夫变换使用的是直线的极坐标表示形式。

4.根据权利要求3所述的基于标靶图像的亚像素配准方法，其特征在于：所述的步骤5中的获取对应的直线参数的方式为双层网格搜索方法。