CN103996200A - 一种基于图像子块参数的快速图像配准方法 - Google Patents

Abstract

本发明提供了一种基于图像子块参数的快速图像配准方法，包括3个阶段：1、将参考图像划分为若干个图像子块，从中选择具有一定灰度层次的非边缘图像子块，作为参与配准的候选参考图像子块；2、以参考图像子块作为外循环，再嵌套两个分别承担粗略和精细旋转角度匹配的内循环模块及一个精细像素位置配准模块，共同完成图像配准，并给出最佳配准图像子块参数，即测试图像旋转角度和配准测试图像子块位置参数；3、综合分析运用最佳配准图像子块参数，计算和提取两幅图像的最大相同画面。该方法极大地改善了传统的基于灰度的图像配准方法存在的对图像灰度变化、物体旋转、目标遮挡等因素的敏感问题，实现了快速精确的图像配准。

Description

一种基于图像子块参数的快速图像配准方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于图像子块参数的快速图像配准方法。

背景技术

图像配准技术研究如何建立源图像(参考图像)和目标图像(测试图像)在空间和灰度上的映射关系问题，实质是找寻并建立两幅图像中表征同一像素物理位置点的对应关系。图像配准质量直接影响图像内容分析，是视频内容分析领域面临的核心问题之一。

图像配准算法围绕着解决三个问题展开：(1)快速而精准地确定两幅图像之间可能存在的相对位移和旋转角度参数；(2)尽可能地减小两幅图像的灰度差异对图像配准精度的影响；(3)自动避免局部图像内容不同对图像配准的干扰。

图像配准方法主要有基于灰度的图像配准方法和基于特征提取的图像配准方法两大类。基于灰度的图像配准方法是直接利用图像的灰度值确定配准的空间变换，这种方法充分地利用了图像中所包含的信息，亦称为基于图像整体内容的配准方法。核心思想是认为参考图像和测试图像之间存在相同或相似灰度的像素对应点区域，通过构建基于灰度的相似度函数，寻找一组最优的几何变换参数，使得相似度函数最大，由此进行图像配准。

人们对基于灰度的图像配准方法的认识：(1)实现简单，图像信息利用度高；(2)对图像的灰度变化比较敏感，尤其是非线性的光照变化，将大大降低算法的性能；(3)对目标的旋转、形变以及遮挡比较敏感；(4)计算复杂度高。

基于特征提取的图像配准方法首先提取图像中保持不变的特征，这类特征应同时出现在两幅图像中，并且对图像的比例缩放、旋转、平移等变换保持一致性，如线交叉点、物体边缘角点、闭区域中心等可提取的特征，形成特征集。然后在各自特征集中运用特征匹配算法，选择具有对应关系的特征对，在此基础上实现两幅图像相同区域之间的像素配准。

对基于特征点的图像配准方法的基本看法是：(1)对图像的灰度变化、图像形变、局部图像遮挡等都有较好的适应能力；(2)建立在特征信息上的匹配信息量小，可大大减少配准过程的计算量；(3)特征点的选取是一项耗时耗力的工作，太少的点、不准确的点、或者分布不均匀的点被选取都可能导致配准的误差，而且这种情况是经常发生的；(4)模糊的图像会使得特征点的提取比较困难，容易漏选特征点，产生伪特征点，从而导致配准精度不高。

传统的基于灰度的图像配准方法主要有部分像素或块图像配准两类，主要问题是缺乏一种自动的选择参考块图像和大范围有效的配准机制，因为所选择的参考块图像位置和携带的灰度图像信息是否丰富直接影响图像配准的精度和质量。比如，基于像素抽样构成的块图像，虽然加快了配准速度，由于没有充分使用原始图像信息，必然导致图像配准精度不高。另外，快速搜索应以准确捕捉图像配准区域为前提，不是建立在准确的捕捉图像配准区域上的快速图像配准搜索策略并不会带来更好的图像配准效果。

这就是说，一个好的图像配准算法应同时兼顾解决上面提到的三个问题进行设计。

发明内容

本发明提供一种基于图像子块参数的快速图像配准方法，极大地改善了传统的基于灰度的图像配准方法存在的对图像灰度变化、物体旋转、目标遮挡等因素的敏感问题，实现了快速精确的图像配准。

在本发明实施例中提供了一种基于图像子块参数的快速图像配准方法，用于至少两幅图像或两帧视频图像内容的分析，包括：

选择一个参考图像子块作为外循环，并在外循环中嵌套两个内循环模块及一个精细像素位置搜索模块；其中，两个内循环模块分别进行粗略和精细测试图像旋转角度配准搜索；两个内循环模块和精细像素位置搜索模块共同作用完成快速图像配准，并给出最佳配准图像子块参数；其中，最佳配准图像子块参数包括测试图像旋转角度和配准测试图像子块位置参数；根据最佳配准图像子块参数，计算和提取两幅图像的最大相同画面，画面即为配准图像。

进一步地，该方法还包括：

根据图像幅度和预定义参数组，自动将预设的参考图像划分为若干图像子块；统计所有参考图像子块的灰度分布，并从中选择符合预定灰度比值范围的非边缘图像子块；将按照灰度比值从小到大的顺序排列的非边缘图像子块，作为参与配准的候选参考图像子块。

进一步地，该方法中最佳图像子块配准参数计算公式是：

式中，R、T分别表示参考图像子块和测试图像子块； 是图像子块像素平均值；m、n是图像子块的行列像素数；α^*、i^*、j^*分别为最佳配准测试图像旋转角度和配准测试图像子块位置参数；表示对应于该测试图像旋转角度和配准测试图像位置参数的参考图像子块r的最佳配准测试图像子块互相关系数值。

本发明提供的一种基于图像子块参数的快速图像配准方法，与现有技术中传统的基于灰度的图像配准方法，有着独特的技术优点，具体表现是：(1)虽然人们意识到选择图像子块进行图像配准可以提高配准速度，却没有提出一种有效的图像子块优选方法。我们提出并设计的统计参考图像子块灰度比值，按照灰度比值大小排序的参考图像子块选择方法，选出的是灰度信息丰富、层次感强的参考图像子块，有助于提高配准质量。(2)算法建立的以参考图像子块作为外循环、并在外循环中嵌套两个分别承担粗略和精细图像旋转角度匹配的内循环模块及一个精细像素位置搜索模块的搜索模式，既保证图像配准的快速，又不失图像配准的精准性。这三个模块的共同作用，完成快速图像配准，并给出最佳配准图像子块参数；其中，最佳配准图像子块参数是指测试图像旋转角度和配准图像子块位置参数。这个算法适用于具有大角度旋转、大范围位移及画面内容不同的两幅及多幅图像配准。(3)本方法是建立在计算互相关系数最大值上的图像配准，能够显著地抵消局部图像一致性灰度差异对图像配准的影响。(4)综合分析运用最佳配准图像子块参数，能够提取两幅图像的最大相同画面。

本发明通过计算方案的实现方法，极大地改善了传统的基于灰度的图像配准方法存在的对图像灰度变化、物体旋转、目标遮挡等因素的敏感问题，实现了快速精确的图像配准。

附图说明

图1为本发明提出的基于图像子块参数的快速图像配准过程流程图。

具体实施方式

为了更加透彻地理解本发明的目的和技术方法特点，下面将对本发明的技术思想、技术处理过程进行更为完整细致的描述。鉴于基于本发明中的技术思想和技术特色隐含在具体的处理过程中，本领域普通技术人员在没有做出创造性劳动的前提下提出的所有其他类似处理方式，都属于本发明所保护的范围。

我们深入研究了基于灰度的图像配准技术，基本的出发点是：(1)自然界中绝大多数物体是刚性的，发生形变的物体总量是少的，因而某些应用场景下可以弱化形变物体对图像配准的影响；(2)光线的强弱和照射角度而导致的图像灰度变化是不可避免的，应当采取技术手段规避或降低这种因素对图像配准的影响；(3)充分合理和选择性的利用图像的灰度信息可以极大的改善图像配准质量，因为任何特征提取算法不会比原始图像拥有更多的信息。

本发明实施例提供了一种基于图像子块参数的快速图像配准方法，将整个图像配准过程分为3个阶段。

第1阶段：根据图像幅度和预定义参数组，自动将预设的参考图像划分为若干图像子块；统计所有参考图像子块的灰度分布，并从中选择符合预定灰度比值范围的非边缘图像子块；将按照灰度比值从小到大的顺序排列的非边缘图像子块，作为参与配准的候选参考图像子块。

第2阶段：选择一个参考图像子块作为外循环，并在外循环中嵌套两个内循环模块及一个精细像素位置搜索模块；其中，两个内循环模块分别承担粗略和精细测试图像旋转角度配准；两个内循环模块和精细像素位置搜索模块共同作用完成快速图像配准，并给出最佳配准图像子块参数；其中，最佳配准图像子块参数包括测试图像旋转角度和配准测试图像子块位置参数。

第3阶段：综合分析运用最佳配准图像子块参数，计算和提取两幅图像的最大相同画面，该画面即为配准图像。

最佳图像子块配准参数计算公式是：

式中，R、T分别表示参考图像子块和测试图像子块； 是图像子块像素平均值；m、n是图像子块的行列像素数；α^*、i^*、j^*分别为最佳配准测试图像旋转角度和配准测试图像子块位置参数；表示对应于该测试图像旋转角度和配准测试图像位置参数的参考图像子块r的最佳配准测试图像子块互相关系数值。

本发明的技术方案中的图像配准算法的设计思想贯穿于配准过程的3个阶段。首先，假定两幅图像的相同画面部分可能存在相对角度旋转和位置位移，图像灰度上可能有差异，局部画面内容可能不同。尽管这3个因素的作用范围和影响程度是未知的，但是我们仍然可以设定其范围，比如，可以设定两幅图像的相对旋转角度为-30°～30°，超过这一范围则图像相同画面部分太小，亦可以假定不同内容幅面小于1/4，这在绝大多数情况下是适宜的。

算法设计思想说明：

第1阶段的作用：分析提取非边缘位置且具有一定灰度比值的参考图像子块是基于待配准的两幅图像可能存在同一目标对象相对角度偏移和位置位移及图像子块配准的有效性考虑的，由于图像子块只有全幅图像的几十分之一的幅面，基于图像子块的配准模式可以极大的加快图像配准速度。

第2阶段双重循环的作用：由于预先无法预测哪个参考图像子块更适宜图像配准，算法优选了具有相对丰富灰度层次的参考图像子块参与图像配准，同时设计了最低图像子块互相关系数门限值，目的是快速过滤那些配准质量不高的参考图像子块和测试图像子块，用以加快图像配准速度。外循环决定基于当前的参考图像子块是否实现了图像配准，若无，则选择下一参考图像子块，继续进行新一轮的图像配准；反之，则完成图像配准。内循环以先粗略后精细的模式确定对应于某一参考图像子块的最佳配准图像子块参数。

第3阶段的作用。本阶段综合分析运用第2阶段得出的最佳配准图像子块参数，计算提取两幅图像的最大相同画面。

本发明提供的一种基于图像子块参数的快速图像配准方法，与现有技术中传统的基于灰度的图像配准方法，有着独特的技术优点，具体表现是：(1)虽然人们意识到选择图像子块进行图像配准可以提高配准速度，却没有提出一种有效的图像子块优选方法。我们提出并设计的统计参考图像子块灰度比值，按照灰度比值大小排序的参考图像子块选择方法，选出的是灰度信息丰富、层次感强的参考图像子块，有助于提高配准质量。(2)算法建立的以参考图像子块作为外循环、并在外循环中嵌套两个分别承担粗略和精细测试图像旋转角度匹配的内循环模块及一个精细像素位置搜索模块的搜索模式，既保证图像配准的快速，又不失图像配准的精准性。这三个模块的共同作用，完成快速图像配准，并给出最佳配准图像子块参数；其中，最佳配准图像子块参数是指测试图像旋转角度和配准测试图像子块位置参数。这个算法适用于具有大角度旋转、大范围位移及画面内容不同的两幅及多幅图像配准。(3)本方法是建立在计算互相关系数最大值上的图像配准，能够显著地抵消局部图像一致性灰度差异对图像配准的影响。(4)综合分析运用最佳配准图像子块参数，能够提取两幅图像的最大相同画面。

本发明提供的一种基于图像子块参数的快速图像配准方法属于基于灰度的图像配准方法类，该方法极大地改善了传统的基于灰度的图像配准方法存在的对图像灰度变化、物体旋转、目标遮挡等因素的敏感问题，实现了快速精确的图像配准。

进一步地，基于图像子块参数的快速图像配准算法实现步骤：

101、输入参考图像和测试图像，输入预定义参数组，将彩色图像转换为灰度图像。

预定义参数及作用描述：

每幅图像行、列划分的子块数，子块数的划分应根据图像的幅面大小(分辨率)来决定，如对于704×576图像，可采取行、列均分为8个子块的模式，则图像子块为88×72；对于1280×720图像，例如行、列均分为10个子块，则图像子块为128×72。实际配准中，图像子块应大小适中，太小配准速度快，缺点是图像子块信息不够丰富，一次配准精度差，太大则恰相反。

灰度值量化参数与灰度比值范围参数。用于统计每个参考图像子块中小于该数值的像素数。选择符合该灰度比值范围的参考图像子块进行配准。

粗像素位移增量，用于选择性提取测试图像子块，进行图像子块粗配准，以便快速确定配准测试图像子块的大致位置。

测试图像旋转角度范围及粗角度增量。鉴于两幅图像之间可能存在相对图像旋转，需要定义一个合理的图像旋转角度范围，以便覆盖实际应用，如球机的相邻预置点之间存在相对角度旋转。所谓粗角度增量是指大于1°的角度，用于快速捕捉配准测试图像子块的大致旋转角度。

粗略、精细配准互相关系数最低门限值。粗配准互相关系数值用于判定对应某一参考图像子块的测试图像子块是否符合最低配准要求，并记录满足该条件的具有最大互相关系数值的测试图像子块旋转角度和位置参数。精细配准互相关系数值决定基于选择的参考图像子块是否完成了图像配准，大于该数值表明图像子块配准已完成，配准过程结束。

102、获取图像的幅面参数，按照预定义参数，将图像划分为若干个图像子块，计算图像子块的行列像素数。

即获取全幅图像行列像素数M、N，图像子块行列像素数m、n，用于图像配准。实际应用中，全幅图像行列的子块数可以选择相同或者不同。

103、分析参考图像中符合预定义参数灰度比值范围的非边缘图像子块，按照灰度比值从小到大排序，构成参考图像子块序列。

为了加快图像配准速度，算法选择并排序了那些符合某一灰度比值范围的所有参考图像子块，这类参考图像子块具有更为丰富的灰度层次，可以减少图像配准时间。

104、顺序提取参考图像子块。

步骤103完成了参考图像子块的选择和排序，这里依照灰度比值从小到大的顺序提取参考图像子块，作为参与配准的候选参考图像子块。

105、按照预定的粗旋转角度序列值顺序旋转测试图像。

以测试图像中心点为坐标原点，负值向左、正值向右旋转至给定的角度值。旋转后，新生图像中的对应于原来矩形画面中没有像素定义的区域用0填充。

算法中针对每个粗旋转角度只进行一次旋转，并在其上提取多个测试图像子块进行配准，目的是减少总的图像配准时间。

106、以测试图像左上角位置为起点，按照从左到右、从上到下的顺序及预定义参数组中的粗像素位置增量提取测试图像子块，计算参考图像子块与测试图像子块的互相关系数值，若同一位置起点的小、大子块的互相关系数值均大于预定义参数组中的门限值，则记录该测试图像的旋转角度、图像子块行列位置参数和互相关系数值。该步骤结束时记录的是某个旋转角度下具有最大互相关系数值的测试图像子块粗行列位置参数和互相关系数值。

在这个步骤中，设计了双重验证模式，即仅当同一测试位置起点的小、大子块的互相关系数均大于门限值时，才记录该测试子块对应的旋转角度、位置参数和互相关系数值。大图像子块具有4倍于图像子块的幅面，目的是深度检测测试图像子块的配准质量。理论上，图像幅面越大，误配的可能性越小。

对应于每个粗旋转测试图像，逐个按照粗像素位移增量提取测试图像子块，计算该子块与步骤104的参考图像子块的互相关系数值，筛选记录这其中具有最大互相关系数值的测试图像旋转角度、测试图像子块位置参数和互相关系数值。

所述图像子块配准参数计算公式：

公式中，i^*、j^*为最佳配准位置参数，表示对应于该位置参数的测试图像旋转角度α、参考图像子块r的最佳测试图像子块互相关系数值。

这里，采用互相关系数值作为图像子块的配准准则，是因为该准则较之其他配准准则更适应图像子块整体的灰度差异，也就是说，一致性的灰度差异不会影响图像子块的配准精度。

107、跳转到步骤105，直至遍历所有粗旋转角度序列值。该步骤结束时记录的是具有最大互相关系数值的测试图像子块粗旋转角度、粗行列位置参数和互相关系数值。

所述图像子块配准参数计算公式：

式中，α^*、i^*、j^*分别为最佳测试图像配准角度和配准测试图像子块位置参数，表示对应于该测试图像旋转角度和配准测试图像子块位置参数的参考图像子块r的最佳配准测试图像子块互相关系数值。

108、以步骤107的粗旋转角度为中心，以粗旋转角度增量为半径，以1°为单位，搜索确定最佳配准时的测试图像旋转角度、测试图像子块行列位置参数及两个图像子块的互相关系数值。该旋转角度即为对应于步骤104指定的参考图像子块的测试图像精细旋转角度。

公式(3)给出的是测试图像子块粗配准位置参数，这里以这些参数为中心，进行以1°为角度单位的精细角度配准位置搜索，确定最佳配准测试图像旋转角度。

109、检测步骤108给出的互相关系数值是否大于预定义参数组中的门限值，若大于该门限值，表明基于该参考图像子块已经实现了图像配准，进入步骤110。否则，返回步骤104，选择下一个参考图像子块，进行新一轮的图像配准。

这一步主要是检测基于步骤104提取的参考图像子块是否完成了图像配准，如果完成，则不再进行其他参考图像子块配准。否则，依照顺序提取下一个参考图像子块，继续进行图像配准。

110、在步骤108参数的基础上，以粗像素行列位置为中心，以粗像素位置增量为半径，以像素为单位，搜索确定最佳测试图像子块配准像素位置。该步骤结束后，输出最佳配准位置参数组(测试图像旋转角度，配准测试图像子块位置参数)。

这是精细图像配准过程的继续。步骤107给出了图像最佳粗配准位置参数，步骤108完成了精细图像旋转角度配准，这里进行的是以i^*、j^*为中心、以1个像素为搜索单位的精细图像平移位置配准，完成后，生成测试图像子块最佳配准位置参数

111、综合分析最佳配准位置参数，计算对应于最大相同画面的上、下、左、右行列像素位置点，提取相同画面图像。

计算相同画面图像的行列像素位置的方法在前面已经给出，这里不再闲叙。需要说明的是应当将图像旋转角度和相对位置参数结合起来，而不是每个参数的单独画面提取，否则不能得到最大幅度的相同画面图像。

上述处理过程中，计算每个参考图像子块中灰度值小于75的像素数与图像子块的总像素数的比值，并设定灰度比值范围是0.35～0.55，符合该范围要求的参考图像子块作为候选参考图像子块。

图像旋转以全幅测试图像中心点为原点进行旋转，负角度向左旋转，正角度向右旋转。

上述处理过程中，设定粗旋转角度增量为2°，粗像素位置增量为15。这两个参数综合作用，使得该算法的理论配准时间是逐单位配准模式的1/450，考虑到后续的精细配准过程仍然开销一点时间，实际图像配准时间大于该理论值。

上述处理过程中，步骤106设定的互相关系数门限值为0.75。步骤109中设定的互相关系数门限值为0.80。

计算图像配准后的最大相同画面的方法：

假定M、N分别是图像以像素为计量单位的行、列值，则测试图像因旋转α角度而需要切割的最大行、列数是：

$r_{\mathrm{\α}}=\left|\mathrm{int}\left(\frac{N}{2}\sin \left(\frac{2\mathrm{\π\α}}{360}\right)\right)\right|,c_{\mathrm{\α}}=\left|\mathrm{int}\left(\frac{M}{2}\sin \left(\frac{2\mathrm{\π\α}}{360}\right)\right)\right|$

根据步骤110给出的测试图像子块位置参数，计算配准时测试图像子块相对于参考图像子块的像素位移值。不失一般性，假定相对行、列位移值分别是r_m、c_m，则参考图像和测试图像相同画面所对应的像素行、列位置是：

参考图像行起止位置：

$\left\{\begin{array}{cc}{r}_{\mathrm{\&alpha;}}+r_m+1:M-r_{\mathrm{\&alpha;}};& r_m\&GreaterEqual;0\\ r_{\mathrm{\&alpha;}}+r_m+1:M-r_{\mathrm{\&alpha;}}+r_m& r_m<0,r_{\mathrm{\&alpha;}}>\left|r_m\right|\\ 1:M-r_{\mathrm{\&alpha;}}+r_m;& r_m<0,r_{\mathrm{\&alpha;}}\&le;\left|r_m\right|\end{array}\right.$

参考图像列起止位置：

$\left\{\begin{array}{cc}{c}_{\mathrm{\&alpha;}}+c_m+1:N-c_{\mathrm{\&alpha;}};& c_m\&GreaterEqual;0\\ c_{\mathrm{\&alpha;}}+c_m+1:N-c_{\mathrm{\&alpha;}}+c_m& c_m<0,c_{\mathrm{\&alpha;}}>\left|c_m\right|\\ 1:N-c_{\mathrm{\&alpha;}}+c_m;& c_m<0,c_{\mathrm{\&alpha;}}\&le;\left|c_m\right|\end{array}\right.$

测试图像行起止位置：

$\left\{\begin{array}{cc}{r}_{\mathrm{\&alpha;}}+1:M-r_{\mathrm{\&alpha;}}-r_m;& r_m\&GreaterEqual;0\\ r_{\mathrm{\&alpha;}}+1:M-r_{\mathrm{\&alpha;}};& r_m<0,r_{\mathrm{\&alpha;}}>\left|r_m\right|\\ 1-r_{\mathrm{\&alpha;}}:M-r_{\mathrm{\&alpha;}};& r_m<0,r_{\mathrm{\&alpha;}}\&le;\left|r_m\right|\end{array}\right.$

测试图像列起止位置：

$\left\{\begin{array}{cc}{c}_{\mathrm{\&alpha;}}+1:N-c_{\mathrm{\&alpha;}}-c_m;& c_m\&GreaterEqual;0\\ c_{\mathrm{\&alpha;}}+1:N-c_{\mathrm{\&alpha;}};& c_m<0,c_{\mathrm{\&alpha;}}>\left|c_m\right|\\ 1-c_{\mathrm{\&alpha;}}:N-c_{\mathrm{\&alpha;}};& c_m<0,c_{\mathrm{\&alpha;}}\&le;\left|c_m\right|\end{array}\right.$

按照这里给出的像素行列位置提取的图像即为配准后的图像。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于图像子块参数的快速图像配准方法，用于至少两幅图像或两帧视频图像内容的分析，其特征在于，包括：

选择一个参考图像子块作为外循环，并在所述外循环中嵌套两个内循环模块及一个精细像素位置搜索模块；其中，所述两个内循环模块分别进行粗略和精细测试图像旋转角度配准搜索；两个所述内循环模块和所述精细像素位置搜索模块共同作用完成快速图像配准，并给出最佳配准图像子块参数；其中，所述最佳配准图像子块参数包括测试图像旋转角度和配准测试图像子块位置参数；根据所述最佳配准图像子块参数，计算和提取两幅图像的最大相同画面，所述画面即为配准图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据图像幅度和预定义参数组，自动将预设的参考图像划分为若干图像子块；统计所有所述参考图像子块的灰度分布，并从中选择符合预定灰度比值范围的非边缘图像子块；将按照灰度比值从小到大的顺序排列的所述非边缘图像子块，作为参与配准的候选参考图像子块。

3.如权利要求1所述的方法，其特征在于，所述最佳图像子块配准参数计算公式是：

式中，R、T分别表示参考图像子块和测试图像子块；是图像子块像素平均值；m、n是图像子块的行列像素数；α^*、i^*、j^*分别为最佳配准测试图像旋转角度和配准测试图像子块位置参数；表示对应于所述测试图像旋转角度和所述配准测试图像位置参数的参考图像子块r的最佳配准测试图像子块互相关系数值。