CN109934858A - 图像配准方法及装置 - Google Patents

Abstract

本申请涉及图像配准技术领域，提供一种图像配准方法及装置。其中，图像配准方法包括：确定多个由待配准图像中的点以及模板图像中的点构成的点对；根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从确定的多个点对中选择预设数量的点对，根据选择出的点对确定从待配准图像到模板图像的第一变换，并根据第一变换确定本次运算的特征点对集；在确定特征点对集的运算因满足运算终止条件而结束后，根据第一配准结果集对应的第二变换将待配准图像映射到模板图像所在的平面。该图像配准方法有利于提高图像配准的精度以及效率，增强图像配准的实用性。

Description

图像配准方法及装置

技术领域

本申请涉及图像配准领域，具体而言，涉及一种图像配准方法及装置。

背景技术

图像配准是图像处理研究领域中的一个典型问题，其目的在于比较或融合针对相同对象在不同条件下(例如不同的采集设备、时间、拍摄角度)获取的图像。通常意义上的图像配准是指对于两幅图像，通过寻找一种变换把其中一幅图像映射到另一幅图像所在的平面，从而使得两幅图像中对应于空间同一位置的点一一对应起来，进而达到信息融合的目的。然而，现有的图像配准方法配准精度较低。

发明内容

有鉴于此，本申请实施例提供一种图像配准方法及装置，通过执行至少一次确定特征点对集的运算，并根据获得的特征点对集进一步确定图像配准要使用的变换，在每次执行确定特征点对集的运算时，各个点对被选中的概率被设置为与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，这意味着对应于实际对象中同一点的点对更有可能被选中，从而有利于改善图像配准的精度。为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种图像配准方法，包括：确定多个由待配准图像中的点以及模板图像中的点构成的点对；根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；在确定特征点对集的运算因满足运算终止条件而结束后，根据第一配准结果集对应的第二变换将所述待配准图像映射到所述模板图像所在的平面，其中，所述第一配准结果集为运算确定的特征点对集中满足第一筛选条件的特征点对集。

上述方法通过执行至少一次确定特征点对集的运算，并根据获得的特征点对集进一步确定图像配准要使用的第二变换，在每次执行确定特征点对集的运算时，都会从全部的点对中选择预设数量的点对，并根据选出的点对确定第一变换，进一步根据第一变换确定本次运算的特征点对集。

在每次运算选择点对时，各点对被选中的概率并不一定是完全相同的，而是与点对中的两个点在各自图像中的上下文信息之间的相似程度正相关。一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息，即对点在图像中所处的环境的一种描述，若两个点的上下文信息的相似程度越高，表明这两个点越有可能对应实际对象中的同一点，赋予这两个点构成的点对更高的被选中的概率，在后文中，为方便阐述，也将对应于实际对象中同一点的点对称为正确的点对，否则称为错误的点对。

基于这样的被选中概率，每次运算时选择出的点对更有可能是正确的点对，而错误的点对在每次运算时被选中的概率较小，因此根据选择出的点对计算出的第一变换更有可能是配准效果较好的变换，从而根据第一变换确定的每次运算的特征点对集中可能包含更多的点对。进一步的，第一配准结果集是从每次运算确定的特征点对集中筛选出来的，从而第一配准结果集中也包含较多的点对，或者说与其对应的第二变换是较多的点对所体现出的变换，能够实现较多的点对的有效配准，从而有利于提高图像配准的精度。

同时，确定特征点对集的运算是重复执行的，每执行一次就会获得一个特征点对集，执行该运算的次数越多，意味着第一配准结果集的筛选范围越大，可能获得更好的筛选结果，当然运算量也会增大。但由于上述方法获得的特征点对集中很可能包含较多的点对，因此并不需要太多的重复运算次数就能够筛选到合适的第一配准结果集，有利于降低图像配准的运算量，改善图像配准方法的实用性。

在第一方面的一些实施例中，所述运算终止条件包括运算次数已经达到预设次数，所述第一筛选条件包括特征点对集中包含的点对的数量最多。

对于一幅模板图像和一幅待配准图像，由于点对的总数量固定，因此某次运算确定的特征点对集中点对数量越多，表明该次运算确定的特征点对集中的点对能够更有效地代表全部的点对，从而按照上述方式实现第一筛选条件有利于改善图像配准的精度。

此外，在阐述第一方面时已经分析，由于每次运算确定的特征点对集中很可能已经包含较多的点对，因此预设次数无需设置得太高，就能够筛选出点对数量足够多的第一配准结果集，图像配准过程效率较高。

在第一方面的一些实施例中，所述运算终止条件包括最近的一次运算确定的特征点对集已经满足所述第一筛选条件，所述第一筛选条件包括特征点对集中包含的点对的数量占点对的总数量的比例达到预设比例，和/或，特征点对集中包含的点对的数量达到预设数量。

这些实施例并不采用固定的运算次数，而是找到满足第一筛选条件的特征点对集立即终止运算，同时将最后一次运算确定的特征点对集确定为第一配准结果集。在能够明确对特征点对集中的点对的数量要求的情况下，这些实施例能够进一步提高图像配准的效率。

此外，在阐述第一方面时已经分析，由于每次运算确定的特征点对集中很可能已经包含较多的点对，因此重复运算次数无需太多，就可以找到满足第一筛选条件的特征点对集，即确定特征点对集的运算将在较短时间内终止。

在第一方面的一些实施例中，所述根据所述第一变换确定本次运算的特征点对集，包括：将所述多个点对中符合所述第一变换的点对构成的集合确定为本次运算的特征点对集；其中，所述第一配准结果集对应的第二变换为所述第一配准结果集对应的第一变换。

在这些实施例中，可以直接将第一变换作为第二变换，实施起来比较简单。

在第一方面的一些实施例中，将所述多个点对中符合所述第一变换的点对构成的集合确定为本次运算的特征点对集，包括：根据所述第一变换将所述多个点对中属于所述待配准图像中的点映射到所述模板图像所在的平面；计算每个映射后的点与对应的点对中属于所述模板图像中的点的距离，若所述距离小于预设距离，则将所述映射后的点所对应的点对确定为一个符合所述第一变换的点对，其中，所述映射后的点所对应的点对是指所述映射后的点在进行映射前所在的点对；将全部的符合所述第一变换的点对构成的集合确定为本次运算的特征点对集。

在这些实施例中，尽管第一变换是根据选择出的点对计算的，但选择出的点对并不一定都是符合第一变换的，所以全部的点对都要参与映射，并进一步判断是否符合第一变换。

在第一方面的一些实施例中，所述根据所述第一变换确定本次运算的特征点对集，包括：根据所述多个点对中符合所述第一变换的点对确定从所述待配准图像到所述模板图像的第二变换；将所述多个点对中符合所述第二变换的点对构成的集合确定为所述本次运算的特征点对集。

在这些实施例中，由于第一变换并不是根据符合第一变换的点对计算的，所以对于符合第一变换的点对，还可以再计算第二变换，然后再将多个点对中符合第二变换的点对构成的集合确定为本次运算的特征点对集。这样实施起来稍微复杂一些，但这些实施例中的第二变换相较于第一变换，可能是根据更多的点对计算的，因此对于图像配准来说可能是更好的变换，而每次运算确定的特征点对集中也可能包含更多的点对，从而最终的第一配准结果集中也可能包含更多的点对，有利于改善图像配准的精度以及执行效率。

在第一方面的一些实施例中，所述确定多个由待配准图像中的点以及模板图像中的点构成的点对，包括：根据所述待配准图像中的点以及所述模板图像中的点在各自图像中的上下文信息之间的相似程度，确定多个由所述待配准图像中的点以及所述模板图像中的点构成的点对。

在这些实施例中，根据图像中各点的上下文信息之间的相似程度确定点对，有利于避免错误的点对参与配准，改善图像配准的精度，同时由于点对数量的减少，也提高了图像配准的效率。

在第一方面的一些实施例中，所述确定多个由待配准图像中的点以及模板图像中的点构成的点对，包括：检测所述待配准图像以及所述模板图像中的文字，所述待配准图像中每个检测到文字对应一个所述待配准图像中的点，所述模板图像中每个检测到文字对应一个所述模板图像中的点；对检测到的文字进行识别，并获取文字识别过程中提取的文字的特征；若所述待配准图像中一个检测到的文字的特征与所述模板图像中的一个检测到的文字的特征的相似程度达到第一预设程度，则将两个检测到的文字在各自图像中对应的点确定为一个点对。

根据文字的特征确定点对首先具有较高的精确性，因为文字相对于图像的其他特征来说是较为明显和直观的。其次具有良好的鲁棒性，文字的特征是根据文字识别算法获得的，对于良好的文字识别算法，其提取的特征主要表征文字的语义，与文字的颜色、纹理、字体等并没有很强的关联，因此也不容易受这些因素的影响，从而能够获得较高质量的点对。另一方面，实际中的图像，文字数量一般不会太多，因此点对的数量也不会太多，图像配准的运算量也不会太大。

在第一方面的一些实施例中，一个检测到的文字在图像中对应的点是指所述文字在所述图像中的检测框的中心点。

文字在检测后会生成一个包含该文字的检测框作为检测结果，该检测框能够表征文字的位置，因此将其中心点作为检测到的文字在图像中对应的点是合适的。

在第一方面的一些实施例中，所述检测所述待配准图像以及所述模板图像中的文字，包括：对所述待配准图像和/或所述模板图像进行尺度缩放；对进行了尺度缩放的图像，在尺度缩放后的图像中进行文字检测；对未进行尺度缩放的图像，在原始图像中进行文字检测。

一些文字检测方法对图像分辨率并不敏感，因此在采用这些方法进行文字检测时，可以根据具体需求对原始图像进行尺度缩放后再进行文字检测。根据实际情况，可以对待配准图像和模板图像中的一个进行尺度缩放，也可以对两个图像都进行尺度缩放，当然也可以都不进行尺度缩放。

在第一方面的一些实施例中，检测到的文字在图像中对应的点的上下文信息，包括：在图像中该点附近的区域内检测到的其他文字的特征。

在该区域内检测到的其他文字的特征决定了该区域内还有哪些字，属于对检测到的文字在图像中所处环境的一种描述，因此适合作为检测到的文字在图像中对应的点的上下文信息。同时，文字的特征具有较好的鲁棒性。

在第一方面的一些实施例中，检测到的文字在图像中对应的点的上下文信息，还包括：在图像中该点附近的区域内检测到的其他文字的位置分布。

在该区域内检测到的其他文字的位置分布决定了这些字之间、以及这些字和当前检测到的文字之间的相对位置关系，将其包括在上下文信息中，可以提高当前检测到的文字在图像中对应的点的上下文信息的精确程度。

第二方面，本申请实施例提供一种图像配准方法，包括：针对多个模板图像中的每个模板图像，确定多个由待配准图像中的点以及所述模板图像中的点构成的点对；根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；在确定特征点对集的运算因满足运算终止条件而结束后，将运算确定的特征点对集中满足第一筛选条件的特征点对集确定为所述模板图像对应的第一配准结果集；确定所述多个模板图像对应的第一配准结果集中满足第二筛选条件的第二配准结果集，并根据所述第二配准结果集对应的第二变换将所述待配准图像映射到所述第二配准结果集对应的模板图像所在的平面。

第二方面提供的图像配准方法可以视为将第一方面提供的图像配准方法应用于多个模板图像上的情况，筛选出第二配准结果集的过程实际上也是筛选出一个匹配于待配准图像的模板图像的过程，在事先不清楚待配准图像对应哪个模板图像时，第二方面提供的图像配准方法使用起来较为方法。

此外，在阐述第一方面时已经分析，上述图像配准方法执行效率较高，因此可以应用于多个模板图像的场景中，不会像现有技术中一样由于图像配准效率低下而只能用于单模版图像的场景。

同时，由于在每次运算选择点对时，利用了点对中的点的上下文相关信息，因此更有利于区分正确的点对与错误的点对，将正确的点对尽可能包含在每次运算确定的特征点对集之中，将错误的点对尽可能排除在每次运算确定的特征点对集之外，进而能够有效区分不同的模板图像与待配准图像的匹配程度(匹配程度越高的模板图像与待配准图像之间应当具有更多正确的点对)，以使图像配准方法适于在多个模板图像的场景中应用，不至于出现多个模板同时匹配上的情况。

在第二方面的一些实施例中，第二筛选条件包括第一配准结果集中包含的点对的数量最多，或，第一配准结果集中包含的点对的数量占该第一配准结果集对应模板的图像与所述待配准图像之间的点对的总数量的比例最高。

不论是第一配准结果集中包含的点对的数量最多，还是第一配准结果集中包含的点对的数量占该第一配准结果集对应的模板图像与待配准图像之间的点对的总数量的比例最高，在某种意义上都能够表征第一配准结果集中包括更多的点对，因此可以将这两个条件分别作为或者结合以后作为第二筛选条件，以使筛选出的第二配准结果集是最优的，或者说找到与待配准图像最匹配的模板图像。

第三方面，本申请实施例提供一种图像配准装置，包括：点对获取模块，用于确定多个由待配准图像中的点以及模板图像中的点构成的点对；特征点对集确定模块，用于根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；图像配准模块，用于在确定特征点对集的运算因满足运算终止条件而结束后，根据第一配准结果集对应的第二变换将所述待配准图像映射到所述模板图像所在的平面，其中，所述第一配准结果集为运算确定的特征点对集中满足第一筛选条件的特征点对集。

第四方面，本申请实施例提供一种图像配准装置，包括：点对获取模块，用于针对多个模板图像中的每个模板图像，确定多个由待配准图像中的点以及所述模板图像中的点构成的点对；特征点对集确定模块，用于根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；第一配准结果集确定模块，用于在确定特征点对集的运算因满足运算终止条件而结束后，将运算确定的特征点对集中满足第一筛选条件的特征点对集确定为所述模板图像对应的第一配准结果集；图像配准模块，用于确定所述多个模板图像对应的第一配准结果集中满足第二筛选条件的第二配准结果集，并根据所述第二配准结果集对应的第二变换将所述待配准图像映射到所述第二配准结果集对应的模板图像所在的平面。

第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行第一方面、第二方面或两方面的任意一个可能的实施例提供的方法的步骤。

第六方面，本申请实施例提供一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面、第二方面或两方面的任意一个可能的实施例提供的方法的步骤。

为使本申请的上述目的、技术方案和有益效果能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种图像配准方法的流程图；

图2(A)至图2(B)示出了本申请实施例提供的点对的示意图；

图3示出了本申请实施例提供的另一种图像配准方法的流程图；

图4示出了本申请实施例提供的一种图像配准装置的功能模块图；

图5示出了本申请实施例提供的另一种图像配准装置的功能模块图；

图6示出了一种可应用于本申请实施例中的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1示出了本申请实施例提供的一种图像配准方法的流程图。

参照图1，该方法包括：

步骤S10：确定多个由待配准图像中的点以及模板图像中的点构成的点对。

模板图像是指图像配准时事先确定的作为参考的图像，例如包含水平放置的身份证的图像。待配准图像可以是在执行图像配准任务时获取到的图像，例如倾斜放置的身份证的图像。在理想的情况下，模板图像与待配准图像应当包含相同的对象，如上面例子中的身份证。

将模板图像记为P，待配准图像记为Q，图像配准的目的是寻找一个空间变换T，将Q映射到P所在平面上，即满足Q’＝TQ，其中Q’为Q映射后的图像，T可以记为矩阵的形式，因此也称为变换矩阵。若T是一个对于图像配准来说较好的变换，Q’应当尽可能与P一致，或者说配准前P和Q中对应于对象上的同一点在配准后应当尽可能重叠。需要指出，上面仅仅是一种比较简单的情况，图像配准的空间变换还可能具有更复杂的形式，不再列举。

在能够事先获知待配准图像的内容的前提下，可以选择与待配准图像包含相同对象的模板图像，当然有时并不能事先获知待配准图像的内容，因此可能出现模板图像与待配准图像难以配准的情况。此时，也可以将多个模板图像作为候选的模板图像，将待配准图像与这些模板图像逐一尝试配准，关于多个模板图像的情况，在步骤S20至步骤S26中再阐述，步骤S10至步骤S14只针对一个模板图像的情况。

无论是待配准图像中的点还是模板图像中的点，都可以表示为图像中的一个坐标，两幅图像中分别选取一个点可以构成一个点对，这两个点在某种选择点对的准则下被认为对应于实际对象中的同一点。当然每个点对中的两个点实际上并不一定对应于实际对象中的同一点，因此存在正确的点对和错误的点对。选择点对的准则不作限定，例如可以根据两幅图像中相似的局部特征选择点对，这样的特征可以是颜色、纹理或者图像中包含的文字的特征等。

还需要指出，图像中的一个点可以同时存在于多个不同的点对中，因为根据点对的定义，其表示的只是可能具有对应关系的两个点，因此一幅图像中的某个点可能对应于另一幅图像中的多个点。

若某个待配准图像和模板图像之间无法获取到点对或者只能获取到数量非常少的点对(趋近于0)时，说明两者很可能并未包含相同的对象，不能实现图像配准。

步骤S11：从确定的多个点对中选择预设数量的点对，并根据选择出的点对确定从待配准图像到模板图像的第一变换。

步骤S11至步骤S13是一个确定特征点对集的运算过程，该运算过程可以多次重复执行，至少会执行一次，如可以实现为一段循环执行的程序，由循环条件进行控制。特征点对集是步骤S10中获得的全部点对所构成的集合的一个子集。在步骤S11中，一个点对从步骤S10中确定的多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，或者说并非完全随机地选择点对(完全随机的选择点对，每个点对被选中的概率相同)。需要指出，每执行一次确定特征点对集的运算，点对都会重新选择，和之前任意一次执行步骤S11时点对的选择结果无关。

其中，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息，例如，可以是该区域中的图像的颜色、纹理或者包含的文字的信息，这些信息可以进行量化的表示。图像中某个点附近的区域可以是包含该点的(例如，以该点为中心)的一个矩形区域，矩形区域的边长可以是固定的，也可以随图像的分辨率的大小而相应地调整，例如，若模板图像分辨率较小，而待配准图像分辨率较大，则模板图像中对应于某个点的相关信息的区域的边长可以定义得小一些，待配准图像中对应于某个点的相关信息的区域的边长可以定义得大一些。

在一些实现方式中，可以根据量化表示的上下文信息计算相似程度，然后根据计算出的相似程度为每个点对分配被选中的概率。在另一些实现方式中，可以直接根据量化表示的上下文信息计算每个点对被选中的概率，该概率表征了上下文信息之间的相似程度。

第一变换根据选中的点对进行计算，具体的计算方式与第一变换的形式有关，以第一变换为之前提到的矩阵T(满足Q’＝TQ)的情况为例进行说明，很多情况下在图像配准之前，能够获得关于第一变换的类型的一些先验知识，从而能够根据这些先验知识计算第一变换对应的变换矩阵T。例如，若已知待配准图像到模板图像符合透视变换，则变换矩阵可以通过寻找单应性矩阵的方法计算。在一些现有的计算机视觉库，例如OpenCV中，已经提供了如findHomography这样的函数来计算单应性矩阵，在实施时可以直接采用，调用该函数时将步骤S11选择出的点对中属于待配准图像的点和属于模板图像的点作为参数传入即可。

步骤S12：根据第一变换确定本次运算的特征点对集。

每次确定特征点对集的运算都会产生一个特征点对集，至少一次重复执行该运算过程共产生至少一个特征点对集，关于步骤S12，将与步骤S14共同阐述。

步骤S13：判断是否满足运算终止条件。

可以根据具体需求设置不同的运算终止条件，例如，重复执行的运算次数已经达到预设次数等等，后文还会进步一介绍。若不满足运算终止条件，则回到步骤S11开始下一次确定特征点对集的运算，若满足运算终止条件，则执行步骤S14。

步骤S14：根据第一配准结果集对应的第二变换将待配准图像映射到模板图像所在的平面。

步骤S14中的第一配准结果集是指进行至少一次确定特征点对集的运算后所确定出的特征点对集中满足第一筛选条件的特征点对集。可以根据具体需求设置不同的第一筛选条件，例如，和特征点对集中的点对的数量相关的条件等等，后文还会进步一介绍。

关于第一配准结果集对应的第二变换的获取方式，下面结合步骤S12中每次运算时特征点对集的生成方式进行介绍。

实现方式之一，在步骤S12中将步骤S10确定的多个点对中符合第一变换的点对构成的集合确定为本次运算的特征点对集，而在步骤S14中第一配准结果集对应的第二变换就是第一配准结果集对应的第一变换。

其中，一个点对符合第一变换，可以定义为该点对中位于待配准图像中的点经第一变换映射到模板图像所在的平面后，能够与该点对中位于模板图像上的点重叠或者近似重叠。在这种定义方式下，可以通过如下方法确定多个点对中符合第一变换的点对：

首先，根据第一变换将多个点对中属于待配准图像中的点映射到模板图像所在的平面。然后，计算每个映射后的点与对应的点对中属于模板图像中的点的距离，若计算出的距离小于预设距离，则认为映射后的点与模板图像中的点重叠或者近似重叠，进而将映射后的点所对应的点对确定为一个符合第一变换的点对，其中，映射后的点所对应的点对是指映射后的点在进行映射前所在的点对。对每个映射后的点都进行完上述关于预设距离的判断后，就可以确定本次运算的特征点对集。

需要指出，尽管第一变换是根据步骤S12中选择出的点对计算的，但选择出的点对并不一定都是符合第一变换的，所以在上面根据第一变换进行映射时，全部的点对都要判断是否符合第一变换，包括步骤S12中选择出的点对，以获得准确的判断结果。

实现方式之二，在步骤S12中根据步骤S10确定的多个点对中符合第一变换的点对确定从待配准图像到模板图像的第二变换，然后将多个点对中符合第二变换的点对构成的集合确定为本次运算的特征点对集，在步骤S14中，由于第一配准结果集就是某次运算确定的特征点对集，因此第一配准结果集对应的第二变换就是该次运算时用于确定特征点对集的第二变换，这个第二变换在运算过程中已经计算好，在步骤S14中可以直接获取。

由于第一变换并不是根据符合第一变换的点对计算的，而是根据每次运算时选出的点对计算的，所以对于符合第一变换的点对，还可以再根据其计算第二变换，然后再将多个点对中符合第二变换的点对构成的集合确定为本次运算的特征点对集，第二变换的计算方法，可以采用和第一变换相同的计算方法，而判断多个点对中哪些符合第二变换，也可以采用和判断多个点对中哪些符合第一变换相同的方法，均不再重复阐述。

实现方式之三，在步骤S12中将步骤S10确定的多个点对中符合第一变换的点对构成的集合确定为本次运算的特征点对集，而在步骤S14中第一配准结果集对应的第二变换是在确定特征点对集的运算结束后，根据第一配准结果集中的点对进行计算的。

实现方式之四，在步骤S12中将步骤S10确定的多个点对中符合第一变换的点对构成的集合确定为本次运算的特征点对集，同时根据本次运算确定的特征点对集中的点对计算本次运算确定的特征点对集对应的第二变换，而在步骤S14中，由于第一配准结果集就是某次运算确定的特征点对集，因此第一配准结果集对应的第二变换就是该次运算确定的特征点对集对应的第二变换，这个第二变换在确定特征点对集的运算过程中已经计算好，在步骤S14中可以直接获取。

实现方式之一比较简单，每次运算只需要计算一个空间变换(第一变换)即可，因此具有较高的执行效率。实现方式之二稍复杂一些，但其中的第二变换相较于第一变换，可能是根据更多的点对计算的，因此对于图像配准来说可能是更好的变换，而每次运算确定的特征点对集中也可能包含更多的点对，在后文中会指出，每次运算确定的特征点对集中包含较多的点对有利于改善图像配准的精度及执行效率。

实现方式之三和实现方式之四可以视为实现方式之一和实现方式之二的两种折中方案，不再详细解释。当然除了上述四种实现方式外，第二变换还可能有其他获取方式，不再列举。第二变换也就是图像配准要使用的变换，因此在获得第二变换后，可以根据第二变换将待配准图像映射到模板图像所在的平面，以完成图像配准。

上述图像配准方法的关键点之一在于每次运算选择点对时，各点对被选中的概率并不一定是完全相同的，而是与点对中的两个点在各自图像中的上下文信息之间的相似程度正相关。根据上下文信息的定义，一个点在图像中的上下文信息是对该点在图像中所处的环境的一种描述，若一个点对中的两个点的在各自图像中的上下文信息之间的相似程度越高，表明这两个点在各自图像中所处的环境越相似，因此越有可能对应实际对象中的同一点，或者说有较大的可能是正确的点对。

对有较大可能是正确点对的，赋予其更高的被选中的概率，对有较大可能是错误点对的，赋予其更低的被选中的概率。基于这样的概率分布，每次运算时选择出的点对更有可能是正确的点对，而不是错误的点对，因此根据选择出的点对计算出的第一变换更有可能是配准效果较好的变换。

在第一变换的配准效果较好时，一方面，根据第一变换确定的每次运算的特征点对集中可能包含更多的点对，例如，以上面的实现方式之一为例，若第一变换的效果越好，说明第一变换能够实现更多的点对的配准，从而运算确定的特征点对集中的点对的数量自然会更多。而第一配准结果集是从每次运算确定的特征点对集中筛选出来的，从而第一配准结果集中也包含较多的点对，或者说与其对应的第二变换是较多的点对所体现出的变换，能够实现较多的点对的有效配准，从而有利于提高图像配准的精度。另一方面，有利于将错误的点对排除在每次运算确定的特征点对集之外，避免其参与配准，影响配准结果的精度。

在上述方法中，由于每次执行确定特征点对集的运算都会产生一个特征点对集，因此重复运算的次数越多，产生的特征点对集就越多，意味着第一配准结果集的筛选范围越大，可能获得更好的筛选结果，当然运算量也会增大。但根据上面的分析，在本申请实施例提供的图像配准方法中，特征点对集中很可能包含较多的点对，因此并不需要太多的重复运算次数就能够筛选到合适的第一配准结果集，有利于降低图像配准的运算量。

在图像配准的精度和效率都得到提高后，图像配准方法的实用性也显著增强，可以适用于实际的图像配准任务。

在一些实施例中，步骤S13中的运算终止条件包括重复运算的次数已经达到预设次数，而步骤S14中的第一筛选条件包括特征点对集中包含的点对的数量最多，即在确定特征点对集的运算终止时选择包含点数数量最多的特征点对集作为第一配准结果集。

对于一幅模板图像和一幅待配准图像，由于点对的总数量固定，因此某次运算确定的特征点对集中点对数量越多，表明该次运算确定的特征点对集中的点对能够更有效地代表全部的点对，从而选择包含的点对的数量最多的特征点对集作为第一配准结果集，其对应的第二变换具有较好的图像配准效果，有利于改善图像配准的精度。

此外，根据之前的阐述，由于每次运算确定的特征点对集中很可能已经包含较多的点对，因此预设次数无需设置得太高，就能够筛选出点对数量足够多的第一配准结果集，图像配准过程效率较高。

在一些实施例中，步骤S13中的运算终止条件包括最近的一次运算确定的特征点对集已经满足第一筛选条件，而步骤S14中的第一筛选条件包括特征点对集中包含的点对的数量占点对的总数量的比例达到预设比例，和/或，特征点对集中包含的点对的数量达到预设数量。

这些实施例并不像之前的实施例中采用固定的运算次数，而是找到满足第一筛选条件的特征点对集立即终止重复运算过程，同时将最后一次运算确定的特征点对集确定为第一配准结果集。在能够明确对特征点对集中的点对的数量要求(比如下面说的达到预设比例、达到预设数量)的情况下，这些实施例能够进一步提高图像配准的效率。

不论是特征点对集中包含的点对的数量占点对的总数量的比例达到预设比例，还是特征点对集中包含的点对的数量达到预设数量，在某种意义上都能够表征特征点对集中已经包含了对于图像配准来说足够多的点对，因此可以将这两个条件分别作为或者结合以后作为第一筛选条件。

此外，根据之前的阐述，由于每次运算的特征点对集中很可能已经包含较多的点对，因此重复运算的次数无需太多，就可以找到满足第一筛选条件的特征点对集，即确定特征点对集的运算将在较短时间内终止。

在一些实施中，实施步骤S10时可以根据图像中各点的上下文信息之间的相似程度来确定点对。在一些实现方式中，可以先获得若干由待配准图像中的点以及模板图像中的点构成的点对，然后利用每个点对中的两个点在各自图像中的上下文信息之间的相似程度对点对进行过滤，例如设置某个相似程度的阈值，小于该阈值的就认为是错误的点对，将这样的点对过滤掉，最终获得步骤S10中的多个点对。在另一些实现方式中，可以在确定点对的同时就将各点在图像中的上下文信息之间的相似程度作为考虑的因素，直接获得步骤S10中的多个点对。

这些实施例能够在开始图像配准中的确定特征点对集的运算过程之前，根据上下文信息提前排除掉一些认为是错误的点对，避免错误的点对参与配准，改善图像配准的精度，同时由于点对数量的减少，也提高了图像配准的效率。

在一些实施例中，若图像中包含文字，在步骤S10中可以根据文字的特征确定点对。这样的应用场景是常见的，例如身份证图像、驾驶证图像、学生证图像的配准，因此这些实施例具有较高的实用价值。在这些实施例中，步骤S10可以进一步包括以下步骤：

步骤a：检测待配准图像以及模板图像中的文字。

可以采用，但不限于EAST、DDR(Deep Direct Regression)、CTPN(ConnectionistText Proposal Network)等方法进行文字检测。文字的检测结果可以是一个位于图像上的包含文字的检测框，可以将每个检测到的文字对应为图像上的一点，具体而言，待配准图像中每个检测到文字对应一个待配准图像中的点，模板图像中每个检测到文字对应一个模板图像中的点。在一些实现方式中，该点可以取检测框的中心点，用该点来表征检测到的文字并参与点对的确定过程。

一些文字检测方法对图像分辨率并不敏感，因此在采用这些方法进行文字检测时，可以对原始图像进行尺度缩放，然后在尺度缩放后的图像上进行文字检测，对检测结果影响很小。

例如，若原始图像分辨率较高，为减少文字检测过程中的运算量，也可以先对原始图像进行下采样(缩小)，在下采样后的原始图像上进行文字检测，再将检测结果映射回原始图像并继续执行后续步骤。又例如，若原始图像分辨率较低，算法难以处理，也可以先对原始图像进行上采样(放大)，在上采样后的原始图像上进行文字检测，再将检测结果映射回原始图像并继续执行后续步骤。

这里所称的原始图像，既可以是待配准图像，也可以是模板图像，也就是说在检测文字时，可以对两幅图像的其中之一进行尺度缩放，也可以对两幅图像都进行尺度缩放，当然也可以直接在原始图像上进行检测，不进行尺度缩放。

步骤b：对检测到的文字进行识别，并获取文字识别过程中提取的文字的特征。

可以采用，但不限于CRNN(Convolutional Recurrent Neural Network)、FAN(Focusing Attention Network)、EP(Edit Probability)等方法进行文字识别，在文字的识别过程中会提取文字的特征(例如，一个特征向量)。

对于步骤a以及步骤b，若有多个待配准图像需要配准，对于模板图像，可以只执行一次文字检测以及识别，并将检测与识别的结果保存起来，供每个待配准图像进行配准时使用。

步骤c：若待配准图像中一个检测到的文字的特征与模板图像中的一个检测到的文字的特征的相似程度达到第一预设程度，则将两个检测到的文字在各自图像中对应的点确定为一个点对。

相似程度的计算方式不作限定，例如，当文字的特征表示为向量时，相似程度可以定义为向量之间的夹角余弦值。对待配准图像中每个检测到的文字都和模板图像中所有检测到的文字进行特征相似程度的计算，就可以确定步骤S10所要获取的全部点对。

参照图2(A)，不妨认为左侧是模板图像，右侧是待配准图像，图中的字母表示检测到的文字，在步骤c执行完之后，模板图像和待配准图像中检测到的每两个相同文字都对应一个点对，共有4个点对，用连接线示出。

根据文字的特征确定点对首先具有较高的精确性，因为文字相对于图像的其他特征来说是较为明显和直观的。其次具有良好的鲁棒性，因为文字的特征是根据文字识别算法获得的，对于良好的文字识别算法，其提取的特征主要表征文字的语义，与文字的颜色、纹理、字体等并没有很强的关联，因此也不容易受这些因素的影响，从而能够获得较高质量的点对。另一方面，实际中的图像，文字数量一般不会太多，因此点对的数量也不会太多，图像配准的运算量较小。

在这些实施例中，进一步的，某个检测到的文字在图像中对应的点的上下文信息，可以包括在图像中该点附近的区域内检测到的其他文字的特征，这些文字的特征决定了该区域内除了当前的文字外还有哪些字，属于对检测到的文字在图像中所处环境的一种描述，因此适合作为检测到的文字在图像中对应的点的上下文信息。同时，文字的特征具有较好的鲁棒性，从而根据这样的上下文信息确定的点对被选中的概率更加可靠，进而使得图像配准的过程也更加可靠，不容易受到图像中一些颜色、纹理特征的影响。

继续参照图2(A)，以模板图像中的文字“B”为例，假设其附近的区域(指文字对应的点附近的区域)中包括文字“A”、“C”，则文字“B”对应的点在模板图像中的相关信息包括文字“A”、“C”的特征。

下面以图2(B)为例，定性地说明如何确定点对在每次运算(指确定特征点对集的运算)时被选中的概率的高低：

对模板图像中的文字“B”，对应的点在模板图像中的相关信息包括文字“A”、“C”的特征，对待配准图像中的文字“B”，对应的点在待配准图像中的相关信息也包括文字“A”、“C”的特征，两个相关信息相似程度较高，两个文字“B”很可能是实际对象表面的同一文字，因此两个文字“B”在各自图像中对应的点构成的点对具有较高被选中的概率，在图2(B)中以粗实线示出。

对模板图像中的文字“C”，对应的点在模板图像中的相关信息包括文字“A”、“B”的特征，对待配准图像中的文字“C”，对应的点在待配准图像中的相关信息只包括文字“B”的特征，两个相关信息相似程度一般，因此两个文字“C”在各自图像中对应的点构成的点对具有中等被选中的概率，在图2(B)中以细实线示出。

对模板图像以及待配准图像中靠右侧的文字“A”，和文字“C”的情况类似，不再分析。

对模板图像中靠左侧文字“A”，对应的点在模板图像中的相关信息不包括任何文字的特征，对待配准图像中的文字“A”，对应的点在待配准图像中的相关信息包括文字“B”的特征，两个相关信息相似程度较低，因此两个文字“A”在各自图像中对应的点构成的点对具有较低被选中的概率，在图2(B)中以虚线示出。

在这些实施例中，进一步的，在步骤c中确定点对时，还可以考虑图像中的点的上下文相关信息，以排除掉一些错误的点对。例如，步骤c可以实现为：

若待配准图像中一个检测到的文字的特征与模板图像中的一个检测到的文字的特征的相似程度达到第一预设程度，且两个检测到的文字在各自图像中对应的点的上下文信息之间的相似程度达到第二预设程度，则将两个检测到的文字在各自图像中对应的点确定为一个点对。

上述实现方式相当于在原步骤c的基础上增加了一个关于上下文信息的相似程度的判断步骤，以过滤掉一些认为是错误的点对(点对中的点的上下文信息之间的相似程度未达到第二预设程度)，最终获得步骤S10需要的点对，通过这一过滤措施，可以避免错误的点对参与配准，改善图像配准的精度，同时由于点对数量的减少，也提高了图像配准的效率。

过滤操作可以在根据文字的特征确定了点对之后再进行，也可以在确定点对的同时就进行。对于后者，即要求两个检测到的文字(待配准图像与模板图像中各一个)的特征的相似程度达到第一预设程度，且两个检测到的文字在各自图像中对应的点的上下文信息之间的相似程度达到第二预设程度，才会将两个检测到的文字在各自图像中对应的点确定为一个点对，否则根本不会生成点对，而对于前者，则是先生成点对后再进行过滤。

继续参照图2(B)，对于对模板图像中靠左侧文字“A”以及待配准图像中的文字“A”所对应的两个点构成的点对，由于其在各自图像中的上下文信息之间的相似程度很低，因此也可以直接将其过滤掉，根本不参与图像配准中后续的确定特征点对集的过程。

在这些实施例中，进一步的，某个检测到的文字在图像中对应的点的上下文信息，除了可以包括在图像中该点附近的区域内检测到的其他文字的特征，还可以包括检测到的其他文字的位置分布，这些文字的位置分布决定了这些字之间、以及这些字和当前的文字之间的相对位置关系，其中，文字之间的相对位置关系可以通过计算各文字对应的点之间的距离、夹角等确定。

将其他文字之间的位置分布信息包含在上下文信息中，可以提高检测到的文字在图像中对应的点的上下文信息的精确程度，基于更精确的上下文信息，可以获得质量更高的点对或者获得更精确的点对被选中的概率。

继续参照图2(A)，对模板图像中的文字“B”以及待配准图像中的文字“B”，虽然二者对应的点在各自图像中的相关信息都包括文字“A”、“C”的特征，但在模板图像中，“A”、“B”、“C”呈一三角形，而在待配准图像中，“A”、“B”、“C”呈一直线，因此在考虑文字的位置分布时，两幅图像中文字“B”对应的点在各自图像中的相关信息并不是相同的。

图3示出了本申请实施例提供的另一种图像配准方法的流程图。参照图3，该方法包括：

步骤S20：确定多个由待配准图像中的点以及模板图像中的点构成的点对。

关于模板图像的定义，在步骤S10中已经阐述。在事先难以确定待配准图像的内容时，也可以将多个模板图像作为候选的模板图像。步骤S20至步骤S25是一个重复执行的过程，在每次执行时对待配准图像和其中一个模板图像进行配准尝试。

步骤S21：从确定的多个点对中选择预设数量的点对，并根据选择出的点对确定从待配准图像到模板图像的第一变换。

其中，一个点对从多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息。

步骤S22：根据第一变换确定本次运算的特征点对集。

步骤S23：判断是否满足运算终止条件。

步骤S24：将运算确定的特征点对集中满足第一筛选条件的特征点对集确定为模板图像对应的第一配准结果集。

步骤S20至步骤S23也是一个确定的特征点对集运算过程，该运算过程可重复执行，至少执行一次，这与步骤S10至步骤S13是类似的，不再详细阐述。

步骤S24与步骤S14中都会确定第一配准结果集，但在步骤S14中需要根据第一配准结果集对应的第二变换进行图像的映射，在步骤S24中则不需要进行图像的映射，同时可以在执行步骤S24时就确定好第二变换，在步骤S26中确定第二配准结果集后，直接获取步骤S24中已经确定好的第二变换，当然也可以在步骤S24中并不确定第二变换，在步骤S26中确定第二配准结果集后再确定与第二配准结果集对应的第二变换。另外，需要指出，步骤S24中获得的第一配准结果集是与当前正在处理的模板图像(可以在步骤S20中确定)对应的，对于每个模板图像都会确定出一个第一配准结果集。

步骤S25：判断是否遍历完多个模板图像。

若尚未遍历完多个模板图像，则回到步骤S20开始处理下一幅模板图像，若已经遍历完多个模板图像，则执行步骤S26。

步骤S26：确定多个模板图像对应的第一配准结果集中满足第二筛选条件的第二配准结果集，并根据第二配准结果集对应的第二变换将待配准图像映射到第二配准结果集对应的模板图像所在的平面。

筛选出第二配准结果集的过程实际上也是从多个模板图像中筛选出一个匹配于待配准图像的模板图像的过程，在这之后根据第二变换将待配准图像和匹配的模板图像进行配准。此处所称的匹配是指待配准图像和模板图像的内容是相同的对象，例如，若待配准图像和模板图像的内容都是身份证，则二者是匹配，若待配准图像的内容是身份证，模板图像的内容是驾驶证，则二者不是匹配的。当然待配准图像和哪个模板匹配是未知的，需要通过执行上述步骤S20至步骤S26才能确定。

在一些实现方式中，第二筛选条件可以包括第一配准结果集中包含的点对的数量最多，或，第一配准结果集中包含的点对的数量占该第一配准结果集对应模板的图像与所述待配准图像之间的点对的总数量的比例最高。

不论是第一配准结果集中包含的点对的数量最多，还是第一配准结果集中包含的点对的数量占该第一配准结果集对应的模板图像与待配准图像之间的点对的总数量的比例最高，在某种意义上都能够表征第一配准结果集中包括更多的点对，因此可以将这两个条件分别作为或者结合以后作为第二筛选条件，以使筛选出的第二配准结果集是最优的，或者说找到与待配准图像最匹配的模板图像。

上述图像配准方法能够自动确定匹配的模板图像，在缺乏待配准图像的先验知识的情况下使用起来更为方便，当然也可能存在某个待配准图像与全部的模板图像都难以匹配的情况，在此不作进一步阐述。

不难看出，图2中的图像配准方法，也可以视为将图1中的图像配准方法应用于多个模板图像上的情况。因此，在介绍图1中的方法时提到的有益效果或者可能的实现方式也有很多可以应用到图2的方法中，下面再作简单阐述，未提及之处可以参考前文。

首先，上述图像配准方法在针对每幅模板图像进行处理时，不需要太多的重复运算(指确定特征点对集的运算)次数，具有较高的执行效率，因此可以应用于多个模板图像的场景中，不会像现有技术中一样由于图像配准效率低下而只能用于单模版图像的场景(否则执行时间太长不具备实用性)。

其次，由于在每次运算选择点对时利用了点对中的点的上下文相关信息，因此更有利于区分正确的点对与错误的点对，将正确的点对尽可能包含在每次运算确定的特征点对集之中，将错误的点对尽可能排除在每次运算确定的特征点对集之外，进而能够有效区分不同的模板图像与待配准图像的匹配程度(匹配程度越高的模板图像与待配准图像之间应当具有更多正确的点对)，以使图像配准方法适于在多个模板图像的场景中应用，不至于出现多个模板同时匹配上的情况，对于一些相似的模板图像也能够很好地进行区分。

此外，在一些实现方式中，实施步骤S20时可以根据图像中各点的上下文信息之间的相似程度来确定点对，将一些认为是错误的点对提前排除，避免错误的点对参与配准。从而使不匹配的模板图像与待配准图像之间的点对的数量趋近于0，能够容易地将这些模板图像排除在最终要获取的匹配的模板图像之外。而匹配的模板图像与待配准图像之间正确的点对的数量较多，使其容易与其他不匹配的模板图像，乃至于相似的模板图像相区别。而现有技术中的一些图像配准方法，对于不匹配的模板图像也会生成大量错误的点对，致使方法难以在多模版图像的场景下应用。

本申请实施例还提供一种图像配准装置300，如图4所示。参照图4，该装置包括：

点对获取模块310，用于确定多个由待配准图像中的点以及模板图像中的点构成的点对；

特征点对集确定模块320，用于根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从多个点对中选择预设数量的点对，根据选择出的点对确定从待配准图像到模板图像的第一变换，并根据第一变换确定本次运算的特征点对集；其中，一个点对从上述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；

图像配准模块330，用于在确定特征点对集的运算因满足运算终止条件而结束后，根据第一配准结果集对应的第二变换将待配准图像映射到模板图像所在的平面，其中，第一配准结果集为运算确定的特征点对集中满足第一筛选条件的特征点对集。

本申请实施例提供的图像配准装置300，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

本申请实施例还提供一种图像配准装置400，如图5所示。参照图5，该装置包括：

点对获取模块410，用于针对多个模板图像中的每个模板图像，确定多个由待配准图像中的点以及模板图像中的点构成的点对；

特征点对集确定模块420，用于根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从多个点对中选择预设数量的点对，根据选择出的点对确定从待配准图像到模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从上述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；

第一配准结果集确定模块430，用于在确定特征点对集的运算因满足运算终止条件而结束后，将运算确定的特征点对集中满足第一筛选条件的特征点对集确定为模板图像对应的第一配准结果集；

图像配准模块440，用于确定多个模板图像对应的第一配准结果集中满足第二筛选条件的第二配准结果集，并根据第二配准结果集对应的第二变换将待配准图像映射到第二配准结果集对应的模板图像所在的平面。

本申请实施例提供的图像配准装置400，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

本申请实施例还提供一种电子设备500，如图6所示。参照图6，电子设备500包括一个或多个(图中仅示出一个)处理器510以及一个或多个(图中仅示出一个)存储装置520，这些组件通过总线系统530和/或其他形式的连接机构(未示出)互连并相互通讯。

处理器510可以是一种具有数据处理能力和/或指令执行能力的处理单元。例如，可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、微控制单元(MicroController Unit，MCU)、网络处理器(Network Processor，NP)或者其他常规处理器；还可以是专用处理器，包括数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuits，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器510还可以控制电子设备500中的其他组件以执行期望的功能。

存储装置520可以各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)、高速缓冲存储器(Cache)等。非易失性存储器例如可以包括只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)、电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)、闪存(Flash)等。

在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器510可以读取并运行这些计算机程序指令，以实现本申请实施例提供的图像配准方法的步骤以及其他期望的功能。

可以理解，图6所示的结构仅为示意，电子设备500还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备500可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本申请各个实施例所述方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种图像配准方法，其特征在于，包括：

确定多个由待配准图像中的点以及模板图像中的点构成的点对；

根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；

在确定特征点对集的运算因满足运算终止条件而结束后，根据第一配准结果集对应的第二变换将所述待配准图像映射到所述模板图像所在的平面，其中，所述第一配准结果集为运算确定的特征点对集中满足第一筛选条件的特征点对集。

2.根据权利要求1所述的图像配准方法，其特征在于，所述运算终止条件包括运算次数已经达到预设次数，所述第一筛选条件包括特征点对集中包含的点对的数量最多。

3.根据权利要求1所述的图像配准方法，其特征在于，所述运算终止条件包括最近的一次运算确定的特征点对集已经满足所述第一筛选条件，所述第一筛选条件包括特征点对集中包含的点对的数量占点对的总数量的比例达到预设比例，和/或，特征点对集中包含的点对的数量达到预设数量。

4.根据权利要求1所述的图像配准方法，其特征在于，所述根据所述第一变换确定本次运算的特征点对集，包括：

将所述多个点对中符合所述第一变换的点对构成的集合确定为本次运算的特征点对集；

其中，所述第一配准结果集对应的第二变换为所述第一配准结果集对应的第一变换。

5.根据权利要求4所述的图像配准方法，其特征在于，将所述多个点对中符合所述第一变换的点对构成的集合确定为本次运算的特征点对集，包括：

根据所述第一变换将所述多个点对中属于所述待配准图像中的点映射到所述模板图像所在的平面；

计算每个映射后的点与对应的点对中属于所述模板图像中的点的距离，若所述距离小于预设距离，则将所述映射后的点所对应的点对确定为一个符合所述第一变换的点对，其中，所述映射后的点所对应的点对是指所述映射后的点在进行映射前所在的点对；

将全部的符合所述第一变换的点对构成的集合确定为本次运算的特征点对集。

6.根据权利要求1所述的图像配准方法，其特征在于，所述根据所述第一变换确定本次运算的特征点对集，包括：

根据所述多个点对中符合所述第一变换的点对确定从所述待配准图像到所述模板图像的第二变换；

将所述多个点对中符合所述第二变换的点对构成的集合确定为本次运算的特征点对集。

7.根据权利要求1所述的图像配准方法，其特征在于，所述确定多个由待配准图像中的点以及模板图像中的点构成的点对，包括：

根据所述待配准图像中的点以及所述模板图像中的点在各自图像中的上下文信息之间的相似程度，确定多个由所述待配准图像中的点以及所述模板图像中的点构成的点对。

8.根据权利要求1－6中任一项所述的图像配准方法，其特征在于，所述确定多个由待配准图像中的点以及模板图像中的点构成的点对，包括：

检测所述待配准图像以及所述模板图像中的文字，所述待配准图像中每个检测到文字对应一个所述待配准图像中的点，所述模板图像中每个检测到文字对应一个所述模板图像中的点；

对检测到的文字进行识别，并获取文字识别过程中提取的文字的特征；

若所述待配准图像中一个检测到的文字的特征与所述模板图像中的一个检测到的文字的特征的相似程度达到第一预设程度，则将两个检测到的文字在各自图像中对应的点确定为一个点对。

9.根据权利要求8所述的图像配准方法，其特征在于，一个检测到的文字在图像中对应的点是指所述文字在所述图像中的检测框的中心点。

10.根据权利要求8所述的图像配准方法，其特征在于，所述检测所述待配准图像以及所述模板图像中的文字，包括：

对所述待配准图像和/或所述模板图像进行尺度缩放；

对进行了尺度缩放的图像，在尺度缩放后的图像中进行文字检测；

对未进行尺度缩放的图像，在原始图像中进行文字检测。

11.根据权利要求8所述的图像配准方法，其特征在于，检测到的文字在图像中对应的点的上下文信息，包括：在图像中该点附近的区域内检测到的其他文字的特征。

12.根据权利要求11所述的图像配准方法，其特征在于，检测到的文字在图像中对应的点的上下文信息，还包括：在图像中该点附近的区域内检测到的其他文字的位置分布。

13.一种图像配准方法，其特征在于，包括：

针对多个模板图像中的每个模板图像，确定多个由待配准图像中的点以及所述模板图像中的点构成的点对；

根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；

在确定特征点对集的运算因满足运算终止条件而结束后，将运算确定的特征点对集中满足第一筛选条件的特征点对集确定为所述模板图像对应的第一配准结果集；

确定所述多个模板图像对应的第一配准结果集中满足第二筛选条件的第二配准结果集，并根据所述第二配准结果集对应的第二变换将所述待配准图像映射到所述第二配准结果集对应的模板图像所在的平面。

14.根据权利要求13所述的图像配准方法，其特征在于，第二筛选条件包括第一配准结果集中包含的点对的数量最多，或，第一配准结果集中包含的点对的数量占该第一配准结果集对应的模板图像与所述待配准图像之间的点对的总数量的比例最高。

15.一种图像配准装置，其特征在于，包括：

点对获取模块，用于确定多个由待配准图像中的点以及模板图像中的点构成的点对；

特征点对集确定模块，用于根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；

图像配准模块，用于在确定特征点对集的运算因满足运算终止条件而结束后，根据第一配准结果集对应的第二变换将所述待配准图像映射到所述模板图像所在的平面，其中，所述第一配准结果集为运算确定的特征点对集中满足第一筛选条件的特征点对集。

16.一种图像配准装置，其特征在于，包括：

点对获取模块，用于针对多个模板图像中的每个模板图像，确定多个由待配准图像中的点以及所述模板图像中的点构成的点对；

特征点对集确定模块，用于根据确定的多个点对进行至少一次确定特征点对集的运算，在每次确定特征点对集的运算中，从所述多个点对中选择预设数量的点对，根据选择出的点对确定从所述待配准图像到所述模板图像的第一变换，并根据所述第一变换确定本次运算的特征点对集；其中，一个点对从所述多个点对中被选中的概率与该点对中的两个点在各自图像中的上下文信息之间的相似程度正相关，一个点在图像中的上下文信息是指图像中该点附近的区域所包含的信息；

第一配准结果集确定模块，用于在确定特征点对集的运算因满足运算终止条件而结束后，将运算确定的特征点对集中满足第一筛选条件的特征点对集确定为所述模板图像对应的第一配准结果集；

图像配准模块，用于确定所述多个模板图像对应的第一配准结果集中满足第二筛选条件的第二配准结果集，并根据所述第二配准结果集对应的第二变换将所述待配准图像映射到所述第二配准结果集对应的模板图像所在的平面。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行权利要求1－14中任一项所述的方法的步骤。

18.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1－14中任一项所述的方法的步骤。