CN113327204B - 图像校准方法和装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种图像校准方法和装置、设备及存储介质，其中方法包括：由预先设置的两种以上的校准模式中选取当前模式；基于当前模式，由待检测图像中截取标准图像，并使用标准图像对待检测图像、第一参考图像和第二参考图像进行匹配校准，得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果；对第一校准结果和第二校准结果进行准确性判断；在判断出第一校准结果和第二校准结果均不准确时，更换当前的校准模式，并基于更换后的校准模式对待检测图像、第一参考图像和第二参考图像进行匹配校准。通过对待检测图像的不同截取方式进行区分并定义为不同的校准模式，有效提高了图像校准结果的准确度。

Description

图像校准方法和装置、设备及存储介质

技术领域

本申请涉及半导体检测技术领域，尤其涉及一种图像校准方法和装置、设备及存储介质。

背景技术

在半导体制造流程中，通过缺陷检测与分类进行缺陷原因分析，并改善良率与生产。在缺陷检测过程中，检测精度（即，检测的准确度）对于改善良率至关重要，只有保证了检测的准确度，缺陷分类和分析等后续工艺才有意义，才能真实改善良率与生产。

其中，在半导体缺陷检测领域中，各大成熟产品仍然使用C2C（Cellto Cell）方法和D2D（Die to Die）方法。两种检测方法中均包含校准过程。在校准过程中，校准误差问题是检测过程中面临的一大问题，特别是在D2D算法在处理同时含有周期性模板图像和非周期性模板图像时所面临的校准误差较为明显。因此，在校准过程中有效降低校准误差对提升半导体缺陷检测的准确度具有非常关键的作用。

发明内容

有鉴于此，本申请提出了一种图像校准方法，可以有效降低校准过程中的校准误差，提高半导体缺陷检测的准确度。

根据本申请的一方面，提供了一种图像校准方法，包括：

由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；

基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；

对所述第一校准结果和所述第二校准结果进行准确性判断；

在判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式，并基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准。

在一种可能的实现方式中，所述校准模式包括第一校准模式、第二校准模式和第三校准模式；

所述第一校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的中心截取；

所述第二校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的左下角截取；

所述第三校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的右上角截取。

在一种可能的实现方式中，对所述第一校准结果和所述第二校准结果进行准确性判断时，通过分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，并根据计算得到的所述校准分数进行判断。

在一种可能的实现方式中，分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，包括：

基于所述第一校准结果和所述第二校准结果，对所述第一参考图像和所述第二参考图像进行平移矫正；

在所述待检测图像与所述第一参考图像的重叠区域，以及所述待检测图像与所述第二参考图像的重叠区域分别计算所述第一校准结果对应的校准分数以及所述第二校准结果对应的校准分数。

在一种可能的实现方式中，更换当前的校准模式之前，还包括：

判断所述当前模式是否为设定模式；

在判断出所述当前模式为所述设定模式时，由所述第一校准结果和所述第二校准结果中选取一个结果作为最终校准结果。

在一种可能的实现方式中，在确定出所述第一校准结果和所述第二校准结果中存在一个结果准确时，包括：

对所述第一参考图像和所述第二参考图像进行匹配校准，得到所述第一参考图像与所述第二参考图像的第三校准结果；

判断所述第三校准结果是否准确；

在判断出所述第三校准结果准确时，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果。

在一种可能的实现方式中，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果时，使用向量守恒规则进行推导计算。

在一种可能的实现方式中，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果时，均采用NCC算法进行。

在一种可能的实现方式中，采用NCC算法对读取到的所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准分别得到所述第一校准结果和所述第二校准结果时，包括：

通过所述待检测图像分别在所述第一参考图像和所述第二参考图像上滑动，使用NCC算法计算出第一NCC图像和第二NCC图像；

分别根据所述第一NCC图像和所述第二NCC图像，得到所述待检测图像与所述第一参考图像的偏移整数值以及所述待检测图像与所述第二参考图像的偏移整数值；

分别根据所述第一NCC图像和所述第二NCC图像计算得到所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素；

基于所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素，得到所述待检测图像与所述第一参考图像的偏移小数值以及所述待检测图像与所述第二参考图像的偏移小数值。

根据本申请的另一方面，还提供了一种图像校准装置，包括：模式选取模块、匹配校准模块和结果判断模块；

所述模式选取模块，被配置为由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；

所述匹配校准模块，被配置为基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；

所述结果判断模块，被配置为对所述第一校准结果和所述第二校准结果进行准确性判断；

所述模式选取模块，还被配置为在所述结果判断模块判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式；

所述匹配校准模块，还被配置为基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准。

根据本申请的另一方面，还提供了一种图像校准设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

通过对待检测图像的不同截取方式进行区分并定义为不同的校准模式，从而在进行图像校准时，在不同的校准模式下进行校准并对校准结果进行准确性的确定，在确定出校准结果不准确时，则更换校准模式，在另一种校准模式下进行再次校准，这就有效提高了图像校准结果的准确度。通过给出不同的校准模式，在不同的校准模式下进行图像的校准，使得在进行图像校准时考虑了待检测图像的截取方式这一因素，从而对于待检测图像由大面积周期性模板和小面积非周期性模板构成时，人工狗进行图像的有效校准，大大降低了校准误差的出现几率，提高了校准的准确性与缺陷检测的精度。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出本申请实施例的图像校准方法的流程图；

图2a至图2c分别示出本申请实施例的图像校准方法中第一校准模式、第二校准模式和第三校准模式的定义方式示意图；

图3示出本申请实施例的图像校准方法中使用NCC算法对待检测图像和第一参考图像和第二参考图像分别进行匹配校准时的示意图；

图4示出本申请实施例的图像校准方法的另一流程图；

图5示出本申请实施例的图像校准装置的结构框图；

图6示出本申请实施例的图像校准设备的结构框图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

首先，需要说明的是，本申请实施例的图像校准方法是基于模板匹配算法所提出的一种新的图像校准方法，用于有效提升半导体缺陷检测所使用的D2D方法中的校准效果，以达到降低校准误差的目的。

其中，本领域技术人员可以理解的是，在一个D2D检测任务中，有三张模板相同、尺寸相同的图像，分别为待检测图像(test image)、第一参考图像(reference image 1)和第二参考图像(reference image 2)，本申请实施例的图像校准方法就是用于对齐这三张图像，以便于在后续缺陷检测过程中，由这三张图像中找出不同区域，并利用投票原则定位出待检测图像中的缺陷区域。

参阅图1，图1示出根据本申请一实施例的图像校准方法的流程图。如图1所示，该方法包括：步骤S100，由预先设置的两种以上的校准模式中选取当前模式。其中，需要说明的是，不同的校准模式对应标准图像在待检测图像中的不同截取方式。也就是说，不同的校准模式，对应不同的标准图像的获取方式。步骤S200，基于当前模式，由待检测图像中截取标准图像，并使用标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果。然后通过步骤S300，对第一校准结果和第二校准结果进行准确性判断。在判断出第一校准结果和第二校准结果均不准确时，则返回步骤S100，重新进行校准模式的选取，更换当前的校准模式，并基于更换后的校准模式对待检测图像、第一参考图像和第二参考图像进行匹配校准。

由此，本申请实施例的图像校准方法，基于模板匹配算法，通过对待检测图像的不同截取方式进行区分并定义为不同的校准模式，从而在进行图像校准时，在不同的校准模式下进行校准并对校准结果进行准确性的确定，在确定出校准结果不准确时，则更换校准模式，在另一种校准模式下进行再次校准，这就有效提高了图像校准结果的准确度。通过给出不同的校准模式，在不同的校准模式下进行图像的校准，使得在进行图像校准时考虑了待检测图像的截取方式这一因素，从而对于待检测图像由大面积周期性模板和小面积非周期性模板构成时，仍能够进行图像的有效校准，大大降低了校准误差的出现几率，提高了校准的准确性与缺陷检测的精度。

其中，在一种可能的实现方式中，预先设置的校准模式可以包括三种，分别为第一校准模式、第二校准模式和第三校准模式。其中，参阅图2a至图2c，第一校准模式中所定义的标准图像在待检测图像中的截取方式为：由待检测图像中的中心截取（如图2a所示）。第二校准模式中所定义的标准图像在待检测图像中的截取方式为：由待检测图像中的左下角截取（如图2b所示）。第三校准模式中所定义的标准图像在待检测图像中的截取方式为：由待检测图像中的右上角截取（如图2c所示）。

也就是说，在本申请的图像校准方法中，根据标准图像的获取方式进行了三个校准模式的划分，在其中一个校准模式下通过模板匹配算法得到的图像校准结果不准确时，则进行下一个校准模式的更换，通过下一校准模式中所定义的待检测图像的截取方式进行待检测图像的重新截取后，再基于重新截取的待检测图像进行图像校准得到对应的校准结果。

进一步的，根据前面所述，由于在本申请实施例的图像校准方法中对校准模式划分了三种，分别为第一校准模式、第二校准模式和第三校准模式，因此在进行图像校准时，需要先由所设置的三种校准模式中进行选取，以确定当前校准时所对应的校准模式。

即，参阅图3，首先通过步骤S100，由预先设定的多个校准模式中选择一个校准模式作为当前模式，然后在基于所选择的校准模式，通过模板匹配算法进行图像校准。

其中，基于所选择的校准模式，通过模板匹配算法进行图像校准时，主要包括：基于所选择的校准模式（即，当前模式）中所定义的标准图像截取方式，由待检测图像中进行标准图像的截取。然后，通过将截取得到的标准图像分别在第一参考图像和第二参考图像上滑动，对待检测图像、第一参考图像和第二参考图像进行匹配校准，以得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果。

在一种可能的实现方式中，基于模板匹配算法对待检测图像、第一参考图像和第二参考图像进行匹配校准时，可以采用NCC算法来实现。

具体的，通过将按照当前模式由待检测图像中截取得到的标准图像分别在第一参考图像和第二参考图像上滑动，使用NCC算法计算出第一NCC图像和第二NCC图像。如图3所示，为将标准图像在第一参考图像上滑动，使用NCC算法计算得到的第一NCC图像。

然后，分别根据第一NCC图像和第二NCC图像，得到待检测图像与第一参考图像的偏移整数值以及待检测图像与第二参考图像的偏移整数值。进而，再分别根据第一NCC图像和第二NCC图像计算得到待检测图像与第一参考图像之间的亚像素以及待检测图像与第二参考图像之间的亚像素。最后，基于待检测图像与第一参考图像之间的亚像素以及待检测图像与第二参考图像之间的亚像素，得到待检测图像与第一参考图像的偏移小数值以及待检测图像与第二参考图像的偏移小数值。

此处，本领域技术人员可以理解，在通过上述方式得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果后，第一校准结果由待检测图像与所述第一参考图像的偏移整数值和待检测图像与所述第一参考图像的偏移小数值组成。第二校准结果由待检测图像与所述第二参考图像的偏移整数值和待检测图像与所述第二参考图像的偏移小数值组成。

同时，在分别根据第一NCC图像和第二NCC图像计算得到待检测图像与第一参考图像之间的亚像素以及待检测图像与第二参考图像之间的亚像素时，可以利用二次函数拟合的方式计算得到，此处也不再进行赘述。

在通过上述任一方式得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果之后，即可对第一校准结果和第二校准结果进行准确性判断。

其中，在一种可能的实现方式中，对第一校准结果和第二校准结果进行准确性判断时，可以通过分别计算第一校准结果所对应的校准分数以及第二校准结果所对应的校准分数，根据计算得到的校准分数进行判断。

具体的，基于第一校准结果和第二校准结果计算得到对应的校准分数时，可以通过图像平移矫正的方式来实现。

更加具体的，基于第一校准结果和第二校准结果，分别对第一参考图像和第二参考图像进行平移矫正。然后，根据平移矫正后的第一参考图像与待检测图像的重叠区域，以及平移矫正后的第二参考图像与待检测图像的重叠区域，分别计算得到第一校准结果的校准分数以及第二校准结果的校准分数。

此处，应当指出的是，本领域技术人员可以理解的是，所得到的第一校准结果的校准分数的取值与第二校准结果的校准分数的取值可以相同，也可以不同。同时，根据平移矫正后的第一参考图像与待检测图像的重叠区域，以及平移矫正后的第二参考图像与待检测图像的重叠区域，分别计算得到第一校准结果的校准分数以及第二校准结果的校准分数可以通过NCC（normalized cross correlation）算法计算图像相似度的方式实现，此次也不再进行赘述。其中，所计算出来的图像相似度即为图像的校准分数。

进一步的，在判断出第一校准结果和第二校准结果均准确时，则可以直接进行后续的缺陷检测过程。在判断出第一校准结果和第二校准结果中存在一个准确结果时，参阅图4，此时可以通过步骤S410’，对第一参考图像和第二参考图像进行匹配校准，得到第一参考图像与第二参考图像的第三校准结果。然后，执行步骤S420’，判断第三校准结果是否准确。

在判断出第三校准结果准确时，则通过步骤S430’，基于第一参考图像和第二参考图像的第三校准结果对第一校准结果和第二校准结果中判定为不准确的校准结果进行正确结果的推导。

此处，需要说明的是，步骤S430’可以在执行步骤S410’时同时执行，也可以在执行完步骤S420’，对第三校准结果的准确性进行判断后再执行，此处不对其执行顺序进行限定。

其中，还应当指出的是，对第三校准结果的准确性判断，与对第一校准结果和第二校准结果的准确性判断方式相同或类似，此处也不再进行赘述。

进一步的，在根据第一校准结果和第二校准结果中准确的结果，以及第三校准结果，对第一校准结果和第二校准结果中判定为不准确的校准结果进行正确结果的推导时，可以使用向量守恒规则来实现。

具体的，在使用向量守恒规则进行第一校准结果和第二校准结果中被判定为不准确的结果的正确取值的推导时，可以通过以下公式得到：

其中，在上述公式中，为第一校准结果，/>为第二校准结果，/>为第三校准结果。在第一校准结果和第二校准结果中任一结果被判定为不准确时，此时则可以通过上述公式，根据被判定为准确的其他两个校准结果进行另一校准结果的推算。

此外，在判定出第一参考图像与第二参考图像的第三校准结果不准确时，则此时可进行校准模式的更换，并在重新选择的校准模式下，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准，以得到待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果，并对所得到的待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果进行准确性判断。

其中，应当指出的是，在一种可能的实现方式中，进行校准模式的选取时，校准模式的选取顺序可以设置为：先选取由原图中心截取待检测图像的方式所对应的校准模式（即，第一校准模式），然后再选取由原图左下角截取待检测图像的方式所对应的校准模式（即，第二校准模式），最后再选取由原图右上角截取待检测图像的方式所对应的校准模式（即，第三校准模式）。

当通过在三次所选取的校准模式下得到的待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果均不准确时，则可以由这三次不同的校准模式下所得到的待检测图像与第一参考图像的校准分数以及待检测图像与第二参考图像的校准分数中选取出最高的一组校准分数，并将取值最高的这组校准分数所对应的校准结果作为最终的图像校准结果。

进一步的，还需要指出的是，在本申请实施例的图像校准方法中，在校准模式的选取时也可以是随机选取的。因此，参阅图4，在当前所选取的校准模式下，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准后，得到的待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果均不准确时，还可以包括：

步骤S510，对当前所选取的校准模式进行判断，确定当前所选取的校准模式（即，当前模式）是否为预设模式。

在确定出当前所选取的校准模式为预设模式时，则不再进行校准模式的选取，直接通过步骤S520，由所得到的校准结果中选取校准分数最高的结果作为最终的图像校准结果，并通过步骤S530，输出最终的图像校准结果。

在确定出当前所选取的校准模式不是预设模式时，则返回步骤S100，重新选取校准模式，并在重新选取的校准模式下进行待检测图像的截取，以获取当前校准模式下的待检测图像、第一参考图像和第二参考图像，并对获取到的待检测图像、第一参考图像和第二参考图像进行匹配校准。

其中，应当指出的是，预设模式指的是待检测图像的截取方式为由原图的右上角位置处截取所对应的校准模式（即，第三校准模式）。

由此，本申请实施例的图像校准方法，通过设计三种校准模式，使得三种校准模式下处理得到的待检测图像基本能包含非周期性pattern出现在图像的全部位置，因此可以降低全部由周期性pattern执行校准造成的校准误差的几率。同时，在不同的校准模式下，对待检测图像与参考图像进行匹配校准时，利用NCC算法计算得到NCCmap后，通过分析NCCmap得到包含亚像素（subpixels）的校准结果，然后通过图像平移矫正，再计算相应的校准分数（alignscore），这样得到的alignscore比较准确，因而也就增强了对校准结果的准确性判据的可靠性。

并且，在判断出待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果中存在不准确结果时，通过计算第一参考图像与第二参考图像的校准结果，使用向量和守恒规则推导获得最终的校准结果，提高了图像校准的准确率。

为了更清楚地说明本申请实施例的图像校准方法，以下以一具体实施例对其校准过程进行更加详细地说明。

其中，应当指出的是，在本实施例中，待检测图像为Test image（以下简称“图像T”），第一参考图像为reference image 1（以下简称“图像R1”），第二参考图像为referenceimage 2（以下简称“图像R2”），由待检测图像中截取得到的标准图像为templateimage。

同时，参阅图2a至图2c，标准图像按照由待检测图像的中心位置处进行截取的方式定义为第一校准模式（以下简称“mode1”），标准图像按照由待检测图像的左下角位置处进行截取的方式定义为第二校准模式（以下简称“mode2”），标准图像按照由待检测图像的右上角位置处进行截取的方式定义为第三校准模式（以下简称“mode3”）。

在本实施例中，图象校准方法步骤具体如下：

第一步：首先，采用mode1模式，templateimage从图像T中截取，使用NCC(normalized cross correlation)算法分别对T和R1，T和R2执行校准（align）操作。

具体的，参阅图3，templateimage分别在图像R1和R2上滑动，利用NCC算法计算NCCmap，大小为2SRx2SR，分析NCCmap得到最佳匹配点，从而得到T和R1，T和R2在X方向和Y方向的shift整数值。

通过分析NCCmap计算subpixels，得到shift小数值，从而得到最终的align结果shiftTR1（即，待检测图像与第一参考图像的第一校准结果），shiftTR2（即，待检测图像与第二参考图像的第二校准结果）。

第二步：然后，利用第一步得到的align结果对图像R1和R2进行平移矫正，然后分别在图像T和R1，T和R2的重叠区域利用NCC算法计算alignscore。将alignscore作为判断上述align结果是否准确的判据，若align结果判断为准确，则进行后续缺陷检测算法，否则进行下一步操作。

第三步：若第二步判断align结果不准确，则从图像R1中截取templateimage，利用NCC算法计算图像R1和R2的align结果得到shiftR1R2（即，第一参考图像与第二参考图像的校准结果），并计算alignscore。

然后，通过第二步中的判据判断shiftR1R2是否准确，若shiftR1R2准确，则继续判断shiftTR1和shiftTR2其中是否有一个准确，若shiftTR1和shiftTR2其中有一个准确，则利用向量和守恒规则用准确的两个align结果计算第三个align结果，然后进行后续缺陷检测算法，否则进行下一步操作，向量和守恒规则如下所示：

。

第四步：若第三步没有得到准确的align结果，则采用mode2模式重新执行前三个步骤，若align结果准确，则进行后续缺陷检测算法，否则继续采用mode3模式重新执行前三个步骤，若align结果准确，则进行后续缺陷检测算法，否则进行下一步操作。

第五步：若上述都没有得到准确的align结果，则采用其中alignscore最高的结果作为最终的align结果。

需要说明的是，尽管以图1至图4作为示例介绍了如上所述的图像校准方法，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的具体实现方式，只要能够提高图像校准结果的准确度即可。

相应的，基于前面任一所述的图像校准方法，本申请还提供了一种图像校准装置。由于本申请提供的图像校准装置的工作原理与本申请的图像校准方法的原理相同或相似，因此重复之处不再赘述。

参阅图5，本申请提供的图像校准装置100包括：模式选取模块110、匹配校准模块120和结果判断模块130。其中，模式选取模块110，被配置为由预先设置的两种以上的校准模式中选取当前模式。此处，需要说明的是，不同的校准模式对应标准图像在待检测图像中的不同截取方式。匹配校准模块120，被配置为基于当前模式，由待检测图像中截取标准图像，并使用标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果。结果判断模块130，被配置为对第一校准结果和第二校准结果进行准确性判断。模式选取模块110，还被配置为在结果判断模块130判断出第一校准结果和第二校准结果均不准确时，更换当前的校准模式。匹配校准模块120，还被配置为基于更换后的校准模式对待检测图像、第一参考图像和第二参考图像进行匹配校准。

更进一步地，根据本申请的另一方面，还提供了一种图像校准设备200。参阅图6，本申请实施例的图像校准设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的图像校准方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的图像校准设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的图像校准方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行图像校准设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的图像校准方法。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种图像校准方法，其特征在于，包括：

由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；

基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；

对所述第一校准结果和所述第二校准结果进行准确性判断；

在判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式，并基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准；

其中，所述校准模式包括第一校准模式、第二校准模式和第三校准模式；

所述第一校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的中心截取；

所述第二校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的左下角截取；

所述第三校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的右上角截取；

其中，对所述第一校准结果和所述第二校准结果进行准确性判断时，通过分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，并根据计算得到的所述校准分数进行判断；

分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，包括：

基于所述第一校准结果和所述第二校准结果，对所述第一参考图像和所述第二参考图像进行平移矫正；

在所述待检测图像与所述第一参考图像的重叠区域，以及所述待检测图像与所述第二参考图像的重叠区域分别计算所述第一校准结果对应的校准分数以及所述第二校准结果对应的校准分数。

2.根据权利要求1所述的方法，其特征在于，更换当前的校准模式之前，还包括：

判断所述当前模式是否为设定模式；

在判断出所述当前模式为所述设定模式时，由所述第一校准结果和所述第二校准结果中选取一个结果作为最终校准结果。

3.根据权利要求1或2任一项所述的方法，其特征在于，在确定出所述第一校准结果和所述第二校准结果中存在一个结果准确时，包括：

对所述第一参考图像和所述第二参考图像进行匹配校准，得到所述第一参考图像与所述第二参考图像的第三校准结果；

判断所述第三校准结果是否准确；

在判断出所述第三校准结果准确时，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果。

4.根据权利要求3所述的方法，其特征在于，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果时，使用向量守恒规则进行推导计算。

5.根据权利要求1或2任一项所述的方法，其特征在于，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果时，均采用NCC算法进行。

6.根据权利要求5所述的方法，其特征在于，采用NCC算法对读取到的所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准分别得到所述第一校准结果和所述第二校准结果时，包括：

通过所述待检测图像分别在所述第一参考图像和所述第二参考图像上滑动，使用NCC算法计算出第一NCC图像和第二NCC图像；

分别根据所述第一NCC图像和所述第二NCC图像，得到所述待检测图像与所述第一参考图像的偏移整数值以及所述待检测图像与所述第二参考图像的偏移整数值；

分别根据所述第一NCC图像和所述第二NCC图像计算得到所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素；

基于所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素，得到所述待检测图像与所述第一参考图像的偏移小数值以及所述待检测图像与所述第二参考图像的偏移小数值。

7.一种图像校准装置，其特征在于，包括：模式选取模块、匹配校准模块和结果判断模块；

所述模式选取模块，被配置为由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；

所述匹配校准模块，被配置为基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；

所述结果判断模块，被配置为对所述第一校准结果和所述第二校准结果进行准确性判断；

所述模式选取模块，还被配置为在所述结果判断模块判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式；

所述匹配校准模块，还被配置为基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准；

其中，所述校准模式包括第一校准模式、第二校准模式和第三校准模式；

所述第一校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的中心截取；

所述第二校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的左下角截取；

所述第三校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的右上角截取；

其中，对所述第一校准结果和所述第二校准结果进行准确性判断时，通过分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，并根据计算得到的所述校准分数进行判断；

分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，包括：

基于所述第一校准结果和所述第二校准结果，对所述第一参考图像和所述第二参考图像进行平移矫正；

在所述待检测图像与所述第一参考图像的重叠区域，以及所述待检测图像与所述第二参考图像的重叠区域分别计算所述第一校准结果对应的校准分数以及所述第二校准结果对应的校准分数。

8.一种图像校准设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至6中任意一项所述的方法。

9.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。