CN117474923B

CN117474923B - 膜片图像的处理方法和膜片缺陷检测方法及其系统

Info

Publication number: CN117474923B
Application number: CN202311823115.6A
Authority: CN
Inventors: 李富成; 匡梦良
Original assignee: Suzhou Mega Technology Co Ltd
Current assignee: Suzhou Mega Technology Co Ltd
Priority date: 2023-12-27
Filing date: 2023-12-27
Publication date: 2024-03-19
Anticipated expiration: 2043-12-27
Also published as: CN117474923A

Abstract

本申请实施例提供了一种膜片图像的处理方法和膜片缺陷检测方法及其系统。膜片包括多个孔，该处理方法包括：获取第一图像和第二图像；确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域；确定第一图像中的第一包络区和第二图像中的第二包络区；根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同；将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。这种图像处理方案的孔位匹配效率和精度均较高。

Description

膜片图像的处理方法和膜片缺陷检测方法及其系统

技术领域

本申请涉及膜片图像处理技术领域，具体地，涉及一种膜片图像的处理方法、一种膜片缺陷检测方法、一种膜片图像的处理系统、一种膜片缺陷检测系统、一种电子设备及一种存储介质。

背景技术

近年来，图像处理技术被广泛应用于各种领域。采用诸如目标检测、图像分割等图像处理方法对工业化生产中的实体成品或半成品的产品图像进行处理和分析，可以较快速地确定出产品是否存在诸如外形缺陷之类的异常情况。

对于具有多孔结构的膜片产品而言，常常需要检测膜片上的孔的位置、形状、大小以及孔的数量是否异常，据此判断膜片是否为合格品。对于一些孔洞分布较为复杂且精度要求较高的多孔膜片而言，采用常规的图像处理方法，往往难以达到预期的检测目的。以构成显示屏的反射膜片为例，为了保证反射膜片兼具较好的反光、透光和散热作用，常常需要在反射膜片设置多个孔，并且孔的位置、形状和大小的设计均可能需满足一定的规格要求。在加工反射膜片的过程中，常常可能受到一些因素的影响而导致一些孔位出现多料异常的现象。例如，在对膜片打孔的过程中，由于设备因素或其他因素的影响导致某些位置打孔失败，例如整个孔位或孔位的局部未被裁剪掉而表现出的孔位多料异常。

可以理解，由于诸如反射膜片等的膜片上的孔较多且分布较复杂，利用常规的图像处理方法难以从全局的角度针对整个膜片图像中的各个孔位的实际情况作出准确地判断。现有技术中大多利用深度学习模型的方法来确定膜片产品中的各个孔位是否异常。以检测反射膜片的孔位多料异常为例。例如，首先要收集大量的、存在孔位多料异常的反射膜片的异常样本图像。然后，利用这些异常样本图像对异常检测模型进行训练。在实际的检测过程中，将膜片产品的待检测图像输入训练好的异常检测模型中，由异常检测模型输出膜片产品是否为异常的结果。然而，在这种方案中，异常样本图像的收集的难度较大，通常需要花费大量的时间才能收集到足够数量的样本图像。并且，如果膜片的种类发生改变，则之前训练好的模型往往不具备对新的膜片图像的检测能力，因此其检测能力也具有一定的局限性。此外，深度学习模型通常需要强大的计算能力来保证高效的训练和推理，因此这种方案的实现在计算资源有限的环境下则难以实现。

发明内容

为了至少部分地解决现有技术中存在的问题，根据本申请的第一个方面，提供了一种膜片图像的处理方法，膜片包括多个孔，处理方法包括：获取第一图像和第二图像，其中第一图像是待检测膜片的图像和参考膜片的图像中的一个，第二图像是待检测膜片的图像和参考膜片的图像中的另一个；确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域；确定第一图像中的第一包络区和第二图像中的第二包络区，其中第一包络区包括各个第一区域的中心像素，第二包络区包括各个第二区域的中心像素；根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同；将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。

根据本申请的另一方面，提供一种膜片缺陷检测方法，膜片包括多个孔，检测方法包括：获取待检测膜片的第一图像和参考膜片的第二图像；利用上述处理方法确定与每个第一区域匹配的第二区域；以及对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

根据本申请的另一方面，提供一种膜片图像的处理系统，膜片包括多个孔，处理系统包括：获取模块，用于获取第一图像和第二图像，其中第一图像是待检测膜片的图像和参考膜片的图像中的一个，第二图像是待检测膜片的图像和参考膜片的图像中的另一个；第一确定模块，用于确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域；第二确定模块，用于确定第一图像中的第一包络区和第二图像中的第二包络区，其中第一包络区包括各个第一区域的中心像素，第二包络区包括各个第二区域的中心像素；变换模块，用于根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同；以及对比模块，用于将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。

根据本申请的另一方面，提供一种膜片缺陷检测系统，其特征在于，膜片包括多个孔，检测系统包括：获取模块，用于获取待检测膜片的第一图像和参考膜片的第二图像；第三确定模块，用于利用上述处理方法确定与每个第一区域匹配的第二区域；以及

第四确定模块，用于对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

根据本申请的另一方面，提供一种电子设备，包括处理器和存储器，其特征在于，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述膜片图像的处理方法和/或上述膜片缺陷检测方法。

根据本申请的另一方面，提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述膜片图像的处理方法和/或上述膜片缺陷检测方法。

如前所述，现有技术中通常利用深度学习模型的方法对包括多个孔的待检测膜片的图像进行处理，由模型输出诸如孔位是否存在异常的处理结果。这种方法存在模型训练成本高、模型的检测能力受限以及算力成本高的问题。而根据本申请实施例的上述膜片图像的处理方法以参考膜片为对比模板，在分别确定出待检测膜片的第一图像中的各个孔所在的第一区域和参考膜片的第二图像中的各个孔所在的第二区域的基础上，通过对比各个第一区域的特征信息和各个第二区域的特征信息，能够快速且准确地确定出与每个第一区域匹配的第二区域。并且将待检测膜片的图像中的整体孔位区域与参考膜片的图像中的整体孔位区域进行对齐，以实现两个图像的配准。并且，在配准后的图像的基础上，通过比对两个图像中的孔位区域的特征信息，可以快速且准确地确定出待检测膜片上的每个孔与参考膜片上的每个孔的匹配关系。从而，方便后续根据所确定的各个孔的匹配关系，准确地判定待检测膜片是否存在诸如孔位多料的异常情况。上述膜片图像的处理方法执行逻辑简单并且合理，可以显著提高孔位匹配的精度和效率。此外，这种方案的适用范围也非常广泛，可以应用于对各种类型膜片的多种检测场景，尤其是在成像效果不好而导致的孔位拉伸变形的情况下依然可以保证较高的孔位匹配精度。并且，这种图像处理方案还具有可解释性高、数据需求小、算力资源不受限的优点。

在发明内容中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本申请内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

以下结合附图，详细说明本申请的优点和特征。

附图说明

本申请的下列附图在此作为本申请的一部分用于理解本申请。附图中示出了本申请的实施方式及其描述，用来解释本申请的原理。在附图中，

图1示出根据本申请一个实施例的膜片图像的处理方法的示意性流程图；

图2a和图2b分别示出根据本申请不同实施例的第二包络区的示意图；

图2c示出根据本申请一个实施例的第一图像的示意图；

图2d示出根据本申请一个实施例的中心点归一化后的第一图像和第二图像的叠加示意图；

图2e示出根据本申请一个实施例的变换后的第二图像和第一图像的叠加示意图；

图3a示出根据本申请一个实施例的第二图像与第一图像的叠加示意图；

图3b示出根据本申请一个实施例的第一图像的局部；

图4示出根据本申请一个实施例的膜片缺陷检测方法的示意性流程图；

图5示出本申请另一实施例的膜片缺陷检测方法的流程图；

图6示出根据本申请一个实施例的膜片图像的处理系统的示意性框图；

图7示出根据本申请一个实施例的膜片缺陷检测系统的示意性框图；以及

图8示出根据本申请实施例的电子设备的示意性框图。

具体实施方式

在下文的描述中，提供了大量的细节以便能够彻底地理解本申请。然而，本领域技术人员可以了解，如下描述仅示例性地示出了本申请的优选实施例，本申请可以无需一个或多个这样的细节而得以实施。此外，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行详细描述。

如前所述，为了准确判定膜片上的各个孔位是否存在异常，现有技术中通常需要花费大量的时间预先训练满足实际检测需求的深度学习模型，然后采用深度学习模型的方法对实际获取的膜片的图像进行处理，从而根据模型的输出结果确定膜片上的各个孔位是否异常。但是这种方案不仅需要耗费巨大的时间成本来收集样本图像以训练模型，模型检测能力也受限于所收集样本的数量和广度，并且还需要强大的算力资源作支撑。

为了至少部分地解决上述技术问题，根据本申请的一个方面，提供了一种膜片图像的处理方法。该处理方法可用于对各种类型的膜片产品的图像进行处理，以方便根据处理结果确定膜片中的各个孔的诸如位置、形状、大小等信息是否满足标准的要求。该处理方法首先将待检测膜片的图像中的整体孔位区域与参考膜片的图像中的整体孔位区域进行对齐，以实现两个图像的配准。并且，在配准后的图像的基础上，通过比对两个图像中的孔位区域的特征信息，可以快速且准确地确定出这两个不同图像中的各个孔位区域的最优匹配关系。可以理解地，所确定的匹配关系可以准确地表达待检测的膜片与参考膜片中的孔位的对应关系，因此后续可以根据该对应关系快速确定出待检测的膜片中的各个孔位是否存在异常。以检测反射膜片的孔位多料异常为例，可以进一步根据待检测的膜片和参考膜片上的、具有对应关系的孔位的诸如大小、位置和形态等信息的差异情况，确定待检测的膜片是否存在孔位多料异常。

根据本申请实施例的膜片可以为任意材质、任意类型、任意规格的多孔膜片，包括但不限于反射膜片等。膜片中包括多个孔。膜片上的孔的数目可以是任意不小于2的数目。示例性而非限制性地，膜片上的孔的数目可以大于数目阈值。该数目阈值可以根据实际需求进行设置，例如10个、20个、30个等。膜片上的孔的形状和尺寸也可以是任意的。例如，可以是方形孔、圆形孔、矩形孔、菱形孔、椭圆形孔、心形孔、正多边形孔等。具体地，每个膜片上可以包括一种形状的孔，也可以包括多种形状的孔，本申请不对其进行限制。

图1示出根据本申请一个实施例的膜片图像的处理方法1000的示意性流程图。如图所示，该方法1000包括步骤S1100、步骤S1300、步骤S1500、步骤S1600和步骤S1700。

步骤S1100，获取第一图像和第二图像。其中，第一图像是待检测膜片的图像和参考膜片的图像中的一个，第二图像是待检测膜片的图像和参考膜片的图像中的另一个。

可选地，第一图像可以是待检测膜片的图像，第二图像可以是参考膜片的图像。替代地，第二图像可以是待检测膜片的图像，第一图像可以是参考膜片的图像。为了简便，后文以第一图像是待检测膜片的图像，而第二图像可以是参考膜片的图像为例进行展开说明。

根据本申请实施例，第一图像和第二图像是针对同一种膜片的图像。换言之，待检测膜片与参考膜片为同一种规格的膜片。其中，参考膜片可以理解为具有模板作用的标准膜片。具体地，以检测反射膜片上的孔位多料异常为例，参考膜片可以是已确定的各个孔均正常的膜片。换言之，第二图像是不存在孔位多料异常的正常反射膜片的图像。

第一图像和第二图像均可以是任何合适的图像，其二者既可以是灰度图像，也可以是彩色图像。其两者可以是任意合适尺寸、合适分辨率的图像，也可以是满足预设要求的图像。例如，第一图像和第二图像可以是满足分辨率要求的彩色RGB图像。

可以采用任何现有的或者未来的图像采集方式获取第一图像和第二图像。例如，第一图像和第二图像可以是采用类似的相机，在类似的拍摄环境和类似的拍摄位置下拍摄到的参数相同的图像。第一图像和第二图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征等便于前景提取的所有操作。例如，预处理操作可以包括滤波等去噪操作，也可以包括诸如对图像整体的灰度、对比度、亮度等不影响特征提取的图像调整操作。

第一图像和第二图像可以是待检测膜片和参考膜片在静态下被采集到的图像，也可以是在运动状态下被采集到的图像。对于以反射膜片为例的光学膜片而言，通常采用背光线扫成像的方法获取膜片的图像，并且在成像过程反射膜片在运动。可以理解，在这种示例中，可能导致膜片的成像效果不稳定，局部会随机拉伸、变形、光照不均匀等问题，增加了对膜片图像的处理的难度。

步骤S1300，确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域。

可选地，第一区域和第二区域可以是对应的图像中的每个孔的成像区域。例如，膜片上的孔为圆形孔，则第一区域和第二区域可以是由孔的成像像素组成的圆形区域。替代地，第一区域和第二区域可以是对应的图像中的孔的成像区域的外接图形区域。该外接图形可以是任意合适的形状，包括但不限于外接矩形、外接圆形等。例如，第一区域和第二区域为孔的成像区域的外接矩形区域。

可以采用任意合适的图像处理方法确定第一区域和第二区域，包括但不限于目标检测、图像分割、语义分割等。示例性而非限制性地，可以采用基于统计学的图像分割方法，确定第一区域和第二区域。例如，可以采用阈值分割或区域生长的方法，分割出第一图像中的每个孔的成像区域，作为每个第一区域。并采用同样的方法分割出第二图像中的每个孔的成像区域，作为每个第二区域。

以采用阈值分割的方法为例，可以预先设置一合适的像素阈值，该灰度阈值可以用于区分第一图像中对应孔的位置的像素（为了简便，后文简称孔像素）和对应孔之外的其他位置的像素（为了简便，后文简称非孔像素）。可以理解，在第一图像和第二图像中，孔像素的像素值通常与非孔像素的像素值不同。以第一图像和第二图像均为灰度图像为例。例如，光源从膜片的背面照射该膜片的整个区域，而图像采集装置从膜片的正面采集膜片的第一图像，则在采集到的膜片的第一图像中，孔像素的灰度值大于非孔像素的灰度值。具体地，可以采用任何合适的方法确定像素阈值。示例性地，该像素阈值可以是灰度阈值。例如，为了对同一生产批次的1000个膜片进行检测，利用图像采集装置采集了该批次的膜片的1000个第一图像。可以从这1000个第一图像中随机抽取5个第一图像。并可以利用人工标注或机器自动标注的方式，随机标注出每个图像中的预设数目的孔的成像区域，即标注出孔像素。预设数目可以是小于或等于孔的总数的任意数目，可以根据实际需求进行任意设置。以膜片上的孔的总数为50且预设数目是5为例，可以在第一图像中随机标注出5个孔的成像区域。在一个示例中，可以计算每个第一图像中的5个孔的成像区域中的各个像素的灰度值的最小值，可以得到与随机抽取的5个第一图像一一对应的5个最小灰度值。然后可以将这5个最小灰度值求均值，从而得到灰度阈值。在其他的示例中，还可以标注出每个第一图像中的非孔像素，并可以根据每个第一图像中的孔像素的整体灰度值和非孔像素的整体灰度值，确定灰度阈值。所确定的灰度阈值可以在孔像素的整体灰度值和非孔像素的整体灰度值之间。在确定了灰度阈值之后，在此步骤中可以对第一图像中的像素的灰度值进行统计，并将灰度值大于或等灰度阈值的像素所形成的每个区域确定为第一区域。并可以采用类似的方法确定出第二图像中的每个第二区域。

步骤S1500，确定第一图像中的第一包络区和第二图像中的第二包络区。其中，第一包络区包括各个第一区域的中心像素，第二包络区包括各个第二区域的中心像素。

示例性地，第一包络区和第二包络区分别是各个第一区域的最小外包络框所在区域和各个第二区域的最小外包络框所在区域。可以采用多种合适的方法确定第一包络区和第二包络区。在一个示例中，第一区域可以是孔位的完整成像区域，第一包络区可以是所有孔位的完整成像区域的最小包络区。在另一个示例中，第一包络区可以包括所有孔位的局部区域的。例如，第一包络区是所有孔位的中心像素的最小包络区。第一包络区和第二包络区的形状可以是任意的，包括但不限于矩形、圆形、菱形等。

在一些特殊示例中，第一图像中还可以包括多个第一包络区，对应地，第二图像中也可以包括多个第二包络区。例如，可以根据各个孔位区域在图像中的分布确定膜片图像中的多个整体孔位区域。例如，某些型号的膜片中孔位的分布区域较分散，诸如一部分圆孔分布在膜片的上边缘区域，另一部分矩形孔分布在膜片的下边缘区域。在这种示例中，可以分别确定第一图像中各个圆孔区域的整体包络框（可以称作第一圆孔包络区）和各个矩形孔区域的整体包络框（可以称作第一矩形孔包络区）。对应地，也可以确定第二图像中的各个圆孔区域的整体包络框（可以称作第二圆孔包络区）和各个矩形孔区域的整体包络框（可以称作第二矩形孔包络区）。

为了简便，下文以第一包络区和第二包络区的数目均为一个为例进行说明。示例性地，在确定第一包络区和第二包络区之前，还可以对第一图像和第二图像进行水平校正。以对第一图像进行水平校正为例。例如，如果膜片上存在水平标识，则可以根据图像中的水平标识，确定水平方向。或者，在膜片上不存在水平标识的情况下，还可以采用其他方式确定水平方向。例如，膜片中的孔按照多行多列的形式排布，每行孔的中心在一条水平线上。在这种示例中，可以确定每行孔的中心的连线，并根据各行孔的中心的连线对第一图像进行水平校正。具体地，可以计算各行中心连线分别与图像宽度方向的夹角，以得到多个夹角。然后，可以计算多个夹角的平均夹角。之后，可以通过将图像旋转该平均夹角，使得各行孔位中心连线与图像宽度方向平行。然后，可以在经水平校正的第一图像的基础上，确定第一包络区。

图2a和图2b分别示出根据本申请不同实施例的第二包络区的示意图。如图2a所示，第一包络区是所有孔位的中心像素的最小包络区。第一包络区的形状可以是矩形。即第一包络区是所有孔位的中心像素的最小矩形包络区。

示例性地，第一区域和第二区域均是孔的成像区域。步骤S1500确定第一图像中的第一包络区和第二图像中的第二包络区，包括步骤S1510和步骤S1520。步骤S1510，分别确定位于各个第一区域的中心的各个第一中心像素，并生成包括各个第一中心像素的最小矩形包络框，作为第一包络区。步骤S1502，分别确定位于各个第二区域的中心的各个第二中心像素，并生成包括各个第二中心像素的最小矩形包络框，作为第二包络区。

确定每个第一区域的中心像素和每个第二区域的中心像素的方法可以具有多种。以确定每个第一区域的中心像素为例。在一个示例中，第一区域可以是孔的成像区域。在此步骤中可以直接确定位于每个第一区域的中心位置的像素，作为第一中心像素。在另一示例中，也可以首先确定每个第一区域的矩形外包络框，然后，可以将位于矩形外包络的中心的像素组委第一中心像素。例如，第一图像中具有20个孔，则可以确定20个第一区域各自的第一中心像素，从而可以得到20个第一中心像素。然后，可以根据这20个第一中心像素的坐标（例如包括x坐标和y坐标），确定第一包络区。例如，可以分别确定这20个第一中心像素的x坐标的最小值（例如x_min）和最大值（例如x_max）、y坐标的最小值（例如y_min）和最大值（例如y_max），进而可以根据这四个值，确定第一包络区。例如,第一包络区可以表示为x_min≤x_≤x_max并且y_min≤y_≤y_max。图2c示出根据本申请一个实施例的第一图像的示意图。如图所示，可以确定第一包络区A’B’C’D’。同样，也可以按照类似的方法确定出图2a中示出的第一包络区ABCD。

步骤S1600，根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同。

可以理解，对第二图像进行仿射变换，可以达到将第一图像的整体孔位区域和第二图像中的整体孔位区域进行对齐的目的。在本申请实施例中，整体孔位区域的对齐至少可以包括尺寸对齐。优选地，整体孔位区域的对齐还可以包括位置对齐。

例如，如果第一包络区和第二包络区均为矩形，并且第一包络区的尺寸为500pixel*700pixel，第二包络区的尺寸为480pixel*680pixel。则在对第二图像进行仿射变换的示例中，经变换的第二包络区的尺寸可以是480pixel*680pixel。在这种示例中，对第二图像的变换可以至少包括对第二包络区的缩放变换。具体地，可以首先根据第二包络区的中心像素的位置和第一包络区的尺寸，确定缩放后的第二包络区在图像中的位置和大小。可以根据第二包络区与第一包络区的大小之间的比例关系来确定在x轴和y轴上的缩放比例Sx和Sy，从而得到仿射变换所需的变换矩阵。之后，可以仿射变换矩阵应用到第一二包络区上，进行缩放操作。例如，可以通过仿射变换的公式来计算变换后的第二包络区中的各个像素的坐标位置。可以理解，通过仿射变换可以至少实现对第二包络区的缩放，保持了第二包络区的平行性质。在该示例中，还可以在对第二图像进行仿射变换之前，以第二包络区的中心像素为原点对第二图像进行中心点归一化操作，使得第一包络区和第二包络区的坐标初步对齐。这样，可以减少仿射变换和后续区域匹配的计算量。或者，也可以在对第二图像中的第二包络区进行缩放变换，使得变换后的第二图像中第二包络区的尺寸和第一包络区的尺寸相同之后，以变换后的第二包络区的中心为原点，对变换后的第二图像执行中心点归一化操作，并可以以第一包络区的中心为原点，对第一图像执行中心点归一化操作。这样，变换后的第二包络区和第一包络区域的坐标也得到了对齐。当然，也可以通过仿射变换对第二包络区进行缩放变换和平移变换，使得变换后的第二包络区和第一包络区的位置和尺寸均处于对齐状态。

仿射变换的过程可以采用如下方法实现。可以采用预设规则分别确定第一图像和第二图像中的各个控制点，并根据控制点的对应关系生成控制点对，然后可以根据控制点对，确定对第二图像进行变换的变换矩阵。在一个示例中，上述控制点的选取可以是一个整体孔位区域的控制点。例如，第一图像中包括20个第一区域，则可以确定这20个第一区域的整体包络框（即第一包络区）。可以将关于该第一包络区的中心点和多个边缘点（例如4个顶点）作为控制点。同样地，如果第二图像中包括21个第二区域，则可以确定这21个第二区域的整体包络框（即第二包络区）。并可以确定关于该第二包络区的各个控制点。然后，可以根据第二包络区的各个控制点和第一包络区的各个控制点的坐标以及第二包络区和第一包络区中控制点的对应关系，计算变换矩阵。如上所述，该变换矩阵可以是至少包括缩放矩阵的仿射变换矩阵。可以理解，利用上述变换矩阵对第二图像进行变换可以实现将两个图像中的整体孔位区域的初步对齐。

在一些特殊示例中，例如，对于上述确定多个包络区（例如包络圆孔包络区和矩形孔包络区）的情况，控制点的选取可以是多个整体孔位区域的控制点。然后，可以采用类似的方法，分别确定两个图像中关于圆孔包络区的控制点对和关于矩形孔包络区的控制点对。并可以分别确定对第二图像中的圆孔包络区进行变换的变换矩阵和对第二图像中的矩形孔包络区进行变换的变换矩阵。从而，可以按照这两个变换矩阵分别对第二图像中的圆孔包络区和矩形孔包络区进行变换。

图3a示出根据本申请一个实施例的第二图像与第一图像的叠加示意图。如图3a所示，图中示出的膜片可以是反射膜片。膜片上包括多个矩形孔和多个圆形孔。如图所示，待检测膜片的图像和参考膜片的图像中，上方的3个矩形孔和左上方的12个圆形孔的形变拉伸程度较小，而下方的孔位区域则形变拉伸的程度则较大。如果直接采用诸如形状匹配、标准化互相关匹配等的模板匹配算法进行孔位匹配，则由于孔位变形，则匹配精度显然无法达到要求，无法很好地运用在实际生产环境中。而根据本申请实施例的上述方案，通过确定第一图像中的第一包络区和第二图像中的第二包络区，并将第一图像或第二图像进行仿射变换，使得两个图像中的整体孔位区域的尺寸完全对齐，从而可以有效解决孔位变形造成的匹配精度不准的问题。从而可以保证待检测膜片图像和参考膜片图像的孔位匹配更精准。

步骤S1700，将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。

在此步骤中，可以首先采用任何合适的方法分别确定第一图像和经变换的第二图像中每个第一区域和经变换的第二区域（为了简便，后文称作第二区域）的特征信息。该特征信息可以包括对应区域的位置特征信息、形状特征信息、像素分布特征信息等多种类别的特征信息中的至少一种。每种特征信息可以包括至少一个具体的特征信息。

示例性地，该特征信息可以至少包括区域的位置特征信息。位置特征信息可以是每个区域的某一特征位置的特征点在图像中的坐标，例如是区域中心的坐标或区域的一个或多个角点的坐标。例如，第一区域和第二区域是矩形区域，该位置特征信息可以是矩形的中心点和/或四个顶点的坐标。形状特征信息可以是每个区域的轮廓、边缘、曲线等的形状特征。例如，其可以是区域的宽度和高度的比值。像素分布特征信息可以理解为尺寸特征信息。例如，其可以是区域中像素的总数，也可以是该区域中满足预设要求的像素的数目。示例性而非限制性地，可以用区域中的像素的总数表示区域面积，用区域中沿某一预设方向分布的像素的数目表示区域宽度和区域高度等。

根据本申请实施例，第一区域的特征信息和第二区域的特征信息可以是一次性获取的，也可以是分多次获取的，本申请不对其进行限制。在此步骤中，可以将所获取的第一区域和第二区域的多个特征信息分别进行对比，并直接根据多个特征信息的对比结果直接确定与每个第一区域匹配的第二区域。或者，还可以分多次对比第一区域和第二区域的特征信息，并根据每次的对比结果，确定每个第一区域与第二区域对应当前特征信息的初始匹配关系。最终，可以根据分别对应各个特征信息的初始匹配关系，确定每个第一区域与第二区域的最终匹配关系。对于后者的方案，该多次对比第一区域和第二区域的特征信息的操作相互之间可以具有依赖关系，也可以不具有依赖关系。

在一个示例中，可以在获取每个第一区域和第二区域的多个特征信息之后，一次性对比每个第一区域和第二区域的多个特征信息的差异，最终根据多个特征信息的差异确定与每个第一区域匹配的第二区域。例如，可以采用任意合适的特征提取方式对第一图像中的每个第一区域进行特征提取，以确定出第一区域的上述位置特征信息、形状特征信息、像素分布特征信息等多种特征信息中的至少一种。然后，可以采用任何合适的对比方法，将每个第一区域的上述特征信息分别与每个第二区域的上述特征信息一一对比，并综合针对各个特征信息的对比结果，确定与每个第一区域匹配的第二区域。

在一个具体示例中，区域的特征信息可以是区域的中心点的坐标。可以确定第一图像中的每个第一区域的中心点的第一坐标，并确定经变换的第二图像中的每个第二区域的中心点的第二坐标。对于每个第一区域，可以从经变换的第二图像中查找中心点的第二坐标最接近该第一区域的中心点的第一坐标的第二区域，作为与该第一区域匹配的第二区域。在这种示例中，如果待检测膜片中存在孔位多料异常，则可能存在一个第一区域匹配多个第二区域的特殊情况，可以进一步采用合适的进一步匹配判断逻辑，确定最终的匹配关系。

在其他的示例中，可以在提取出每个第一区域和每个第二区域（经变换的第二区域）的位置特征信息、形状特征信息、像素分布特征信息等多种特征信息之后，还可以采用其他的匹配方法，确定与每个第一区域匹配的第二区域。示例性而非限制性地，可以对比第一区域和第二区域的每个特征信息的差异，并可以采用各种合适的统计方法计算能够表示两个区域之间的多个特征信息的综合差异情况的总差异值。例如，可以根据多个特征信息的重要程度设置合适的权重，并可以采用加权平均的方法计算每个第一区域和第二区域之间的多个特征信息的总差异值，然后可以将总差异值最小的两个区域（第一区域和第二区域）确定为具有最优匹配关系的区域。具体地，对于每个第一区域，可以分别计算该第一区域与每个第二区域关于每个特征信息的差异值。例如，特征信息包括区域的中心点位置信息，可以计算该第一区域的中心点坐标和各个第二区域的中心点坐标的坐标差。并可以根据该第一区域与所有第二区域的中心点坐标的坐标差的最大值和最小值将所计算的每个坐标差进行归一化处理。在计算总差异值的过程中，可以将归一化后的坐标差乘以对应的权重，作为该第一区域和每个第二区域之间的、对应该项特征信息的差异值。在特征信息包括形状特征信息的示例中，可以根据孔位的形状确定合适的形状特征表示方法。例如，对于膜片上包括矩形孔的情况，可以在提取每个孔位区域（第一区域和第二区域）的轮廓之后，可以计算每个孔位区域的矩形度。类似地，对于膜片上包括圆形孔的情况，也可以计算每个孔位区域的圆形度。然后，可以计算每个第一区域和每个第二区域的矩形度或圆形度的差异值。可以理解，上述差异值可以是任何能够表示两个区域的特征信息的差异情况的标量值、向量或矩阵等。该标量值可以是差值、比值或利用任何其他合适的统计方式计算得到的值。

在另一示例中，还可以分多次对比第一区域和第二区域的特征信息，并多次确定第一区域和第二区域的匹配关系。例如，可以一次性获取第一区域和第二区域的多个特征信息。然后，可以分别对比每个第一区域和第二区域的各类特征信息，并根据对应每类特征信息的对比结果，确定每个第一区域与第二区域的、对应该类特征信息的匹配关系。可以理解，确定每个第一区域与第二区域的、对应不同类特征信息的匹配关系的步骤可以是独立执行的，互相之间不具有依赖关系。在这种示例中，可以根据所确定的对应不同类特征信息的匹配关系，采用合适的确定逻辑，确定与每个第一区域匹配的第二区域。例如，上述根据第一区域和第二区域的位置特征信息的对比结果所确定的每个第一区域和每个第二区域的匹配结果可以称作位置匹配结果。可选地，对于所获取的区域的特征信息仅包括上述位置特征信息的情况，可以直接将位置匹配结果作为最终的匹配结果。如前所述，所获取的区域的特征信息除了位置特征信息之外，还可以包括区域的形状特征信息和像素分布特征信息。替代地，还可以根据所获取的区域的其他特征信息，确定针对其他特征的匹配结果。最终，可以对多种匹配结果进行分析，确定最终的匹配结果。在该示例中，还可以提取每个第一区域和第二区域的形状特征信息和像素分布特征信息。然后，一方面将每个第一区域的形状特征信息与每个第二区域的形状特征信息进行对比，得到形状特征信息对比结果。然后，可以根据形状特征信息对比结果，确定每个第一区域和第二区域的匹配关系，作为形状匹配结果。另一方面，可以将每个第一区域的像素分布特征信息与每个第二区域的像素分布特征信息进行对比，得到像素分布特征信息对比结果。然后，可以根据像素分布特征信息对比结果，确定每个第一区域和第二区域的匹配关系，作为像素分布匹配结果。最终，可以综合位置匹配结果、形状匹配结果、像素分布匹配结果这三者，确定与每个第一区域匹配的第二区域。

在一个具体示例中，可以根据第一图像中的每个第一区域的和经变换的第二图像中的每个经变换的第二区域之间的特征信息的差异，确定每个第一区域和每个第二区域的匹配概率。其中，对于任意的第一区域和经变换的第二区域，如果该第一区域的第二特征信息与该经变换的第二区域的第二特征信息的差异越大，则该第一区域与变换前的第二区域的匹配概率越小然后，可以根据每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的概率矩阵。最终，可以根据生成的概率矩阵，并利用匈牙利算法，确定与每个第一区域之间具有最优匹配关系的第二区域。

示例性地，第一区域和第二区域均是孔的成像区域。该处理方法1000还包括步骤S1310和步骤S1320。步骤S1310，根据第一图像中各个像素的像素值和第一像素阈值，确定第一图像中的第一区域。其中，第一区域中的像素的像素值大于或等于第一像素阈值，并且第一图像中的、第一区域之外的其他像素的像素值小于第一像素阈值。步骤S1320，根据第二图像中各个像素的像素值和第二像素阈值，确定第一图像中的第二区域。其中，第二区域中的像素的像素值大于或等于第二像素阈值，并且第二像中的、第二区域之外的其他像素的像素值小于第二像素阈值。

示例性地，第一像素阈值和第二像素阈值均可以是灰度阈值。对于第一图像和第二图像均为灰度图像的情况，可以直接将第一图像的各个像素的灰度值和预设的第一灰度阈值进行对比，确定该图像中的每个第一区域。并可以直接将第二图像的各个像素的灰度值和预设的第二灰度阈值进行对比，确定该图像中的每个第二区域。对于第一图像和第二图像中的至少一者为彩色图像的示情况，则可以先将彩色图像转换为灰度图像或者采用任意合适的灰度转换公式将彩色图像中每个像素的多通道像素值转换为灰度值，进而采用上述方法确定第一区域和第二区域。

第一像素阈值与第二像素阈值可以相同，也可以不同，本申请不对其进行限制。例如，第二图像和第一图像的采集环境可能不同，因此，其整体亮度水平可能存在差异。在这种示例中，第一像素阈值和第二像素阈值可以不同。第一像素阈值和第二像素阈值可以是用户根据实际检测需求设置好的，也可以是采用任意合适的阈值确定方法确定出的，本申请不对其进行限制。例如，可以采用前述示例中设置灰度阈值的方法确定第一像素阈值和第二像素阈值。

以第一像素阈值和第二像素阈值均为灰度阈值150为例。可以将第一图像中的灰度值大于或等于150的像素所组成的每个连通区域确定为第一区域。并可以将第二图像中灰度值大于或等于150的像素所组成的每个连通区域确定为第二区域。可以理解，在第一图像中，每个第一区域对应一个孔的成像区域。而在第二图像中，每个第二区域对应一个孔的成像区域。如果待检测膜片上包括10个矩形孔和10个圆形孔，则在成像效果较好的情况下，可以在第一图像中确定20个第一区域，其中包括10个矩形区域和10个圆形区域。

上述确定第一区域和第二区域的方法执行逻辑简单，计算量也较小，可以显著提高对膜片图像的处理效率。

示例性地，在步骤S1600之前，该处理方法1000还包括步骤S1521和步骤S1522。步骤S1521，以第一包络区的中心为原点，对第一图像进行中心点归一化操作。步骤S1522，以第二包络区的中心为原点，对第二图像进行中心点归一化操作，以得到归一后的第二图像。

图2d示出根据本申请一个实施例的中心点归一化后的第一图像和第二图像的叠加示意图。如图所示，通过对第一图像和第二图像进行上述中心点归一化的操作，可以使得第一包络区和第二包络区的中心坐标完全对齐，从而可以使得第一包络区和第二包络区中的各个孔位的位置处于初步对齐的状态。

这样既可以减小后续图像仿射变换的计算量，显著提高处理效率，同时还可以快速实现仿射变换后的第一图像和第二图像的位置对齐。

示例性地，第一包络区和第二包络区分别是各个第一区域的最小外包络框所在区域和各个第二区域的最小外包络框所在区域。步骤S1600对第二图像进行仿射变换，包括步骤S1611至步骤S1614。

步骤S1611，分别确定关于第一包络区的多个第一控制点的坐标和关于第二包络区的多个第二控制点的坐标。其中，多个第一控制点和多个第二控制点一一对应，多个第一控制点至少包括第一包络区的4个顶点，多个第二控制点至少包括第二包络区的4个顶点，第一控制点和第二控制点的数目相同。

再次参考图2a，图2a可以是参考膜片的第二图像。第二控制点可以包括第二包络区的4个顶点（图中的A、B、C、D点）。当然，第二控制点还可以包括表示第二包络区的其他控制点。例如，第二包络区的中心点。或者，还可以包括第二包络区的四条边的中点等。图2c可以是待检测膜片的第一图像。第一控制点与第二控制点对应。下面以第一控制点为第一包络区的4个顶点（图中的A’、B’、C’、D’点）为例进行说明。在此步骤中，可以分别确定第一图像中A’、B’、C’、D’点的坐标和第二图像中的A、B、C、D点的坐标。

步骤S1612，根据多个第一控制点和多个第二控制点在各自图像中的坐标、多个第一控制点和多个第二控制点的对应关系，生成多个控制点对。生成的控制点对可以包括A→A’、B→B’、C→C’、D→D’。

步骤S1613，根据多个控制点对，计算出将各个第二控制点向对应的各个第一控制点进行对齐的仿射变换矩阵。仿射变换算法包括但不限于：基于矩阵变换的方法、基于插值的方法（双线性插值、双三次插值等）、基于仿射空间变换的方法等。

步骤S1614，利用仿射变换矩阵，对第二图像中的各个像素的位置进行变换，以使经变换的各个第二控制点的坐标与对应的第一控制点的坐标相同。图2e示出根据本申请一个实施例的变换后的第二图像和第一图像的叠加示意图。如图2e所示，在利用仿射变换矩阵对第二图像中的各个像素的位置进行变换之后所得到的第二图像中，经变换的第二区域的四个顶点A、B、C、D的坐标分别与A’、B’、C’、D’的坐标相同。

上述根据第一包络区和第二包络区的各个一一对应的控制点作为控制点对确定仿射变换矩阵对第二图像进行变换的方法，可以实现第一图像中的整体孔位区域和第二图像中的整体孔位区域的位置和尺寸的充分对齐，可以提高图像处理的效率和准确性，并可以显著提高后续孔位匹配的准确性，也提升了系统的可靠性。

示例性地，步骤S1700包括步骤S1710和步骤S1720。

步骤S1710，将每个经变换的第二区域的各项特征信息和每个第一区域的各项特征信息进行对比，并根据对比结果确定每个第一区域和每个第二区域的匹配概率。

示例性地，各项特征信息可以包括以下一项或多项：区域的特征点的位置、区域的第一长度、区域的第二长度、区域的第一长度和第二长度的比值。第一长度是区域在第一方向上的长度，第二长度是区域在第二方向的长度，第一方向垂直于第二方向。第一方向和第二方向可以根据实际需求进行任意设置。例如，第一方向是是图像宽度方向，第二方向是图像高度方向。则第一长度可以是区域宽度，第二长度可以是区域高度。

如前所述，第一区域的特征信息和第二区域的特征信息可以包括对应区域的位置特征信息、形状特征信息、像素分布特征信息等多种特征信息中的至少一种。根据本申请实施例，位置特征信息可以是区域的一个或多个特征点的位置。该特征点可以是区域的中心点和任意边缘点。形状特征信息可以包括区域宽度和区域高度的比值。像素分布特征信息可以包括区域宽度和/或区域高度。

在一个示例中，该特征信息可以至少包括区域的特征点的位置。在此步骤中，可以对每个第一区域和每个第二区域的至少一个区域特征点的位置进行对比（为了简便，可以称作“特征点对比操作”）。对比结果可以至少包括每个第一区域和每个第二区域的各个特征点的位置差异。进而，可以至少根据每个第一区域和每个第二区域的各个特征点的位置差异确定每个第一区域和每个第二区域的匹配概率。区域的特征点可以是任意的，包括但不限于区域的中心点、角点、边缘点等。

在另一个示例中，该特征信息可以包括区域的第一长度和/或第二长度。例如，该特征信息可以包括区域的宽度和高度。在此步骤中，可以对每个第一区域和每个第二区域的宽度和高度分别进行对比（为了简便，可以称作“尺寸对比操作”）。可选地，可以直接利用前述示例中计算每个第一区域与每个第二区域关于每个特征信息的差异值和每个第一区域与每个第二区域关于多个特征信息的总差异值的方法计算。即，对于任意第一区域和任意第二区域，可以直接对比该第一区域和该第二区域的宽度和高度的差异，并根据得到的宽度差异和高度差异，计算该第一区域和该第二区域的匹配概率。例如，对于任意的第一区域和第二区域，若两个区域的宽度差异越大，则两个区域的匹配概率越小；若两个区域的高度差异越大，则两个区域的匹配概率越小。又可选地，也可以在上述“特征点对比操作”执行之后执行该“尺寸对比操作”。例如，可以在利用各个第一区域的边缘点和各个第二区域的边缘点对第一图像和第二图像配准之后，基于配准后的图像执行该“尺寸对比操作”。最终，可以根据该“尺寸对比操作”的结果确定每个第一区域和每个第二区域的匹配概率。当然，最终的匹配概率的确定还可以结合针对其他多种特征信息的对比结果共同确定。

在又一个示例中，该特征信息还可以包括区域的第一长度和第二长度的比值。第一长度和第二长度的比值可以是区域的宽度和高度的比值，可以称作宽高比。在此步骤中，可以先计算每个第一区域的宽高比和每个第二区域的宽高比，然后对任意的第一区域和第二区域，对比该第一区域和该第二区域的宽高比的差异（为了简便，可以称作“宽高比对比操作”）。可选地，此步骤中可以直接针对第一图像中的每个第一区域和第二图像中的每个第二区域执行“宽高比对比操作”。然后，基于所得到的每个第一区域和每个第二区域的宽高比的差异，确定每个第一区域和每个第二区域的匹配概率。例如，对于任意的第一区域和第二区域，若两个区域的宽高比差异越大，则两个区域的匹配概率越小。与上述“尺寸对比操作”的执行逻辑类似地，“宽高比对比操作”也可以与针对其他多种特征信息的对比操作组合。例如，可以在诸如图像配准的“特征点对比操作”之后，针对配准后的图像同时执行“宽高比对比操作”和“尺寸对比操作”。可以理解，对于一些特殊情况，受到成像环境的影响，膜片图像可能会存在形变。例如，利用线扫相机采集移动中的膜片的不同部位的多个图像，并将多个图像拼接为一个完整的膜片图像。然后，可以将拼接后的待检测膜片图像与参考膜片图像中的孔位进行匹配，根据匹配结果检测是否存在孔位多料异常。在成像不稳定的情况下，可能导致拼接后的图像局部随机拉伸、变形。在这种情况下，待检测膜片图像与参考膜片图像中的相匹配的孔位的宽度和高度并不相等，存在一定差异，但相匹配的孔位的宽高比则较接近。因此，在此步骤中，在对待检测膜片图像或参考膜片图像的整体孔位区域进行对齐的基础上，进一步通过上述“宽高比对比操作”的对比结果来确定第一区域和第二区域的匹配概率的方案所确定的匹配概率更准确。根据所确定的匹配概率，可以快速且准确地确定出于每个第一区域匹配的第二区域。

需要说明的是，在本申请的上述实施例中，“特征点对比操作”、“宽高比对比操作”和“尺寸对比操作”可以独立执行，也可以组合执行。在组合执行的实施例中，不同的对比操作可以同时执行，也可以按照预设的先后顺序之后。并且，每种对比操作的执行次数也可以根据实际需求任意设置。

步骤S1720，根据每个第一区域和每个第二区域的匹配概率，确定与每个第一区域匹配的第二区域。此步骤中，可以根据每个第一区域和每个第二区域的匹配概率，采用任意合适的确定逻辑，确定与每个第一区域匹配的第二区域。在一个示例中，对于每个第一区域，如果该第一区域与唯一的第二区域的匹配概率小于该第一区域与其他各个第二区域的匹配概率，则将该唯一的第二区域作为与该第一区域匹配的第二区域。在另一示例中，还可以对每个第一区域和每个第二区域的匹配概率做进一步统计分析，并根据分析结果，确定出与每个第一区域匹配的第二区域。示例性而非限制性地，可以根据每个第一区域和每个第二区域的匹配概率生成关于每个第一区域和每个第二区域的匹配关系的概率矩阵。然后，可以根据生成的概率矩阵，并利用匈牙利算法，确定与每个第一区域之间具有最优匹配关系的第二区域。

需要说明的是，在本申请的上述方案中，可以根据实际检测需求提取第一区域和第二区域的上述任意一项或多项特征信息。例如，用户可以根据不同类型待检测膜片的不同特征选用对应合适的特征信息项目。在对待检测膜片和参考膜片的图像进行处理的过程中，可以提取相应合适的孔位特征，并根据待检测膜片和参考膜片中的孔位区域的特征信息的差异，计算待检测膜片中的孔位和参考膜片中的孔位的匹配概率。可以根据所确定的匹配概率来确定待检测膜片中的孔位和参考膜片中的孔位的匹配关系。最终可以根据孔位匹配结果，对每个孔位区域进行检测。这样，不仅可以提高检测的精度，还可以提高检测的效率。

上述方案中，在计算每个第一区域和第二区域的匹配概率之前，首先对第一图像和第二图像中的整体孔位区域进行配准，根据配准后的结果确定第一区域和第二区域的匹配概率。由于配准后的第一图像和第二图像是初步对齐的状态，因此相匹配的第一区域和第二区域在配准后的两个图像中的位置更接近。因此，基于配准后的两个图像来确定每个第一区域和每个第二区域的匹配概率的方法，不仅可以一定程度上保证所确定的匹配概率的准确性，还可以根据实际的图像处理需求，综合考虑各种可能影响孔位匹配效果的因素来确定匹配概率，从而可以进一步提高所确定的匹配概率的准确性。并且，这种通过匹配概率来确定膜片孔位匹配关系的方案，处理逻辑简单，计算量更小，并且匹配结果也更准确。从而，处理效率和处理精度均较高。

示例性地，各项特征信息至少包括区域的位置特征信息。步骤S1710包括步骤S1711和步骤S1712。

步骤S1711对于每个第一区域和经变换的第二图像中的每个经变换的第二区域，将该第一区域的各项特征信息和该第二区域的各项特征信息进行对比，并得到该第一区域和该第二区域的各项特征信息之间的差异。

步骤S1712，根据所述差异，确定该第一区域和该第二区域的匹配概率。其中，如果该第一区域与该第二区域的任意一项特征信息之间的差异越大，则该第一区域与该第二区域的匹配概率越小。

如上所述，各项特征信息至少可以包括区域的位置特征信息。区域的位置特征信息可以是区域中心的位置坐标。示例性地，各项特征信息还可以包括以下至少一者：区域的中心点的位置、区域的第一长度、区域的第二长度、区域的第一长度和第二长度的比值。其中，第一长度是区域在第一方向上的长度，第二长度是区域在第二方向的长度，第一方向垂直于第二方向。

例如，在对第二图像进行仿射变换之后，可以统计经变换的第二图像中的各个孔位区域（第二区域）的中心点像素的位置。示例性地，还可以计算每个孔位区域的宽度和高度。还可以进一步计算每个孔位区域的宽度和高度的比值，作为该孔位区域的宽高比。同样地，可以确定第一图像中的每个孔位区域（第一区域）的中心点像素的位置、宽度、高度、宽高比。可以采用任意合适的统计方法，确定每个第一区域和每个第二区域关于上述至少一项第二特征信息之间的差异。并可以根据这些差异，确定第一区域和第二区域的匹配概率。对于任意的第一区域和第二区域，如果所统计的这两个区域的第二特征信息的差异越大，则匹配概率越小。由此，在对第一图像和第二图像进行配准的基础上，对配准后的两个图像中的孔位区域进一步提取关于区域中心点位置、区域长度和区域尺寸比的第二特征信息，并基于这些特征信息的差异，确定第一区域和第二区域的匹配概率。这种方案可以进一步提高所确定的第一区域和第二区域的匹配概率的准确度。从而，可以得到更精准的匹配结果。

可以理解，对于一些特殊的膜片图像，通常采用背光线扫的方法获得反射膜片的图像，成像过程中反射膜片处于运动状态，导致成像效果不稳定，局部会随机拉伸、变形、光照不均匀等问题。将待检测膜片的图像与参考膜片的图像进行配准之后，可以实现孔位区域的粗略配准。但是由于图像的局部区域存在形变或错位，相匹配的孔位并不会完全对齐，还可能出现如图2e中所示出的相匹配的孔位错位的现象。在这种情况下，无法根据配准的结果准确确定出待检测膜片的图像中每个孔位的匹配孔位。

发明人通过大量的研究发现，在待检测膜片的图像中，变形的孔位区域的形状仍与参考膜片的图像中相匹配的未变形孔位的形状存在一定的相似性。并且相匹配的孔位区域的局部距离关联性较强。并且，在将两个图像中的整体孔位区域进行位置和尺寸的对齐后，第一图像中和第二图像中各个孔位区域处于初步配准状态。在此基础上，根据孔位区域的中心点位置、孔位区域的宽度、区域的高度、区域的宽高比等至少一项特征信息的差异确定待检测膜片的图像中的孔位区域和参考膜片的图像中的孔位区域的匹配概率的方式可以进一步有效、准确且快速地确定出待检测膜片中的孔位和参考膜片中的孔位的匹配关系。

上述方案中，在对待检测膜片的图像和参考膜片的图像中整体孔位区域进行对齐的基础上，进一步对比对齐后的两个图像中的孔位区域的各项特征信息，从而可以快速且准确地确定第一区域和第二区域的匹配概率。并可以可以进一步提高所确定的匹配概率的准确度。

示例性地，步骤S1712中确定每个第一区域和每个第二区域的匹配概率具体包括利用如下公式计算每个第一区域和每个第二区域的匹配概率：；

其中， =/>其中，/>表示所述第一图像中的第i个第一区域和所述第二图像中的第j个第二区域之间的匹配概率；/>表示第i个第一区域的中心点在所述第一方向上的坐标分量，/>表示第j个经变换的第二区域的中心点在所述第一方向上的坐标分量，/>表示第i个第一区域的中心点在所述第二方向上的坐标分量，/>表示第j个经变换的第二区域的中心点在所述第二方向上的坐标分量；/>表示第i个第一区域在所述第一方向上的长度/>表示第j个经变换的第二区域在所述第一方向上的长度，/>表示第i个第一区域在所述第二方向上的长度/>表示第j个经变换的第二区域在所述第二方向上的长度；n表示所述第二区域的总数量。

示例性地，在对第一图像和第二图像进行中心点归一化操作，并对第二图像进行仿射变换之后，可以得到整体孔位区域与第一图像中的整体孔位区域充分对齐的第二图像。可以进一步统计变换后的第二图像中的每个孔位区域（经变换的第二区域）的中心点的位置、每个孔位区域的宽度和每个孔位区域的高度。同样地，可以统计第一图像中的每个孔位区域的中心点的位置、每个孔位区域的宽度和每个孔位区域的高度。然后，可以将相应的值代入至上述公式中，确定每个第一区域和每个第二区域的匹配概率。以计算第一图像中的第3个孔位区域和经变换的第二图像中的第5个孔位区域的匹配概率为例。再次参考图3a，可以理解，上述公式中的Dis表示在例如图3a的叠加图像中，第一图像中的第3个孔位区域的中心与经变换的第二图像中的各个孔位区域的中心之间的距离的最大值，例如可以称作对应第一图像中的第3个孔位区域的最大孔位间距。可以将所统计的第一图像中的第3个第一区域的中心点坐标、区域的宽度和高度和经变换的第二图像中的第5个孔位区域的中心点坐标、区域的宽度和高度，以及所计算的最大孔位间距代入至上述公式中进行计算，即可准确得到这两个孔位区域的匹配概率。

可以理解，根据上述公式，对于任意第一区域和第二区域，如果该第一区域和经变换的第二区域的区域中心点位置差异越大，则两者的匹配概率越小；如果该第一区域和经变换的第二区域的宽度差异越大，则两者的匹配概率越小；如果该第一区域和经变换的第二区域的高度差异越大，则两者的匹配概率越小。

可以理解，上述概率公式中充分考虑了整体孔位区域充分对齐后的第二图像和第一图像中的各个孔位区域的位置差异、形状差异和尺寸差异，由此所计算的第一区域和第二区域的匹配概率更准确，得到的匹配结果更精准。此外，这种方案执行逻辑简单，并且计算量也较小。从而，对膜片图像的处理精度和效率均较高。同时，这种方案在图像出现局部形变、拉伸等成像效果不好的情况下也依然可以获得准确的匹配结果。从而这种方案可以适用于对多种类型的膜片图像的处理，也均可以得到较好的孔位匹配结果，因此方案的适用性更高。在此基础上，还可以通过匹配的结果，准确检测出对应孔位是否有多料等异常，从而提高了程序的稳定性。

示例性地，步骤S1720根据每个第一区域和每个第二区域的匹配概率，确定与每个第一区域匹配的第二区域，包括步骤S1721和步骤S1722。

步骤S1721，根据每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的概率矩阵。步骤S1722，根据概率矩阵，并利用匈牙利算法，确定与每个第一区域之间具有最优匹配关系的第二区域。

具体地，可以采用以下步骤确定与每个第一区域具有最优匹配关系的第二区域。步骤一：对初始的概率矩阵先作行变换，再作列变换行变换；将初始的概率矩阵的每一行的各个元素分别减去该行的最小元素列变换；将初始的概率矩阵的每一列的各个元素分别减去该列的最小元素，有0的列则无需作列变换。步骤二：在经过行变换和列变换的概率矩阵中寻找n个不同行不同列的0元素；如找到，则这n个不同行不同列的0元素位置即对应最优指派；否则，执行步骤三。在此步骤中，一般使用标记法来寻找n个不同行不同列的0元素。（1）依次检查新概率矩阵的各行，找出只有一个没有加标记的0元素的行，并将这个0元素加上标记“”，而与这个0元素在同一列的0元素全划去。（2）依次检查新概率矩阵的各列，找出只有一个没有加标记的0元素的列，并将这个0元素加上标记“”，而与这个0元素在同一行的0元素全划去。步骤三：对新的概率矩阵进行调整。首先，对每一个加了标记的0元素画一条横线或竖线，使得这些横线和竖线覆盖全部0元素；其次，在这些横线和竖线没有经过的元素中找出最小的元素；然后，将未画横线的各行元素减去这个最小的数，画竖线的各列元素加上这个最小的数；最后，重新在概率矩阵中找出n个不同行不同列的0元素，从而找出最优指派。

上述方案，利用匈牙利算法对概率矩阵进行变换计算，从而准确确定出第一区域和第二区域的最优匹配关系。这种方法实现逻辑简单，时间复杂度较低，从而处理效率更高。并且，这种方案可以遍历所有路径，不会遗漏，也进一步提高了匹配结果的准确性。

示例性地，处理方法1000还可以包括：确定第一图像中的第一区域的第一数目和第二图像中的第二区域的第二数目。

步骤S1721根据每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的概率矩阵，包括步骤S1721a和步骤S1721b。步骤S1721a，根据第一数目、第二数目和每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的初始矩阵。其中，初始矩阵的行数等于第一数目，初始矩阵的列数等于第二数目；初始矩阵中的每一行对应一个第一区域，初始矩阵中的每一列对应一个第二区域；初始矩阵中的每个元素等于所在行对应的第一区域和所在列对应的第二区域之间的匹配概率。步骤S1721b，根据初始矩阵，确定概率矩阵。其中，在第一数目等于第二数目的情况下，直接将初始矩阵作为概率矩阵。

在确定每个第一区域与每个第二区域的匹配概率之后，可以根据所确定的匹配概率、第一区域的数目和第二区域的数目生成初始矩阵。例如，第一区域的数目和第二区域的数目均为8，可以根据所确定的匹配概率构建一个8*8的概率矩阵。每一行对应一个第一区域，每一列对应一个第二区域，每个元素即为对应第一区域和第二区域的匹配概率。之后可以利用匈牙利算法，确定与每个第一区域具有最优匹配关系的第二区域。

上述方案中，将经过概率计算公式计算得到的每一个第一区域与每一个第二区域匹配的概率构建成一个矩阵，后续对矩阵进行操作进而寻找每一个第一区域与跟它有最优匹配的第二区域。这种方式确定了对于每一个第一区域，都能从所有第二区域与他的匹配中寻找到一个最优匹配。并且对不同的第一区域与第二区域的匹配关系，宏观上进行统筹，保证每一个第一区域都有一个最优匹配的唯一的第二区域。

示例性地，步骤S1721b根据初始矩阵，确定概率矩阵还包括步骤S1721b.1。步骤S1721b.1，在第一数目不等于第二数目的情况下，增加初始矩阵的行或列，以得到概率矩阵。其中，概率矩阵的行数和列数均等于第一数目和第二数目中的较大者，并且所增加的行或列中的各个元素的值小于0。

示例性地，如下表1所示的概率矩阵中，可以表示第一区域的序号，/>是可以表示第二区域的序号，其中/>可以表示第一区域和第二区域的匹配概率。假设待检测膜片中的孔位有多料现象，正常膜片中应有j个孔，从第一图像中可能仅能提取出i个孔位区域，而第二图像中则提取了j个第二区域。在此步骤中，可以针对插入j-i个列负权矩阵。如表1所示，第一图像中包括2个第一区域，第二图像中包括有3个第二区域，可以在最后一列插入1列负权矩阵，形成方阵的概率矩阵。

表1

图3b示出根据本申请一个实施例的第一图像的局部。如图所示，该第一图像中实际有31个孔，其中3个孔存在多料现象，因此，实际提取的第一区域很可能仅有28个。而在对应的参考膜片的第二图像中则为31个第二区域。在此步骤中，可以在构建的31*28的初始矩阵的基础上添加三列负权矩阵，并可以该三列中的元素为-1。这样，可以构建为行列数相等的概率矩阵，便于后续进行计算。

上述方案中，对于行数列数不相等的概率矩阵，为其添加相应的负权矩阵，构建成行列数相等的概率矩阵，计算效率更高。

根据本申请的另一方面，还提供一种膜片缺陷检测方法。其中，膜片包括多个孔。图4示出根据本申请一个实施例的膜片缺陷检测方法400的示意性流程图。如图4所示，该检测方法400包括步骤S420、步骤S440和步骤S460。

步骤S420，获取待检测膜片的第一图像和参考膜片的第二图像。

步骤S440，利用上述处理方法1000确定与每个第一区域匹配的第二区域。

步骤S460，对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

例如，待检测膜片的图像中包括3个圆形孔，分别为孔位1、孔位2、孔位3。在步骤S420，可以获取待检测膜片的第一图像，并可以获取参考膜片的第二图像。在步骤S440，可以分别提取第一图像和第二图像中的孔位区域。例如，在第一图像中提取出了第一区域1、第一区域2、第一区域3。在第二图像上中提取出了第二区域1、第二区域2、第二区域3。并可以采用上述膜片图像的处理方法，对第一图像中的整体孔位区域和第二图像中的整体孔位区域进行对齐，实现两个图像的配准。之后，可以基于配准后的两个图像，采用前述匹配概率的公式计算每个第一区域和每个第二区域的匹配概率。然后，可以根据匹配概率生成概率矩阵，并可以采用匈牙利算法确定与每个第一区域匹配的第二区域。例如，所确定的匹配关系为：第一区域1匹配第二区域1，第一区域2匹配第二区域2，第一区域3匹配第二区域3。在步骤S460，可以对每一组具有匹配关系的第一区域和第二区域，确定两个区域中的各个像素的像素值的差异。并可以根据所确定的差异情况，采用任意合适的判断逻辑，判断该区域对应的孔位是否存在缺陷。

这种膜片缺陷检测方法执行逻辑简单并且合理，不仅可以保证较高的检测精度，还可以保证较高的检测效率，从而可以实现对膜片缺陷的实时精准检测。此外，这种方案的适用范围也非常广泛，可以应用于对各种类型膜片的多种检测场景。并且，这种膜片缺陷检测方案还具有可解释性高、数据需求小、算力资源不受限的优点。

示例性地，步骤S460根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷，包括以下步骤S461至步骤S464。

步骤S461，根据该第一区域和与该第一区域匹配的第二区域中的各个像素的位置，确定与每个第一像素对应的第二像素。其中，第一像素是该第一区域中的像素，第二像素是与该第一区域匹配的第二区域中的像素。

步骤S462，对于每个第一像素，计算该第一像素的像素值和对应的第二像素的像素值的差值。

步骤S463，对于每个第一像素，如果差值大于差值阈值，则将该第一像素确定为疑似缺陷像素。

步骤S464，根据该第一区域中的疑似缺陷像素，确定该第一区域是否存在孔位缺陷。

示例性地，差值阈值是预设的像素值差值的阈值，可以根据实际检测需求进行任意设置。例如，可以预先获取一定数量的关于待检测的膜片的缺陷图像。这些缺陷图像是存在已知的孔位缺陷的膜片图像。可以将这些缺陷图像中的存在缺陷孔位区域的各个像素的像素值与参考图像中对应孔位区域的各个像素的像素值进行对比分析，以确定合适的差值阈值。

例如，在上述待检测膜片的图像中包括3个圆形孔的示例中，差值阈值例如是灰度阈值20。对于每一组具有匹配关系的第一区域和第二区域，可以分别确定两个区域中的位置对应像素的像素值的差值。以第一区域1与第二区域1为例，首先确定第一区域1与第二区域1中像素的对应关系，然后分别计算每一个第一像素与对应的第二像素的灰度值的差值。如果得到的差值大于20，则确认为该第一像素是疑似缺陷像素。进而可以根据所确定的疑似缺陷像素，确定该第一区域是否存在孔位缺陷。例如，可以统计疑似缺陷像素的数目与第一区域中的像素的总数的比值，如果比值超过比值阈值，则可以确定该第一区域存在孔位缺陷。

上述方案中，根据匹配的孔位区域中的对应像素的像素值差值，确定孔位是否存在缺陷，这样，对孔位缺陷的检测提供了更细粒度的数据支持，使得对孔位缺陷的判断更加精确。

示例性地，步骤S464根据该第一区域中的疑似缺陷像素，确定该第一区域是否存在孔位缺陷，包括步骤S464a和步骤S464b。步骤S464a，确定该第一区域中的疑似缺陷像素的数量。步骤S464b，如果数量大于数量阈值，则确定该第一区域存在孔位缺陷。

根据本申请实施例，数量阈值可以根据实际检测需求进行任意设置。示例性地，第一区域中的像素总数例如为a，则数量阈值可以是[a/2, a]中的任意值。例如，数量阈值是40。例如，在上述步骤S463中，确定一个第一区域中的疑似缺陷像素后，统计其数量为54，大于数量阈值40，因此，可以确定该第一区域存在孔位缺陷。

上述方案避免了因个别像素点在成像过程中出现异常导致的对于孔位缺陷的误判，提高了系统的精度，进而提高了缺陷检测的准确率。并且这种方案计算量也较小，从而检测效率也更高。

图5示出根据本申请另一实施例的膜片缺陷检测方法的流程图。如图5所示，可以采用任何合适的图像采集方式获取待检测膜片的第一图像和对应的参考膜片的第二图像。并可以对第一图像和第二图像进行灰度处理，得到这两个图像的灰度图。然后，可以根据预设的灰度阈值，采用利用阈值分割的方法提取出各自图像中的孔位区域。将第一图像中的每个孔位区域作为第一区域，将第二图像中的每个孔位区域作为第二区域。也就是说，在第一图像中包括多个第一区域，在第二图像中包括多个第二区域。

示例性地，在确定第一图像中的各个第一区域和第二图像中的各个第二图像之后，可以进一步确定每个第一区域的第一中心像素的坐标和每个第二区域的第二中心像素的坐标。然后，可以采用图2a和图2c示出的方法，确定第一图像中包含各个第一中心像素的最小矩形包络框，作为第一包络区。并可以确定第二图像中包含各个第二中心像素的最小矩形包络框，作为第二包络区。然后，可以以第一包络区的中心像素为原点，对第一图像进行中心点归一化操作。同时，可以以第二包络区的中心像素为原点，对第二图像进行中心点归一化操作。这样，归一化后的第一图像和第二图像的整体孔位区域得到了初步对齐。然后，可以将（归一后的第一图像中的）第一包络区的4个顶点作为4个第一控制点，将（归一后的第二图像中的）第二包络区的4个顶点作为与4个第一控制点一一对应的第二控制点。并可以将对应的第一控制点和第二控制点作为每个控制点对，从而可以得到4个控制点对。然后，可以根据4个控制点对的坐标，确定由第二控制点向对应的第一控制点对齐的仿射变换矩阵。之后，利用仿射变换矩阵对第二图像进行仿射变换，以实现对两个图像中的整体孔位区域的配准，并且，可以实现对这两个图像中的孔位区域的位置的初步匹配。然后，可以统计第一图像和经变换的第二图像中的各个孔位区域的各项特征信息。各项特征信息包括可以孔位区域的中心位置、孔位区域的宽度和高度。然后，可以将统计的数据代入至前述示例中的匹配概率计算公式中，计算得到每个第一区域和每个第二区域的匹配概率。进而，可以根据匹配概率、第一区域和第二区域的数目，生成各个第一区域和各个第二区域匹配的概率矩阵。如果概率矩阵的行数与列数不相等，可以添加相应的负权矩阵，以将概率矩阵构造为行列数相等的矩阵。之后，可以利用匈牙利算法对概率矩阵进行求解，获取与每个第一区域具有最优匹配关系的第二区域。然后，针对每组具有匹配关系的第一区域和第二区域，分析两者中的像素的像素值的差异。例如，可以统计第一区域中每个像素与匹配的第二区域中的对应像素的像素值的差值。若差值大于差值阈值，则将该像素确定为疑似缺陷像素。然后，可以统计该区域中的疑似缺陷像素的数目。若数目大于预设的数目阈值，则判断该区域存在孔位缺陷。

根据本申请的另一方面，还提供一种膜片图像的处理系统。该膜片包括多个孔。图6示出根据本申请一个实施例的膜片图像的处理系统600的示意性框图。如图6所示，该处理系统600包括获取模块610、第一确定模块620、第二确定模块630、变换模块640和对比模块650。

获取模块610，用于获取第一图像和第二图像，其中第一图像是待检测膜片的图像和参考膜片的图像中的一个，第二图像是待检测膜片的图像和参考膜片的图像中的另一个；

第一确定模块620，用于确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域；

第二确定模块630，用于确定第一图像中的第一包络区和第二图像中的第二包络区，其中第一包络区包括各个第一区域的中心像素，第二包络区包括各个第二区域的中心像素；

变换模块640，用于根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同；以及

对比模块650，用于将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。

根据本申请的另一方面，还提供一种膜片缺陷检测系统。膜片包括多个孔。图7示出根据本申请一个实施例的膜片缺陷检测系统700的示意性框图。如图7所示，该检测系统700包括获取模块710、第三确定模块720、第四确定模块730。

获取模块710，用于获取待检测膜片的第一图像和参考膜片的第二图像。

第三确定模块720，用于利用上述处理方法1000确定与每个第一区域匹配的第二区域。

第四确定模块730，用于对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

根据本申请的另一方面，还提供一种电子设备。图8示出根据本申请实施例的电子设备800的示意性框图。如图8所示，电子设备800包括处理器810和存储器820。存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述膜片图像的处理方法1000和/或上述膜片缺陷检测方法400。

根据本申请的另一方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述膜片图像的处理方法1000和/或上述膜片缺陷检测方法400。所述存储介质例如可以包括可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上述有关膜片图像的处理方法和膜片缺陷检测方法的相关描述，可以理解上述膜片图像的处理系统和膜片缺陷检测系统、电子设备和存储介质的具体实现方案和有益效果，为了简洁，在此不再赘述。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种膜片图像的处理方法，其特征在于，所述膜片包括多个孔，所述处理方法包括：

获取第一图像和第二图像，其中所述第一图像是待检测膜片的图像和参考膜片的图像中的一个，所述第二图像是所述待检测膜片的图像和参考膜片的图像中的另一个；

确定所述第一图像中的每个孔所在的第一区域，并确定所述第二图像中的每个孔所在的第二区域；

确定所述第一图像中的第一包络区和所述第二图像中的第二包络区，其中所述第一包络区包括各个第一区域的中心像素，所述第二包络区包括各个第二区域的中心像素；

根据所述第一包络区和所述第二包络区在各自图像中的位置，对所述第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与所述第一包络区的尺寸相同；

将所述经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域，其中，所述特征信息包括区域的位置特征信息、形状特征信息和像素分布特征信息中的至少一种。

2.如权利要求1所述的膜片图像的处理方法，其特征在于，所述第一包络区和所述第二包络区分别是所述各个第一区域的最小外包络框所在区域和所述各个第二区域的最小外包络框所在区域，所述对所述第二图像进行仿射变换，包括：

分别确定关于所述第一包络区的多个第一控制点的坐标和关于所述第二包络区的多个第二控制点的坐标，其中所述多个第一控制点和所述多个第二控制点一一对应，所述多个第一控制点至少包括所述第一包络区的4个顶点，所述多个第二控制点至少包括所述第二包络区的4个顶点，所述第一控制点和所述第二控制点的数目相同；

根据所述多个第一控制点和所述多个第二控制点在各自图像中的坐标、多个第一控制点和所述多个第二控制点的对应关系，生成多个控制点对；

根据所述多个控制点对，计算出将各个第二控制点向对应的各个第一控制点进行对齐的仿射变换矩阵；

利用所述仿射变换矩阵，对所述第二图像中的各个像素的位置进行变换，以使经变换的各个第二控制点的坐标与对应的第一控制点的坐标相同。

3.如权利要求1所述的膜片图像的处理方法，其特征在于，在所述对所述第二图像进行仿射变换之前，所述处理方法还包括：

以所述第一包络区的中心为原点，对所述第一图像进行中心点归一化操作；

以所述第二包络区的中心为原点，对所述第二图像进行中心点归一化操作，以得到归一后的第二图像。

4.如权利要求1至3任一项所述的膜片图像的处理方法，其特征在于，所述将所述经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域，包括：

将每个经变换的第二区域的各项特征信息和每个第一区域的各项特征信息分别进行对比，并根据对比结果确定每个第一区域和每个第二区域的匹配概率；以及

根据每个第一区域和每个第二区域的匹配概率，确定与每个第一区域匹配的第二区域。

5.如权利要求2所述的膜片图像的处理方法，其特征在于，所述将所述经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域，包括：

将每个经变换的第二区域的各项特征信息和每个第一区域的各项特征信息分别进行对比，并根据对比结果确定每个第一区域和每个第二区域的匹配概率，其中，所述各项特征信息至少包括区域的位置特征信息；以及

根据每个第一区域和每个第二区域的匹配概率，确定与每个第一区域匹配的第二区域；其中，

对于每个第一区域和每个经变换的第二区域，

将该第一区域的各项特征信息和该第二区域的各项特征信息进行对比，并得到该第一区域和该第二区域的各项特征信息之间的差异；

根据所述差异，确定该第一区域和该第二区域的匹配概率；

其中，如果该第一区域与该第二区域的任意一项特征信息之间的差异越大，则该第一区域与该第二区域的匹配概率越小。

6.如权利要求5所述的膜片图像的处理方法，其特征在于，所述区域的位置特征信息包括区域的中心点的坐标，所述各项特征信息还包括以下至少一者：区域的第一长度、区域的第二长度、区域的第一长度和第二长度的比值，其中所述第一长度是区域在第一方向上的长度，所述第二长度是区域在第二方向的长度，所述第一方向垂直于所述第二方向。

7.如权利要求6所述的膜片图像的处理方法，其特征在于，所述确定每个第一区域和每个第二区域的匹配概率具体包括利用如下公式计算每个第一区域和每个第二区域的匹配概率：

；

其中， =/>；

其中，表示所述第一图像中的第i个第一区域和所述第二图像中的第j个第二区域之间的匹配概率；/>表示第i个第一区域的中心点在所述第一方向上的坐标分量，/>表示第j个经变换的第二区域的中心点在所述第一方向上的坐标分量，/>表示第i个第一区域的中心点在所述第二方向上的坐标分量，/>表示第j个经变换的第二区域的中心点在所述第二方向上的坐标分量；/>表示第i个第一区域在所述第一方向上的长度/>表示第j个经变换的第二区域在所述第一方向上的长度，/>表示第i个第一区域在所述第二方向上的长度/>表示第j个经变换的第二区域在所述第二方向上的长度；n表示所述第二区域的总数量。

8.如权利要求4所述的膜片图像的处理方法，其特征在于，所述根据每个第一区域和每个第二区域的匹配概率，确定与每个第一区域匹配的第二区域，包括：

根据每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的概率矩阵；以及

根据所述概率矩阵，并利用匈牙利算法，确定与每个第一区域之间具有最优匹配关系的第二区域。

9.如权利要求8所述的膜片图像的处理方法，其特征在于，所述处理方法还包括：

确定所述第一图像中的第一区域的第一数目和所述第二图像中的第二区域的第二数目；

所述根据每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的概率矩阵，包括：

根据所述第一数目、所述第二数目和每个第一区域和每个第二区域的匹配概率，生成关于每个第一区域和每个第二区域的匹配关系的初始矩阵，其中所述初始矩阵的行数等于所述第一数目，所述初始矩阵的列数等于所述第二数目，所述初始矩阵中的每一行对应一个第一区域，所述初始矩阵中的每一列对应一个第二区域，所述初始矩阵中的每个元素等于所在行对应的第一区域和所在列对应的第二区域之间的匹配概率；以及

根据所述初始矩阵，确定所述概率矩阵，其中在所述第一数目等于所述第二数目的情况下，直接将所述初始矩阵作为所述概率矩阵。

10.如权利要求9所述的膜片图像的处理方法，其特征在于，所述根据所述初始矩阵，确定所述概率矩阵还包括：

在所述第一数目不等于所述第二数目的情况下，增加所述初始矩阵的行或列，以得到所述概率矩阵，其中所述概率矩阵的行数和列数均等于所述第一数目和所述第二数目中的较大者，并且所增加的行或列中的各个元素的值小于0。

11.如权利要求1至3任一项所述的膜片图像的处理方法，其特征在于，所述第一区域和所述第二区域均是孔的成像区域，所述处理方法还包括：

根据所述第一图像中各个像素的像素值和第一像素阈值，确定所述第一图像中的第一区域，其中所述第一区域中的像素的像素值大于或等于所述第一像素阈值，并且所述第一图像中的、所述第一区域之外的其他像素的像素值小于所述第一像素阈值；以及

根据所述第二图像中各个像素的像素值和第二像素阈值，确定所述第一图像中的第二区域，其中所述第二区域中的像素的像素值大于或等于所述第二像素阈值，并且所述第二像中的、所述第二区域之外的其他像素的像素值小于所述第二像素阈值。

12.如权利要求1至3任一项所述的膜片图像的处理方法，其特征在于，所述确定所述第一图像中的第一包络区和所述第二图像中的第二包络区，包括：

分别确定位于各个第一区域的中心的各个第一中心像素，并生成包括所述各个第一中心像素的最小矩形包络框，作为所述第一包络区；

分别确定位于各个第二区域的中心的各个第二中心像素，并生成包括所述各个第二中心像素的最小矩形包络框，作为所述第二包络区。

13.一种膜片缺陷检测方法，其特征在于，所述膜片包括多个孔，所述检测方法包括：

获取待检测膜片的第一图像和参考膜片的第二图像；

利用如权利要求1至12任一项所述的处理方法确定与每个第一区域匹配的第二区域；以及

对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

14.如权利要求13所述的膜片缺陷检测方法，其特征在于，所述根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷，包括：

根据该第一区域和与该第一区域匹配的第二区域中的各个像素的位置，确定与每个第一像素对应的第二像素，其中，所述第一像素是该第一区域中的像素，所述第二像素是与该第一区域匹配的第二区域中的像素；

对于每个第一像素，

计算该第一像素的像素值和对应的第二像素的像素值的差值；

如果所述差值大于差值阈值，则将该第一像素确定为疑似缺陷像素；

根据该第一区域中的疑似缺陷像素，确定该第一区域是否存在孔位缺陷。

15.如权利要求14所述的膜片缺陷检测方法，其特征在于，所述根据该第一区域中的疑似缺陷像素，确定该第一区域是否存在孔位缺陷，包括：

确定该第一区域中的疑似缺陷像素的数量；以及

如果所述数量大于数量阈值，则确定该第一区域存在孔位缺陷。

16.一种膜片图像的处理系统，其特征在于，所述膜片包括多个孔，所述处理系统包括：

获取模块，用于获取第一图像和第二图像，其中所述第一图像是待检测膜片的图像和参考膜片的图像中的一个，所述第二图像是所述待检测膜片的图像和参考膜片的图像中的另一个；

第一确定模块，用于确定所述第一图像中的每个孔所在的第一区域，并确定所述第二图像中的每个孔所在的第二区域；

第二确定模块，用于确定所述第一图像中的第一包络区和所述第二图像中的第二包络区，其中所述第一包络区包括各个第一区域的中心像素，所述第二包络区包括各个第二区域的中心像素；

变换模块，用于根据所述第一包络区和所述第二包络区在各自图像中的位置，对所述第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与所述第一包络区的尺寸相同；以及

对比模块，用于将所述经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域，其中，所述特征信息包括区域的位置特征信息、形状特征信息和像素分布特征信息中的至少一种。

17.一种膜片缺陷检测系统，其特征在于，所述膜片包括多个孔，所述检测系统包括：

获取模块，用于获取待检测膜片的第一图像和参考膜片的第二图像；

第三确定模块，用于利用如权利要求1至12任一项所述的处理方法确定与每个第一区域匹配的第二区域；以及

18.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至12任一项所述的膜片图像的处理方法和/或如权利要求13至15任一项所述的膜片缺陷检测方法。

19.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至12任一项所述的膜片图像的处理方法和/或如权利要求13至15任一项所述的膜片缺陷检测方法。