CN112889087A - 对制膜中任意形状的片材部件的自动检查 - Google Patents

对制膜中任意形状的片材部件的自动检查 Download PDF

Info

Publication number
CN112889087A
CN112889087A CN201980067238.7A CN201980067238A CN112889087A CN 112889087 A CN112889087 A CN 112889087A CN 201980067238 A CN201980067238 A CN 201980067238A CN 112889087 A CN112889087 A CN 112889087A
Authority
CN
China
Prior art keywords
image
processing unit
sheet
mask image
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980067238.7A
Other languages
English (en)
Inventor
史蒂文·P·弗洛德
詹姆斯·A·马斯特曼
于昕
纳撒尼尔·S·罗维坎普
杰弗瑞·P·阿道夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN112889087A publication Critical patent/CN112889087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Abstract

本文描述了一种示例性系统。该示例性系统可包括检查装置，该检查装置包括至少一个图像捕获装置，该至少一个图像捕获装置被配置为捕获片材部件的参考图像。另外，示例性系统可包括处理单元，该处理单元被配置为识别参考图像中的至少一个主要点并识别掩模图像中的至少一个次要点。处理单元可基于至少一个主要点和至少一个次要点，来变换掩模图像。处理单元可将变换的掩模图像施加到参考图像，以识别参考图像内的检查区域，处理参考图像的检查区域，以确定片材部件的质量，以及输出指示该片材部件的该质量的信息。

Description

对制膜中任意形状的片材部件的自动检查
背景技术
用于制备各种类型的膜(例如，透明聚酯膜)的制造方法涉及制造长连续片材(称为幅材)中的膜。幅材本身通常是在一个方向(“横维方向”)上具有固定宽度，而在正交方向(“顺维方向”)上具有预先确定的或未定长度的材料。在用于制备和处理幅材的各种制造过程中，幅材沿平行于幅材的长度尺寸并且垂直于幅材的宽度尺寸延伸的纵向轴线被传送。
光学膜是制造的膜的一个示例，并且被施加到各种各样的消费品。例如，从光学膜转换的片材部件可位于电子装置(例如，移动电话、电视、膝上型计算机、台式计算机或平板电脑)的屏幕组件中。制造设施可生产旨在应用于特定消费品的多个类似片材部件(例如，光学膜片材部件)。通常，需要检查由制造设施生产的片材部件的质量损害缺陷，使得可丢弃被确定为有缺陷的片材部件。在一些示例中，片材部件由制造设施的员工检查。附加地或另选地，可使用被配置用于自动识别缺陷的图像处理技术来检查片材部件。
发明内容
一般来讲，本公开描述了用于检查多个不规则形状的片材部件是否有缺陷的技术。更具体地讲，本公开描述了用于识别和处理多个片材部件中的每个片材部件的检查区域的示例性技术，其中检查区域表示相应片材部件的不规则形状区域(例如，包括圆角、凸块或凹痕的任何组合的区域)。换句话讲，可能期望检查片材部件的内部区域，同时忽略片材部件的周围区域。因此，本公开的示例性技术可使得能够识别紧邻片材部件的不规则特性的区域，使得可充分确定片材部件的质量。
在一个实施方案中，用于确定由制造设施生产的多个片材部件中的每个片材部件的质量的系统包括检查装置，所述检查装置包括至少一个图像捕获装置，所述至少一个图像捕获装置被配置为捕获所述多个片材部件中的一个片材部件的一组参考图像。所述系统还包括处理单元，所述处理单元被配置为识别所述一组参考图像中的一个参考图像中的至少一个主要点，并识别一组掩模图像中的一个掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像。所述处理单元被进一步配置为基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐，并且将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域。另外，所述处理单元被配置为处理所述参考图像的所述检查区域，以确定所述片材部件的所述质量并且输出指示所述片材部件的所述质量的信息。
在另一个实施方案中，处理单元被配置为接收多个片材部件中的一个片材部件的一组参考图像，其中所述一组参考图像由至少一个图像捕获装置捕获。所述处理单元被进一步配置为识别所述一组参考图像中的一个参考图像中的至少一个主要点，并且识别一组掩模图像中的一个掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像。另外，所述处理单元被配置为基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐，将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域，处理所述参考图像的所述检查区域，以确定所述片材部件的质量，并且输出指示所述片材部件的所述质量的信息。
在另一个实施方案中，一种方法包括：使用检查系统的至少一个图像捕获装置，捕获多个片材部件中的一个片材部件的一组参考图像；使用处理单元，识别所述一组参考图像中的一个参考图像中的至少一个主要点；以及使用所述处理单元，识别一组掩模图像中的一个掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像。另外，所述方法包括：使用所述处理单元，基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐；使用所述处理单元，将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；使用所述处理单元，处理所述参考图像的所述检查区域，以确定所述片材部件的质量；以及使用所述处理单元，输出指示所述片材部件的所述质量的信息。
本公开的技术可提供至少一个优点。例如，由于掩模图像限定片材部件的轮廓，这些技术可使得能够识别和处理检查区域，以确定不规则形状的片材部件的质量。另外，这些技术提供了将掩模图像的取向与参考图像的取向对齐的灵活性，从而允许识别相对于纵向轴线旋转移位的片材部件的检查区域。此外，掩模图像可限定仅具有两个可能像素值的二进制图像。因此，可能有利的是，变换掩模图像而不是参考图像，使得在变换期间不需要改变像素值。
在附图和以下描述中阐述了本公开的至少一个示例的细节。根据说明书和附图以及权利要求书，本公开的其他特征、目标和优点将显而易见。
附图说明
图1是示出根据本公开所述的至少一种示例性技术的用于制造多个片材部件以及用于对该多个片材部件进行缺陷成像和检测的系统的框图。
图2是示出根据本公开中描述的至少一种示例性技术的图1的系统的附加细节的框图。
图3是示出根据本公开中描述的至少一种示例性技术的图1的系统的示例性成像单元的透视图的框图。
图4是示出根据本公开中描述的至少一种示例性技术的示例性处理单元的框图。
图5是示出根据本公开中描述的至少一种示例性技术的具有多个识别的主要点的参考图像和具有多个识别的次要点的掩模图像的框图。
图6是示出根据本公开中描述的至少一种示例性技术的参考图像、对应的掩模图像以及通过将变换的掩模图像施加到参考图像而创建的边界区域的框图。
图7是示出根据本公开中描述的至少一种示例性技术的使用用于确定片材部件的质量的检查装置(例如，图1的检查装置)来捕获该片材部件的一组参考图像的示例性操作的流程图。
图8是示出根据本公开中描述的至少一种示例性技术的使用处理单元(诸如图2的处理单元)来确定片材部件的质量的示例性操作的流程图。
具体实施方式
本发明描述了用于自动确定由制造设施创造的多个片材部件中的每个片材部件的质量以允许根据质量将该多个片材部件分拣到仓中的系统和技术。在确定多个片材部件的质量时准确性可能是重要的，因为错误的质量确定可能导致高质量片材部件被丢弃或可能导致低质量片材部件被装运以供消费。因此，性能良好的检查系统可提高制造设施的效率并提高由该制造设施生产的片材部件的质量。
本公开描述了用于分析片材部件的一组参考图像以确定是否存在质量缺陷的图像处理技术。此类缺陷可确定片材部件的质量类别(例如，合格类别、缺陷类别或返工类别)。检查装置可捕获对应于多个片材部件中的每个片材部件的一组参考图像。在一些情况下，检查片材部件的特定区域诸如内部区域、边界区域或边界区域之外的区域可为有益的。因此，处理单元可将掩模图像放置在该组参考图像中的参考图像上方，其中该掩模图像表示片材部件的待检查缺陷的区域。因此，处理单元可将掩模图像放置在该组参考图像中的参考图像上方以覆盖该参考图像的内部区域，其中被该掩模图像覆盖的内部区域表示待检查缺陷的区域。另选地，例如，处理单元可将掩模图像放置在该组参考图像中的参考图像上方以使该参考图像的边界区域模糊，同时该参考图像的内部区域保持暴露以供检查。另选地，例如，可将多个单独区域遮挡或打开以供检查，并且可针对每种情况适当地配置掩模图像。
虽然多个片材部件中的每个片材部件的尺寸和形状可基本上类似，但每个片材部件可相对于纵向轴线以不同角度进入检查装置。因此，参考图像可示出相对于纵向轴线成不同角度的多个片材部件。此外，根据制造操作和公差，每个片材部件的尺寸可略有不同。因此，参考图像能够以不同的形状比例示出多个片材部件。
在检查该多个片材部件之前，检查装置可创建一组掩模图像。在一些示例中，该组掩模图像是呈该多个片材部件的示例性片材部件形状的二进制图像(即，掩模图像仅为黑色和白色)。为了创建该组掩模图像，检查装置可捕获示例性片材部件的一组示例性参考图像。检查装置的用户界面可接受输入，其中该输入基于该组示例性参考图像创建该组掩模图像。该组掩模图像能够相对于纵向轴线以预先确定的角度取向。因此，处理单元可变换掩模图像，使得该掩模图像的取向与相应参考图像的取向对齐。换句话讲，变换的掩模图像可围绕纵向轴线“倾斜”，使得该变换的掩模图像采用相应参考图像的取向。此外，处理单元可变换掩模图像，使得该掩模图像的形状与相应参考图像的形状对齐。在一些示例中，使用仿射变换来变换该组掩模图像。仿射变换可被配置为变换该组掩模图像，以采用多个片材部件中的每个片材部件的每个参考图像的形状和取向中的至少一者。因此，处理单元可被配置为识别每个参考图像的检查区域并确定每个片材部件的质量。
本公开的方法和系统可允许快速测量多个片材部件。例如，变换该组掩模图像可允许快速且准确地确定多个片材部件的质量，从而提高制造设施的效率。在确定片材部件的质量之后，检查装置可根据所确定的片材部件的质量将这些片材部件分拣到仓中。
图1是示出根据本公开所述的至少一种示例性技术的用于制造多个片材部件以及用于对该多个片材部件进行缺陷成像和检测的系统的框图。在图1所示的示例中，系统100包括输入101、制造过程102、片材部件104、检查装置105、清洁单元106、成像单元108、图像捕获装置110A-110N(统称为“图像捕获装置110”)、仓112、处理单元120和用户界面122。
如图1所示的制造过程102接收各种输入101(例如，材料、能量、人和机器)并且生产包括多个片材部件(例如，片材部件104)的输出。制造过程102不限于任何特定类型或形式的制造，并且示出了能够操作以生产片材部件的任何类型的制造过程。在一些示例中，输入101包括卷状物品产品(例如，聚酯膜(例如，光学膜))的长连续片材。制造过程102可包括分割长连续片材的各个部分以形成片材部件104。例如，片材部件104可包括从长连续片材切割的片，这些片具有基本形状(例如，正方形、矩形或圆形)。附加地或另选地，片材部件104可限定不规则形状。在一些示例中，片材部件104包括以物体(例如，移动装置、膝上型计算机、台式计算机、电视或窗户)的形状切割的长连续片材的片。一旦通过制造过程102生产，片材部件104就可被施加到相应物体的表面。
片材部件104可在形状、材料组成和厚度上基本上类似，使得多个片材部件中的每个片材部件看起来相似。在一些示例中，片材部件104中的片材部件的对角测量值大于10毫米(mm)且小于2,000mm。在一些示例中，片材部件104的标称厚度大于约20微米且小于约500微米，但片材部件104的标称厚度尺寸不限于该厚度范围，并且片材部件104可具有大于约500微米或小于约20微米的标称厚度。在一些实施方案中，片材部件104中的每个片材部件包括单层透明或半透明材料，或者可包括多层材料。片材部件104可包括透明或半透明材料，旨在对特定波长的光或特定波长范围的光提供特定水平的透光率(通常穿过片材部件104的厚度尺寸)。片材部件104可具有与这些片材部件的顶表面和/或底表面的平坦度相关的各种要求和/或与没有缺陷相关的各种要求。
在制造过程102期间，片材部件104可产生多种缺陷。在一些示例中，缺陷包括颗粒、磨损、划痕、凹痕、条纹或压痕。缺陷的存在可确定片材部件104中的片材部件的质量。一些缺陷在尺寸和严重性上是最小的，并且不会显著地影响片材部件的质量。然而，其他缺陷可能较严重，并且可能不利地影响片材部件的质量。如果在片材部件中检测到大于主要阈值水平的缺陷，则该片材部件可被归类为有缺陷的。附加地或另选地，如果在片材部件中检测到小于次要阈值水平的缺陷，则该片材部件可被归类为合格。在一些情况下，如果在片材部件中检测到大于次要阈值水平的缺陷并且检测到小于主要阈值水平的缺陷，则该片材部件可分类为“返工”类别。换句话讲，“返工”片材部件可具有比缺陷片材部件更高的质量水平和比合格片材部件更低的质量水平。
系统100可以制造并检查装配线中的片材部件104。换句话讲，在制造过程102形成片材部件104之后，这些片材部件可行进通过清洁单元106和成像单元108。随后，片材部件104可被分拣到仓112中。片材部件104可以连续循环通过系统100，使得当新检查的片材部件离开成像单元108进入仓112时，另外的片材部件进入成像单元108。在一些示例中，移动带(例如，传送带)连续地将片材部件104从制造过程102的端点通过检查装置105传送到仓112。
检查装置105可包括清洁单元106和成像单元108。在一些示例中，检查装置105包括用于片材部件104进入检查装置105的入口区(未示出)。在一些示例中，检查装置105的入口区自动接收来自片材部件104的集合的片材部件。例如，检查装置105的入口区可包括移动带的一部分，该移动带传送来自制造过程102的片材部件104，使得片材部件104能够有效地进入检查装置105。在其他示例中，片材部件104可在通过制造过程102形成片材部件之后被组装成叠堆，并且片材部件的叠堆的各个片材部件可自动且连续地分配到检查装置105的入口区上。附加地或另选地，检查装置105可包括选择构件(未示出)，该选择构件被配置为从片材部件104的叠堆中选择单独的片材部件并且将该单独的片材部件放置到检查装置105的入口区上。在其他示例中，装置操作员可以手动将片材部件104放置在入口区上。
在图1的示例中，检查装置105包括清洁单元106，该清洁单元被配置为当片材部件行进到成像单元108时从片材部件104的表面移除颗粒(例如，气载颗粒、粉尘颗粒或液滴)。通过在成像之前清洁片材部件104，清洁单元106可防止系统100错误地检测多个片材部件104的参考图像中的缺陷并且不必要地将片材部件分类为有缺陷。虽然图1将检查装置105示出为包括清洁单元106，但在一些示例(未示出)中，检查装置105不包括清洁单元106。例如，片材部件104可在通过制造过程102生产之后直接前进到成像单元108。
成像单元108可包括图像捕获装置110。图像捕获装置110中的每个图像捕获装置可以是相机或被配置为捕获表示成像单元108内的片材部件104的图像数据的其他部件。换句话讲，图像数据捕获环境的视觉表示，诸如成像单元108内的片材部件104。图像捕获装置110中的每一者可包括能够捕获图像数据的部件，诸如录像机、红外相机、CCD(电耦装置)阵列或激光扫描器。此外，所捕获的图像数据可包括图像、视频、图像序列(例如，在一个时间段内和/或以顺序拍摄的多个图像)或图像集合中的至少一者。
在一些示例中，图像捕获装置110是能够读取移动片材部件的连续部分并以数字数据流的形式提供输出的常规成像装置。图像捕获装置110可以是直接提供数字数据流的相机或具有附加的模数转化器的模拟相机。另外，图像捕获装置110可包括其他传感器，例如激光扫描器。图像捕获装置110的示例包括线扫描相机，诸如以商品名“PIRANHA”由加拿大安大略省滑铁卢市的Dalsa公司(Dalsa,Waterloo,Ontario,Canada)出售和以商品名“ELIIXA”由加利福尼亚州千橡市的Teledyne e2v公司(Teledyne e2v,Thousand Oaks,CA)出售的那些。附加示例包括与模数转换器结合使用的购自德国慕尼黑的表面检测系统股份有限公司(Surface Inspection Systems GmbH,Munich,Germany)的激光扫描仪。在一些示例中，图像捕获装置110的成像分辨率大于约10微米/像素且小于约50微米/像素。例如，图像捕获装置110的成像分辨率可为约25微米/像素。
图像捕获装置110中的每个图像捕获装置可捕获对应于片材部件104中的一个片材部件的一组参考图像。在一些示例中，如果成像单元108包括N个图像捕获装置110，则图像捕获装置110将捕获片材部件的一组N个参考图像。例如，如果成像单元108包括五个图像捕获装置110，则图像捕获装置110将捕获片材部件的一组五个参考图像。在一些示例中，图像捕获装置110同时捕获片材部件的一组参考图像。在其他示例中，图像捕获装置110以连续顺序捕获片材部件的一组参考图像。当多个片材部件循环通过成像单元108时，图像捕获装置110可捕获对应于多个片材部件中的每个片材部件的一组参考图像。
自动图像捕获可提高系统100能够确定片材部件104的质量的速率。在一些示例中，当片材部件行进通过系统100时，图像捕获装置110检测片材部件在成像单元108内的存在。响应于检测到片材部件，图像捕获装置110可捕获该片材部件的一组参考图像。在一些示例中，图像捕获装置110响应于单个图像捕获装置(例如，图像捕获装置110A)检测到片材部件的存在而同时捕获该组参考图像。在其他示例中，图像捕获装置110中的每个图像捕获装置独立地检测片材部件的存在，在检测到片材部件之后响应地捕获该片材部件的参考图像。例如，图像捕获装置110A可响应于片材部件在灯(未示出)与图像捕获装置110之间行进而检测该片材部件。可通过图像捕获装置110A的至少一个光传感器来检测由片材部件引起的光的混淆，从而触发图像捕获装置110A以捕获该片材部件的参考图像。这样，其他图像捕获装置(即，图像捕获装置110B-110N)中的每个图像捕获装置可感测片材部件的存在并独立地捕获该片材部件的参考图像pf。由图像捕获装置110捕获的片材部件的参考图像可形成一组参考图像。因此，图像捕获装置110可捕获多组参考图像，其中该多组参考图像中的每组参考图像对应于片材部件104中的一个片材部件。
在成像单元108捕获片材部件的一组参考图像之后，检查装置105可将该组参考图像输出到处理单元120。处理单元120可被配置为评估该片材部件的质量。例如，处理单元120可以识别该组参考图像中的一个参考图像中的至少一个主要点。另外，处理单元120可识别一组掩模图像中的一个掩模图像(例如，掩模图像)中的至少一个次要点。在一些示例中，该掩模图像对应于该片材部件的待检查缺陷的区域。更具体地讲，该掩模图像可限定该片材部件的轮廓，该轮廓包括该片材部件的尺寸和形状以供检查。处理单元120可基于分别在参考图像和掩模图像中识别的至少一个主要点和至少一个次要点，来变换该掩模图像。该组掩模图像可基于对用户界面诸如用户界面122的手动输入来创建。
在一些示例中，用户界面122允许用户控制系统100。用户界面122包括显示屏、触摸屏、按钮、扬声器输入或扬声器输出的任何组合。在一些示例中，用户界面122被配置为对系统100的元件的任何组合通电或断电。附加地或另选地，用户界面122可包括掩模图像应用程序。该掩模图像应用程序可由位于用户界面122内的处理电路和处理单元120的处理电路的任何组合来执行。该掩模图像应用程序可使得系统100能够基于表示示例性片材部件的手动绘制轮廓的输入来创建该组掩模图像。换句话讲，图像捕获装置110可以捕获一组示例性参考图像，并且系统100可以基于该组示例性参考图像创建该组掩模图像，其中该组掩模图像中的每个掩模图像对应于该组示例性参考图像中的示例性参考图像。例如，该掩模图像应用程序可使用户能够经由用户界面122查看每个示例性参考图像。另外，用户界面122可允许用户跟踪示例性参考图像的轮廓，该掩模图像应用程序基于用户所跟踪的轮廓创建相应的掩模图像。该组掩模图像可存储在处理单元120的存储单元中。
变换掩模图像可改变该掩模图像的取向或该掩模图像的形状中的至少一者，以将该掩模图像的取向与参考图像的取向对齐，并且将该掩模图像的形状与该参考图像的形状对齐。例如，如果掩模图像与纵向轴线对齐，并且参考图像相对于该纵向轴线倾斜五度，则处理单元120可将该掩模图像变换为相对于该纵向轴线倾斜五度。在掩模图像经变换之后，处理单元120可将变换的掩模图像施加到参考图像，从而识别该参考图像内的检查区域。换句话讲，处理单元120可将变换的掩模图像覆盖在参考图像上，从而部分地覆盖该参考图像。该参考图像的被掩模图像覆盖的一部分可表示检查区域。处理单元120可处理该参考图像的该检查区域，以确定片材部件的质量，并且处理单元120可输出指示该片材部件的该质量的信息。
处理单元120可基于对应于片材部件104中的一个片材部件的一组参考图像中的每个参考图像，独立地评估该片材部件的质量。如上所述，该组掩模图像内的特定掩模图像可与用于使片材部件104成像的特定“视图”(即，图像捕获装置110)相关联。每个视图可表示成像技术或模态。例如，视图可包括透射光成像、聚焦光成像、反射光成像、暗场光成像、激光扫描或x射线成像的任何组合。在一个示例中，每个视图可与该组掩模图像内的不同掩模图像相关联。在其他示例中，视图组可共享该组掩模图像中的单个掩模图像。为了全面评估多个片材部件104中的一个片材部件的质量，处理单元120可识别与该片材部件相关联的一组参考图像中的每个参考图像中的检查区域。处理单元120可独立地处理每个检查区域，并且处理单元120可基于该组参考图像中的每个参考图像，独立地进行质量确定。在处理该组参考图像之后，处理单元120可输出指示片材部件的质量分类的信息。
检查装置105可接收指示片材部件的确定质量类别的信息。响应于接收到指示质量类别的信息，检查装置105可将片材部件放置在仓112中。
仓112可被配置为接收被处理单元120分类为至少一个质量类别(例如，合格类别、缺陷类别和返工类别)的片材部件。在一些示例中，仓112包括对应于该至少一个质量类别的至少一个仓。例如，仓112可包括合格仓、缺陷仓和返工仓。检查装置105的输出区(未示出)可将分类片材部件路由到相应仓中。例如，被处理单元120分类为“缺陷”的片材部件被路由到“缺陷”仓。在一些示例中，检查装置105的输出区自动将分类片材部件路由到相应的仓中。附加地或另选地，系统100可以指示片材部件的分类，并且装置操作员可手动地将该片材部件分拣到相应的仓中。在输出区将片材部件自动分拣到相应的仓112中的示例中，检查装置105可在输出区处包括一组发散轨道，其中这些发散轨道中的每个轨道通向多个仓112中的一个仓。
在一些示例中，仓112包括缺陷仓。被处理单元120分类为有缺陷的片材部件被分拣到缺陷仓中。有缺陷的片材部件可被丢弃、回收或再使用以制造另一种产品。另外，在一些示例中，仓112包括合格仓，该合格仓被配置为接受具有合格质量水平的片材部件。被分拣到合格仓中的片材部件可从制造设施装运、出售和消费。仓112还可包括返工仓。分拣到返工仓中的片材部件可包括比分拣到缺陷仓中的片材部件更高程度的缺陷，并且比分拣到合格仓中的片材部件更低程度的缺陷。在将片材部件分拣到返工仓中之后，可对其进行修理(例如，返工)以去除缺陷。在对片材部件进行返工之后，处理单元120可将返工的片材部件分类为具有合格的质量。其中系统100将片材部件分拣到三个类别(即，缺陷类别、合格类别和返工类别)中的示例与其中系统100将片材部件分拣到仅两个类别(即，缺陷类别和合格类别)中的示例相比提高了系统100的效率。实际上，添加返工类别可允许系统100挽救原本将被归类为有缺陷的片材部件。
图2是示出根据本公开中描述的至少一种示例性技术的图1的系统100的附加细节的框图。如图2所示，系统100包括图像捕获装置110、移动带111、近侧轮113、采集计算机114A-114N(统称为“采集计算机114”)、分析计算机114Y、远侧轮115、存储单元116、网络118和处理单元120。
系统100包括图像捕获装置110A-110N，这些图像捕获装置被布置用于检查连续前进经过这些图像捕获装置的片材部件。在如图2所示的检查系统100的示例性实施方案中，片材部件104中的至少一个片材部件定位在近侧轮113和远侧轮115之间的移动带111上。图像捕获装置110被定位成与片材部件的表面相邻，使得图像捕获装置110中的每个图像捕获装置可捕获前进通过成像单元108的每个片材部件的参考图像。可包括在图像捕获装置110A-110N中的图像捕获装置的数量不限于特定数量的装置，并且可以是两个或更多个装置。另外，如图2所示的图像捕获装置110A-110N的物理布置和对齐并非旨在表示能够在系统100的成像单元108中使用的图像捕获装置相对于彼此的实际布置和/或对齐，而是仅旨在表示可在系统诸如系统100中使用的多个图像捕获装置的概念。可用于捕获片材部件的一组参考图像的多个图像捕获装置的布置和/或对齐的实施方案在下文进一步说明和描述。
参见图2，在可使用系统100执行的成像过程期间，移动带111可在大致由箭头117指示的方向上前进。在一些实施方案中，移动带111可在通过制造过程诸如制造过程102(图1)提供片材部件104中的多个片材部件(未示出)时连续地支撑和推进该多个片材部件。在其他实施方案中，如图2所示的多个片材部件的成像在已制造和储存多个片材部件之后的某个时间点进行。在一些实施方案中，该多个片材部件可为具有预定义宽度和长度两者的单独片材部件的形式，并且被推进通过包括图像捕获装置110A-110N的成像单元108，使得图像捕获装置110可捕获该多个片材部件中的每个片材部件的一组参考图像。
如图2所示，图像捕获装置110邻近承载该多个片材部件的连续移动带111定位。移动带111可在大致由箭头117指示的方向上被传送，并且例如通过施加到近侧轮113和/或远侧轮115的机械力来传送。被施加用于旋转近侧轮113和/或远侧轮115并因此旋转移动带111的机械力可使用例如电动马达或被布置用于旋转近侧轮113和/或远侧轮115的其他装置(均未在图2中示出)来生成。当移动带111沿箭头117指示的方向前进时，图像捕获装置110被布置用于对多个片材部件进行成像以获得图像数据。
图像捕获装置110不限于任何特定类型的图像捕获装置，并且可以是能够在移动带111前进经过图像捕获装置时对片材部件进行成像并以电子信号形式提供输出(诸如图像数据的数字数据流)的常规成像装置。在一些实施方案中，图像捕获装置110中的至少一个图像捕获装置为线扫描相机。在其他实施方案中，图像捕获装置110中的至少一个图像捕获装置为面扫描相机。在一些实施方案中，图像捕获装置110中的每个图像捕获装置为相同类型的图像捕获装置。在其他实施方案中，图像捕获装置110包括与系统100中存在的附加图像捕获装置相比不同类型的至少一个图像捕获装置。
如图2所示，图像捕获装置110可包括多个相机，这些相机向相应一组采集计算机114A-114N提供表示多个片材部件的感测的图像的电输出信号。采集计算机114A-114N耦接到分析计算机114Y，并且被布置用于向分析计算机114Y提供表示由对应的图像捕获装置110A-110N捕获的图像数据的输出。在其他实施方案中，图像捕获装置110A-110N可将表示由相机捕获的图像的数字数据流和/或模拟信号直接提供给计算装置诸如分析计算机114Y，以供包括在分析计算机114Y中的处理电路进一步处理。其他传感器诸如激光扫描器可用作图像捕获装置110A-110N。
再次参见图2，分析计算机114Y的处理电路处理包括从采集计算机114A-114N或在替代方案中直接从图像捕获装置110A-110N提供的图像数据的图像流，从而生成前进通过移动带111上的成像单元108的多个片材部件的参考图像。作为生成参考图像的一部分，分析计算机114Y可以将参考图像布置成多组参考图像，其中多组参考图像中的每组参考图像对应于多个片材部件中的一个片材部件。换句话讲，对应于单个片材部件的一组参考图像可包括由图像捕获装置110A-110N中的每个图像捕获装置捕获的参考图像。分析计算机114Y还可被布置用于将图像数据输出到数据库，诸如处理单元120的存储单元116和/或存储单元。
分析计算机114Y可被配置为在将参考图像转发到处理单元120之前，对由图像捕获装置110捕获的多组参考图像执行至少一个预处理操作。对参考图像的预处理可包括对包括这些参考图像的图像数据执行一维或二维空间卷积、分级滤波(中值)、对比度增强、静态平场校正、滤波图像处理的差异和/或频率处理中的一者或一些组合。可用于预处理图像数据的空间卷积的示例可包括邻域平均、高斯核梯度滤波和/或定向边缘增强。经滤波的图像处理的差异的示例可包括基于对图像数据的高斯差异的处理。频率变换的示例可包括在频率空间中处理以移除伪影，然后应用逆变换。
再次参见图2，处理单元120接收多组参考图像，并且可被布置用于提供归属于处理单元120的任何特征，如相对于图1所示和所述。例如，处理单元120可分析包括在多组参考图像中的数据，以确定这些参考中是否存在任何缺陷诸如生产线缺陷、异常、或其他类型的表面和/或尺寸缺陷。处理单元120可将至少一个阈值应用于这些参考图像，以基于对与片材部件相关联的一组参考图像的分析，来确定与该片材部件的功能和/或物理特性相关联的片材部件的质量。
用户界面(例如，图1的用户界面122)可以耦接到处理单元120，并且可以用于提供指示多组参考图像的分析结果的图形显示。例如，用户界面可指示前进通过成像单元108的每个片材部件的所确定的质量。
如图2所示，处理单元120和分析计算机114Y可耦接到网络118。网络118不限于任何特定类型的网络，并且可以是使用允许耦接到网络118的装置彼此通信的任何类型的通信协议的任何网络，包括互联网、局域网(LAN)、广域网(WAN)。
图3是示出根据本公开中描述的至少一种示例性技术的图1的系统的成像单元108的透视图的框图。如图3所示，成像单元108可包括移动带111、纵向轴线302、片材部件304A-304C(统称为“片材部件304”)和图像捕获区域306A-306N(统称为“图像捕获区域306”)。
参见图3，可从图1和图2的图像捕获装置110的角度示出片材部件304。换句话讲，图3从“鸟瞰”视图示出了片材部件304。移动带111可沿箭头308指示的方向前进，从而使片材部件304穿过图像捕获区域306。图像捕获区域306可对应于图1的图像捕获装置110。例如，图像捕获区域306A可表示图像捕获装置110A捕获的区域。这样，片材部件304中的每个片材部件穿过图像捕获区域306中的每个图像捕获区域，并且图像捕获装置110捕获对应于前进通过移动带111上的成像单元108的每个片材部件的一组参考图像。
图像捕获区域306可与纵向轴线302对齐，使得图像捕获区域306的边界垂直于或平行于纵向轴线302。另选地，例如，如图3所示，片材部件304可相对于纵向轴线302倾斜。虽然片材部件304被示出为相对于纵向轴线302倾斜，但在一些示例(未示出)中，片材部件304中的至少一个片材部件可与纵向轴线302对齐，使得该至少一个片材部件的近侧边缘和该至少一个片材部件的远侧边缘正交于纵向轴线302。
图4是示出根据本公开中描述的至少一种示例性技术的示例性处理单元400的框图。处理单元400可以是图1的系统100的处理单元120的示例或替代具体实施。图4中所示的处理单元400的架构仅出于示例性目的而示出。处理单元400不应限于所示的示例性架构。在其他示例中，处理单元400可以多种方式配置。在图4所示的示例中，处理单元400包括变换单元410，该变换单元被配置为确定用于检查由制造设施生产的片材部件的检查区域。处理单元400还包括质量单元420，该质量单元被配置为通过检测由变换单元410识别的检查区域中的缺陷，来评估片材部件的质量。
处理单元400可被实施为能够执行根据本公开的至少一个方面所述的操作和/或功能的任何合适的计算系统(例如，至少一个服务器计算机、工作站、大型机、电器、云计算系统和/或其他计算系统)。在一些示例中，处理单元400电耦接到图1的检查装置105。在其他示例中，处理单元400表示被配置为经由无线连接与系统100连接的云计算系统、服务器群和/或服务器集群(或其部分)。在其他示例中，处理单元400可表示数据中心、云计算系统、服务器群和/或服务器集群的至少一个虚拟化计算实例(例如，虚拟机或容器)或通过该至少一个虚拟化计算实例来实施。在一些示例中，处理单元400包括至少一个计算装置，其中每个计算装置具有存储器和至少一个处理器。
如图2的示例所示，处理单元400包括处理电路402、至少一个接口404和至少一个存储单元406。处理单元400还包括变换单元410和质量单元420，其可被实施为存储在存储单元406中并且能够由处理电路402执行的程序指令和/或数据。处理单元400的存储单元406还可存储能够由处理电路402执行以控制处理单元400的部件的操作的操作系统(未示出)。处理单元400的部件、单元或模块使用用于部件间通信的通信信道(物理地、通信地和/或操作地)耦接。在一些示例中，这些通信信道包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。
在一个示例中，处理电路402可包括被配置为实施用于在处理单元400内执行的功能和/或处理指令的至少一个处理器。例如，处理电路402可能够处理由存储单元406存储的指令。处理电路402可包括例如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效的离散或集成逻辑电路或者任何前述装置或电路的组合。
处理单元400可利用接口404经由至少一个网络与外部系统通信。在一些示例中，接口404包括被配置为将处理单元400电耦接到检查装置105的电接口(例如，电导体、变压器、电阻器、电容器或电感器中的至少一者)。在其他示例中，接口404可以是网络接口(例如，以太网接口、光收发器、射频(RF)收发器、Wi-Fi，或者经由使用商品名为“蓝牙”的无线技术、电话接口或能够发送和接收信息的任何其他类型的装置)。在一些示例中，处理单元400利用接口404来与外部系统(例如，图1的检查装置105)进行无线通信。
存储单元406可被配置为在操作期间将信息存储在处理单元400内。存储单元406可包括计算机可读存储介质或计算机可读存储装置。在一些示例中，存储单元406包括至少短期存储器或长期存储器。存储单元406可包括例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、磁性硬盘、光盘、闪存存储器、磁盘、光盘、闪存存储器、电可编程存储器(EPROM)的形式或电可擦除可编程存储器(EEPROM)的形式。在一些示例中，存储单元406用于存储用于由处理电路402执行的程序指令。存储单元406可由在处理单元400上运行的软件或应用程序使用，以在程序执行期间临时存储信息。
如图4的示例中所见，变换单元410包括点检测单元412、掩模改变单元414、映射单元416和检查区域单元418。另外，质量单元420包括缺陷检测单元422和质量评估单元424。
掩模图像408A-408N(统称为“掩模图像408”)可以是使用图1的用户界面122创建的一组掩模图像的示例。处理单元400可经由接口404接收指示掩模图像408的数据。参考图像(409A-409N)(统称为“参考图像409”)可以是由图1的图像捕获装置110捕获的多组参考图像的示例。每组参考图像可与多个片材部件(例如，图1的片材部件104)中的片材部件相关联。处理单元400可经由接口404接收指示参考图像409的数据。事实上，处理单元400可实时地接收多组参考图像409，单独地处理每组参考图像409，以确定相应片材部件的质量。掩模图像408中的至少一个掩模图像可以与一组参考图像409中的每个参考图像相关联。
点检测单元412可识别对应于多个片材部件104中的一个片材部件的一组参考图像409中的一个参考图像(例如，参考图像409A)中的至少一个主要点。在一些示例中，点检测单元412被配置为通过识别参考图像409A中的多个主要边缘，来识别至少一个主要点。该至少一个主要点中的每个主要点可表示该多个主要边缘中的一对主要边缘之间的交点。点检测单元412可外推多个主要边缘，使得多个主要边缘对在已知坐标处相交。已知坐标可限定至少一个主要点。在一些示例中，参考图像409A的多个主要边缘包括四个主要边缘，并且该四个主要边缘可不在已知坐标处相交。例如，该四个主要边缘可通过四个圆角连接。在其他示例中，参考图像409A可包括多于四个主要边缘或少于四个主要边缘。点检测单元412可被配置为识别该组参考图像409中的每个参考图像中的至少一个主要点。
另外，点检测单元412可识别该组掩模图像408中的一个掩模图像(例如，掩模图像408A)中的至少一个次要点。掩模图像408A可与参考图像409A相关联。例如，图1的用户界面122可基于由捕获参考图像409A的相同图像捕获装置(例如，图1的图像捕获装置110A)捕获的示例性参考图像来创建掩模图像408A。在一些示例中，点检测单元412被配置为通过识别掩模图像408A中的多个次要边缘，来识别至少一个次要点。该至少一个次要点中的每个次要点可表示该多个次要边缘中的一对次要边缘之间的交点。点检测单元412可外推多个次要边缘，使得多个次要边缘对在已知坐标处相交。已知坐标表示至少一个次要点。在一些示例中，掩模图像408A的多个次要边缘包括四个次要边缘，然而，该四个次要边缘可能不会在已知坐标处相交。在其他示例中，掩模图像408A可包括多于四个次要边缘或少于四个次要边缘。点检测单元412可被配置为识别掩模图像408中的每个掩模图像中的至少一个次要点。
掩模改变单元414可被配置为裁剪掩模图像408A。例如，掩模图像408A可限定类似于片材部件的实心形状。该实心形状可由多个直边缘(例如，多个次要边缘)和多个圆角的组合界定。掩模改变单元414可被配置为将掩模图像408A的边界改变预先确定的距离，同时保持掩模图像408A的形状。在一些示例中，掩模改变单元414通过将边界移位预先确定数量的像素，来将掩模图像408A的边界改变预先确定的距离。通过将掩模图像408A的边界改变预先确定的距离，掩模改变单元414可被配置为改变掩模图像408A的尺寸(如面积)。在一些示例中，掩模改变单元414将掩模图像408A的边界向内移动大于约10微米且小于约500微米的距离。例如，掩模改变单元414可将掩模图像408A的边界向内移动约20微米的距离。在其他示例中，掩模改变单元414将掩模图像408A的边界向外移动预先确定的距离。在其他示例中，掩模改变单元414不改变尺寸、改变边界或以其他方式改变掩模图像408A。
映射单元416可基于由点检测单元412识别的至少一个主要点和至少一个次要点，来变换掩模图像408A。变换掩模图像408A可改变掩模图像的取向，以类似于相应参考图像409A的取向。另外，变换掩模图像408A可改变掩模图像的形状，以类似于相应参考图像409A的形状。在一些示例中，映射单元416被配置为使用仿射变换算法来变换掩模图像408A。
仿射变换算法是被配置为在仿射空间之间进行映射的函数。在一些示例中，第一仿射空间包括多组平行线和多个点。多组平行线可包括多个点中的至少一些点。第一仿射空间的平行线能够以多个角度相交。如果使用仿射变换将第一仿射空间映射到第二仿射空间，则每组平行线将在第二仿射空间中保持平行。然而，相交线对之间的多个角度可在第一仿射空间和第二仿射空间之间改变。另外，第一仿射空间中的多个点中的每个点可以保留在第二仿射空间中。然而，所述多个点中的点之间的距离可在第一仿射空间和第二仿射空间之间改变。示例性第一仿射空间可包括矩形。该矩形由两组平行线限定，包括总共四条线。总共四条线在四个点处相交，这些线以直角相交。仿射变换可将示例性第一仿射空间映射到示例性第二仿射空间。该示例性第二仿射空间可限定具有两组平行线的菱形。然而，与示例性第一仿射空间不同，该示例性第二仿射空间的相交线不以直角相交。因此，仿射变换算法保留从示例性第一仿射空间到示例性第二仿射空间的平行线集，并改变相交线的角度。
在图2所示的示例中，映射单元416可计算仿射变换矩阵。该仿射变换矩阵可包括使仿射变换算法能够将第一仿射空间映射到第二仿射空间的一组值。例如，掩模图像408A可限定第一仿射空间，而变换的掩模图像408A可限定第二仿射空间。该仿射变换矩阵可使仿射变换算法能够变换掩模图像408A，以将掩模图像408A的取向与参考图像409A的取向对齐。此外，该仿射变换矩阵可使仿射变换算法能够改变掩模图像408A的形状，以采用参考图像409A的形状。在一些示例中，该仿射变换矩阵包括由公式1给出的六个值。
Figure BDA0003015823190000181
该仿射变换矩阵可通过使用矩阵代数来求解公式b＝Ah(公式5)中的h来计算。例如，参考图像409A中识别的主要点可由坐标
Figure BDA0003015823190000182
给出。在相应掩模图像408A中识别的次要点可由坐标
Figure BDA0003015823190000183
给出。基于主要点和次要点，映射单元416可以组装矩阵A和矩阵b，分别见以下(公式2)和(公式3)。
Figure BDA0003015823190000184
Figure BDA0003015823190000191
Figure BDA0003015823190000192
Figure BDA0003015823190000193
映射单元416可通过执行最小二乘估计来求解变换矩阵h(公式4)。例如，映射单元416可通过应用公式h＝(ATA)-1ATb来求解h。换句话讲，映射单元416可通过首先将矩阵A的转置乘以矩阵A本身，来求解变换矩阵h。接下来，映射单元416可以计算矩阵A的转置与矩阵A的乘积的倒数。在计算逆之后，映射单元416可将该倒数乘以矩阵A的转置。随后，映射单元416可通过乘以矩阵b来求解矩阵h。
映射单元416可通过将仿射变换矩阵(公式1)应用于掩模图像408A的每个点，来变换掩模图像408A，如下文(公式6)中所示。换句话讲，变换的掩模图像408A中的每个像素可通过将仿射变换矩阵应用于原始(例如，未变换的)掩模图像408A中的每个像素来计算。
Figure BDA0003015823190000201
检查区域单元418可将变换的掩模图像408A覆盖(例如，叠加)在对应的参考图像409A上。在一些示例中，在掩模图像408A叠加在参考图像409A上之后，变换的掩模图像408A部分地但不完全覆盖参考图像409A。参考图像409A的被变换的掩模图像408A覆盖的一部分可限定检查区域(例如，参考图像的旨在由处理单元400检查的区域)。在一些示例中，检查区域单元418将变换的掩模图像408A覆盖在参考图像409A上，使得变换的掩模图像408A的质心与参考图像409A的质心对齐。在一些此类示例中，参考图像409A的面积大于变换的掩模图像408A的面积，并且该检查区域是参考图像409A的被变换的掩模图像408A覆盖的内部区域。在一些示例中，该检查区域包括参考图像409A的内部区域，该内部区域从参考图像409A的边界延伸至多大于约10微米且小于约500微米。换句话讲，该检查区域包括排除参考图像409A的边界区域的参考图像409A的区域。
质量单元420可处理参考图像409A的检查区域，以确定片材部件的质量。例如，缺陷检测单元422可检测该检查区域中的缺陷。该检查区域中的缺陷可包括颗粒、磨损、划痕、凹痕、条纹和压痕中的至少一者。在一些示例中，缺陷检测单元422采用图像处理技术基于缺陷类型、缺陷数量、缺陷尺寸或缺陷严重性中的至少一者，来计算缺陷量化值。基于该缺陷量化值，质量评估单元424可将参考图像409A分类为缺陷类别、合格类别或返工类别中的至少一者。处理单元400可以独立地处理该组参考图像409中的每个参考图像(例如，参考图像409A、409B、409C、...和409N)，以确定片材部件的质量。更具体地讲，质量评估单元424可使用质量函数来确定片材部件的质量。例如，该质量函数可接受每个参考图像的缺陷量化值作为输入，并产生片材部件的质量分类作为输出。处理单元400可通过分析对应于每个片材部件的一组参考图像409，来确定多个片材部件104中的每个片材部件的质量。在一些示例中，处理单元400被配置为以每秒约两个片材部件的速率确定多个片材部件104的质量。
图5是示出根据本公开中描述的至少一种示例性技术的具有多个识别的主要点512A-512D(统称为“主要点512”)的参考图像510和具有多个识别的次要点522A-522D(统称为“次要点522”)的掩模图像520的框图。参考图像510可以是对应于片材部件的图4的一组参考图像409的参考图像(例如，参考图像409A)的示例。除了主要点512之外，参考图像510还可包括主要边缘514A-514D(统称为“主要边缘514”)和主要圆角516A-516D(统称为“主要圆角516”)。此外，掩模图像520可以是图4的该组掩模图像408中的一个掩模图像(例如，掩模图像408A)的示例。除了次要点522之外，掩模图像520还可包括次要边缘524A-524D(统称为“次要边缘524”)和次要圆角526A-526D(统称为“次要圆角526”)。
处理单元(例如，图4的处理单元400)可识别主要点512。如图5的示例中所见，处理单元400可识别参考图像510中的多个主要边缘514。主要边缘514可包括参考图像510的边界的直边缘。主要边缘514的直边缘可由主要圆角516连接。为了识别主要点512，处理单元400可外推主要边缘514，使得主要边缘514在已知坐标处相交。例如，如图5所示，可外推主要边缘514A和主要边缘514D以在主要点512A处相交。处理单元400可识别主要点512A的坐标，以及主要点512中的每个其他主要点的坐标。主要点512的坐标可用于变换掩模图像520。
另外，处理单元400可识别次要点522。如图5的示例所示，处理单元400可识别掩模图像520中的多个次要边缘524。次要边缘524可包括掩模图像520的边界的直边缘。次要边缘524的直边缘可由次要圆角526连接。为了识别次要点522，处理单元400可外推次要边缘524，使得次要边缘524在已知坐标处相交。例如，可外推次要边缘524A和次要边缘524D以在次要点522A处相交。处理单元400可识别次要点522A的坐标以及次要点522中的每个其他次要点的坐标。主要点512的坐标和次要点522的坐标可用作仿射变换算法的输入，该仿射变换算法用于变换掩模图像520以采用参考图像510的形状和取向。
图6是示出根据本公开中描述的至少一种示例性技术的参考图像610、对应的掩模图像620以及通过将变换的掩模图像630施加到参考图像610而创建的边界区域640的框图。参考图像610可以是对应于片材部件的图4的一组参考图像409的参考图像(例如，参考图像409A)的示例。此外，掩模图像620可以是图4的该组掩模图像408中的掩模图像(例如，掩模图像408A)的示例。
在一些示例中，处理单元(例如，图4的处理单元400)将掩模图像620变换为变换的掩模图像630。在变换之前，可向内移动掩模图像620的边界，使得掩模图像620的尺寸减小并且掩模图像620的形状得以保持。处理单元400可以将变换的掩模图像630覆盖在参考图像610上。变换的掩模图像630部分地覆盖该参考图像。处理单元400可在参考图像610内限定边界区域640，其中检查区域表示参考图像610的排除边界区域640的一部分。这样，参考图像610的被掩模图像630覆盖的区域表示检查区域。边界区域640涵盖在参考图像610的边界与掩模图像630的边界之间延伸的区域。在一些示例中，边界区域640从参考图像610的边界延伸大于约10微米且小于约500微米。
图7是示出根据本公开中描述的至少一种示例性技术的使用用于确定片材部件的质量的检查装置(诸如图1的系统100的检查装置105)来捕获该片材部件的一组参考图像的示例性操作700的流程图。相对于图1的系统100描述了示例性操作700。然而，示例性操作700不应理解为限于系统100；示例性操作700可由被配置为执行示例性操作700的步骤的任何元件或元件组来执行。
根据示例性操作700，检查装置105的输入区接收多个片材部件104中的片材部件(710)。在一些示例中，为了接收片材部件，检查装置105从片材部件的叠堆中选择片材部件并将该片材部件传送到输入区。为了选择片材部件，检查装置105可包括选择构件，该选择构件被配置为从片材部件的叠堆中移除片材部件并将该片材部件放置在输入区上。附加地或另选地，为了接收片材部件，系统100可被配置为从装置操作者接收片材部件，其中该装置操作者手动地将该片材部件放置在输入区上。在一些示例中，检查装置105的输入区包括移动带的起点，该移动带被配置为从制造过程102的端点通过清洁单元106和成像单元108传送片材部件。
检查装置105的清洁单元106可清洁片材部件(720)。例如，当片材部件行进至成像单元108时，清洁单元106可从片材部件的表面移除颗粒(例如，气载颗粒、粉尘颗粒或液滴)。通过在成像之前清洁片材部件，清洁单元106可防止在对应于该片材部件的一组参考图像中错误地检测到缺陷。
系统100的成像单元108可检测片材部件(730)。在一些示例中，成像单元108包括灯(未示出)和图像捕获装置110，其中片材部件在灯和图像捕获装置110之间行进。因此，在一些此类示例中，图像捕获装置110可检测到当片材部件在灯和图像捕获装置110之间通过时该片材部件部分地遮挡光，并且图像捕获装置110可因此确定片材部件位于成像单元108内。响应于检测到片材部件位于成像单元内，至少一个图像捕获装置110捕获该片材部件的一组参考图像(740)。
检查装置105将指示该组参考图像的数据输出到处理单元120(750)。处理单元120可分析该组参考图像，以确定该片材部件的质量。在处理单元120确定该质量之后，系统100从处理单元120接收指示该片材部件的该质量的信息，其中该片材部件的该质量基于该组参考图像(760)。检查装置105基于该片材部件的质量，对该片材部件进行分拣(770)。在一些示例中，指示该片材部件的质量的信息包括对多个质量类别中的至少一个质量类别的指定，该多个质量类别包括缺陷类别、合格类别和返工类别。
图8是示出根据本公开中描述的至少一种示例性技术的使用处理单元(诸如图4的处理单元400)来确定片材部件的质量的示例性操作800的流程图。尽管相对于图4的处理单元400描述了示例性操作800，但在其他示例中，示例性操作800可由图1的系统100内的处理单元120执行。
根据示例性操作800，处理单元400接收多个片材部件(例如，图1的片材部件104)中的一个片材部件的一组参考图像409，其中该组参考图像409由至少一个图像捕获装置(例如，图1的图像捕获装置110)捕获(810)。在示例性操作800中，由处理单元400接收的一组参考图像409可包括对应于图像捕获装置110中的每个图像捕获装置的参考图像。在一些示例中，处理单元400在接口404处经由无线连接接收该组参考图像409。附加地或另选地，处理单元400的接口404可以电连接到系统100，使得处理单元400可以经由电导体接收该组参考图像409。
处理单元400的变换单元410识别该组参考图像409中的一个参考图像(例如，参考图像409A)中的至少一个主要点(820)。另外，变换单元410识别一组掩模图像408中的一个掩模图像(例如，掩模图像408A)中的至少一个次要点，其中掩模图像408A限定片材部件轮廓，该轮廓包括该片材部件的尺寸和形状以供检查，并且其中掩模图像408A对应于参考图像409A(830)。更具体地讲，为了识别至少一个主要点，变换单元410的点检测单元412可识别参考图像409A中的多个主要边缘。至少一个主要点中的每个主要点表示多个主要边缘中的一对主要边缘之间的交点。另外，为了识别至少一个次要点，点检测单元412可识别掩模图像408A中的多个次要边缘，其中至少一个次要点中的每个次要点表示多个次要边缘中的一对次要边缘之间的交点。在一些示例中，在点检测单元412识别至少一个主要点和至少一个次要点之后，变换单元410的掩模改变单元414裁剪掩模图像408A(例如，减小掩模图像408A的尺寸，同时保持掩模图像408A的形状)。
一旦点检测单元412识别出至少一个主要点和至少一个次要点，变换单元410的映射单元416就可以基于该至少一个主要点和该至少一个次要点，来变换掩模图像408A，其中该变换改变掩模图像408A的取向和掩模图像408A的形状中的至少一者，以将掩模图像408A的取向与参考图像409A的取向对齐，并且将掩模图像408A的形状与参考图像409A的形状对齐(840)。在一些示例中，映射单元416使用仿射变换算法来变换掩模图像408A。一般来讲，仿射变换算法将第一仿射空间映射到第二仿射空间。平行线在第一仿射空间和第二仿射空间之间的变换中保持平行。然而，线之间的相交角可在第一仿射空间和第二仿射空间之间的变换中改变。在示例性操作800的情况下，第一仿射空间包括掩模图像408A，第二仿射空间包括变换的掩模图像408A。更具体地讲，仿射变换算法包括由一组值构成的仿射变换矩阵，其中该仿射变换矩阵被设计为创建采用相应参考图像409A的取向和形状的变换的掩模图像408A。
在映射单元416创建变换的掩模图像408A之后，映射单元416将变换的掩模图像408A施加到相应参考图像409A，以识别参考图像409A内的检查区域(850)。例如，映射单元416可将变换的掩模图像408A覆盖在该参考图像上，从而变换的掩模图像408A部分地覆盖该参考图像。映射单元416可将参考图像409A内的检查区域限定为被变换的掩模图像408A覆盖的参考图像409A的一部分。这样，该检查区域限定参考图像409A的内部区域，该内部区域延伸至与参考图像409A的边界相距预先确定的距离。在一些实施方案中，该预先确定的距离大于约10微米且小于约500微米。在一个示例中，该检查区域限定参考图像409A的内部区域，其中该内部区域限定从参考图像409A的边界延伸至大于15微米且小于25微米的区域。
处理单元400的质量单元420可评估参考图像409A的检查区域是否有缺陷。在示例性操作800中，质量单元420可处理检查区域，以确定片材部件的质量(860)。更具体地讲，质量单元420可被配置为通过检测检查区域中的缺陷，来确定该片材部件的质量。示例性缺陷可包括能够由质量单元420的缺陷检测单元422使用图像处理技术检测的颗粒、磨损、划痕、凹痕、条纹和压痕中的至少一者。质量单元420的质量评估单元424可基于多个检测到的缺陷、检测到的缺陷的尺寸或检测到的缺陷的严重性的任何组合，来量化该检测到的缺陷。基于对该检测到的缺陷的量化，质量评估单元424可通过将片材部件分类为合格类别、缺陷类别或返工类别中的至少一者，来确定该片材部件的质量。处理单元400输出指示该片材部件的该质量的信息(870)。在一些示例中，处理单元400经由接口404将该信息输出到图1的检查装置105。
虽然相对于掩模图像408A和参考图像409A描述了示例性操作800，但可另外使用其他掩模图像和参考图像来应用示例性操作800。例如，处理单元400可以独立地处理该组参考图像409中的每个参考图像(例如，参考图像409A、409B、409C、...和409N)，以确定片材部件的质量。另外，处理单元400可通过分析对应于每个片材部件的一组参考图像409，来确定多个片材部件104中的每个片材部件的质量。
本公开中所描述的技术可至少部分地以硬件、软件、固件或它们的任何组合来实施。例如，可在至少一个处理器内实施所述技术的各个方面，该至少一个处理器包括至少一个微处理器、DSP、ASIC、FPGA和/或任何其他等效的集成或离散逻辑电路以及此类部件的任何组合。术语“处理器”或“处理电路”通常可以是指单独的或与其他逻辑电路组合的上述逻辑电路中的任一个、或任何其他等同的电路。包括硬件的控制单元还可执行本公开的技术中的至少一种。
此类硬件、软件和固件可在相同装置内或在不同装置内实施，以支持本公开中描述的各种操作和功能。此外，所描述的单元、模块或组件中的任一个可以一起实施或作为分立的但可互操作的逻辑设备单独实施。将不同特征描绘为模块或单元旨在突出不同的功能方面，并且不一定暗示此类模块或单元必须由单独的硬件或软件组件实现。相反，与至少一个模块和/或单元相关联的功能可以由单独的硬件或软件组件执行，或者集成在公共或单独的硬件或软件组件中。
本公开中描述的技术还可以在包含指令的计算机可读介质(诸如非暂态计算机可读介质或计算机可读存储介质)中体现或编码。嵌入或编码在计算机可读介质中的指令可使得可编程处理器或其他处理器执行该方法(例如，当执行指令时)。计算机系统可读存储介质可以包括：随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、EPROM、EEPROM、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁介质、光学介质或其他计算机可读存储介质。术语“计算机可读存储介质”是指物理存储介质，而不是信号或载波，尽管术语“计算机可读介质”除了物理存储介质之外还可包括瞬态介质，诸如信号。
示例性实施方案
1A.一种用于确定由制造设施生产的多个片材部件中的每个片材部件的质量的系统，所述系统包括：
检查装置，所述检查装置包括至少一个图像捕获装置，所述至少一个图像捕获装置被配置为捕获所述多个片材部件中的片材部件的一组参考图像；和
处理单元，所述处理单元被配置为：
识别所述一组参考图像中的参考图像中的至少一个主要点；
识别一组掩模图像中的掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像；
基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐；
将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；
处理所述参考图像的所述检查区域，以确定所述片材部件的所述质量；以及
输出指示所述片材部件的所述质量的信息。
2A.根据示例性实施方案1A所述的系统，其中为了将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的所述检查区域，所述处理单元被配置为：
将所变换的掩模图像覆盖在所述参考图像上，所变换的掩模图像部分地覆盖所述参考图像；以及
限定所述参考图像内的所述检查区域，其中所述检查区域表示所述参考图像的被所变换的掩模图像覆盖的内部部分，并且其中所述处理单元被配置为通过检测所述检查区域中的缺陷，来确定所述片材部件的所述质量。
3A.根据示例性实施方案2A所述的系统，其中所述检查区域中的所述缺陷包括颗粒、磨损、刮痕、凹痕、条纹或压痕中的至少一者。
4A.根据示例性实施方案1A至3A中任一项所述的系统，其中所述处理单元被配置为使用仿射变换算法来变换所述掩模图像。
5A.根据示例性实施方案1A至4A中任一项所述的系统，其中所述处理单元被配置为通过将所述片材部件分类为合格类别、缺陷类别或返工类别中的至少一者，来确定所述片材部件的所述质量。
6A.根据示例性实施方案1A至5A中任一项所述的系统，其中所述检查区域包括所述参考图像的内部部分，并且其中所述内部部分限定从所述参考图像的边界延伸到大于15微米且小于25微米的区域。
7A.根据示例性实施方案1A至6A中任一项所述的系统，其中所述处理单元被配置为通过识别所述参考图像中的多个主要边缘，来识别所述至少一个主要点，并且其中所述至少一个主要点中的每个主要点表示所述多个主要边缘中的一对主要边缘之间的交点。
8A.根据示例性实施方案7A所述的系统，其中所述处理单元被配置为通过识别所述掩模图像中的多个次要边缘，来识别所述至少一个次要点，并且其中所述至少一个次要点中的每个次要点表示所述多个次要边缘中的一对次要边缘之间的交点。
9A.根据示例性实施方案1A至8A中任一项所述的系统，其中所述至少一个图像捕获装置包括多个图像捕获装置，其中所述多个图像捕获装置中的每个图像捕获装置被配置为捕获所述片材部件的参考图像，并且其中所述处理单元被配置为基于由每个相应图像捕获装置捕获的所述参考图像，独立地确定所述片材部件的所述质量。
10A.根据示例性实施方案1A至9A中任一项所述的系统，其中所述检查装置还包括用户界面，并且其中所述处理单元被进一步配置为基于由所述用户界面接收的输入来创建所述掩模图像。
11A.根据示例性实施方案1A至10A中任一项所述的系统，其中所述检查装置被配置为：
利用所述检查装置，接收所述多个片材部件中的所述片材部件；
使用所述检查装置的至少一个清洁单元，清洁所述片材部件；
检测所述片材部件是否位于所述检查装置的成像单元内；
响应于检测到所述片材部分位于所述成像单元内，使用所述成像单元的至少一个图像捕获装置，捕获所述片材部件的所述一组参考图像；
使用所述检查装置的接口模块，将指示所述一组参考图像的数据输出到所述处理单元；
从所述处理单元接收指示所述片材部件的所述质量的所述信息，其中所述片材部件的所述质量基于所述一组参考图像；以及
使用所述检查装置，基于所述片材部件的所述质量，对所述片材部件进行分拣。
12A.根据示例性实施方案11A所述的系统，其中为了接收所述片材部件，所述检查装置被配置为：
从所述多个片材部件中的片材部件的叠堆中选择所述片材部件；以及
将所述片材部件传送到所述检查装置的输入区。
13A.根据示例性实施方案11A或12A中任一项所述的系统，其中为了接收所述片材部件，所述检查装置被配置为从装置操作者接收所述片材部件，并且其中所述装置操作者手动地将所述片材部件放置在所述检查装置的输入区上。
14A.根据示例性实施方案1A至13A中任一项所述的系统，其中所述系统被配置为以约每秒两个片材部件的速率确定所述多个片材部件的所述质量。
15A.根据示例性实施方案1A至14A中任一项所述的系统，其中所述片材部件包括光学膜。
16A.根据示例性实施方案1A至15A中任一项所述的系统，其中所述片材部件包括光学胶。
17A.根据示例性实施方案1A至16A中任一项所述的系统，其中所述处理单元包括至少一个计算装置，每个计算装置具有存储器和至少一个处理器。
1B.一种处理单元，所述处理单元被配置为：
接收多个片材部件中的片材部件的一组参考图像，其中所述一组参考图像由至少一个图像捕获装置捕获；
识别所述一组参考图像中的参考图像中的至少一个主要点；
识别一组掩模图像中的掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像；
基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐；
将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；
处理所述参考图像的所述检查区域，以确定所述片材部件的质量；以及
输出指示所述片材部件的所述质量的信息。
2B.根据示例性实施方案1B所述的处理单元，其中为了将所述变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域，所述处理单元被配置为：
将所变换的掩模图像覆盖在所述参考图像上，所变换的掩模图像部分地覆盖所述参考图像；以及
限定所述参考图像内的所述检查区域，其中所述检查区域表示所述参考图像的被所变换的掩模图像覆盖的内部部分，并且其中所述处理单元被配置为通过检测所述检查区域中的缺陷，来确定所述片材部件的所述质量。
3B.根据示例性实施方案1B或2B所述的处理单元，其中为了变换所述掩模图像，所述处理单元被配置为使用仿射变换算法来变换所述掩模图像。
4B.根据示例性实施方案1B至3B中任一项所述的处理单元，其中为了确定所述片材部件的所述质量，所述处理单元被配置为将所述片材部件分类为合格类别、缺陷类别或返工类别中的至少一者。
5B.根据示例性实施方案1B至4B中任一项所述的处理单元，其中所述检查区域包括所述参考图像的内部部分，并且其中所述内部部分限定从所述参考图像的边界延伸到大于15微米且小于25微米的区域。
6B.根据示例性实施方案2B至5B中任一项所述的处理单元，其中所述检查区域中的所述缺陷包括颗粒、磨损、刮痕、凹痕、条纹或压痕中的至少一者。
7B.根据示例性实施方案1B至6B中任一项所述的处理单元，其中为了识别所述至少一个主要点，所述处理单元被配置为识别所述参考图像中的多个主要边缘，并且其中所述至少一个主要点中的每个主要点表示所述多个主要边缘中的一对主要边缘之间的交点。
8B.根据示例性实施方案7B所述的处理单元，其中为了识别所述至少一个次要点，所述处理单元被配置为识别所述掩模图像中的多个次要边缘，并且其中所述至少一个次要点中的每个次要点表示所述多个次要边缘中的一对次要边缘之间的交点。
9B.根据示例性实施方案1B至8B中任一项所述的处理单元，其中所述处理单元被配置为接收由多个图像捕获装置中的每个图像捕获装置捕获的所述片材部件的参考图像，并且其中所述处理单元被配置为基于由每个相应图像捕获装置捕获的所述参考图像，独立地确定所述片材部件的所述质量。
10B.根据示例性实施方案1B至9B中任一项所述的处理单元，其中所述处理单元被进一步配置为从所述检查装置接收所述掩模图像，并且其中基于由所述检查装置的用户界面接收的输入来创建所述掩模图像。
11B.根据示例性实施方案1B至10B中任一项所述的处理单元，其中所述处理单元被配置为以约每秒两个片材部件的速率确定所述多个片材部件的所述质量。
12B.根据示例性实施方案1B至11B中任一项所述的处理单元，其中所述片材部件包括光学膜。
13B.根据示例性实施方案1B至12B中任一项所述的处理单元，其中所述片材部件包括光学胶。
14B.根据示例性实施方案1B至13B中任一项所述的处理单元，其中所述处理单元包括至少一个计算装置，每个计算装置具有存储器和至少一个处理器。
1C.一种方法，所述方法包括：
使用检查系统的至少一个图像捕获装置，捕获多个片材部件中的片材部件的一组参考图像；
使用处理单元，识别所述一组参考图像中的参考图像中的至少一个主要点；
使用所述处理单元，识别一组掩模图像中的掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像；
使用所述处理单元，基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐；
使用所述处理单元，将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；
使用所述处理单元，处理所述参考图像的所述检查区域，以确定所述片材部件的质量；以及
使用所述处理单元，输出指示所述片材部件的所述质量的信息。
2C.根据示例性实施方案1C所述的方法，其中将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域包括：
将所述掩模图像覆盖在所述参考图像上，所述掩模图像部分地覆盖所述参考图像；以及
将所述检查区域限定在所述参考图像内，其中所述检查区域表示所述参考图像的被所变换的掩模图像覆盖的内部部分，并且其中处理所述参考图像的所述检查区域以确定所述片材部件的质量包括检测所述检查区域中的缺陷。
3C.根据示例性实施方案1C或2C所述的方法，其中变换所述掩模图像包括使用仿射变换算法来变换所述掩模图像。
4C.根据示例性实施方案1C至3C中任一项所述的方法，其中处理所述参考图像的所述检查区域以确定所述片材部件的质量包括将所述片材部件分类为合格类别、缺陷类别或返工类别中的至少一者。
5C.根据示例性实施方案1C至4C中任一项所述的方法，其中识别所述至少一个主要点包括识别所述参考图像中的多个主要边缘，并且其中所述至少一个主要点中的每个主要点表示所述多个主要边缘中的一对主要边缘之间的交点。
6C.根据示例性实施方案5C所述的方法，其中识别所述至少一个次要点包括识别所述掩模图像中的多个次要边缘，并且其中所述至少一个次要点中的每个次要点表示所述多个次要边缘中的一对次要边缘之间的交点。
7C.根据示例性实施方案1C至6C中任一项所述的方法，其中捕获所述片材部件的所述参考图像包括利用多个图像捕获装置中的每个图像捕获装置，捕获所述片材部件的参考图像，其中所述处理单元被配置为基于由每个相应图像捕获装置捕获的所述参考图像，独立地确定所述片材部件的所述质量。
8C.根据示例性实施方案1C至7C中任一项所述的方法，所述方法还包括使用所述检查装置的用户界面基于对所述用户界面的输入来创建所述掩模图像。
在不脱离本发明的范围和实质的情况下，本公开的可预知的变型和更改对本领域的技术人员来说将显而易见。本发明不应受限于本申请中为了说明目的所示出的实施方案。

Claims (20)

1.一种用于确定由制造设施生产的多个片材部件中的每个片材部件的质量的系统，所述系统包括：
检查装置，所述检查装置包括至少一个图像捕获装置，所述至少一个图像捕获装置被配置为捕获所述多个片材部件中的片材部件的一组参考图像；和
处理单元，所述处理单元被配置为：
识别所述一组参考图像中的参考图像中的至少一个主要点；
识别一组掩模图像中的掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像；
基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，或将所述掩模图像的所述形状与所述参考图像的形状对齐；
将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；
处理所述参考图像的所述检查区域，以确定所述片材部件的所述质量；以及
输出指示所述片材部件的所述质量的信息。
2.根据权利要求1所述的系统，其中为了将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的所述检查区域，所述处理单元被配置为：
将所变换的掩模图像覆盖在所述参考图像上，所变换的掩模图像部分地覆盖所述参考图像；以及
限定所述参考图像内的所述检查区域，其中所述检查区域表示所述参考图像的被所变换的掩模图像覆盖的内部部分，并且
其中所述处理单元被配置为通过检测所述检查区域中的缺陷来确定所述片材部件的所述质量。
3.根据权利要求1或2中任一项所述的系统，其中所述处理单元被配置为使用仿射变换算法来变换所述掩模图像。
4.根据权利要求1至3中任一项所述的系统，其中所述处理单元被配置为通过将所述片材部件分类为合格类别、缺陷类别或返工类别中的至少一者，来确定所述片材部件的所述质量。
5.根据权利要求1至4中任一项所述的系统，其中所述处理单元被配置为通过识别所述参考图像中的多个主要边缘，来识别所述至少一个主要点，并且其中所述至少一个主要点中的每个主要点表示所述多个主要边缘中的一对主要边缘之间的交点。
6.根据权利要求5所述的系统，其中所述处理单元被配置为通过识别所述掩模图像中的多个次要边缘，来识别所述至少一个次要点，并且其中所述至少一个次要点中的每个次要点表示所述多个次要边缘中的一对次要边缘之间的交点。
7.根据权利要求1至6中任一项所述的系统，其中所述至少一个图像捕获装置包括多个图像捕获装置，其中所述多个图像捕获装置中的每个图像捕获装置被配置为捕获所述片材部件的参考图像，并且其中所述处理单元被配置为基于由每个相应图像捕获装置捕获的所述参考图像，独立地确定所述片材部件的所述质量。
8.根据权利要求1至7中任一项所述的系统，其中所述检查装置还包括用户界面，并且其中所述处理单元被进一步配置为基于由所述用户界面接收的输入来创建所述掩模图像。
9.根据权利要求1至8中任一项所述的系统，其中所述检查装置被配置为：利用所述检查装置，接收所述多个片材部件中的所述片材部件；
使用所述检查装置的至少一个清洁单元，清洁所述片材部件；
检测所述片材部件是否位于所述检查装置的成像单元内；
响应于检测到所述片材部分位于所述成像单元内，使用所述成像单元的至少一个图像捕获装置，捕获所述片材部件的所述一组参考图像；
使用所述检查装置的接口模块，将指示所述一组参考图像的数据输出到所述处理单元；
从所述处理单元接收指示所述片材部件的所述质量的所述信息，其中所述片材部件的所述质量基于所述一组参考图像；以及
使用所述检查装置，基于所述片材部件的所述质量，对所述片材部件进行分拣。
10.根据权利要求9所述的系统，其中为了接收所述片材部件，所述检查装置被配置为：
从所述多个片材部件中的片材部件的叠堆中选择所述片材部件；以及
将所述片材部件传送到所述检查装置的输入区。
11.根据权利要求9或10中任一项所述的系统，其中为了接收所述片材部件，所述检查装置被配置为从装置操作者接收所述片材部件，并且其中所述装置操作者手动地将所述片材部件放置在所述检查装置的输入区上。
12.一种处理单元，所述处理单元被配置为：
接收多个片材部件中的片材部件的一组参考图像，其中所述一组参考图像由至少一个图像捕获装置捕获；
识别所述一组参考图像中的参考图像中的至少一个主要点；
识别一组掩模图像中的掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像；
基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐，
将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；
处理所述参考图像的所述检查区域，以确定所述片材部件的质量；以及
输出指示所述片材部件的所述质量的信息。
13.根据权利要求12所述的处理单元，其中为了将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域，所述处理单元被配置为：
将所变换的掩模图像覆盖在所述参考图像上，所变换的掩模图像部分地覆盖所述参考图像；以及
限定所述参考图像内的所述检查区域，其中所述检查区域表示所述参考图像的被所变换的掩模图像覆盖的内部部分，并且
其中所述处理单元被配置为通过检测所述检查区域中的缺陷，来确定所述片材部件的所述质量。
14.根据权利要求12或13中任一项所述的处理单元，其中为了变换所述掩模图像，所述处理单元被配置为使用仿射变换算法来变换所述掩模图像。
15.根据权利要求12至14中任一项所述的处理单元，其中为了确定所述片材部件的所述质量，所述处理单元被配置为将所述片材部件分类为合格类别、缺陷类别或返工类别中的至少一者。
16.根据权利要求12至15中任一项所述的处理单元，其中为了识别所述至少一个主要点，所述处理单元被配置为识别所述参考图像中的多个主要边缘，并且其中所述至少一个主要点中的每个主要点表示所述多个主要边缘中的一对主要边缘之间的交点。
17.根据权利要求16所述的处理单元，其中为了识别所述至少一个次要点，所述处理单元被配置为识别所述掩模图像中的多个次要边缘，并且其中所述至少一个次要点中的每个次要点表示所述多个次要边缘中的一对次要边缘之间的交点。
18.根据权利要求12至17中任一项所述的处理单元，其中所述处理单元被配置为接收由多个图像捕获装置中的每个图像捕获装置捕获的所述片材部件的参考图像，并且其中所述处理单元被配置为基于由每个相应图像捕获装置捕获的所述参考图像，独立地确定所述片材部件的所述质量。
19.根据权利要求12至18中任一项所述的处理单元，其中所述处理单元被进一步配置为从所述检查装置接收所述掩模图像，并且其中基于由所述检查装置的用户界面接收的输入来创建所述掩模图像。
20.一种方法，所述方法包括：
使用检查系统的至少一个图像捕获装置，捕获多个片材部件中的片材部件的一组参考图像；
使用处理单元，识别所述一组参考图像中的参考图像中的至少一个主要点；
使用所述处理单元，识别一组掩模图像中的掩模图像中的至少一个次要点，其中所述掩模图像限定所述片材部件的轮廓，所述轮廓包括所述片材部件的尺寸和形状以供检查，并且其中所述掩模图像对应于所述参考图像；
使用所述处理单元，基于所述至少一个主要点和所述至少一个次要点，来变换所述掩模图像，其中所述变换改变所述掩模图像的取向或所述掩模图像的形状中的至少一者，以将所述掩模图像的所述取向与所述参考图像的取向对齐，并且将所述掩模图像的所述形状与所述参考图像的形状对齐；
使用所述处理单元，将所变换的掩模图像施加到所述参考图像，以识别所述参考图像内的检查区域；
使用所述处理单元，处理所述参考图像的所述检查区域，以确定所述片材部件的质量；以及
使用所述处理单元，输出指示所述片材部件的所述质量的信息。
CN201980067238.7A 2018-10-15 2019-10-14 对制膜中任意形状的片材部件的自动检查 Pending CN112889087A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862745619P 2018-10-15 2018-10-15
US62/745,619 2018-10-15
PCT/IB2019/058745 WO2020079567A1 (en) 2018-10-15 2019-10-14 Automated inspection for sheet parts of arbitrary shape from manufactured film

Publications (1)

Publication Number Publication Date
CN112889087A true CN112889087A (zh) 2021-06-01

Family

ID=68296582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980067238.7A Pending CN112889087A (zh) 2018-10-15 2019-10-14 对制膜中任意形状的片材部件的自动检查

Country Status (5)

Country Link
US (1) US11748874B2 (zh)
EP (1) EP3867866A1 (zh)
KR (1) KR20210073561A (zh)
CN (1) CN112889087A (zh)
WO (1) WO2020079567A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018102501A1 (en) * 2016-12-01 2018-06-07 3M Innovative Properties Company Alignment of film in a conversion station
WO2020245889A1 (ja) * 2019-06-03 2020-12-10 日本電気株式会社 点検装置、制御方法、及びプログラム
WO2021255565A2 (en) * 2020-06-15 2021-12-23 3M Innovative Properties Company Inspecting sheet goods using deep learning
JP2022083487A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 検査システム、管理装置、検査方法、プログラム、記録媒体および物品の製造方法
CN117372720B (zh) * 2023-10-12 2024-04-26 南京航空航天大学 一种基于多特征交叉掩码修复的无监督异常检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120571A1 (en) * 1999-08-05 2004-06-24 Orbotech Ltd. Apparatus and methods for the inspection of objects
US20060251320A1 (en) * 2003-03-28 2006-11-09 Carsten Diederichs Methods for qualitative evaluation of a material with at least one identification characteristic
CN102224412A (zh) * 2008-11-21 2011-10-19 住友化学株式会社 成形片材的缺陷检查装置
CN106502046A (zh) * 2015-09-04 2017-03-15 信越化学工业株式会社 光掩模坯的缺陷检查方法、分选方法和制备方法
US9779296B1 (en) * 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
JP2017194342A (ja) * 2016-04-20 2017-10-26 株式会社東芝 シート検査装置、シート検査方法、シート検査プログラム
US20180096472A1 (en) * 2016-09-30 2018-04-05 Fujifilm Corporation Image inspection method, image inspection device, program, and image recording system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5474248A (en) 1993-08-16 1995-12-12 Product Search, Inc. Slitter/rewinder machine
US6118893A (en) 1997-07-16 2000-09-12 Cognex Corporation Analysis of an image of a pattern of discrete objects
US6934028B2 (en) 2000-01-20 2005-08-23 Webview, Inc. Certification and verification management system and method for a web inspection apparatus
US7333650B2 (en) 2003-05-29 2008-02-19 Nidek Co., Ltd. Defect inspection apparatus
US7297969B1 (en) 2003-06-09 2007-11-20 Cognex Technology And Investment Corporation Web marking and inspection system
US7027934B2 (en) 2003-09-24 2006-04-11 3M Innovative Properties Company Apparatus and method for automated web inspection
JP2005267457A (ja) 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US8175739B2 (en) 2007-07-26 2012-05-08 3M Innovative Properties Company Multi-unit process spatial synchronization
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
US8935104B2 (en) 2010-03-10 2015-01-13 3M Innovative Properties Company Application-specific repeat defect detection in web manufacturing processes
JP2013123812A (ja) 2011-12-13 2013-06-24 Canon Inc 検査装置、検査方法、コンピュータプログラム
US8971663B2 (en) 2012-05-21 2015-03-03 Cognex Corporation System and method for producing synthetic golden template image for vision system inspection of multi-layer patterns
JP6527808B2 (ja) * 2015-10-27 2019-06-05 株式会社ニューフレアテクノロジー 検査方法および検査装置
JP6759053B2 (ja) * 2016-10-26 2020-09-23 株式会社ニューフレアテクノロジー 偏光イメージ取得装置、パターン検査装置、偏光イメージ取得方法、及びパターン検査方法
US10451563B2 (en) * 2017-02-21 2019-10-22 Kla-Tencor Corporation Inspection of photomasks by comparing two photomasks
JP7004145B2 (ja) * 2017-11-15 2022-01-21 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US10621717B2 (en) * 2018-03-30 2020-04-14 General Electric Compnay System and method for image-based target object inspection
JP7057220B2 (ja) * 2018-05-24 2022-04-19 株式会社ニューフレアテクノロジー マルチ電子ビーム画像取得装置及びマルチ電子ビーム光学系の位置決め方法
JP7144244B2 (ja) * 2018-08-31 2022-09-29 株式会社日立ハイテク パターン検査システム
JP2020047761A (ja) * 2018-09-19 2020-03-26 キオクシア株式会社 欠陥検査装置、欠陥検査方法、及び欠陥検査プログラム
JP2020053380A (ja) * 2018-09-28 2020-04-02 株式会社ニューフレアテクノロジー マルチ電子ビーム画像取得装置及びマルチ電子ビーム画像取得方法
US20210379783A1 (en) 2018-10-15 2021-12-09 3M Innovative Properties Company Slitter director for automated control of slit roll generation from manufactured web
EP3809366A1 (fr) * 2019-10-15 2021-04-21 Aisapack Holding SA Procédé de fabrication
US20230051895A1 (en) * 2021-08-12 2023-02-16 The Boeing Comppany Method of in-process detection and mapping of defects in a composite layup

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040120571A1 (en) * 1999-08-05 2004-06-24 Orbotech Ltd. Apparatus and methods for the inspection of objects
US20060251320A1 (en) * 2003-03-28 2006-11-09 Carsten Diederichs Methods for qualitative evaluation of a material with at least one identification characteristic
CN102224412A (zh) * 2008-11-21 2011-10-19 住友化学株式会社 成形片材的缺陷检查装置
CN106502046A (zh) * 2015-09-04 2017-03-15 信越化学工业株式会社 光掩模坯的缺陷检查方法、分选方法和制备方法
US9779296B1 (en) * 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
JP2017194342A (ja) * 2016-04-20 2017-10-26 株式会社東芝 シート検査装置、シート検査方法、シート検査プログラム
US20180096472A1 (en) * 2016-09-30 2018-04-05 Fujifilm Corporation Image inspection method, image inspection device, program, and image recording system

Also Published As

Publication number Publication date
US11748874B2 (en) 2023-09-05
WO2020079567A1 (en) 2020-04-23
US20210390676A1 (en) 2021-12-16
EP3867866A1 (en) 2021-08-25
KR20210073561A (ko) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112889087A (zh) 对制膜中任意形状的片材部件的自动检查
JP4095860B2 (ja) 欠陥検査方法及びその装置
EP1664749B1 (en) Apparatus and method for automated web inspection
US8977035B2 (en) System, method and computer program product for detection of defects within inspection images
US7869643B2 (en) Advanced cell-to-cell inspection
CN102224412A (zh) 成形片材的缺陷检查装置
JPH04270950A (ja) 外観検査装置
Islam et al. Capsule image segmentation in pharmaceutical applications using edge-based techniques
EP1422516A1 (en) High speed x-ray inspection apparatus and method
JP2617014B2 (ja) シート測長システム
JP2009293999A (ja) 木材欠陥検出装置
KR101828536B1 (ko) 패널 검사 방법 및 장치
JP3009205B2 (ja) 検査方法及びその装置
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
JP6666171B2 (ja) 欠陥検査装置
JP7293907B2 (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
JP6623545B2 (ja) 検査システム、検査方法、プログラムおよび記憶媒体
CN111640085B (zh) 图像处理方法和设备、检测方法和装置、存储介质
KR20130039266A (ko) 이물질을 판별하는 광학 장치 및 그 방법
KR102015620B1 (ko) 금속입자 검출 시스템 및 방법
JP2001317927A (ja) スリット形状溝検査装置および方法
Zulkefle et al. Investigation of Rectangular Shape Object Detection and Classification Using Python
Affolder et al. Automated visual inspection and defect detection of large-scale silicon strip sensors
JP2015059854A (ja) 欠陥検査方法及び欠陥検査装置
JP7003786B2 (ja) 粒子径測定装置及び粒子径測定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination