CN115668290A - 使用深度学习来检查片材物品 - Google Patents

Abstract

一种检查系统包括具有至少一个图像捕获装置的检查装置。该图像捕获装置捕获通过该检查装置的片材部件的图像数据。该检查装置的处理单元向多个神经网络提供表示该片材部件的该图像数据，其中这些神经网络中的每个神经网络被训练成识别该片材部件中的对应缺陷，并输出指示该对应缺陷的存在的数据。该处理单元基于由每个对应神经网络输出的指示该对应缺陷的存在的该数据来确定该片材部件的质量类别。该处理单元还可将该片材部件的该质量类别输出到分拣器，该分拣器可基于该质量类别对该片材部件进行分拣。

Description

使用深度学习来检查片材物品

背景技术

作为各种制成物品的部件的片材部件通常由各种类型的膜(例如，透明聚酯膜)制成。用于制备膜的制造过程通常涉及制造长连续片材(称为幅材)形式的膜。幅材本身通常是在一个方向(“横维方向”)上具有固定宽度，而在正交方向(“顺维方向”)上具有预先确定的或未定长度的材料。在用于制备和处理幅材的各种制造过程中，幅材沿平行于幅材的长度尺寸并且垂直于幅材的宽度尺寸延伸的纵向轴线被传送。

光学膜是制造的膜的一个示例，并且被施加到各种各样的消费品。例如，从光学膜转换的片材部件可位于电子装置(例如，移动电话、电视、膝上型计算机、台式计算机或平板电脑)的屏幕组件中。制造设施可生产旨在应用于特定消费品的多个类似片材部件(例如，光学膜片材部件)。通常，需要检查由制造设施生产的片材部件的质量损害缺陷，使得可丢弃被确定为有缺陷的片材部件。在一些示例中，片材部件由制造设施的员工检查。附加地或另选地，可使用被配置用于自动识别缺陷的图像处理技术来检查片材部件。

发明内容

一般来讲，本公开描述了用于检查片材部件是否有缺陷的技术。更具体地，本公开描述了用于基于该片材部件的图像数据检测片材部件内的缺陷的示例性技术。

如本文所述，当部件移动通过检查装置时，一个或多个图像捕获装置捕获片材部件的图像数据。检查装置的处理单元接收图像数据，预处理图像数据并将图像数据提供给一组卷积神经网络(CNN)，其中每个CNN可被唯一地训练成检测部件中不同类型的缺陷。每个CNN的输出可包括指示由CNN检测到的缺陷是否存在于图像数据中的数据，并且如果存在，则可包括与片材部件空间相关的缺陷的位置。检查装置的分类器被配置为接收来自每个CNN的输出数据，并且基于例如由CNN基于图像数据检测到的缺陷，将片材部件分类成质量类别。在一些方面，检查装置可配置有定义一个或多个规则的数据，这些规则中的每个规则指定对于各种质量类别允许的每种类型的缺陷的阈值水平。分类器可基于针对由CNN检测到的不同类型的缺陷将规则应用于该组CNN的输出，来确定将给定的片材部件分配给质量类别中的特定一个质量类别。在一些方面，可定义该组规则，以便基于针对不同类型缺陷的图像数据中由CNN检测到的缺陷数量的各种组合和/或相关性来对片材部件进行分类。在一些方面，检查装置可提供多级机器学习架构，其中第二组一个或多个神经网络被训练成基于第一组CNN的输出将质量类别分配给片材部件，该第一组CNN的输出指示针对各种不同类型缺陷的片材部件中缺陷的数量。

在本文所阐述的各种示例中，检查装置可基于经训练的CNN的确定来采取一个或多个动作。例如，质量类别可用于确定片材部件是合格的、有缺陷的还是需要返工的。此外，质量类别可用于对适于不同客户的部件进行分拣，一些客户要求非常高的质量，而一些客户愿意接受稍低的质量。质量类别可用于将片材部件分拣到对应于质量类别的仓中。

本公开的技术可提供至少一个技术优点。例如，检查装置能够检测相对于片材部件具有低对比度和/或低频率的缺陷，这些缺陷在当前的片材物品检查系统中是不可检测的。本文所述技术的实际应用是一种能够对片材部件中的低对比度缺陷、低频缺陷进行分类的检查装置。

在一个实施方案中，用于确定由制造设施生产的多个片材部件中的每个片材部件的质量类别的系统包括：检查装置，该检查装置包括至少一个图像捕获装置，该至少一个图像捕获装置被配置为捕获表示该多个片材部件中的片材部件的图像数据；以及处理单元，该处理单元具有一个或多个处理器，该一个或多个处理器执行指令，这些指令使该处理单元：将表示该片材部件的该图像数据提供给第一组多个神经网络，这些神经网络中的每个神经网络被训练成识别该片材部件中的对应缺陷并输出指示该对应缺陷的存在的数据，基于由每个对应神经网络输出的指示该对应缺陷的存在的该数据，确定指示该片材部件的质量类别的数据，以及输出指示该片材部件的该质量类别的该数据。

在另一个实施方案中，用于确定由制造设施生产的幅材材料的质量类别的检查装置包括：至少一个图像捕获装置，该至少一个图像捕获装置被配置为捕获表示幅材材料的图像数据；位置控制器，该位置控制器被配置为获得沿该幅材材料的位置数据；以及处理单元，该处理单元被配置为：将表示该幅材材料的该图像数据提供给多个神经网络中的每个神经网络，这些神经网络中的每个神经网络被训练成识别该片材部件中的对应缺陷并输出指示该对应缺陷的存在的数据，以及输出指示该对应缺陷的存在的该数据和与指示该对应缺陷的存在的该数据相关联的位置数据。

在另一个实施方案中，方法包括：从至少一个图像捕获装置接收表示通过检查装置的多个片材部件中的片材部件的图像数据；将表示该片材部件的该图像数据提供给多个神经网络，这些神经网络中的每个神经网络被训练成基于表示该片材部件的该图像数据识别该片材部件中的对应缺陷，并输出指示该对应缺陷的存在的数据，基于由每个对应神经网络输出的指示该对应缺陷的存在的该数据，确定指示该片材部件的质量类别的数据，以及输出指示该片材部件的该质量类别的该数据。

在附图和以下描述中阐述了本公开的至少一个示例的细节。根据说明书和附图以及权利要求书，本公开的其他特征、目标和优点将显而易见。

附图说明

图1是示出根据本公开中描述的至少一种示例性技术的用于制造多个片材部件以及用于对该多个片材部件进行缺陷成像和检测的系统的框图。

图2是示出根据本公开中描述的至少一种示例性技术的图1的系统的附加细节的框图。

图3是示出根据本公开中描述的至少一种示例性技术的图1的系统的示例性成像单元的顶部透视图的框图。

图4是示出根据本公开中描述的至少一种示例性技术的示例性处理单元的框图。

图5A至图5E是示出根据本公开中描述的至少一种示例性技术的片材部件检查系统的机器学习部件的示例性配置的框图。

图6A是包括机器学习引擎的训练环境的框图，该机器学习引擎用于生成在本公开中描述的至少一种示例性技术中将片材部件缺陷与过程变量相关联的机器学习模型。

图6B是根据本公开中描述的至少一种示例性技术，该技术使用图6A的机器学习模型来确定片材部件缺陷的根本原因的片材部件生产环境的框图。

图7是示出根据本公开中描述的至少一种示例性技术的用于确定片材部件质量的方法的示例性操作的流程图。

图8A和图8B示出了根据本公开中描述的至少一种示例性技术可识别的示例性片材部件缺陷。

图9是示出幅材制造厂的示例性实施方案中的一条生产线的示例性实施方案的框图。

具体实施方式

描述了用于自动确定由制造设施形成的片材部件的质量的系统和技术，以使得即使在高速生产环境中也能够根据质量对多个片材部件采取行动(例如，分拣)。在确定多个片材部件的质量时准确性是重要的，因为错误的质量确定可能导致高质量片材部件被丢弃或可能导致低质量片材部件被装运以供消费。因此，具有本文所讨论的技术优点的性能良好的检查系统可提高制造设施的成品率和效率，并提高由制造设施生产的片材部件的质量。本文所述的技术可实现高效且准确地确定片材部件的质量类别。

图1是示出根据本公开中描述的至少一种示例性技术的用于制造多个片材部件以及用于对该多个片材部件进行缺陷成像和检测的系统的框图。在图1所示的示例中，系统100包括输入101、制造过程102、片材部件104、检查装置105、成像单元108、一个或多个图像捕获装置110A-110C(统称为“图像捕获装置110”)、仓112、处理单元120和用户界面122。

如图1所示的制造过程102接收各种输入101(例如，材料、能量、人和机器)并且生产包括多个片材部件(例如，片材部件104)的输出。制造过程102不限于任何特定类型或形式的制造，并且示出了能够操作以生产片材部件的任何类型的制造过程。在一些示例中，输入101包括卷状物品产品(例如，聚酯膜(例如，光学膜))的长连续片材。制造过程102可包括分割长连续片材的各个部分以形成片材部件104。例如，片材部件104可包括从长连续片材上切割下来的片。在一些示例中，片材部件104包括以物体(例如，移动装置、膝上型计算机、台式计算机、电视或窗户)的形状切割的长连续片材的片。一旦通过制造过程102生产，片材部件104就可被施加到相应物体的表面。

片材部件104可在形状、材料组成和厚度上基本上类似，使得多个片材部件中的每个片材部件看起来相似。在一些实施方案中，片材部件104中的每个片材部件包括单层透明或半透明材料，或者可包括多层材料。片材部件104可包括透明或半透明材料，旨在对特定波长的光或特定波长范围的光提供特定水平的透光率(通常穿过片材部件104的厚度尺寸)。片材部件104可具有与这些片材部件的顶表面和/或底表面的平坦度相关的各种要求和/或与没有缺陷相关的各种要求。

在制造过程102期间，片材部件104可产生多种缺陷。在一些示例中，缺陷包括颗粒、磨损、划痕、凹痕、条纹或压痕。缺陷的存在可确定片材部件104中的片材部件的质量。一些缺陷在尺寸和严重性上是最小的，并且不会显著地影响片材部件的质量。然而，其他缺陷可能较严重，并且可能不利地影响片材部件的质量。可针对每种类型的缺陷建立阈值。如果针对一种类型的缺陷的缺陷数量大于针对所述类型的缺陷的主要阈值水平，则可将片材部件分类为有缺陷的。此外，如果在片材部件中检测到某种类型的缺陷或某种类型的缺陷的组合，则片材部件可被分类为有缺陷的。在一些情况下，如果在片材部件中检测到的针对特定类型的缺陷的数量大于针对所述类型的缺陷的第二阈值水平并且小于检测到的缺陷的第一阈值水平，或者如果在片材部件中检测到某种类型的缺陷或某种类型的缺陷的组合，其中该种类型的缺陷或该种类型的缺陷的组合不会使片材部件不可用，则片材部件可被分类为“返工”类别。附加地或另选地，如果对于每种类型的缺陷，在片材部件中检测到小于第二阈值水平的缺陷，或者不存在某种类型的缺陷或某种类型的缺陷的组合，则片材部件可被分类为合格的。因此，被分类为需要返工的片材部件可具有比有缺陷的片材部件更高的质量水平和比合格片材部件更低的质量水平。

系统100可以制造并检查装配线中的片材部件104。换句话说，在制造过程102形成片材部件104之后，这些片材部件可行进通过检查装置105。随后，片材部件104可被分拣到仓112中。片材部件104可连续循环通过系统100，使得当新检查的片材部件离开检查装置105进入仓112时，另外的片材部件进入检查装置105。在一些示例中，移动带(例如，传送带)连续地将片材部件104从制造过程102的端点通过检查装置105传送到仓112。

检查装置105可包括成像单元108。在一些示例中，检查装置105包括用于片材部件104进入检查装置105的入口区(未示出)。在一些示例中，检查装置105的入口区自动接收来自片材部件104的集合的片材部件。例如，检查装置105的入口区可包括移动带的一部分，该移动带传送来自制造过程102的片材部件104，使得片材部件104能够进入检查装置105。在其他示例中，片材部件104可在通过制造过程102形成片材部件之后被组装成叠堆，并且片材部件的叠堆的各个片材部件可自动且连续地分配到检查装置105的入口区上。附加地或另选地，检查装置105可包括选择构件(未示出)，该选择构件被配置为从片材部件104的叠堆中选择单独的片材部件并且将该单独的片材部件放置到检查装置105的入口区上。在其他示例中，装置操作员可以手动将片材部件104放置在入口区上。

成像单元108可包括一个或多个图像捕获装置110。图像捕获装置110可以是相机或被配置为捕获表示成像单元108内的片材部件104的图像数据的其他部件。换句话讲，图像数据捕获环境的视觉表示，诸如成像单元108内的片材部件104。图像捕获装置110可包括能够捕获图像数据的部件，诸如录像机、红外相机、CCD(电耦装置)阵列或激光扫描器。

在一些示例中，图像捕获装置110可以是能够读取移动片材部件的一些或全部并以数字数据流的形式提供输出的常规成像装置。图像捕获装置110可捕获对应于片材部件104中的片材部件的图像。图像捕获装置110可以是直接提供数字数据流的相机或具有附加的模数转化器的模拟相机。另外，图像捕获装置110可包括其他传感器，诸如例如激光扫描器和线扫描相机。

在一些示例中，可存在可用于捕获图像数据的一个图像捕获装置(例如，图像捕获装置110A)。在一些示例中，可存在多个图像捕获装置(例如，图像捕获装置110A-110C)，每个图像捕获装置捕获片材部件的图像数据。在一些方面，相机可从不同的角度或不同的视角捕获片材部件的图像数据。在此类示例中，采集计算机(图1中未示出)或处理单元120可从图像捕获装置110中的每个图像捕获装置的图像数据创建合成图像数据。如本文所用，图像数据可包括从单个图像捕获装置捕获的图像数据和从多个图像捕获装置捕获的片材部件的合成图像数据。

在成像单元108捕获片材部件的图像之后，成像单元108可向处理单元120输出图像数据。处理单元120可被配置为评估该片材部件的质量。例如，处理单元120可包括一个或多个推断引擎114，该推断引擎可使用机器学习模型116来使用片材部件的图像数据对片材部件中的缺陷进行检测和分类。机器学习模型116可定义多个卷积神经网络(CNN)的层，其中每个CNN可被训练成基于片材部件的图像数据检测不同类别的缺陷，并且输出指示在图像数据中检测到的片材部件中的缺陷的缺陷数据。处理单元120可使用缺陷数据来确定指示针对片材部件的质量类别的数据。例如，处理单元120可确定指示针对片材部件的质量类别的数据，其中质量类别指示片材部件是合格的、有缺陷的或需要返工的。处理单元120可确定除了合格的、有缺陷的或需要返工的之外或代替合格的、有缺陷的或需要返工的其他质量类别。

在一些示例中，用户界面122允许用户控制系统100。用户界面122可包括显示屏、触摸屏、按钮、扬声器输入或扬声器输出的任何组合。在一些示例中，用户界面122被配置为对系统100的元件的任何组合通电或断电，并为处理单元120提供配置信息。

检查装置105可接收指示片材部件的所确定的质量类别的信息，并基于指示质量类别的信息执行一个或多个操作。在一些方面，响应于接收到指示质量类别的信息，检查装置105可基于指示质量类别的数据将片材部件分拣到仓112中的一个仓中。

仓112可被配置为接收被分类为至少一个质量类别的片材部件。在一些方面，可存在三种质量类别，如由处理单元120确定的合格类别(也称为“良好”类别)、有缺陷的类别(也称为“不好”类别)和返工类别。在一些示例中，仓112包括对应于每个质量类别的至少一个仓。例如，仓112可包括“良好”仓、“不好”仓和“返工仓”。检查装置105的输出区(未示出)可将分类片材部件路由到相应仓中。被处理单元120分类为有缺陷的片材部件被分拣到不好仓中。有缺陷的片材部件可被丢弃、回收或再使用以制造另一种产品。另外，在一些示例中，仓112包括良好仓，该良好仓被配置为接受被分类为合格的片材部件。被分拣到良好仓中的片材部件可从制造设施装运、出售和消费。仓112还可包括返工仓。分拣到返工仓中的片材部件可包括比分拣到不好仓中的片材部件更低程度的缺陷，并且比分拣到良好仓中的片材部件更高程度的缺陷。在将片材部件分拣到返工仓中之后，可对其进行修理(例如，返工)以去除缺陷。在对片材部件进行返工之后，处理单元120可将返工的片材部件分类为具有合格的质量。因此，返工类别可允许系统100挽救原本将被分类为有缺陷的片材部件。

在一些示例中，检查装置105的输出区自动将分类片材部件路由到相应的仓中。附加地或另选地，系统100可以指示片材部件的分类，并且装置操作员可手动地将该片材部件分拣到相应的仓中。在输出区将片材部件自动分拣到相应的仓112中的示例中，检查装置105可在输出区处包括一组发散轨道，其中这些发散轨道中的每个轨道通向多个仓112中的一个仓。

图2是示出根据本公开中描述的至少一种示例性技术的图1的系统100的附加细节的框图。图2中示出了成像单元108、图像捕获装置110、移动带111、采集计算机214和处理单元120。

图像捕获装置110可布置成检查连续前进经过图像捕获装置的片材部件。在如图2所示的检查系统100的示例性实施方案中，片材部件104(图1)的至少一个片材部件定位在移动带111上。图像捕获装置110可被定位成靠近承载片材部件的移动带111，因此图像捕获装置110可捕获前进通过成像单元108的每个片材部件的参考图像。尽管在图2中示出了三个图像捕获装置110，但是可包括在系统100中的图像捕获装置的数量不限于特定数量的装置，并且可存在少于或多于三个的装置。

在可使用系统100执行的成像过程期间，移动带111可在大致由箭头117指示的方向上前进。在一些实施方案中，移动带111可在片材部件(未示出)由制造过程(诸如制造过程102(图1))提供时支撑并推进这些片材部件。在其他实施方案中，如图2所示的片材部件的成像在已制造和储存片材部件之后的某个时间点进行。在一些实施方案中，片材部件可为具有预定义宽度和长度两者的单独片材部件的形式，并且被推进通过包括图像捕获装置110的成像单元108，使得图像捕获装置110可在片材部件穿过成像单元108时捕获该片材部件的至少一个参考图像。

图像捕获装置110不限于任何特定类型的图像捕获装置，并且可以是能够在移动带111前进经过图像捕获装置110时对片材部件进行成像并以电子信号形式提供输出(诸如图像数据的数字数据流)的常规成像装置。在一些示例性具体实施中，图像捕获装置110中的一个或多个图像捕获装置可以是线扫描相机。在其他示例性具体实施中，图像捕获装置110可以是面扫描相机。在其他示例性具体实施中，图像捕获装置110中的一个或多个图像捕获装置可在可见光谱、UV光谱、IR光谱或它们的组合中敏感。在具有多于一个图像捕获装置来捕获片材部件的图像数据的一些示例性具体实施中，图像捕获装置110中的每个图像捕获装置是相同类型的图像捕获装置。在具有多于一个图像捕获装置来捕获片材部件的图像数据的其他示例性具体实施中，与系统100中存在的另一个图像捕获装置相比，至少一个图像捕获装置是不同类型的图像捕获装置。

如上所述，可存在一个图像捕获装置用于捕获片材部件的图像数据，或者可存在一组图像捕获装置用于捕获片材部件的图像数据。在图2所示的示例中，图像捕获装置110A以及可选的图像捕获装置110B和110C捕获片材部件的图像数据。在一些示例性具体实施中，多个片材部件的图像数据可基本上并行捕获。例如，可存在多组多个图像捕获装置，每组用于在片材部件穿过成像单元108时获得片材部件的图像数据。

图像捕获装置110可向采集计算机214提供表示片材部件的被感测图像的电输出信号。采集计算机214可耦接到处理单元120，并向处理单元120提供表示由图像捕获装置110捕获的图像数据的输出。在其他实施方案中，图像捕获装置110可将表示由图像捕获装置110捕获的图像的数字数据流和/或模拟信号直接提供给计算装置，诸如处理单元120，以供由处理单元120中包括的处理电路进一步处理。每组图像捕获装置110可具有其自己的采集计算机214，或者多组图像捕获装置可与相同采集计算机相关联。

处理单元120的处理电路可处理包括从采集计算机214或在替代方案中直接从图像捕获装置110提供的图像数据的图像流，以生成在移动带111上前进通过成像单元108的片材部件的图像。处理单元120可使用多个卷积神经网络(CNN)来分析图像数据，其中每个CNN被配置为确定在片材部件的图像数据中是否检测到特定缺陷，诸如凹痕、起皱、气泡、波或其他低对比度和/或低频缺陷。例如，低对比度缺陷可以是强度值的变化在正常产品强度变化范围内的缺陷。也就是说，当比较缺陷区域和正常产品区域时，不存在实质强度变化差异。在此类示例中，有缺陷的区域可能仅被识别为正常强度变化内的明显图案。此外，相对于图像的像素成像分辨率，低频缺陷可能相对较大。例如，典型的成像分辨率可以是每像素5um到每像素50um。低频缺陷的尺寸可以是5mm或更大。处理单元120可处理每个CNN的输出，以确定片材部件的质量特性。

用户界面(例如，图1的用户界面122)可以耦接到处理单元120，并且可以用于提供指示多组参考图像的分析结果的图形显示。例如，用户界面可指示前进通过成像单元108的每个片材部件的所确定的质量。

图3是示出根据本公开中描述的至少一种示例性技术的图1的系统的成像单元108的顶部透视图的框图。如图3所示，成像单元108的透视图可包括移动带111和片材部件304A-304C(统称为“片材部件304”)。

可从图1和图2的图像捕获装置110的角度示出片材部件304。换句话讲，图3从“鸟瞰”视图示出了片材部件304。移动带111可沿箭头308指示的方向前进，从而使片材部件304穿过图像捕获区域306。图像捕获区域306可对应于图1的图像捕获装置110，并且表示图像捕获装置110的视场。例如，图像捕获区域306可表示图像捕获装置110捕获的区域。这样，片材部件304中的每个片材部件穿过图像捕获区域306，并且图像捕获装置110捕获对应于前进通过移动带111上的成像单元108的每个片材部件的图像数据。在图3所示的示例中，存在一个图像捕获区域306对应于单个组一个或多个图像捕获装置。如上所述，在一些示例性具体实施中，可存在多组图像捕获装置110来基本上并行地处理片材部件。在此类示例性实施方案中，可存在多个图像捕获区域306，每个图像捕获区域对应于一组图像捕获装置110。

图4是示出根据本公开中描述的至少一种示例性技术的示例性处理单元400的框图。处理单元400可以是图1的系统100的处理单元120的示例或替代具体实施。图4中所示的处理单元400的架构仅出于示例性目的而示出。处理单元400不应限于所示的示例性架构。在其他示例中，处理单元400可以多种方式配置。在图4所示的示例中，处理单元400包括缺陷检测单元410，该缺陷检测单元被配置为基于对片材部件的图像数据的分析来检测片材部件中的一种或多种类型的缺陷。缺陷检测单元410可包括一个或多个推断引擎412，该一个或多个推断引擎被配置为使用机器学习模型414处理片材部件的图像数据，并提供缺陷检测数据作为输出。处理单元400还包括质量评估单元420，该质量评估单元被配置为基于由推断引擎410检测到的缺陷(如果有的话)来评估片材部件的质量。

在一些方面，机器学习模型414可包括被训练成检测不同类型缺陷的多个CNN。推断引擎412可接收片材部件的图像数据，并通过多个CNN传递该图像数据。每个CNN的输出可以是指示由CNN检测到的该种类型的缺陷是否存在于图像数据中的数据。质量评估单元420可接收指示由相应CNN检测到的每种类型的缺陷是否存在于图像数据中的数据，并且将来自权重418的权重应用于每种缺陷类型的数据，以产生指示针对片材部件的质量类别的数据。如上所述，在一些方面，质量类别可包括合格的、有缺陷的或需要返工的。

处理单元400可被实施为能够执行根据本公开的至少一个方面所述的操作和/或功能的任何合适的计算系统(例如，至少一个服务器计算机、工作站、大型机、电器、云计算系统和/或其他计算系统)。在一些示例中，处理单元400电耦接到图1的检查装置105。在其他示例中，处理单元400表示被配置为经由有线或无线连接与系统100连接的云计算系统、服务器群和/或服务器集群(或其部分)。在其他示例中，处理单元400可表示数据中心、云计算系统、服务器群和/或服务器集群的至少一个虚拟化计算实例(例如，虚拟机或容器)或通过该至少一个虚拟化计算实例来实施。在一些示例中，处理单元400包括至少一个计算装置，每个计算装置具有存储器和至少一个处理器。

如图4的示例所示，处理单元400包括处理电路402、至少一个接口404和至少一个存储单元406。缺陷检测单元410、推断引擎412和质量评估单元420可被实施为存储在存储单元406中并且能够由处理电路402执行的程序指令和/或数据。存储单元406可存储机器学习模型414和与这些机器学习模型的输出相关联的权重418。处理单元400的存储单元406还可存储能够由处理电路402执行以控制处理单元400的部件的操作的操作系统(未示出)。处理单元400的部件、单元或模块可使用用于部件间通信的通信信道(物理地、通信地和/或操作地)耦接。在一些示例中，这些通信信道包括系统总线、网络连接、进程间通信数据结构或用于传送数据的任何其他方法。

在一个示例中，处理电路402可包括被配置为实施用于在处理单元400内执行的功能和/或处理指令的至少一个处理器。例如，处理电路402可能够处理由存储单元406存储的指令。处理电路402可包括例如微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效的离散或集成逻辑电路或者任何前述装置或电路的组合。

在处理单元400内可存在多个处理电路402的实例，以便于并行处理检查操作。多个实例可以是相同的类型，例如，多处理器系统或多核处理器。多个实例可以是不同的类型，例如，具有相关联的多个图形处理单元(GPU)的多核处理器。

处理单元400可利用接口404经由至少一个网络与外部系统通信。在一些示例中，接口404包括被配置为将处理单元400电耦接到检查装置105的电接口。在其他示例中，接口404可以是网络接口(例如，以太网接口、光收发器、射频(RF)收发器、Wi-Fi，或者经由使用商品名为“蓝牙”的无线技术、电话接口或能够发送和接收信息的任何其他类型的装置)。在一些示例中，处理单元400利用接口404来与外部系统(例如，图1的检查装置105)进行无线通信。

存储单元406可被配置为在操作期间将信息存储在处理单元400内。存储单元406可包括计算机可读存储介质或计算机可读存储装置。在一些示例中，存储单元406包括至少短期存储器或长期存储器。存储单元406可包括例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、磁性硬盘、光盘、闪存存储器、磁盘、光盘、闪存存储器、或电可编程存储器(EPROM)或电可擦除且可编程存储器(EEPROM)的形式。在一些示例中，存储单元406用于存储用于由处理电路402执行的程序指令。存储单元406可由在处理单元400上运行的软件或应用程序使用，以在程序执行期间临时存储信息。

图5A至图5E是示出根据本公开中描述的至少一种示例性技术的片材部件检查系统的机器学习部件的示例性配置的框图。在一些方面，机器学习部件可被实施为缺陷检测单元410(图4)的一部分。图5A示出了CNN504A-504N(统称为CNN 504)的配置，其中每个单独CNN被训练成检测不同的片材部件缺陷。例如，CNN 504A可被训练成检测片材部件中的凹痕缺陷。图8A中示出了具有凹痕缺陷的示例性片材部件。CNN 504B可被训练成检测片材部件中的波缺陷。图8B中示出了具有波缺陷的示例性片材部件。类似地，其他CNN 504C-504N可被训练成检测缺陷，诸如起皱、气泡等。一个或多个推断引擎412可将CNN 504应用于片材部件图像数据502以检测缺陷。在一些方面，针对CNN 504中的每一者可存在一个推断引擎412。以下相对于图6A描述了关于使用经过标记的片材部件图像数据训练CNN 504的进一步的示例性细节。

在一些方面，针对每个CNN的超参数可针对待由CNN检测的缺陷进行调整。针对CNN的超参数可相对于待由CNN检测的缺陷的准确性和/或处理效率进行调整。例如，凹痕缺陷可比起皱缺陷更大和/或更容易检测。针对被训练成检测凹痕缺陷的CNN的超参数可被调整到凹痕检测，并且因此可比使用未调整的超参数的CNN更有效或更快地检测凹痕。

在图5A所示的示例性配置中，片材部件图像数据502作为输入被提供给CNN 504A-504N中的每一者。CNN 504各自处理片材部件图像数据502，以确定在片材部件图像数据中是否检测到由相应CNN检测到的缺陷。在一些方面，CNN可彼此并行执行。例如，CNN 504中的每一者可在不同的处理器、处理器核或GPU上处理。CNN 504的每个CNN的输出可以是指示由CNN检测的缺陷是否存在于图像数据502中的数据。在一些方面，数据可以是具有介于零和一之间的值的分数，该分数表示基于对片材部件图像数据502的分析在片材部件中存在缺陷的概率。在一些方面，除了概率值之外，或代替概率值，可输出指示缺陷严重性的值。每个CNN的输出可被提供给分类器506。分类器506可基于分数来确定质量类别。质量类别可被提供给分拣器或其他装置，以指示应该如何处理片材部件。在一些示例性具体实施中，如果由分类器506确定的质量类别指示片材部件的质量合格，则片材部件可被分拣到“良好”仓508中。在一些示例性具体实施中，如果质量类别指示片材部件的质量是有缺陷的，则片材部件可被分拣到“不好”仓510中。在一些示例性具体实施中，如果质量类别指示片材部件的质量不合格，则片材部件可被分拣到“返工”仓510中，但是检测到的缺陷可允许片材部件待被返工为合格形式或可被返工用于不同的目的。

在一些方面，分类器506可对每个分数应用不同的阈值。在此类方面，如果分数超过针对特定缺陷的最大阈值，则分类器506可将片材部件分类为有缺陷的。如果分数小于最小阈值，则分类器506可将片材部件分类为合格。如果分数在最小阈值和最大阈值之间，则分类器506可将该片材部件分类为返工。可根据该种类型的缺陷的重要性对分数进行加权。

在一些方面，分类器506可对每个CNN产生的分数执行逻辑或。例如，如果针对缺陷的至少一个分数指示有缺陷的分类，则分类器506可将片材部件分类为有缺陷的。如果针对缺陷的分数中没有一个分数指示有缺陷的分类，但是至少一个分数指示返工分类，则分类器506可将片材部件分类为返工。如果分数中没有一个分数指示有缺陷的或返工的，则分类器506可将该片材部件分类为合格。

在一些方面，分类器506可根据由CNN 504输出的分数的组合对片材部件进行分类。例如，单独获得的分数中没有一个分数可指示缺陷，但是两个或更多个分数的组合可使分类器506将片材部件分类为有缺陷的或返工的。在一些方面，分类器506可使用一组一个或多个规则，该一组一个或多个规则可应用于分值以确定质量类别。

在一些方面，分类器506可实施机器学习技术，诸如神经网络，以确定针对片材部件的质量类别。可训练神经网络来基于分数的不同组合确定质量类别。

在确定针对片材部件的质量类别时，可根据每个缺陷的重要性给每个分数分配权重。例如，片材部件中的凹痕可被视为比片材部件中的波更严重的缺陷。可给检测凹痕的CNN 504的CNN的输出分配比检测片材部件中的波的CNN的输出更高的权重。分类器506可基于从CNN 504中的每一者接收的加权分数来确定针对片材部件的质量类别。

质量类别可被提供给分拣器或其他装置，以指示应该如何处理片材部件。在一些示例性具体实施中，如果由分类器506确定的质量类别指示片材部件的质量合格，则片材部件可被分拣到“良好”仓508中。在一些示例性具体实施中，如果质量类别指示片材部件的质量是有缺陷的，则片材部件可被分拣到“不好”仓510中。在一些示例性具体实施中，如果质量类别指示片材部件的质量不合格，则片材部件可被分拣到“返工”仓512中，但是检测到的缺陷可允许片材部件待被返工为合格形式或可被返工用于不同的目的。

图5B示出了CNN 504A-504N的配置，其中如在上面讨论的图5A中，每个单独CNN被训练成检测不同的片材部件缺陷。附加地，离群值检测CNN 514可针对片材部件进行训练，以学习典型的片材部件(甚至那些具有一定程度缺陷的片材部件)在图像数据中呈现的方式。可将片材部件图像数据502提供给CNN 504中的每一者，并且此外，提供给离群值检测CNN 514。离群值检测CNN 514的输出可用于从片材部件图像数据502中检测该片材部件与由系统100处理的典型片材部件发生显著变化。在一些方面，如果离群值检测CNN 514检测到此类片材部件，则该片材部件可被分配返工的质量类别。这可导致片材部件被发送到返工仓512以进行人工检查。此类处理可以是期望的，因为其可用于发现使用CNN 504可能检测不到的新类型的缺陷。可训练新的CNN来检测该CNN，并将其添加到CNN 504。

图5C示出了CNN 504A-504N的配置，其中每个单独的CNN被训练成检测不同的片材部件缺陷。在该示例中，CNN 504的输出可以是检测到缺陷的完整图像数据的子集。在图5C所示的例子中，片材部件图像数据502包括两个缺陷518和520的图像数据。缺陷518和520可以是相同类型的缺陷，或其可以是不同类型的缺陷。可训练CNN 504中的一者或多者，使得CNN可检测缺陷的位置，但是无法根据图像数据确定缺陷严重性。CNN可输出图像数据的子集，该子集包括可疑缺陷位置周围的区域。在该示例中，CNN 504可检测不同类型缺陷的存在及其位置，并且在该示例中，分类器506可以是被训练成确定与检测到的缺陷相关联的严重性的CNN。在图5C所示的示例中，图像数据子集522对应于包括缺陷518的图像数据，并且图像数据子集524对应于包括在片材部件图像数据502中发现的缺陷520的图像数据。CNN504B和504D可分别检测缺陷518和520的存在。图像数据子集可被提供给分类器506，该分类器可被训练成基于缺陷的图像数据子集来确定缺陷的严重性。

图5D示出了机器学习模型的配置，包括根据本公开的技术用片材部件元数据训练的机器学习模型。在图5D所示的示例中，CNN 504A-504N中的每一者都被训练成基于片材部件的图像数据(或图像数据的子集)来检测不同的片材部件缺陷。CNN 504A-504N的输出(例如，指示每个CNN检测到的缺陷是否存在的数据)可被收集到CNN特征数据532中。片材部件元数据526还可用作检查系统的输入。片材部件元数据526可包括描述片材部件制造方面的数据。此类元数据的示例包括源数据、时间数据、温度数据、位置数据、过程设置数据和测量数据。

源数据可包括指示片材部件来源的数据。此类数据的示例包括制造线识别符、仓库识别符等。其他源数据可包括源的条件或质量，诸如仓库是否受温度和/或湿度控制。时间数据可包括制备片材部件的时间。温度数据可包括制备片材部件时的温度或制备片材部件的幅材时的温度。位置数据可包括生产片材部件的幅材内的位置。过程设置数据可包括与片材部件制造过程相关联的数据值，诸如烘箱温度、张力值、速度值等。测量数据可包括数据，诸如制备片材部件时或制备片材部件的幅材时的环境温度和/或湿度。测量数据还可包括由应用于片材部件或片材部件的幅材的非破坏性测试产生的数据。

片材部件元数据526可以可选地由数据过滤单元528处理。数据过滤单元528可净化数据并对数据执行特征提取。例如，数据过滤单元528可归一化数据值，过滤未使用的数据、被破坏的数据和/或不完全数据等。为了生产经过滤的片材部件元数据526’(或片材部件元数据526，如果不执行过滤的话)连同CNN特征数据532可作为输入提供给全连接神经网络层534。全连接层534的输出可表示基于图像数据502和片材部件元数据526两者指示由CNN 504检测到的缺陷中的任何缺陷是否存在于图像数据中的数据。在一些方面，全连接层534的输出可作为输入提供给softmax函数536。softmax函数536可将全连接层534的矢量输出转换成概率分布538，该概率分布指示基于图像数据由CNN 504检测到片材部件具有每个缺陷的概率。

与CNN特征数据532结合的片材部件元数据526、526’可改进检查系统的缺陷检测。当已知特定缺陷更有可能在特定时间段期间出现时，时间元数据在确定缺陷存在时可为有用的。例如，特定缺陷可更有可能在夜间模式生产期间出现。

当从幅材的特定位置生产片材部件时，当缺陷更可能出现时，位置元数据可用于确定缺陷的存在。例如，特定缺陷可更有可能出现在幅材的中心位置，因此从中心位置制备的片材部件可更有可能具有特定缺陷。

当缺陷基于一个或多个过程设置更有可能发生时，过程设置元数据在确定缺陷时可为有用的。例如，当在更高的烘箱温度下执行制造片材部件的过程时，更可能出现缺陷。

当缺陷基于测量数据更有可能发生时，测量元数据在确定缺陷时可为有用的。此类测量数据可包括从外部传感器(例如，不是用于制造片材部件的装置的具体部件的传感器)获得的数据和/或来自非破坏性质量测量的数据。例如，当用于形成片材部件的层压操作期间的环境空气温度超过阈值时，层压相关的缺陷更可能发生。环境空气温度数据可在制造片材部件时或大约在制造该片材部件时从外部传感器获得，并在片材部件的检查过程期间使用。

作为非破坏性质量测量的一个示例，在对片材部件的非织造材料进行透气性测试期间获得的测量数据可用于确定在片材部件，诸如医用过滤器中是否存在穿孔缺陷。

图5E示出了机器学习模型的配置，包括根据本公开的技术用片材部件元数据训练的机器学习模型548。在图5E所示的示例中，机器学习引擎546可在训练环境540中的训练阶段期间接收片材部件元数据历史542和片材部件成品率历史544。机器学习引擎546可使用片材部件元数据历史542和片材部件成品率历史544来生成机器学习模型548。片材部件元数据历史542可包括在一段时间内获得的元数据值。如以上所讨论的，元数据可包括源数据、时间数据、温度数据、位置数据、过程设置数据和测量数据。可获得相同时间段的片材部件成品率历史544。机器学习模型548一旦被训练，就可用于基于片材部件的片材部件元数据来确定片材部件有缺陷的概率。经训练的机器学习模型548可被提供给包括检查系统100的生产环境550。机器学习模型548的输出缺陷预测可通过加权单元506与CNN 504A-504N中的每一者提供的缺陷预测相结合，以确定指示片材部件质量特性的数据。如以上所讨论的，指示片材部件质量的数据可用于执行操作，诸如将片材部件分拣成良好仓508、不好仓510和返工仓512。将基于片材部件元数据的机器学习模型548的输出添加到基于片材部件的图像数据的CNN504A-504N的输出可产生对片材部件质量的更准确的确定。

图5A至图5E中所示的上述技术可结合在各种具体实施中。例如，具体实施可包括图5B的离群值检测CNN 514和图5C所示的图像裁剪器540。此外，相对于图5A至图5C示出的技术中的任何技术可结合如相对于图5D和图5E讨论的片材部件元数据526。此外，上述技术可与传统检查技术相结合。例如，传统检查技术可用于检测更容易检测的缺陷(例如，在图像数据中表现出高对比度的缺陷)，并相应地对片材部件进行分拣。本文所述的技术然后可应用于通过传统检查技术的片材部件。

图6A是包括机器学习引擎614的训练环境602的框图，该机器学习引擎用于生成在本公开中描述的至少一个示例性技术中将片材部件缺陷与过程变量相关联的机器学习模型(缺陷根本原因模型616)。示例性训练环境602将用于示出使用源部件的图像检测缺陷的CNN的训练，并用于示出可用于确定或表明缺陷根本原因的机器学习模型的训练。训练环境602可包括推断引擎612、CNN 604A-604N(统称为“CNN 604”)和机器学习引擎614。通过使用源数据603，CNN 604A-604N中的每一者可被训练成检测制造部件中的不同类型的缺陷。在一些方面，源数据603可以是具有不同缺陷的一组部件的丰富的一组图像数据。源数据603中的图像可被标记为图像，其中标记可表示相对于由对应图像所示的缺陷类型(如果有的话)的真值。可选择源数据603中的图像，使得每种类型的缺陷存在许多图像。例如，部件可以是片材部件，并且源数据603可以是与具有不同类型的已知缺陷的片材部件相关联的丰富的一组图像数据。可使用机器学习引擎来训练CNN 604中的每一者，以使用经过标记的图像来检测不同类型的缺陷。一旦被训练，CNN 604可被部署在生产环境中以识别部件的图像中的缺陷。在此类示例中，CNN 604一旦被训练，就可对应于图5的CNN504。

在一些方面，部件可以是幅材，并且源数据603可包括与一个或多个幅材的部分相关联的图像数据。在此类示例中，CNN 604可各自被训练成检测幅材或幅材部分中的不同类型的缺陷。

如上所述，训练环境602可用于训练缺陷根本原因模型616，以识别缺陷的潜在根本原因。在CNN 604已经如上所述被训练之后，推断引擎612可将CNN 604应用于源数据603以检测不同类型的缺陷。在该示例中，源数据603可用该种类型的缺陷和部件制造时间两者来标记。CNN604的输出可存储在缺陷历史606中，该缺陷历史可表示在一段时间内的缺陷的历史。

过程变量608可以是描述在制造与源数据603相关联的部件时的处理条件或制造条件的方面的元数据。如上所述，此类元数据的示例包括时间数据、温度数据、位置数据、过程设置数据以及与制造与时间源数据603相关联的部件时的制造条件相关联的测量数据。过程变量608可存储在过程变量历史610中。

机器学习引擎614可分析缺陷历史606和过程变量历史610，以确定在部件中检测到的缺陷和在制造部件时获得的过程变量之间的相关性(如果有的话)。例如，机器学习引擎614可对缺陷历史606和过程变量610应用时间序列分析，以确定在部件中检测到的缺陷和制造部件时的过程变量之间的相关性。学习到的相关性可维持在缺陷根本原因模型616中。一旦被训练，缺陷根本原因模型616可在如图6B中所描述的生产环境中使用。

图6B是根据本公开中描述的至少一种示例性技术，使用经训练的缺陷根本原因模型616来确定片材部件缺陷的根本原因的生产环境620的框图。生产环境620可包括生产制造的部件的制造过程630。例如，制造过程630可对应于生产片材部件的制造部件102(图1)。制造过程630可生产可用于制备片材部件的幅材部件。

检查装置，诸如检查装置105(图1)可向处理单元诸如处理单元120(图1)提供与部件相关联的源数据605。源数据605可对应于片材部件图像数据502(图5A至图5E)，或者其可以是幅材的图像数据。处理单元的推断引擎622可通过CNN 604传递源数据605，以基于源数据605检测部件中的缺陷。

部件的制造过程102可生成过程变量608或以其他方式与这些过程变量相关联。如上所述，过程变量608可以是时间数据、温度数据、位置数据、过程设置数据和与制造源数据605相关联的部件时的制造条件相关联的测量数据。推断引擎622可使用如以上所讨论训练的缺陷根本原因模型616来分析源数据605和过程变量608。例如，推断引擎622可向推断引擎622提供CNN 604的输出，指示是否基于源数据605检测到一个或多个缺陷。推断引擎622可使用缺陷根本原因模型616和制造部件时的过程变量608来推断检测到的缺陷的根本原因624。处理单元可确定一个或多个反馈操作626，该一个或多个反馈操作被设计成减轻制造的部件中的缺陷，从而潜在地提高制造的部件的成品率。反馈操作626可警告操作者潜在的根本原因。该警告可包括可提供给操作者的一组一个或多个推荐的过程调整。在一些方面，反馈操作626可以是处理变量的修改，该处理变量可被传送到制造过程630以自动修改制造过程。

以下非限制性示例可示出相对于片材部件制造的训练环境602和生产环境620的操作。CNN 604中的一者可检测片材部件的图像数据中的颗粒缺陷。此类颗粒可能是由上游制造过程期间的人为处理造成的。机器学习引擎614可关联与缺陷相关联的时间数据，以揭示每次移位改变时颗粒缺陷的尖峰。作为一个示例，这可追溯到洁净室门的打开。

CNN 604中的一者可检测可能在片材部件的长度或宽度上出现的失真缺陷。缺陷根本原因模型可用于推断失真缺陷的根本原因，该失真缺陷是由于在用于制造片材部件的分切过程中卷绕和解绕期间的张力变化引起的。反馈操作626可被传送到制造过程，以当检查系统识别出横维方向上的起皱时增加卷绕张力，而当其识别出顺维方向上的皱起时减小张力。

CNN 604中的一者可检测片材部件中的凹痕(例如，局部凹陷)。缺陷根本原因模型616可被训练成在导致重复凹痕的涂覆或分切过程中将凹痕与幅材处理辊中的表面碎屑相关联。反馈操作626可以是当检查系统识别出重复凹痕时触发警告以清洁辊。基于部件中凹痕的尺寸、频率和/或位置，系统可被训练成识别产生凹痕的具体辊。

以下非限制性示例可示出相对于片材幅材制造的训练环境602和生产环境620的操作。CNN 604中的一者可被训练成检测幅材的涂层中的薄点。缺陷根本原因模型616可被训练成基于薄点的特性来确定与涂层中的阻塞或在幅材上拖曳的污染物的相关性。针对该缺陷根本原因的反馈操作626可以是基于由薄点引起并由缺陷根本原因模型616分类的条纹类型来生成警告。根据根本原因和由根本原因生成的警告，可进行纠正，包括清洁模具或移除制造线上的碎屑。

作为一个示例，CNN 604中的一者可被训练成检测膜中的“机器方向线(MDL)”缺陷。在各种示例中，MDL缺陷是在膜的顺维(纵向轴线)方向上延伸的膜表面中的缺陷，并且通常在横维方向上具有极小的尺寸，诸如在10纳米到100纳米的范围内。使用已知的膜检查技术很难检测出膜表面的该横维变化程度。在专利合作条约公布的申请WO/2018/045280中描述了题为“机器方向线膜检查(MACHINE DIRECTION LINE FILM INSPECTION)”的示例性检测技术，该申请据此通过引用并入本文。MD线可被检测为幅材膜中的薄点(指示测径器配置在低位)。在此类示例中，缺陷根本原因模型616可被训练成确定MD线缺陷的根本原因624是挤出模具中的问题。反馈操作626可类似于条纹缺陷的反馈操作，即，基于由缺陷根本原因模型616分类的MD线引起的条纹类型生成警告。根据根本原因和由根本原因生成的警告，可进行纠正，包括清洁模具或移除制造线上的碎屑。

作为另一个示例，CNN 604中的一者可在训练环境602中被训练，以基于输入图像数据检测幅材中的划痕。此类缺陷可以是膜涂层上的小方向性划痕。划痕缺陷的根本原因可以是不匹配辊速、轴承磨损导致拖拽、辊上的污染物等。可训练根本原因缺陷模型616来区分划痕的类型(小的、长的、顺维的、对角线的等)和/或划痕的分组、密度或位置，并将根本原因与划痕的类型相关联。

作为另一个示例，CNN 604可被训练成结合使用紫外线激发一层或多层幅材中的荧光剂的检查装置来检测缺陷。在一些示例中，荧光剂在被具有另一个波长的紫外线(诸如可见光谱内的光)激发时发光。在幅材暴露于紫外线之后，图像捕获装置捕获幅材的一个或多个图像，并且计算系统分析图像以确定幅材是否包括缺陷。如果图像的一部分比图像的周围部分更暗，这可表明幅材的一部分不具有足够的材料用于浸渍荧光剂的层，指示幅材的所述区域中存在潜在缺陷。示例性检测技术在题为“用于使用荧光剂检测制造的幅材中的涂层缺陷的基于紫外线的检查(ULTRAVIOLET LIGHT-BASED INSPECTION FOR DETECTINGCOATING DEFECTS IN MANUFACTURED WEBS USING FLORESCING AGENTS)”的美国临时专利申请62/932,717中有所描述，通过引用并入本文。

作为另一个示例，CNN 604可被训练成检测缺陷，并且基于可用于影响转换选择过程的应用程序特异性参数来对片材物品进行分类。示例性检测技术在题为“幅材制造过程中应用程序特异性重复缺陷检测(APPLICATION-SPECIFIC REPEAT DEFECT DETECTION INWEB MANUFACTURING PROCESSES)”的美国专利8,935,104中有所描述，通过引用并入本文。

图7是流程图700，示出了根据本公开中描述的至少一种示例性技术的使用检查装置，诸如检查装置105(图1)来确定片材部件的质量的方法的示例性操作。相对于图1的系统100描述了示例性操作。然而，流程图700的示例性操作不应解释为限于系统100。流程图700的示例性操作可由被配置为执行流程图700中所示操作的任何元件或元件组来执行。

根据流程图700的示例性操作，检查装置105的输入区接收多个片材部件104中的片材部件(702)。在一些示例中，为了接收片材部件，检查装置105从片材部件的叠堆中选择片材部件并将该片材部件传送到输入区。为了选择片材部件，检查装置105可包括选择构件，该选择构件被配置为从片材部件的叠堆中移除片材部件并将该片材部件放置在输入区上。附加地或另选地，为了接收片材部件，系统100可被配置为从装置操作者接收片材部件，其中该装置操作者手动地将该片材部件放置在输入区上。在一些示例中，检查装置105的输入区包括移动带的起点，该移动带被配置为从制造过程102的端点通过成像单元108传送片材部件。

成像单元108可检测片材部件，并使用一个或多个图像捕获装置捕获片材部件的图像数据(704)。在一些示例中，成像单元108包括灯，其中片材部件在灯和图像捕获装置110之间行进。因此，在一些此类示例中，图像捕获装置110可检测到当片材部件在灯和图像捕获装置110之间通过时该片材部件部分地遮挡光，并且图像捕获装置110可因此确定片材部件位于成像单元108内。响应于检测到片材部件位于成像单元内，至少一个图像捕获装置110捕获片材部件的图像。在一些示例中，单个图像捕获装置110可用于捕获片材部件的图像。在其他示例中，多个图像捕获装置110可捕获片材部件的图像。多个图像可被组合成合成图像。

检查装置105将捕获图像的图像数据输出到由处理单元400的缺陷检测单元410实施的多个CNN 504(706)。CNN 504中的每一者可被预先训练成检测片材部件的图像数据中的不同片材部件缺陷。每个CNN的输出可以是基于提供给CNN的图像数据指示由CNN检测到的片材部件缺陷是否存在于片材部件中的数据。在一些方面，指示由CNN检测到的片材部件缺陷是否存在于片材部件中的数据可以是基于图像数据指示由CNN检测到的缺陷存在于片材部件中的概率的概率值。

处理单元400的质量单元420可接收CNN 504的输出，并使用该输出来确定对应于图像数据的片材部件的质量(708)。在一些示例中，质量单元420可根据CNN检测到的缺陷的重要性，对CNN 504中的每一者的输出应用不同的权重。可以单独或组合地评估加权输出，以确定指示与片材部件相关联的质量的数据。

质量单元420可根据指示片材部件质量的数据对片材部件进行分拣(710)。在一些示例中，片材部件可被分类为合格类别、有缺陷的类别或返工类别中的至少一者。在一些示例中，处理单元400可基于类别将片材部件分拣到仓中。

图8A和图8B示出了根据本公开中描述的至少一种示例性技术可识别的示例性片材部件缺陷。图8A示出了具有凹痕缺陷804的示例性片材部件802，其可使用本文公开的技术来检测。凹痕缺陷804可以是低对比度缺陷，并且这样，使用现有系统的传统图像处理技术可能检测不到。

图8B示出了具有波纹缺陷的示例性片材部件810，其可使用本文所述的技术来检测。如同图8A中所示的凹痕缺陷804一样，片材部件810中的波可以是低对比度和/或低频率的，并且因此，使用现有系统的传统图像处理技术可能检测不到。

本文所述的技术主要是已经在检查片材部件的缺陷的上下文中讨论的。该技术可容易地应用于其他检查系统。例如，CNN可被训练成检测用于制备片材部件或其他产品的幅材材料中的缺陷，这将在以下参考图9进行讨论。

图9是示出幅材制造厂902的示例性实施方案中的一条生产线的示例性实施方案的框图。在示例性实施方案中，将幅材920的一段设置在两个支承辊922、924之间。图像采集装置110A–110N(“图像采集装置110”)被定位成靠近连续移动幅材920。图像采集装置110可扫描连续移动幅材920的连续部分以获得图像数据。采集计算机214从图像采集装置110收集图像数据，并且将图像数据传送至处理单元120进行分析。

图像采集装置110可以是能够读取移动幅材920的连续部分并以数据流方式提供输出的常规图像装置。如图2所示，成像装置110可以是直接提供数字数据流的相机或是具有附加的模数转化器的模拟相机。其他传感器，例如激光扫描仪，可以作为图像捕获装置使用。适于采集图像的装置的示例包括线扫描相机，诸如达尔萨公司(Dalsa)(加拿大安大略省滑铁卢市(Waterloo,Ontario,Canada)的模型，或E2V(切姆斯福德，英国(Chelmsford,United Kingdom)。

可以通过使用辅助获取图像的光学组件可选地采集图像。组件可以是相机的一部分，也可与相机分开。光学组件在成像过程中利用反射光、透射光或折射光。反射光，例如通常适合检测由于幅材表面变形引起的缺陷，例如表面划痕。

位置控制器930控制位置标记阅读器929以从幅材920收集卷信息和位置信息。例如，位置标记控制器可包括一个或多个光学照相传感器，以用于从幅材920读取位置标记，诸如条形码、基准标记或其他位置标记。另外，位置控制器930可从与幅材920和/或辊922、924接合的一个或多个高精度编码器接收位置信号。位置控制器930根据位置信号确定每个检测到的位置标记的位置信息。例如，位置控制器930可在应用于生产线的坐标系内产生定位每个检测到的位置标记的位置信息。另选地，处理单元120可基于从位置控制器930接收的位置数据将检测到的位置标记中的每个检测到的位置标记放置于坐标系内。在这种情况下，由位置控制器930提供的位置数据可表示在沿着幅材920长度的尺寸上每个位置标记之间的距离。在任一种情况下，位置控制器930将卷信息和位置信息传送到处理单元120。

处理单元120处理来自采集计算机214的图像流。处理单元120使用CNN 904处理图像数据，该CNN 904被训练成基于图像流中的图像数据检测幅材920中的缺陷。类似于以上讨论的CNN 504，CNN中的每个CNN可被训练成检测与其他CNN不同类型的缺陷。CNN中的每个CNN可使用一个或多个推断引擎114彼此并行操作。每个CNN的输出可以是指示由CNN检测到的缺陷类型是否存在于幅材920中的数据。在一些方面，输出可以是缺陷存在的概率值，以及缺陷的严重性。每个CNN的输出可以类似于以上相对于片材部件所讨论的方式进行评估。例如，一组一个或多个规则可被应用于输出，以确定相对于幅材920如何处理缺陷的存在。

基于位置控制器930产生的位置数据，处理单元120确定每个检测到的缺陷在生产线坐标系内的空间位置。也就是说，基于来自位置控制器930的位置数据，处理单元120确定每个异常在当前生产线所用坐标系内的x、y以及可能的z位置。例如，可定义坐标系，使得x维度表示幅材920的横向距离，y维度表示沿幅材长度的距离，并且z维度表示幅材的高度，该高度可以是基于涂层的数量、材料或此前应用于幅材的其他层。此外，可限定x、y、z坐标系在生产线内的物理位置处的原点，并且原点通常与幅材920的初始进料位置相关联。为当前生产线定义的坐标系可并非(且通常并非)与应用于幅材920的任何此前或后续工艺相同的坐标系。

在任何情况下，处理单元120在数据库932中记录每个检测到的缺陷相对于生产线坐标系的空间位置，该信息在本文中称为本地缺陷信息。其他过程变量也可存储在数据库932中。也就是说，处理单元120在数据库932内存储幅材920的本地缺陷信息，包括幅材920的卷信息和每个检测到的缺陷的位置信息。为当前生产线产生的本地缺陷信息可随后与针对同一幅材由其他生产线产生的本地缺陷信息进行空间对准。关于本地缺陷信息对准的进一步细节可在2007年7月26日提交的题为“图像检查系统的多单元过程空间同步(MULTI-UNIT PROCESS SPATIAL SYNCHRONIZATION OF IMAGE INSPECTION SYSTEMS)”的美国专利7,542,821中找到，该专利据此通过引用并入本文。

在一些方面，缺陷信息可存储在数据库932中。缺陷信息的时间序列分析可应用于缺陷信息，并用于确定一系列缺陷的趋势或模式。

本公开中所描述的技术可至少部分地以硬件、软件、固件或它们的任何组合来实施。例如，可在至少一个处理器内实施所述技术的各个方面，该至少一个处理器包括至少一个微处理器、DSP、ASIC、FPGA和/或任何其他等效的集成或离散逻辑电路以及此类部件的任何组合。术语“处理器”或“处理电路”通常可以是指单独的或与其他逻辑电路组合的上述逻辑电路中的任一个、或任何其他等同的电路。包括硬件的控制单元还可执行本公开的技术中的至少一种。

此类硬件、软件和固件可在相同装置内或在不同装置内实施，以支持本公开中描述的各种操作和功能。此外，所描述的单元、模块或组件中的任一个可以一起实施或作为分立的但可互操作的逻辑装置单独实施。将不同特征描绘为模块或单元旨在突出不同的功能方面，并且不一定暗示此类模块或单元必须由单独的硬件或软件组件实现。相反，与至少一个模块和/或单元相关联的功能可以由单独的硬件或软件组件执行，或者集成在公共或单独的硬件或软件组件中。

本公开中描述的技术还可以在包含指令的计算机可读介质(诸如非暂态计算机可读介质或计算机可读存储介质)中体现或编码。嵌入或编码在计算机可读介质中的指令可使得可编程处理器或其他处理器执行该方法(例如，当执行指令时)。计算机可读存储介质可包括：RAM、只读存储器(ROM)、可编程只读存储器(PROM)、EPROM、EEPROM、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁介质、光学介质或其他计算机可读存储介质。术语“计算机可读存储介质”是指物理存储介质，而不是信号或载波，尽管术语“计算机可读介质”除了物理存储介质之外还可包括瞬态介质，诸如信号。

Claims (20)

1.一种用于确定由制造设施生产的多个片材部件中的每个片材部件的质量类别的系统，所述系统包括：

检查装置，所述检查装置包括至少一个图像捕获装置，所述至少一个图像捕获装置被配置为捕获表示所述多个片材部件中的片材部件的图像数据；以及

处理单元，所述处理单元具有一个或多个处理器，所述一个或多个处理器执行指令，所述指令使所述处理单元：

将表示所述片材部件的所述图像数据提供给第一组多个神经网络，所述神经网络中的每个神经网络被训练成识别所述片材部件中的对应缺陷并输出指示所述对应缺陷的存在的数据，

基于由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据，确定指示所述片材部件的质量类别的数据，以及

输出指示所述片材部件的所述质量类别的所述数据。

2.根据权利要求1所述的系统，其中所述处理单元被配置为评估一组一个或多个规则，所述一组一个或多个规则使用由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据来确定所述片材部件的所述质量类别。

3.根据权利要求1所述的系统，其中所述处理单元被配置为将由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据提供给第二神经网络，以确定所述片材部件的所述质量类别。

4.根据权利要求1所述的系统，还包括分拣器，所述分拣器被配置为：

接收指示所述片材部件的所述质量类别的所述数据；以及

基于指示所述片材部件的所述质量类别的所述数据来分拣所述片材部件。

5.根据权利要求4所述的系统，其中指示所述片材部件的所述质量类别的所述数据包括合格类别、有缺陷的类别或返工类别。

6.根据权利要求1所述的系统，还包括离群值检测神经网络，其中响应于基于离群值检测神经网络的输出确定表示所述片材部件的所述图像数据指示离群值缺陷，指示所述片材部件的所述质量类别的所述数据被设置为返工类别。

7.根据权利要求1所述的系统，其中所述多个神经网络中的神经网络输出一个或多个图像部分，每个图像部分包含表示潜在缺陷的图像数据，并且其中分类器被训练成基于表示所述潜在缺陷的所述图像数据的所述一个或多个部分识别所述片材部件中的对应缺陷。

8.根据权利要求1所述的系统，还包括机器学习模型，所述机器学习模型被训练成基于与所述片材部件的制造相关联的元数据来确定缺陷的概率，其中所述处理单元还被配置为基于所述元数据的所述缺陷的所述概率来确定所述质量类别。

9.根据权利要求8所述的系统，其中所述元数据包括与所述片材部件的制造相关联的源数据、时间数据、温度数据、位置数据、过程设置数据和传感器测量数据中的一者或多者。

10.根据权利要求1所述的系统，还包括推断引擎，所述推断引擎被配置为接收由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据和一个或多个过程变量，并且被配置为基于由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据和所述过程变量来确定所述对应缺陷的根本原因。

11.根据权利要求1所述的系统，其中所述处理单元还被配置为基于所述对应缺陷的所述根本原因输出反馈操作。

12.根据权利要求1所述的系统，其中所述神经网络包括卷积神经网络。

13.根据权利要求1所述的系统，其中所述神经网络中的至少一个神经网络被训练成检测颗粒、磨损、划痕、凹痕、气泡、条纹或压痕中的一者。

14.根据权利要求1所述的系统，其中所述片材部件包括光学膜。

15.一种用于确定由制造设施生产的幅材材料的质量类别的检查装置，所述检查装置包括：

至少一个图像捕获装置，所述至少一个图像捕获装置被配置为捕获表示所述幅材材料的图像数据；

位置控制器，所述位置控制器被配置为获得沿所述幅材材料的位置数据；以及

处理单元，所述处理单元被配置为：

将表示所述幅材材料的所述图像数据提供给多个神经网络中的每个神经网络，所述神经网络中的每个神经网络被训练成识别所述片材部件中的对应缺陷并输出指示所述对应缺陷的存在的数据，以及

输出指示所述对应缺陷的存在的所述数据和与指示所述对应缺陷的存在的所述数据相关联的位置数据。

16.一种方法，所述方法包括：

从至少一个图像捕获装置接收表示通过检查装置的多个片材部件中的片材部件的图像数据；

将表示所述片材部件的所述图像数据提供给多个神经网络，所述神经网络中的每个神经网络被训练成基于表示所述片材部件的所述图像数据识别所述片材部件中的对应缺陷，并输出指示所述对应缺陷的存在的数据，

基于由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据，确定指示针对所述片材部件的质量类别的数据，以及

输出指示所述片材部件的所述质量类别的所述数据。

17.根据权利要求16所述的方法，其中确定指示所述片材部件的所述质量类别的所述数据包括评估一组一个或多个规则，所述一组一个或多个规则使用由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据。

18.根据权利要求16所述的方法，其中确定指示所述片材部件的所述质量类别的所述数据包括向第二神经网络提供指示由每个对应神经网络输出的所述对应缺陷的存在的所述数据。

19.一种计算机可读介质，所述计算机可读介质上具存储有指令，所述指令能够由一个或多个处理器执行，以使一个或多个处理器：

从至少一个图像捕获装置接收表示通过检查装置的多个片材部件中的片材部件的图像数据；

将表示所述片材部件的所述图像数据提供给多个神经网络，所述神经网络中的每个神经网络被训练成基于表示所述片材部件的所述图像数据识别所述片材部件中的对应缺陷，并输出指示所述对应缺陷的存在的数据，

基于由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据，确定指示针对所述片材部件的质量类别的数据，以及

输出指示所述片材部件的所述质量类别的所述数据。

20.根据权利要求19所述的计算机可读介质，其中用于确定指示所述片材部件的所述质量类别的所述数据的所述指令包括用于评估一组一个或多个规则的指令，所述一组一个或多个规则使用由每个对应神经网络输出的指示所述对应缺陷的存在的所述数据。

Images