CN112088387A - 检测成像物品缺陷的系统和方法 - Google Patents

Abstract

本发明的实施例提供一种基于机器学习的检测系统，使用此检测系统能够进行缺陷检测，即使没有针对这些缺陷对所述系统进行训练也能如此，甚至在先前没有用于训练所述系统的物品中也能进行缺陷检测，从而提供本身天生灵活的检测系统。

Description

检测成像物品缺陷的系统和方法

技术领域

本发明涉及机器学习过程的使用，特别是在目视检查过程中的使用，例如，对生产线上的物品的检查。

背景技术

在生产过程期间中进行检查有助于通过识别缺陷然后根据检测结果采取行动，例如通过修复缺陷或丢弃有缺陷的零件，来控制产品质量。缺陷检测过程对于质量保证(QA)、质量把关(gating)和分拣很重要，并且还可用于提高生产率，降低缺陷率，并减少返工和浪费。

在生产线中使用自动目视检查方法来识别可能在功能或美观性上对制造件产生影响的视觉上可检测到的异常。归因于推动这些方法的基础技术，生产线的当前目视检查解决方案通常是针对特定QA、质量把关或分拣任务进行高度定制的。

机器学习过程有时用于通过图像分析来识别未标记的受检物品中的缺陷。使用机器学习技术检测缺陷物品的传统方法通常涉及两个步骤。首先，提取图像中表征缺陷物品的特征，然后基于特征的数值建立分类器，以将类别代码分配到每一缺陷。

通常，机器学习预测器(特别是卷积神经网络)基于具有固定大小输入和固定大小输出的模型。实例包含分类、检测和分段机器学习模型，尤其是深度学习模型，其输入有固定数量的图像，通常是一个图像用于分类、检测和分段，两个图像用于立体匹配，等等。

基于机器学习的方法需要训练阶段和由专家定义的特征集。例如，必须收集缺陷物品的图像，必须对图像中的缺陷进行验证、手动注释以及可能地将其分拣为不同的缺陷类别等，所有这些都耗时耗力。此外，添加新的缺陷类别需要为数据收集和重新训练付出更多的努力。

除了创建和更新缺陷数据库的负担之外，成像环境(例如相机定位、环境光照条件以及成像物品的物理位置和定位)还会极大地影响成像物品的视觉表示，从而使得这些解决方案通常仅与特定物品、特定缺陷和特定成像环境相关。因此，除了这些方法初始的高成本之外，每个新的制成品或新识别的缺陷还会造成在涉及新制品或缺陷的物品的启动时间和其部署时间之间存在停机时间，所述停机时间可能会以周和月为单位来测量。在此期间，工厂被迫使用昂贵的内部/外部人力来执行QA、质量把关、分拣或其它任务，或承担与因未在工厂生产线的一个或多个部分执行这些任务中的任何一个而造成的生产降级相关联的风险。

这些风险可能会对生产工厂的竞争力及其维持其在价值链内来之不易的地位的能力产生重大影响。在一些竞争激烈的行业中，例如汽车行业，数十万无缺陷物品中出现几件缺陷物品就可能会导致需要立即进入升级过程，从而损害工厂维护其当前和/或未来客户基础的能力。

发明内容

本发明的实施例提供一种基于机器学习的检测系统，使用此检测系统可以进行缺陷检测，即使没有针对这些缺陷对所述系统进行训练也可如此，甚至在先前没有用于训练所述系统的物品中也能进行缺陷检测，从而提供天生灵活的检测系统。

与典型的机器学习模型相反，本发明的实施例使得能够在预测、分类、分段和类似的基于机器学习的过程中使用可变大小输入(例如，可变数量的图像)来检测成像物品中的缺陷。如下文进一步论述，能够使用可变大小输入来预测成像物品中的缺陷极大地提高了检查不同类型的制造物品的能力，而无需事先了解特定物品、缺陷或成像环境，从而提供一种灵活、易于实施且易于使用的生产线检查解决方案。如下文进一步论述，此能力可尤其有益于其中物体外观、物体位置、照明条件等高度可变的环境。

附图说明

现在将参考以下说明性附图，结合某些实例和实施例来描述本发明，从而可以更充分地理解本发明。在图中：

图1示意性地示出了可根据本发明的实施例操作的用于检测成像物品中的缺陷的系统；

图2示意性地示出了根据本发明的实施例的用于从可变大小数据输入获得预测的方法。

图3示意性地示出了根据本发明的实施例的用于提供对生产线中的缺陷物品的预测的方法。

图4示意性地示出了根据本发明的另一实施例的用于提供对生产线中的缺陷物品的预测的方法；以及

图5示意性地示出了根据本发明的实施例的用于基于机器学习的生产线检查的方法。

具体实施方式

在以下描述中，将描述本发明的各个方面。为了解释的目的，阐述了具体的配置和细节以便提供对本发明的透彻理解。然而，对于本领域的技术人员来说显而易见的是，本发明可以在没有本文中呈现的具体细节的情况下实践。此外，可以省略或简化众所周知的特征，以免模糊本发明。

除非另外特别陈述，否则如从以下讨论中显而易见的，应理解，在整个说明书中，利用例如“分析”、“处理”、“运算(computing)”、“计算(calculating)”、“确定”、“检测”、“标识”等术语的讨论是指计算机或计算系统或类似的电子计算装置的动作和/或过程，所述动作和/或过程将计算机系统寄存器和/或存储器中的物理量(如电子量)处理和/或转换成计算机系统存储器、寄存器或其它此类信息存储、传输或显示装置中的物理量的其它数据。除非另有说明，否则这些术语是指处理器的自动动作，独立于并且没有人工操作者的任何动作。

本发明的实施例使得能够使用可变大小输入进行预测。

在一个实施例中，用于获得对成像物品的预测的系统包含与相机通信的处理器。处理器可从相机接收多个图像，并且可嵌入图像以产生图像的预定大小的表示。然后在机器学习过程中使用预定大小的表示来获得关于成像物品的预测。

在一些实施例中，预测包含检测成像物品上的缺陷和/或对缺陷像素执行分段。

可以在图像中检测缺陷，甚至是由常用的、便宜的相机获得的图像，从而提供一种可实现的人工(或更好的)缺陷检测方法。

本发明的实施例提供对成像物品的基于机器学习的预测，而无需了解特定类型的成像物品或事先使用特定类型的成像物品进行训练。在一些实施例中，预测器在第一类型物品的图像上训练，但是可以对第二类型物品的图像进行预测或分类。

在一个实施例中，提供用于对生产线上的物品进行目视检查的解决方案，其中通过将第二类型无缺陷物品的图像和未知类别的第二类型物品的图像输入到在第一类型物品的图像上训练的处理器来检测成像物品上的缺陷。随后，使用处理器在未知类别的第二类型物品的图像中检测第二类型物品上的缺陷。

因此，在一些实施例中，预测器在场外进行训练以检测某种类型物品(例如汽车发动机零件)上的缺陷。在训练阶段之后，通常在制造工厂现场使用预测器，以检测完全不同类型物品上的缺陷(例如，不同的汽车零件或与例如卫生产品、涡轮机、PCB等完全不同的行业相关的物品)。

在一些实施例中，如下文所示，预测可包含在检查线上(例如，在制造工厂处)检测物品上的一个或多个缺陷。因此，在一些实施例中，使用预测来区分无缺陷物品和缺陷物品。

缺陷可包含例如物品表面上的可见瑕疵、物品或物品零件的非所要大小、物品或物品零件的非所要形状或颜色、物品零件的非所要数量、物品接口的错误或缺失装配、损坏或烧坏的零件、物品或物品零件的不正确对准、错误的或有缺陷的条形码，以及无缺陷样本和受检物品之间的任何差异，对于生产线中的使用者(即人工检查员)而言，所述缺陷在图像中是显而易见的。在一些实施例中，缺陷可包含仅在放大的或高分辨率的图像中可见的瑕疵，例如通过显微镜或其它专用相机获得的图像。

如本文所例示的，在生产线检查过程中，处理器可(从一个或多个相机)接收检查线上的物品的图像数据。

通常在制造工厂处进行的生产线检查过程可包含检查阶段之前的设置阶段。

在设置阶段中，没有缺陷的相同类型的制造物品(无缺陷物品)的样本在检查线上成像，此检查线可以是相同检查线或者是具有与用于检查阶段的那些设置参数类似的设置参数的检查线。设置参数通常涉及相机相对于检查线的定位，并且可包含例如相机与成像物品之间的距离、具有相机视野(FOV)的成像物品的位置等。

在设置阶段获得的图像(也称为设置图像或参考图像)由处理器进行分析，然后用作在检查阶段运行的机器学习算法的参考。

在检查阶段，受检物品(将进行缺陷检查的与设置物品相同类型的制造物品)成像，并且从每个受检物品收集到的图像数据(未知类别物品的图像，也称为检查图像)通过机器学习过程运行，所述机器学习过程基于无缺陷物品的参考来检测每个受检物品上的一个或多个缺陷(如果存在的话)。

术语“相同类型的物品”是指相同类型的物品、具有相同物理组成并且在形状和尺寸以及可能的颜色和其它物理特征方面彼此类似的物品。通常，单个生产系列的物品、一批相同类型的物品或在其生产线的相同阶段中的一批物品可为“相同类型的物品”。例如，如果受检物品是卫生产品，相同批次的水槽碗是相同类型的物品。

图1示意性地示出了根据本发明的一个实例的用于生产线的目视检查的系统。

在一个实施例中，检查线系统包含处理器102，所述处理器102与一个或多个相机103通信，并且与装置通信，所述装置为例如用户接口装置106和/或其它装置，例如远程装置108。相机103通常相对于检查线(例如，传送带)放置或定位，使得放置在检查线上的物品在相机103的FOV内。

处理器102从一个或多个相机103接收检查线的图像数据，并运行根据本发明实施例的过程以分析图像数据并输出信号，从而控制用户接口装置106和/或可经由云连接到系统的其它装置，例如远程装置108。

在本说明书的上下文中，图像数据可包含表示反射光的强度以及部分或完整图像或视频的数据，例如像素值。

用户接口装置106可包含向用户显示指令和/或通知(例如，在监视器上显示的文本或其它内容)的监视器或屏幕。在另一实例中，用户接口装置106可包含基于由处理器102生成的信号而点亮或改变颜色的灯。在又一实例中，用户接口装置106包含音频播放器，用于基于由处理器102生成的信号而发出声音。在其它实施例中，用户接口装置106可包含用于与用户通信的其它合适的介质。

在一些实施例中，用户接口装置106可为例如智能电话、平板电脑或个人计算机之类的多用途装置的部分。

在一些实施例中，处理器102可例如经由用户接口装置106来接受用户输入。例如，用户接口装置106可包含监视器和键盘和/或鼠标和/或触摸屏，使用户能够输入额外反馈。例如，如果在检查阶段期间，处理器102将检查图像中的物品错误地检测为有缺陷的，则用户可提供检查图像为无缺陷物品而非有缺陷物品的反馈(例如，经由用户接口装置106)。在其它实例中，用户可提供被分类为无缺陷的物品实际上是有缺陷物品的反馈。在这些情况下，基于用户输入，处理器102可使用此反馈来更新和改进参考集，所述参考集由如下所述的机器学习过程使用并且用于机器学习过程。

处理器102可包含例如一个或多个处理器，并且可为中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、微处理器、控制器、芯片、微芯片、集成电路(IC)或任何其它合适的多用途或专用处理器或控制器。

处理器102通常与存储器单元112通信。在一个实施例中，存储器单元112存储可执行指令，所述可执行指令在由处理器102执行时促进处理器102的操作的执行，如下文所描述。存储器单元112还可存储从相机103接收的图像数据的至少部分。

存储器单元112可包含例如随机存取存储器(RAM)、动态RAM(DRAM)、快闪存储器、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其它合适的存储器单元或存储单元。

在设置阶段，收集参考图像以获得表示机器学习过程仅将缺陷检测为缺陷而不将例如成像环境导致的变化检测为缺陷所需的所有信息的一组图像。实现可由机器学习过程在检查阶段使用的代表性参考所需的设置图像的数量根据受检物品的不同特征以及物品的生产线特性而变化。例如，在外观上具有高可变性的物品(例如，在制造过程中具有高形状公差的物体、作为制造过程结果在物体表面上具有高纹理变化的物体等)可能无法很好地表示为单一图像。因此，可能需要若干图像，且不同物品可能需要不同数量的图像，以捕获物品的表示变体。

在一些实施例中，分析图像以确定获得了完整表示无缺陷物品的变体包含分析关于无缺陷物品的2D和3D形状的信息。

列举一些实例：

-能够放置在生产线上的不同且分开的位置的物品将需要各种位置处的参考图像。

-与具有较浅表面的物品相比，表面具有3D特性(在物品表面上具有不同高度)的物品可能需要更密集的参考图像分布，以便实现完整表示的参考。

-可旋转或具有旋转零件的物品可能需要涵盖旋转的参考图像。

-某些物品可具有需要由覆盖所允许公差范围的参考图像来表示的形状公差。

-在某些情况下，高度等距或高度纹理化的物品可能需要许多参考图像来获得物品组成特性的良好表示。

因此，使用先验确定的固定数量的设置图像而无视受检物品的不同特征和物品的生产线的特性可能会导致浪费时间和精力。例如，固定数量的设置图像可导致这样的情况：固定数量的图像可产生第一物品的代表性参考，但是对于产生另一物品的代表性参考来说，数量不需要那么高。在另一情况下，所述固定数量可能足以产生第一物品的代表性参考，但不足以产生另一物品的代表性参考。

因此，根据本发明的实施例，在设置阶段通常使用不确定数量的图像。即，设置图像的数量不是事先确定的，并且对于每个物品和/或制造工厂和/或成像环境来说，所述数量可为不同的。

为了使机器学习过程能够使用限定且不变的参考，即使收集了不同数量的设置图像用于参考，本发明的实施例也能从所述不同数量的设置图像中计算出或嵌入预定大小的表示，并将此表示用作机器学习过程的输入，以预测检查阶段的缺陷。

为了从不同数量的设置图像计算出预定大小的向量(或其它表示)，在一个实施例中，处理器102将接收到的设置图像彼此进行比较。在一个实施例中，将设置图像进行比较以从图像中提取属性，并使用所述属性来产生预定大小的表示。可基于图像之间的属性相似性来从图像中提取属性。

在其它实施例中，使用机器学习技术从不同数量的设置图像计算预定大小的向量(或其它表示)。

处理器102(从一个或多个相机103)接收多个图像，所述图像对于不同例子可为不同的。例子可意指例如检查例子或特定会话，其中，例如，在其生产的特定阶段中要检查处于特定位置和视角的物品。

在处理器102处接收到的数个图像包含从中计算出预定大小的表示的无缺陷物品的至少一个图像。然后，预定大小的表示由机器学习预测器使用以获得关于未知类别的物品的预测(例如，无缺陷物品或有缺陷物品)。在一些实施例中，在处理器102处接收到的数个图像包含无缺陷物品的至少一个图像和未知类别的物品的图像，并且从这两者计算出预定大小的表示。然后，预定大小的表示由机器学习预测器使用以获得关于未知类别的物品的预测。

在一个实施例中，处理器102通过在每个例子中分析接收到的图像(可包含参考图像和检查图像)(例如，通过在暹罗网络拓扑中分别在每个图像上或者例如在检查图像减去参考图像的结果上运行卷积神经网络)来计算预定大小的表示，以找到不同图像之间的相似性或其它关系，或者分析影响图像的属性(例如，光照条件)，从而产生变化大小的属性集(可包含物品的特征和/或物品的图像的特性)。处理器计算(例如，通过运行递归神经网络或其它类型的非固定输入大小编码器)固定大小的表示(例如，向量)。例如，固定大小的表示可包含变化数量的属性中的预定数量的属性。然后，可在机器学习过程中使用此固定大小的表示以提供预测(例如，检测成像物品上的缺陷，对缺陷像素执行分段等)。

在另一实施例中，图像的特性，例如像素的图像间统计特性(例如，像素的平均值和/或像素的标准值、设置图像之间的差异的运动向量、图像之间的相关性等)，可从一组参考图像中提取出来。所提取的特性可进行组合以实现向量或其它表示，所述向量或其它表示具有预定大小并且足以表示设置图像，从而它可以用作其它机器学习过程的输入，例如在训练嵌入处理器(下文描述)期间的过程和在检查阶段期间的过程。

特性的组合可包含例如仅采用所提取的特性中的前K个元素或后K个元素，或同时采用这两者。下文详述其它实例。

因此，分析设置图像以检测例如相似的特性、唯一区分的特性、特性彼此之间的距离等。例如，如果相对于特定特性有两个相似的图像，则一个图像(相比于另一图像)可能不一定有更多的关于物品的信息。在这种情况下，可删除或忽略相似图像之一的图像数据，从而减小图像数据的表示的大小(若必要)以实现预定大小的表示。

如上文所描述，在一些实施例中，处理器102基于预测的结果来控制用户接口装置106。例如，处理器102可控制用户接口装置106显示缺陷物品的指示。在其它实施例中，可基于缺陷检测的结果来控制可包含例如信号处理系统的其它装置，例如远程装置108。

在一个实例中，与处理器102通信的信号处理系统可运行能够在相关机器之间传送例如元数据的协议。例如，相关机器可包含控制生产线和/或相机103和/或用户接口106的机器。因此，例如，可基于处理器102的输出来控制相机103的位置或定位或者例如生产线的传送带的操作。

在另一种情况下，处理器102的输出可用于控制缺陷检测的过程。例如，检测到的缺陷的类型和/或其在物品上的位置可用作对处理器102(或另一个处理器)的反馈，并且可改变未来的缺陷检测。

所述一个或多个相机103可包含CCD或CMOS或另一适当的芯片。相机103可为2D或3D相机。在一些实施例中，相机103可包含例如配有智能电话或平板电脑等移动装置的标准相机。在其它实施例中，相机103是用于获得高分辨率图像的专用相机。

在一些实施例中，相机103和/或处理器102是嵌入式系统的部分，所述嵌入式系统可为专用系统或生产工厂中已经存在的系统。

在一些实施例中，可将来自相机103的图像数据上载到远程装置108，所述远程装置可为例如云上的服务器或制造工厂的服务器或中央控制器。

根据本发明的实施例的过程和计算可在远程装置和/或在本地进行。

图1中所描述的系统的所有或一些组件可通过有线或无线方法连接，例如，通过因特网或其它合适的通信网络连接。一些组件，例如相机103，可包含合适的网络集线器。

在图2中示意性地示出的一个实施例中，根据本发明的实施例的用于预测(例如，检测成像物品上的缺陷)的方法包含(例如，在处理器102处)接收可变大小数据(201)并且嵌入数据以产生数据的固定大小的表示(203)。

在一个实施例中，图2所示的方法可用于计算数据的固定大小的表示，以用作机器学习预测架构的输入，例如用于检测成像物品上的缺陷、用于分拣、用于质量把关和/或用于其它检查任务。

图2所示的方法可在检查线处进行，作为包含如上文所描述的设置阶段和检查阶段的检查过程的部分。

在设置阶段，分析设置图像以确定何时已收集到足够的设置图像来实现可在检查阶段由机器学习过程使用的代表性参考。

当实现一种类型的物品的基本完整的表示时，收集到“足够的设置图像”。可执行对设置图像的分析以收集关于物品的可能2D形状和3D特征(例如，在检查线上的旋转)的信息，或者找到物品的唯一区别特征以及这些唯一特征之间的空间关系，如设置图像之间保留的那样。

基于从设置图像收集的信息，处理器(例如，处理器102)可检测相同类型的第二物品，即使所述处理器先前未习得所述第二物品。这允许处理器检测(相同类型的)新物品何时成像，然后分析新物品，例如以基于设置物品的分析而确定其是否处于所允许的位置并且搜索受检物品上的缺陷。

在一个实例中，嵌入步骤(203)可包含在暹罗网络拓扑中在每个图像上分别运行卷积神经网络，以从每个图像中提取最有用的特性(通常，这些特性将包含添加有关物品的形状、轮廓、表面等的最多信息的其它特性)。也可通过不同的机器学习过程来提取最有用的特性。

嵌入步骤可进一步包含在图像上运行递归神经网络或其它编码器架构，以基于所提取的特性来选择或组合图像，以获得预定大小的向量。

在一些实施例中，可在不使用嵌入处理器的情况下计算固定表示。例如，可运行启发算法以确定要提取哪些特性和/或比较哪些特征来确定关联性最高和/或最低的特性或特征，然后可将其用于计算固定大小的表示。

在一些实施例中，可基于预定规则，例如基于特征的空间位置(例如参考图像中物品的特征彼此之间和/或相对于检查图像的距离(2D和/或3D距离))，来计算固定大小的表示。

在步骤201中接收到的可变大小数据可包含多个图像。在一个实施例中，无缺陷物品的至少一个图像包含在所述多个图像中。使用无缺陷物品的一个或多个图像计算固定的预定大小的表示，并将预定大小的表示连同未知类别的物品的图像数据一起输入到机器学习预测器，以获得关于未知类别物品的预测。

在图3中示意性地示出的一个实施例中，所述多个图像包含无缺陷物品的至少一个图像和未知类别物品的图像。

处理器302(例如上述的嵌入处理器)接收不确定数量(n)的设置图像322，即已知类别的相同类型的物品(例如，无缺陷物品)的图像，以及检查图像324，即未知类别(例如，无缺陷或有缺陷)的相同类型的物品的图像。然后，处理器302分析接收到的图像，并从接收到的相同类型的无缺陷物品的图像和未知类别的相同类型的物品的图像中计算出预定大小的表示326，并将所述表示输入到预测器328以实现预测329，例如检查图像中的缺陷检测。

在一些实施例中，在处理器302处执行的分析包含从n个图像322中的每一个以及从检查图像324中提取至少一个属性(例如，特性)，并且比较所提取的特性。在一个实施例中，基于图像之间的属性相似性来从图像提取属性。

通常，比较相同的特性或属性。例如，将来自一个图像的像素的特定统计特性与来自另一图像的像素的所述特定统计特性进行比较。例如，对于检查图像中的每个像素，可从参考图像中选择单个最相似像素和/或从参考图像中选择单个最不相似像素。

然后可将预定大小的向量输入到机器学习过程中，使得能够进行关于未知类别(例如，有缺陷或无缺陷)的相同类型的物品的预测。

在一些实施例中，在将固定大小的表示输入到预测器以获得针对未知类别的相同类型的物品的预测的步骤之后，可基于所获得的预测来控制装置。例如，受控装置可为例如上文所描述的远程装置108和/或用户接口装置106。

在图4中示意性地示出的一个实施例中，在确定已接收到完整表示无缺陷物品的多个无缺陷图像之后，从无缺陷物品的图像计算出固定的预定大小的表示。

用于提供对生产线中的缺陷物品的预测的方法可包含接收设置图像(402)，并且确定已接收到完整表示无缺陷物品的多个设置图像(404)。如果没有接收到足够的设置图像(404)，则接收另一设置图像以供进一步分析。由此获得可变数量的设置图像。

确定已接收到完整表示无缺陷物品的多个无缺陷图像可包含分析关于无缺陷物品的2D和3D形状的信息，如上文所详述。

如果对设置图像的分析(例如，如上文所描述)确定已接收到足够的设置图像(404)，则添加检查图像(未知类别的相同类型的物品的图像，例如无缺陷的或有缺陷的)(406)且从设置图像和检查图像的图像数据中计算出预定大小的向量(或其它表示)(408)。例如，嵌入所述图像以产生预定大小的表示，如上文所描述。

将预定大小的向量输入到预测器(410)以获得对未知类别物品的预测(412)，即从检查图像中检测缺陷。

此实施例和其它实施例使得能够针对每个检查图像调适预测过程，从而提供准确且灵活的预测系统。

在一些实施例中，可基于所获得的预测来生成用于控制装置的信号。例如，所述装置可包含用户接口装置106，并且处理器102可基于所述预测来控制用户接口装置106显示缺陷物品的指示。在另一实例中，所述装置可为远程装置108，其可包含信号处理系统或控制器以控制检查线系统的操作，例如控制传送带或相机或检查线的其它元件的操作。处理器102可基于预测来控制其它装置。

在一些实施例中，可基于来自用户的输入并且不一定在设置阶段期间接收设置图像(402)。例如，用户可以在检查阶段期间检测到无缺陷物品被(错误地)检测为有缺陷的，反之亦然。用户可将被错误检测的物品的图像输入为“新设置图像”或“缺陷图像”(例如，经由用户接口106，如上文所描述)，从而将新信息添加到设置图像的分析中。

根据本发明的实施例的检查系统包含预测器，所述预测器可检测在变化的成像环境中获得的图像中的缺陷以及与训练这些预测器的物品不相同甚至不相似的物品上的缺陷。

在一个实施例中，用于检测成像物品上的缺陷的方法包含将第二类型无缺陷物品的图像和未知类别的第二类型物品的图像输入到在第一类型物品的图像上训练的处理器，以及使用处理器从其图像检测第二类型物品的缺陷。

在一些实施例中，可基于对第二类型物品上的缺陷的检测来控制装置。

缺陷(例如，第二类型和未知类别的物品上的缺陷)可包含例如以下各项中的一或多项：物品表面上的可见瑕疵、物品或物品零件的非所要大小、物品或物品零件的非所要形状或颜色、物品零件的非所要数量、物品接口的错误或缺失装配以及物品或物品零件的不正确对准、错误的或有缺陷的条形码，等等。

在图5中示意性地示出了根据本发明的实施例的用于基于机器学习的生产线检查的方法。

将第一特定类型物品(512)(例如，卫生产品)的图像输入到处理器(502)，所述处理器已经在第二不同类型物品(514)(例如，涡轮机、发动机零件和糖果盒)的图像上进行训练。处理器502基于训练从第一类型图像中提取特性和/或特征，并且使用所提取的特性和/或特征来创建预定大小的向量(522)。通常，向量表示关于成像物品的信息(例如，其空间和形状公差)和/或关于成像环境的信息。然后将向量用作预测器的输入(504)，以检测第一类型物品的新图像中的缺陷(524)。

处理器502可在许多类型的物理物品上进行预先训练，以允许其习得许多类型的物理物品在不同成像条件(例如，照明强度、照明方向、照明颜色、有灰尘的环境等)及不同空间和环境条件(例如，物品的移动、检查线的‘振动’、物品的定位)以及物品的不同形状条件下的行为，如可在检查线上进行的那样。

在其它实施例中，处理器502可通过使用启发算法并且不必通过预先训练来提取特性和/或特征以创建预定大小的向量。

因此，在第一类型物品上训练的处理器(例如，处理器502)用于从第二类型无缺陷物品的图像并且(可选地)从未知类别的第二类型物品的图像产生预定大小的表示。然后将预定大小的表示输入到机器学习预测器中，以在未知类别的第二类型物品的图像中检测第二类型物品的缺陷。

已知的神经网络通常由实例输入(例如，图像)训练，但是，一旦将神经网络训练并编程到用于预测未知输入的系统中，所述神经网络通常不会使用任何后来的输入进行进一步训练，而是为每个新输入提供预测。另一方面，本发明的实施例提供机器学习过程，即使在被编程到处理器中之后，所述机器学习过程也可以使用新的实例输入(例如，无缺陷物品的图像)以及未知输入(例如未知状态物品的图像)来提供对未知输入的预测，从而改善已知学习机器的功能并提供新的机器学习过程。

本发明的此实施例和其它实施例改进了基于机器学习的系统的功能，所述系统使处理器能够具有对物品进行预测的新能力，而无需事先针对物品和成像环境进行训练。

本发明的实施例使得能够在制造工厂处建立基于机器学习的检查系统，不受在工厂制造和检查的物品影响，并且不限于任何特定的成像环境。因此，根据本发明实施例的系统和方法可用于检查不同类型的制造物品和不同的缺陷，而无需事先了解特定物品、缺陷或成像环境。

Claims (16)

1.一种用于获得对成像物品的预测的方法，所述方法包括：

接收包括无缺陷物品的至少一个图像的多个图像；

嵌入所述图像以产生预定大小的表示；

将所述预定大小的表示输入到机器学习预测器以获得关于未知类别的成像物品的预测；以及

基于所述预测来控制装置。

2.根据权利要求1所述的方法，其中所述预测包括检测所述成像物品上的缺陷。

3.根据权利要求1所述的方法，其包括将所述预定大小的表示和未知类别的所述物品的图像数据输入到所述机器学习预测器，以获得关于所述未知类别物品的预测。

4.根据权利要求3所述的方法，其包括：

确定已接收到完整表示所述无缺陷物品的多个图像；以及

将未知类别的所述物品的所述图像数据输入到所述机器学习预测器。

5.根据权利要求1所述的方法，其中所述数个图像包括无缺陷物品的至少一个图像和未知类别的物品的图像。

6.根据权利要求5所述的方法，其包括：

确定已接收到完整表示所述无缺陷物品的无缺陷物品的多个图像；

添加未知类别的所述物品的所述图像；以及

嵌入所述无缺陷物品的所述图像和所述未知类别的所述图像，以产生预定大小的表示。

7.根据权利要求4和6所述的方法，其中确定已接收到完整表示所述无缺陷物品的多个图像包括分析关于所述无缺陷物品的2D和3D形状的信息。

8.根据权利要求1所述的方法，其中所述嵌入包括：

比较包括无缺陷物品的至少一个图像的所述数个图像中的所述图像，以从所述图像中提取属性；以及

使用所述属性产生所述预定大小的表示。

9.根据权利要求8所述的方法，其包括基于图像之间所述属性的相似性，从所述图像中提取属性。

10.根据权利要求1所述的方法，其中所述嵌入包括使用机器学习技术。

11.一种用于检测成像物品上的缺陷的方法，所述方法包括：

将第二类型无缺陷物品的图像和未知类别的所述第二类型的物品的图像输入到在第一类型物品的图像上训练的处理器；以及

使用所述处理器检测未知类别的所述第二类型的所述物品上的缺陷。

12.根据权利要求11所述的方法，其包括基于对所述第二类型的所述物品上的缺陷的检测来控制装置。

13.根据权利要求11所述的方法，其包括：

使用所述处理器从第二类型无缺陷物品的所述图像和未知类别的所述第二类型的物品的所述图像产生预定大小的表示；

将所述预定大小的表示输入到机器学习预测器，以检测未知类别的所述第二类型的所述物品上的缺陷。

14.根据权利要求11所述的方法，其包括使用所述处理器在未知类别的所述第二类型的所述物品上检测由以下组成的组中的一个或多个：所述物品的表面上的可见瑕疵、所述物品或所述物品的零件的非所要大小、所述物品或所述物品的零件的非所要形状或颜色、所述物品的零件的非所要数量、所述物品的接口的错误或缺失装配、所述物品或所述物品的零件的不正确对准，以及错误的或有缺陷的条形码。

15.一种用于生产线的目视检查的系统，所述系统包括：

与相机和信号处理系统通信的处理器，所述处理器用于：

接收包括无缺陷物品的至少一个图像的多个图像；

嵌入所述图像以产生预定大小的表示；

在机器学习过程中使用所述预定大小的表示以获得关于未知类别的成像物品的预测；以及

基于所述预测来控制所述信号处理系统。

16.根据权利要求15所述的方法，其中所述信号处理系统包括控制所述生产线的机器。

Images