CN116958038A - 用于利用人工智能协助检查表面的方法和系统 - Google Patents

Abstract

本公开涉及用于利用人工智能协助检查表面的方法和系统。本发明公开了一种用于识别组件到工件上的准确安装的系统。该系统包括用于将光标记投射到装配到工件上的组件上的光源。控制器包括定义机器学习模型的人工智能(AI)元件，该模型建立用投射到装配到工件的组件上的光标记的存储的图像训练的卷积神经网络。成像器包括图像传感器系统，用于对工件成像并将工件的当前图像用信号发送给控制器。机器学习模型将工件的检查引导到由所述成像器成像的光标记。AI元件通过神经网络在当前图像中识别光标记的畸变来确定放置在工件上的组件的放置情况。

Description

用于利用人工智能协助检查表面的方法和系统

技术领域

本申请一般地涉及表面的自动检查。更具体地，本发明涉及将人工智能用于使用激光投射标记的表面检查以提高效率。

背景技术

为了满足和保持高质量的制造标准，对大规模生产组件的检查越来越重要。在大规模生产设施中使用的早期检查过程使用定期的人工检查来实现质量生产方面的适度改进。统计过程控制协助这种努力。然而，效率低下和人为错误使得这些努力不足以满足现代质量标准。为了满足不断增长的质量标准，在许多情况下必须对更高比例的产品进行检查，这使得大多淘汰人工检查的使用。因此，已经做出努力来实现使用相机和传感器的机器视觉检查来检查部件是否已经被合适地装配到工作台。然而，在装配相当大时，诸如，例如在装配是预制结构，诸如桁架，大型航空航天构件，风力涡轮机叶片等的建筑组件时，这种检查方案失败了。此外，在装配率非常高而且只有小块感兴趣的区域需要检查时，检查中等尺寸的表面会变困难。

在一些情况下，人工智能(“AI”)已经实现了一定的成功。在这些系统中，已经实现了诸如模版匹配、特征提取以及与机器学习(“ML”)算法组合的匹配之类的计算机视觉算法。最近，由于基于学习的算法的实现方式，深度学习(“DL”)和神经网络已经被认为用于AI检查是可行的。基于学习的DL神经网络，诸如卷积神经网络(“CNN”)是这样的算法的示例。这些CNN可以被训练来从模板的图像中学习以生成用于检查装配的组件的机器学习模型。人们认为，通过机器学习可以实现不断提高的准确性。

使用复杂算法的CNN可以接近人类逻辑和准确性。这些CNN可以经由使用从存储的图像和如本领域普通技术人员已知的类似物中训练的AI模型来训练，以检测被检查部分图像中的异常。然而，这样的CNN算法的计算成本限制了它们在工业规模上处理超大物体的更大图像的能力。即使训练这样的AI模型来检查在包含在大的、检测的图像或高容量的制造过程中的小物体时，也是有问题的。

因此，期望开发一种用于工业检查的人工智能模型，该模型将在经济上是可行的，并在先前未实现的大规模生产环境中提供效能。

发明内容

公开了一种用于识别组件到工件的准确装配的系统。该系统包括用于将光标记投射到装配到工件的组件上的光源。控制器包括人工智能(AI)元件，其定义了机器学习模型，该模型建立卷积神经网络，该卷积神经网络用投射到装配到工件的组件上的光标记的存储的图像进行训练。成像器包括成像传感器系统，其用于对工件成像并将工件的当前图像用信号发送给控制器。机器学习模型将对工件的检查导向由所述成像器成像的光标记。AI元件通过神经网络识别当前图像中光标记的畸变来确定放置在工件上的组件的放置情况。

战略投射激光标记到检查表面上的使用提供了通过CNN或任何其他AI模型减少代码和分析复杂性的能力。利用光标记(例如激光标记)对照明区域的照明可以轻松地被成像器或更具体地说是相机或多个相机识别。与需要检查整个检查表面的类似算法相比，利用像素化传感器使得控制器能够执行显著简化的CNN算法。一旦成像，控制器执行CNN分析，以确定光标记的畸变是否表明组件未正确安装到工件上。当处理CNN或任何其他AI模型时，控制器也可以仅分析激光标记。本申请的创新过程甚至消除了在执行检查分析时为了确定组件的准确装配而对比较计算机辅助设计(CAD)数据的依赖，进一步减少了计算机代码的复杂性并增加了检查的速度。当使激光投影仪的空间位置与检查表面配准时，CAD数据用于准确定位检查表面上的感兴趣区域。一旦光源和激光投影仪通过传统激光投射过程已经在空间上相对于检查表面上被定位，CAD数据便不需要进一步参与检查过程，因为AI算法用于检查分析。CAD指导的激光投射和AI检查的这种双重系统提高了检查的准确性，同时也提高了检查效率。因此，AI和激光投射的组合使得以前认为不可行的机器检查的各个系统的优点能够广泛实现。

附图说明

本发明的其他优点将很容易理解，因为当与附图结合考虑时，参考下面的详细描述，它们变得更好理解，其中：

图1示出了相对于检查表面在空间上定位激光投影仪的本发明的检查系统的示意图；

图2示出了激光投影仪向检查表面上的感兴趣的区域投射激光标记的本发明的检查系统的示意图；

图3示出了在检查系统的控制层面的CNN处理的流程图；

图4示出了包括紧固件在内的工件的表面的分段侧视图；

图5示出了图4中所示的工件的分段平面图；

图6示出了检查工件的表面的本发明的检查系统的另一实施例的示意图；

图7示出了检查工件的表面的本发明的检查系统的第三实施例的示意图。

具体实施方式

参考图1，在10处一般地示出了本发明的一种系统。系统10包括成像器12和激光投影仪14。成像器是由一个或多个相机16构成的。包括在任何系统10中的相机16的数量取决于已经在其上执行一些工作的检查表面18的面积。期望由相机16获得整个检查表面18的视图，其目的在下文将变得更明显。因此，期望使用若干相机16来覆盖超大检查表面18，而对于较小的检查表面18可能需要较少的相机16。虽然本申请的附图表示了两个相机16，但是应当理解，根据需要可以使用单个相机16或两个、三个、或更多个相机16。无论如何，相机呈现检查表面18的全视图以使在视图中没有缺口存在。在一个实施例中，每个相机16都包括相机控制器17。然而，应当理解的是经由硬连线或其他无线传输与每个相机16电连接的中央控制器也在本发明的范围内。

激光投影仪14是包括激光20和协作的第一反射镜22及第二反射镜24的传统投影仪。一种合适的激光投影仪14是由维泰克视觉国际有限公司提供的IRIS 3D激光投影仪。激光投影仪14包括用于检测返回的激光束的激光传感器26，如在美国专利第9,200,899号激光投影系统和方法中进一步说明的，该专利的内容通过引用被包括在本文中。激光控制器28以已知的方式基于第一反射镜22和第二反射镜24的旋转方向计算激光投射的位置和方向。

激光控制器28执行定位序列以相对于检查表面18在空间上定位激光投影仪14。更具体地，激光投影仪14在三维坐标系内相对于检查表面被定位，使得激光投影仪14能够以边界31(或边界框)的形式将激光标记30(图2)投射到检查表面18上也定义在三维坐标系内的感兴趣的区域32处。

为了相对于检查表面18定位激光投影仪14，将反射目标34固定到检查表面18上的在CAD数据中定义的预定基准点处。如本领域普通技术人员所知，在三维坐标系中准确地定位基准点使能检查表面18的准确定位。这样，激光投影仪14将激光束36投射到反射目标34，返回激光束被从反射目标34反射到激光传感器26。基于反射镜22、24的方向，由控制器28以已知的方式计算目标34的位置。在美国专利第9,200,899号激光投影系统和方法中进一步说明了确立激光投影仪14与检查表面18之间的关联的过程，其中说明了包括将任意激光点投射到工作环境中的替代校准方法，这些通过引用被包括在本文中。系统10也可以依赖摄影测量技术，使用相机16或与激光投影仪14整合的其他相机来识别激光点的位置。在其他实施例中，校准相机相对于激光投影仪的位置。在美国专利第10,799,998号利用闪光对准的激光投影中公开了用于使激光投影仪14与检查表面18对准的快速方法，该专利的内容也通过引用被包括在本文中。

因此，本领域普通技术人员应当理解，或通过以上在本文中说明的定位技术或通过以已知量的间隔将每个相机16固定到激光投影仪，在三维坐标系内相对于激光投影仪14定位每个相机16是期望的。因此，相机16、激光投影仪14以及检查表面18现在都在公共三维坐标系中相对于彼此定位。一旦被定位，控制器17、28就可以开始执行定位序列以识别检查表面18上的感兴趣的区域32。

下面是对装配任务序列的第一项的说明，该装配任务可以包括将组件36或多个组件36与检查表面36配对以形成完全装配的工件。在一个实施例中，激光投影仪14也投射激光标记30，激光标记30通过例如识别检查表面18上组件36将要被装配到的位置来引导操作员通过装配序列。因此，在一个实施例中，激光标记30可以用作用于引导装配任务的模板。因此，激光投影仪14服务于引导装配操作以及协助机器检查以验证合适的装配的双重目的。本发明的系统10和方法还被构想用于识别在检查表面18上的诸如例如油漆缺陷和其他表面缺陷之类的缺陷的位置。在这个实施例中，一旦视觉检测系统识别出缺陷，则激光投影仪20被用信号发送缺陷的位置并向缺陷投射位置识别激光标记。

一旦激光标记30被投射到检查表面18上，成像器12则开始它的成像序列。成像器12的每个相机16包括图像传感器38，诸如例如生成像素化图像的CCD或CMOS传感器。这些像素化图像(在下文中被描述为当前图像)被用信号发送给相机控制器17。在一个实施例中，相机控制器17实现经由存储的图像训练的机器学习算法。存储的图像包括激光标记30的像素化图像的数据库，该数据库用与已经填充该数据库的那些存储图像不同的当前图像不断更新。因此，训练通过利用当前图像增强存储图像的数据库被不断更新以提高检查准确性。为了便于训练相机控制器17，相机控制器17识别何时当前图像没有合适地对应到它的机器学习模型并且将当前图像用信号发送给远程处理器42，如本文以下将进一步说明的。

再次参考图2，激光控制器28既定位感兴趣的区域32又通过将边界31投射到检查表面18上来识别感兴趣的区域。因此，通过在激光表面18上生成圈定激光图案的激光束34生成边界31的预定区域。应当理解的是组件36必要地位于边界31内。机器检查程序的这一步骤是经由CAD数据的通用尺寸和公差(GD&T)方案记录而不是通过跟踪组件36的放置来引导的。因此，虽然CAD数据对于检查过程不是必需的，但CAD数据用于协助检查表面18上感兴趣的区域32的位置的识别。

经由CNN架构的机器学习被认为足够用于工业检查来验证组件36是否已经安装在正确的位置，即在指定的GD&T公差范围内。这些CNN架构中的大多数经训练和评估以检测正常的对象，诸如人、汽车、树和动物。在训练架构在其上进行训练的图像内的对象尺寸足够大从而具有良好的特征来检测时，这些CNN架构是可行的。然而，如果对象是小的，或者图像尺寸是大的并且在图像内包括许多小对象，则大多数现有的CNN架构都失败了。为了避免增加架构的复杂度或增加额外的训练数据来覆盖小的对象尺寸(这些都是不可行的)，本发明的系统10被训练为只关注较大工作表面或检查表面18内的边界31内的区域。期望这些区域相对于被检查的对象尽可能小。

如图2中最优表示的，激光投影仪14将边界31投射到检查表面18上的在相机16中的任何相机的视野范围内的位置。激光控制器28被编程为引导激光投影仪14或(根据过程可能需要)多个激光投影仪14通过向每个感兴趣的区域32投射边界31来识别多个感兴趣的区域32。控制器38的CNN架构被训练来在由成像器12生成并用信号发送给相机控制器17的当前图像内检测边界31。一旦CNN架构识别出由激光束34生成的边界31，则相机控制器17仅提取图像中检测到边界31的那部分。通过执行这个提取过程，CNN算法只需要在图像中预计存在组件36的边界31内的那部分上运行。

因此，CNN模型不需要被训练来分析需要对图像传感器38生成的大量像素进行制表的大型图像。通过激光投影仪14利用激光生成的边界31将相机控制器17导向感兴趣的区域32，在由边界31限定的检查表面18的当前图像内的小数量像素上容易地训练CNN模型。因此，相比由大尺寸成像系统生成的整个检查表面的图像，极大降低了计算复杂度。由于激光投射的边界31的准确性质使得能够创建限制在准确限定的感兴趣的区域32的局部图像，因此预期CNN计算也是高准确的。

在一个实施例中，图像处理以两个步骤进行。首先，在由激光投影仪14进行边界31的投射之前，由成像器12生成检查表面18的背景图像。接下来，激光投影仪14将边界31扫描到感兴趣的区域32上。当边界31被投射到感兴趣的区域32上时，成像器生成检查表面18的当前图像，通过从当前图像中生成的像素减去背景图像中生成的像素，从当前图像中清晰地描绘出激光边界31。因此，经由两幅图像之间的像素相减，相机控制器17能够以高度的准确性识别激光边界31。检测到像素的位置在背景图像与当前图像之间显著改变使得控制器17能够选择激光边界31内的区域用于CNN检测。因此，只分析在当前图像上生成的那些像素，因为背景图像的像素被减去，并且因此不被分析。这个过程提高了识别感兴趣的区域的准确性。

经由激光投射协助的人工智能，被相机控制器17选择用于分析的CNN算法和模型包括下面的特征：

对象分类：对象在边界31内存在或不存在？

对象测量：正确尺寸的对象，并放置在正确的位置？

模板匹配：对象与给定模板匹配？

人工智能模型的特征是根据给定的应用选择的。具体地，期望训练CNN算法只分析检查表面18的图像中包括感兴趣的对象的那部分，而忽略不感兴趣的对象。这可通过投射激光扫描的边界31实现，而不需要高度复杂和昂贵的成像系统。现在消除了对分析整个检查表面的图像的尝试，整个检查表面的图像要求不必要的算法复杂度和计算能力。

一旦从由激光投影仪14扫描的边界31中识别出感兴趣的区域32，则激光控制器28修改激光束34的扫描图案，以通过将模板40扫描到检查表面上18来更接近地识别预期要放置组件36的位置。模板40的尺寸和形状由与组件40在检查表面18上的放置有关的预定公差确定。因此，激光投射的模板40可以用于识别组件36在检查表面18上的合适的放置。在一个实施例中，激光投射的模板40可以圈定多个组件36。因此，相机控制器17能够在生成当前图像时评估从相机传感器38接收的像素，以确认组件36存在于感兴趣的区域32内。一旦生成当前图像，通过使用从远程处理器42接收的经训练的模型开始CNN过程，使分析关注于由激光生成的标记30限定的感兴趣的区域30。

如上所述，存储从其构建机器学习模型的像素化图像的数据库位于与管理检查表面18的机器检查的控制器17、28分离的处理器42上。使用远程处理器42减少了运行CNN算法的控制器17、28上的内存空间和处理的负担。然而，应当理解的是，使用适当的学习机制不断更新处理器42上的数据库，以包括示出在将组件36放置在检查表面18上时组件36的替代放置的附加图像。处理器42向控制器17、28用信号发送更新的训练算法，使得操作控制器17、28的CNN算法和模型能够提高识别边界框31内的感兴趣的区域32的布置的熟练度。因此，系统10现在可以关注仅感兴趣的区域32的检查，而没有对整个检查表面18进行成像的负担。

参考图3，以及如上所表示的，边界31经由当前图像44来识别，该当前图像44由成像器12生成，将检查限制在边界31内放置的区域。因此，成像器12检测由激光束限定的边界31内的组件36的存在和边界31本身二者。如本领域技术人员所知，CNN是前馈神经网络。被称为残差网络或残差神经网络的一种类型的前馈网络，在CNN用于视觉识别时，通常需要至少100个，以及有时超过1000个处理层来实现期望的精度。CNN的能力来自称为卷积层的特殊类型的层。卷积神经网络包含许多堆叠在彼此之上的卷积层，每个层都能够识别更复杂的形状，并且在一些情况下不断缩小来自相机图像的像素的范围。本发明的投射的边界31通过减少广视图低分辨率数据和只关注那些与边界31内布置的感兴趣的区域32相关的卷积层来消除大多数这些层。因此，大型图像分析可能需要几十层，而本申请的发明只需要三十或更少的卷积层，从而降低了CNN算法的复杂度，并且需要更少的时间来完成对图像的分析。

随后，CNN算法包括对边界31的分析以使用在当前图像与布置在处理器42上的存储图像整合时更新的训练来测量组件36。此外，激光投影仪14追踪模板40，模板40识别组件36在边界31内的预期位置，为识别用于机器检查的位置提供附加的准确性。

成像器12相对于激光投影仪14以及相对于检查表面18的校准与获得所期望的机器检查的准确性有关。作为校准的结果，控制器17、28计算激光投影仪14或多个投影仪14、成像器12以及工作表面18在公共三维坐标系内的相对位置。此外，对成像器12和每个相关联的相机16的校准包括与所需图像分辨率有关的激光传感器26和相机传感器38参数，以使得检查表面18的图像中包含的像素提供必要的准确性。每个相机16包括的相机镜头的参数也在系统10的校准期间确立。具体地，在校准期间，有必要确立以像素为单位的焦距和像素的光学中心以及取决于设备模型的其它畸变参数。

使用将三维校准转换为图像控制器17从中进行其测量分析的二维图像系统的图像捕获过程，在三维坐标系中确定成像器12和每个相关联的相机16的位置。因此，图像捕获过程移除了CNN分析的深度维度。为了实现这一目的，成像器12在三维坐标系内的精确定位使用传统的计量技术来确定。被测量组件36的实际尺寸也在此时确定。

可以使用替代方法识别每个相机16在公共坐标系内相对于检查表面的位置。一种方法包括收集，例如，如以上所说明的放置在坐标系内已知位置的目标34的测量值。在图像被生成并被用信号发送给相机控制器17时，包括放置在已知坐标的棋盘或其他图案的四月标签或编码目标也可以用于识别相机16的位置。替代地，相机16和激光投影仪14经由测量以已知的方式放置在预定几何相关位置的编码目标，独立地识别公共坐标系内的每个位置。一旦已经测量足够数量的目标，则控制器17、28使用方程组来识别在公共坐标系内的成像器12的相机16参数。

将激光点投射到已知坐标的激光投影仪14也可以用于在公共坐标系内定位激光投影仪12。用成像器12定位这些点使得控制器28能够建立被认为对定义成像器12的相机16执行校准所必要的2D/3D点对应。在利用多个相机16来覆盖广阔的检查表面18时，只要激光投影仪14能够在每个相机16的视野内投射激光点或激光图案，这种校准方法就尤其有用。否则，可以通过整合多个激光投影仪14来实现检查表面18的完全覆盖，每个激光投影仪14最终都相对于成像器12套准或定位。

如以上所说明的，在定位感兴趣的区域32和检查表面18时使用CAD数据，使得激光投影仪14能够准确地将激光标记30，以及更具体地，将边界框31投射到检查表面上。一旦检查表面18已经在公共3D坐标系内套准，则使用CAD数据来引导激光在哪里投射标记。然而，一旦已经套准每个公共3D坐标系，则机器检查独立于CAD数据进行，对CAD数据的依赖会减慢检查过程。再次参考图3，成像器12生成检查表面18的像素化的当前图像，并聚焦于如激光生成的边界31引导的感兴趣的区域32。在一个实施例中，(一个或多个)相机控制器17管理CNN算法，CNN算法在处理器42上执行根据存储的图像实现的训练。在这个非限制性示例中，在由至少一个控制器17向处理器42用信号发送当前图像，并将该当前图像与第一存储图像44的数据库进行比较，以提供该组件36被放置在边界31内的设计位置或不在设计位置内的指示时，训练被周期性地更新。使用CNN算法的连续处理提供了由第二存储图像和第三存储图像训练的对当前图像的越来越窄的分析，最终提供该组件被放置在边界31内的正确位置的确定。CNN算法经由用当前图像进行CNN训练，以确定是由于成像的像素在预定参数内而当前图像被接受，还是由于成像的像素在预定参数外而当前图像不被接受，不断缩小对存储图像的分析。

通过更新布置在处理器42中的数据库，关于通过机器学习的比较分析的准确性，AI模型得到不断改进。因此，在成像器12生成的当前图像与任何存储的图像不充分相对应时，处理器42更新CNN数据库，为由系统10执行的机器检查提供提高的准确性。例如，在当前图像与任何存储的图像不匹配时，当前图像被分类为识别接受的放置情况或未接受的放置情况。通过与预先确立的公差的一致性确定放置情况。经由缩小检查区域来优化这些步骤，该检查区域被限制在由激光投射标记30所限定的感兴趣的区域32，以及更具体地，激光投射的边界31。

在图4-6中示出的另一实施例中，一种用于识别组件136到工件148的准确装配的系统(一般称为110)包括控制器117，该控制器具有人工智能(AI)元件150，激光源114和成像器115，成像器115包括一个或多个相机116，用于生成工件148的当前图像144并将工件148的当前图像144用信号发送给控制器117。应理解，控制器117，更具体地，AI元件117，通过使用CNN算法和残差网络以类似于先前的实施例的方式操作。

现在参考图4和图5，激光源114在固定了组件136的工件148的检查表面118上投射激光标记130，在该实施例中为激光线130。投射的激光标记130或激光线的放置情况由成像器115监测，并被分析以确定已经附接到工件148上的组件136是否被正确安装。在这个非限制性示例中，工件148是一块木材，例如一块板或梁，而组件136是紧固件，例如钉子。图4示出工件148的分段侧视图，工件148包括已经附接到工件148的三个钉子136a，136b，136c。第一组件136a代表正确的安装，在该安装中，钉子136a的顶表面151a与工件148的表面118齐平。第二组件136b代表不正确的安装，在该安装中，钉子136b的顶表面151b低于工件148的表面118。第三组件136c也没有正确安装，但在这种情况下，钉子136c的顶表面151c高于工件148的表面118。

图5示出了工件148的分段平面图，其是从成像器115的视角呈现的，示出三个组件136a，136b，136c和每个相应的投射激光标记130a，130b，130c。正确安装的第一组件136a上投射的激光标记130a呈直线。不正确安装的第二组件136b和第三组件136c上投射的激光标记130b和130c呈现出畸变的线条。如下文将进一步说明的，成像器115生成安装的组件136a，136b，136c的图像并将该图像用信号发送给控制器117，由CNN算法从中评估激光线130a，130b，130c来确定是否已实现正确安装。不是评估整个图像，而是CNN算法仅评估激光线130a，130b，130c，从而使得能够减少CNN分析所需的数据，提高效率。

图6示出系统110的另一实施例，其中，工件148在高架轨道154下方沿着纵向方向152移动或被运送。激光源114和成像器115安装在高架轨道154上，成像器115包括两个合作的相机116a、116b，每个相机都有作为传感器系统的一部分的传感器。激光源114位于合作的相机116a、116b之间。在该实施例中，激光源114将静止激光线投射到工件148的表面118上，同时工件148在高架轨道154下移动。合作的相机116a、116b生成工件148的复合图像或当前图像144。合作的相机116a、116b捕捉包括投射激光线130的工件148表面的连续复合图像144。每个捕捉到的图像144都被发送给控制器117并由其接收以用于通过CNN算法150的提交，以识别组件130a、130b、130c安装的放置情况，包括不正确地或有缺陷地安装的组件。

在成像器116使用其图像传感器系统116a、116b捕捉到工件148的当前图像144后，其将工件148的当前图像144发送到控制器117。如对于前面实施例所述，控制器114填充有多个存储的被投射到装配到工件的组件上的激光标记的图像。控制器117利用其AI元件150，AI元件150包括用于将包括投射到组件148上的标记130的工件148的当前图像与存储的投射到装配组件上的激光标记的图像进行比较的CNN算法。存储的图像包括激光标记130的像素化的图像的数据库，该数据库用与已经填充数据库的那些存储的图像不相似的当前图像持续更新。因此，通过利用当前图像来增强所存储的图像的数据库来持续更新训练以提高检查准确性。为了便于训练相机控制器117，相机控制器117识别何时当前图像与其机器学习模型不匹配，并将当前图像用信号发送给远程处理器142。

AI元件150根据CNN算法相对存储的图像中的激光标记识别当前图像144中激光标记130a、130b、130c的放置情况的结果来确定放置在工件148上的组件136的放置情况。与之前的实施例一样，AI元件150还使用与CNN相结合的深度学习算法(DL)，以不断提高准确性检测。

处理器142包括用于将当前图像144添加到所存储的图像的更新算法，实施DL来通过学习更有效地识别畸变和检测有缺陷地安装的零件来提高准确性。

更具体地，成像系统116从当前图像144生成激光标记的像素，并且控制器117执行CNN来识别放置在工件148上的组件136的放置情况。

图7示出另一实施例的附加方面，一般示为220，该实施例包括激光投影仪256，其将图标258投射到工件248的表面218上邻近组件236的位置，以向操作员指示组件236是否已正确装配到工件248上。该实施例与前面描述的实施例方式相同，其中AI元件250实施CNN算法260来识别激光标记230的放置情况，以指示组件236是否已正确装配到工件248上。但是，该实施例进一步通过运行配准算法262来执行配准过程，以相对于激光投影仪256定位组件236在工件248的表面218上的位置，使得能够将图标258投射在表面218上与组件236相邻的位置。

在该实施例中，激光投影仪256安装在第二高架轨道264上，第二高架轨道264布置在第一高架轨道254的下游。下游的意思是，随着工件248沿箭头252的方向移动，它首先经过第一高架轨道254下，然后经过第二高架轨道264下。在配准期间，将参考目标266放置在与工件248的边缘相对固定的位置，并在成像器216的视野内，被成像以将目标266的位置与激光源214、成像器216和激光投影仪256进行配准。因此，为所有元件确定了一个公共坐标系。

在本非限制性示例中，工件248是一块胶合板，其表面218上包含有明显的标记或木材杂质268a、268b。合作的相机216a、216b捕捉工件的表面218、参考目标266、明显标记268a’、268b’以及附接的组件236a’、236b’、236c’的图像244。控制器260将明显标记268a’、268b’与参考目标266配准，以使得已知工件248相对于激光源214、成像器215和激光投影仪256的取向。因此，通过在公共坐标系中对明显标记268a’、268b’进行配准，即使在工件248移动期间，仍可在公共坐标系中维持对工件248的配准。因此，应当理解，通过与明显标记268a’、268b’相关联，组件236a’、236b’、236c’也已在公共坐标系中进行了配准。

在执行了配准算法262之后，控制器217知道组件236在工件248的表面218上的位置及在公共坐标系中的位置。因此，在工件248沿箭头252方向移动时，激光投影仪256可以准确地将放置情况图标258投射在组件236附近。

通过执行CNN，控制器217确定组件236是否正确安装。当工件的包含正确安装的组件236a的部分移动经过激光投影仪256时，激光投影仪256在正确安装的组件236a附近投射第一指示器图标258a，此处为勾号“√”。如果控制器217确定零件236b、236c未正确安装，则图标投影仪264在未正确安装的零件236b、236c附近投射第二指示器图标258b，此处为“X”标记。投射在工件248表面218上的这些图标258用作自动化指示器，向操作员指示零件236的安装状态。

除激光生成的图标258外，显示器270为操作员提供工件248的附加放置情况。显示器270经由对工件248的成像215来识别并经由计算机生成的图标指出明显标记268和组件236。因此，操作员可以对每个组件236在工件248的表面218上的放置情况进行可视化验证，并经由显示器270进行冗余验证。因此，应理解CNN提供了定位组件和验证组件到工件的准确安装的能力。为简单起见，这里仅以示例性方式使用面板。但是，应理解本发明的系统可用于检查任何工件的任何表面，以验证任何类型的组件的正确安装，并且通过深度学习实现检查的持续改进。

以说明性的方式描述了本发明；本发明的许多修改和变化是可能的。因此，应当理解，在说明书内参考数字仅仅是出于方便并不以任何方式限制，并且本发明可以以其他方式实施，随后具体描述。因此，本发明可以在上述公开的实施例之后陈述的权利要求的范围内以其他方式实施，随后进行具体描述。

优先申请

本申请要求于2022年4月14日提交的美国临时专利申请第63/331,064号以及于2022年12月22日提交的美国专利申请第18/087,250号的优先权，美国专利申请第18/087,250号也要求美国临时专利申请第63/331,064号的优先权。

Claims (15)

1.一种用于识别组件到工件的准确装配的系统，包括：

用于将光标记投射到装配到工件的组件上的光源；

控制器，包括人工智能AI元件，所述AI元件包括机器学习模型，所述机器学习模型建立用投射到装配到工件的组件上的光标记的存储的图像训练的卷积神经网络；

成像器，包括图像传感器系统，用于对工件成像并向所述控制器用信号发送工件的当前图像；

所述机器学习模型将工件的检查引导到由所述成像器成像的光标记；以及

所述AI元件通过所述神经网络识别当前图像中光标记的畸变来确定放置在工件上的组件的放置情况。

2.根据权利要求1所述的系统，其中所述AI元件包括与所述CNN结合的深度学习算法(DL)。

3.根据权利要求1所述的系统，还包括用于生成用所述存储的图像填充的数据库的处理器。

4.根据权利要求1所述的系统，其中，所述机器学习模型用投射到组件上的光标记的存储的图像进行训练，从而使所述AI元件能够提高检查的准确性。

5.根据权利要求1所述的系统，其中，所述成像器包括多个相机，每个相机都包括作为所述图像传感器系统的一部分的传感器。

6.根据权利要求5所述的系统，其中，所述多个相机生成工件和附接到工件的组件的复合图像。

7.根据权利要求1所述的系统，其中，所述成像系统从所述当前图像中生成所述光标记的像素，并且所述控制器在像素上执行所述CNN，从而识别放置在工件上的组件的放置情况。

8.根据权利要求1所述的系统，其中，所述光源被定义为激光源，并且所述光标记被定义为由所述激光源生成的激光线。

9.根据权利要求1所述的系统，其中，所述组件是钉子并且所述工件是木结构。

10.根据权利要求1所述的系统，其中，所述光标记投射在正确固定到工件的组件不会呈现标记畸变，所述光标记投射在未正确安装的组件上呈现标记畸变。

11.根据权利要求1所述的系统，其中，所述AI元件中的所述存储的图像包括正确安装的组件的图像和未正确安装的组件的图像，所述图像包括定义每个所述图像的放置情况的所述光标记。

12.根据权利要求1所述的系统，还包括激光投影仪，所述激光投影仪被所述控制器用信号发送组件的放置情况，并且所述激光投影仪将激光图标扫描到工件上的组件附近，激光图标指示组件的放置情况。

13.根据权利要求1所述的系统，还包括由成像器配准到工件上的参考目标，并且参考目标的位置与由工件定义的特征相关联。

14.根据权利要求13所述的系统，其中，控制器从所述参考目标用所述光源、所述成像器和激光投影仪在公共坐标系内定位所述工件。

15.根据权利要求14所述的系统，其中，通过由所述成像系统生成的由工件定义的特征的图像来监测工件在公共坐标系中的位置。