CN110621984B - 用于改进质量检查的方法和系统 - Google Patents

Abstract

一种识别生产线上产品缺陷的方法，包括：从多个边缘装置接收数据，所述边缘装置监控生产线上的产品的产品缺陷。数据包括边缘装置捕获的产品的独特视角。该方法进一步包括：通过合并由多个边缘装置分别捕获的产品的各独特视角来生成产品的整体视图，并将整体视图与产品的特征进行比较。该方法进一步包括：基于所述比较，确定整体视图与特征之间的差异程度是否满足一个或多于一个标准，以及在确定整体视图与特征之间的差异程度满足一个或多于一个标准中的至少一个标准时，根据视图与特征之间的差异来记录并报告与产品相关的缺陷。

Description

用于改进质量检查的方法和系统

技术领域

本发明大体上涉及生产线，包括但不限于对生产线的操作者以及产品进行目检。

背景技术

制造商采取各种质量控制措施减少进入商品市场的缺陷产品的数量。一些质量控制措施涉及人类工人以及/或者装置目检产品。然而，当前的目检(visualinspection)技术总是遗漏缺陷产品，且无法应对诸如由老化生产线引起的产品缺陷等新产品缺陷。因此，挑战在于如何对产品缺陷、尤其是那些随着生产线的使用寿命而发展出的产品缺陷进行初始识别，以及识别导致这些新产品缺陷的根本原因(例如，识别导致产品缺陷的操作)。

发明内容

因此，需要如下用途的方法和系统：(i)在缺陷产品进入商品市场之前对其进行初始识别，以及(ii)(例如，使用从缺陷产品采集的数据)识别导致缺陷的根本原因。这样，制造商能够进一步减少进入商品市场的缺陷产品的数量，同时还发掘了导致缺陷的根本原因，从而减少了停工时间。

(A1)在一些实施方式中，一种改善质量检查的方法包括：在具有一个或多于一个处理器以及存储有由所述处理器执行的指令的存储器的、诸如图2服务器系统200等服务器系统处，从诸如图4A边缘装置410-1、410-2、410-3……410-n等多个边缘装置接收数据。所述多个边缘装置监控诸如图4A生产线400等生产线上的诸如图4A产品408等产品的产品缺陷。数据包括诸如图4B独特视角430、图4C独特视角440、图4D独特视角450等由多个边缘装置捕获的产品的独特视角。该方法进一步包括通过合并由多个边缘装置分别捕获的产品的各独特视角生成产品的整体视图，并将整体视图与产品的一个或多于一个特征进行比较。该方法进一步包括基于所述比较，确定整体视图与一个或多于一个特征之间的差异程度是否满足一个或多于一个标准；在确定整体视图与一个或多于一个特征之间的差异程度满足所述一个或多于一个标准中的至少一个标准时，根据整体视图与所述一个或多于一个特征之间的差异记录并报告与产品相关的缺陷。

(A2)在A1的方法的一些实施方式中，该方法进一步包括：在服务器系统处，向多个边缘装置分别提供分类模型，用于监控生产线上的产品的产品缺陷。分类模型包括与产品相关的一个或多于一个已识别缺陷。边缘装置被配置为将产品的独特视角与分类模型进行比较，并在要提交给服务器系统的数据中包括对应的比较结果。

(A3)在A2的方法的一些实施方式中，该方法进一步包括在服务器系统处，在记录并报告缺陷之后：(i)更新分类模型，以将缺陷包括为与产品相关的一个或多于一个已识别缺陷的一部分，以及(ii)向所述多个边缘装置提供所述更新的分类模型。多个边缘装置分别使用更新的分类模型来监控生产线上的产品的产品缺陷。

(A4)在A1至A3中任一项的方法的一些实施方式中，从多个边缘装置接收的数据对应一段时间，生产线包括对产品的至少一项操作，数据进一步包括与所述至少一项操作相关的操作者的手势序列，所述手势序列由诸如图5边缘装置506-1、506-2……506-n等多个边缘装置中的至少一个边缘装置在所述一段时间内捕获。

(A5)在A4方法的一些实施方式中，该方法进一步包括：在服务器系统处，将操作者的手势序列与对应于操作者的预定义手势序列进行比较。基于所述比较，确定操作者的手势序列与预定义手势序列之间的差异程度是否满足阈值；在确定操作者的手势序列与预定义手势序列之间的差异程度满足阈值时，将操作者记录并报告为与缺陷相关。

(A6)在A5的方法的一些实施方式中，与至少一项操作相关的操作者是机器人；记录并报告该操作者包括：更新对机器人的手势序列进行定义的程序。

(A7)在A6的方法的一些实施方式中，至少部分地基于操作者的手势序列与预定义手势序列之间的差异程度来更新要提供给机器人的更新程序。

(A8)在A6的方法的一些实施方式中，至少部分地基于操作者的手势序列的一部分与预定义手势序列的对应部分之间的差异程度来更新要提供给机器人的更新程序。

(A9)在A5的方法的一些实施方式中，与至少一项操作相关的操作者是人类操作者，记录并报告所述操作者包括向所述人类操作者提供报告，所述报告包括从多个边缘装置接收的数据的部分。

(A10)在A5的方法的一些实施方式中，该方法进一步包括：在服务器系统处，在将操作者的手势序列与对应于所述操作者的预定义手势序列进行比较之前，对所述操作者的所述手势序列应用动态时间规整过程。动态时间规整过程对预定义手势序列与操作者的手势序列之间的时间差异进行归一化。这样，基于归一化时间差异，确定操作者的手势序列与预定义手势序列之间的差异程度。

(A11)在A1至A10中任一项的方法的一些实施方式中，从多个边缘装置接收的数据包括由多个边缘装置分别捕获的产品的各独特视角的图像。这样，合并产品的各独特视角包括：根据多个边缘装置各自沿生产线的物理位置对多个边缘装置分别捕获的图像中的至少部分图像进行合并，以生成整体视图。

(A12)在A1至A11中任一项的方法的一些实施方式中，整体视图是操作后整体视图。从多个边缘装置接收的数据包括：(i)在操作前由多个边缘装置中的第一组边缘装置捕获的产品的各独特视角的第一图像序列；以及(ii)在操作后由多个边缘装置中的第二组边缘装置捕获的产品的各独特视角的第二图像序列。此外，所述方法进一步包括：在服务器系统处，使用第一图像序列生成产品的操作前整体视图(操作后整体视图使用第二图像序列生成)。因此，操作前整体视图中捕获了产品的一个或多于一个特征中的至少部分特征。

(A13)在A1至A12中任一项的方法的一些实施方式中，该方法进一步包括：在服务器系统处，至少部分基于(i)从多个边缘装置接收的数据以及(ii)至少一个标准对与产品相关的缺陷进行分类。基于所述分类，识别造成缺陷的生产线的至少一项操作。

(A14)在A1至A13中任一项的方法的一些实施方式中，生产线至少包括第一操作以及第二操作。数据包括：(i)由多个边缘装置中的第一组边缘装置捕获的第一操作后产品的第一独特视角，以及(ii)由多个边缘装置中的第二组边缘装置捕获的第二操作后产品的第二独特视角。整体视图是第一操作后产品的第一独特视角的第一整体视图。所述方法进一步包括：在服务器系统处，通过合并由第二组边缘装置捕获的产品的各第二独特视角来生成产品的第二整体视图。

(A15)在A1至A14中任一项的方法的一些实施方式中，多个边缘装置包括照相机、红外照相机、X射线照相机、深度照相机中的至少一项。

(A16)再一方面，提供了一种诸如图2服务器系统200等服务器系统。所述服务器系统包括一个或多于一个处理器以及存储器。所述存储器存储有一个或多于一个程序。当由一个或多于一个处理器执行时，所述程序使所述服务器系统执行A1至A15中任一项所述的方法。

(A17)另一方面，提供了一种服务器系统。所述服务器系统包括用于执行A1至A15中任一项所述的方法的装置(means)。

(A18)又一方面，提供了一种非易失性计算机可读存储介质。非易失性计算机可读存储介质存储可执行指令。当由具有一个或多于一个处理器/核心的诸如图2服务器系统200等服务器系统执行时，所述指令使所述服务器系统执行A1至15中任一项所述的方法。

附图说明

结合以下附图和具体实施方式，更好理解所描述的各种实施方式。附图中相同的附图标记在整个附图和说明书中指代对应的部分。

图1为框图示出根据一些实施方式的智能生产线的示例性网络架构；

图2为框图示出根据一些实施方式的示例性服务器系统；

图3为框图示出根据一些实施方式的示例性边缘装置；

图4A为根据一些实施方式的多个边缘装置在生产线上的示例性布置；

图4B至图4D为根据一些实施方式的生产线上的产品的、由多个边缘装置捕获(captured)的独特视角(unique perspective)；

图5为根据一些实施方式的多个边缘装置在包括机器人操作者的生产线上的示例性布置；

图6A至图6B为根据一些实施方式的机器人操作者的、由多个边缘装置捕获的独特视角；

图7为根据一些实施方式的操作者在一段时间内的移动(movement)的示例性三维模型；

图8为根据一些实施方式的用于改进生产线上质量检查的方法的流程图。

具体实施方式

现将参考实施方式，其实例在附图中示出。以下描述中，阐述了许多具体细节，以便理解所描述的各种实施方式。然而，对于本领域的普通技术人员而言显而易见的是，没有这些具体细节也可以实践所描述的各种实施方式。在其它示例中，没有对公知的方法、过程、组成部分、电路和网络进行详细描述，以免不必要地模糊所述实施方式的各个方面。

还应理解，尽管本文在某些示例中使用第一、第二等术语描述各种要素，但是这些要素不应受到这些术语的限制。这些术语仅用于使要素彼此之间能够区分。例如，第一边缘装置可以被称为第二边缘装置，第二边缘装置可以被称为第一边缘装置，而不脱离所描述的各种实施方式的范围。第一边缘装置以及第二边缘装置都是边缘装置，但是它们不是相同的边缘装置。

本文中描述各种实施方式时使用的术语仅用于描述具体实施方式，而并非旨在进行限制。如在所附权利要求和各种实施方式的描述中所使用的，除非上下文明确另行表明，单数词也旨在包括复数情形。还应理解，本文所用的术语“以及/或者”是指并包含相关的列出项目中的一个或多于一个项目的任何和所有可能的组合。还要理解，本文使用的术语“包括”规定了所述特征、整数、步骤、操作、要素以及/或者组成部分的存在，但不排除其它特征、整数，步骤、操作、要素、组成部分以及/或者其团组中的一项或多于项的存在或添加。

如本文所使用的，取决于上下文，术语“如果”可以解释为指“当”或“一旦”或“响应于确定”或“响应于检测到”或“相应于确定”。类似地，取决于上下文，短语“如果确定”或“如果检测到[所述状况或事件]”可以解释为指“一旦确定”或“响应于确定”或“一旦检测到[所述状况或事件]”或“响应于检测到[所述状况或事件]”或“相应于确定检测到[所述状况或事件]”。

如本文所使用的，术语“示例性”指“用作实例、示例或例示”，而不是指“代表同类中的最佳”。

图1的框图示出根据一些实施方式的产品和操作者检查网络的示例性网络架构100。网络架构100包括多个边缘装置102-1、102-2……102-n。所述多个边缘装置通过一个或多于一个网络106可通信地连接到服务器系统104。

在一些实施方式中，边缘装置102-1、102-2……102-n是电子装置。所述电子装置可以彼此通信。所述电子装置可以与服务器系统104以及其它装置通信。在一些实施方式中，服务器系统104是诸如计算机服务器等单个计算装置。在其它实施方式中，服务器系统104由多个计算装置实施。所述多个计算装置合作完成诸如云计算等服务器系统的行动。在一些实施方式中，网络106是诸如互联网或蜂窝数据网络等公共通信网络、诸如私有LAN或租用(leased)线路等专用(private)通信网络或这样的通信网络的组合。

边缘装置102-1、102-2……102-n用于检查(例如监控)生产线上的产品缺陷。在一些实施方式中，边缘装置102-1、102-2……102-n监控生产线的操作(例如监控操作者的移动)。在一些实施方式中，边缘装置102-1、102-2……102-n监控操作对产品的影响(例如完成质量控制)。边缘装置102-1、102-2……102-n捕获操作的独特视角(例如捕获产品的独特视角以及/或者操作者完成操作的独特视角)。为此，各边缘装置102-1、102-2……102-n都包括诸如照相机、红外照相机、X射线照相机、深度照相机等一个或多于一个捕获装置。目的是边缘装置102-1、102-2……102-n首先识别产品缺陷(或收集可用于识别产品缺陷的数据)，然后识别导致产品缺陷的原因。

在一些实施方式中，边缘装置102-1、102-2……102-n将捕获的数据发送到服务器系统104。服务器系统104可以使用接收到的数据，通过合并由边缘装置102-1、102-2……102-n捕获的产品的各独特视角来生成产品的整体视图。例如，服务器系统104可以使用由边缘装置102-1、102-2……102-n捕获的产品的独特视角来创造产品的三维模型。这样，服务器系统104创造在生产线上创造的各产品的模型，并使用该模型来识别产品缺陷。

另外，在一些实施方式中，服务器系统104可以使用接收到的数据来将本文中称为手势(gesture)序列的操作者的移动与本文中称为预定义手势序列的操作者的模板(template)移动或参考移动进行比较。基于该比较，服务器系统104能够识别操作者的具体部位(或多个部位)。该具体部位(多个部位)偏离了预定义手势序列，可能导致产品缺陷。这样，就可以在有缺陷的产品进入商品市场之前将其识别出来。而且，可以对导致缺陷的原因进行识别并加以补救，从而减少停工时间。

在一些实施方式中，网络架构100还可以包括第三方服务器(未示出)。在一些实施方式中，第三方服务器与第三方服务提供商相关。所述第三方服务提供商向服务器系统104提供附加的数据(例如，天气数据和人员数据)。

图2的框图示出根据一些实施方式的示例性服务器系统200。在一些实施方式中，服务器系统200是服务器系统104(图1)的实例。服务器系统200典型地包括一个或多于一个处理单元(处理器或核心)202、一个或多于一个网络或其它通信接口204、存储器206以及用于互连这些组成部分的一个或多于一个通信总线208。通信总线208可以包括电路(有时称为芯片组)。所述电路或芯片组互连以及控制系统组成部分之间的通信。服务器系统200可以包括用户界面(未示出)。用户界面(如果提供有的话)可以包括显示装置，并且可以包括诸如键盘、鼠标、触控板以及/或者输入按钮等输入。替换地或附加地，显示装置包括触敏表面。在这种情况下，显示器是触敏显示器。

存储器206包括诸如DRAM、SRAM、DDR RAM等高速随机存取存储器，或其它随机存取固态存储装置。所述存储器可以包括诸如一个或多于一个磁盘存储装置、光盘存储装置、闪存装置等非易失性存储器，或其它非易失性固态存储装置。存储器206可以包括一个或多于一个远离处理器202的存储装置。存储器206或者存储器206内的非易失性存储装置包括非易失性计算机可读存储介质。在一些实施方式中，存储器206或存储器206的计算机可读存储介质存储有以下程序、模块和数据结构，或其子集或超集。

·操作系统210，包括用于处理各种基本系统服务以及用于完成硬件依赖的任务的程序。

·网络通信模块212，用于通过一个或多于一个(有线或无线)通信网络接口204以及诸如互联网、蜂窝电话网络、移动数据网络、其它广域网、局域网、城域网等一个或多于一个通信网络106(图1)将服务器系统200连接到诸如边缘装置102-1、102-2……102-n以及/或者第三方服务器等其它计算机。

·生成模块214，用于处理从一个或多于一个边缘装置接收的数据，并使用所述数据生成产品的诸如二维视图、三维视图等视图；

·分析模块216，用于分析经处理的数据、由生成模块214生成的视图，并将经处理的数据与诸如产品的特征以及/或者预定义手势序列等模板进行比较。

·报告模块218，用于(例如，在确定整体视图与一个或多于一个特征之间的差异程度满足一个或多于一个标准之后)记录并报告缺陷。

·服务器数据库220，用于存储与服务器系统相关的数据，例如：

一个或多于一个动态时间规整过程222；

一个或多于一个分类模型224；

一个或多于一个预定义手势序列226；

一个或多于一个标准和阈值228；

内容230……

在一些实施方式中，报告模块218包括分类模型生成模块232和手势序列生成模块234。分类模型生成模块232用于生成和更新提供给边缘装置的分类模型。手势序列生成模块234用于生成和更新提供给机器人(例如图5的机器人502)的手势序列。例如，手势序列可以是机器人用于完成操作的程序。另外，手势序列产生模块234用于产生预定义手势序列。

内容230可以包括诸如由边缘装置捕获的独特视角等从边缘装置接收的数据。另外，内容230可以包括由服务器系统生成的模型和视图(或从一个或多于一个边缘装置接收的模型和视图)。在一些实施方式中，内容230包括诸如ASCII、SGML、HTML等文本、诸如jpeg、tif、gif等图像、诸如基于矢量的图形或位图等图形、音频、诸如mpeg等视频、其它多媒体以及/或者其组合。

服务器数据库220将与服务器系统200相关的数据存储在诸如文本数据库、图形数据库、维度数据库、平面数据库、分层数据库、网络数据库，面向对象数据库、关系数据库以及/或者XML数据库等一种或多于一种类型的数据库中。

在一些实施方式中，服务器系统200在存储器中存储边缘装置的图形。例如，该图形识别具体生产线上的各边缘装置以及各边缘装置之间的连接。所述连接可以包括边缘装置的位置、边缘装置的取向、相邻的边缘装置等。通过维护该图，服务器系统200能够确定独特视角彼此如何相关。

图3的框图示出根据一些实施方式的示例性边缘装置300。边缘装置300是一个或多于一个边缘装置102-1、102-2……102-n(图1)的实例。边缘装置300典型地包括一个或多于一个处理单元(处理器或核心)302、一个或多于一个网络或其它通信接口304、存储器306以及用于互连这些组成部分的一个或多于一个通信总线308。通信总线308可以包括互连以及控制系统组成部分之间的通信的电路(有时称为芯片组)。边缘装置300包括诸如GNSS(例如GPS、GLONASS等)的位置检测装置310或其它地理位置接收器，用于确定边缘装置300的位置。边缘装置300还包括诸如照相机、红外照相机、X射线照相机、深度照相机、三维照相机等一个或多于一个捕获装置312。

在一些实施方式中，客户端装置300包括诸如陀螺仪、加速度计等一个或多于一个可选传感器，用于检测边缘装置300的移动以及/或者取向的变化。在一些实施方式中，检测到的边缘装置300的移动以及/或者取向用于表明边缘装置300需要调整或重新对齐。

存储器306包括诸如DRAM、SRAM、DDR RAM等高速随机存取存储器，或其它随机存取固态存储装置。所述存储器可以包括诸如一个或多于一个磁盘存储装置、光盘存储装置、闪存装置等非易失性存储器，或其它非易失性固态存储装置。存储器306可以包括一个或多于一个远离处理器306的存储装置。存储器306或者存储器306内的非易失性存储装置包括非易失性计算机可读存储介质。在一些实施方式中，存储器306或存储器306的计算机可读存储介质存储有以下程序、模块和数据结构，或其子集或超集。

·操作系统314，包括用于处理各种基本系统服务以及用于完成硬件依赖的任务的程序。

·网络通信模块316，用于通过一个或多于一个(有线或无线)通信网络接口304以及诸如互联网、蜂窝电话网络、移动数据网络、其它广域网、局域网、城域网等一个或多于一个通信网络106(图1)将边缘装置300连接到诸如其它边缘装置以及服务器系统200等其它计算机。

·捕获模块318，用于处理由捕获装置312捕获的各图像或视频(或其它数据)。所述各图像或视频可被发送到其它边缘装置以及/或者服务器系统200。

·诸如GPS、Wi-Fi或混合定位模块等位置检测模块320，用于(例如使用位置检测装置310)确定边缘装置300的位置，以及将该位置信息提供给其它边缘装置以及/或者服务器系统200。

·缺陷检测模块322，用于使用由捕获装置312捕获的数据来检测产品缺陷以及其它生产线缺陷。

·手势序列捕获模块324，用于捕获诸如机器人502(图5)或人类工人等生产线的操作者的手势序列。

·数据库326，用于存储与边缘装置300相关的数据，例如：

一个或多于一个分类模型328；

一个或多于一个手势序列330；

一个或多于一个动态时间规整过程332；

内容334……

在一些实施方式中，内容334包括由捕获装置312捕获的数据，以及由边缘装置300生成的模型和视图。在一些实施方式中，内容334包括诸如ASCII、SGML、HTML等文本、诸如jpeg、tif、gif等图像、诸如基于矢量的图形或位图等图形、音频、诸如mpeg等视频、其它多媒体以及/或者其组合。

上述模块和应用程序各对应于可执行指令集。所述指令集用于执行上述一个或多于一个功能，以及/或者诸如本文描述的计算机实现的方法、其它信息处理方法等本文描述的方法中的一个或多于一个功能。这些模块(即，指令集)不需要被实现为单独的软件程序、过程或模块。因此，可以在各种实施方式中对这些模块的各种子集进行组合或以其它方式重新布置。在一些实施方式中，存储器206以及/或者306存储上述的数据结构以及模块的子集。此外，存储器206以及/或者306可以存储以上未描述的附加的模块以及数据结构。例如，存储器206以及/或者306可以存储以下参考图7提供的一个或多于一个方程。在一些实施方式中，所述一个或多于一个方程是DTW过程222以及/或者DTW过程332的一部分。

图4A是根据一些实施方式的多个边缘装置在生产线上的示例性布置。

生产线400包括工作台402。在一些实施方式中，工作台402通过生产线400输送产品。尽管未示出，但是在一些实施方式中，工作台402可以在两个方向上继续，从而在生产线400中包括附加操作。此外，本文所述的实施方式同样适用于基于非装配线的制造过程。在这种情况下，工作台402是固定的。例如，工作台402可以是三维打印机、计算机数控铣床(mill)或任何其它基于非装配线的制造过程的台面。为了便于讨论，将称这些基于非装配线的制造过程为生产线400。

生产线400包括诸如有助于制造产品的过程/行动等的操作404。在一些实施方式中，生产线400包括多个操作。注意，尽管以下讨论的是倒角(chamfering)操作，但是本文描述的实施方式可应用于任何数量的操作。以下描述的倒角操作仅用于提供上下文。

生产线400包括诸如第一产品406、第二产品408等正在制造的一个或多于一个产品。如图所示，第一产品406尚未抵达操作404(例如，处于第一状态)。第二产品408已经经过操作404(例如，处于第二状态)。这样，第二产品408具有倒角(chamfered)边缘418，而第一产品406没有倒角边缘。

生产线400包括边缘装置410-1、410-2、410-3……410-n。在一些实施方式中，边缘装置410-1、410-2、410-3……410-n是边缘装置102-1、102-2……102-n(图1)的实例。边缘装置410-1、410-2、410-3……410-n检查生产线上的产品(例如，检查产品缺陷)并分析在检查期间收集的数据。在一些实施方式中，诸如图2服务器系统200等服务器系统为各边缘装置提供分类模型。各边缘装置使用所述分类模型来识别产品缺陷。在一些实施方式中，分类模型包括：(i)诸如倒角边缘418的预期高度、深度和角度等参考产品的一个或多于一个特征；以及(ii)与操作404相关的一个或多于一个已识别缺陷(，还可以有与生产线400相关的其它缺陷)。在一些实施方式中，分类模型包括参考产品的图像，以及从所述图像中识别出所述一个或多于一个特征。替换地或附加地，在一些实施方式中，分类模型包括参考产品的计算机模型，以及从所述计算机模型中识别出所述一个或多于一个特征。尽管图4A所示的生产线400包括多个边缘装置，但是在一些实施方式中，生产线400包括单个边缘装置。

为了检查产品408，各边缘装置410-1、410-2、410-3……410-n捕获产品408的独特视角。例如，第一边缘装置410-1捕获第一独特视角430(图4B)。第一独特视角包括产品408的侧面412。第二边缘装置410-2捕获第二独特视角440(图4C)。第二独特视角包括产品408的顶面414。等等。这样，边缘装置410-1、410-2、410-3……410-n捕获操作404的至少一个结果特征。例如，第一边缘装置410-1检查侧面412(上的诸如外部缺陷以及/或者内部缺陷等)，以及(图4B)倒角边缘418的第一部分432的高度(例如图4B显示为“高度”的第一结果特征)和角度(例如图4B显示为角度β的第二结果特征)。此外，第二边缘装置410-2检查顶面414(上的诸如外部缺陷以及/或者内部缺陷等)，以及倒角边缘418的各部分432–438的深度(例如，诸如图4C“深度”等第三结果特征)。另一个边缘装置捕获独特视角450(图4D)，并检查前表面416(上的诸如外部缺陷以及/或者内部缺陷等)，并检查(图4D)倒角边缘418的第二部分434的高度和角度。附加的边缘装置可以捕获倒角边缘418的其它表面和其它部分，这些为简洁起见将不作讨论。

其后，各边缘装置410-1、410-2、410-3……410-n将各自的独特视角与从服务器系统接收的分类模型进行比较(例如，将从各自的独特视角捕获的图像与分类模型中包括的计算机模型以及/或者至少一个图像进行比较)。在一些实施方式中，所述比较涉及将操作404的至少一个结果特征与分类模型中包括的一个或多于一个特征进行比较。例如，第一边缘装置410-1将高度(例如图4B显示为“高度”的第一结果特征)以及角度(例如图4B显示为角度β的第二结果特性)与分类模型中包括的对应特征进行比较。在一些实施方式中，提供给各边缘装置的分类模型是依照由该边缘装置捕获的操作的独特视角定制的。例如，提供给各边缘装置的分类模型中包括的至少一个图像是(例如在创造该分类模型时)由该边缘装置捕获的。

在一些实施方式中，各边缘装置410-1、410-2、410-3……410-n被定位为捕获针对产品完成的最近操作的独特视角(例如，被定位为捕获产品408的倒角边缘418的独特视角)。

边缘装置410-1、410-2、410-3……410-n使用诸如图3捕获装置312等至少一个捕获装置捕获产品408的独特视角。在一些实施方式中，诸如照相机、深度照相机、摄像机、三维照相机等第一类型的捕获装置被用来识别诸如表面缺陷等第一类型的产品缺陷。诸如红外照相机、X射线照相机等第二类型的捕获装置被用来识别诸如内部缺陷等第二类型的产品缺陷。在一些实施方式中，各边缘装置包括一个或多于一个第一类型的捕获装置，或者一个或多于一个第二类型的捕获装置。或者，在一些实施方式中，各边缘装置包括第一类型的捕获装置以及第二类型的捕获装置。在一些实施方式中，第一组边缘装置包括一种类型的捕获装置，第二组边缘装置包括另一种类型的捕获装置。

边缘装置410-1、410-2、410-3……410-n的处理能力远小于服务器系统200(图2)的处理能力。所以，在一些实施方式中，边缘装置410-1、410-2、410-3……410-n将在检查产品408时收集的数据发送到服务器系统，以利用服务器系统的处理能力。在一些实施方式中，在识别出产品缺陷或其它不规则性之后，边缘装置410-1、410-2、410-3……410-n每隔预定时间间隔将数据发送到服务器系统。在一些示例中，一个或多于一个边缘装置使用分类模型来识别产品缺陷(例如，所述产品缺陷是分类模型中包括的已识别产品缺陷之一)。在另一些示例中，一个或多于一个边缘装置识别出一些不规则性(即潜在的产品缺陷)。所述不规则性不是分类模型中包括的已识别产品缺陷之一。

服务器系统处理从边缘装置410-1、410-2、410-3……410-n接收的数据，以潜在地记录并报告产品缺陷。在一些实施方式中，在处理所述数据时，服务器系统分析从边缘装置410-1、410-2、410-3……410-n接收的产品的各独特视角。或者，在一些实施方式中，服务器系统通过合并由各边缘装置410-1、410-2、410-3……410-n捕获的产品的各独特视角来生成产品的整体视图。生成整体视图包括创造产品的二维模型或三维模型。此后，服务器系统将整体视图(或各独特视角)与参考产品进行比较，以识别一个或多于一个产品缺陷。在一些实施方式中，该比较涉及将在产品的整体视图中可识别的各结果特征与参考产品的特征进行比较。替换地或附加地，该比较涉及将在整体视图中可识别的各结果特征与参考产品的计算机模型进行比较。以下参照方法800进一步详细描述通过服务器系统识别产品缺陷。

在产品缺陷不是分类模型中包括的已识别产品缺陷之一的示例中，服务器系统对分类模型进行更新以包括所述产品缺陷，并将更新后的分类模型发送到边缘装置410-1、410-2、410-3……410-n。以下参考方法800进一步详细描述服务器系统对分类模型的更新。

在从服务器系统接收到更新的分类模型之后，边缘装置410-1、410-2、410-3……410-n继续检查产品(例如，边缘装置将检查产品406和其它后续产品)。边缘装置410-1、410-2、410-3……410-n将各独特视角与从服务器系统接收的更新的分类模型进行比较。这样，生产线400实施机器学习，允许边缘装置动态地识别并解决(account for)产品缺陷(例如，标记有缺陷的产品，以免其进入商品市场)。

在一些实施方式中，至少一个边缘装置420位于操作404之前。在一些实施方式中，所述至少一个边缘装置420完成与边缘装置410-1、410-2、410-3……410-n相同的功能。例如，所述至少一个边缘装置使用至少一个捕获装置来捕获产品406的独特视角。在一些实施方式中，所述至少一个边缘装置420将在检查产品406时收集的数据发送到服务器系统。服务器系统以与上述处理从边缘装置410-1、410-2、410-3……410-n接收的数据相同的方式处理从所述至少一个边缘装置420接收的数据。

尽管未示出，但是各边缘装置410-1、410-2、410-3……410-n由支撑装置进行支撑，或以某种其它方式进行安装。为了便于说明，已移除了这些支架或安装部。

图5是根据一些实施方式的多个边缘装置在包括操作者的生产线500上的示例性布置。

生产线500包括操作者。在这种情况下，操作者是机器人502。但是，在一些实施方式中，操作者是人类操作者。机器人502被配置(即编程)为完成对产品(例如产品504)的操作。为了完成该操作，机器人502执行存储在机器人的存储器中的程序。该程序使机器人以预定义手势序列完成该操作。机器人502在诸如图7坐标系统701等预定义的三维空间中操作。本文中，称机器人502(或人类操作者)在三维空间中的移动为手势序列。在一些实施方式中，手势序列是指机器人502的整体移动。或者，在一些实施方式中，手势序列是指诸如机器人502的具体关节或具体部分等机器人502的部分的移动。

理想地，机器人502的手势序列与预定义手势序列匹配。然而，由于各种原因，机器人502的手势序列随着时间而偏离预定义手势序列。偏离预定义手势序列可能会导致产品缺陷。边缘装置可以用于识别与预定义手势序列之间的偏离。边缘装置收集的数据可以进一步用于重新校准机器人502。

生产线500包括第一组边缘装置504-1、504-2、504-3……504-n。第一组504-1、504-2、504-3……504-n各为边缘装置300(图3)的实例。第一组边缘装置504-1、504-2、504-3……504-n检查生产线500上的产品(例如，检查产品505中的产品缺陷)，并分析在检查期间收集的数据。为此，第一组边缘装置504-1、504-2、504-3……504-n分别捕获产品505的独特视角，然后如以上参考图4A至图4D所述，将各自的独特视角与从服务器系统接收的分类模型进行比较。在此实例中，从服务器系统接收的分类模型对应于由机器人502完成的一个或多于一个操作(例如，机器人502在产品505上添加通孔507-A、507-B)。

生产线500包括第二组边缘装置506-1、506-2……506-n。第二组边缘装置506-1、506-2……506-n分别是边缘装置300(图3)的实例。第二组边缘装置506-1、506-2……506-n检查诸如机器人502等生产线500的操作者(例如，检查机器人502的移动或人类操作者/工人的移动)，并分析检查期间收集的数据。第二组边缘装置506-1、506-2……506-n分别使用诸如图3捕获装置312等至少一个捕获装置来检查操作者。在一些实施方式中，第一组边缘装置504-1、504-2、504-3……504-n以及第二组边缘装置506-1、506-2……506-n使用相同的捕获装置。或者，在一些实施方式中，第一组边缘装置504-1、504-2、504-3……504-n与第二组边缘装置506-1、506-2……506-n使用至少一不同的捕获装置。

由第二组边缘装置506-1、506-2……506-n收集的数据用于识别导致产品缺陷的根本原因。如上所述，第一组边缘装置504-1、504-2、504-3……504-n识别产品缺陷(或服务器系统200识别产品缺陷)。在一些实施方式中，产品缺陷的识别触发第二组边缘装置506-1、506-2……506-n检查机器人502最近的手势序列(或机器人502的多个在先手势序列)，以确定是否是机器人502造成了所述产品缺陷。或者，在一些实施方式中，默认由第二组边缘装置506-1、506-2……506-n检查机器人502最近的手势序列(或多个在先手势序列)。

在一些实施方式中，服务器系统向各边缘装置提供由机器人502完成的操作的预定义手势序列。在一些实施方式中，预定义手势序列是从多个独特视角拍摄的机器人502完成操作的一系列图像或视频(例如，质量工程师从不同角度记录机器人502成功完成操作)。在一些实施方式中，使用第二组边缘装置506-1、506-2……506-n来捕获预定义手势序列。或者，在一些实施方式中，预定义手势序列是计算机程，所述计算机程对机器人502完成操作进行模拟。如下所述，第二组边缘装置506-1、506-2……506-n使用从服务器系统接收的预定义手势序列来确定机器人502是否造成了产品缺陷。

为了检查机器人502的移动，第二组506-1、506-2……506-n分别从独特视角捕获机器人502完成操作的手势序列。例如，第二组边缘装置中的第一边缘装置506-1捕捉机器人502的诸如图6A所示沿线A拍摄的前视角等手势序列。第二组边缘装置中的第二边缘装置506-2捕捉机器人502的诸如图6B所示沿线B拍摄的俯视角等第二手势序列。等等。在一些实施方式中，捕获机器人502的手势序列包括捕获机器人502完成操作的多个图像(或记录机器人完成操作的视频)。随后，第二组边缘装置506-1、506-2……506-n分别将各自的手势序列与从服务器系统接收的预定义手势序列进行比较，例如将其捕获的图像序列与预定义手势序列的图像序列(或计算机程序)进行比较。

在一些实施方式中，代替由第二组边缘装置506-1、506-2……506-n完成比较，第二组边缘装置506-1、506-2……506-n将数据(例如捕获的手势序列)发送到服务器系统，由服务器系统完成比较。

在一些实施方式中，预定义手势序列包括针对具体关键帧的诸如编程位置等机器人502的期望位置。“关键帧”是指诸如机器人502接触产品408的时间点、机器人502接触要添加到产品408的组成部分的时间点等由机器人502完成的操作的关键时刻。在一些实施方式中，预定义手势序列包括多个关键帧。例如，在诸如第一关键帧等操作过程中的时间点，诸如用于钻通通孔507-A、507-B的钻头等机器人502的工具的期望位置是诸如x坐标、y坐标、z坐标等第一组坐标，机器人502的肘关节的期望位置是第二组坐标。

在一些实施方式中，各第二组边缘装置506-1、506-2……506-n或服务器系统将机器人502的手势序列中的一个或多于一个实际位置与预定义手势序列中包括的具体关键帧的、机器人502的一个或多于一个对应期望位置进行比较。例如，图6A是由第一边缘装置506-1捕获的机器人502的手势序列的第一图像600，其表明诸如机器人502的不同部分的实际位置等机器人502在X-Y平面中的实际位置602-1至602-4。第一边缘装置506-1可以将机器人502的实际位置602-1至602-4与预定义手势序列中包括的具体关键帧的机器人502的对应期望位置进行比较。为此，第一边缘装置506-1确定实际位置602-1至602-4与诸如编程位置等机器人502的期望位置之间的诸如坐标差异等差异。

类似地，图6B是由第二边缘装置506-2捕获的机器人502的手势序列的第二图像610，其表明机器人502在Z-X平面中的实际位置612-1至612-7。第一图像以及第二图像是同时捕获的。第二边缘装置506-2可以将机器人502的实际位置612-1至612-7与具体关键帧的机器人502的对应期望位置进行比较。为此，第二边缘装置506-2确定实际位置612-1至612-7与预定义手势序列中包括的诸如编程位置等期望位置之间的诸如坐标差异等差异。

在一些实施方式中，由服务器系统而不是边缘装置来对机器人502的实际位置与具体关键帧的机器人502的对应期望位置进行比较。

在一些实施方式中，服务器系统(或指定的边缘装置)结合手势序列(或来自手势序列的具体图像)以创造机器人502的移动的三维模型。例如，第一边缘装置506-1捕获的手势序列的第一图像600是X-Y平面中的二维图像，第二边缘装置506-2捕获的手势序列的第二图像610是Z-X平面中的二维图像。因此，将第一图像600以及第二图像610进行结合(例如合并)，以创造至少针对具体关键帧的三维模型(诸如Z-Y平面或其它平面中的一个或多于一个二维图像等由第二组边缘装置中的其它边缘装置捕获的附加图像也可以用于创造所述三维模型)。由服务器系统(或指定的边缘装置)生成的示例性三维模型如图7所示。

图7示出了根据一些实施方式的操作者在一段时间内的移动的示例性三维模型700。如上所述，服务器系统使用由边缘装置捕获并从边缘装置接收的图像(或视频)来创造三维模型700。三维模型700包括坐标系701(例如，机器人502在坐标系701内进行操作)，所述坐标系包括诸如预定义手势序列的期望位置等操作者完成操作的诸如编程位置等期望位置，以及诸如图5由机器人502的工具(或某些其它部分)在三个不同的位置捕获的诸如从多个捕获的手势序列推导得出的位置等操作者完成操作的实际位置。

在一些实施方式中，坐标系701被视为在诸如第一关键帧等操作的第一部分的第一时间具有第一期望位置702-1，在诸如第二关键帧等操作的第二部分的第二时间具有第二期望位置702-2，在诸如第三关键帧等操作的第三部分的第三时间具有第三期望位置702-3。另外，坐标系701包括操作的第一部分的第一时间的第一实际位置704-1、操作的第二部分的第二时间的第二实际位置704-2以及操作的第三部分的第三时间的第三实际位置704-3。

或者，在一些实施方式中，坐标系701被视为具有第一时间的诸如肩关节等操作者的第一部分的期望位置702-1、第一时间的诸如肘关节等操作者的第二部分的期望位置702-2、第一时间的诸如工具等操作者的第三部分的期望位置702-3以及第一时间的操作者的第一部分、第二部分以及第三部分的对应实际位置。换句话说，该视图示出了在单个关键帧期间操作者的多个关节/部分。

如以上在图5以及图6A至图6B中所述，使用由边缘装置捕获的手势序列来确定操作者的第一实际位置、第二实际位置和第三实际位置。在一些实施方式中，期望位置和实际位置分别包括诸如x轴方向分量、y轴方向分量、z轴方向分量等坐标系701的坐标集。

在一些实施方式中，服务器系统或边缘装置之一确定期望位置与实际位置之间的距离(Distance)。这是通过确定实际位置与对应期望位置的诸如x轴方向分量、y轴方向分量、z轴方向分量等各方向分量之间的差异来实现的。在一些实施方式中，根据以下公式确定实际位置与对应期望位置之间的距离：

其中，是诸如肘关节等操作者的第i部分的期望位置的x坐标值，是操作者的第i部分的实际位置的x坐标值，等等。这样，例如，将期望位置702-3和实际位置704-3的x、y、z坐标值输入到上式中，来确定期望位置702-3与实际位置704-3之间的距离D。

在一些实施方式中，服务器系统将各确定的距离与一个或多于一个阈值进行比较。一旦确定实际位置与对应期望位置之间的距离满足所述一个或多于一个阈值之一，服务器系统就把诸如手势序列等操作者的行为记录告为异常。注意，在一些实施方式中，在如以上参考图4A至图4D所述识别产品缺陷之后，服务器系统或边缘装置之一确定操作者的期望位置与实际位置之间的距离。目的是确定操作者是否造成了识别出的产品缺陷。

在一些实施方式中，服务器系统或各边缘装置对操作者的手势序列应用动态时间规整(dynamic time wrapping，DTW)过程。DTW过程是一种时序分析工具，用于通过计算具有某些限制的诸如时序等两个给定序列之间的最佳匹配，来测量可能在时域中变化的两个时间序列之间的相似性。在时间维度上对所述序列进行非线性“扭曲”(warped)，以便独立于时间维度上的某些非线性变化地确定所述序列的相似性的度量。这种序列对齐方法经常用于时序分类中。在一些实施方式中，除了两个序列之间的相似性度量之外，还通过根据所谓的“扭曲路径”进行扭曲来产生该路径，两个信号可以在时间上对齐，使得具有原始(original)点集X(original)、Y(original)的信号转换为X(warped)、Y(original)。例如，DTW过程可以对预定义手势序列与操作者的手势序列之间的时间差异进行归一化。这对于人类操作者的情况尤其有用。例如，当涉及人类操作者时，预定义手势序列可以基于第一人类操作者的行动(例如，一个或多于一个边缘装置可以记录第一人类操作者完成操作的行动/移动，以便创造操作的预定义手势序列)。此外，操作者的手势序列可以是第二人类操作者的手势序列，该第二人类操作者以与第一人类操作者不同的步调工作(即预定义手势序列与第二人类操作者的手势序列之间存在时间差异)。因此，DTW过程对该时间差异进行归一化。这样，操作者的实际位置可以与预定义手势序列中包括的具体关键帧的期望位置对齐。这样，可以精确地确定期望位置与实际位置之间的距离。在某些示例中，如果未对时间差异进行归一化，则服务器系统无法将实际位置与具体关键帧的对应期望位置对齐。

在一些实施方式中，根据以下公式使用DTW过程确定实际位置与对应期望位置之间的距离：

其中，k是诸如用于各种操作者的模板等模板的索引，N是诸如用于具体操作者的模板(即具体操作者的预定义手势序列)等模板号码，F是诸如具体操作者的骨骼等骨骼的帧号，具体操作者的骨骼包括诸如关节、工具等具体操作者的多个部位，I是骨骼的部分的号码，dis(i,f)是诸如具体操作者的多个部位之一等部分i的期望位置与诸如关键帧f等帧号f的部分i的实际位置之间的距离。dis(i,f)可用以下公式表示：

其中，是帧号f的部分i的期望位置的x坐标值，是帧号f的部分i的实际位置的x坐标值，等等。

在某些实施方式中，一旦确定关键帧f的期望位置与实际位置之间的距离满足阈值，服务器系统或边缘装置将操作者的行为记录并报告为异常。为此，操作者被报告为导致产品缺陷的候选者。例如，如图7所示，第三实际位置704-3与第三期望位置702-3之间的距离D满足阈值。这样，操作者被报告为至少在手势序列的第三实际位置704-3具有异常行为。

因此，服务器系统可以采取适当的行动以防止所述异常行为将来再次发生。例如，当操作者是机器人时，服务器系统对定义机器人的手势序列的程序进行更新。在另一个实例中，当操作者是人类操作者时，服务器系统会向该人类操作者提供强调该人类操作者的异常行为的报告。该人类操作者于是可以基于报告中包括的信息来调整其将来的行为。以下参考方法800进一步详细讨论记录并报告操作者。

在一些实施方式中，DTW过程包括对关键帧之间的诸如实际矢量等捕获矢量与模板矢量进行比较。例如，该DTW过程涉及确定期望位置702-1、702-1之间的模板矢量，以及确定实际位置704-1、704-2之间的捕获矢量。所述矢量确定之后，服务器系统将模板矢量与捕获矢量进行比较，并识别所述矢量之间的差异(如果有的话)。在一些实施方式中，根据以下公式使用DTW过程确定模板矢量：

其中，Vtemplate,i是帧f与帧f+1之间的诸如肘关节等关节i的模板矢量。根据类似的方程式确定捕获矢量Vcaptured,i。所述模板矢量和所述捕获矢量确定后，使用以下公式确定所述两个矢量之间的距离：

其中，k是模板索引，N是模板号码，F是骨骼帧号，I是骨骼的部分的号码，dis(Vtemplate,i,Vcaptured,i)是帧f与帧f+1之间的诸如肘关节等关节i的模板矢量与帧f与帧f+1之间的诸如肘关节等关节i的捕获矢量之间的距离。在一些实施方式中，将用于确定模板矢量以及捕获矢量的坐标系进行挪动，使其中心平移到人或机器人的腹部关节。作为DTW过程的一部分，该步骤可以提高DTW过程比较两个矢量的相似性的准确度。

在一些实施方式中，一旦如上所述确定模板矢量与捕获矢量之间的距离满足阈值，服务器系统或边缘装置之一将操作者的行为记录并报告为异常。

在一些实施方式中，为人类操作者设置的阈值比为机器人设置的阈值更宽容。换句话说，当涉及人类操作者时，允许实际位置与对应期望位置(或矢量)之间的诸如距离D等距离更大。可以将上述等式存储在诸如图2数据库220等服务器系统的存储器中。可以将上述等式存储在诸如图3数据库326等各边缘装置的存储器中。

图8是根据一些实施方式的用于改进生产线上质量检查的方法800的流程图。方法800的步骤可以由诸如图1服务器系统104、图2服务器系统200等服务器系统执行。图8对应于存储在诸如服务器系统200的存储器206等计算机可读存储介质或计算机存储器中的指令。例如，方法800的操作至少部分地由诸如图2通信模块212等通信模块、诸如图2生成模块214等生成模块、诸如图2分析模块216等分析模块以及诸如图2报告模块218等报告模块执行。在一些实施方式中，方法800的步骤可以由诸如图1边缘装置102-1、102-2……102-n、图2边缘装置300等一个或多于一个边缘装置以及服务器系统的任意组合来执行。另外，在一些实施方式中，方法800的一个或多于一个步骤可由一个或多于一个边缘装置执行。

在执行方法800时，服务器系统从诸如图1边缘装置102-1、102-2……102-n等多个边缘装置接收(802)数据。所述多个边缘装置监控诸如图4A生产线400等生产线上的诸如图4A第二产品408等产品的产品缺陷。数据包括诸如图4B至图4D独特视角430、440、450等由多个边缘装置捕获的产品的独特视角。多个边缘装置分别被定位为目检产品的各部分(或多个部分)。在一些实施方式中，一个或多于一个独特视角至少部分重叠。这样，边缘装置可以共同捕获产品的全面视图。

在一些实施方式中，从多个边缘装置接收的数据包括由多个边缘装置分别捕获的产品的各独特视角的诸如jpeg等一个或多于一个图像。替换地或附加地，在一些实施方式中，从多个边缘装置接收的数据包括由多个边缘装置分别捕获的产品的各独特视角的诸如mpeg等一个或多于一个视频或其它一些基于视觉的数据文件。在一些实施方式中，由多个边缘装置捕获的数据由多个边缘装置同时捕获(例如，各边缘装置在第一时间捕获第一图像，在第二时间捕获第二图像，等等)。

在一些实施方式中，多个边缘装置监控诸如划痕、污点、可见裂纹、磨损、腐蚀、碎片、操作缺陷(例如与由操作创造的特征或特点相关的缺陷，比如与图4A倒角边缘418相关的缺陷)等产品的表面(即视觉)缺陷。为了监控产品的表面缺陷，多个边缘装置分别使用诸如图3捕获装置312等至少一个捕获装置来收集数据。对于表面缺陷，捕获装置可以是照相机、深度照相机、诸如立体视觉照相机等三维照相机、摄像机等中的一个或多于一个。

替换地或附加地，在一些实施方式中，多个边缘装置监控诸如内部开裂、壁厚的变化、热点、内部组成部分的放置等产品的内部(即不可见)缺陷。为了监控产品的内部缺陷，多个边缘装置分别使用诸如图3捕获装置312等至少一个捕获装置来收集数据。对于内部缺陷，捕获装置可以是X射线照相机、红外照相机等中的一个或多于一个。

服务器系统通过合并由多个边缘装置分别捕获的产品的各独特视角来生成(804)产品的整体视图。在从多个边缘装置接收的数据包括产品的各独特视角的图像时，合并产品的各独特视角包括：根据多个边缘装置的各物理位置对多个边缘装置捕获的至少部分图像进行合并，以生成整体视图。例如，如果第一边缘装置位于第二边缘装置的左侧(即西边)，则服务器系统将第一边缘装置捕获的第一独特视角的第一图像的右边缘与第二边缘装置捕获的第二独特视角的第二图像的左边缘进行合并。对各边缘装置重复该过程，以创造产品的二维模型或三维模型。在一些实施方式中，服务器系统使用由各边缘装置的位置检测装置310(图3)捕获的位置数据来确定该边缘装置的位置。在一些实施方式中，服务器系统使用接收到的数据中包括的各边缘装置的标识符来确定该边缘装置的位置(例如，该标识符对应于存储在图2存储器206中的位置表中的位置)。

替换地或附加地，在一些实施方式中，服务器系统基于数据的内容对独特视角进行合并。例如，服务器系统可以确定第一图像的左侧部分类似于第二图像的右侧部分。基于该确定，服务器系统将第一图像的左侧部分与第二图像的右侧部分进行合并。对各接收到的图像重复此过程，以创造产品的二维模型或三维模型(过程例如类似于创造全景图像)。

服务器系统将整体视图与产品的诸如特点等一个或多于一个特征进行比较(806)。产品的一个或多于一个特性是对产品完成操作的预期结果。例如，参考图4A，操作404对产品408的边缘418进行倒角。这样，产品408的一个或多于一个特征(至少是由操作404产生的那些特征)包括产品408的倒角边缘418(例如，四个边缘分别被倒角，所述一个或多于一个特征对应于四个倒角边缘的具体维度)。在另一实例中，产品408的一个或多于一个特征包括没有诸如划痕、污点等表面缺陷的表面。在一些实施方式中，所述一个或多于一个特征是模板特征或参考特征。在一些实施方式中，模板特征是在初始配准(registration)过程期间创造的(例如，质量工程师配准倒角边缘418的维度以及产品408的其它图像)。或者，在一些实施方式中，模板特征是产品的设计规范。

在一些实施方式中，将整体视图与产品的一个或多于一个特征进行比较包括从整体视图中提取产品的特点，并将所提取的特征与产品的一个或多于一个特征中的至少一个具体特征进行比较。

接下来，服务器系统基于所述比较来确定(808)整体视图与一个或多于一个特征之间的差异程度是否满足一个或多于一个标准。所述一个或多于一个标准对应于诸如产品的设计规范以及相关公差等操作的预期结果。例如，所述一个或多于一个标准分别涉及第一特点以及第一特点的公差(例如，钻孔直径为1厘米，正负1毫米)。

在一些实施方式中，在确定整体视图与一个或多于一个特征之间的差异程度不满足一个或多于一个标准中的至少一个标准时(808，否)，服务器系统将产品记录并报告为合格(810)(例如，产品通过质量控制)。这样做时，产品要么在生产线上继续(例如接受额外的操作)，要么被从生产线上移除并准备进行投递/运送。

在一些实施方式中，在确定整体视图与一个或多于一个特征之间的差异程度满足一个或多于一个标准中的至少一个标准时(808，是)，服务器系统根据整体视图与一个或多于一个特征之间的差异记录并报告(812)与产品相关的缺陷。

在一些实施方式中，服务器系统至少部分地基于(i)从多个边缘装置接收的数据以及(ii)至少一个标准，对与产品相关的缺陷进行分类。所述至少一个标准可以是由生产线的操作创造的特征的模板维度。例如，参考图4A，所述至少一个标准可以要求倒角边缘418的角度为45度，正负1度。因此，一旦确定倒角边缘418具有诸如图4B第一部分432的角度β等47度角时，则满足所述至少一个标准。基于所述分类，服务器系统识别造成缺陷的生产线的至少一项操作(例如，识别出是操作404造成了倒角边缘418的不规则角度)。在一些实施方式中，所述至少一个标准与一些其它类型的缺陷有关(例如，面A没有划痕或者面A侧壁厚度一致)。

在一些实施方式中，服务器系统向多个边缘装置分别提供分类模型，用于监控生产线上的产品的产品缺陷。分类模型可以包括与产品相关的一个或多于一个已识别缺陷。在一些实施方式中，分类模型包括模板产品/参考产品的模板图像/参考图像。例如，诸如质量工程师等操作者可以配准已经通过质量控制的产品的模板图像/参考图像。模板图像/参考图像可以包括一个或多于一个特征，包括具有维度和相关公差的那些特征。

此外，在一些实施方式中，在记录并报告缺陷之后，服务器系统(i)更新分类模型，以将缺陷包括为与产品相关的一个或多于一个已识别缺陷的一部分，以及(ii)向多个边缘装置提供更新的分类模型。如以上参考图4A至图4D所述，多个边缘装置分别使用更新的分类模型来监控生产线上的产品(以及后续产品)的产品缺陷。

在一些实施方式中，多个边缘装置分别将各自的独特视角与从服务器系统接收的分类模型进行比较。在某些示例中，这涉及将各自的独特视角的图像与分类模型中包括的模板图像/参考图像进行比较。模板图像对应于各独特视角(例如，边缘装置测量各自的独特视角中包括的特点并将这些测量数据与模板图像中包括的维度进行比较)。在一些实施方式中，各边缘装置在要提交给服务器系统的数据中包括对应的比较结果。

在一些实施方式中，多个边缘装置中的至少一个边缘装置识别出产品缺陷，该产品缺陷不是分类模型中包括的与产品相关的一个或多于一个已识别缺陷之一。在一些实施方式中，对不是分类模型中包括的与产品相关的一个或多于一个已识别缺陷之一的产品缺陷的识别触发对生产线的一个或多于一个操作者的检查。

在一些实施方式中，从多个边缘装置接收的数据对应一段时间。例如，数据可以包括对应一段时间的图像序列。另外，生产线包括诸如图4A操作404等至少一项操作。在这种情况下，数据进一步包括与至少一项操作相关的操作者的手势序列，所述手势序列由多个边缘装置中的至少一个边缘装置在一段时间内捕获。以上参考图5更详细地描述了捕获操作者的手势序列。

此外，在一些实施方式中，服务器系统将操作者的手势序列与对应于操作者的预定义手势序列进行比较。基于所述比较，服务器系统确定操作者的手势序列与预定义手势序列之间的差异程度是否满足阈值。此外，在确定操作者的手势序列与预定义手势序列之间的差异程度满足阈值时，服务器系统将操作者记录并报告为与缺陷相关。或者，在确定操作者的手势序列与预定义手势序列之间的差异程度不满足阈值时，服务器系统将操作者记录并报告为与缺陷不相关。服务器系统随后可以将不同操作者的手势序列与和所述不同操作者相关的预定义手势序列进行比较。重复该过程，直到识别出与缺陷相关的操作者为止(即重复到发现导致缺陷的原因为止)。

在一些实施方式中，与至少一项操作相关的操作者是诸如图5机器人502等机器人。在这种情况下，记录并报告操作者包括：更新对机器人的手势序列进行定义的程序。替换地或附加地，在一些实施方式中，记录并报告操作者包括重置机器人。

在一些实施方式中，更新修改手势序列的具体部分，例如，与具体关节/部分以及/或者一个或多于一个具体移动相关的手势序列，而手势序列的其它部分保持不变。此外，在一些实施方式中，至少部分地基于操作者的手势序列与预定义手势序列之间的差异程度来更新要提供给机器人的更新程序。或者，在一些实施方式中，至少部分地基于操作者的手势序列的一部分与预定义手势序列的对应部分之间的差异程度来更新要提供给机器人的更新程序。以上参考图7更详细地讨论了确定手势序列与预定义手势序列之间的差异。

在一些实施方式中，与至少一项操作相关的操作者是人类操作者。在这种情况下，记录并报告操作者包括向人类操作者(或者可能是人类操作者的主管)提供报告。这样，将人类操作者的错误通知给人类操作者，从而使得人类操作者能够调整其将来的行动，以免再出现产品缺陷。另外，在一些实施方式中，报告包括从多个边缘装置中的至少一个边缘装置接收的数据的部分。例如，报告可以包括人类操作者工作的一张或多于一张图像以及/或者产品缺陷的一张或多于一张图像。这样，进一步将人类操作者的错误通知给人类操作者。

在一些实施方式中，在将操作者的手势序列与对应于操作者的预定义手势序列进行比较之前，服务器系统对操作者的手势序列应用动态时间规整(DTW)过程。DTW过程是一种时序分析工具，用于通过计算具有某些限制的诸如时序等两个给定序列之间的最佳匹配，来测量可能在时域中变化的两个时间序列之间的相似性。在时间维度上对所述序列进行非线性“扭曲”，以便独立于时间维度上的某些非线性变化地确定所述序列的相似性的度量。这种序列对齐方法经常用于时序分类中。在一些实施方式中，除了两个序列之间的相似性度量之外，还通过根据所谓的“扭曲路径”进行扭曲来产生该路径，两个信号可以在时间上对齐，使得具有原始点集X(original)、Y(original)的信号转换为X(warped)、Y(original)。例如，DTW过程可以对预定义手势序列与操作者的手势序列之间的时间差异进行归一化，以改善其准确度。这对于人类操作者的情况尤其有用(注意DTW过程同样可以应用于机器人操作者)。例如，预定义手势序列可以基于第一人类操作者的行动(例如，一个或多于一个边缘装置可以记录第一人类操作者完成操作的行动/移动，以便创造操作的预定义手势序列)。提供给服务器系统的数据中包括的手势序列可以是第二人类操作者的手势序列，该第二人类操作者以与第一人类操作者不同的步调工作(即预定义手势序列与第二人类操作者的手势序列之间存在时间差异)。因此，DTW过程对该时间差异进行归一化。以上参考图7进一步详细讨论了使用DTW过程对时间差异进行归一化。

在一些实施方式中，基于归一化时间差异确定操作者的手势序列与预定义手势序列之间的差异程度。

在一些实施方式中，整体视图是操作后整体视图。从多个边缘装置接收的数据包括：(i)在操作前由多个边缘装置中的第一组边缘装置捕获的产品的各独特视角的第一图像序列；以及(ii)在操作后由多个边缘装置中的第二组边缘装置捕获的产品的各独特视角的第二图像序列。例如，参考图4A，所述至少一个边缘装置420被定位在操作404之前，并捕获第二产品408的第一图像序列。另外，定位在操作404后的第二组边缘装置410-1、410-2、410-3……410-n捕获第二产品408的第二图像序列。

接下来，在一些实施方式中，服务器系统使用第一图像序列生成产品的操作前整体视图。操作后整体视图则使用第二图像序列生成。在某些示例中，操作前整体视图中捕获了产品的一个或多于一个特征中的至少一个特征。因此，如果缺陷与所述至少一个特征相关，则服务器系统可以排除是操作404导致了产品缺陷(例如，可能是某些在先的操作导致了所述缺陷)。

在一些实施方式中，生产线至少包括第一操作以及第二操作。数据包括：(i)由多个边缘装置中的第一组边缘装置捕获的第一操作后产品的第一独特视角，以及(ii)由多个边缘装置中的第二组边缘装置捕获的第二操作后产品的第二独特视角。在这种情况下，整体视图是在第一操作之后产品的第一独特视角的第一整体视图。该方法进一步包括：通过合并由第二组边缘装置捕获的产品的各第二独特视角来生成产品的第二整体视角。同样，如果产品缺陷出现在第一整体视图中，则服务器系统可以排除是第二操作导致了产品缺陷。

尽管各种附图中的一些附图以具体顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且可以对其它阶段进行组合或分解。尽管具体提到了一些重新排序或其它分组，但本领域普通技术人员将容易想到其它的排序和分组，因此，本文呈现的排序和分组并非详尽的替代列表。此外，应当认识到，所述阶段可以实现为硬件、固件、软件或其任意组合。

以上出于解释的目的，参考具体实施方式进行了描述。然而，以上例示性讨论并非旨在穷举，或将权利要求的范围限制为所公开的精确形式。以上教导可以有许多修改和变化。选择实施方式是为了最好地解释权利要求及其实际应用所基于的原理，以使本领域的其他技术人员能够适应于所设想的具体用途最佳地使用具有各种修改的实施方式。

Claims (19)

1.一种方法，所述方法由服务器执行，所述方法包括：

从多个边缘装置接收数据，其中，所述多个边缘装置监控生产线上的产品的产品缺陷，所述数据包括由所述多个边缘装置捕获的所述产品的独特视角；

通过合并由各所述多个边缘装置捕获的所述产品的各独特视角来生成所述产品的整体视图，所述整体视图包括产品的三维模型；

将所述整体视图与所述产品的一个或多于一个特征进行比较；

基于所述比较，确定所述整体视图与所述一个或多于一个特征之间的差异程度是否满足一个或多于一个标准；以及

响应于确定结果为所述整体视图与所述一个或多于一个特征之间的所述差异程度满足所述一个或多于一个标准中的至少一个标准，根据所述整体视图与所述一个或多于一个特征之间的差异记录并报告与所述产品相关的缺陷；

向各所述多个边缘装置提供分类模型，用于监控所述生产线上的所述产品的产品缺陷，其中，所述分类模型包括与所述产品相关的一个或多于一个已识别缺陷，所述边缘装置被配置为将所述产品的独特视角与所述分类模型进行比较，并在要提交给所述服务器的所述数据中包括对应的比较结果。

2.根据权利要求1所述的方法，进一步包括：在记录并报告所述缺陷之后，

更新所述分类模型，以将所述缺陷包括为与所述产品相关的所述一个或多于一个已识别缺陷的一部分；以及

向所述多个边缘装置提供所述更新的分类模型，其中，各所述多个边缘装置使用所述更新的分类模型来监控所述生产线上的所述产品的产品缺陷。

3.根据权利要求1所述的方法，其中，

从所述多个边缘装置接收的所述数据对应一段时间；

所述生产线包括对所述产品的至少一项操作；以及

所述数据进一步包括与所述至少一项操作相关的操作者的手势序列，所述手势序列由所述多个边缘装置中的至少一个边缘装置在所述一段时间内捕获。

4.根据权利要求3所述的方法，进一步包括：

将所述操作者的所述手势序列与对应于所述操作者的预定义手势序列进行比较；

基于所述比较，确定所述操作者的所述手势序列与所述预定义手势序列之间的差异程度是否满足阈值；以及

响应于确定结果为所述操作者的所述手势序列与所述预定义手势序列之间的所述差异程度满足所述阈值，将所述操作者记录并报告为与所述缺陷相关。

5.根据权利要求4所述的方法，其中，

与所述至少一项操作相关的所述操作者是机器人；以及

记录并报告所述操作者包括：更新对所述机器人的所述手势序列进行定义的程序。

6.根据权利要求5所述的方法，其中，至少部分地基于所述操作者的所述手势序列与所述预定义手势序列之间的所述差异程度来更新所述程序，并将所述更新的程序提供给所述机器人。

7.根据权利要求5所述的方法，其中，至少部分地基于所述操作者的所述手势序列的一部分与所述预定义手势序列的对应部分之间的差异程度来更新所述程序，并将所述更新的程序提供给所述机器人。

8.根据权利要求4所述的方法，其中，

与所述至少一项操作相关的所述操作者是人类操作者；

记录并报告所述操作者包括：向所述人类操作者提供报告；以及

所述报告包括从所述多个边缘装置接收的所述数据的部分。

9.根据权利要求4所述的方法，进一步包括：

在将所述操作者的所述手势序列与对应于所述操作者的预定义手势序列进行比较之前，对所述操作者的所述手势序列应用动态时间规整过程；

其中，所述动态时间规整过程对所述预定义手势序列与所述操作者的手势序列之间的时间差异进行归一化；以及

基于所述归一化时间差异，确定所述操作者的所述手势序列与所述预定义手势序列之间的所述差异程度。

10.根据权利要求1所述的方法，其中，

从所述多个边缘装置接收的所述数据包括由各所述多个边缘装置捕获的所述产品的各独特视角的图像；以及

合并所述产品的各独特视角包括：根据沿所述生产线的所述边缘装置的各物理位置对各所述多个边缘装置捕获的所述图像中的至少部分图像进行合并，以生成所述整体视图。

11.根据权利要求1所述的方法，其中，

所述整体视图是操作后整体视图；

从所述多个边缘装置接收的所述数据包括：

在操作前由所述多个边缘装置中的第一组边缘装置捕获的所述产品的各独特视角的第一图像序列；以及

在所述操作后由所述多个边缘装置中的第二组边缘装置捕获的所述产品的各独特视角的第二图像序列；

所述方法进一步包括：使用所述第一图像序列生成所述产品的操作前整体视图；

使用所述第二图像序列生成所述操作后整体视图；以及

所述操作前整体视图中捕获了所述产品的所述一个或多于一个特征中的至少部分特征。

12.根据权利要求1所述的方法，进一步包括：

至少部分地基于从所述多个边缘装置接收的所述数据以及所述至少一个标准对与所述产品相关的所述缺陷进行分类；以及

基于所述分类，识别造成所述缺陷的所述生产线的至少一项操作。

13.根据权利要求1所述的方法，其中，

所述生产线至少包括第一操作以及第二操作；

所述数据包括：由所述多个边缘装置中的第一组边缘装置捕获的所述第一操作后所述产品的第一独特视角，以及由所述多个边缘装置中的第二组边缘装置捕获的所述第二操作后所述产品的第二独特视角；

所述整体视图是所述第一操作后所述产品的所述第一独特视角的第一整体视图；以及

所述方法进一步包括：通过合并由所述第二组边缘装置捕获的所述产品的各第二独特视角来生成所述产品的第二整体视图。

14.根据权利要求1所述的方法，其中，所述多个边缘装置包括照相机、红外照相机、X射线照相机、深度照相机中的至少一项。

15.一种服务器系统，包括：

一个或多于一个处理器；以及

存储器，所述存储器存储有供所述一个或多于一个处理器执行的一个或多于一个程序，所述一个或多于一个程序包括的指令用于：

从多个边缘装置接收数据，其中，所述多个边缘装置监控生产线上的产品的产品缺陷，所述数据包括由所述多个边缘装置捕获的所述产品的独特视角；

通过合并由各所述多个边缘装置捕获的所述产品的各独特视角来生成所述产品的整体视图，所述整体视图包括产品的三维模型；

将所述整体视图与所述产品的一个或多于一个特征进行比较；

基于所述比较，确定所述整体视图与所述一个或多于一个特征之间的差异程度是否满足一个或多于一个标准；以及

响应于确定结果为所述整体视图与所述一个或多于一个特征之间的所述差异程度满足所述一个或多于一个标准中的至少一个标准，根据所述整体视图与所述一个或多于一个特征之间的差异记录并报告与所述产品相关的缺陷；

向各所述多个边缘装置提供分类模型，用于监控所述生产线上的所述产品的产品缺陷，其中，所述分类模型包括与所述产品相关的一个或多于一个已识别缺陷，所述边缘装置被配置为将所述产品的独特视角与所述分类模型进行比较，并在要提交给所述服务器的所述数据中包括对应的比较结果。

16.根据权利要求15所述的服务器系统，其中，

从所述多个边缘装置接收的所述数据对应一段时间；

所述生产线包括对所述产品的至少一项操作；以及

所述数据进一步包括与所述至少一项操作相关的操作者的手势序列，所述手势序列由所述多个边缘装置中的至少一个边缘装置在所述一段时间内捕获。

17.根据权利要求16所述的服务器系统，其中，所述一个或多于一个程序包括的指令进一步用于：

将所述操作者的所述手势序列与对应于所述操作者的预定义手势序列进行比较；

基于所述比较，确定所述操作者的所述手势序列与所述预定义手势序列之间的差异程度是否满足阈值；以及

响应于确定结果为所述操作者的所述手势序列与所述预定义手势序列之间的所述差异程度满足所述阈值，将所述操作者记录并报告为与所述缺陷相关。

18.根据权利要求17所述的服务器系统，其中，

与所述至少一项操作相关的所述操作者是机器人；以及

记录并报告所述操作者包括：更新对所述机器人的所述手势序列进行定义的程序。

19.一种非易失性计算机可读存储介质，存储有供服务器系统的一个或多于一个处理器执行的一个或多于一个程序，所述一个或多于一个程序包括指令；当由所述一个或多于一个处理器执行时，所述指令使得所述服务器系统：

从多个边缘装置接收数据，其中，所述多个边缘装置监控生产线上的产品的产品缺陷，所述数据包括由所述多个边缘装置捕获的所述产品的独特视角；

通过合并由各所述多个边缘装置捕获的所述产品的各独特视角来生成所述产品的整体视图，所述整体视图包括产品的三维模型；

将所述整体视图与所述产品的一个或多于一个特征进行比较；

基于所述比较，确定所述整体视图与所述一个或多于一个特征之间的差异程度是否满足一个或多于一个标准；以及

响应于确定结果为所述整体视图与所述一个或多于一个特征之间的所述差异程度满足所述一个或多于一个标准中的至少一个标准，根据所述整体视图与所述一个或多于一个特征之间的差异记录并报告与所述产品相关的缺陷；

向各所述多个边缘装置提供分类模型，用于监控所述生产线上的所述产品的产品缺陷，其中，所述分类模型包括与所述产品相关的一个或多于一个已识别缺陷，所述边缘装置被配置为将所述产品的独特视角与所述分类模型进行比较，并在要提交给所述服务器的所述数据中包括对应的比较结果。

Images