CN114972180A - 用于预测在装配单元中的缺陷的方法 - Google Patents

用于预测在装配单元中的缺陷的方法 Download PDF

Info

Publication number
CN114972180A
CN114972180A CN202210383846.2A CN202210383846A CN114972180A CN 114972180 A CN114972180 A CN 114972180A CN 202210383846 A CN202210383846 A CN 202210383846A CN 114972180 A CN114972180 A CN 114972180A
Authority
CN
China
Prior art keywords
assembly
vector
inspection
vectors
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210383846.2A
Other languages
English (en)
Inventor
塞缪尔·布鲁斯·韦斯
安娜-卡特里娜·谢德列茨基
西蒙·科兹罗夫
安娜·乌林
米哈伊尔·奥库涅夫
伊萨克·苏金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mecha Industries Inc
Original Assignee
Mecha Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mecha Industries Inc filed Critical Mecha Industries Inc
Publication of CN114972180A publication Critical patent/CN114972180A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及用于预测在装配单元中的缺陷的方法。用于预测制造缺陷的方法的一个变形包括：访问由光学检查站记录的装配单元集合的一组检查图像；对于在该组检查图像中的每个检查图像，检测在检查图像中的特征集合，并生成在多维特征空间中表示该特征集合的向量；将在多维特征空间中的相邻向量分组到向量组集合内；以及响应于接收到指示在该装配单元集合中的与在该向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果，而用缺陷标注第一向量组，并且将与第一向量组中的第二向量相关联的第二装配单元标记为展示缺陷的特性。

Description

用于预测在装配单元中的缺陷的方法
本申请是申请日为2018年4月13日，申请号为201880037260.2，发明名称为“用于预测在装配单元中的缺陷的方法”的申请的分案申请。
相关申请的交叉引用
本申请要求于2017年4月13日提交的美国临时申请第62/485,209号的利益，该临时申请通过此引用被全部并入。
技术领域
本发明总体上涉及光学检查的领域，且更具体地涉及在光学检查的领域中用于预测在装配单元中的缺陷的一种新的和有用的方法。
发明内容
本公开提供以下方面：
1)一种用于预测制造缺陷的方法，所述方法包括：
●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；
●对于在所述一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及
●响应于接收到指示在所述装配单元集合中的与在所述向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果：
○用所述缺陷标注所述第一向量组；以及
○将与所述第一向量组中的第二向量相关联的第二装配单元标记为展示所述缺陷的特性。
2)根据1)所述的方法，其中，检测在所述一组检查图像中的特征集合包括对于在所述一组检查图像中的每个检查图像：
●将所述检查图像分成图像片段集合；
●在所述图像片段集合中选择与和在沿着装配线布置的一组光学检查站中的所述光学检查站相关联的感兴趣的装配单元区域对应的图像片段子集；
●对于在所述图像片段子集中的每个图像片段，从所述图像片段提取特征子集；以及
●将从所述图像片段子集提取的特征子集编译成在所述检查图像中的所述特征集合。
3)根据2)所述的方法：
●其中，访问所述一组检查图像包括从数据库访问所述一组检查图像，所述一组检查图像在第一时间段内由所述光学检查站记录；
●还包括：
○接收在所述第一时间段之后的第二时间由所述光学检查站记录的所述第二装配单元的第二检查图像；
○将所述第二检查图像分成第二图像片段集合；
○在所述第二图像片段集合中选择对应于与所述光学检查站相关联的所述感兴趣的装配单元区域的第二图像片段子集；
○从所述第二图像片段集合中的每个图像片段提取特征子集；
○将从所述第二图像片段子集提取的特征子集编译成在所述第二检查图像中的第二特征集合；以及
○生成在所述多维特征空间中表示所述第二特征集合的所述第二向量；以及
●其中，标记所述第二装配单元包括响应于基于在所述多维特征空间中所述第二向量与所述第一向量的接近度而将所述第二向量与所述第一向量组关联起来，在大约所述第二时间向用户门户提供检查所述第二装配单元以找到所述缺陷的提示。
4)根据3)所述的方法，其中，向所述用户门户提供检查所述第二装配单元的所述提示包括向在与操作员相关联的且在所述第二时间位于所述装配线附近的移动计算设备上执行的所述用户门户提供所述提示。
5)根据1)所述的方法：
●还包括：
○向用户门户提供所述第一装配单元的第一检查图像；以及
○经由所述用户门户接收对在所述第一检查图像中的感兴趣区域的手动选择，在所述第一检查图像中的所述感兴趣区域由用户预测为描绘所述缺陷的源；
●其中，检测在所述一组检查图像中的特征集合包括对于在所述一组检查图像中的每个检查图像：
○将所述感兴趣区域从所述第一检查图像投射到所述检查图像上；以及
○从所述检查图像中的所述感兴趣区域提取所述特征集合；
●其中，将向量分组到向量组内包括基于在所述多维特征空间中与所述第一向量的接近度来将在所述向量集合中的向量分组到所述第一向量组内；以及
●其中，用所述缺陷标注所述第一向量组包括预测在所述装配单元集合中的与所述第一向量组中的向量相关联的装配单元子集中的所述缺陷的存在。
6)根据5)所述的方法，还包括：
●接收包括指示在以前被售出并作为有缺陷的被返回的所述第一装配单元中的所述缺陷的所述第一检查结果；以及
●自动生成所述特定装配类型的序列号的列表，所述序列号的列表对应于在以前被售出的所述装配单元子集中的装配单元。
7)根据5)所述的方法：
●还包括接收包括指示包含美学缺陷的所述缺陷的所述第一检查结果；以及
●其中，标记所述第二装配单元包括：
○将所述感兴趣区域从所述第一检查图像投射到所述第二装配单元的第二检查图像上；
○通过用户门户向用户提供在所述第二检查图像中的所述感兴趣区域；以及
○提示所述用户确认在所述第二检查图像中的所述感兴趣区域中的所述美学缺陷的存在。
8)根据1)所述的方法，其中，标记所述第二装配单元包括：
●基于在所述多维特征空间中对应向量与所述第一向量的接近度来计算在所述装配单元集合中的装配单元中的所述缺陷的概率；
●响应于在所述第二装配单元中的所述缺陷的概率超过在所述装配单元集合中的其他装配单元中的所述缺陷的概率而生成检查所述第二装配单元的提示。
9)根据1)所述的方法：
●其中，将邻近向量分组到所述向量组集合中包括：
○定义将包含所述第一向量和所述第二向量的第一多维体积与包含第三向量的第二多维体积划界的流形；以及
○将在所述第一多维体积内的向量分组到所述第一向量组中；
●其中，针对所述缺陷而标记所述第二装配单元包括生成检查所述第二装配单元以找到所述缺陷的提示；以及
●还包括：
○响应于检查所述第二装配单元的所述提示而接收对在所述第二装配单元中的所述缺陷的缺乏的确认；
○响应于对在所述第二装配单元中的所述缺陷的缺乏的确认，计算描绘包含所述第一向量的第一修正多维体积和包含所述第二向量的第二修正多维体积的修正流形；
○将在所述第一修正多维体积内的向量分组到修正的第一向量组内；以及
○生成检查与在所述修正的第一向量组中的第四向量相关联的第四装配单元以找到所述缺陷的第二提示。
10)一种用于预测制造缺陷的方法，所述方法包括：
●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；
●对于在所述一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及
●用在所述装配单元集合中的与在所述向量组集合中的第一向量组中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注所述第一向量组；
●基于在所述装配单元集合中的与在所述向量组集合中的第二向量组中的向量相关联的第二装配单元子集的检查结果，用所述缺陷的缺乏来标注所述第二向量组；
●识别以在所述第一向量组中的向量表示的并且不同于所述第二向量组中的向量所表示的特征范围的模型集合；以及
●将所述模型特征集合与所述缺陷关联起来。
11)根据10)所述的方法：
●其中，标注所述第一向量组包括：
○选择代表第一向量组的第一向量；
○经由用户门户向用户提供检查在所述装配单元集合中的第一装配单元以找到缺陷的第一提示，所述第一装配单元与所述第一向量相关联；以及
○响应于接收到指示在所述第一装配单元中的所述缺陷的所述第一检查结果而用所述缺陷标注所述第一向量组；以及
●其中，标注所述第二向量组包括：
○选择代表第二向量组的第二向量；
○经由所述用户门户向所述用户提供检查在所述装配单元集合中的第二装配单元以找到缺陷的第二提示，所述第二装配单元与所述第二向量相关联；以及
○响应于接收到不包括在所述第二装配单元中的所述缺陷的指示的所述第二检查结果而用所述缺陷的缺乏来标注所述第二向量组。
12)根据10)所述的方法：
●其中，访问所述一组检查图像包括访问包括在第一时间段内由所述光学检查站记录的数字彩色摄影图像的所述一组检查图像；
●还包括：
○接收在所述第一时间段之后的第二时间由所述光学检查站记录的第二装配单元的第二检查图像；
○检测在所述第二检查图像中的第二特征集合；以及
○响应于所述第二特征集合接近所述模型特征集合，在大约所述第二时间向用户门户提供检查所述第二装配单元的提示，所述用户门户在所述光学检查站附近的计算设备上执行。
13)根据10)所述的方法，还包括：
●识别与在所述装配单元集合中的第三装配单元相关联的第三向量，所述第三向量在所述多维特征空间中位于所述第一向量组和所述第二向量组之间；
●向用户门户提供检查所述第三装配单元以找到所述缺陷的提示；以及
●响应于接收到对在所述第三装配单元中的特定限定的确认：
○更新所述第一向量组以包含所述第三向量；
○识别在所述第一向量组中的向量共有的并且从所述第二向量组中的向量排除的修正的特征集合；以及
○将所述模型特征集合与所述缺陷关联起来。
14)根据10)所述的方法：
●其中，识别所述模型特征集合包括识别在所述第一向量组中的向量共有的并且从所述第二向量组中的向量排除的第一特征和第二特征；以及
●还包括：
○识别表示第三装配单元、包含所述第一特征并且排除所述第二特征的第三向量；
○生成检查所述第三装配单元以找到所述缺陷的提示；以及
○响应于对来自所述第三装配单元的所述缺陷的缺乏的确认，将所述第一特征与所述缺陷解除关联。
15)根据10)所述的方法：
●还包括：
○向用户门户提供第一装配单元的第一检查图像；以及
○经由所述用户门户接收对在所述第一检查图像中的感兴趣区域的手动选择，在所述第一检查图像中的所述感兴趣区域由用户预测为描绘在所述第一装配单元中的所述缺陷的源；
●其中，检测在所述一组检查图像中的特征集合包括对于在所述一组检查图像中的每个检查图像：
○将所述感兴趣区域从所述第一检查图像投射到所述检查图像上；以及
○从在所述检查图像中的所述感兴趣区域提取所述特征集合；
●其中，将向量分组到向量组内包括基于在所述多维特征空间中与所述第一向量的接近度来将在所述向量集合中的向量分组到所述第一向量组内；以及
●还包括：
○预测在与所述第一向量组中的向量相关联的第三装配单元子集中的所述缺陷的存在，所述第三装配单元子集被包含在所述装配单元集合中并且不同于所述第一装配单元子集；以及
○生成检查所述第三装配单元子集以找到所述缺陷的提示。
16)根据10)所述的方法，还包括：
●选择代表所述第一向量组并与在所述装配单元集合中的第一装配单元相关联的第一向量；
●选择代表所述第二向量组并与在所述装配单元集合中的第二装配单元相关联的第二向量；
●检测在所述第一检查图像和所述第二检查图像中的公共参考特征；以及
●在计算设备上执行的用户门户内，在渲染所述第一检查图像和渲染所述第二检查图像之间切换，所述第一检查图像和所述第二检查图像在所述用户门户内通过所述公共参考特征被实质上对准。
17)根据16)所述的方法，其中，在渲染所述第一检查图像和渲染所述第二检查图像之间切换包括在所述用户门户内为从渲染所述第一检查图像到渲染所述第二检查图像的过渡设置动画，所述第二检查图像通过所述公共参考特征在旋转和定向上与所述第一检查图像实质上对准。
18)一种用于预测制造缺陷的方法，所述方法包括：
●访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的所述装配单元集合的一组检查图像；
●对于在所述一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述向量集合中的邻近向量分组到向量组集合内；以及
●用在所述装配单元集合中的与在所述向量组集合中的第一向量组中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注所述第一向量组，所述缺陷对应于所述特定装配类型的特定功能；
●基于在所述装配单元集合中的与在所述向量组集合中的第二向量组中的向量相关联的第二装配单元子集的检查结果，用所述缺陷的缺乏来标注所述第二向量组；
●识别在所述第二向量组中的向量共有的并且从所述第一向量组中的向量排除的模型特征集合；以及
●将所述模型特征集合与所述特定装配类型的特定功能的正确操作关联起来。
19)根据18)所述的方法：
●其中，识别所述模型特征集合包括检测在所述第二向量组中表示的所述模型特征集合中的特定特征的范围，该特定特征的范围与在所述第一向量组中表示的相应特征的范围不同；
●其中，将所述模型特征集合与所述特定功能的充分操作关联起来包括将在所述模型特征集合中的所述特定特征的所述范围与所述特定功能的充分操作关联起来；以及
●还包括：
○识别表示所述特定特征的所述范围的在所述第二向量组中的向量子集；
○在对应于所述向量子集的装配单元的检查图像的子集中定位所述特定特征；
○将在所述检查图像的子集中的所述特定特征的位置的差异转换成尺寸；以及
○将所述尺寸存储为制造公差。
20)根据18)所述的方法：
●其中，访问所述一组检查图像包括访问包括在第一时间段内由所述光学检查站记录的数字彩色摄影图像的所述一组检查图像；以及
●还包括：
○接收在所述第一时间段之后的第二时间由所述光学检查站记录的第二装配单元的第二检查图像；
○检测在所述第二检查图像中的第二特征集合；以及
○响应于所述第二特征集合不同于所述模型特征集合，在大约所述第二时间向用户门户提供检查所述第二装配单元的提示，所述用户门户在所述光学检查站附近的计算设备上执行。
21)一种用于预测制造缺陷的方法，所述方法包括：
●访问在第一时间段内在特定装配类型的第一装配单元集合的生产期间由光学检查站记录的所述第一装配单元集合的第一检查图像序列；
●对于在所述第一检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第一向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述第一向量集合中的邻近向量分组到向量组集合内；以及
●基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果，用所述缺陷来标注所述第一向量组；
●访问在所述第一时间段之后的第二时间段内在所述特定装配类型的第二装配单元集合的生产期间由光学检查站记录的所述第二装配单元集合的第二检查图像序列；
●对于在所述第二检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第二向量集合中的在多维特征空间中表示所述特征集合的向量；以及
●响应于所述第二向量集合在所述第二时间段内趋向于所述第一向量组，生成检查在所述光学检查站之前的生产的提示。
22)根据21)所述的方法：
●还包括基于指示在所述第一装配单元集合中的与所述第二向量相关联的第二装配单元中的缺陷的缺乏的第二检查结果，而用所述缺陷的缺乏来标注在所述第一向量组集合中的第二向量组；
●其中，生成检查在所述光学检查站之前的生产的所述提示包括：
○计算在所述第二时间段内在所述多维特征空间中所述第二向量集合从所述第二向量组朝向所述第一向量组的漂移速率；以及
○响应于所述漂移速率超过阈值而生成检查所述特定装配类型的生产的所述提示。
23)根据22)所述的方法，其中，生成检查在所述光学检查站之前的生产的所述提示包括：
●基于所述第二向量集合从所述第二向量组朝向所述第一向量组的所述漂移速率来计算检查在所述光学检查站之前的装配线的区段的紧迫性；
●生成指示所述紧迫性的提示；以及
●向与所述装配线相关联的计算设备提供所述提示。
24)根据21)所述的方法：
●其中，生成检查在所述光学检查站之前的生产的所述提示包括响应于检测到在所述第二时间段内所述第二向量集合朝向所述第一向量组的强趋向而生成所述提示；以及
●还包括：
○访问在所述第二时间段之后的第三时间段内在所述特定装配类型的第三装配单元集合的生产期间由所述光学检查站记录的所述第三装配单元集合的第三检查图像序列；
○对于在所述第三检查图像序列中的每个检查图像：
■检测在所述检查图像中的特征集合；以及
■生成在第三向量集合中的在所述多维特征空间中表示所述特征集合的向量；以及
○响应于检测到在所述第三时间段内所述第三向量集合朝向所述第一向量组的弱趋向，确认在所述光学检查站之前的生产的校正。
25)根据24)所述的方法：
●其中，标注所述第一向量组包括：
○选择代表所述第一向量组的第一向量；
○经由用户门户向用户提供检查所述第一装配单元以找到缺陷的第一提示；以及
○响应于接收到指示在所述第一装配单元中的所述缺陷的所述第一检查结果而用所述缺陷来标注所述第一向量组；以及
●其中，标注所述第二向量组包括：
○选择代表所述第二向量组的第二向量；
○经由所述用户门户向所述用户提供检查所述第二装配单元以找到缺陷的第二提示；以及
○响应于接收到不包括在所述第二装配单元中的所述缺陷的指示的所述第二检查结果而用所述缺陷的缺乏来标注所述第二向量组。
26)根据21)所述的方法：
●其中，检测在所述第一检查图像序列和所述第二检查图像序列中的特征集合包括，对于在所述第一检查图像序列和所述第二检查图像序列中的每个检查图像：
○将所述检查图像分成图像片段集合；
○选择在所述图像片段集合中的对应于感兴趣的装配单元区域的图像片段子集，所述感兴趣的装配单元区域与在沿着装配线布置的一组光学检查站中的所述光学检查站相关联；
○对于在所述图像片段子集中的每个图像片段，从所述图像片段中提取特征子集；以及
○将从所述图像片段子集提取的特征子集编译成在所述检查图像中的所述特征集合；以及
●其中，生成检查所述特定装配类型的生产的所述提示包括生成检查所述特定装配类型的生产以找到在所述光学检查站和沿着所述装配线在所述光学检查站之前的第二光学检查站之间的趋向的源的提示。
27)根据26)所述的方法，还包括：
●在计算设备上执行的用户门户处：
○渲染所述第一装配单元的所述第一检查图像：以及
○经由所述用户门户接收对在所述第一检查图像的子集中的感兴趣区域的手动选择，在所述第一检查图像中的所述感兴趣区域由用户预测为描绘在所述第一装配单元中的所述缺陷的源；以及
●以与所述光学检查站相关联的形式来存储所述感兴趣区域。
28)根据21)所述的方法：
●其中，访问所述第一装配单元集合的所述第一检查图像序列包括访问数百个装配单元的所述第一检查图像序列；
●其中，访问所述第二装配单元集合的所述第二检查图像序列包括访问数十个装配单元的所述第二检查图像序列；以及
●其中，生成所述提示包括响应于与所述数十个装配单元对应的所述第二向量集合在所述第二时间段内趋向于表示所述数百个装配单元的所述第一向量组而生成所述提示。
29)根据21)所述的方法，还包括：
●接收在所述第一时间段之后的第三时间由所述光学检查站记录的第三装配单元的第三检查图像；
●检测在所述第三检查图像中的第三特征集合；
●生成在多维特征空间中表示所述第三特征集合的第三向量；以及
●基于在所述多维特征空间中的所述第三向量与所述第一向量的接近度而在大约所述第三时间向用户门户提供检查所述第三装配单元以找到所述缺陷的第二提示。
30)根据21)所述的方法，还包括：
●选择在所述第二向量集合中的在所述多维特征空间中最接近所述第一向量组的第二向量；
●生成检查与所述第二向量相关联的第二装配单元以找到所述缺陷的第二提示；以及
●响应于接收到指示在所述第二装配单元中的所述缺陷的缺乏的第二检查结果而输出对在所述第二装配单元集合中的装配单元中的所述缺陷的缺乏的预测。
31)一种用于预测制造缺陷的方法，所述方法包括：
●访问在第一时间段内在特定装配类型的第一装配单元集合的生产期间由光学检查站记录的所述第一装配单元集合的第一检查图像序列；
●对于在所述第一检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第一向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述第一向量集合中的邻近向量分组到向量组集合内；以及
●基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元的完整功能的第一检查结果，而将所述第一向量组标注为功能性的；
●访问在所述第一时间段之后的第二时间段内在所述特定装配类型的第二装配单元集合的生产期间由所述光学检查站记录的所述第二装配单元集合的第二检查图像序列；
●对于在所述第二检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第二向量集合中的在所述多维特征空间中表示所述特征集合的向量；以及
●响应于所述第二向量集合在所述第二时间段内从所述第一向量组向外趋向，生成检查在所述光学检查站之前的生产的提示。
32)根据31)所述的方法，其中，生成检查所述特定装配类型的生产的所述提示包括：
●计算在所述多维特征空间中的所述第一向量组的质心；
●计算所述第二向量集合在所述第二时间段内在所述多维特征空间中远离所述第一向量组的所述质心的漂移速率；以及
●响应于所述漂移速率超过阈值而生成检查在所述光学检查站之前的装配线的区段的提示。
33)一种用于预测制造缺陷的方法，所述方法包括：
●访问在第一时间段内在特定装配类型的第一装配单元集合的生产期间由光学检查站记录的所述第一装配单元集合的第一组检查图像；
●对于在所述第一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第一向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述第一向量集合中的邻近向量分组到向量组集合内；以及
●访问在所述第一时间段之后的第二时间在所述特定装配类型的第二装配单元的生产期间由所述光学检查站记录的所述第二装配单元的第二检查图像；
●检测在所述第二检查图像中的第二特征集合；
●生成在所述多维特征空间中表示所述第二特征集合的第二向量；以及
●响应于所述第二向量与所述向量组集合偏离多于阈值差，标记所述第二装配单元。
34)根据33)所述的方法：
●还包括基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元的完整功能的第一检查结果，而将所述第一向量组标注为功能性的；以及
●其中，标记所述第二装配单元包括：
○计算在所述多维特征空间中的从所述第二向量到所述第一向量组的距离；
○响应于所述距离超过包括在所述多维特征空间中的阈值距离的阈值距离而标记所述第二装配单元用于检查；以及
○向不同于所述光学检查站的计算设备提供所述第二装配单元一旦被完成就检查所述第二装配单元以找到缺陷的提示。
35)根据34)所述的方法，其中，标记所述第二装配单元还包括，在大约所述第二时间，响应于所述距离超过大于在所述多维特征空间中的所述阈值距离的第二阈值距离，而在所述光学检查站处发出在所述第二装配单元的附加装配之前检查所述第二装配单元以找到缺陷的提示。
36)根据34)所述的方法，其中，标记所述第二装配单元包括：
●隔离在所述多维特征空间中的偏离所述第一向量组的所述第二向量的主要特征类型；
●提取包含所述主要特征类型的所述第二检查图像的片段；
●提取包含所述主要特征类型的在所述第一组检查图像中的第三检查图像的片段，第三装配单元的所述第三检查图像对应于代表所述第一向量组的第三向量；以及
●在所述用户门户内在渲染所述第二检查图像的所述片段和渲染所述第三检查图像的所述片段之间切换。
37)根据34)所述的方法，还包括：
●访问所述第二装配单元的第二检查结果；以及
●响应于所述第二检查结果指示所述第二装配单元的完整功能，增加所述阈值距离。
38)根据33)所述的方法：
●还包括基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元的完整功能的第一检查结果，而将所述第一向量组标注为功能性的；以及
●其中，访问所述第二检查图像、检测所述第二特征集合、生成所述第二向量以及标记所述第二装配单元包括：
○访问在所述第一时间段之后的第二时间段内在所述特定装配类型的第二装配单元集合的生产期间由所述光学检查站记录的所述第二装配单元集合的第二组检查图像，所述第二装配单元集合包括所述第二装配单元；
○对于在所述第二组检查图像中的每个检查图像：
■检测在所述检查图像中的特征集合；以及
■生成在第二向量集合中的在所述多维特征空间中表示所述特征集合的向量，所述第二向量集合包括所述第二向量；以及
○响应于在所述第二向量集合中的每个向量与所述第一向量组偏离多于所述阈值差，标记在所述第二装配单元集合中的每个装配单元；以及
●还包括：
○根据离所述第一向量组的距离对所述第二装配单元集合排序；以及
○根据排序向不同于所述光学检查站的用户门户提供检查在所述第二装配单元集合中的装配单元的一系列提示。
39)根据38)所述的方法，还包括：
●访问所述第二装配单元的第二检查结果；
●访问在所述第二装配单元集合中的第三装配单元的第三检查结果；
●响应于所述第二检查结果指示所述第二装配单元的完整功能，延伸所述第一向量组的边界以包括所述第二向量；以及
●响应于所述第三检查结果指示在所述第三装配单元中的缺陷，延伸在所述向量组集合中的被标注为有缺陷的第二向量组的边界以包括所述第三向量。
40)根据33)所述的方法：
●其中，访问所述第一组检查图像包括访问包括由沿着所述特定装配类型的装配线布置的所述光学检查站记录的数字彩色摄影图像的所述第一组检查图像；以及
其中，标记所述第二装配单元包括当所述第二装配单元在所述第二时间占据所述光学检查站时激活在所述光学检查站上的指示器，以在所述装配线处完成所述第二装配单元之前丢弃所述第二装配单元。
附图简述
图1是方法的流程图表示；以及
图2是方法的一个变形的流程图表示；
图3是方法的一个变形的流程图表示；
图4是方法的一个变形的流程图表示；
图5是方法的一个变形的流程图表示；以及
图6是方法的一个变形的流程图表示。
实施例的描述
本发明的实施例的下面的描述并不意图将本发明限制到这些实施例，而是意图使本领域中的技术人员能够制造并且使用本发明。本文所描述的变形、配置、实现、示例实现和示例是可选的，并且不排除它们描述的变形、配置、实现、示例实现和示例。本文所描述的发明可以包括这些变形、配置、实现、示例实现和示例的任何和所有的排列。
1.方法
如图1和图2所示，方法S100包括：在块S110中访问在特定装配类型的装配单元集合的生产期间由光学检查站记录的装配单元集合的一组检查图像；对于在该组检查图像中的每个检查图像，在块S120中检测在检查图像中的特征集合，并在块S124中生成在向量集合中的在多维特征空间中表示特征集合的向量；以及在块S130中将在多维特征空间中的向量集合中的邻近向量分组到向量组集合内。
1.1方法：智能召回和缺陷传播
在图1和图5所示的一个变形(在该变形中方法S100被实现来传播在过去完成的对在装配单元中的缺陷的检测)中，方法S100还包括响应于接收到指示在装配单元集合中的与在向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果：在块S140中，用缺陷标注第一向量组；以及在块S150中，将与第一向量组中的第二向量相关联的第二装配单元标记为展示缺陷的特性。
1.2方法：缺陷源隔离
在图2所示的另一变形(在该变形中方法S100被实现来预测缺陷模式(例如，指示在装配单元中的故障或缺陷的特征组))中，方法S100还包括：在块S140中，用在装配单元集合中的与在向量组集合中的第一向量组中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注第一向量组；在块S140中，基于在装配单元集合中的与在向量组集合中的第二向量组中的向量相关联的第二装配单元子集的检查结果，用缺陷的缺乏标注第二向量组；在块S160中，识别以在第一向量组中的向量表示的并且与第二向量组中的向量不同的特征范围的模型集合；以及在块S162中，将模型特征集合与缺陷关联起来。
在该变形中，方法S100可以类似地被实现来预测指示在装配单元中的缺陷的缺乏的特征组。在该变形中，方法S100可以另外或替代地包括：在块S160中，识别在第二向量组中的向量共有的并且从第一向量组中的向量中排除的模型特征集合；以及在块S162中，将模型特征集合与特定装配类型的特定功能的正确操作关联起来。
1.3方法：实时产量保护
在图6所示的另一变形(在该变形中方法S100被实现来检测随着时间的推移朝向有缺陷的装配单元的特性的制造漂移)中，方法S100还包括：在块S140中，基于指示在第一装配单元集合中的与在第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果，用缺陷标注第一向量组；访问在第一时间段之后的第二时间段内在特定装配类型的第二装配单元集合的生产期间由光学检查站记录的第二装配单元集合的第二检查图像序列；对于在第二检查图像序列中的每个检查图像，检测在检查图像中的特征集合，并生成在第二向量集合中的在多维特征空间中表示特征集合的向量；以及响应于第二向量集合在第二时间段内趋向于第一向量组，在块S170中生成检查在光学检查站之前的生产的提示。
在类似的变形(在该变形中方法S100被实现来检测随着时间的推移远离功能性的装配单元的特性的制造漂移)中，方法S100还包括：在块S140中基于第一检查结果来将在第一向量组集合中的第一向量组标注为功能性的，第一检查结果指示在第一装配单元集合中的与在第一向量组中的第一向量相关联的第一装配单元的完整功能；访问在第一时间段之后的第二时间段内在特定装配类型的第二装配单元集合的生产期间由光学检查站记录的第二装配单元集合的第二检查图像序列；对于在第二检查图像序列中的每个检查图像，检测在检查图像中的特征集合，并生成在第二向量集合中的在多维特征空间中表示特征集合的向量；以及响应于第二向量集合在第二时间段内从第一向量组向外趋向，生成检查在光学检查站之前的生产的提示。
1.4方法：实时异常检测
在图3所示的又一变形(在该变形中方法S100被实现来在生产期间检测新装配单元中的异常)中，方法S100还包括：访问在第一时间段之后的第二时间在特定装配类型的第二装配单元的生产期间由光学检查站记录的第二装配单元的第二检查图像；检测在第二检查图像中的第二特征集合；生成在多维特征空间中表示第二特征集合的第二向量；以及在块S150中响应于第二向量与向量组集合偏离多于阈值差而标注第二装配单元。
2.应用
通常，方法S100可以由本地或远程计算机系统(在下文中被称为“系统”)执行以：聚集在生产期间记录的装配单元的数字摄影检查图像；将这些装配单元中的每一个表示为体现从相应检查图像中检测到并提取的多个(例如，“n个”)特征的多维(例如，“n维”)向量；以及将这些向量分组到展示在多维特征空间的某些或所有维上的(相对)高程度的相似性的向量组(或“簇”)内。特别是，方法S100可以被执行以从许多装配单元的检查图像中自动识别代表性特征(例如，角、边、表面、表面轮廓、几何形状、相对位置、相对方向等)，并基于这些特征但在对这些特征如何影响这些装配单元的美学和功能完好性没有直接或显性知识的情况下，自动识别相似装配单元的组(其中相似装配单元可以展示相似的美学和功能完好性或缺陷)。
如下所述，系统可以执行方法S100的块以：生成对装配单元的美学和/或功能缺陷的异步和实时预测；主要或完全基于这些装配单元的视觉数据(以及有限的测试和检查数据)来识别异常装配单元；隔离预测缺陷的特征；以及正好在非预期变化影响产量之前沿着装配线检测在装配单元的生产期间出现的这些非预期变化。
2.1应用：智能召回和缺陷传播
在图5所示的一个应用中，系统：访问由布置在装配线上的特定装配步骤之后的光学检查站记录的在过去生产的装配单元的库(c○rpus)中的检查图像的数据库；分割这些检查图像；将来自这些检查图像中的每一个的图像片段(例如，与光学检查站相关联的感兴趣的图像片段的子集)传递到从每个图像片段检测和提取特征(例如，数千个特征)的卷积神经网络中；以及然后对于每个装配单元将这些特征的定量表示编译成一个向量。系统然后可以：实现结构化数据分析技术(例如，线性回归分析、聚类分析、k均值聚类和/或其他统计分析和机器学习技术)以将表示装配单元的向量分组到离散向量组(在下文被称为“簇”)内；将这些装配单元中的一小部分(例如，5％)的检查结果(例如，缺陷的存在、完整的功能)写到包含对应于这些被检查的装配单元的向量的簇；以及然后基于它们的对应向量与用缺陷标签(label)(或用正确的功能标签)标注的簇的接近度来预测在其他未检查的装配单元中的相似缺陷(或正确的功能)。
当在特定装配单元中(例如，在先前售出、后来由于缺陷而返回并被检查的装配单元中)识别出了新识别的缺陷时，系统可以：与用户(例如，工程师、操作员)通过接口连接以更新特定装配单元的记录来反映这个缺陷；用这个新识别的缺陷自动标注包含对应于特定装配单元的特定向量的向量簇；识别在特征空间中与特定向量在同一簇中或在特定向量的向量簇附近的向量集合；以及将这个向量集合转换成售出的装配单元的列表以选择性地召回和/或转换成仍然在现场(onsite)的装配单元的列表以选择性地针对这个新识别的缺陷进行检查。
因此，系统可以根据方法S100异步地处理已完成的装配单元的现有检查图像，以便识别可能展示这个新识别的缺陷的这些已完成的装配单元的子集。更具体地，系统可以执行方法S100的块来自动“回顾”先前完成的装配单元的检查图像的库以寻找展示指示新识别的缺陷的特征的装配单元。由系统产生的这种洞察然后可以由用户(例如，设计工程师、质量控制工程师、制造工程师、制造商)进行运用来：识别并选择性地召回可能有缺陷的装配单元(即，而不是整批装配单元)；和/或指导对仍在现场的装配单元的选择性的、智能的检查和测试，以便在从工厂装运出之前快速识别并剔除在美学上+或功能上有缺陷的装配单元。
2.2应用：实时缺陷检测
如图4所示，系统可以类似地实质上实时地执行方法S100的块以：将在新装配单元的生产期间由光学检查站记录的这些新装配单元的检查图像与已知结果的过去的装配单元进行比较，以便识别展示过去的有缺陷的装配单元的特征特性的特定新装配单元；以及例如向光学检查站或向附近的操作员提供实时检查、丢弃或重新加工这些特定装配单元的提示。
例如，系统可以执行方法S100的块以基于在这些新装配单元的检查图像中检测到的特征和在过去的已知有缺陷的装配单元的检查图像中检测到的特征的相似性来选择性地标记可能有缺陷的新装配单元，并且向用户发出找寻这些选定新单元的提示，以便：通过甚至在完成之前剔除被确定为有缺陷的装配单元来减少操作员时间、装配线容量和部件的浪费；以及通过隔离可能有缺陷的特定装配单元用于检查来提高在装配线上的检查的效率。
2.3应用：实时异常检测
如图3所示，系统还可以实时地执行方法S100的块以：接收新装配单元的检查图像；从该检查图像提取特征；将这些特征与从(例如，已知结果的)其他装配单元的检查图像提取的特征进行比较；以及如果这个新配单元展示不存在于其他装配单元中或者实质上区别于其他装配单元的一个特征或一组特征，则将这个新装配单元标记为异常的。例如，如果表示从新装配单元的检查图像提取的特征的向量未能和与已知结果的装配单元相关联的向量的一个现有簇相交或者未能落在多维特征空间中的最近的现有簇的阈值差(例如，在欧几里德空间中的阈值距离)内，则系统可以标记新装配单元。
因为新装配单元的结果(例如，新装配单元是否展示任何美学或功能缺陷)是未知的，所以系统可以提示用户(例如，技术员、装配线操作员或工程师)例如以新装配单元的当前装配状态和/或当新装配单元完成时检查新装配单元以找到缺陷。在前述示例中，系统然后可以定义包含表示该新装配单元的向量的新簇，用新装配单元的检查结果标注该新簇，并且为展示相似特征的未来装配单元预测相似的结果。因此，系统可以执行方法S100的块以：检测在一群装配单元内的异常的装配单元；发出检查这些异常装配单元的选择性的、智能的提示；以及基于这些异常装配单元的检查结果来改进将装配单元特征链接到装配单元结果的模型。
2.4应用：缺陷源隔离
通过还识别展示缺陷的第一装配单元集合所共有的但不是没有展示该缺陷的第二装配单元集合所共有(例如，从第二装配单元集合中排除)的特征集合，系统可以将相对大的特征集合一直过滤到展示产生缺陷的较大可能性的压缩特征集合，如图2所示。通过扫描相同或不同装配类型的其他装配单元的检查图像以找到与该压缩特征集合的相似性，即使缺陷的源不是工程师立即知道的，系统也可以检测或预测在这些其他装配单元中的相似缺陷。
系统还可以向用户(例如，工程师)呈现该有限特征集合，用于手动地标注和识别在该集合中的用户假设或已经确认促成缺陷的特定特征。特别地，尽管系统可以从检查图像提取数千个或数百万个特征并处理这些特征以识别展示与已知结果的过去的装配单元的相似性和与异常装配单元的相似性的两类装配单元，但该大数量的特征可能对于一个或几个人来说太大而无法理解。因此，通过比较从完好的和有缺陷的装配单元的检查图像提取的特征，系统可以：隔离展示与该缺陷的最强相关性的特定特征子集(例如，几十个)；加亮包含这些特定特征的检查图像的区域；以及将这些加亮的检查图像(例如，通过用户门户)呈现给用户用于考虑该缺陷的源。
因此，系统可以引导人类用户测试在选定特征和缺陷之间的相关性，确认在这些特征和缺陷之间的因果关系，并相应地标注这些特征，从而通过智能地呈现由系统预测的包含指示缺陷的特征的选定检查图像或者这些检查图像的选定感兴趣区域来实现受监督的机器学习路径。
2.5应用：实时产量保护
此外，甚至在这种非预期变化导致在装配线上的产量降低之前，系统可以执行方法S100的块以检测在装配线上生产的新装配单元的特征朝着过去的有缺陷的装配单元的特征特性和/或远离过去的无缺陷的装配单元的特征特性的趋向(或“漂移”)，如图6所示。例如，由于工具磨损、夹具磨损、(例如，当生产速率增加时每单元的)减少的监督、人员变化等，在装配线上生产的装配单元的特性可能随着时间的推移而趋向于特定方向或在特定方向上“漂移”。尽管在这个趋向的过程中早期生产的装配单元可能是无缺陷的并且经过这个趋向可能最初不影响在装配线处的产量，但这个趋向如果不及时被解决则可能在较长时间段内导致有缺陷的装配单元(并且可能更加难以校正)。
因此，系统可以：导出表示由沿着装配线的光学检查站成像的新装配单元序列的新向量朝着被标注有缺陷的向量簇的趋向；和/或导出新向量远离被标记为无缺陷的向量簇(例如，从其向外延伸)的趋向。如果这个趋向的强度或速率超过阈值，则系统然后可以为了这个趋向的可能源而提示对在光学检查站之前的装配部分的检查，从而使工程师或技术员能够例如通过加强在装配线上的操作人员的规程或更换在装配线的上游的工具(例如，注塑模具)来快速验证和解决这个趋向。
因此，系统可以执行方法S100的块以检测在装配单元的生产中的非预期变化，并基于从由沿着装配线布置的光学检查站记录的这些装配单元的检查图像提取的特征而在装配线上的产量实质性降低之前提示对这些变化的检查和校正。
3.系统
方法S100的块可以由系统执行，例如：在集成到(如下所述的)光学检查站中的系统上在本地执行，在该光学检查站处装配单元的检查图像被记录；在提供有光学检查站的装配线附近的系统处在本地执行；或者通过经由计算机网络(例如，因特网)连接到光学检查站的远程服务器远程地执行，等等。系统还可以与(例如可通过在膝上型计算机或智能手机上执行的web浏览器或原生应用访问的)用户门户通过接口连接以向用户(例如，工程师或装配线工人)提供提示和通知并接收由用户手动输入的特征和簇标签。
此外，方法S100在下面被描述为由系统执行以检测在包含两个或更多个分立部件的装配单元中的异常和/或缺陷。然而，方法S100可以类似地由系统实现以基于奇异零件的检查图像来检测在这些奇异零件(例如，模制、铸造、冲压或机器加工的零件)中的异常和/或缺陷。
一旦光学检查站记录了被插入到光学检查站中用于自动成像和光学检查的新装配单元的检查图像，方法S100的所有或选定块就可以另外或替代地在装配线处例如由光学检查站在本地执行。
4.光学检查站和检查图像
方法S100的块S110叙述了访问在装配单元集合的生产期间由光学检查站记录的特定装配类型的装配单元集合的一组检查图像。通常在块S110中，系统访问在装配单元的装配期间由光学检查站记录的检查图像。例如，系统可以检索由光学检查站记录的、经由计算机网络从光学检查站上传到文件系统(例如，数据库)并存储在数据库中的检查图像。当装配单元的检查图像由光学检查站记录时，系统可以另外或可选地直接从光学检查站例如实时地检索检查图像。
如在于2017年7月18日提交的、通过这个引用以其整体被包括的美国专利申请第15/653,040号中所述的，光学检查站可以包括：接纳零件或组件的成像平台；捕获放置在成像平台上的单元的检查图像(例如，数字摄影彩色图像)的可见光摄像机(例如，RGB CMOS或黑白CCD摄像机)；以及将检查图像卸载例如到本地或远程数据库的数据总线。光学检查站可以另外或替代地包括多个可见光摄像机、一个或多个红外摄像机、激光深度传感器等。
在一个实现中，光学检查站还包括被配置为输出深度图像的深度摄像机，例如红外深度摄像机。在该实现中，光学检查站可以触发可见光摄像机和深度摄像机两者以分别捕获放置在成像平台上的每个单元的彩色图像和深度图像。替代地，光学检查站可以包括布置在成像平台上和/或附近的光学基准点(fiducials)。在该实现中，光学检查站(或与远程数据库通过接口连接的本地或远程计算机系统)可以实现机器视觉技术以识别在由可见光摄像机捕获的彩色图像中的这些基准点，并且例如通过将彩色图像传递到神经网络内来将彩色图像中的这些基准点的尺寸、几何形状(例如，偏离已知几何形状的失真)和/或位置变换到深度图、三维彩色图像或彩色图像的(下面描述的)三维测量空间中。
如在于2017年1月16日提交的、通过这个引用以其整体并入的美国专利申请第15/407,158号中所述的，在接收或检索到检查图像时，系统可以在块S110中“去扭曲”、“展平”或以其他方式预处理检查图像，为在块S120和S122中从检查图像中检测和提取特征做准备。系统还可以：实现计算机视觉技术(例如，对象识别、边缘检测等)以识别在检查图像中的装配单元的周界或边界；以及然后围绕装配单元裁剪检查图像，使得只有对应于装配单元的特征从检查图像中被提取，并在方法S100的块S120、S122等中被处理。
因此，系统可以在块S110中聚集在装配线的操作的期间记录的一组(例如，100、1k或100k个)检查图像(例如，数字彩色摄影图像)，其中，每个检查图像记录了在特定生产阶段的独特装配单元的视觉特性。然而，系统可以在块S110中以任何其他方式访问任何其他类型的检查图像。
5.特征提取和向量生成
方法S100还包括块S120、S122和S124，它们在该组检查图像中的每个检查图像中叙述：检测在检查图像中的特征集合；从检查图像提取特征集合；以及分别生成在向量集合中的表示该特征集合的多维向量。通常，系统在块S120中识别表示在检查图像中显示的装配单元的多个(例如，“n个”或“许多”)特征，在块S122中表征这些特征，并在块S124中将这些特征聚集成唯一表示该装配单元的多维(例如，“n维”)向量或“指纹”，例如这些特征的长度、角度、相对位置、相对定向、几何形状、轮廓等。
在一个实现中，系统可以实现定义单阶特征(例如，角、边、面积、梯度等)的类型、由多个单阶特征(边的边缘定向和梯度幅度、斑点(bl○b)的极性和强度)、多个特征的相对位置和定向、和/或用于从检查图像中检测和提取这些特征的优先级等构成的二阶特征的类型的特征分类器。然后，系统可以将该特征分类器应用于表示装配单元的全部高度和宽度的检查图像区域。例如，该系统可以根据特征分类器来实现低级计算机视觉技术(例如，边缘检测、脊检测)；基于曲率的计算机视觉技术(例如，改变强度、自相关)；和/或基于形状的计算机视觉技术(例如，阈值化、斑点提取、模板匹配)；等以在块S120中检测表示在检查图像中的装配单元的n个最高优先级的特征。
然后，系统可以在块S122中例如以表示从检查图像提取的多个(例如，数千个、数百万个)特征的多维(例如，n维)特征向量(在下文中被称为“向量”)的形式提取围绕这些特征的局部图像块。因此，向量可以定义唯一地表示在检查图像中捕获的装配单元的“指纹”。
系统可以例如通过成批地处理这些检查图像或者通过在从光学检查站接收到时单独地处理新检查图像来对其他检查图像重复该过程，以生成唯一地表示相应装配单元的向量。
5.1缩放+感兴趣区域
在图3和图4所示的一个实现中，系统将在检查图像中的特征检测和提取限制到由用户手动地限定或界定的检查图像中的感兴趣区域。特别地，系统可以被配置为从检查图像提取预设数量(例如，两千个)的特征；通过减小检查图像的扫描区域，系统从这个减小的扫描区域比从检查图像的全部装配单元区域可以检测和提取更高密度的特征。
通常，给定固定的向量长度，系统可以：从对应于装配单元的全部高度和宽度的检查图像区域提取较低密度的特征；以及从对应于装配单元的检查图像的子区域提取更大密度的特征。系统可以默认地实现前一种技术，以便总体上表征装配单元。然而，如果用户(例如，工程师)正在测试对在一装配类型的特定子区域内的缺陷的源的假设，对于一装配类型的特定子区域获得缺陷的根本原因，或者识别出在一装配类型的特定子区域中的缺陷，则用户可以选择装配单元的这个特定子区域以界定从检查图像中对固定数量的特征的检测和提取；然后，系统可以从装配单元的检查图像的这个界定的区域提取更高密度的特征，这可以使系统能够检测和表征可能(显著地)促成在装配单元中的缺陷但可能另被特征分类器分配了较低优先级的较小特征。
在一个实现中，系统可以实现在美国专利申请第15/407,158号中描述的方法和技术以：通过在计算设备(例如，移动计算设备、平板计算机或台式计算机)上执行的用户门户来向用户提供检查图像；使用户能够放大(或“扩大”)检查图像的区域；以及然后围绕检查图像的这个区域限定边界(例如，矩形“缩放窗口”)。在该实现中，用户因此可以限定描绘装配单元的区域的检查图像的“感兴趣区域”：从装配单元的前一生产阶段到所描绘的生产阶段该区域发生了改变；用户预期制造缺陷出现在该区域中；和/或用户希望为了制造变化而跟踪该区域。特别地，系统可以托管用户门户，并且向用户门户提供装配单元的检查图像，用于选择在该检查图像中的与在装配单元中的感兴趣区域对应的感兴趣区域。
在该实现中，系统然后可以存储该感兴趣区域，并将该感兴趣区域与记录检查图像的光学检查站关联起来。(替代地，当检查图像被记录时，系统可以将该感兴趣区域与装配单元相对于光学检查站的特定生产阶段和定向关联起来。)例如，系统可以：自动检测在检查图像中的参考特征，或者提示用户选择在用户门户中渲染的检查图像中的参考特征，例如在检查图像中可见的装配单元的左上角或者装配单元上的部件的角；在检查图像中限定感兴趣区域相对于该参考特征的横向位置、纵向位置、定向、宽度和高度；以及存储与光学检查站相关联的横向位置、纵向位置、定向、宽度和高度。然后，系统可以在块S120中选择性地检测在检查图像的该感兴趣区域中的特征，并且在块S124中生成表示装配单元的该区域的向量。(替代地，系统可以用这些特征的表示附加到被分配给该装配单元的现有向量，并在装配单元的其他生产阶段重复该过程，以生成被分配给该装配单元并包含从装配单元的一系列检查图像的感兴趣区域提取的特征集合的表示的信号向量，该一系列检查图像在装配单元的生产期间随着时间的推移而被记录。)
使用如此限定的相对于光学检查站(或相对于装配单元的装配类型和生产阶段)的感兴趣区域，系统可以基于在这些检查图像中检测到的类似参考特征来将感兴趣区域投射到由光学检查站记录的(或相同装配类型的和在同一生产阶段的)其他装配单元的检查图像上。例如，系统可以：实现对象检测、对象识别或模板匹配技术以识别在同一生产阶段的其他装配单元的检查图像中的上述参考特征；以及基于分配给该光学检查站的感兴趣区域的横向位置、纵向位置、定向、宽度和高度值来自动定向在这些其他检查图像上的感兴趣区域。替代地，系统可以相对于在检查图像上的全局参考(例如检查图像的左上角)来限定感兴趣区域。然后，系统可以：在块S120中检测在这些其他检查图像中的这些界定的感兴趣区域中的特征集合；在块S124中将这些特征集合编译成被分配给相应装配单元的向量；以及然后在块S130中比较表示在许多装配单元的检查图像中的相似感兴趣区域的这些向量以识别表示相似装配单元的向量簇。
在另一实现中，如果在第一装配单元中的缺陷通过测试或检查被识别出，则用户可以访问用户门户，以将第一装配单元的第一检查图像标注为有缺陷的，并选择围绕在第一装配单元的第一检查图像中描绘的该缺陷的位置的感兴趣区域(或“缩放窗口”或“边界”)。因此，系统可以将该感兴趣区域与光学检查站(或与该生产阶段和装配单元定向)和特定缺陷两者联系起来。然后，系统可以：将该感兴趣区域投射到由该光学检查站记录的装配单元的检查图像上；在块S120中检测在这些检查图像中的这些界定的感兴趣区域中的特征集合；在块S124中将这些特征集合编译成分配给相应装配单元的向量；识别包括与第一装配单元相关联的第一向量的第一簇向量，第一簇向量表示可能展示特定缺陷的装配单元；以及识别表示不太可能或不可能展示特定缺陷的装配单元的另一向量簇。
因此，系统可以：使用户能够手动地选择在检查图像中所示的装配单元上的感兴趣区域，以便运用用户对装配单元的缺陷、有问题的区域或关键功能的理解；将该感兴趣区域投射到在装配线上的生产中的装配单元的许多检查图像上；从在检查图像中的相似的感兴趣区域提取在较大分辨率下的特征、较小的特征和/或由特征分类器分配了较低权重或较低优先级的特征；以及然后生成表示从遍及这些检查图像的可比较的感兴趣区域提取的这些特征的向量(或其他数据容器)。特别地，系统可以在块S130中基于从在相似装配单元的检查图像中的聚焦的感兴趣区域提取的特征来生成(或附加)向量，从而需要更少的时间和计算能力来生成装配单元的关键区域的更高分辨率表示用于比较，这可以提高下面描述的后续缺陷、异常和生产漂移检测的准确度和分辨率。
5.2图像分割
在图3所示的一个变形中，当处理装配单元的检查图像时，系统：将检查图像划分成图像片段集合(例如，224像素的正方形“裁剪区域”)；以及在这个图像片段集合中选择与和光学检查站相关联的感兴趣的装配单元区域对应的图像片段子集，该光学检查站是在沿着装配线布置的一组光学检查站中的记录检查图像的光学检查站。然后，系统可以：从这个图像片段子集中的每个图像片段提取特征子集；在块S122中将从与在检查图像中的感兴趣的装配单元区域相交的图像片段子集提取的这些特征子集编译成在检查图像中的一个目标特征集合；以及在块S124中在多维特征空间中生成表示这个目标特征集合的向量。
因此，系统可以将检查图像划分成图像片段，且然后选择与感兴趣区域相交的这些图像片段的子集，该感兴趣区域先前由用户相对于记录检查图像的光学检查站而指定或者先前被分配给相同类型和在同一生产阶段的装配单元。然后，系统可以从这些选定图像片段中的每一个提取特征，并将这些特征编译成表示在这个时间和在该生产阶段的装配单元上的感兴趣区域的一个向量。
5.3向量和生产阶段
在前述实现中，系统因此可以：对于在沿着装配线的一个光学检查站处成像的每一装配单元产生一个向量；以及然后比较对应于这个特定装配类型、生产阶段和装配定向的向量，以异步地或实时地检测或预测在该光学检查站之前的生产步骤期间出现的在装配单元中的缺陷，如下所述。
替代地，系统可以实现前述方法和技术以：将一个或更多个感兴趣区域分配到沿着装配线的每个光学检查站；访问在装配单元的装配期间由这些光学检查站记录的一个装配单元的一序列检查图像；以及从在装配单元的这些检查图像中的这些感兴趣区域检测和提取特征。然后，系统可以将从在装配单元的生产期间随着时间的推移由多个光学检查站记录的单个装配单元的一序列检查图像提取的这些特征编译成表示装配单元在它的整个生产过程中的特性的一个向量。如下所述，系统可以重复这个过程以为其他装配单元生成可比较的向量，且然后比较这些向量，以检测或预测在这些装配单元中的在沿着装配线的各种制造步骤中出现的缺陷。
5.4感兴趣区域标签
在前述实现中，系统还可以使用户能够用可搜索的文本标签或“标签(tag)”(例如关键字)(例如“电池”、“扬声器”、“天线”、“紧固件”、“触摸屏”或“带状电缆”)来标注感兴趣区域。
例如，当过后识别出有缺陷的装配单元并确定了缺陷模式(例如，“电池故障”、“扬声器故障”、“天线故障”、“紧固件缺失”、“触摸屏故障”或“带状电缆断裂”)时，用户可以：搜索被分配给沿着装配线的光学检查站的感兴趣的裁剪区域的标签，以找到可能包含与该故障相关的特征的感兴趣裁剪区域的子集；从该子集选择用户假设包含有在缺陷的装配单元中的缺陷的源的特定裁剪区域；以及在有缺陷的装配单元的检查图像中选择该特定裁剪区域。一旦系统将该特定裁剪区域加载到用户门户中用于向用户渲染，用户可以：确认该特定裁剪区域通常包含缺陷的源；或者选择(或“加亮”)在感兴趣的特定裁剪区域内的用户确信其包含缺陷的源的感兴趣区域。然后，系统可以：用该缺陷标注这个感兴趣裁剪区域或感兴趣区域；从这个感兴趣裁剪区域或感兴趣区域提取特征；将这些特征编译成在多维特征空间中的代表性向量；重复该过程以生成表示从其他装配单元的检查图像的相同的感兴趣裁剪区域或感兴趣区域提取的特征的向量；以及基于对应向量与代表性向量的接近度来预测在其他装配单元中的相同缺陷模式，如下所述。(特别地，系统可以基于在多维特征空间中对应向量与代表性向量的接近度来估计在这些其他完整装配单元中的相同缺陷的概率。)
系统可以实现类似的方法和技术以：根据从在由光学检查站最近记录的新装配单元的新检查图像中的相同的感兴趣裁剪区域或感兴趣区域提取的特征，生成新向量；以及基于在多维特征空间中新向量与代表性向量的接近度来实质上实时地估计在新装配单元中的相同缺陷的概率，如下所述。
6.向量组
如图1、3和4所示，方法S100的块S130叙述了将在向量集合中的向量分组为离散簇集合。通常在块S130中，系统实现结构化数据分析技术(例如，线性回归分析、聚类分析、k均值聚类和/或其他统计分析和机器学习技术)以将向量集合(每个向量唯一地表示一个装配单元的多个特征)划分成表示在多维特征空间中的一维或更多维中的特征的相似组合和/或相似特征范围的向量的多个组或“簇”。
7.初始标注和结果传播
方法S100的一个变形包括块S140，块S140叙述用第一装配单元子集的检查结果中指示的特定缺陷来标注在簇集合中的第一簇，第一装配单元子集是在装配单元集合中的与第一簇中的向量相关联的装配单元子集。通常在块S140中，系统将特定装配单元的测试和/或检查数据链接到表示该装配单元的向量，且然后将这些测试和/或检查数据与包含该特定向量的特定簇相关联。
在一个实现中，例如通过从数据库检索数据，系统自动访问测试数据、检查结果和/或由用户手动地输入并链接到装配单元的序列号的其他观察结果。然后，系统可以从这些数据提取各种缺陷标签，例如：短的电池寿命；扬声器故障或音频失真；差的无线信号质量；按钮故障；过热；总系统故障；传感器故障或嘈杂的传感器信号；无响应的触摸屏；扭曲的显示；划痕；凹痕；和/或粗糙或不平的表面光洁度；等等。系统可以类似地从这些数据提取完好标签，例如所规定的功能和/或美学要求被满足的确认。系统还可以在块S140中将这些缺陷和/或完好标签链接到在这些测试、检查和/或其他数据中指定的装配单元序列号，并然后将这些标签写到包含表示这些序列号的向量的簇。
系统可以另外或替代地经由用户门户提示用户用缺陷标签手动地标注向量和/或簇。例如，系统可以选择(例如，不包含标签或包含少于最小数量的标签的)第一簇，识别代表簇(例如，最接近簇的质心)的特定向量，检索特定向量来源于的特定检查图像，以及然后提示用户选择预先存在的标签或输入描述在特定检查图像中显示的特定装配单元的完好或缺陷的新标签。在该示例中，系统可以使用户能够选择或输入指示划痕是否在特定检查图像中是可见的、特定检查图像是否显示特定部件缺失或者在特定检查图像中显示的装配单元是否被已知是有缺陷的等的标签。然后，系统可以将特定装配单元的这个标签映射到第一簇上。
在前述实现中，如果系统在块S130中定义多个簇，则系统可以：选择代表每个簇的(例如，一个、五个)向量的子集；提示用户用美学和/或功能缺陷和完好标签来标注对应于这些代表性向量的检查图像，直到每个簇包含足够数量的标签以预测在这些簇中表示的其他装配单元中的缺陷为止。
系统还可以提示用户用完好或缺陷标签手动地标记具体特征。例如，系统可以：提示用户选择在检查图像内的一个或一组特征(例如，一条边、一个表面或面积、两条边、边和角等)；提示用户将选定特征标注为对完好或缺陷的表示；以及用由用户输入的缺陷标签标记选定特征(例如，特征的存在、特征的长度、在两个特征之间的距离或角度、特征的面积、特征的几何形状或轮廓等)。
在一个示例中，系统：选择与第一装配单元相关联并代表与否定结果(例如，特定缺陷的存在)相关联的第一向量簇的第一向量；选择与第二装配单元相关联并代表与肯定结果(例如，特定缺陷的缺乏)相关联的第二向量簇的第二向量；在同一产品阶段检测在第一装配单元的第一检查图像和第二装配单元的第二检查图像中的公共参考特征；以及根据例如在上面和在美国专利申请第15/653,040号中所述的该公共参考特征来使第一和第二检查图像(或在第一和第二检查图像中的感兴趣区域)实质上对准。然后，系统可以向用户门户提供例如在智能手机、平板计算机或台式计算机上执行的web浏览器或原生应用中渲染的第一和第二检查图像。然后，用户门户可以例如以1Hz的速率或者当被用户触发时在渲染第一检查图像和渲染第二检查图像之间切换(第一和第二检查图像通过公共参考特征实质上对准)，这可以使用户能够快速辨别在第一和第二装配单元中的相似感兴趣区域之间的差异并且可以使用户能够隔离存在于第一装配单元中但不存在于第二装配单元中的缺陷的源。在该示例中，用户门户还可以为从渲染第一检查图像到渲染第二检查图像的过渡设置动画(第一和第二检查图像再次通过公共参考特征实质上在旋转和定向上对准)，这可以进一步使用户能够在视觉上检测在第一和第二装配单元之间的差异。然后，用户可以选择并标注在第一检查图像中的用户知道或假设促成功能缺陷或表示美学缺陷的关键特征，并且系统可以运用来自用户的这种反馈来改进预测肯定或否定的装配单元结果的特征集合的模型，如下所述。
通过这样用由被包含在向量簇中的向量表示的装配单元的测试和/或检查数据标注该簇，系统可以：基于这些有限的测试和/或检查数据来推断由在该簇中的向量表示的其他装配单元的完好、美学缺陷和/或功能缺陷；和/或例如通过比较在不同簇中表示的特征来隔离指示这些美学和/或功能缺陷的特征。例如，系统可以将在多个簇中的向量的群体分组，其中，每个簇包含数十个或数百个向量以及具有它们的相应装配单元的结果(例如，缺陷的存在和类型)的数个或数十个向量标签。在该示例中，系统因此可以：预测在与第一簇中的其他未标注向量相关联的其他装配单元中的该特定缺陷的存在；以及向用户(例如，与装配线相关联的制造工程师、在装配线上的技术员)提供例如当这些其他装配单元被装配时实时地或者通过从储藏室取回这些装配单元来异步地检查这些其他装配单元以找到特定缺陷的提示。类似地，系统可以：定义包含数百个向量的第二簇，第二簇包括与被确认排除特定缺陷并被标注为无缺陷的装配单元相关联的数十个向量；预测在与第二簇中的未标注向量相关联的装配单元中的缺陷的缺乏；以及生成这些装配单元的序列号的列表以从对该特定缺陷的检查中排除。
8.探索和问题解决：上游缺陷检测
如图1和图5所示，方法S100的一个变形包括：在块S150中生成检查与第一簇中的向量相关联的装配单元以找到特定缺陷的提示。通常在块S150中，系统可以响应于检测到在一个或少数装配单元中的美学或功能缺陷而跨越一组单元传播该缺陷的检测。
在一个实现中，如果在多个(例如，100个或100k个)相似的装配单元被生产之后新的功能或美学缺陷在特定装配单元中被首先识别出，则系统可以：在块S130中用缺陷标注包含表示特定装配单元的特定向量的第一簇；以及标记与在第一簇中的每个其他向量相对应的一组序列号，用于与新识别的缺陷相关的附加测试或检查。例如，系统可以生成序列号的列表以在装运这批装配单元之前对该缺陷进行测试。在另一示例中，如果这些序列号被标记为已装运或已交付，则系统可以生成序列号的列表以由于该缺陷的可能性而选择性地召回(即，而不是召回所有已装运的装配单元)。
在另一示例中，系统从用户(例如，工程师)接收对第一装配单元的第一检查图像的(例如以包括通过在用户的计算设备上执行的用户门户输入的第一装配单元的序列号的搜索查询的形式的)查询，最近在第一装配单元中检测到新识别的缺陷。在该示例中，第一装配单元可能已经被完成、售卖(例如，给客户或经销商)，并且之后作为有缺陷的被返回给制造商。在该示例中，系统然后可以：将在第一装配单元的整个生产中记录的一系列检查图像提供给用户门户；接收第一装配单元的在该系列检查图像中的在特定生产阶段的第一检查图像中的特定缺陷的指示；经由用户门户来接收对在第一检查图像中的感兴趣区域的手动选择，其中，在第一检查图像中的感兴趣区域由用户预测以描绘新识别的缺陷的源；以及将该感兴趣区域与该新识别的缺陷的标签一起存储。然后，系统可以扫描其他已完成的装配单元和/或当前正在处理的装配单元的一群检查图像以找到相同的缺陷。特别地，系统可以访问在相同生产阶段的其他装配单元的检查图像。对于这些检查图像中的每一个，系统然后可以：将感兴趣区域从第一检查图像投射到另一装配单元的检查图像上；从检查图像中的感兴趣区域提取一组特征；以及将这些特征编译成表示在该另一装配单元中的该感兴趣区域的向量。最后，系统可以：基于在多维特征空间中的接近度来将在从遍及这些许多装配单元的许多检查图像的该感兴趣区域提取的特征这样生成的向量群体中的向量重新分组；以及预测在与这些向量的子集相关联的装配单元的子集中的新识别的缺陷的存在，这些向量的子集落在包含第一向量的向量组中(或实质上在向量组附近)，第一向量表示在第一装配单元中的该感兴趣区域。然后，系统可以自动地：生成对应于在装配单元的这个子集中的装配单元并且以前被售卖(例如，交付给客户或经销商)的序列号的第一列表；生成对应于在装配单元的这个子集中的装配单元但是尚未被售卖(例如，仍然在现场)的序列号的第二列表；和/或生成对应于在装配单元的这个子集中的装配单元并且仍在装配过程中的序列号的第三列表。
在接收到在一个装配单元中的新识别的缺陷的指示之后，系统可以实质上实时地执行该过程，以(排他地)从在这些装配单元的生产期间记录的历史光学数据中扫描和识别可能展示相同缺陷的其他装配单元。例如，用户或制造商然后可以：例如在该缺陷实质上影响这些装配单元的客户之前，运用序列号的第一列表以发出仅仅被预测为有缺陷的这些装配单元的选择性的、有针对性的召回；在交付给客户或经销商之前，运用序列号的第二列表来选择性地检索和检查这些装配单元以找到这个缺陷；和/或运用序列号的第三列表来丢弃这些装配单元或标记这些装配单元用于返修。
因此，系统可以通过识别表示这些装配单元的向量来预测在某些过去的装配单元中的缺陷，这些向量足够接近跨越多个(例如，“n个”)维的表示有缺陷的装配单元的特定向量。
8.2选择性缺陷检查
在这个变形中，系统还可以：选择与邻近第一向量的第二向量相关联并且当前在现场或以其他方式可获取用于检查的第二装配单元；提示用户检查第二装配单元并指示新识别的功能缺陷是否存在；以及然后根据用户的反馈将向量簇重新分组，以便改进或确认被预测展示这个相同功能缺陷的装配单元的更大列表。
类似地，如果新识别的缺陷是美学的，则系统可以检索被预测展示相同美学缺陷(例如，最接近表示被确认展示该美学缺陷的第一装配单元的第一向量)的第二装配单元的检查图像，将该检查图像提供给用户，提示用户确认美学缺陷的存在，并且改进或确认被预测展示该相同美学缺陷的装配单元的更大列表——即使第二装配单元不立即可用于由用户物理地检查。
系统可以类似地：识别由更远离在多维特征空间中的第一向量的向量表示的选定装配单元；提示用户物理地或视觉上检查这些选定装配单元以找到新识别的缺陷；以及基于由用户提供的检查结果来改进在可能展示这个新识别的缺陷并与不可能或不太可能展示这个缺陷的其他向量分离的向量簇周围的边界(或“流形(manifold)”)。例如，系统可以：标注包含表示被已知展示新识别的缺陷的第一装配单元的第一向量的第一向量簇；标注包含表示被已知基于过去的检查结果而排除新识别的缺陷的第二装配单元的第二向量的第二向量簇；以及生成检查与落在多维特征空间中的第一簇和第二簇之间的第三向量相关联的第三装配单元以找到新识别的缺陷的提示。给定由用户为第三装配单元提供的检查结果，系统可以扩展第一和第二簇之一以包括第三向量，并重复该过程以增加系统对在与缺陷相关联的第一簇和与缺陷的缺乏相关联的第二簇之间的边界的置信度。例如，在响应于检查第三装配单元的提示而接收到在第三装配单元中的缺陷的缺乏的确认时，系统可以：计算包含第一向量、不包括第三向量并且在第一向量和第二向量之间延伸(或以其他方式描绘由在多维特征空间中的向量组或簇所占据的体积)的修正流形；以及生成检查与被包含在第一簇的所修正的流形内的第四向量相关联的第四装配单元以找到缺陷的第四提示。
因此，通过选择由落在包含被标注为有缺陷的第一向量的第一簇和包含被标注为无缺陷的第二向量的第二簇之间的向量表示的关键装配单元用于进一步检查并提示用户指示这些关键装配单元的结果，系统可以基于人生成的最少的检查信息来快速限定在多维特征空间中的有缺陷的单元和无缺陷的单元(至少对于特定缺陷)之间的周界或边界。
8.3缺陷概率和检查等级
在这个变形(以及本文描述的其他变形)中，系统还可以基于表示未知结果的第二装配单元的第二向量与表示被已知展示该缺陷的第一装配单元的第一向量的接近度来计算在第二装配单元中的缺陷的概率，如图4所示。例如，在接收到在由第一向量表示的第一装配单元中的新识别的缺陷的指示时，如下所述，系统可以：计算在多维特征空间中表示在相同类型和在相同生产阶段的装配单元中的相似的感兴趣区域的其他向量到第一向量的距离；以及计算作为这些距离的函数(例如，与这些距离成反比)的缺陷存在于这些装配单元中的每个中的概率。然后，系统可以提示用户根据这个缺陷的概率来检查装配单元。例如，系统可以按展示缺陷的概率的顺序提供装配单元的序列号的列表，以与展示缺陷的最大概率相关联(例如，由最接近第一向量的第二向量表示)的第二装配单元开始一直到展示缺陷的阈值概率(例如，20％)。然后，用户可以按在这个列表中指示的顺序检查这些装配单元，例如直到不展示缺陷的装配单元被到达为止。
9.实时单个单元产量保护
如图4所示，系统可以类似地实质上实时地实现块S140和S150以预测在生产期间的装配单元中的缺陷。在一个实现中，系统：接收在新装配单元的生产期间在光学检查站处最近记录的新装配单元的新检查图像；检测在新检查图像中的新的特征集合；从新检查图像提取新的特征集合；生成表示新的特征集合的新多维向量；以及然后，如果表示新装配单元的新向量与标注有缺陷的特定簇或包含标记有缺陷的向量的特定簇相交，则标记新装配单元。例如，在生成新向量之后，系统可以通过实现结构化数据分析技术例如k最近邻分类器(例如，其中k＝1)来定位在特定簇中的新向量。然后，系统可以(例如通过在新装配单元离开光学检查站之前向光学检查站或与用户相关联的移动计算设备发送通知)提示用户(例如，装配线操作员或在装配线附近的工程师)拒绝或校正新装配单元。系统还可以向在光学检查站附近的机器人系统发送命令，以在新装配单元移动到装配的下一阶段之前丢弃装配件或将新装配单元放置在返修箱中。
例如，如果与特定簇相关联的且现在与新装配单元相关联的缺陷被标记为灾难性的，则系统可以向用户提供丢弃新装配单元的提示。然而，如果与特定簇相关联的缺陷被标记为可校正的，则系统可以向用户提供校正新装配单元的提示和用于纠正缺陷的预定义指令。例如，如果在新装配单元中的所预测的缺陷被已知是可校正的，则系统可以：标记该新装配单元用于返修；检索装配单元的新检查图像；加亮表示所预测的缺陷的特征或新检查图像中被预测包含缺陷的感兴趣区域(例如，基于在特定簇中表示的其他装配单元的检查图像中的有缺陷的特征标签)；以及然后将该检查图像连同文本指令提供给本地计算设备，以审查加亮的区域并考虑将新装配单元用于返修。在该示例中，系统可以将该检查图像和指令提供给当前容纳新装配单元的光学检查站用于立即渲染给用户(例如，附近的技术员或操作员)，或者将该检查图像和指令提供给链接到用户的移动计算设备(例如，智能手机或平板计算机)用于立即(例如，实时)呈现。
在前述示例中，系统可以另外或替代地发出警报以直接通过光学检查站来拒绝或校正新装配单元，例如触发听觉或视觉警报以在继续装配之前留出新装配单元用于进一步测试或检查。
因此，系统可以实现上述方法和技术以：在新装配单元的新检查图像中提取在针对装配类型、定向和生产阶段而限定的感兴趣区域中的特征；将特征编译成表示在新装配单元上的感兴趣区域的新向量；以及将这些新向量与表示已知结果的过去的装配单元的相似感兴趣区域的向量和/或与和某些已知缺陷相关联的向量簇进行比较，以便计算新装配单元展示一个或更多个已知缺陷的概率。然后，系统可以相应地选择性地提示与新装配单元相关的各种动作。例如，系统可以参考例如由用户定义的一组规则以：如果在新装配单元中的终端缺陷的概率超过相应阈值(例如，60％)，则标记待丢弃的新装配单元；如果在新装配单元中的可返修的缺陷的概率超过相应阈值(例如，40％)，则标记新装配单元用于返修；如果在该生产阶段在新装配单元中的至少一个缺陷的概率超过相应阈值(例如，20％)，则在新装配单元完成时标记新装配单元用于进一步手动检查；以及如果在该生产阶段在新装配单元中的任何已知缺陷的概率小于相应阈值(例如，20％)，则使新装配单元作为可能无缺陷的而通过。
10.异常检测
在图3所示的类似变形中，在接收到新装配单元的新检查图像时，系统可以生成表示新装配单元的新向量，且然后尝试使新向量与表示过去的装配单元的现有向量簇匹配。例如，如上所述，系统可以实现k最近邻分类器以将新向量与最近的现有簇分组在一起。然而，如果从向量到最近的簇的质心的距离超过阈值距离(例如，对于这个簇，偏离平均的向量到质心距离的两个标准偏差)，系统可以将新装配单元标记为异常的。例如，如上所述，系统可以向用户提供检查新装配单元或者在继续它的装配之前留出新装配单元用于测试的提示。
另外或替代地，如果从向量到最近的簇的质心的距离超过阈值距离(例如，对于这个簇，偏离平均的向量到质心距离的两个标准偏差)，则系统可以将k个簇的数量调整“1”，并且重复上述结构化数据分析过程以将“k+1”个簇重新计算为收敛。如果新向量表示在新簇中的唯一向量，则系统可以再次将新装配单元标记为异常的。然而，如果新簇包含新向量和一个或更多个其他向量，系统可以标记新装配单元和与在新簇中的其他向量相关联的装配单元用于进一步测试和检查。
在该变形中，当异常装配单元被这样识别出时，系统也可以实现上述方法和技术以提示用户提供确认该装配单元是否是有缺陷的信息，并相应地标注相应的向量。然后，系统可以运用来自用户的这些反馈以基于未来装配单元在多维特征空间中与该异常装配单元的接近度来预测未来装配单元的相似美学和/或功能结果。因此，随着异常装配单元随着时间的推移被检测出并接着由用户标注，系统可以定期重新计算簇并定义新的簇。
系统可以实现类似的方法和技术以基于表示该新装配单元的向量到最近的簇(例如，到这个最近的簇的质心)的距离来将新装配单元检测为异常的(它可以指示缺陷)，例如不管这个最近的簇是否标注有被包含在该簇中的装配单元向量的结果(result)或结果(outcome)。
10.1阈值化和调整
在该变形中，系统可以实现用于检测异常装配单元的阈值，并且可以基于由用户提供的反馈随着时间的推移来改良这些阈值。
在一个示例中，系统：访问在新装配单元的生产期间由光学检查站记录的新装配单元的新检查图像；检测在新检查图像中的新的特征集合；生成在多维特征空间中表示新的特征集合的新向量；以及如果新向量与最近的向量簇偏离多于预设的低阈值距离，则将新装配单元标记为异常的。在该示例中，如果在多维特征空间中新向量和最近的簇之间的距离超过大于低阈值距离的高阈值距离，则系统可以例如通过光学检查站发出在新装配单元的附加装配之前检查新装配单元以找到缺陷的提示。然而，如果在多维特征空间中新向量和最近的簇之间的距离落在低阈值距离和高阈值距离之间，则系统可以向用户提供在新装配单元完成时(即，而不是立即)手动地检查或测试新装配单元的提示。
系统还可以访问新装配单元的这个另外的检查的结果。例如，最接近表示新装配单元的新向量的第一簇与无缺陷的装配单元相关联，并且如果新装配单元的检查结果指示新装配单元的完整功能，则系统可以：增大用于将装配单元识别为异常的(低)阈值距离；以及重新计算围绕第一簇的边界以包括新向量。类似地，如果新装配单元的检查结果指示特定缺陷的存在，则系统可以修改与该特定缺陷相关联的第二向量簇的边界以包括新向量；系统可以修改用于将装配单元识别为异常的(低)阈值距离，使得这个修正的阈值将这个新向量定位在第二簇中。
然而，系统可以实现任何其他技术或方案以将装配单元识别为异常的，选择性地提示对这些异常装配单元的检查，并基于这样的检查结果来修正用于检测异常装配单元的模型。
10.2异常检查支持
在该变形中，一旦新装配单元被识别为异常的，系统就还可以帮助用户识别在该新装配单元中的异常区域，这可以帮助用户确认在装配单元中的缺陷的存在或缺乏。
在一个实现中，系统隔离展示离与已知结果相关联的附近向量的最大偏差的新向量的主要特征类型(例如，在多维特征空间中的新向量中的特定维)。例如，新向量可以在特征空间中的大部分维中与在附近簇中的向量强烈地对准。然而，在新向量中的少量维中的特征值可能显著偏离在该附近簇中的相同维中的特征值。因此，系统可以将在新装配单元中的该少量维标记为异常的。然后，系统可以：定位包含该少量维中的特征的在新装配单元的新检查图像中的“异常感兴趣区域”；以及将新检查图像提供给用户门户且异常感兴趣区域被加亮或以其他方式被指示，从而将注意力吸引到新装配单元的异常的区域。然后，用户可以基于对所注释的检查图像的视觉检查来提供关于在该异常感兴趣区域中的缺陷的存在的反馈；替代地，用户可以参考所注释的检查图像来指导新装配单元的拆除、测试或其他物理检查。
在该变形中，系统还可以实现上述方法和技术以按照离表示已知结果的向量簇的偏差的强度来对新装配单元进行排序。例如，在检测到由偏离已建立的向量簇的向量表示的装配单元集合时，系统可以：根据离它们的最近的簇的距离(或者根据离特定簇的距离)来对该装配单元集合进行排序；以及然后根据(例如，在不同于光学检查站的计算设备上执行的)排序来向用户门户提供检查这些装配单元的一系列提示。在以等级的顺序从用户接收到检查结果之后，系统可以重新计算在特征空间中的向量簇并相应地改进它对异常向量的评估。
然而，该系统可以以任何其他方式向用户呈现表示异常装配单元的视觉数据。
11.缺陷的特征预测
在图2所示的另一变形中，方法S100包括：用在装配单元集合中的与簇集合中的第一簇中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注该第一簇；基于在装配单元集合中的与该簇集合中的第二簇中的向量相关联的第二装配单元子集的检查结果来用缺陷的缺乏标注该第二簇；在块S160中识别在第一簇中的向量共有的并且从第二簇中的向量排除的模型特征集合；以及在块S162中将模型特征集合与缺陷关联起来。通常，在该变形中，系统实现与上面所述的方法和技术类似的方法和技术以隔离指示在装配类型的装配单元中的缺陷模式的特征。
在一个实现中，系统在块S150中将表示以前在装配线上生产的装配类型的装配单元的一群向量分组为(例如，两个或更多个)簇的集合。然后，系统检索这些装配单元的现有结果数据和/或与用户通过接口连接以将这些装配单元的代表性子集的结果投射到包含这些代表性装配单元的向量的簇上。例如，对于在特征空间中如此识别出的第一向量簇，系统可以：选择代表第一簇(例如，靠近第一簇的质心)的第一向量；经由用户门户向用户提供检查由第一向量表示的第一装配单元以找到缺陷的第一提示；以及然后响应于接收到指示在第一装配单元中的特定缺陷的存在的第一检查结果而用特定缺陷标注第一簇。系统可以实现类似的方法和技术以：选择代表在特征空间中的不同于第一簇的第二簇(例如，接近第二簇的质心)的第二向量；向用户提供检查由第二向量表示的第二装配单元以找到缺陷的第二提示；以及然后响应于接收到排除在第二装配单元中的特定缺陷的指示的第二检查结果而用特定缺陷的缺乏来标注第二簇。因此，第一和第二簇可以表示分别预测特定缺陷的存在和缺乏的一个或更多个维上的特征。
然后，系统可以实现与上面所述的方法和技术类似的方法和技术以隔离在第一簇中的并且展示离第二簇中的向量的显著偏差的向量的主要特征类型特性。例如，系统可以：计算代表第一簇的第一合成向量(例如，在第一簇中的向量的平均值)，第一合成向量可以包含表示特定缺陷的特征；以及计算第二簇的第二合成向量，第二合成向量可以包含表示特定缺陷的缺乏的特征。在该示例中，第一合成向量可以在特征空间的大部分维中与第二合成向量强烈地对准(例如，包含与第二合成向量相似的特征值)。然而，在第一合成向量中的少量维中的特征值可能显著偏离在第二合成向量中的相同维中的特征值。因此，系统可以将该少量维标记为展示与特定缺陷的强相关性。
然后，系统可以：自动定位包含该少量维中的特征的在表示第一簇的第一装配单元的第一检查图像中的感兴趣区域；以及将该第一检查图像提供给用户门户且异常感兴趣区域被加亮或以其他方式指示，从而将注意力吸引到第一装配单元的可能是特定缺陷的源的区域。然后，用户可以基于对这个所注释的检查图像的视觉检查来提供关于在第一装配单元的第一检查图像中的该感兴趣区域中的缺陷的存在的反馈；替代地，用户可以参考所注释的检查图像以指导第一装配单元的拆除、测试或其他物理检查，以确认在这些隔离维中的特征是否展示与特定缺陷的强相关性。然后，系统可以在块S162中基于该反馈来更新或修改这一小组维和特定缺陷之间的相关性，以便构建预测特定缺陷的模型。
此外，在从用户确认在第一装配单元中的该感兴趣区域展示了特定缺陷或者可能以其他方式促成特定缺陷以前，系统可以提示对在第一和第二簇中及周围的附加装配单元的选择性检查，以便进一步改进预测特定缺陷的特征和/或维。在前述示例中，系统可以：识别在第一簇中的向量共有的并且从第二簇中的向量排除的第一特征(例如，在第一维中的值或值范围)和第二特征(例如，在第二维中的值或值范围)。然后，系统可以：识别表示第三装配单元、包含第一特征并且排除第二特征的第三向量；生成检查第三装配单元以找到特定缺陷的提示；以及然后如果用户因此确认来自第三装配单元的特定缺陷的缺乏，则将第一特征与缺陷解除关联。因此，系统可以选择以特征的某些组合表征的关键装配单元，发出选择性地标注这些装配单元或针对这些装配单元提供反馈的提示，且然后基于来自一个或更多个用户的该最小目标输入来为特定缺陷(或一组已知缺陷)构建鲁棒模型。
然后，系统可以运用该模型和过去和/或未来的装配单元的检查图像来识别极有可能展示特定缺陷的装配单元，且然后提供相应地检查(或剔除或返修)这些装配单元的智能提示。例如，系统可以：接收由光学检查站记录的新装配单元的新检查图像；检测在新检查图像中的新的特征集合；以及然后响应于该新的特征集合与这样与特定缺陷相关联的模型特征集合近似，向例如光学检查站或在光学检查站附近的本地计算设备提供(接近)实时地检查新装配单元以找到特定缺陷的提示。
系统可以实现类似的方法和技术以使在特征空间中的两个或更多个不同的向量簇之间的差异与各种肯定和否定的结果关联起来，并相应地构建代表性特征集合的模型。
11.1示例：天线故障模型
在一个示例中，一批装配单元被装配；在测试期间，该批中的第一装配单元集合被确定为展示天线故障，并且该批中的第二装配单元集合被确定为展示适当的天线功能。在该示例中，系统：在块S120、S122和S124中从这些装配单元的检查图像生成向量；检索这些装配单元的天线测试数据；在块S140中用它的相应装配单元的天线功能标记每个向量；以及在块S130中实现结构化数据分析技术以将这些向量分组为两个(或更多个)簇。系统然后：识别表示在第一集合中的所有或一些装配单元的第一向量簇；识别表示在第二集合中的所有或一些装配单元的第二向量簇；识别包含第一簇中的向量但与第二簇中的向量不相交(即，不包含第二簇中的向量)的第一特征范围集合；以及使第一特征范围集合与天线故障关联起来。例如，系统可以实现支持向量机以定义第一特征范围集合，第一特征范围集合包括：从第一或第二簇中完全缺失的特征(例如，紧固件、嵌条、迹线、电路部件)；一定范围的部件间距；一定范围的相对部件方向；和/或一定范围的特征几何形状(例如，形状、长度、轮廓、表面光洁度等)；等等。
因此，在第一集合中的特征范围的全部或子集的组合可以指示或预测在这个生产阶段在这种类型的装配单元中的天线故障。特别地，系统可以将从自缺陷的和完好的装配单元的检查图像提取的大量(例如，“n”个)特征中过滤出的特征范围的特定子集链接到特定缺陷。然后，系统可以响应于第一特征范围集合包含表示该第二装配单元的向量而预测在第二装配单元中的类似缺陷。
类似地，在前述示例中，系统可以：识别包含第二簇中的向量但与第一簇中的向量不相交(即，不包含第一簇中的向量)的第二特征范围集合；以及将第二特征范围集合与适当的天线功能关联起来。因此，系统可以将来自从缺陷的和完好的装配单元的检查图像提取的大量特征中的特征的特定子集链接到在该生产阶段的这种类型的装配单元的适当美学条件或适当功能。然后，系统可以响应于第二特征范围集合包含表示该第二装配单元的向量而预测在第二装配单元中的适当美学条件或功能。替代地，如果第二特征范围集合未能包含第二向量的一些或很多，则系统可以预测该第二装配单元的类似故障，但还提示工程师检查该第二装配单元的选定区域，在选定区域中第二装配单元的这些特征落在第二特征范围集合之外。
在该变形中，通过定义第一特征范围集合，系统可以将表示装配单元的特征的总数一直过滤到可能指示功能或美学缺陷的少得多的数量的特征；将特征的数量一直减少到由人可消化的数量使系统能够收集例如以关于在该集合中的哪些特征范围促成故障的假设的形式和/或以这些特征范围的标签(例如，“零件缺失”、“断裂的迹线”、“定向错误的电气部件”等)的形式的来自用户的反馈。
在一个实现中，系统：选择对应于代表第一簇的向量的第一检查图像；加亮在第一检查图像中的对应于第一特征范围集合的特征；通过用户门户的实例向用户提供第一检查图像；以及提示用户手动地选择和标注这些加亮的特征。在前面的示例中，系统可以：提示用户手动地选择她预测为在相应装配单元中的天线故障的根本原因的加亮特征。
特别地，在前述示例中，通过识别展示天线故障的装配单元所共有的但不是展示适当天线功能的装配单元的特性的第一特征范围集合，系统可以将大量(例如，数千个或“n”个)特征一直过滤到展示表示在该装配件中的天线的缺陷模式的更大可能性的明显更少数量的特征。通过提示用户审查这个小得多的特征集合或审查包含这些特征的范围的谱的检查图像，系统可以使用户能够相对快速地识别或预测在第一装配单元集合中的天线故障的根本原因，并相应地标注这些特征和/或检查图像。然后，系统可以通过识别对应于这些装配单元的向量并展示在上面所述的第一特征范围集合内的特征来以高准确度并且在这些装配单元中的天线被电子地测试之前自动识别在同一批中或在其他批中的可能展示类似的天线缺陷模式的其它装配单元。
11.2用户门户+UX
在该变形中，系统还可以：选择代表离散簇集合中的每个簇的向量中的一个向量或子集；检索对应于这些向量中的每个向量的一个检查图像；通过用户门户来将这些检查图像并行或串行地提供给用户用于审查；提示用户在这些检查图像中标注用户判断、预期或假设促成这些单元的一个方面的完备和故障的具体特征；以及基于这些用户提供的标签来构建和改进关于特征的分类器。
在前述示例中，系统可以：检索对应于表示被标注有天线故障、足够的天线功能、优越的天线功能和/或其他天线相关结果的簇的向量的检查图像；通过公共特征(例如，PCB角、外壳边缘等)使这些检查图像对准，例如在美国专利申请第15/407,158号中所述的；以及通过用户门户向用户提供这些检查图像。然后，用户可以：在用户门户内滚动浏览这些检查图像以辨别在由这些检查图像表示的装配单元之间的视觉差异；在这些检查图像之一或这些检查图像集合中选择用户判断、预期或假设促成了跨越这些装配单元的天线故障和/或完备的区域，例如通过在检查图像的该区域周围画虚拟框或通过在检查图像的该区域上放置标志(pointer)(例如，标志旗(flag))来选择；以及然后输入链接该区域的手动标签或指示天线功能的标志。在该实现中，系统然后可以将被包含在该选定区域内的特征或与用户定义的标志相交的特征与该装配类型的已完成装配单元的已知天线功能结果关联起来。因此，系统可以：收集与表示被标注有特定功能或美学(例如，天线功能、按钮功能、摄像机功能、电池寿命、美学表面质量等)的不同结果的不同簇的向量相关联的一组检查图像；将这些检查图像串行或并行地提供给用户；以及从用户接收在这些检查图像内的对应于这些功能或美学结果(例如，天线是否起作用、按钮是否起作用、摄像机是否起作用、装配单元是否展示适当的电池寿命、紧固件是否存在、两个特征的相对位置是否落在可接受的界限内部或外部，等等)的区域的手动指示。然后，系统可以训练分类器以将这些功能或美学标签与跨越这组检查图像从这些区域提取的或者在由用户定义的这些标志附近提取的绝对(例如，二元)或相对(例如，谱)特征关联起来。
在另一实现中，系统可以：收集与表示不同簇的向量相关联的一组检查图像；以及然后加亮在这些检查图像的每个中的包含与在这些向量之间的差异相关(例如，表示在这些向量之间的差异)的特征的区域。例如，系统可以在这些检查图像的这些区域上插入彩色框，并且通过在这些检查图像中共享的公共视觉特征(例如，一条边、两个角)来定位这些框。替代地，当用户在用户门户内滚动浏览这些检查图像时，系统可以将这些检查图像裁剪到这些区域或者自动缩放到这些区域内。如上所述，系统因此可以使这些检查图像对准，并通过用户门户来将这些检查图像提供给用户。当用户在用户门户内查看这些检查图像(例如，串行地)时，用户可以手动地用某些功能或美学结果(例如“天线故障”、“足够的天线功能”、“优越的天线功能”、“缺失紧固件”、“紧固件完好无损”、“正确的部件对准”、“部件旋转超过可接受的公差”或“部件偏移超过可接受的公差”等)来标注在选定检查图像中的区域。然后，系统可以训练分类器以将这些功能或美学结果与跨越这组检查图像从由用户定义的这些区域提取的绝对或相对特征关联起来。
在前述实现中，系统还可以实现分类器以自动限定被预测为与某些已知结果(例如，二元结果，例如紧固件的存在，或者谱结果，例如在影响特定功能的两个部件之间的偏移的程度)相关的检查图像的区域，并将所预测的结果标签写到这些检查图像的这些区域。然后，系统可以将具有被加亮或裁剪的这些区域的这些检查图像提供给用户，用于确认这些所预测的结果标签；然后，系统可以相应地更新或改进分类器。
在另一实现中，系统可以收集展示跨越特征值的范围(即，“谱”)的特征的一组检查图像。例如，系统可以聚集对应于在特征维的一个维或子集中跨越两个簇的向量的一组检查图像。然后，系统可以：加亮或裁剪这些检查图像中的包含对应于特征维的这个子集的特征的区域；如上所述，通过公共特征来使这些检查图像的这些区域对准；以及通过用户门户例如以特征值(例如，长度)的顺序来将这些对准的图像区域串行地提供给用户。当在用户门户内按顺序滚动浏览这些图像区域时，用户可以标注或标定：这些图像区域的序列，在该序列中在装配单元上的所表示的区域是在规定公差内的；这些图像区域的另一序列，在该序列中在装配单元上的所表示的区域是不在规定公差内的；和/或这些图像区域的序列，在该序列中，在装配单元上的所表示的区域是接近规定公差的，但是需要进一步的测试或检查以确认功能。基于由用户这样提供的标签，系统可以将表示在规定公差内的装配单元的向量簇与表示在规定公差外的装配单元的向量簇区分开。然后，系统可以基于未来装配单元的代表性向量与簇的接近度来预测在未来装配单元中的该功能的完备。
11.3受监督的机器学习
在前述实现中，系统可以通过选择和封装代表性装配单元的图像数据来帮助用户提供监督；然后，系统可以实现受监督的机器学习技术以开发用于随着时间的推移使从装配单元的检查图像提取的特征与某些功能和/或美学结果相关联的分类器(例如，模型)。
系统还可以更新(或“训练”)上述特征分类器以将更大的权重或优先级置于在第一特征范围集合中表示的特征的检测和提取上，以便增加系统对检测由这个第一特征范围集合表示的缺陷的灵敏度。
此外，系统可以实现类似的方法和技术以将与特定缺陷相关联的向量的其他离散簇与该缺陷的其他缺陷模式链接起来，并且定义关于这些其他缺陷模式的特征范围的集合。
当用户(或多个用户)输入反馈并标注装配单元的完好和缺陷时和/或当测试数据被生成时，系统可以重复前述方法和技术以重新计算向量簇，识别在由这些向量表示的装配单元的完好和缺陷上的趋向，并相应地优化被分配给这些簇的完好和缺陷标签，以便改进在新装配单元中对已知缺陷的实时预测并基于这些装配单元的检查图像来改进在现有装配单元中对新识别的缺陷的异步检测。
11.4预测缺陷缺乏的特征
在类似的变形中，系统可以：用在装配单元集合中的与在簇集合中的第一簇中的向量相关联的第一装配单元子集的检查结果中指示的缺陷来标注该第一簇，该缺陷对应于特定装配类型的特定功能；基于在装配单元集合中的与在该簇集合中的第二簇中的向量相关联的第二装配单元子集的检查结果来用缺陷的缺乏来标注该第二簇；识别在第二簇中的向量共有的并且从第一簇中的向量排除的模型特征集合；以及将模型特征集合与特定装配类型的特定功能的正确操作关联起来。
特别地，在该变形中，系统可以实现与上述方法和技术类似的方法和技术以覆盖在特征空间中的少量维中的特征值(或特征范围)，这些特征值(或特征范围)展示与在装配单元中的一个或更多个已知缺陷的缺乏的强相关性。
12.产量保护：漂移检测
在图6所示的一个变形中，系统在块S170中在多个维上跟踪在向量位置上的趋向，以便预测在装配单元的生产期间的产量上的变化。特别地，通过生成表示随时间的推移生产的装配单元的多个特征的多维向量并相对于表示已知结果的装配单元的过去向量来外推在这些向量中的趋向，系统可以识别在生产阶段随着时间的推移在装配单元中的某些特征(例如，尺寸、公差、几何形状等)的漂移。如果遗留未解决，则这种漂移可能最终导致有缺陷的装配单元以及在装配线上的产量降低。因此，当系统随着时间的推移在更高的置信度水平下检测到这种漂移时，系统可以在这种漂移导致产量降低之前发出检查装配件的关键部分以找到这种漂移的源的提示。
12.1朝向已知缺陷的漂移
在一个实现中，系统：在块S124中从在第一时间段内装配的第一装配单元集合的检查图像的第一序列生成第一向量集合；在块S130中将该第一向量集合分组为簇集合；以及在块S140中基于由被包含在该集合中的第一簇中的第一向量表示的第一装配单元的已知结果来用特定缺陷标注该第一簇，如上所述。然后，系统可以：访问相同装配类型的且在第二时间段(例如，在第一时间段之后的最后一小时、一天、一周或一个月)内生产的第二装配单元集合的带时间戳的检查图像的第二序列；从检查图像的该第二序列生成带时间戳的向量的第二集合；以及在块S170中计算在该第二时间段内该第二向量集合朝向与特定缺陷相关联的第一簇的趋向的强度。如果系统因此识别出随着时间的推移朝向第一簇的趋向(例如在第二时间段内这些最近的向量朝向第一簇的强趋向而不是在最近的向量和第一簇之间的距离的随机分布)，则系统可以预测在通向记录这些检查图像的光学检查站的装配线上的制造漂移，并提示用户(例如，制造工程师、装配线技术员等)检查装配线上在该光学检查站之前的区段以找到漂移的根本原因。因此，系统可以在出现展示特定已知缺陷的装配单元的频率增加之前通知用户沿着装配线朝向这个特定缺陷的特征特性的制造漂移。
在一个示例中，系统可以实现前述方法和技术以生成关于在生产运行期间从光学检查站接收的新装配单元的每个后续检查图像的向量。然后，系统可以实现k最近邻分类器以在下列项之一中定位新向量：与缺陷的实现相关联的第一簇；和与缺陷的避免相关联的第二簇。然后，系统可以：计算表示这些新向量在特征空间中的位置的时间多维趋向线；确定趋向线是否指向第一簇(朝向与另一缺陷相关联的另一簇，和/或远离第二簇)；以及从趋向线提取漂移朝向第一簇(朝向与另一缺陷相关联的另一簇，和/或远离第二簇)的速率。如果该趋向线指向第一簇(或以其他方式远离第二簇)，如果漂移速率超过阈值速率(例如，每装配单元的阈值漂移距离)，和/或如果趋向线离在特征空间中的第一簇的边界(或离质心)达到了阈值距离，则系统可以标记装配线用于检查，例如正好在记录这些检查图像的光学检查站之前的装配线的区段。
基于该标志旗，工程师或操作员然后可以检查装配线或生产过程以找到产生朝向与该缺陷相关的特征的这个漂移的变化。因此，系统可以在生产问题影响在装配线处的产量之前警告和/或帮助工程师或操作员发现和校正这些问题。随着时间的推移，系统可以对表示在相同生产阶段的这个相同装配类型的新装配单元的且在相同的定向上成像的每个新检查图像重复该过程。例如，系统可以：导出表示在装配线上完成的数百个、数千个或数百万个装配单元中的肯定和否定结果的簇；检测在装配线上生产的数十个或数百个新装配单元中存在的特征(或特征值)上的漂移；以及通知在装配线处或加入装配线的用户在最近的装配单元的相对小的序列上检测到的这种漂移。
因此，系统可以：计算在一段时间内表示装配单元的最近序列的第二向量集合远离与肯定结果(例如，任何缺陷的缺乏或特定缺陷的缺乏)相关联的第二簇和/或朝向与否定结果(例如，一个或更多个缺陷的存在)相关联的第一簇的漂移速率；以及然后响应于该漂移速率超过当前阈值而生成检查装配线的通知或提示。系统还可以通过下列项来计算对装配线的检查的紧迫性：基于(例如，正比于)这些向量从第二簇向外和/或朝向第一簇的漂移速率；基于(例如，反比于)表示最近的装配单元的向量与第一簇的边界的接近度；和/或基于(例如，反比于)在这些最近的向量和趋向线之间的方差的残差；等等。然后，系统可以将这个紧迫性的定量或定性指标包括在提示中，以便向用户指示在产量的下降出现之前可能需要多么快地处理装配线。
在与上面的示例类似的示例中，对于针对在特定生产阶段中的装配件定义的特定缺陷模式(例如，功能或美学要求等)，如上所述，系统可以定义和存储与这个缺陷模式的避免相关的一组特征范围。(如上所述，系统可以另外或替代地定义和存储与这个缺陷模式的实现相关的范围或一组特征范围。)在该示例中，当在该相同生产阶段中的每个后续装配单元的检查图像随着时间的推移被接收到时，系统可以：从检查图像提取这些(和其他)特征；基于这些特征来生成新的向量；相对于过去的向量来定位新向量；以及计算在新向量和过去向量随着时间的推移在多个(例如，“n个”)维上的位置中的趋向。特别地，系统可以在对应于一系列装配单元的一系列检查图像上处理这些特征的存在和尺寸，以确定这些特征中的任何一个是否趋向于与这个缺陷模式的避免相关的可接受范围的边界。(类似地，系统可以确定这些特征中的任何一个是否趋向于与这个缺陷模式的实现相关的范围。)如果是，则系统可以标记装配线或标记与该功能或美学要求相关的生产过程。)
12.2漂移校正确认
在该变形中，系统还可以确认在块S170中发出漂移的通知之后沿着装配线(或在装配线的上游)的变化导致这个检测到的漂移的校正或减小。特别地，通过重复前述方法和技术，系统可以检测：以前趋向的反转，该反转使得表示新装配单元的向量往回趋向于与肯定结果相关联的簇；朝向与否定结果相关联的簇的以前趋向的速率的降低；或者以前趋向的消除且返回到表示在与肯定结果相关联的簇中和周围的新装配单元的(大多数)向量的随机分布。
例如，如上所述，系统可以在块S170中响应于检测到在一段时间内表示装配单元的第二序列的第二向量集合朝向与否定结果相关联的第一簇的强烈趋向而生成检查在沿着装配线的光学检查站之前的生产的提示。之后，系统可以：访问由光学检查站在下一时间段内记录的后续装配单元集合的检查图像的第三序列；检测在每个新检查图像中的特征，并将这些特征变换成表示后续装配单元集合的向量；以及响应于检测到在该时间段内该第三向量集合朝向第一簇的微弱趋向而确认在光学检查站之前的装配线的区段的校正。
当这种趋向校正被这样检测到时，系统可以清除校正装配线的提示或通知。然而，系统可以实现任何其他方法或技术以确认装配线的这种校正和做出响应。
12.4漂移离开已知缺陷缺乏
在类似的变形中，系统可以实现类似的方法和技术以检测在表示最近的装配单元的向量当中远离与肯定结果相关联的簇(即，而不是必须朝向与否定结果相关联的簇)的趋向和做出响应。
在一个实现中，系统：计算与肯定结果(例如，没有检测到的缺陷或者没有检测到的终端缺陷)相关联的簇的质心；计算在特征空间中在表示新装配单元的向量与该质心之间的距离；以及然后计算这个距离随着时间的推移在这个向量序列中的变化速率。如果该变化速率是正的，如果该变化速率超过阈值速率，和/或如果这些距离在最近的向量序列上的平均值超过阈值距离，则系统可以确定在装配线上的生产大致上趋向于远离具有肯定结果的装配单元(即使在装配线上的产量没有改变)，以及然后在块S170中相应地生成检查装配线的提示。
13.设计工具
在另一变形中，系统引导用户识别：产出完好单元的特征的相对尺寸(例如，“几何尺寸”)和/或尺寸变化(即，“公差”)；以及产出有缺陷的装配单元的特征的其他相对尺寸和/或尺寸变化。通常，系统可以运用如上所述的被标注的向量、相似向量的簇以及表示这些簇的特征集合来关联避免已知缺陷的一装配类型的真实特征的真实尺寸和公差。特别地，通过将装配单元表示为包含相对大数量的独特特征的且通常没有对这些特征的上下文的偏见(bias)或理解的多维向量，系统可以快速提取更深、更高阶的对特征预测缺陷的洞察以及仍然产出完好的装配单元的这些特征的范围。然后，系统可以自动地或者在用户的帮助下将这些特征范围变换成装配件的尺寸和公差建议，以便降低生产成本和/或增加产量。
在一个实现中，系统例如通过实现上述方法和技术来表征包含被标注为完好的向量簇(即，满足所有美学和功能要求)的特征范围集合。例如，系统可以隔离表示特征范围集合的检查图像的区域，通过公共特征来使这些检查图像的这些区域对准，通过用户门户串行地呈现这些图像区域，并允许用户按顺序滚动浏览这些图像区域，从而在视觉上向用户指示仍然产出完好的装配单元的特征的尺寸、轮廓和定向等的范围。系统可以进一步将这些特征范围变换成对应于在这种类型的装配件中的单独特征和特征组(或“一堆特征”)的真实标称距离、角度、轮廓和公差。替代地，系统可以使用户能够选择用于测量提取的特征(例如，在两个角或两条边之间的距离或角度)，并且系统可以从图像区域提取尺寸范围(或标称尺寸和公差)，例如在美国专利申请第15/407,158号中所述的。然后，用户(例如，工程师)可以相应地对于该装配类型调整在该特征的预定尺寸上的标称尺寸和/或公差。例如，如果系统从完好的装配单元的向量簇确定在标称距离的1毫米内和在标称角度的5°内的在装配类型中的两个部件(由多个特征表示)的位置仍然产出完好的产品，而这些尺寸最初分别被指定为0.1毫米和1°的公差，则系统可以引导用户放宽在这两个部件的相对(例如，几何)位置上的这些公差，这可以减小关于这个装配类型的产品成本而不显著降低产量。相反，如果系统从完好的装配单元的向量簇确定超出标称距离多于0.1毫米和离标称角度多于1°的在装配类型中的两个部件(由多个特征表示)的位置产出有缺陷的产品，而这些尺寸最初分别被指定为0.2毫米和2°的公差，则系统可以引导用户收紧在这两个部件的相对位置上的这些公差，以便提高产量。系统可以实现类似的方法和技术以引导用户调整针对装配的类型而指定的标称尺寸。
类似地，系统可以帮助用户(或机器)改进装配类型的几何尺寸。例如，由系统识别的预测完好的装配单元的特征范围集合可以定义二阶特征(例如包括在两个离散特征之间的相对距离、角度或轮廓)的可接受范围。系统可以指示在实现完好的装配单元时在这两个特征之间的相对距离、角度或轮廓等的重要性；以及用户可以定义基准并相应地设置从该基准到装配件的另一特征的尺寸，例如以提高产量。
在系统开发了预测缺陷的存在或缺乏的模型特征集合的上面的变形中，系统可以：检测在模型特征集合中的特定特征的第二范围，该第二范围在与肯定结果相关联的第二向量簇中被表示并且不同于在与否定结果相关联的第一向量簇中表示的对应特征的第一范围；以及将在模型特征集合中的特定特征的第二范围与肯定结果(例如，在第一簇中表示的装配单元中是有缺陷的特定功能的充分操作)关联起来。然后，系统可以：识别表示特定特征的该范围的在第二簇中的现有向量的子集；定位在与向量的这个子集对应的装配单元的检查图像的子集中的特定特征；将在检查图像的这个子集中特定特征的位置的差异转换成尺寸；以及然后将该尺寸存储为在这种类型的装配单元的该区域中的制造公差。替代地，系统可以经由用户门户(例如按顺序或以组合图像)向用户提供检查图像的这个子集，并且用户可以从这些检查图像手动地提取特定特征的尺寸范围(例如，“公差”)。然后，用户可以更新工程制图或装配规范等以反映出该尺寸范围，例如通过收紧或放宽装配规范以反映因而与在装配线上生产的装配单元的肯定结果相关的该尺寸范围。
因此，系统可以引导用户调整装配件的尺寸和公差规范，以便例如在第一批30个装配单元被生产之后或者甚至在30M个装配单元被生产之后，基于从过去的装配单元的检查图像提取的特征和在生产期间关于这些装配单元的相关测试数据来增加产量和/或降低生产成本。
系统可以实现类似的方法和技术以引导用户理解被分配给单独特征和特征组的尺寸和公差对缺陷的发生率的影响。例如，当设计新装配件(在该新装配件中特定缺陷是可设想的)时，工程师可以与系统通过接口连接以聚集在以前装配件中预测该特定缺陷的特征范围集合，以便确定可能在新装配件的生产中避免该特定缺陷的尺寸、公差和基准。因此，系统可以实现这些方法和技术以为工程师、装配线操作员、装配工人等提供生产管理工具和新的设计工具。
14.子簇
在一个变形中，系统可以实现前述方法和技术以识别和标注在一个向量簇内的向量子簇(以及识别和标注在一个向量子簇内的向量子子簇，等等)。例如，高级(high-level)簇可以由在装配单元之间的巨大差异(例如，在装配单元内大部件的存在或缺乏)主导(dominate)，尽管相关的变化也可以存在于由在簇内的向量表示的装配单元内，并且这些变化可以指示这些装配单元的某些功能和/或美学方面的完备或故障。因此，系统可以：实现上述方法和技术以在从随着时间的推移经过光学检查站的装配单元的检查图像生成的向量集合中区分出包含展示大规模差异的向量的两个或更多个第一级簇；在该第一级簇的集合中选择特定的簇；以及然后重复前述方法和技术以在特定簇内区分出包含展示较小规模差异的向量的两个或更多个第二级簇。然后，系统可以检测或预测故障，探索在故障与标称尺寸和在这些尺寸上的公差之间的关系，和/或检测由被包含在这些第二级簇中的向量表示的装配单元之间的异常，等等，如上所述。
15.同时的装配线跟踪模式
系统还可以同时实现方法S100的前述变形中的一些变形或全部以检测在过去的装配单元中的缺陷，检测在新单元中的缺陷，表征预测肯定和/或否定结果的特征，和/或检测在较长时间尺度内在装配线上生产的装配单元的特征的漂移，并向各种用户选择性地告知缺陷、特征和/或趋向或帮助他们。例如，系统可以同时执行本文描述的实时产量保护、实时异常检测、缺陷传播和趋向检测技术。
本文描述的系统和方法可以至少部分地被体现为和/或实现为被配置成容纳存储计算机可读指令的计算机可读介质的机器。指令可以由与应用、小应用程序、主机、服务器、网络、网站、通信服务、通信接口、用户计算机或移动设备的硬件/固件/软件元件、腕带(wristband)、智能电话或它们的任何合适的组合集成的计算机可执行部件来执行。实施例的其他系统及方法可以至少部分地被体现和/或实现为被配置成容纳存储计算机可读指令的计算机可读介质的机器。指令可以由通过与上述类型的装置和网络集成的计算机可执行部件而集成的计算机可执行部件来执行。计算机可读介质可以被存储在任何合适的计算机可读介质例如RAM、ROM、闪存、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的设备上。计算机可执行部件可以是处理器，但任何合适的专用硬件设备可以(替代地或另外)执行指令。
如本领域中的技术人员将从前面的详细描述中以及从附图和权利要求中认识到的，可以对本发明的实施例做出修改和变化而不偏离如在所附权利要求中限定的本发明的范围。

Claims (20)

1.一种用于预测制造缺陷的方法，所述方法包括：
●访问在第一时间段内在特定装配类型的第一装配单元集合的生产期间由光学检查站记录的所述第一装配单元集合的第一检查图像序列；
●对于在所述第一检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第一向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述第一向量集合中的邻近向量分组到向量组集合内；以及
●基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元中的缺陷的第一检查结果，用所述缺陷来标注所述第一向量组；
●访问在所述第一时间段之后的第二时间段内在所述特定装配类型的第二装配单元集合的生产期间由光学检查站记录的所述第二装配单元集合的第二检查图像序列；
●对于在所述第二检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第二向量集合中的在多维特征空间中表示所述特征集合的向量；以及
●响应于所述第二向量集合在所述第二时间段内趋向于所述第一向量组，生成检查在所述光学检查站之前的生产的提示。
2.根据权利要求1所述的方法：
●还包括基于指示在所述第一装配单元集合中的与所述第二向量相关联的第二装配单元中的缺陷的缺乏的第二检查结果，而用所述缺陷的缺乏来标注在所述第一向量组集合中的第二向量组；
●其中，生成检查在所述光学检查站之前的生产的所述提示包括：
○计算在所述第二时间段内在所述多维特征空间中所述第二向量集合从所述第二向量组朝向所述第一向量组的漂移速率；以及
○响应于所述漂移速率超过阈值而生成检查所述特定装配类型的生产的所述提示。
3.根据权利要求2所述的方法，其中，生成检查在所述光学检查站之前的生产的所述提示包括：
●基于所述第二向量集合从所述第二向量组朝向所述第一向量组的所述漂移速率来计算检查在所述光学检查站之前的装配线的区段的紧迫性；
●生成指示所述紧迫性的提示；以及
●向与所述装配线相关联的计算设备提供所述提示。
4.根据权利要求1所述的方法：
●其中，生成检查在所述光学检查站之前的生产的所述提示包括响应于检测到在所述第二时间段内所述第二向量集合朝向所述第一向量组的强趋向而生成所述提示；以及
●还包括：
○访问在所述第二时间段之后的第三时间段内在所述特定装配类型的第三装配单元集合的生产期间由所述光学检查站记录的所述第三装配单元集合的第三检查图像序列；
○对于在所述第三检查图像序列中的每个检查图像：
■检测在所述检查图像中的特征集合；以及
■生成在第三向量集合中的在所述多维特征空间中表示所述特征集合的向量；以及
○响应于检测到在所述第三时间段内所述第三向量集合朝向所述第一向量组的弱趋向，确认在所述光学检查站之前的生产的校正。
5.根据权利要求4所述的方法：
●其中，标注所述第一向量组包括：
○选择代表所述第一向量组的第一向量；
○经由用户门户向用户提供检查所述第一装配单元以找到缺陷的第一提示；以及
○响应于接收到指示在所述第一装配单元中的所述缺陷的所述第一检查结果而用所述缺陷来标注所述第一向量组；以及
●其中，标注所述第二向量组包括：
○选择代表所述第二向量组的第二向量；
○经由所述用户门户向所述用户提供检查所述第二装配单元以找到缺陷的第二提示；以及
○响应于接收到不包括在所述第二装配单元中的所述缺陷的指示的所述第二检查结果而用所述缺陷的缺乏来标注所述第二向量组。
6.根据权利要求1所述的方法：
●其中，检测在所述第一检查图像序列和所述第二检查图像序列中的特征集合包括，对于在所述第一检查图像序列和所述第二检查图像序列中的每个检查图像：
○将所述检查图像分成图像片段集合；
○选择在所述图像片段集合中的对应于感兴趣的装配单元区域的图像片段子集，所述感兴趣的装配单元区域与在沿着装配线布置的一组光学检查站中的所述光学检查站相关联；
○对于在所述图像片段子集中的每个图像片段，从所述图像片段中提取特征子集；以及
○将从所述图像片段子集提取的特征子集编译成在所述检查图像中的所述特征集合；以及
●其中，生成检查所述特定装配类型的生产的所述提示包括生成检查所述特定装配类型的生产以找到在所述光学检查站和沿着所述装配线在所述光学检查站之前的第二光学检查站之间的趋向的源的提示。
7.根据权利要求6所述的方法，还包括：
●在计算设备上执行的用户门户处：
○渲染所述第一装配单元的所述第一检查图像：以及
○经由所述用户门户接收对在所述第一检查图像的子集中的感兴趣区域的手动选择，在所述第一检查图像中的所述感兴趣区域由用户预测为描绘在所述第一装配单元中的所述缺陷的源；以及
●以与所述光学检查站相关联的形式来存储所述感兴趣区域。
8.根据权利要求1所述的方法：
●其中，访问所述第一装配单元集合的所述第一检查图像序列包括访问数百个装配单元的所述第一检查图像序列；
●其中，访问所述第二装配单元集合的所述第二检查图像序列包括访问数十个装配单元的所述第二检查图像序列；以及
●其中，生成所述提示包括响应于与所述数十个装配单元对应的所述第二向量集合在所述第二时间段内趋向于表示所述数百个装配单元的所述第一向量组而生成所述提示。
9.根据权利要求1所述的方法，还包括：
●接收在所述第一时间段之后的第三时间由所述光学检查站记录的第三装配单元的第三检查图像；
●检测在所述第三检查图像中的第三特征集合；
●生成在多维特征空间中表示所述第三特征集合的第三向量；以及
●基于在所述多维特征空间中的所述第三向量与所述第一向量的接近度而在大约所述第三时间向用户门户提供检查所述第三装配单元以找到所述缺陷的第二提示。
10.根据权利要求1所述的方法，还包括：
●选择在所述第二向量集合中的在所述多维特征空间中最接近所述第一向量组的第二向量；
●生成检查与所述第二向量相关联的第二装配单元以找到所述缺陷的第二提示；以及
●响应于接收到指示在所述第二装配单元中的所述缺陷的缺乏的第二检查结果而输出对在所述第二装配单元集合中的装配单元中的所述缺陷的缺乏的预测。
11.一种用于预测制造缺陷的方法，所述方法包括：
●访问在第一时间段内在特定装配类型的第一装配单元集合的生产期间由光学检查站记录的所述第一装配单元集合的第一检查图像序列；
●对于在所述第一检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第一向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述第一向量集合中的邻近向量分组到向量组集合内；以及
●基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元的完整功能的第一检查结果，而将所述第一向量组标注为功能性的；
●访问在所述第一时间段之后的第二时间段内在所述特定装配类型的第二装配单元集合的生产期间由所述光学检查站记录的所述第二装配单元集合的第二检查图像序列；
●对于在所述第二检查图像序列中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第二向量集合中的在所述多维特征空间中表示所述特征集合的向量；以及
●响应于所述第二向量集合在所述第二时间段内从所述第一向量组向外趋向，生成检查在所述光学检查站之前的生产的提示。
12.根据权利要求11所述的方法，其中，生成检查所述特定装配类型的生产的所述提示包括：
●计算在所述多维特征空间中的所述第一向量组的质心；
●计算所述第二向量集合在所述第二时间段内在所述多维特征空间中远离所述第一向量组的所述质心的漂移速率；以及
●响应于所述漂移速率超过阈值而生成检查在所述光学检查站之前的装配线的区段的提示。
13.一种用于预测制造缺陷的方法，所述方法包括：
●访问在第一时间段内在特定装配类型的第一装配单元集合的生产期间由光学检查站记录的所述第一装配单元集合的第一组检查图像；
●对于在所述第一组检查图像中的每个检查图像：
○检测在所述检查图像中的特征集合；以及
○生成在第一向量集合中的在多维特征空间中表示所述特征集合的向量；
●将在所述多维特征空间中的所述第一向量集合中的邻近向量分组到向量组集合内；以及
●访问在所述第一时间段之后的第二时间在所述特定装配类型的第二装配单元的生产期间由所述光学检查站记录的所述第二装配单元的第二检查图像；
●检测在所述第二检查图像中的第二特征集合；
●生成在所述多维特征空间中表示所述第二特征集合的第二向量；以及
●响应于所述第二向量与所述向量组集合偏离多于阈值差，标记所述第二装配单元。
14.根据权利要求13所述的方法：
●还包括基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元的完整功能的第一检查结果，而将所述第一向量组标注为功能性的；以及
●其中，标记所述第二装配单元包括：
○计算在所述多维特征空间中的从所述第二向量到所述第一向量组的距离；
○响应于所述距离超过包括在所述多维特征空间中的阈值距离的阈值距离而标记所述第二装配单元用于检查；以及
○向不同于所述光学检查站的计算设备提供所述第二装配单元一旦被完成就检查所述第二装配单元以找到缺陷的提示。
15.根据权利要求14所述的方法，其中，标记所述第二装配单元还包括，在大约所述第二时间，响应于所述距离超过大于在所述多维特征空间中的所述阈值距离的第二阈值距离，而在所述光学检查站处发出在所述第二装配单元的附加装配之前检查所述第二装配单元以找到缺陷的提示。
16.根据权利要求14所述的方法，其中，标记所述第二装配单元包括：
●隔离在所述多维特征空间中的偏离所述第一向量组的所述第二向量的主要特征类型；
●提取包含所述主要特征类型的所述第二检查图像的片段；
●提取包含所述主要特征类型的在所述第一组检查图像中的第三检查图像的片段，第三装配单元的所述第三检查图像对应于代表所述第一向量组的第三向量；以及
●在所述用户门户内在渲染所述第二检查图像的所述片段和渲染所述第三检查图像的所述片段之间切换。
17.根据权利要求14所述的方法，还包括：
●访问所述第二装配单元的第二检查结果；以及
●响应于所述第二检查结果指示所述第二装配单元的完整功能，增加所述阈值距离。
18.根据权利要求13所述的方法：
●还包括基于指示在所述第一装配单元集合中的与在所述第一向量组集合中的第一向量组中的第一向量相关联的第一装配单元的完整功能的第一检查结果，而将所述第一向量组标注为功能性的；以及
●其中，访问所述第二检查图像、检测所述第二特征集合、生成所述第二向量以及标记所述第二装配单元包括：
○访问在所述第一时间段之后的第二时间段内在所述特定装配类型的第二装配单元集合的生产期间由所述光学检查站记录的所述第二装配单元集合的第二组检查图像，所述第二装配单元集合包括所述第二装配单元；
○对于在所述第二组检查图像中的每个检查图像：
■检测在所述检查图像中的特征集合；以及
■生成在第二向量集合中的在所述多维特征空间中表示所述特征集合的向量，所述第二向量集合包括所述第二向量；以及
○响应于在所述第二向量集合中的每个向量与所述第一向量组偏离多于所述阈值差，标记在所述第二装配单元集合中的每个装配单元；以及
●还包括：
○根据离所述第一向量组的距离对所述第二装配单元集合排序；以及
○根据排序向不同于所述光学检查站的用户门户提供检查在所述第二装配单元集合中的装配单元的一系列提示。
19.根据权利要求18所述的方法，还包括：
●访问所述第二装配单元的第二检查结果；
●访问在所述第二装配单元集合中的第三装配单元的第三检查结果；
●响应于所述第二检查结果指示所述第二装配单元的完整功能，延伸所述第一向量组的边界以包括所述第二向量；以及
●响应于所述第三检查结果指示在所述第三装配单元中的缺陷，延伸在所述向量组集合中的被标注为有缺陷的第二向量组的边界以包括所述第三向量。
20.根据权利要求13所述的方法：
●其中，访问所述第一组检查图像包括访问包括由沿着所述特定装配类型的装配线布置的所述光学检查站记录的数字彩色摄影图像的所述第一组检查图像；以及
●其中，标记所述第二装配单元包括当所述第二装配单元在所述第二时间占据所述光学检查站时激活在所述光学检查站上的指示器，以在所述装配线处完成所述第二装配单元之前丢弃所述第二装配单元。
CN202210383846.2A 2017-04-13 2018-04-13 用于预测在装配单元中的缺陷的方法 Pending CN114972180A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762485209P 2017-04-13 2017-04-13
US62/485,209 2017-04-13
PCT/US2018/027628 WO2018191698A1 (en) 2017-04-13 2018-04-13 Method for predicting defects in assembly units
CN201880037260.2A CN110709688B (zh) 2017-04-13 2018-04-13 用于预测在装配单元中的缺陷的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880037260.2A Division CN110709688B (zh) 2017-04-13 2018-04-13 用于预测在装配单元中的缺陷的方法

Publications (1)

Publication Number Publication Date
CN114972180A true CN114972180A (zh) 2022-08-30

Family

ID=63790176

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210383846.2A Pending CN114972180A (zh) 2017-04-13 2018-04-13 用于预测在装配单元中的缺陷的方法
CN201880037260.2A Active CN110709688B (zh) 2017-04-13 2018-04-13 用于预测在装配单元中的缺陷的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880037260.2A Active CN110709688B (zh) 2017-04-13 2018-04-13 用于预测在装配单元中的缺陷的方法

Country Status (3)

Country Link
US (5) US10789701B2 (zh)
CN (2) CN114972180A (zh)
WO (1) WO2018191698A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540955A (zh) * 2023-04-21 2023-08-04 成都飞机工业（集团）有限责任公司 一种增材制造打印中断故障处理方法、介质和设备
DE102023200766A1 (de) 2023-01-31 2024-08-01 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum Erzeugen von Labeln für einen Datensatz und Verwendung eines derart erzeugten gelabelten Datensatzes

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132787B2 (en) * 2018-07-09 2021-09-28 Instrumental, Inc. Method for monitoring manufacture of assembly units
WO2017172611A1 (en) * 2016-03-28 2017-10-05 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN114972180A (zh) * 2017-04-13 2022-08-30 英卓美特公司 用于预测在装配单元中的缺陷的方法
US11200377B2 (en) * 2017-04-27 2021-12-14 Micro Focus Llc Cluster model to predict build failure
US10732123B2 (en) * 2017-05-31 2020-08-04 Flir Systems Ab Inspection routing systems and methods
US10762605B2 (en) 2017-08-04 2020-09-01 Outward, Inc. Machine learning based image processing techniques
US10922810B2 (en) * 2017-08-25 2021-02-16 Baxter International Inc. Automated visual inspection for visible particulate matter in empty flexible containers
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
CN111492401B (zh) * 2017-12-19 2022-04-05 利乐拉瓦尔集团及财务有限公司 包装容器中的缺陷检测的方法
US11593610B2 (en) * 2018-04-25 2023-02-28 Metropolitan Airports Commission Airport noise classification method and system
JP7080711B2 (ja) * 2018-04-26 2022-06-06 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
WO2019226715A1 (en) * 2018-05-21 2019-11-28 Promptlink Communications, Inc. Techniques for assessing a customer premises equipment device
CN109085174A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
IL260417B (en) 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
JP7092202B2 (ja) * 2018-09-13 2022-06-28 日本電気株式会社 データ解析装置、データ解析方法及びプログラム
US11366833B2 (en) * 2018-09-26 2022-06-21 Adobe Inc. Augmenting project data with searchable metadata for facilitating project queries
US11320385B2 (en) * 2018-10-16 2022-05-03 Seagate Technology Llc Intelligent defect identification system
IT201800010949A1 (it) * 2018-12-10 2020-06-10 Datalogic IP Tech Srl Metodo e dispositivo di rilevamento e classificazione di un oggetto
US11568169B2 (en) * 2019-04-28 2023-01-31 International Business Machines Corporation Identifying data drifts that have an adverse effect on predictors
US10990092B2 (en) * 2019-06-06 2021-04-27 Robert Bosch Gmbh Test time reduction for manufacturing processes by removing a redundant test
US11275362B2 (en) 2019-06-06 2022-03-15 Robert Bosch Gmbh Test time reduction for manufacturing processes by substituting a test parameter
IL267563A (en) * 2019-06-20 2019-11-28 HYATT Yonatan Establishing a process for visual inspection
US20210010953A1 (en) * 2019-07-12 2021-01-14 SVXR, Inc. Methods and Systems for Defects Detection and Classification Using X-rays
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
US11100221B2 (en) 2019-10-08 2021-08-24 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
JP7564616B2 (ja) * 2019-11-21 2024-10-09 オムロン株式会社 モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
CN113454660B (zh) * 2019-11-29 2024-08-27 京东方科技集团股份有限公司 在制产品数量上限推荐的系统和方法、计算机可读介质
EP4104100A4 (en) 2020-02-13 2024-01-10 Inspekto A.M.V Ltd USER INTERFACE DEVICE FOR AUTONOMOUS ARTIFICIAL VISION INSPECTION
US11086988B1 (en) 2020-02-28 2021-08-10 Nanotronics Imaging, Inc. Method, systems and apparatus for intelligently emulating factory control systems and simulating response data
JP2023516776A (ja) * 2020-03-09 2023-04-20 ナノトロニクス イメージング インコーポレイテッド 製造プロセスのためのシステム、方法及び媒体
US11551349B2 (en) 2020-05-22 2023-01-10 Future Dial, Inc. Defect detection and image comparison of components in an assembly
US11538148B2 (en) 2020-05-22 2022-12-27 Future Dial, Inc. Defect detection of a component in an assembly
US12117974B2 (en) 2020-05-29 2024-10-15 Constellation Energy Generation, Llc Methods and systems for construct identification and analysis
CN111709940B (zh) * 2020-06-19 2023-06-27 湖南恒岳重钢钢结构工程有限公司 一种基于机器视觉的电容缺陷检测方法
US12023722B2 (en) * 2020-10-23 2024-07-02 Ford Global Technologies, Llc Stamping line defect quality monitoring systems and methods of monitoring stamping line defects
CN112684343B (zh) * 2020-12-08 2022-07-15 潍柴动力股份有限公司 一种电池故障判断方法、检测装置及检测系统
US20220215310A1 (en) * 2021-01-07 2022-07-07 Ritual Mobile, Inc. Automatically generating parameters for enterprise programs and initiatives
JP7491274B2 (ja) * 2021-07-29 2024-05-28 トヨタ自動車株式会社 検査装置および検査方法
EP4381282A1 (en) 2021-08-02 2024-06-12 Arch Systems Inc. Method for manufacturing system analysis and/or maintenance
US11868971B2 (en) 2021-08-02 2024-01-09 Arch Systems Inc. Method for manufacturing system analysis and/or maintenance
CN113781483B (zh) * 2021-11-12 2022-02-11 常州微亿智造科技有限公司 工业产品外观缺陷检测方法和装置
US20230171935A1 (en) * 2021-11-29 2023-06-01 Hewlett Packard Enterprise Development Lp Identifications of deviations relating to assemblies of components
WO2023140829A1 (en) * 2022-01-18 2023-07-27 Hitachi America, Ltd. Applied machine learning system for quality control and pattern recommendation in smart manufacturing
CN114637270B (zh) 2022-05-17 2022-08-23 成都秦川物联网科技股份有限公司 基于集散控制的智能制造工业物联网及控制方法
US20240004355A1 (en) * 2022-06-29 2024-01-04 Aspentech Corporation System and Method for Building and Deploying Prescriptive Analytics to Predict and Control End Product Quality in Batch Production Monitoring and Optimization
US11886177B1 (en) 2022-08-26 2024-01-30 Arch Systems Inc. System and method for manufacturing system data analysis
US11947340B1 (en) 2022-08-26 2024-04-02 Arch Systems Inc. System and method for machine program analysis
US12038479B2 (en) * 2022-09-09 2024-07-16 Cisco Technology, Inc. Stress-testing electrical components using telemetry modeling
CN116152236B (zh) * 2023-04-18 2023-07-07 钛玛科（北京）工业科技有限公司 一种锂电池胶带视觉检测方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4510673A (en) * 1983-06-23 1985-04-16 International Business Machines Corporation Laser written chip identification method
US6301515B1 (en) * 1998-04-07 2001-10-09 Tmmm, Ltd. System for establishing optimal critical characteristics of manufactured products
US6477266B1 (en) * 1998-12-11 2002-11-05 Lucent Technologies Inc. Vision comparison inspection system graphical user interface
IL131283A (en) * 1999-08-05 2008-07-08 Orbotech Ltd Facility and methods for checking objects
JP4014379B2 (ja) 2001-02-21 2007-11-28 株式会社日立製作所 欠陥レビュー装置及び方法
US7292959B1 (en) * 2006-01-30 2007-11-06 Advanced Mirco Devices, Inc. Total tool control for semiconductor manufacturing
JP2013160629A (ja) * 2012-02-06 2013-08-19 Hitachi High-Technologies Corp 欠陥検査方法、欠陥検査装置、プログラムおよび出力部
GB201204947D0 (en) * 2012-03-21 2012-05-02 Renishaw Plc Method and apparatus for inspecting workpieces
US9098891B2 (en) * 2013-04-08 2015-08-04 Kla-Tencor Corp. Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology
US20150051860A1 (en) * 2013-08-19 2015-02-19 Taiwan Semiconductor Manufacturing Co., Ltd. Automatic optical appearance inspection by line scan apparatus
CN104376566B (zh) * 2014-11-26 2017-08-08 武汉科技大学 基于局部特征空间距离的带钢表面缺陷图像特征提取方法
WO2017019860A1 (en) * 2015-07-29 2017-02-02 Illinois Tool Works Inc. System and method to facilitate welding software as a service
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
CN106204598B (zh) * 2016-07-13 2019-02-05 东方晶源微电子科技（北京）有限公司 在自动缺陷分类流程中管理缺陷的方法及系统
CN106290378B (zh) * 2016-08-23 2019-03-19 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
CN114972180A (zh) * 2017-04-13 2022-08-30 英卓美特公司 用于预测在装配单元中的缺陷的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023200766A1 (de) 2023-01-31 2024-08-01 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum Erzeugen von Labeln für einen Datensatz und Verwendung eines derart erzeugten gelabelten Datensatzes
CN116540955A (zh) * 2023-04-21 2023-08-04 成都飞机工业（集团）有限责任公司 一种增材制造打印中断故障处理方法、介质和设备
CN116540955B (zh) * 2023-04-21 2024-07-12 成都飞机工业（集团）有限责任公司 一种增材制造打印中断故障处理方法、介质和设备

Also Published As

Publication number Publication date
US10984526B2 (en) 2021-04-20
CN110709688B (zh) 2022-03-18
US20180300865A1 (en) 2018-10-18
CN110709688A (zh) 2020-01-17
US10713776B2 (en) 2020-07-14
US20190114756A1 (en) 2019-04-18
US20230368368A1 (en) 2023-11-16
US20210201462A1 (en) 2021-07-01
WO2018191698A1 (en) 2018-10-18
US11688056B2 (en) 2023-06-27
US20200334802A1 (en) 2020-10-22
US10789701B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
CN110709688B (zh) 用于预测在装配单元中的缺陷的方法
US12020415B2 (en) Method for monitoring manufacture of assembly units
US20220375056A1 (en) Method for predicting defects in assembly units
CN102473660B (zh) 等离子加工系统自动瑕疵检测和分类及其方法
CN105372581A (zh) 挠性电路板制造过程自动监测和智能分析系统及方法
JP5168215B2 (ja) 外観検査装置
US12026870B2 (en) Manufacturing management method
CN117413292A (zh) 基于对象的机器学习分析的基于图像的异常检测
US20200082297A1 (en) Inspection apparatus and machine learning method
JP2009068946A (ja) 欠陥分類装置および方法並びにプログラム
CN117112336A (zh) 智能通信设备异常检测方法、设备、存储介质及装置
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
US20240331383A1 (en) Part identification method and identification device
CN118096747B (zh) 基于深度学习的pcba板自动检测方法及系统
CN114564759B (zh) 一种分布式数据的检测方法及系统
US20240192675A1 (en) Integrated process management method and system using machine learning model
WO2024065189A1 (en) Method, system, apparatus, electronic device, and storage medium for evaluating work task
US20240193759A1 (en) Real-time process defect detection automation system and method using machine learning model
CN118443678A (zh) 基于智能分析的锂电池叠片检测方法、系统及存储介质
CN118691161A (zh) 一种基于质量管理决策系统的数理统计分析方法
CN117197021A (zh) 一种基于ai图像识别的半导体缺陷识别方法
CN117193177A (zh) 推断产品制造中出现的问题
CN118656762A (zh) 一种智能板材加工车间故障监控方法以及系统
CN117892185A (zh) 一种继电保护设备的运行状态展示方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination