CN107408297B - 自动检查 - Google Patents

自动检查 Download PDF

Info

Publication number
CN107408297B
CN107408297B CN201580074364.7A CN201580074364A CN107408297B CN 107408297 B CN107408297 B CN 107408297B CN 201580074364 A CN201580074364 A CN 201580074364A CN 107408297 B CN107408297 B CN 107408297B
Authority
CN
China
Prior art keywords
inspection
images
inspected
model
reference portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580074364.7A
Other languages
English (en)
Other versions
CN107408297A (zh
Inventor
尼尔·阿瓦拉哈米
约瑟夫·鲁柏纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kitov Systems Ltd
Original Assignee
Kitov Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kitov Systems Ltd filed Critical Kitov Systems Ltd
Priority to CN202110016463.7A priority Critical patent/CN112837266A/zh
Publication of CN107408297A publication Critical patent/CN107408297A/zh
Application granted granted Critical
Publication of CN107408297B publication Critical patent/CN107408297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35012—Cad cam
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Abstract

描述了用于自动检查的系统、方法和相关技术。在某些方面，可以捕获基准部分的一个或多个图像，并且可以处理基准部分的一个或多个图像以生成基准部分的检查模型。检查模型的一个或多个区域可与一个或多个分析参数相关联。检查计划可基于检查模型和一个或多个分析参数来生成。基于检查计划，可以捕获待检查的部分的一个或多个图像，并且可以相对于分析参数来处理部分的一个或多个图像，以计算关于部分的一个或多个确定。可以基于一个或多个确定来提供一个或多个输出。

Description

自动检查
相关申请的交叉引用
本申请涉及并要求于2014年11月24日提交的美国专利申请第62/083807号的权益，该美国专利申请的全部内容通过引用并入本文。
技术领域
本发明的各方面和实现方式涉及数据处理，并且更具体地涉及自动检查。
背景技术
在许多行业中，例如在涉及制造产品的行业中，检查这种产品以确保它们无缺陷也可以是有利的。
这种检查经常是手动(例如，通过人类检查员)进行的，而这可能导致各种不准确和低效率。
发明内容
下面提出本公开的各种方面的简单的概要以提供对于这种方面的基本理解。这种概要不是对所有预期方面的详尽概述，并且既不是要识别关键或重要元件也不勾画这些方面的范围。其目的在于以简化的形式提出本发明的一些概念作为稍后提出的更详细描述的序幕。
在本公开的一个方面中，基准部分的一个或多个图像可被捕获并且基准不分的一个或多个图像可被处理(例如，由处理装置)以生成基准部分的检查模型。检查模型的一个或多个区域可与一个或多个分析参数相关联。检查计划可基于检查模型和一个或多个分析参数来生成。基于检查计划，待被检查的部分的一个或多个图像可被捕获并且该部分的一个或多个图像可相对于分析参数来处理以计算相对于该一部分的一个或多个确定。一个或多个输出可基于一个或多个确定来提供。
在本公开的另一个方面中，基准部分的一个或多个图像可被捕获并且基准部分的一个或多个图像可被处理以识别基准部分的一个或多个方面。基于基准部分的一个或多个方面，一个或多个检查参数可被识别。检查计划可基于一个或多个检查参数来生成。基于检查计划，待被检查的部分的一个活多个图像可被捕获并且该部分的一个活多个图像可相对于一个活多个检查参数来处理以计算相对于该部分的一个活多个确定。一个或多个输出可基于一个或多个确定来提供。
附图说明
通过从下面和从本公开的各个方面和实现的附图，将更加充分地理解本公开的各方面和实现，然而，本公开的各个方面和实现不应认为是将本公开限制于具体方面或实现，而是仅用于解释和理解。
图1描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图2描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图3描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图4描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图5描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图6描绘了根据本公开的一个实现的示例性检查系统的一个或多个方面。
图7A至图7B描绘了根据本公开的一个实现的示例性检查系统的一个或多个方面。
图8描绘了根据本公开的一个实现的示例性检查过程的一个或多个方面。
图9A至图9B描绘了根据本公开的各种实现的示例性检查过程的一个或多个方面。
图10A至图10C描绘了根据本公开的各种实现的示例性检查系统的一个或多个方面。
图11描绘了以根据本公开的各个方面和实现操作的示意性计算机系统的框图。
图12描绘了本公开的各个方面和实现的装置的示例性实现。
具体实施方式
本公开的各个方面和实现涉及自动检查和测量。所公开的系统和方法可以用于制造或组装的产品和物体、制造过程等。更具体地，可以理解，自动检查(例如，自动视觉检查)是非常具有挑战性的任务。通常涉及许多步骤、程序和操作，以便正确地限定特定的检查任务，以配置检查系统来执行检查。通常，这个过程的各个方面都是通过试错来实现的，从而导致相对于时间和成本的低效率。因此，在许多情况下，所引用的检查是手动执行的(例如由人类检查员进行)。在制造/生产线是为相对短的时间或小的体积设置的情况下，这是特别真实的，并因此，设计和配置用于这种产品的的检查系统不太可能有成本效益。除了与手动检查相关的时间/费用效率之外，这种手动检查的结果通常是不精确的，并且可能不对应于实际、客观的测量(计量)(例如，对于最终确定划痕是否比预定阈值更深或更长而言，人类检查员可能是艰难或耗时的)。此外，手动检查往往在不同的人之间是不一致的，并且即使是同一个人，由于疲劳、环境条件等导致是不一致的。
此外，虽然某些技术尝试自动化视觉检查的某些方面，但是众多效率低下依然存在。例如，现有技术通常是复杂的，并且要求训练有素/熟练的用户才能正确地配置这样的系统。因此，对于低成本和/或低利润部分的检查，利用这种系统(由于它们的复杂性，只能由熟练/训练有素的人员有效地配置)可能不是成本有效的。此外，试图自动化视觉检查的某些方面的现有技术通常需要专门的/专用的硬件/系统来检查特定部分。因此，不能(或不能有效地)重新配置用于检查不同部分的这种技术(已被设计/定制成用于检查一个部分)。出于这种原因，这种技术也因为可能以相对较低的数量制造或以其它方式生产的部分的检查而不适合的(因为这些数量可能无法证明对专用的检查硬件/配置的投资)。此外，各种现有的检查技术被设计/配置为捕获多个图像(例如，使用不同的图像捕获设置、照明等的并行图像)，并且随后为了检查的目的而仅使用少量的这种图像。这种方案例如相对于在特定检查中未被最终考虑或被考虑的许多图像(例如，使用子优化设置)的捕获和处理而导致相当多的低效率。
因此，在本文中在各种实现中描述了针对自动检查(例如，垫/产品检查)的系统、方法、技术以及相关的技术。所引用的技术之一是配置成用于例如具有复杂的三维结构的、部分、物体、产品等的检查(例如，表面检查)的检查台或系统。
如在本文中所描述和/或描绘的，在某些实现中，所引用的检查台/系统可以包括各种硬件元件，包括但不限于：照明装置、传感器、铰接臂和/或任何其它类似的机械或机器人元件。通过并入这样的技术，单个通用检查系统可以被特别地实现在任何内容/设置(例如，用于几乎任何/所有类型的部分的检查)中。另外，在某些实现中，所描述的技术可以以相对直观和直接的方式来配置，以使得用户不太可能需要大量或专门的训练，以便以有益和有效的方式配置技术以检查特定部分。如这里详细描述的，这可以通过利用先前存储/提供的检查参数来实现(例如，关于可比较或相关特征计算和/或提供的检查参数，如在其它部分中发现的，例如相同或相似的形状，相同或相似的材料等)，其可以规定可以应用于部分的某些区域、区、方面、元件等的优选或最佳检查参数或设置(这些参数/设置的示例包括但不限于：应扫描区域、区与等的角度、放大级别、照明级别等和/或相应的传感器输入应如何被处理/分析)。在这样做时，代替“试错法”(这可能需要捕获和处理相当多的图像，而这些图像是次优的并且不是最终在检查中被考虑)，所描述的技术可以使用最佳检查设置/参数(即使在第一次检查时)来实现待被检查的部分的捕获和处理。此外，所描述的技术还可以实现高度有效的检查处理的实现方式，而者能够配置成特别是在相当短的时间内相对于任何部分进行校准等。在这样做时，可以利用单个检查系统/台来检查多个部分/产品。此外，这种系统可以在检查之间在几次“停机时间”或无“停机时间”的情况下从检查一个产品转移到检查另一个产品。在这样做时，所描述的技术(包括所描述的检查系统)可以在场景和设置(例如，关于零件，产品等)中有效地且有益地实现，否则自动检查可能是低效的或成本过高的。
因此，可以理解，所描述的技术针对并解决了多个技术领域中的特定技术挑战和长期缺陷，包括但不限于制造、产品检查和自动化。可以进一步理解，所描述的技术为参考的技术领域中所引用的技术挑战和未满足的需求提供特定的技术解决方案。还应当理解，所引用的检查系统可以被配置成如本文所描述的其它检查模块(例如，与标签、连接器、螺钉等相关的那些)可以容易地组合/结合。
在一个实现中，诸如光学头的检查装置可以包括或以其它方式并入相机、照明装置(例如白炽灯、红外线、激光器等)和/或一个或多个其它传感器(例如，3D传感器)，其可以在与检查中的物体/部分相对的空间中进行操纵(应理解，在某些实现中，除了光学头之外或代替光学头，经检查的部分可被移动)。如本文所述，可以以特定方式配置光学头，以便提供关于经检查的对象/部分所请求/所需的感测数据(例如，使用可以在所取得的不同图像的光学头中所选定/选择/激活的不同的照明场/方向/颜色/强度)。作为示例，图7A(除了各种其它附图之外)描绘了示例性光学头710，其可以包括所引用的传感器、部件、装置、元件等中的一个或多个。
还应理解，所引用的光学头可以以任何数量的方式操纵，如本文所述。在一个实现中，光学头可以安装在可移动臂/机器人上，而光学头配置可以基于对光学头的相机以不同角度和/或照明的不同等级/类型/方向捕获的图像的分析来限定/确定。作为示例，图7A(除了各种其它图)描绘了示例性检查系统700的各个方面，其中，示例性检查系统700可包括能够安装有光学头710的可移动臂/机器人720，正如图中所示(应理解，检查系统700还可包括未示出的附加组件，包括但不限于，图11至图12中所描绘且在本文中详细描述的部件、装置等)。在其它实现中，除了可操纵光学头以外/替代可操纵光学头(例如，多个相机和/或照明装置可被排列在例如固定位置中，从而围绕待检查的部分)。在其它实现中，多个光学头(例如，可移动臂)可被实现。在其它实现中，一个或多个行扫描或三维(3D)相机可被实现。
在某些实现中，附加/分立计算装置(例如，一个或多个处理器，诸如在图11和图12中所描绘并且在本文中所述的那些)可被安装或以其它方式集成在光学头处/内。在某些实现中，这样的计算装置可被配置为分析原始数据(例如，由诸如本文所述的光学头收集、捕获和/或计算的各种数据)。这种初步分析可以通过减少待传送(例如，到用于附加处理的另一个系统、装置等)的数据(例如，图像等)的量来实现显著的效率，如通过识别/发送如在所描绘的台/计算服务器上用于更复杂的分析的怀疑有缺陷(或以其它方式要求更复杂的处理)的部分/区域。这实现并改善所描述的技术的可扩展性和效率。作为进一步的示例，如本文详细描述的，部分的某些区域或区可以与特定的检查参数相关联，例如包含可受制于附加和/或不同的检查参数和/或如果该部分要被待接受则必须是无缺陷的部件或元件(例如，螺钉、连接器等)的、更容易发生缺陷的区域。因此，在某些实现中，所引用的初始处理可相对于这些区域/区来执行。一旦确定这样的区域/区是可接受的(例如，没有缺陷)，则随后的检查处理(例如，该部分的其它区域/区)可以被执行，如本文所述。
在某些实现中，所引用的预计算可以分两个阶段执行。首先，诸如单指令、多数据(SIMD)处理器(例如，GPU)的处理装置可以例如在图像的特定特定邻域/区域上局部地操作。然后，另一个处理装置(例如，CPU)可以组合多个区域的信息来计算更广泛(例如，图像级)的决定/确定，例如在检查下相对于覆盖该部分、对象、产品等的数个邻区/区的长划痕。
应理解，所描述的工艺和技术的各种方面可以基于所引用的检查系统的方面和/或配置来增强或改进(例如，可以是灵活的和/或容易且有效地配置/重新配置的这种系统的方面)。如前所述，在某些实现中，检查台/系统可以包括各种硬件元件，包括但不限于：照明装置、传感器、铰接臂和/或任何其它机械或机器人元件)。所引用的元件中的每个可使用任意数量的参数、设置等来利用和/或激活。在这样做时，单个通用检查系统/台可容易且有效地适用于特别地使用在任何内容/设定(例如，用于几乎任何/所有类型的部分/产品的检查)中。此外，这种系统可以在检查之间几乎没有或没有“停机时间”的情况下从检查一个部分/产品到另一部分/产品(无论是类似/相关部分/产品还是完全不同/不相关的部分/产品)的过渡。可存在有任何数量的所引用的系统的可能的配置。
如上所述，在某些实现中，光学头(或多个头)可以包括或以其它方式包含一个或多个传感器(例如，1D/2D/3D相机等)，其可以与一个或多个照明源(其可具有不同的相对位置、频谱、类型等)结合地操作。此外，光学头可以以任何数量的方式定位/定向。在某些实现中，光学头可以定位在固定位置中，而在其它实现中，光学头可以安装在机器人上或数个机器人臂上(例如，如图7A和图7B中所示)。例如，相机可被安装在一个机器人臂上，同时照明装置可被安装在第二臂上。在其它实现中，检查系统可以包含以任何数量的配置联合和/或独立地进行操作的多个相机/传感器/照明装置等。应理解，所引用的元件可根据特定检查过程的指示/要求被固定在适当位置或来进行操纵。
在某些实现中，光学头配置的质量/适当性(例如针对特定检查计划)可被确定或以其它方式评估。例如，知识库(例如，“最佳实践”知识库)可被生成、提供和/或接收。这样的知识库(其可以是数据库或任何其它这种数据存储库)可包括例如用于待检查的不同材料、形状、元件等的给定光学头的各种配置(例如，良好、可接受等)的各种情况/场景和/或规则。具有单个相机和单个照明单元的特定光学头的示例性规则可以应用于均匀颜色的无光泽表面，并且将提供各种可能的参数、质量分数的集合(相机角度、照明强度、曝光时间、焦点、工作距离、所需的分辨率等)，例如，在[0,1]范围内，其中例如小于0.5的分数被认为是不可接受的，并且1的分数被认为是最佳的。如本文中详细描述的，这种质量分数可以在生成/计算相对于特定部分的检查计划时被考虑(例如，通过生成包含确定为导致更好或最佳结果的参数的检查计划，同时避免确定为导致次优结果的参数)。
作为示例，可以理解，可能是有利的是将部分(例如，待检查的部分)的不同区域、区、方面、元件等进行定性和定量不同类型的检查。也就是说，如本文中详细描述的，可能有利的是对部分的一个(或多个)区域、区、方面、元件等进行一种类型的检查(特定级别的检查)，同时对同一部分的其它区域、区、方面、元件等进行不同类型(和/或级别)的检查。可以理解，特定区域、区、方面，元件等相关联的特定类型的检查可以是任何数量因素的函数，包括但不限于尺寸、形状、结构、材料组分等。例如，对于包含光泽表面的部分和一个或多个螺钉，可能有利的是使用一组检查技术来检查光泽表面(例如，按顺序使用各种程度的照明等，以确定是否存在刮痕)，同时使用不同的检查技术来检查螺钉(例如，从不同的角度检查这些区域，以确定螺钉是否存在和/或如果其被完全或仅部分拧紧)。如上所述，在某些实现中，待应用于特定区域、区等的特定参数/检查技术可从知识库接收/基于知识库确定，其中，知识库能够反映如应用于特定检查内容的不同组的参数的各种质量分数。因此，能够确定为对于特定检查内容/场景(例如，螺钉、连接器、反射表面、某种材料类型等的检查)提供高质量/最佳结果掉的那些参数/技术可被选择到和并入对于待检查的所引用部分的检查计划中，同时确定为提供次优结果的检测参数/技术(例如，如在所引用的“知识库”中所反映的)可不并入检查计划中。
应理解，在某些实现中，部分的这种区域、区、方面、元件等可被手动地识别或选择。例如，如本文所描述的，用户/管理员可以呈现基准部分的模型和/或任何其它这种表示，并且这样的用户可以选择或识别(例如，使用图形用户界面)呼出部分的区域、区、方面、元件等(例如，一个区域中的螺钉的存在、另一区域中的光泽表面、另一区域中的连接器等)。在某些实现中，在识别/选择这些区域、区、方面、元件等时，用户可进一步指示或限定待应用于特定区的检查参数的各个方面(例如，以利用各种照明等级、以从多个角度检查、以确定划痕的存在等)。
在其它实现中，所引用的知识库可被利用以指定待应用于特定区的参数。例如，在选择包含螺钉的部分的特定区域或区时，可以查询知识库以识别/确定待应用于这种区的检查参数(例如，可能实现确定这种螺钉存在和/或完全紧固，例如通过在不同的照明度下以不同的角度捕获区域的图像)。在这样做时，所描述的技术可以使检查系统能够快速地登记待待检查的新部分，并且生成这种部分的检查计划，以便有效和有益地检查部分(例如，通过检查使用反映该特定部分的规格的不同检查参数的计划的各个区域、区、方面、元件等)。此外，在这样做时，所描述的技术可以使得可能不具有太多(如果有的话)经验或准备检查计划的训练的用户能够准确且有效地限定能够以有效且有益的方式执行的对于部分的检查计划。如上所述，用户可以简单地选择或以其它方式指示部分的各种区域、区、方面、元件等，并且所描述的技术可以确定与每个相应区域等相关联的检查参数等(例如，利用所引用的知识库)。
在其它实现中，部分的所引用的区域、区、方面、元件等可以以自动化或自动的方式识别和选择。例如，如本文所述，一个或多个基准部件和/或该部分的其它表示形式(例如，CAD模型等)可被接收和/或提供。可以对这样的基准部分进行分析或以其它方式处理(例如，基于从各种类型的传感器接收的小插件)，以便识别/确定基准区域(例如，在一个区域中存在螺钉、在另一区域中存在光滑表面、在另一区域中存在连接器等)内的各个区域、区、方面、元件等的存在(可选地和/或附加地，部分的所引用的表示(例如，CAD模型)可被处理，以识别/确定该模型内的相应区域、区、方面、元件等)。在某些实现中，所引用的知识库然后可被用于确定要应用于每个识别的区域，方面，元素等的检查参数。例如，在确定部件的特定区域或区域包含螺钉，这样的区域可以与特定的一组检查参数相关联(例如，可能使得能够确定这样的螺钉存在和/或完全拧紧的参数，例如通过在不同照明度下以不同的角度捕获区域的图像)。在其它实现中，在识别这样的区域、区、方面、元件等时，可以使用户能够手动地指定或限定待应用于特定区域的检查参数的各个方面，如本文所述。在这样做时，所描述的技术可以使检查系统能够登记待加入的新部分，并且以自动的方式为这些部分生成有效且有益的检查计划。
图5描绘了用于自动检查的方法500的各个方面的流程图。该方法由可包括硬件(电路、专用逻辑等)、软件(诸如在如本文所描述的计算装置上运行的软件)或两者的组合的处理逻辑执行。在一个实现中，该方法由与图6至图7B和图10A至图12(例如，由一个或多个加工器，由检查系统等)相关联地描绘和/或描述的一个或多个元件执行，而在一些其它实现中，图5的一个或多个块可由另一机器或多个机器执行。
为了简化说明，将方法描绘和描述为一系列动作。然而，根据本公开的行为可以以各种顺序和/或同时发生，并且与本文中未呈现和描述的其它行为一起发生。此外，根据所公开的主题，可能不需要所有示出的动作来实现方法。此外，本领域技术人员将理解和明确，所述方法可以替代性地经由平板图或事件表示为一系列相互关联的状态。附加地，应理解，本说明书中公开的方法能够存储在制品上，以便于将这些方法传送和传输到计算装置。如本文所使用的术语制品被推荐为包括可从任何计算机程序可读装置或存储介质访问的计算机程序。
如图5所示，当检查/处理部分/对象时，可以生成/获得(510)(例如以本文所述的方式)部分的多维模型。应理解，所引用的多维模型可以包括和/或以其它方式包含该部分的任何数量的方面、元件等。例如，所引用的多维模型可以包括部分的方面(和/或区域、区等)，包括但不限于：尺寸、形状、结构(二维、三维等)、材料组分等。然后，这种模型可以被处理以将部分逻辑地分成原子部分(“原子”)(例如，无穷小的表面、螺钉、连接器等)(520)。为了计算所引用的质量确定(540)，所生成的原子中的每个可以例如使用所引用的知识库(505)和/或光学头配置(515)的各个方面单独地考虑和建模(530)。然后，多原子质量评估可以被组合/统一以生成(例如，相对于给定检查部分的光学头的)完整的质量分数/确定(550)。
如上所述，由所引用的检查系统检查的对象/部分可以以任何数量的方式定位。例如，在某些实现中，部分可以是固定的(即，其被检查而不改变或更改其位置)。在其它实现中，部分的取向可以被改变/调节，例如通过对平台和/或机器人臂利用移动、旋转等来夹紧部分并(例如，通过旋转)改变其相对于光学头活光学捕捉装置的取向(例如，在相机处于固定位置的情况下)。在其它实现中，部分可以定位在移动的输送带上(并且检查系统可以例如在其保持运动的同时检查部分或其各个方面)。作为说明，图6描绘了位于平台603上的示例性部分601。在某些实现中，例如在部分正在进行检查时，平台603可以被配置为在任何数量的方向、角度等上旋转，例如为了改变部分601的定位，如本文所述。
本文中描述的是用于自动检查的方法的各个方面，如图1所示。方法(100)由可包括硬件(电路、专用逻辑等)、软件(诸如在诸如本文所描述的计算装置上运行的软件)或两者的组合的处理逻辑来执行。在一个实现中，该方法由与图6至图7B和图10A至图12相关联地描绘和/或描述的一个或多个部件执行(例如，通过一个或多个处理器、通过检查系统等)，而在一些实现中，图5的一个或多个块可由另一机器或多个机器执行。
为了简化说明，将方法描绘和描述为一系列动作。然而，根据本公开的行为可以以各种顺序和/或同时发生，并且与本文中未呈现和描述的其它行为一起发生。此外，根据所公开的主题，可能不需要所有示出的动作来实现方法。此外，本领域技术人员将理解和明确，所述方法可以替代性地经由平板图或事件表示为一系列相互关联的状态。此外，应理解，本说明书中公开的方法能够存储在制品上，以便于将这些方法传送和传输到计算装置。如本文所使用的术语制品被推荐为包括可从任何计算机程序可读装置或存储介质访问的计算机程序。
在某些实现中，例如对于每个对象/部分实例,可以最初执行“脱线”进程，并且随后可以执行在线进程。在所引用的脱线过程中，可以提供一个或多个代表性基准部分/对象(例如，无瑕疵的“金色”部分)(102)(例如，到例如图7A所示并在本文中描述的检查系统700)，并可以通过所引用的检查系统(104)登记。例如，在将基准部分/对象并入/提供到检查系统后，系统可以以任何数量的方式(例如以本文所述的方式)和模型(例如，多维模型)扫描或以其它方式分析部分，和/或部分的任何其它这种表示可被生成(106)。这种模型可以包含例如部分的几何形状和/或其视觉特征(例如，关于颜色、反射率等)的各种方面的粗略和/或精细描述/表征/定义。附加地，如本文所述，在某些实现中，所引用的模型可以包含可以基于某些参数(例如，一个特异性或精度水平)定义和/或表征的某些区，而模型的其它区基于其它参数(例如，另一个特异性或精度水平)定义和/或表征。
图2描绘了用于自动检查的方法200的各个方面的进一步方面。如图2所示，可以向检查系统(202)提供/引入代表性的无瑕疵的金色部分。在某些实现中，除了金色部分之外，还可以提供对应的模型(例如，CAD模型)。然后，系统可以开始扫描、探索或以其它方式分析部分的结构，例如通过增量数据获取和分析(例如使用图像，3D局部重构等)。例如，图3(示出用于自动检查的方法300的各个方面的进一步方面)描绘了其中CAD模型被最初接收/提供(302)(例如代替基准部分)的场景，以及登记过程(例如本文所述)(304)可以如本文所述的方式生成诸如退化多维(“n维”)模型(306)的模型。在其中基准模型(例如，部分的CAD模型)被提供/接收的场景下，所引用的探索(例如，部发/对象的初始分析)可以遵循在模型中反映的结构。在探索期间，可以改变/调整光学头的配置/设置(例如，相对于其定位)，例如以提供根据哪个检查模型(例如，出于后续检查的墓地生成的模型)可被生成的、综合的结构信息。应注意，虽然本文提供的各种示例和图示涉及视觉检查，但是所描述的技术并不限于此。因此，应理解，所描述的技术也可以应用于非视觉内容中(例如，使用计量学等)。
在某些实现中，可以分析部分/对象，以便确保对对象的各个方面实现精确的测量，并且还定义对象的结构边界(例如，为了避免损坏检查系统或部分，例如在机动光学头与部分之间碰撞的情况下)。在某些实现中，可以从相对于产品上任何数量的点的不同方向捕获图像，例如具有不同类型/级别的照明和/或从不同方向。作为示例，图7A描绘了在一个照明级下(例如，在无附加/补充照明的情况下)捕获对象/部分601的图像的光学头710，而图7B描绘了在另一照明下(例如，有附加/补充照明730的情况下)捕获对象/部分601的光学头710。
此外，在使用CAD模型和金色部分的情景下，部分的原始设计(例如CAD模型中反映)与实际部分(例如，金色部分)之间的变化/差异可以被识别/确定，并且这种变化/差异的通知可被生成/提供(例如，给管理员)。附加地，在某些实现中，当检查后续部分时，可以考虑这样的差异/变化。例如，当检测到CAD模型和“金色”基准部分之间的差异或变化时，在检查反映可比较的差异/变化的后续部分时，这样的一个可以不被识别为有缺陷的(基于在CAD模型与基准部分之间识别的差异)。
在某些实现中，检查计划或“配方”可以在脱线阶段(例如，在图1的112、图2的21、图3的314)中生成，并且该计划可以用于在“在线”阶段(例如，在随后的检查期间)控制数据的获取，例如以本文所述的方式。然后，所获取的数据可以在脱线阶段接收到的多维模型、基准数据和/或测试规范的内容中被分析，例如以本文所述的方式。还应理解，虽然在某些实现中，可以生成所引用的检查计划(例如，基于各种部分登记和计划处理/操作，如本文所述)，在其它实现中，这种计划可以被接收和/或提供(例如，如图4中的402所示，其示出了用于自动检查的方法300的各个方面的进一步方面)。
在某些实现中，所产生的模型(其将用于后续的检查)可以包含(1)对部分几何形状的粗略/精细描述，和/或(2)在各个点处对部分的各种反射特性的描述。使用这种描述的组合，可以生成各种预测/投影，例如关于部分对检查系统采取的进一步/附加测量的响应。在某些实现中，这种投影可以通过构建局部BRDF(双向反射分布函数)来生成，例如通过捕获表面法线、光线和相机之间的多个角度组合。
在某些实现中，还可以向检查系统提供附加基准部分，例如为了提高所生成的模型的精度(例如，为了考虑部分之间的变量)，并且还生成不同区域/盘/材料的检查共差。一个这种示例变量是在生产中使用的一些材料由于其天然结构或由于它们经历了抛光的过程而表现出的纹理的固有变量。
然后，可以接收和/或生成各种测试要求(例如，在图1中的108、图2中的208和图2中的310中)。在某些实现中，这种要求可以基于/相对于待应用的所引用模型(例如，在图1中的106、图2中的206、图3中的306中生成的模型和/或图4中的404中接收到的模型)，在某些实现中，这种参数可被存储/反映在测试规范中(例如，在图2中的210、图3中的312和图4中的406中)。然后，可以产生一个或多个检查计划(例如，基于模型和测试要求)(例如，在图1中的110和112、图2中的212和214和图3中的308和314中)，如本文所述。
应理解，所引用的测试要求可以在部分之间、甚至子部分之间的性质和幅度上变化。例如，特定产品(例如，抛光玻璃表面)的顶部区域可能需要具有非常高的质量并且甚至没有微小的划痕，而产品的另一区域(例如，Ms底部)即使有适度划痕可能也是可接受的。因此，在某些实现中，可以提供界面(例如，图形用户界面)，通过该界面可以接收能够用名称/标签(例如“句柄”、“覆盖”等)定义/关联模型的某些子部分或区域的输入，和/或为每个这种子部分分配不同的要求。这些要求的示例包括但不限于识别特定尺寸/重要性的划痕、识别物理连接器(例如，RJ45连接器或任何其它这种模块化连接器)的存在等。在某些实现中，用于定义测试要求的所引用的界面可以利用、并入和/或引用产品的CAD模型(例如，如在图2中的202和图3中的302处接收和/或处理的模型)和/或多维模型(例如，如在图1中的106、图2中的206和图3中的306处生成的模型)。所引用的界面可以使得用户(例如，管理员)能够定义和/或修改待检查的部分/对象的特定子部分、区域等的测试要求。附加地，在某些实现中，所引用的界面可以向用户呈现最初生成的要求，例如，基于在多个基准或无瑕疵/“金色”部分的初次检查/登记中识别的变量生成的要求。
测试模式的示例包括但不限于：材料(例如划痕、凸起、凹痕、裂纹、水疱等)、变色、对象的存在、组装对准、文本/标签、螺丝、连接等。应理解，每个测试模式可与任何数量的敏感度水平(无论是绝对还是相对)相关联，例如轻微、中等、主要、定制等。
所引用的获取/检查计划可以定义与可基于模型测试的所引用的要求相关的配置、设置和/或位置。这种设置的示例包括但不限于光学头的位置、取向和激活以及它们将被使用的顺序。
在某些实现中，获取/检查计划可被配置为以考虑到表面特性来验证所有测试要求的方式来覆盖待检查的电子部分(或待检查的产品的区域)。在某些实现中，所引用的验证过程可以结合知识库(例如，“最佳实践”知识库)来执行，例如本文例如参照图5所述。例如，可以理解，使用直接照明以直角拍摄镜面的图像很可能导致饱和图像，这对于所述检查的目的是不利的。此外，在某些实现中，所引用的检查计划可被配置为考虑检查系统和/或其它移动机构的运动学和/或动力学。例如，在固定照相机或照明装置的情况下，可以在规划中使用配置及其限制。此外，可以以考虑不同检查方式的方式生成检查计划。例如，当检查连接器时，可以生成检查计划，确保以适当的角度捕获图像(例如，以确保连接器的内部以适当的方式可见)。这种计划也可被生成为使得它们能够有效地扫描部分(例如，以实现高系统吞吐量)。
应理解，所生成的模型可以基于哪些可以生成各种检查计划(例如，为了优化扫描过程的速度/效率)而能够预测与(例如，光学头的)各种配置/位置相关联的质量。还应注意，具有可比较的测试要求的结构相似的盘可能仍然产生不同的检查计划，例如，如果它们的表面具有不同的性质(例如，如果一个是镜面的，而另一个具有漫射性质)。
(例如，光学头的)所引用的配置/定位可以被排序成一个顺序，以使得检查系统能够通过它们并以快速/有效的方式完成对产品的扫描。在某些实现中，可以考虑底层硬件平台(例如，检查系统)的方面、特征、限制等。例如，如果光学头安装在机器人上，则可以针对特定位置选择机器人图形(应注意，可能存在可以获得机器人工具的相同空间位置的多个关节配置，并且这种关节配置可以分为“图像”，以使得每个图像都只有一个选项才能达到所需的位置)。可以考虑由(例如，其上安装有光学头的机器人臂的)两个配置/位置之间的关联差异产生的时间差，以便确定对象的最快行程。也可以在所选择的配置之间执行插值，以便转换将是有效的，并且机器人不会碰撞到其周围和被检查的部分。
然后，该系统可以在基准位置(例如，在图1中的114和图2中的216中)捕获或以其它方式获取或接收与该部分相关的图像和/或其它传感器输入)，从而(例如，在图1中的116、图2中的218和图4中的408中)生成基准数据。此外，在某些实现中，可以经由内插和/或外推(诸如相对于测量位置)生成这样的数据。还可以对穿过基准位置的方式(例如，最有效地)进行一个或多个确定。
在某些实现中，也可以基于各种检查优先级来生成所引用的检查计划。例如，在部分的特定区域或区更容易受到缺陷或与更严格的检查要求相关联的情景下(例如，可以基于这样的区域的结构、与这样的区域相关联的材料、外观要求和/或与该区域相关联的制造过程)，可以对这样的区域的扫描进行优先化。在这种情景下，在确定缺陷存在于特定部分的指定区域中时，这样的部分可以被识别为有缺陷的，并且系统可以终止检查过程(例如，而不检查部分的其余部分)并且继续检查另一个部分。附加地，在某些实现中，可以向管理员提供待检查的部分的模型(无论是CAD模型还是生成的模型)，并且可以从用不同的检测标准指示/指定模型的不同区域的这样的管理员(例如，经由图形用户界面)接收各种输入(例如，管理员可以指定盘的一个区域要求相对较高的质量、平滑度等，同时将另一区域指定为要求相对较低程度的质量)。此外，管理员还可以呈现特定部分的预期缺陷(例如，基于最后一个或来自保存的历史)以及关于部分的统计数据(例如，基于检查历史)。附加地，在某些实现中，可以控制/调整检查速度和检查水平之间的平衡/折衷(例如，检查的宽度/细节)(例如，基于与被检查的部分相关的参数、制造过程和/或由管理员提供的参数)。
附加地，在某些实现中，制造过程的数据和/或各个方面可以用于生成检查计划并且在检查部分时采用/实施这种计划。例如，在针对特定部分的制造识别出某些不规则性的情况下(例如，当制造机器的部分和/或其区域制造时，制造机的温度高于/低于通常)，可以在确定检查计划(和/或修改现有检查计划)时考虑这种数据。作为示例，在进行到其它区域之前，关于确定为已发生的这种制造不规则性的部分的区域可被首先检查(由于在该区域中存在缺陷的可能性增加)。
而且，在某些实现中，可以利用相对于一个部分产生的检查计划的各个方面来生成关于类似/相关部分的检查计划。例如，在已经开发了具有由第一材料构成的特定结构的一个部分的检查计划的情况下，可以使用这种检查计划来确定具有相同的可比性的结构但由另一种材料构成的另一部分的检查计划。作为示例，这两种产品的几何参数可能是相同的，因此例如可能需要更新反射特性。
在某些实现中，一旦完成了检查计划，就可以对所选择的光学头配置进行采样。对于每个这种配置，可以存储各种测量(例如，2D图像、3D测量)以供参考分析。灵敏度分析还可以例如通过重复样品来考虑噪声、在接近的3D位置进行采样(例如，考虑机器人不精确度)和/或使用几个金色/基准部分(例如，考虑部分内在变化)来进行。
为了进一步示例，图8描绘了可以被检查/分析的基准部分810(例如，使用检查系统，如图7A至图7B所示并本文中详细描述的检查系统700)。如本文所述，在某些实现中，基准部分可以被扫描、分析、处理等，并且可以基于哪些后续部分(例如，与基准部分相当、类似的部分等)生成检查计划(例如，使用相同的检查系统700和/或另一检查系统、装置等)。还应注意，在某些实现中，代替执行对基准部分810的实际检查，可以生成和/或提供检查计划(例如，由生产制造商所规定或定义)。
还如图8所示，可以识别基准部分810内的各种区域、区等。这种区域或区820可以对应于基准部分内的感兴趣的点或方面，相对于附加和/或不同类型的分析将被应用。例如，图8描绘了对应于部分810内的螺钉的存在和/或放置/布置的各种区域或区820。应理解，在某些实现中，可以以自动方式(例如，基于对基准部分的一个或多个图像的分析)来识别这种区域/区，而在其它实现中，可以手动地识别/选择这种区域/区(例如，由管理员、用户等可以选择这些区域/区并定义如何进行分析，例如确定螺钉的存在及其取向等)。
在这个时刻，应注意，在某些实现(例如，关于图8描述的示例性场景)中，可以识别/选择所引用的部分的区域/区，以便将这些区域/区与附加处理/分析参数(例如，确定螺钉的存在、其取向等)相关联，在其它实现中，区域/区可以被识别/选择并且与相对较少的处理/分析参数相关联。例如，在某些实现中，基准部分的一个或多个区域/区可以被识别(无论是以自动方式还是手动的)，因为需要较少的检查和/或不检查。因此，在随后的检查中，相应的区域/区(例如，正在进行检查的部分中)可以进行较少的检查分析和/或不进行检查分析。在这样做时，所描述的技术可以通过仅根据这些区域需要的检查参数检查需要检查的区域来改善和/或优化对这些部件的检查的效率，而不花费关于检查不需要检查的其它区域/区域时间和/或处理资源(或不要求按照某些检查参数进行检查)。
在所引用的在线过程中，系统可以通过获取待检查的部分的所需感觉数据(例如，图1中的118和图4中的410)(例如，图4中的410中)来执行、应用或以其它方式执行所引用的检查计划(通过捕获或以其它方式获取图像和/或其它传感器数据(例如，在图1中的120和图4中的120中)，例如按照所生成的检查计划所规定的特定顺序)。作为示例，图10A至图10C描绘了示例性顺序，其中检查系统700的可移动臂/机器人720调整光学头710的定位，以便执行检查计划(例如，计算的检查计划以使得系统700以尽可能有效和/或有益地执行所引用的检查，如本文所述)。应当理解，在某些实现中，检查计划可以在检查期间进行修改或调整，例如通过拍摄附加图像，例如更近/更聚焦的图像/附加角度(例如在不确定情况下)。
在某些实现中，如果待检查的部分的定位被确定为不足够准确，则可以初始地捕获各种测量/图像，例如，从相对较远的位置(例如，以实现整个对象的覆盖)。然后，这种图像可以与基准模型进行比较，以便计算部分的实际位置。然后可以将检查计划调整为该实际位置(例如，不仅校正计划的位置，而且还重新计算到底层硬件参数的转换)。
然后可以(例如，在被检查的部分和基准部分上的(图1的122和图4的414处)和/或，然后CAD模型(例如，在图1的124和图4的416处)被分析和/或以其它方式处理，并且可相对于被检查的部分(例如，图1中的126和图4的418处)进行确定，部分是否有效/被批准或拒绝(例如，鉴于考虑/相对于定义的测试要求所获取的图像和其它检测数据的分析)。这种确定可以基于各种绝对和相对测量，如可以关于特定部分(例如，特定表面上的划痕或不完整的尺寸)来定义。此外，在某些实现中，可以通过对该部分进行分级或评分来进行确定(例如，反映其对基准部分所对应的或不对应的程度、与基准部分的偏差的重要性等)。还应注意，在所引用的分析期间，在某些情况下，可以获取额外的图像和/或数据(例如，在图1中的120和图4的412中)(例如，为了进一步确定可能在初始图像中不可察觉一个或多个方面)，并且可以对这些图像/数据进行分析和/或以其它方式处理，以便计算/确定该部分的结果、分数、分级等。
例如，对于每个测试要求，可以处理收集的传感数据，以便验证被检查的对象是否符合(和/或其程度)。在某些实现中，可以利用以下示例性过程：
·对于在检查部分期间和/或针对为该部分进行检查而定义的一个或多个测试要求所标记/获取的一个或多个数据项(例如，图像)，其中，这种部分：
o可以识别、定义和/或确定与特定测试相关的数据项的一个或多个相关部分、区域、区等(例如，图像和/或其相关部分可以被处理以确定其具有足够高的质量，例如，关于图像的分辨率、图像的照明等，以便符合与检查计划相关联的测试要求)
o一个或多个绝对(例如均匀性)和相对标准(例如，与金色部分图像上的基准测量的相似性)可以应用于数据项(例如，图像)，以验证被检查部分的各个方面，包括但不限于例如部分的测量、尺寸等，如本文所述，
o如果确定检查中的部分的测量不在误差/灵敏度的范围内(例如，根据测试要求和/或由操作者定义)，则该部分可能被确定为有缺陷。进一步分析可以对缺陷进行分类，确定其严重程度等。
o在可疑缺陷的置信度不够高的情况下，系统可以调整和/或增加检查计划，例如为执行附加测量以提高置信度。例如，通过捕获更近的图像。
·识别的缺陷可以映射到对象的区域/区(例如，使用生成的模型)，从而实现进一步的分析(自动化和/或手动)和统计。
应理解，如上所述，可以响应于被检查的部分执行各种验证操作。在某些实现中，这种验证操作可以包括相对于一个或多个绝对标准/测试来验证部分的各个方面或特性)。例如，部分(例如，相对于该部分捕获/接收的各种传感器输入)(和/或其区域或区)可以被处理、分析等，以确定该部分是否包含/反射某些绝对标准(和/或其程度)(例如，部分的颜色是否为红色，部分上是否存在划痕等)。在其它实现中，这种验证操作可以包括相对于一个或多个相关标准/测试来验证部分的各个方面或特性。例如，部分(例如，相对于该部分捕获/接收的各种传感器输入)(和/或其区域或区)可被处理、分析等，以确定该部分是否包含/反射某些相对标准(和/或其程度)(例如，该部分是否被检查的部分是否对应于/反映等，与所引用的盘相关和/或相关联地进行确定，例如以本文所述的方式)。
在另外的实现中，所引用的验证操作可以包括相对于可以反映/嵌入可以在检查时附加到或与该部分相关联的各种标识符(例如，条形码、QR码等)的一个或多个标准/测试来验证该部分的各个方面或特征。例如，可以理解，标识符(例如，条形码，QR码等)可以嵌入或以其它方式与元数据相关联或反映可以对这样的标识符被引导到的部分的各个方面(例如，这种部分的序列号、这种部分的颜色等)。因此，可以将与这种标识符相关联的元数据(例如，标识符所关联的序列号、标识符反映的颜色等)与在部分的检查期间计算的一个或多个确定进行比较(例如，实际上反映在部件本身上的字母数字序列号、部件本身的实际颜色，如基于对这种部分捕获/接收的各种传感器输入的处理所确定的，如本文所述)(和/或其区域或区)，以确定被检查部分(和/或其程度)是否反映在相关标识符的元数据中反映的标准(例如，该部分上描绘的序列号是否对应于反映在固定在部分上的条形码中的序列号，该部分的颜色是否与固定在该部分上的条形码中反映的颜色相对应等)。在这样做时，所描述的技术可以确保所引用的部分在内部一致(例如，因为盘本身适当地反映嵌入在与/附加到部件的标识符相关联的标识符中)。
在另外的实现中，所引用的验证操作可以包括相对于可以在检查时与部分一起被接收/提供的一个或多个标准/测试验证部分的各个方面或特性。例如，结合特定部分的检查，各种数据项目可以由制造站、工厂等(例如，与工厂相关联的服务器等)提供和/或从其接收，其可以反映或对应于该部分被预期或要求满足/具有的各种标准或特征。因此，可以将接收到的标准、特性等与在部分检查期间所规定的一个或多个确定进行比较(例如，部分本身的颜色，如基于通过以下方式捕获/接收的各种传感器输入的处理所确定的)(和/或其区域或区)，以确定在检查时该部分(和/或其程度)是否反映所接收的标准、特征等)。在这样做时，所描述的技术可以确保被检查部分符合由该部分制造商等所规定的参数、标准、特性等。
作为进一步示例，图9A和图9B描绘了示例性的检查场景。图9A描绘了基准部分910的检查，其示出与基准部分中关于哪些附加和/或不同类型的分析被应用的兴趣点或方面对应的基准部分910内的各个区域、区等920(例如，部分910内的螺钉的存在和/或放置/排列)。在确定了这些区域/区并编制了检查计划之后，后续部分(例如，图9B所示的部分930)可被检查(例如，基于所引用的检查计划)。因此，如图9B所示，可以对与这些区域/区920对应的部分930的区域/区进行处理/分析(例如，使用包括在检查计划中的特定参数)来识别部分930内的所引用的螺钉的存在和/或位置。在这样做时，所描述的技术可以识别部分930内符合检查计划中包括的检查要求/参数的区域940以及部分930内不符合检查计划中包括的检查要求/参数的的区域950(例如，螺丝缺失、未完全照明的区域等)。
还应理解，所引用的检查系统可被配置为通过很少或没有修改/调整来检查不同的部分。例如，在某些实现中，可以初始确定部分的独特性，例如通过读取识别部分的条形码和/或基于基于部分的2D或3D图像的识别过程。在确定了特定部分之后，可以生成和/或选择相应的检查方案/计划，并且可以基于适当的检查方案/计划(例如以本文所述的方式)检查部分。在这样做时，可以使用单个检查系统/解决方案，在不同部分的检查之间几乎或没有延迟或“停机”地检查不同部分。
为了进一步说明，在某些实现中，可以使用一个或多个标识符(例如，可能存在于待检查部分上的序列号、条形码、QR码等)来标识、选择和/或调整用于检查所引用的部分的检查计划。也就是说，可以理解，虽然在某些实现中，所描述的技术可以能够确定(例如，提前)相对于待检查的特定产品而使用哪个检查计划(例如，在组装线或制造设施或工位正在生产特定部分的场景下)，在其它实现中，所描述的技术(例如，检查系统)可以不一定预先确定其正在检查的部分的身份或确切性质。因此，在某些实现中，所描述的技术(例如，如本文所述的检查系统的机器人臂和/或光学头)可以(经由一个或多个传感器(例如，光学传感器或任何其它这种传感器)捕获或以其它方式接收一个或多个输出，并且处理这种输入，以便识别或以其它方式识别或确定一个或多个标识符(例如，该部分的序列号或型号、条形码、QR码等)的存在。
作为示例，在某些实现中，在识别出一个或多个字母数字字符的存在(例如，在由检查系统捕获的部分的图像内)时，可以处理这种字符(例如，使用各种光学字符识别(OCR)技术)，以识别存在于该部分伤的字符、字符串、序列号等。已经识别出该部分的这些字符，所描述的技术可以进一步查询一个或多个数据库或存储库，这些数据库或存储库可以包含针对所引用的部分的先前计算或提供的检查计划(例如，可以使用本文所描述的技术中的一个或多个计算的检查计划)。那么与该部分相关/关联的检查计划然后可以由检查系统提供给/接收，并且可以基于这种计划执行该部分的检查。在这样做时，检查系统可以有效地识别待检查的部分，并且要求/接收与这种部件相关联的检查计划，而不需要检查系统额外地“探测”，以便识别待检查的部分。
作为进一步示例，在某些实现中，可以使用与之相关的信息来编码所引用的标识符(例如条形码、QR码等，如所指出的，可以附加到待检查的部分)可用涉及相关联的部分(例如，材料类型、尺寸等)和/或可对英语相关联的部分(例如，可以使用本文所述的一种或多种技术编译)的检查计划的指令来编码。因此，在标识符在该部分上的存在被认证、别等时，标识符可以被处理(例如，通过如本文所述的检查系统)，以便计算/确定相关联的/嵌入的检查计划，其中，检查计划涉及该部分并且该部分的检查可基于这种计划来进行。在这样做时，检查系统可以有效地识别与被待查的部分相关的检查计划，而不需要检查系统进行额外的“检查”和/或与外部数据库/存储库的通信。
在某些实现中，也可以实现“学习”过程。这种过程可以在所描述的在线过程的后续和/或并行地采用。在这种学习过程中，可以向用户(例如，检查管理员)(例如，在图1的128和图4中的420中)提供/呈现由所描述的检查系统产生的各种识别的缺陷(例如，在自动检查过程中识别的缺陷)，并且这种用户可以手动地接受或拒绝所引用的确定(例如，在图1的图130和图4的422中)。基于这种反馈(例如，在图1的132和图4的424中)，系统可以从反馈“学习”(例如，在图1的134和图4的426中)(例如，使用机器学习技术，如本领域的普通技术人员已知的)并且进一步改善检测/确定过程。此外，学习过程也可以用于适应或改变检查计划(例如，在图1的136和图4的428中)。例如，可以以更高的质量检查确定或以其它方式识别为更容易出错的区域。
应理解，所引用的操作可以实现检测结果相对于质量保证的适应性。还应理解，在某些实现中，这种操作可以与所描述的在线过程并行地执行。
在某些实现中，可以相对于由系统生成的检测结果接收输入/反馈(例如，指示是否接受或拒绝这种结果)。在某些实现中，提供这种反馈的用户可以访问进行检测结果的检测数据和/或实际测试部分。这种接受/拒绝的指示可以在机器学习过程中收集和使用。在这样做时，该系统可以进一步适应/配置为特定制造商的要求、标准和/或偏好。由于计划过程为每个测试要求生成标准化测量，因此可以以统一的方式进行处理，因此可以实现成功的学习过程。
附加地，在描述的在线检查过程中，系统可以接收/编译数据和/或生成关于被检查部分上识别的缺陷的统计信息。例如，这种数据可以反映和/或用于确定这些缺陷的类型和/或位置以及相关统计。这种信息可以被提供给各种产品设计/原型引擎/系统(例如，CAD/CAM软件、系统等)，其中其可以用于修改/校正模型的设计。附加地，在制造过程中(例如，用以固定如可以根据其位置和类型修改的机器)，可以将实际取消的信息提供给其它站。此外，在某些实现中，可以针对待进行这种校正的方式进行各种确定、预测和/或指令(例如，为了使制造过程的“停机时间”最小化来抵消制造缺陷的最有效的方式)。
在某些实现中，可以聚集/存储所描述的技术/工艺的各种阶段/操作(例如，关于各种部分、结构、材料、模型等)收集的/或产生的数据(例如，数据库)。可以将各种技术(例如，机器学习等)应用于这样的数据，例如为了确定/预测未来产品中可能出现的缺陷以及如何/可能会在如何避免或最小化这些缺陷的情况下产生各种建议。例如，已经确定了由某种材料制成的某种形状的部分中的许多缺陷、替代形状(相对于其观察到更少缺陷)和/或替代材料(相对于其观察到更少的缺陷)可被建议。在制造过程开始之前，可以避免缺陷。
在某些实现中，可以针对3D打印技术/工艺使用所描述的技术，包括但不限于熔融沉积建模(FDM)。例如，在整个3D打印过程中，可以检查待打印的部分/对象(例如，以本文所述的方式)，以便识别缺陷。在识别出这些缺陷的情况下，可以暂停/中止打印处理(从而减少在缺陷部分上浪费的废物的量)，或者可以调整打印过程以适应并纠正缺陷(如果可能的话-例如，在对象中存在可被填充的孔)。此外，在某些实现中，可以调整原始3D打印计划/处理，以考虑正在打印的部分的周期性/持续检查。例如，该部分的各个部分/区域(例如，可能更容易受到缺陷的区域)可以被优先化(例如，在打印过程中较早地印刷)，并且一旦这样的区域被确定为已被打印而没有缺陷，则剩余部分可被打印。
还应注意，尽管所描述的技术和工艺在本文主要相对于产品检查(例如，使用如本文所描绘和描述的检查系统)描述，但是所描述的技术/工艺并不限于此。因此，应理解，所描述的技术/工艺可以在其它设置和内容中类似地实现和/或使用。作为示例，在某些实现中，可以采用所描述的技术来进行更大规模的检查，例如对诸如建筑物、桥梁、道路、隧道等的较大结构的检查。在这种实现中，车辆(配备有各种相机、传感器等)可用于相对于这种结构(例如，周围和/或内部)的操纵。这种车辆的示例包括但不限于诸如汽车、自行车等载人车辆、无人驾驶飞行器(UAV)或无人驾驶飞机、遥控车、船等的无人驾驶车辆或任何其它这种机动装置。在这种实现中，所引用的车辆或机动装置可以被配置为执行初始检查(例如，在原型或理想构造的结构上)和/或定义这种结构的理想/预期尺寸和特性的模型可被处理。在这样做时，可以计算检查计划(例如，对于待检查的实际结构等)。如本文所述，在计算这种检查计划时可以考虑各种考虑。例如，可以识别要检查的结构的一个或多个重要或重要的区域，并且车辆在进行所引用的检查时进行操纵的路径可以适应这些区域的优先级。作为进一步的示例，可以在计算所引用的检查计划中考虑车辆/装置的某些技术限制(例如，可能影响无人机的飞行时间的电池限制、对车辆可能或可能不行驶的位置的限制、高度/接收限制等)。在这样做时，所描述的技术可以使所引用的结构以可能最有效和最有益的方式进行检查。在计算了所引用的检查计划之后，车辆可以执行计划，例如以本文所述的方式(例如，关于产品检查)。
还应理解，根据具体实现，本文中所引用的部件可以组合在一起或分离成另外的部件。附加地，在一些实现中，特定装置的各种部件可以在单独的机器上运行。
还应注意，尽管本文所描述的技术主要在产品检查方面进行了说明，但是所描述的技术也可以以任何数量的附加或替代设置或内容以及任何数量的附加目标来实现。
图11描绘了示意性计算机系统，其中可以执行用于使机器执行本文讨论的任何一种或多种方法的指令集。在可选实现中，机器可以被连接(例如，联网)到LAN、内部网、外部网或者英特网中的其它机器。该机器可以在客户端-服务器网络环境中以服务器机器的容量运行。机器可以是个人计算机(PC)、机顶盒(STB)、智能相机、服务器、网络路由器、交换机或网桥，或者能够执行由该机器取得的一组指令(顺序地或以其它方式)的任何机器。此外，虽然仅示出了单个机器，但是术语“机器”还应被视为包括单独或共同执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器集合。还应注意的是，根据某些实现的所引用的计算机系统的各种其它方面也在图12中示出并在下面描述。
示例性计算机系统600包括处理系统(处理器)602、主内存604(例如，只读内存(ROM)、闪存，诸如同步DRAM(SDRAM)的动态随机存取内存(DRAM))、静态内存606(例如，闪存、静态随机存取内存(SRAM))和数据存储装置616，它们经由总线608彼此通信。
处理器602表示一个或多个通用处理装置，如微处理器、中央处理单元等。更具体地，处理器602可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、非常长指令字(VLIW)微处理器或实现其它指令集的处理器或实现指令集的组合的处理器。处理器602还可以是一个或多个专用处理装置，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处器(DSP)、网络处理器等。处理器602被配置为执行用于执行本文讨论的操作和步骤的指令626。
计算机系统600还可以包括网络接口装置622。计算机系统600还可以包括视频显示单元610(例如，液晶显示器(LCD)或阴极射线管(CRT))、字母数字输入装置612(例如，键盘)、光标控制装置614(例如，鼠标)和信号生成装置620(例如，扬声器)。
数据存储装置616可以包括计算机可读介质624，在其上存储一个或多个体现本文所描述的任何一种或多种方法或功能的指令集626。指令626也可以在由计算机系统600执行期间，完全或至少部分地驻留在主存储器604和/或处理器602内，主存储器604和处理器602还构成计算机可读介质。指令626还可以经由网络接口装置622通过网络被发送或接收。
尽管在示例性实施例中将计算机可读存储介质624示为单个介质，但是术语“计算机可读存储介质”应被视为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。
术语“计算机可读存储介质”也应被视为包括能够存储、编码或携带一组指令以供机器执行并使机器执行本公开的任何一种或多种方法学的任何介质。因此，术语“计算机可读存储介质”应被认为包括但不限于固态存储器、光学介质和磁性介质。
图12描绘了可被配置为实现本文描述的一种或多种技术和/或工艺的计算装置103的进一步方面。装置103可以是机架式服务器、路由器计算机、个人计算机、便携式数字助理、移动电话、膝上型计算机、平板电脑、相机、摄像机、上网本、台式计算机、媒体中心、智能手机、手表、智能手表、车载计算机/系统、上述的任何组合或能够实现本文所描述的各种功能的任何其它这种类型的计算装置。可以在用户装置(例如，在用户装置的操作系统上)上运行诸如移动应用(“应用”)、网络浏览器等(未示出)的各种应用。应理解，在某些实现中，用户装置103还可以包括和/或包含各种传感器和/或通信接口。这种传感器的示例包括但不限于：加速度计、陀螺仪、罗盘、GPS、触觉传感器(例如，触摸屏、按钮等)、麦克风、相机等。这种通信接口的示例包括但不限于蜂窝(例如，3G、4G等)接口、蓝牙接口、WiFi接口、USB接口、NFC接口等。
如上所述，在某些实现中，用户装置103还可以包括和/或包含各种传感器和/或通信接口。作为示例，图12描绘了用户装置103的一个示例性实现。如图2所示，装置103可以包括可操作地连接到各种硬件和/或软件组件的控制电路240(例如，主板)，其用于实现诸如本文所描述的各种操作。控制电路240可以被操作地连接到处理器210和内存220。处理器210用于执行可加载到内存220中的软件的指令。取决于具体的实施方案，处理器210可以是多个处理器、多处理器核心或一些其它类型的处理器。此外，可以使用多个异构处理器系统来实现处理器210，其中主处理器在单个芯片上存在辅助处理器。作为另一说明性示例，处理器210可以是包含相同类型的多个处理器的对称多处理器系统。
内存220和/或存储器290可以由处理器210访问，从而使得处理器210能够接收和执行存储在内存220和/或存储器290上的指令。内存220可以是例如随机存取存储器(RAM)或任何其它合适的易失性或非易失性计算机可读存储介质。此外，内存220可以是固定的或可移除的。存储器290可以采取各种形式，这取决于具体的实现。例如，存储器290可以包含一个或多个部件或装置。例如，存储器290可以是硬盘驱动器、闪速存储器、可重写光盘、可重写磁带或上述的某种组合。存储器290也可以是固定的或可拆卸的。
通信接口250也可操作地连接到控制电路240。通信接口250可以是允许用户装置103与一个或多个外部装置、机器、服务、系统和/或元件(包括但不限于如本文所述的检查系统和/或其元件)之间的通信的任何接口(或多个接口)。通信接口250可以包括(但不限于)调制解调器、网络接口卡(NIC)、集成网络接口、射频发射机/接收机(例如，WiFi、蓝牙、蜂窝、NFC)、卫星通信发射机/接收器、红外端口、USB连接或用于将装置103连接到其他计算装置、系统、服务和/或诸如因特网的通信网络的任何其它这种接口。这种连接可以包括有线连接或无线连接(例如，802.11)，尽管应理解，通信接口250实际上可以是任何能够与控制电路240和/或本文描述的各种部件进行通信的接口。
在所描述的技术的操作期间的各个点处，装置103可以与一个或多个其它装置、系统、服务、服务器等进行通信，诸如在附图中描绘和/或在此描述的那些。这样的装置、系统、服务、服务器等可以向/从用户装置103发送和/或接收数据，从而增强所描述的技术的操作，诸如本文中详细描述的。应当理解，所引用的装置、系统、服务、服务器等可以与用户装置103直接通信、与用户装置103的间接通信、与用户装置103的恒定/正在进行的通信、与用户装置103的周期性通信和/或可以与用户装置103通信地协调，如本文所述。
还优选地连接到和/或与用户设备103的控制电路240通信的是一个或多个传感器245A-245N(统称为传感器245)。传感器245可以是可并入/集成在用户装置103内和/或与用户装置103通信的各种部件、装置和/或接收器。传感器245可以被配置为检测本文所述的一个或多个刺激、现象或任何其它这样的输入。这种传感器245的示例包括但不限于加速仪245A、陀螺仪245B、GPS接收器245C、麦克风245D、磁力仪245E、相机245F、光传感器245G、温度传感器245H、高度传感器245l、压力传感器245J、接近传感器245K、近场通信(NFC)装置245L、罗盘245和触觉传感器245N。如本文所述，装置103可以检测/接收来自传感器245的各种输入，并且这种输入可以用于启动、启用和/或增强各种操作和/或其方面，诸如本文所述。
在这个时刻，应注意，虽然前面的描述(例如，关于传感器245)已经被引导到用户装置103，但是各种其它装置、系统、服务器、服务等(例如在附图中描绘和/或本文种描述)可以类似地结合与用户装置103相关联地描述的部件、元件和/或能力。例如，所描述的检查系统和/或其元件还可以包括一个或多个所引用的部件、元件和/或能力。
在上面的描述中，阐述了许多细节。然而，对于受益于本公开内容的本领域普通技术人员将显而易见的是，可以在没有这些具体细节的情况下实施实施例。在某些情况下，公知的结构和装置以框图形式而不是详细地示出，以避免模糊描述。
根据对计算机存储器内的数据位的操作的算法和符号表示来呈现详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将其工作的实质传达给本领域技术人员的手段。算法在这里，并且通常被认为是导致期望结果的自相矛盾的步骤序列。这些步骤是需要物理量的物理操作的步骤。通常，虽然不一定，但是这些数量采取能够被存储、传送、组合、比较和以其它方式操纵的电或磁信号的形式。有时，主要是出于普遍使用的原因，将这些信号称为位、值、元件、符号、字符、术语、数字等。
但是，应记住，所有这些和类似的术语都应该与适当的物理量相关联，并且仅仅是适用于这些量的便利标签。除非另有明确说明，否则从上述讨论中显而易见，可以理解，在整个说明书中，利用诸如“接收”、“确定”、“捕获”、“处理”等术语的讨论是指计算机系统或类似的电子计算装置的动作和过程，其将表示为计算机系统的寄存器和存储器内的物理(例如，电子)量的数据转换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
本公开的方面和实施方式还涉及用于执行本文操作的装置。该装置可以为所需目的而特别构造。这种计算机程序可以存储在计算机可读存储介质中，诸如但不限于包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或任何适合于存储电子指令的介质。
应当理解，本公开不参考任何特定的编程语言来描述。应当理解，可以使用各种编程语言来实现本文所述的本公开的教导。
应当理解，上述描述旨在是说明性的、而不是限制性的。在阅读和理解上述描述之后，许多其它实施例对于本领域技术人员是显而易见的。此外，除或除了本文所引用的那些之外，上述技术可以应用于其它类型的数据。因此，本公开的范围应参照所附权利要求书以及这些权利要求书的等同物的全部范围来确定。

Claims (62)

1.一种方法，包括：
捕获基准部分的一个或多个图像；
处理所述基准部分的所述一个或多个图像以生成所述基准部分的检查模型，其中所述检查模型包括所述基准部分的多维检查模型，所述多维检查模型包括所述基准部分的结构的一个或多个方面的定义、所述基准部分的材料组分的一个或多个方面以及所述基准部分的一个或多个视觉特征；
将所述检查模型的一个或多个区域与一个或多个分析参数相关联；
基于所述检查模型和所述一个或多个分析参数，通过处理装置生成检查计划，其中生成所述检查计划的步骤包括：相对于一个或多个测试要求，处理所述检查模型以生成所述检查计划，并且其中所述一个或多个测试要求是基于一个或多个变化而产生的，所述一个或多个变化是相对于所述基准部分的检查而识别出的；
基于所述检查计划，捕获待检查的部分的一个或多个图像，其中捕获所述基准部分的一个或多个图像的步骤包括：(a)基于第一级别的照明来捕获所述基准部分的一个或多个图像中的第一图像，所述第一级别的照明指向所述基准部分的第一区域并与所述基准部分上的划痕的检测相关联，以及(b)基于第二级别的照明来捕获所述基准部分的一个或多个图像中的第二图像，所述第二级别的照明指向所述基准部分的第二区域并与所述基准部分中的螺钉的存在的检测相关联；
根据与所述检查模型的一个或多个区域相关联的分析参数对所述部分的一个或多个图像进行处理，以计算关于所述部分的一个或多个质量确定；以及
基于所述一个或多个质量确定，提供一个或多个输出。
2.如权利要求1所述的方法，还包括：将所述基准部分提供给检查系统。
3.如权利要求1所述的方法，还包括：在检查系统处接收所述基准部分。
4.如权利要求1所述的方法，其中，所述基准部分包括多个基准部分。
5.如权利要求1所述的方法，其中，所述基准部分包括反映基准部分的计算机辅助设计(CAD)模型。
6.如权利要求1所述的方法，还包括：将机器人臂配置成相对于所述基准部分操纵图像捕获装置。
7.如权利要求6所述的方法，其中，所述机器人臂包括行相机、二维相机、三维相机、照明装置或三维传感器中的至少一种。
8.如权利要求6所述的方法，其中，所述机器人臂被配置成基于与所述基准部分相关联的CAD模型相对于所述基准部分进行操纵。
9.如权利要求1所述的方法，还包括：将平台配置成调整所述基准部分的位置。
10.如权利要求1所述的方法，还包括：将机器人臂配置成调整所述基准部分的位置。
11.如权利要求1所述的方法，其中，捕获所述基准部分的一个或多个图像的步骤包括：
基于与所述基准部分相关联的一个或多个图像捕获参数来捕获所述基准部分的一个或多个图像。
12.如权利要求1所述的方法，其中，所述一个或多个图像捕获参数包括：考虑到(a)基准部分的材料、(b)基准部分的一个或多个尺寸、(c)用于捕获所述基准部分的一个或多个图像的一个或多个照明类型、或(d)用于捕获所述基准部分的一个或多个图像中的图像捕获装置的一个或多个特性中的至少一个的一个或多个图像捕获参数。
13.如权利要求1所述的方法，其中，处理所述基准部分的所述一个或多个图像的步骤包括：
基于与所述基准部分相关联的CAD模型来处理所述一个或多个图像以生成所述基准部分的所述检查模型。
14.如权利要求1所述的方法，其中，所述检查模型包括所述基准部分的一个或多个视觉特征。
15.如权利要求1所述的方法，其中，所述基准部分的所述一个或多个视觉特征包括：所述基准部分的一个或多个几何特性或所述基准部分的一个或多个反射特性中的一个或多个。
16.如权利要求1所述的方法，其中，所述检查模型反映与所述基准部分相关联的一个或多个缺陷公差。
17.如权利要求16所述的方法，其中，所述一个或多个缺陷公差基于在多个基准部分的相应检查中识别的差异来确定。
18.如权利要求1所述的方法，其中，处理所述基准部分的所述一个或多个图像的步骤包括：相对于所述基准部分计算一个或多个预测。
19.如权利要求18所述的方法，其中，所述一个或多个预测基于所述基准部分的一个或多个视觉特征来计算。
20.如权利要求18所述的方法，其中，所述一个或多个预测包括：与所述基准部分的材料的变化、(b)所述基准部分的反射特性、或(c)所述基准部分的角度中的至少一个相关联的一个或多个预测视觉特征。
21.如权利要求1所述的方法，其中，处理所述基准部分的所述一个或多个图像的步骤包括：将所述基准部分的CAD模型与所述基准部分的所述一个或多个图像进行比较。
22.如权利要求21所述的方法，其中，基于对所述基准部分的CAD模型，相对于所述基准部分的一个或多个图像之间的差异的确定，确定如所述待检查的部分中识别的可比较的差异不是缺陷。
23.如权利要求1所述的方法，还包括：识别所述检查模型的所述一个或多个区域。
24.如权利要求1所述的方法，还包括：接收所述检查模型的所述一个或多个区域的选择。
25.如权利要求1所述的方法，其中，所述一个或多个测试要求定义与所述检查模型相关联的一个或多个检查参数。
26.如权利要求1所述的方法，其中，所述一个或多个测试要求定义与所述检查模型相关联的一个或多个检查参数。
27.如权利要求1所述的方法，其中，所述检查计划规定相对于所述待检查的部分的检查来配置检查系统的方式。
28.如权利要求1所述的方法，其中，所述检查计划在检查所述部分期间配置机器人臂的定位。
29.如权利要求1所述的方法，其中，所述检查计划在检查所述部分期间配置照明级别。
30.如权利要求1所述的方法，其中，所述检查计划在检查所述部分期间配置一个或多个图像捕获属性。
31.如权利要求1所述的方法，其中，所述检查计划在检查所述部分期间配置一个或多个检查操作的顺序。
32.如权利要求1所述的方法，其中，所述检查计划基于检查序列中的前一步骤，在所述检查序列中配置机器人臂相对于一个步骤的定位。
33.如权利要求1所述的方法，其中，所述检查计划基于检查序列中的后续步骤，在所述检查序列中配置机器人臂相对于一个步骤的定位。
34.如权利要求1所述的方法，其中，所述检查计划配置所述待检查的部分的所述一个或多个图像的处理。
35.如权利要求1所述的方法，其中，所述检查计划配置所述待检查的部分的所述一个或多个图像的一个或多个区域的处理的优先级。
36.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：接收关于待应用哪一个或多个检查参数的所述检查模型的一个或多个区域的选择。
37.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：处理所述检查模型以投影所述检查模型中可能存在哪些缺陷的一个或多个区域。
38.如权利要求37所述的方法，还包括：相对于所述检查模型中可能存在哪些缺陷的所述一个或多个区域，关联一个或多个检查参数。
39.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：接收涉及与所述待检查的部分相关联的制造过程的一个或多个方面的信息。
40.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：相对于所述待检查的部分接收涉及制造过程的一个或多个方面的信息，其中所述制造过程的一个或多个方面指示在所述待检查的部分的一个或多个区域中存在缺陷的可能性。
41.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：相对于所述待检查的部分接收涉及制造过程的一个或多个方面的信息，
其中，所述方法还包括：
基于与所述待检查的部分相关联的所述制造过程的一个或多个方面修改所述检查计划。
42.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：相对于所述待检查的部分接收涉及制造过程的一个或多个方面的信息，
其中，所述方法还包括：基于所述制造过程的方面来对所述部分的一个或多个区域的检查进行优先级排序。
43.如权利要求1所述的方法，其中，所述待检查的部分包括与所述基准部分不同的部分。
44.如权利要求43所述的方法，其中，所述待检查的部分包括与所述基准部分相关的部分、结构上与所述基准部分相关的部分、或由与所述基准部分的材料不同的材料构成的部分中的至少一个。
45.如权利要求1所述的方法，其中，生成所述检查计划的步骤包括：基于所述待检查的部分的一个或多个反射属性来修改所述检查计划的一个或多个方面。
46.如权利要求1所述的方法，还包括：在检查系统处接收所述待检查的部分。
47.如权利要求1所述的方法，其中，捕获所述待检查的部分的一个或多个图像的步骤包括：处理所述待检查的部分的所述一个或多个图像以确定所述部分的定位。
48.如权利要求47所述的方法，还包括：基于所述定位来适应所述检查计划相对于所述部分的执行。
49.如权利要求1所述的方法，其中，对所述部分的一个或多个图像进行处理以计算关于所述部分的一个或多个质量确定的步骤包括：验证所述待检查的部分的一个或多个测量。
50.如权利要求1所述的方法，其中，对所述部分的一个或多个图像进行处理以计算关于所述部分的一个或多个质量确定的步骤包括：验证所述待检查的部分的一个或多个维度。
51.如权利要求1所述的方法，其中，所述一个或多个质量确定包括：所述部分是否被接受还是被拒绝、所述部分的分数、所述部分的分级、或者所述部分是否在与所述检查模型相关联的共差灵敏度内中的一个或多个。
52.如权利要求1所述的方法，其中，对所述部分的一个或多个图像进行处理以计算关于所述部分的一个或多个质量确定的步骤包括：基于确定所述一个或多个质量确定中的至少一个是不确定的，进一步捕获所述部分的一个或多个附加图像，并处理所述一个或多个附加图像以计算另一质量确定。
53.如权利要求1所述的方法，其中，提供所述一个或多个输出的步骤包括：经由图形用户界面(GUI)呈现所述一个或多个质量确定，所述方法还包括：
经由GUI接收与所述一个或多个质量确定相关的一个或多个反馈项；以及
基于所述一个或多个反馈项，调整所述检查计划。
54.如权利要求1所述的方法，其中，提供所述一个或多个输出的步骤包括：向与所述部分相关联的设计引擎提供所述一个或多个质量确定，所述方法还包括：
根据所述一个或多个质量确定来调整所述部分的设计的一个或多个方面。
55.如权利要求1所述的方法，其中，提供所述一个或多个输出的步骤包括：向与所述部分相关联的制造站提供所述一个或多个质量确定，所述方法还包括：
根据所述一个或多个质量确定来调整所述部分的制造的一个或多个方面。
56.如权利要求1所述的方法，其中，提供所述一个或多个输出的步骤包括：
相对于所述部分中识别的缺陷能够被校正，生成一个或多个校正指令；以及
向与所述部分相关联的制造站提供所述一个或多个校正指令。
57.如权利要求1所述的方法，还包括：基于所述一个或多个质量确定，计算关于针对一个或多个其它部分可能出现的潜在缺陷的一个或多个预测。
58.如权利要求1所述的方法，还包括：
基于所述一个或多个质量确定，相对于一个或多个其它部分可能出现的潜在缺陷，计算一个或多个预测，
其中，计算所述一个或多个预测的步骤包括：提出能够制成所述一个或多个其它部分的一个或多个替代性材料。
59.如权利要求1所述的方法，还包括：
基于所述一个或多个质量确定，相对于一个或多个其它部分可能出现的潜在缺陷，计算一个或多个预测，
其中，计算所述一个或多个预测的步骤包括：提出能够设计所述一个或多个其它部分的一个或多个替代形状。
60.如权利要求1所述的方法，还包括：
基于所述一个或多个质量确定，相对于一个或多个其它部分可能出现的潜在缺陷，计算一个或多个预测，
其中，计算所述一个或多个预测的步骤包括：提出能够制造一个或多个其它部分的一个或多个替代制造过程。
61.一种系统，包括：
内存；以及
处理装置，操作性地联接到所述内存，所述处理装置被配置为执行如权利要求1至60中任一项所述的方法。
62.一种具有在其上编码有的指令的非暂时性计算机可读介质，所述指令在被处理装置执行时，使所述处理装置执行如权利要求1至60中任一项所述的方法。
CN201580074364.7A 2014-11-24 2015-11-24 自动检查 Active CN107408297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110016463.7A CN112837266A (zh) 2014-11-24 2015-11-24 自动检查

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462083807P 2014-11-24 2014-11-24
US62/083,807 2014-11-24
PCT/IB2015/002414 WO2016083897A2 (en) 2014-11-24 2015-11-24 Automated inspection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110016463.7A Division CN112837266A (zh) 2014-11-24 2015-11-24 自动检查

Publications (2)

Publication Number Publication Date
CN107408297A CN107408297A (zh) 2017-11-28
CN107408297B true CN107408297B (zh) 2021-02-02

Family

ID=56075093

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110016463.7A Pending CN112837266A (zh) 2014-11-24 2015-11-24 自动检查
CN201580074364.7A Active CN107408297B (zh) 2014-11-24 2015-11-24 自动检查

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110016463.7A Pending CN112837266A (zh) 2014-11-24 2015-11-24 自动检查

Country Status (5)

Country Link
US (2) US10916005B2 (zh)
EP (1) EP3224806A4 (zh)
JP (2) JP7108247B2 (zh)
CN (2) CN112837266A (zh)
WO (1) WO2016083897A2 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837266A (zh) 2014-11-24 2021-05-25 基托夫系统有限公司 自动检查
WO2016128189A1 (en) * 2015-02-13 2016-08-18 Asml Netherlands B.V. Process variability aware adaptive inspection and metrology
FR3037429B1 (fr) * 2015-06-15 2018-09-07 Donecle Systeme et procede d'inspection automatique de surface
JP6745156B2 (ja) * 2016-07-15 2020-08-26 ニッタン株式会社 飛行体
US10706530B2 (en) 2017-09-11 2020-07-07 International Business Machines Corporation Object detection
US10969521B2 (en) 2017-10-26 2021-04-06 2KR Systems, LLC Flexible networked array for measuring snow water equivalent (SWE) and system network for providing environmental monitoring services using the same
US11086315B2 (en) 2017-10-26 2021-08-10 2KR Systems, LLC Building rooftop intelligence gathering, decision-support and snow load removal system for protecting buildings from excessive snow load conditions, and automated methods for carrying out the same
IL257256A (en) * 2018-01-30 2018-03-29 HYATT Yonatan System and method for establishing production line tests
CN112585672A (zh) * 2018-01-15 2021-03-30 基托夫系统有限公司 自动检查和零件登记
US20210061465A1 (en) * 2018-01-15 2021-03-04 Hongo Aerospace Inc. Information processing system
JP6917925B2 (ja) * 2018-03-12 2021-08-11 株式会社日立製作所 Ｃａｄデータ検査システム
US11087446B2 (en) * 2018-03-25 2021-08-10 Matthew Henry Ranson Automated arthropod detection system
CN108764029A (zh) * 2018-04-16 2018-11-06 南京维拓科技股份有限公司 模型智能检查方法
US11049052B2 (en) 2018-05-02 2021-06-29 International Business Machines Corporation Automated managing of a data center installation
CN109000559B (zh) * 2018-06-11 2020-09-11 广东工业大学 一种物体体积的测量方法、装置、系统和可读存储介质
MX2020013585A (es) * 2018-06-14 2021-05-12 Gestamp Servicios S A Control de la calidad de los procesos industriales.
US11682113B2 (en) 2018-11-29 2023-06-20 Inspekto A.M.V. Ltd. Multi-camera visual inspection appliance and method of use
WO2020110129A1 (en) * 2018-11-29 2020-06-04 Inspekto A.M.V Ltd Centralized analytics of multiple visual inspection appliances
IL263399B (en) * 2018-11-29 2022-09-01 Inspekto A M V Ltd Centralized analyzes of multiple devices for visual inspection of a production line
JP7221038B2 (ja) * 2018-12-10 2023-02-13 大和ハウス工業株式会社 留め付け検査システムおよび留め付け検査方法
US10670539B1 (en) * 2018-12-11 2020-06-02 General Electric Company Coating quality inspection system and method
US10964015B2 (en) * 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
US11210770B2 (en) * 2019-03-15 2021-12-28 Hitachi, Ltd. AI-based inspection in transportation
WO2021171287A1 (en) * 2020-02-24 2021-09-02 Saccade Vision Ltd. System and method for controlling automatic inspection of articles
US11162770B2 (en) * 2020-02-27 2021-11-02 Proto Labs, Inc. Methods and systems for an in-line automated inspection of a mechanical part
DE102020209509A1 (de) * 2020-07-28 2022-02-03 Sivantos Pte. Ltd. Verfahren zur Fehlererkennung bei einem Hörgerät sowie System
CN116348825A (zh) * 2020-08-05 2023-06-27 基托夫系统有限公司 内部组件检查要求的设计编码
US11410417B2 (en) * 2020-08-17 2022-08-09 Google Llc Modular system for automatic hard disk processing and verification
US11625821B2 (en) * 2020-10-14 2023-04-11 Baker Hughes Oilfield Operations Llc Automated inspection-plan based detection
US11782167B2 (en) 2020-11-03 2023-10-10 2KR Systems, LLC Methods of and systems, networks and devices for remotely detecting and monitoring the displacement, deflection and/or distortion of stationary and mobile systems using GNSS-based technologies
CN112419299B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院（深圳）有限公司 一种螺栓缺失检测方法、装置、设备及存储介质
DE102021208648A1 (de) * 2021-08-09 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfverfahren zur Prozessqualitätsüberprüfung und Prüfvorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859923A (en) * 1992-12-29 1999-01-12 Cognex Corporation Mark quality inspection apparatus and method
CN1440543A (zh) * 2000-06-28 2003-09-03 泰拉丁公司 使用检查系统的图像处理系统
WO2010112894A1 (en) * 2009-04-02 2010-10-07 Roke Manor Research Limited Automated 3d article inspection
CN101981683A (zh) * 2008-03-27 2011-02-23 东京毅力科创株式会社 缺陷分类方法、计算机存储介质以及缺陷分类装置
CN102378909A (zh) * 2009-04-30 2012-03-14 威尔科克斯联营公司 检查方法和检查装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107510B2 (ja) * 1986-02-18 1995-11-15 オムロン株式会社 基板検査装置および基板検査方法
JPH07107511B2 (ja) * 1986-05-07 1995-11-15 オムロン株式会社 プリント基板検査装置
JP3583450B2 (ja) * 1993-09-28 2004-11-04 川崎重工業株式会社 ３次元物体の自動検査装置および方法
US5815198A (en) * 1996-05-31 1998-09-29 Vachtsevanos; George J. Method and apparatus for analyzing an image to detect and identify defects
US6408429B1 (en) * 1997-01-17 2002-06-18 Cognex Corporation Machine vision system for identifying and assessing features of an article
CN1232924C (zh) * 1997-10-09 2005-12-21 维克闯公司 电子组装的图象检验方法
US6445812B1 (en) * 1999-01-22 2002-09-03 Siemens Corporate Research, Inc. Illumination compensation system for industrial inspection
JP4246319B2 (ja) * 1999-06-16 2009-04-02 パナソニック株式会社 照明むら測定方法および測定装置
US6581202B1 (en) 2000-11-10 2003-06-17 Viasystems Group, Inc. System and method for monitoring and improving dimensional stability and registration accuracy of multi-layer PCB manufacture
GB0210990D0 (en) 2002-05-14 2002-06-19 Rolls Royce Plc Method of generating an inspection program and method of generating a visual display
JP4250931B2 (ja) 2002-08-30 2009-04-08 日本電気株式会社 外観検査装置および外観検査方法
US7183120B2 (en) 2002-10-31 2007-02-27 Honeywell International Inc. Etch-stop material for improved manufacture of magnetic devices
US6927003B2 (en) * 2003-02-11 2005-08-09 Synopsys, Inc. Simulation based PSM clear defect repair method and system
GB0303270D0 (en) 2003-02-13 2003-03-19 Renishaw Plc A machine tool control process and apparatus therefor
US20040223053A1 (en) 2003-05-07 2004-11-11 Mitutoyo Corporation Machine vision inspection system and method having improved operations for increased precision inspection throughput
DE102004007829B4 (de) 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen
US7111783B2 (en) 2004-06-25 2006-09-26 Board Of Trustees Operating Michigan State University Automated dimensional inspection
US7398129B2 (en) * 2004-10-07 2008-07-08 Amada Company, Limited Representation of sheet metal part models
JP3960346B2 (ja) 2004-12-27 2007-08-15 オムロン株式会社 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
WO2007023502A2 (en) 2005-08-26 2007-03-01 Camtek Ltd. Method and system for automatic defect detection of articles in visual inspection machines
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7689003B2 (en) 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
US20080099675A1 (en) * 2006-10-31 2008-05-01 Hitachi High-Technologies Corporation Inspection apparatus and an inspection method
JP4943304B2 (ja) * 2006-12-05 2012-05-30 株式会社 Ｎｇｒ パターン検査装置および方法
CN106018563A (zh) * 2007-02-21 2016-10-12 洛克希德马丁公司 用于激光超声波探伤的关节型机器人
US8976242B2 (en) * 2007-10-03 2015-03-10 Kabushiki Kaisha Toshiba Visual inspection apparatus and visual inspection method
JP5414215B2 (ja) * 2008-07-30 2014-02-12 株式会社日立ハイテクノロジーズ 回路パターン検査装置、および回路パターンの検査方法
US8358831B2 (en) * 2008-09-11 2013-01-22 Rudolph Technologies, Inc. Probe mark inspection
FR2940449A1 (fr) * 2008-12-24 2010-06-25 Snecma Procede de controle non destructif d'une piece mecanique
US8746089B2 (en) * 2009-01-19 2014-06-10 Babcock & Wilcox Nuclear Energy, Inc. Apparatus for automated positioning of eddy current test probe
JP2011174896A (ja) * 2010-02-25 2011-09-08 Mitsubishi Heavy Ind Ltd 撮像装置及び撮像方法
JP5518571B2 (ja) * 2010-05-24 2014-06-11 株式会社ブリヂストン タイヤの外観検査装置及び外観検査方法
US8699784B2 (en) 2010-08-10 2014-04-15 Camtek Ltd. Inspection recipe generation and inspection based on an inspection recipe
KR101240947B1 (ko) 2010-12-30 2013-03-18 주식회사 미르기술 비전검사장치
US9201022B2 (en) * 2011-06-02 2015-12-01 Taiwan Semiconductor Manufacturing Company, Ltd. Extraction of systematic defects
JP5647999B2 (ja) * 2012-01-04 2015-01-07 株式会社日立ハイテクノロジーズ パターンマッチング装置、検査システム、及びコンピュータプログラム
JP5948138B2 (ja) * 2012-05-11 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム
US9053390B2 (en) 2012-08-14 2015-06-09 Kla-Tencor Corporation Automated inspection scenario generation
US9251582B2 (en) 2012-12-31 2016-02-02 General Electric Company Methods and systems for enhanced automated visual inspection of a physical asset
US9091935B2 (en) * 2013-03-11 2015-07-28 Kla-Tencor Corporation Multistage extreme ultra-violet mask qualification
US20140336928A1 (en) 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
US9430824B2 (en) * 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US9934565B2 (en) * 2013-06-07 2018-04-03 Asti Holdings Limited Systems and methods for automatically verifying correct die removal from film frames
US9187188B2 (en) 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
JP6329397B2 (ja) * 2014-03-07 2018-05-23 株式会社ダイヘン 画像検査装置及び画像検査方法
CN112837266A (zh) 2014-11-24 2021-05-25 基托夫系统有限公司 自动检查

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5859923A (en) * 1992-12-29 1999-01-12 Cognex Corporation Mark quality inspection apparatus and method
CN1440543A (zh) * 2000-06-28 2003-09-03 泰拉丁公司 使用检查系统的图像处理系统
CN101981683A (zh) * 2008-03-27 2011-02-23 东京毅力科创株式会社 缺陷分类方法、计算机存储介质以及缺陷分类装置
WO2010112894A1 (en) * 2009-04-02 2010-10-07 Roke Manor Research Limited Automated 3d article inspection
CN102378909A (zh) * 2009-04-30 2012-03-14 威尔科克斯联营公司 检查方法和检查装置

Also Published As

Publication number Publication date
CN107408297A (zh) 2017-11-28
US20190213724A1 (en) 2019-07-11
EP3224806A2 (en) 2017-10-04
JP2022078043A (ja) 2022-05-24
WO2016083897A3 (en) 2016-08-18
US10916005B2 (en) 2021-02-09
EP3224806A4 (en) 2018-07-18
CN112837266A (zh) 2021-05-25
WO2016083897A2 (en) 2016-06-02
US20210166364A1 (en) 2021-06-03
JP2018506127A (ja) 2018-03-01
JP7108247B2 (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
CN107408297B (zh) 自动检查
US11042146B2 (en) Automated 360-degree dense point object inspection
US11049236B2 (en) Automated in-line object inspection
US8103376B2 (en) System and method for the on-machine 2-D contour measurement
CN112088387B (zh) 检测成像物品缺陷的系统和方法
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
WO2020100146A1 (en) Optimizing a set-up stage in an automatic visual inspection process
EP4009038A1 (en) Method and device for detecting mechanical equipment parts
JP2024026316A (ja) 自動検査および部品登録
US20230410364A1 (en) Semantic segmentation of inspection targets
Lin et al. Reconfiguration of quality inspection approach to the food processing industry
US20230245133A1 (en) Systems and methods for assessing quality of retail products
Chen et al. Size Detection System for Integrated Circuit Lead Frame Using Machine Vision
Kos et al. Detection, localization and recognition of objects using LabVIEW
JP2022552241A (ja) 容器の対象領域を自律的に画定するためのシステムおよび方法
WO2023064400A1 (en) Systems and methods for composite fabrication with ai quality control modules
TWM631676U (zh) 具人工智慧模組進行檢測緊固件的設備
Kos et al. DETEKCIJA, LOKALIZACIJA I RASPOZNAVANJE OBJEKATA POMOĆU PROGRAMSKOG ALATA LABVIEW.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant