CN112837266A - 自动检查 - Google Patents
自动检查 Download PDFInfo
- Publication number
- CN112837266A CN112837266A CN202110016463.7A CN202110016463A CN112837266A CN 112837266 A CN112837266 A CN 112837266A CN 202110016463 A CN202110016463 A CN 202110016463A CN 112837266 A CN112837266 A CN 112837266A
- Authority
- CN
- China
- Prior art keywords
- inspection
- images
- parameters
- implementations
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 claims abstract description 137
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 25
- 238000011960 computer-aided design Methods 0.000 claims 2
- 230000003287 optical effect Effects 0.000 description 43
- 230000008569 process Effects 0.000 description 42
- 230000007547 defect Effects 0.000 description 26
- 238000012360 testing method Methods 0.000 description 26
- 238000004519 manufacturing process Methods 0.000 description 24
- 238000005286 illumination Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 239000000463 material Substances 0.000 description 15
- 238000005259 measurement Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 7
- 239000010931 gold Substances 0.000 description 6
- 229910052737 gold Inorganic materials 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 238000010146 3D printing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003339 best practice Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35012—Cad cam
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45066—Inspection robot
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- General Factory Administration (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Architecture (AREA)
- Software Systems (AREA)
Abstract
描述了用于自动检查的系统、方法和相关技术。在某些方面,可以捕获基准部分的一个或多个图像,并且可以处理基准部分的一个或多个图像以生成基准部分的检查模型。检查模型的一个或多个区域可与一个或多个分析参数相关联。检查计划可基于检查模型和一个或多个分析参数来生成。基于检查计划,可以捕获待检查的部分的一个或多个图像,并且可以相对于分析参数来处理部分的一个或多个图像,以计算关于部分的一个或多个确定。可以基于一个或多个确定来提供一个或多个输出。
Description
本申请为申请号201580074364.7(PCT申请号为PCT/IB2015/002414)、申 请日2015年11月24日、发明名称“自动检查”的分案申请。
相关申请的交叉引用
本申请涉及并要求于2014年11月24日提交的美国专利申请第 62/083807号的权益,该美国专利申请的全部内容通过引用并入本文。
技术领域
本发明的各方面和实现方式涉及数据处理,并且更具体地涉及自动检查。
背景技术
在许多行业中,例如在涉及制造产品的行业中,检查这种产品以确保它 们无缺陷也可以是有利的。
这种检查经常是手动(例如,通过人类检查员)进行的,而这可能导致各 种不准确和低效率。
发明内容
下面提出本公开的各种方面的简单的概要以提供对于这种方面的基本理 解。这种概要不是对所有预期方面的详尽概述,并且既不是要识别关键或重 要元件也不勾画这些方面的范围。其目的在于以简化的形式提出本发明的一 些概念作为稍后提出的更详细描述的序幕。
在本公开的一个方面中,基准部分的一个或多个图像可被捕获并且基准 不分的一个或多个图像可被处理(例如,由处理装置)以生成基准部分的检查 模型。检查模型的一个或多个区域可与一个或多个分析参数相关联。检查计 划可基于检查模型和一个或多个分析参数来生成。基于检查计划,待被检查 的部分的一个或多个图像可被捕获并且该部分的一个或多个图像可相对于分 析参数来处理以计算相对于该一部分的一个或多个确定。一个或多个输出可 基于一个或多个确定来提供。
在本公开的另一个方面中,基准部分的一个或多个图像可被捕获并且基 准部分的一个或多个图像可被处理以识别基准部分的一个或多个方面。基于 基准部分的一个或多个方面,一个或多个检查参数可被识别。检查计划可基 于一个或多个检查参数来生成。基于检查计划,待被检查的部分的一个活多 个图像可被捕获并且该部分的一个活多个图像可相对于一个活多个检查参数 来处理以计算相对于该部分的一个活多个确定。一个或多个输出可基于一个 或多个确定来提供。
附图说明
通过从下面和从本公开的各个方面和实现的附图,将更加充分地理解本 公开的各方面和实现,然而,本公开的各个方面和实现不应认为是将本公开 限制于具体方面或实现,而是仅用于解释和理解。
图1描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图2描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图3描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图4描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图5描绘了根据本公开的一个实现的自动检查的方法的方面的流程图。
图6描绘了根据本公开的一个实现的示例性检查系统的一个或多个方 面。
图7A至图7B描绘了根据本公开的一个实现的示例性检查系统的一个或 多个方面。
图8描绘了根据本公开的一个实现的示例性检查过程的一个或多个方 面。
图9A至图9B描绘了根据本公开的各种实现的示例性检查过程的一个或 多个方面。
图10A至图10C描绘了根据本公开的各种实现的示例性检查系统的一个 或多个方面。
图11描绘了以根据本公开的各个方面和实现操作的示意性计算机系统 的框图。
图12描绘了本公开的各个方面和实现的装置的示例性实现。
具体实施方式
本公开的各个方面和实现涉及自动检查和测量。所公开的系统和方法可 以用于制造或组装的产品和物体、制造过程等。更具体地,可以理解,自动 检查(例如,自动视觉检查)是非常具有挑战性的任务。通常涉及许多步骤、 程序和操作,以便正确地限定特定的检查任务,以配置检查系统来执行检查。 通常,这个过程的各个方面都是通过试错来实现的,从而导致相对于时间和 成本的低效率。因此,在许多情况下,所引用的检查是手动执行的(例如由人 类检查员进行)。在制造/生产线是为相对短的时间或小的体积设置的情况下,这是特别真实的,并因此,设计和配置用于这种产品的的检查系统不太可能 有成本效益。除了与手动检查相关的时间/费用效率之外,这种手动检查的结 果通常是不精确的,并且可能不对应于实际、客观的测量(计量)(例如,对于 最终确定划痕是否比预定阈值更深或更长而言,人类检查员可能是艰难或耗 时的)。此外,手动检查往往在不同的人之间是不一致的,并且即使是同一个 人,由于疲劳、环境条件等导致是不一致的。
此外,虽然某些技术尝试自动化视觉检查的某些方面,但是众多效率低 下依然存在。例如,现有技术通常是复杂的,并且要求训练有素/熟练的用户 才能正确地配置这样的系统。因此,对于低成本和/或低利润部分的检查,利 用这种系统(由于它们的复杂性,只能由熟练/训练有素的人员有效地配置)可 能不是成本有效的。此外,试图自动化视觉检查的某些方面的现有技术通常 需要专门的/专用的硬件/系统来检查特定部分。因此,不能(或不能有效地) 重新配置用于检查不同部分的这种技术(已被设计/定制成用于检查一个部分)。出于这种原因,这种技术也因为可能以相对较低的数量制造或以其它方 式生产的部分的检查而不适合的(因为这些数量可能无法证明对专用的检查 硬件/配置的投资)。此外,各种现有的检查技术被设计/配置为捕获多个图像 (例如,使用不同的图像捕获设置、照明等的并行图像),并且随后为了检查 的目的而仅使用少量的这种图像。这种方案例如相对于在特定检查中未被最 终考虑或被考虑的许多图像(例如,使用子优化设置)的捕获和处理而导致相 当多的低效率。
因此,在本文中在各种实现中描述了针对自动检查(例如,垫/产品检查) 的系统、方法、技术以及相关的技术。所引用的技术之一是配置成用于例如 具有复杂的三维结构的、部分、物体、产品等的检查(例如,表面检查)的检 查台或系统。
如在本文中所描述和/或描绘的,在某些实现中,所引用的检查台/系统 可以包括各种硬件元件,包括但不限于:照明装置、传感器、铰接臂和/或任 何其它类似的机械或机器人元件。通过并入这样的技术,单个通用检查系统 可以被特别地实现在任何内容/设置(例如,用于几乎任何/所有类型的部分的 检查)中。另外,在某些实现中,所描述的技术可以以相对直观和直接的方式 来配置,以使得用户不太可能需要大量或专门的训练,以便以有益和有效的 方式配置技术以检查特定部分。如这里详细描述的,这可以通过利用先前存储/提供的检查参数来实现(例如,关于可比较或相关特征计算和/或提供的检 查参数,如在其它部分中发现的,例如相同或相似的形状,相同或相似的材 料等),其可以规定可以应用于部分的某些区域、区、方面、元件等的优选或 最佳检查参数或设置(这些参数/设置的示例包括但不限于:应扫描区域、区与 等的角度、放大级别、照明级别等和/或相应的传感器输入应如何被处理/分 析)。在这样做时,代替“试错法”(这可能需要捕获和处理相当多的图像, 而这些图像是次优的并且不是最终在检查中被考虑),所描述的技术可以使用 最佳检查设置/参数(即使在第一次检查时)来实现待被检查的部分的捕获和处 理。此外,所描述的技术还可以实现高度有效的检查处理的实现方式,而者 能够配置成特别是在相当短的时间内相对于任何部分进行校准等。在这样做 时,可以利用单个检查系统/台来检查多个部分/产品。此外,这种系统可以 在检查之间在几次“停机时间”或无“停机时间”的情况下从检查一个产品 转移到检查另一个产品。在这样做时,所描述的技术(包括所描述的检查系统) 可以在场景和设置(例如,关于零件,产品等)中有效地且有益地实现,否则 自动检查可能是低效的或成本过高的。
因此,可以理解,所描述的技术针对并解决了多个技术领域中的特定技 术挑战和长期缺陷,包括但不限于制造、产品检查和自动化。可以进一步理 解,所描述的技术为参考的技术领域中所引用的技术挑战和未满足的需求提 供特定的技术解决方案。还应当理解,所引用的检查系统可以被配置成如本 文所描述的其它检查模块(例如,与标签、连接器、螺钉等相关的那些)可以 容易地组合/结合。
在一个实现中,诸如光学头的检查装置可以包括或以其它方式并入相机、 照明装置(例如白炽灯、红外线、激光器等)和/或一个或多个其它传感器(例如, 3D传感器),其可以在与检查中的物体/部分相对的空间中进行操纵(应理解, 在某些实现中,除了光学头之外或代替光学头,经检查的部分可被移动)。如 本文所述,可以以特定方式配置光学头,以便提供关于经检查的对象/部分所 请求/所需的感测数据(例如,使用可以在所取得的不同图像的光学头中所选 定/选择/激活的不同的照明场/方向/颜色/强度)。作为示例,图7A(除了各种 其它附图之外)描绘了示例性光学头710,其可以包括所引用的传感器、部件、装置、元件等中的一个或多个。
还应理解,所引用的光学头可以以任何数量的方式操纵,如本文所述。 在一个实现中,光学头可以安装在可移动臂/机器人上,而光学头配置可以基 于对光学头的相机以不同角度和/或照明的不同等级/类型/方向捕获的图像的 分析来限定/确定。作为示例,图7A(除了各种其它图)描绘了示例性检查系统 700的各个方面,其中,示例性检查系统700可包括能够安装有光学头710 的可移动臂/机器人720,正如图中所示(应理解,检查系统700还可包括未示 出的附加组件,包括但不限于,图11至图12中所描绘且在本文中详细描述的部件、装置等)。在其它实现中,除了可操纵光学头以外/替代可操纵光学 头(例如,多个相机和/或照明装置可被排列在例如固定位置中,从而围绕待 检查的部分)。在其它实现中,多个光学头(例如,可移动臂)可被实现。在其 它实现中,一个或多个行扫描或三维(3D)相机可被实现。
在某些实现中,附加/分立计算装置(例如,一个或多个处理器,诸如在 图11和图12中所描绘并且在本文中所述的那些)可被安装或以其它方式集成 在光学头处/内。在某些实现中,这样的计算装置可被配置为分析原始数据(例 如,由诸如本文所述的光学头收集、捕获和/或计算的各种数据)。这种初步 分析可以通过减少待传送(例如,到用于附加处理的另一个系统、装置等)的 数据(例如,图像等)的量来实现显著的效率,如通过识别/发送如在所描绘的 台/计算服务器上用于更复杂的分析的怀疑有缺陷(或以其它方式要求更复杂 的处理)的部分/区域。这实现并改善所描述的技术的可扩展性和效率。作为 进一步的示例,如本文详细描述的,部分的某些区域或区可以与特定的检查 参数相关联,例如包含可受制于附加和/或不同的检查参数和/或如果该部分 要被待接受则必须是无缺陷的部件或元件(例如,螺钉、连接器等)的、更容 易发生缺陷的区域。因此,在某些实现中,所引用的初始处理可相对于这些 区域/区来执行。一旦确定这样的区域/区是可接受的(例如,没有缺陷),则随 后的检查处理(例如,该部分的其它区域/区)可以被执行,如本文所述。
在某些实现中,所引用的预计算可以分两个阶段执行。首先,诸如单指 令、多数据(SIMD)处理器(例如,GPU)的处理装置可以例如在图像的特定特 定邻域/区域上局部地操作。然后,另一个处理装置(例如,CPU)可以组合多 个区域的信息来计算更广泛(例如,图像级)的决定/确定,例如在检查下相对 于覆盖该部分、对象、产品等的数个邻区/区的长划痕。
应理解,所描述的工艺和技术的各种方面可以基于所引用的检查系统的 方面和/或配置来增强或改进(例如,可以是灵活的和/或容易且有效地配置/ 重新配置的这种系统的方面)。如前所述,在某些实现中,检查台/系统可以 包括各种硬件元件,包括但不限于:照明装置、传感器、铰接臂和/或任何其 它机械或机器人元件)。所引用的元件中的每个可使用任意数量的参数、设置 等来利用和/或激活。在这样做时,单个通用检查系统/台可容易且有效地适 用于特别地使用在任何内容/设定(例如,用于几乎任何/所有类型的部分/产品 的检查)中。此外,这种系统可以在检查之间几乎没有或没有“停机时间” 的情况下从检查一个部分/产品到另一部分/产品(无论是类似/相关部分/产品 还是完全不同/不相关的部分/产品)的过渡。可存在有任何数量的所引用的 系统的可能的配置。
如上所述,在某些实现中,光学头(或多个头)可以包括或以其它方式包 含一个或多个传感器(例如,1D/2D/3D相机等),其可以与一个或多个照明源 (其可具有不同的相对位置、频谱、类型等)结合地操作。此外,光学头可以 以任何数量的方式定位/定向。在某些实现中,光学头可以定位在固定位置中, 而在其它实现中,光学头可以安装在机器人上或数个机器人臂上(例如,如 图7A和图7B中所示)。例如,相机可被安装在一个机器人臂上,同时照明 装置可被安装在第二臂上。在其它实现中,检查系统可以包含以任何数量的 配置联合和/或独立地进行操作的多个相机/传感器/照明装置等。应理解,所 引用的元件可根据特定检查过程的指不/要求被固定在适当位置或来进行操 纵。
在某些实现中,光学头配置的质量/适当性(例如针对特定检查计划)可被 确定或以其它方式评估。例如,知识库(例如,“最佳实践”知识库)可被生成、 提供和/或接收。这样的知识库(其可以是数据库或任何其它这种数据存储库) 可包括例如用于待检查的不同材料、形状、元件等的给定光学头的各种配置 (例如,良好、可接受等)的各种情况/场景和/或规则。具有单个相机和单个 照明单元的特定光学头的示例性规则可以应用于均匀颜色的无光泽表面,并 J^L将提供各种可能的参数、质量分数的集合(相机角度、照明强度、曝光时间、焦点、工作距离、所需的分辨率等),例如,在[0,i]范围内,其中例如 小于〇.5的分数被认为是不可接受的,并且1的分数被认为是最佳的。如本 文中详细描述的,这种质量分数可以在生成/计算相对于特定部分的检查计划 时被考虑(例如,通过生成包含确定为导致更好或最佳结果的参数的检查计 划,同时避免确定为导致次优结果的参数)。
作为示例,可以理解,可能是有利的是将部分(例如,待检查的部分)的 不同区域、区、方面、元件等进行定性和定量不同类型的检查。也就是说, 如本文中详细描述的,可能有利的是对部分的一个(或多个)区域、区、方面、 元件等进行一种类型的检查(特定级别的检查),同时对同一部分的其它区域、 区、方面、元件等进行不同类型(和/或级别)的检查。可以理解,特定区域、 区、方面,兀件等相关联的特定类型的检查可以是任何数量因素的函数,包 括但不限于尺寸、形状、结构、材料组分等。例如,对于包含光泽表面的部 分和一个或多个螺钉,可能有利的是使用一组检查技术来检查光泽表面(例 如,按顺序使用各种程度的照明等,以确定是否存在刮痕),同时使用不同的 检查技术来检查螺钉(例如,从不同的角度检查这些区域,以确定螺钉是否存 在和/或如果其被完全或仅部分拧紧)。如上所述,在某些实现中,待应用于 特定区域、区等的特定参数/检查技术可从知识库接收/基于知识库确定,其 中,知识库能够反映如应用于特定检查内容的不同组的参数的各种质量分数。 因此,能够确定为对于特定检查内容/场景(例如,螺钉、连接器、反射表面、 某种材料类型等的检查)提供高质量/最佳结果掉的那些参数/技术可被选择到 和并入对于待检查的所引用部分的检查计划中,同时确定为提供次优结果的 检测参数/技术(例如,如在所引用的“知识库”中所反映的)可不并入检查计划 中。
应理解,在某些实现中,部分的这种区域、区、方面、元件等可被手动 地识别或选择。例如,如本文所描述的,用户/管理员可以呈现基准部分的模 型和/或任何其它这种表示,并且这样的用户可以选择或识别(例如,使用图 形用户界面)呼出部分的区域、区、方面、元件等(例如,一个区域中的螺钉 的存在、另一区域中的光泽表面、另一区域中的连接器等)。在某些实现中, 在识别/选择这些区域、区、方面、元件等时,用户可进一步指示或限定待应 用于特定区的检查参数的各个方面(例如,以利用各种照明等级、以从多个角 度检查、以确定划痕的存在等)。
在其它实现中,所引用的知识库可被利用以指定待应用于特定区的参数。 例如,在选择包含螺钉的部分的特定区域或区时,可以查询知识库以识别/ 确定待应用于这种区的检查参数(例如,可能实现确定这种螺钉存在和/或完 全紧固,例如通过在不同的照明度下以不同的角度捕获区域的图像)。在这样 做时,所描述的技术可以使检查系统能够快速地登记待待检查的新部分,并 且生成这种部分的检查计划,以便有效和有益地检查部分(例如,通过检查使 用反映该特定部分的规格的不同检查参数的计划的各个区域、区、方面、元 件等)。此外,在这样做时,所描述的技术可以使得可能不具有太多(如果有 的话)经验或准备检查计划的训练的用户能够准确且有效地限定能够以有效 且有益的方式执行的对于部分的检查计划。如上所述,用户可以简单地选择 或以其它方式指示部分的各种区域、区、方面、元件等,并且所描述的技术 可以确定与每个相应区域等相关联的检查参数等(例如,利用所引用的知识 库)。
在其它实现中,部分的所引用的区域、区、方面、元件等可以以自动化 或自动的方式识别和选择。例如,如本文所述,一个或多个基准部件和/或该 部分的其它表示形式(例如,CAD模型等)可被接收和/或提供。可以对这 样的基准部分进行分析或以其它方式处理(例如,基于从各种类型的传感器接 收的小插件),以便识别/确定基准区域(例如,在一个区域中存在螺钉、在另 一区域中存在光滑表面、在另一区域中存在连接器等)内的各个区域、区、 方面、元件等的存在(可选地和/或附加地,部分的所引用的表示(例如,CAD 模型)可被处理,以识别/确定该模型内的相应区域、区、方面、元件等)。在 某些实现中,所引用的知识库然后可被用于确定要应用于每个识别的区域, 方面,元素等的检查参数。例如,在确定部件的特定区域或区域包含螺钉, 这样的区域可以与特定的一组检查参数相关联(例如,可能使得能够确定这样 的螺钉存在和/或完全拧紧的参数,例如通过在不同照明度下以不同的角度捕 获区域的图像)。在其它实现中,在识别这样的区域、区、方面、元件等时,可以使用户能够手动地指定或限定待应用于特定区域的检查参数的各个方 面,如本文所述。在这样做时,所描述的技术可以使检查系统能够登记待加 入的新部分,并且以自动的方式为这些部分生成有效且有益的检查计划。
图5描绘了用于自动检查的方法500的各个方面的流程图。该方法由可 包括硬件(电路、专用逻辑等)、软件(诸如在如本文所描述的计算装置上运行 的软件)或两者的组合的处理逻辑执行。在一个实现中,该方法由与图6至图 7B和图10A至图12(例如,由一个或多个加工器,由检查系统等)相关联地 描绘和/或描述的一个或多个元件执行,而在一些其它实现中,图5的一个或 多个块可由另一机器或多个机器执行。
为了简化说明,将方法描绘和描述为一系列动作。然而,根据本公开的 行为可以以各种顺序和/或同时发生,并且与本文中未呈现和描述的其它行为 一起发生。此外,根据所公开的主题,可能不需要所有示出的动作来实现方 法。此外,本领域技术人员将理解和明确,所述方法可以替代性地经由平板 图或事件表示为一系列相互关联的状态。附加地,应理解,本说明书中公开 的方法能够存储在制品上,以便于将这些方法传送和传输到计算装置。如本 文所使用的术语制品被推荐为包括可从任何计算机程序可读装置或存储介质访问的计算机程序。
如图5所示,当检查/处理部分/对象时,可以生成/获得(510)(例如以本文 所述的方式)部分的多维模型。应理解,所引用的多维模型可以包括和/或以 其它方式包含该部分的任何数量的方面、元件等。例如,所引用的多维模型 可以包括部分的方面(和/或区域、区等),包括但不限于:尺寸、形状、结构(二 维、三维等)、材料组分等。然后,这种模型可以被处理以将部分逻辑地分成 原子部分(“原子(例如,无穷小的表面、螺钉、连接器等)(520)。为了计 算所引用的质量确定(540),所生成的原子中的每个可以例如使用所引用的 知识库(505)和/或光学头配置(515)的各个方面单独地考虑和建模(530)。然后, 多原子质量评估可以被组合/统一以生成(例如,相对于给定检查部分的光学 头的)完整的质量分数/确定(550)。
如上所述,由所引用的检查系统检查的对象/部分可以以任何数量的方式 定位。例如,在某些实现中,部分可以是固定的(即,其被检查而不改变或 更改其位置)。在其它实现中,部分的取向可以被改变/调节,例如通过对平 台和/或机器人臂利用移动、旋转等来夹紧部分并(例如,通过旋转)改变其相 对于光学头活光学捕捉装置的取向(例如,在相机处于固定位置的情况下)。 在其它实现中,部分可以定位在移动的输送带上(并且检查系统可以例如在其 保持运动的同时检查部分或其各个方面)。作为说明,图6描绘了位于平台603上的示例性部分601。在某些实现中,例如在部分正在进行检查时,平台603可以被配置为在任何数量的方向、角度等上旋转,例如为了改变部分601 的定位,如本文所述。
本文中描述的是用于自动检查的方法的各个方面,如图1所示。方法(100) 由可包括硬件(电路、专用逻辑等)、软件(诸如在诸如本文所描述的计算装 置上运行的软件)或两者的组合的处理逻辑来执行。在一个实现中,该方法由 与图6至图7B和图10A至图12相关联地描绘和/或描述的一个或多个部件 执行(例如,通过一个或多个处理器、通过检查系统等),而在一些实现中, 图5的一个或多个块可由另一机器或多个机器执行。
为了简化说明,将方法描绘和描述为一系列动作。然而,根据本公开的 行为可以以各种顺序和/或同时发生,并且与本文中未呈现和描述的其它行为 一起发生。此外,根据所公开的主题,可能不需要所有示出的动作来实现方 法。此外,本领域技术人员将理解和明确,所述方法可以替代性地经由平板 图或事件表示为一系列相互关联的状态。此外,应理解,本说明书中公开的 方法能够存储在制品上,以便于将这些方法传送和传输到计算装置。如本文 所使用的术语制品被推荐为包括可从任何计算机程序可读装置或存储介质访问的计算机程序。
在某些实现中,例如对于每个对象/部分实例,可以最初执行“脱线”进程, 并且随后可以执行在线进程。在所引用的脱线过程中,可以提供一个或多个 代表性基准部分/对象(例如,无瑕疵的“金色”部分)(102)(例如,到例如图7A 所示并在本文中描述的检查系统700),并可以通过所引用的检查系统(104) 登记。例如,在将基准部分/对象并入/提供到检查系统后,系统可以以任何 数量的方式(例如以本文所述的方式)和模型(例如,多维模型)扫描或以其 它方式分析部分,和/或部分的任何其它这种表示可被生成(106)。这种模型可以包含例如部分的几何形状和/或其视觉特征(例如,关于颜色、反射率等) 的各种方面的粗略和/或精细描述/表征/定义。附加地,如本文所述,在某些 实现中,所引用的模型可以包含可以基于某些参数(例如,一个特异性或精度 水平)定义和/或表征的某些区,而模型的其它区基于其它参数(例如,另一个 特异性或精度水平)定义和/或表征。
图2描绘了用于自动检查的方法200的各个方面的进一步方面。如图2 所示,可以向检查系统(202)提供/引入代表性的无瑕疵的金色部分。在某些实 现中,除了金色部分之外,还可以提供对应的模型(例如,CAD模型)。然 后,系统可以开始扫描、探索或以其它方式分析部分的结构,例如通过增量 数据获取和分析(例如使用图像,3D局部重构等)。例如,图3(示出用于自动 检查的方法300的各个方面的进一步方面)描绘了其中CAD模型被最初接收/ 提供(302)(例如代替基准部分)的场景,以及登记过程(例如本文所述)(304) 可以如本文所述的方式生成诸如退化多维(“n维”)模型(306)的模型。在其 中基准模型(例如,部分的CAD模型)被提供/接收的场景下,所引用的探索(例 如,部发/对象的初始分析)可以遵循在模型中反映的结构。在探索期间,可 以改变/调整光学头的配置/设置(例如,相对于其定位),例如以提供根据哪个 检查模型(例如,出于后续检查的墓地生成的模型)可被生成的、综合的结 构信息。应注意,虽然本文提供的各种示例和图示涉及视觉检查,但是所描述的技术并不限于此。因此,应理解,所描述的技术也可以应用于非视觉内 容中(例如,使用计量学等)。
在某些实现中,可以分析部分/对象,以便确保对对象的各个方面实现精 确的测量,并且还定义对象的结构边界(例如,为了避免损坏检查系统或部分, 例如在机动光学头与部分之间碰撞的情况下)。在某些实现中,可以从相对于 产品上任何数量的点的不同方向捕获图像,例如具有不同类型/级别的照明和 /或从不同方向。作为示例,图7A描绘了在一个照明级下(例如,在无附加/ 补充照明的情况下)捕获对象/部分601的图像的光学头710,而图7B描绘了 在另一照明下(例如,有附加/补充照明730的情况下)捕获对象/部分601的光 学头710。
此外,在使用CAD模型和金色部分的情景下,部分的原始设计(例如 CAD模型中反映)与实际部分(例如,金色部分)之间的变化/差异可以被识别 /确定,并且这种变化/差异的通知可被生成/提供(例如,给管理员)。附加地, 在某些实现中,当检查后续部分时,可以考虑这样的差异/变化。例如,当检 测到CAD模型和“金色”基准部分之间的差异或变化时,在检查反映可比 较的差异/变化的后续部分时,这样的一个可以不被识别为有缺陷的(基于在 CAD模型与基准部分之间识别的差异)。
在某些实现中,检查计划或“配方”可以在脱线阶段(例如,在图1的112、 图2的21、图3的314)中生成,并且该计划可以用于在“在线”阶段(例如, 在随后的检查期间)控制数据的获取,例如以本文所述的方式。然后,所获取 的数据可以在脱线阶段接收到的多维模型、基准数据和/或测试规范的内容中 被分析,例如以本文所述的方式。还应理解,虽然在某些实现中,可以生成 所引用的检查计划(例如,基于各种部分登记和计划处理/操作,如本文所述), 在其它实现中,这种计划可以被接收和/或提供(例如,如图4中的402所示, 其示出了用于自动检查的方法300的各个方面的进一步方面)。
在某些实现中,所产生的模型(其将用于后续的检查)可以包含(1)对部 分几何形状的粗略/精细描述,和/或(2)在各个点处对部分的各种反射特性的 描述。使用这种描述的组合,可以生成各种预测/投影,例如关于部分对检查 系统采取的进一步/附加测量的响应。在某些实现中,这种投影可以通过构建 局部BRDF(双向反射分布函数)来生成,例如通过捕获表面法线、光线和相 机之间的多个角度组合。
在某些实现中,还可以向检查系统提供附加基准部分,例如为了提高所 生成的模型的精度(例如,为了考虑部分之间的变量),并且还生成不同区域/ 盘/材料的检查共差。一个这种示例变量是在生产中使用的一些材料由于其天 然结构或由于它们经历了抛光的过程而表现出的纹理的固有变量。
然后,可以接收和/或生成各种测试要求(例如,在图1中的108、图2 中的208和图2中的310中)。在某些实现中,这种要求可以基于/相对于待 应用的所引用模型(例如,在图1中的106、图2中的206、图3中的306 中生成的模型和/或图4中的404中接收到的模型),在某些实现中,这种参 数可被存储/反映在测试规范中(例如,在图2中的210、图3中的312和图4中的406中)。然后,可以产生一个或多个检查计划(例如,基于模型和测 试要求)(例如,在图1中的110和112、图2中的212和214和图3中的308 和314中),如本文所述。
应理解,所引用的测试要求可以在部分之间、甚至子部分之间的性质和 幅度上变化。例如,特定产品(例如,抛光玻璃表面)的顶部区域可能需要具 有非常高的质量并且甚至没有微小的划痕,而产品的另一区域(例如,Ms底 部)即使有适度划痕可能也是可接受的。因此,在某些实现中,可以提供界面 (例如,图形用户界面),通过该界面可以接收能够用名称/标签(例如“句柄”、 “覆盖”等)定义/关联模型的某些子部分或区域的输入,和/或为每个这种子 部分分配不同的要求。这些要求的示例包括但不限于识别特定尺寸/重要性的 划痕、识别物理连接器(例如,RJ45连接器或任何其它这种模块化连接器)的 存在等。在某些实现中,用于定义测试要求的所引用的界面可以利用、并入 和/或引用产品的CAD模型(例如,如在图2中的202和图3中的302处接收 和/或处理的模型)和/或多维模型(例如,如在图1中的106、图2中的206 和图3中的306处生成的模型)。所引用的界面可以使得用户(例如,管理员) 能够定义和/或修改待检查的部分/对象的特定子部分、区域等的测试要求。附加地,在某些实现中,所引用的界面可以向用户呈现最初生成的要求,例 如,基于在多个基准或无瑕疵/“金色”部分的初次检查/登记中识别的变量生 成的要求。
测试模式的示例包括但不限于:材料(例如划痕、凸起、凹痕、裂纹、水 疱等)、变色、对象的存在、组装对准、文本/标签、螺丝、连接等。应理解, 每个测试模式可与任何数量的敏感度水平(无论是绝对还是相对)相关联,例 如轻微、中等、主要、定制等。
所引用的获取/检查计划可以定义与可基于模型测试的所引用的要求相 关的配置、设置和/或位置。这种设置的示例包括但不限于光学头的位置、取 向和激活以及它们将被使用的顺序。
在某些实现中,获取/检查计划可被配置为以考虑到表面特性来验证所有 测试要求的方式来覆盖待检查的电子部分(或待检查的产品的区域)。在某些 实现中,所引用的验证过程可以结合知识库(例如,“最佳实践”知识库)来执 行,例如本文例如参照图5所述。例如,可以理解,使用直接照明以直角拍 摄镜面的图像很可能导致饱和图像,这对于所述检查的目的是不利的。此外, 在某些实现中,所引用的检查计划可被配置为考虑检查系统和/或其它移动机 构的运动学和/或动力学。例如,在固定照相机或照明装置的情况下,可以在规划中使用配置及其限制。此外,可以以考虑不同检查方式的方式生成检查 计划。例如,当检查连接器时,可以生成检查计划,确保以适当的角度捕获 图像(例如,以确保连接器的内部以适当的方式可见)。这种计划也可被生成 为使得它们能够有效地扫描部分(例如,以实现高系统吞吐量)。
应理解,所生成的模型可以基于哪些可以生成各种检查计划(例如,为了 优化扫描过程的速度/效率)而能够预测与(例如,光学头的)各种配置/位置 相关联的质量。还应注意,具有可比较的测试要求的结构相似的盘可能仍然 产生不同的检查计划,例如,如果它们的表面具有不同的性质(例如,如果一 个是镜面的,而另一个具有漫射性质)。
(例如,光学头的)所引用的配置/定位可以被排序成一个顺序,以使得检 查系统能够通过它们并以快速/有效的方式完成对产品的扫描。在某些实现 中,可以考虑底层硬件平台(例如,检查系统)的方面、特征、限制等。例 如,如果光学头安装在机器人上,则可以针对特定位置选择机器人图形(应注 意,可能存在可以获得机器人工具的相同空间位置的多个关节配置,并且这 种关节配置可以分为“图像”,以使得每个图像都只有一个选项才能达到所需 的位置)。可以考虑由(例如,其上安装有光学头的机器人臂的)两个配置/ 位置之间的关联差异产生的时间差,以便确定对象的最快行程。也可以在所 选择的配置之间执行插值,以便转换将是有效的,并且机器人不会碰撞到其 周围和被检查的部分。
然后,该系统可以在基准位置(例如,在图1中的114和图2中的216中) 捕获或以其它方式获取或接收与该部分相关的图像和/或其它传感器输入), 从而(例如,在图1中的116、图2中的218和图4中的408中)生成基准 数据。此外,在某些实现中,可以经由内插和/或外推(诸如相对于测量位置) 生成这样的数据。还可以对穿过基准位置的方式(例如,最有效地)进行一个 或多个确定。
在某些实现中,也可以基于各种检查优先级来生成所引用的检查计划。 例如,在部分的特定区域或区更容易受到缺陷或与更严格的检查要求相关联 的情景下(例如,可以基于这样的区域的结构、与这样的区域相关联的材料、 外观要求和/或与该区域相关联的制造过程),可以对这样的区域的扫描进行 优先化。在这种情景下,在确定缺陷存在于特定部分的指定区域中时,这样 的部分可以被识别为有缺陷的,并且系统可以终止检查过程(例如,而不检查 部分的其余部分)并且继续检查另一个部分。附加地,在某些实现中,可以向 管理员提供待检查的部分的模型(无论是CAD模型还是生成的模型),并且 可以从用不同的检测标准指示/指定模型的不同区域的这样的管理员(例如, 经由图形用户界面)接收各种输入(例如,管理员可以指定盘的一个区域要求 相对较高的质量、平滑度等,同时将另一区域指定为要求相对较低程度的质 量)。此外,管理员还可以呈现特定部分的预期缺陷(例如,基于最后一个或 来自保存的历史)以及关于部分的统计数据(例如,基于检查历史)。附加地, 在某些实现中,可以控制/调整检查速度和检查水平之间的平衡/折衷(例如,检查的宽度/细节)(例如,基于与被检查的部分相关的参数、制造过程和/或 由管理员提供的参数)。
附加地,在某些实现中,制造过程的数据和/或各个方面可以用于生成检 查计划并且在检查部分时采用/实施这种计划。例如,在针对特定部分的制造 识别出某些不规则性的情况下(例如,当制造机器的部分和/或其区域制造时, 制造机的温度高于/低于通常),可以在确定检查计划(和/或修改现有检查计划) 时考虑这种数据。作为示例,在进行到其它区域之前,关于确定为已发生的 这种制造不规则性的部分的区域可被首先检查(由于在该区域中存在缺陷的 可能性增加)。
而且,在某些实现中,可以利用相对于一个部分产生的检查计划的各个 方面来生成关于类似/相关部分的检查计划。例如,在己经开发了具有由第一 材料构成的特定结构的一个部分的检查计划的情况下,可以使用这种检查计 划来确定具有相同的可比性的结构但由另一种材料构成的另一部分的检查计 划。作为示例,这两种产品的几何参数可能是相同的,因此例如可能需要更 新反射特性。
在某些实现中,一旦完成了检查计划,就可以对所选择的光学头配置进 行采样。对于每个这种配置,可以存储各种测量(例如,2D图像、3D测量) 以供参考分析。灵敏度分析还可以例如通过重复样品来考虑噪声、在接近的 3D位置进行采样(例如,考虑机器人不精确度)和/或使用几个金色/基准部分 (例如,考虑部分内在变化)来进行。
为了进一步示例,图8描绘了可以被检查/分析的基准部分810(例如,使 用检查系统,如图7A至图7B所示并本文中详细描述的检查系统700)。如本 文所述,在某些实现中,基准部分可以被扫描、分析、处理等,并且可以基 于哪些后续部分(例如,与基准部分相当、类似的部分等)生成检查计划(例 如,使用相同的检查系统700和/或另一检查系统、装置等)。还应注意,在 某些实现中,代替执行对基准部分810的实际检查,可以生成和/或提供检查计划(例如,由生产制造商所规定或定义)。
还如图8所不,可以识别基准部分810内的各种区域、区等。这种区域 或区820可以对应于基准部分内的感兴趣的点或方面,相对于附加和/或不同 类型的分析将被应用。例如,图8描绘了对应于部分810内的螺钉的存在和/ 或放置/布置的各种区域或区820。应理解,在某些实现中,可以以自动方式 (例如,基于对基准部分的一个或多个图像的分析)来识别这种区域/区,而在 其它实现中,可以手动地识别/选择这种区域/区(例如,由管理员、用户等 可以选择这些区域/区并定义如何进行分析,例如确定螺钉的存在及其取向 等)。
在这个时刻,应注意,在某些实现(例如,关于图8描述的示例性场景) 中,可以识别/选择所引用的部分的区域/区,以便将这些区域/区与附加处理/ 分析参数(例如,确定螺钉的存在、其取向等)相关联,在其它实现中,区域 /区可以被识别/选择并且与相对较少的处理/分析参数相关联。例如,在某些 实现中,基准部分的一个或多个区域/区可以被识别(无论是以自动方式还是 手动的),因为需要较少的检查和/或不检查。因此,在随后的检查中,相应 的区域/区(例如,正在进行检查的部分中)可以进行较少的检查分析和/或 不进行检查分析。在这样做时,所描述的技术可以通过仅根据这些区域需要 的检查参数检查需要检查的区域来改善和/或优化对这些部件的检查的效率, 而不花费关于检查不需要检查的其它区域/区域时间和/或处理资源(或不要求 按照某些检查参数进行检查)。
在所引用的在线过程中,系统可以通过获取待检查的部分的所需感觉数 据(例如,图1中的118和图4中的410)(例如,图4中的410中)来执行、 应用或以其它方式执行所引用的检查计划(通过捕获或以其它方式获取图像 和/或其它传感器数据(例如,在图1中的120和图4中的120中),例如按照 所生成的检查计划所规定的特定顺序)。作为示例,图i〇A至图10C描绘了 示例性顺序,其中检查系统700的可移动臂/机器人720调整光学头710的定位,以便执行检查计划(例如,计算的检查计划以使得系统700以尽可能有效 和/或有益地执行所引用的检查,如本文所述)。应当理解,在某些实现中, 检查计划可以在检查期间进行修改或调整,例如通过拍摄附加图像,例如更 近/更聚焦的图像/附加角度(例如在不确定情况下)。
在某些实现中,如果待检查的部分的定位被确定为不足够准确,则可以 初始地捕获各种测量/图像,例如,从相对较远的位置(例如,以实现整个对 象的覆盖)。然后,这种图像可以与基准模型进行比较,以便计算部分的实际 位置。然后可以将检查计划调整为该实际位置(例如,不仅校正计划的位置, 而且还重新计算到底层硬件参数的转换)。
然后可以(例如,在被检查的部分和基准部分上的(图1的122和图4 的414处)和/或,然后CAD模型(例如,在图1的124和图4的416处)被 分析和/或以其它方式处理,并且可相对于被检查的部分(例如,图1中的126 和图4的418处)进行确定,部分是否有效/被批准或拒绝(例如,鉴于考虑/ 相对于定义的测试要求所获取的图像和其它检测数据的分析)。这种确定可以 基于各种绝对和相对测量,如可以关于特定部分(例如,特定表面上的划痕或 不完整的尺寸)来定义。此外,在某些实现中,可以通过对该部分进行分级 或评分来进行确定(例如,反映其对基准部分所对应的或不对应的程度、与 基准部分的偏差的重要性等)。还应注意,在所引用的分析期间,在某些情况 下,可以获取额外的图像和/或数据(例如,在图1中的120和图4的412中) (例如,为了进一步确定可能在初始图像中不可察觉一个或多个方面),并且 可以对这些图像/数据进行分析和/或以其它方式处理,以便计算/确定该部分 的结果、分数、分级等。
例如,对于每个测试要求,可以处理收集的传感数据,以便验证被检查 的对象是否符合(和/或其程度)。在某些实现中,可以利用以下示例性过程:
对于在检查部分期间和/或针对为该部分进行检查而定义的一个或多个 测试要求所标记/获取的一个或多个数据项(例如,图像),其中,这种部分:
可以识别、定义和/或确定与特定测试相关的数据项的一个或多个相关部 分、区域、区等(例如,图像和/或其相关部分可以被处理以确定其具有足够 高的质量,例如,关于图像的分辨率、图像的照明等,以便符合与检查计划 相关联的测试要求)
一个或多个绝对(例如均匀性)和相对标准(例如,与金色部分图像上的基 准测量的相似性)可以应用于数据项(例如,图像),以验证被检查部分的各个 方面,包括但不限于例如部分的测量、尺寸等,如本文所述,
如果确定检查中的部分的测量不在误差/灵敏度的范围内(例如,根据测 试要求和/或由操作者定义),则该部分可能被确定为有缺陷。进一步分析可 以对缺陷进行分类,确定其严重程度等。
在可疑缺陷的置信度不够高的情况下,系统可以调整和/或增加检查计 划,例如为执行附加测量以提高置信度。例如,通过捕获更近的图像。
识别的缺陷可以映射到对象的区域/区(例如,使用生成的模型),从而 实现进一步的分析(自动化和/或手动)和统计。
应理解,如上所述,可以响应于被检查的部分执行各种验证操作。在某 些实现中,这种验证操作可以包括相对于一个或多个绝对标准/测试来验证部 分的各个方面或特性)。例如,部分(例如,相对于该部分捕获/接收的各种传 感器输入)(和/或其区域或区)可以被处理、分析等,以确定该部分是否包 含/反射某些绝对标准(和/或其程度)(例如,部分的颜色是否为红色,部分上 是否存在划痕等)。在其它实现中,这种验证操作可以包括相对于一个或多个 相关标准/测试来验证部分的各个方面或特性。例如,部分(例如,相对于该部分捕获/接收的各种传感器输入)(和/或其区域或区)可被处理、分析等, 以确定该部分是否包含/反射某些相对标准(和/或其程度)(例如,该部分是 否被检查的部分是否对应于/反映等,与所引用的盘相关和/或相关联地进行 确定,例如以本文所述的方式)。
在另外的实现中,所引用的验证操作可以包括相对于可以反映/嵌入可以 在检查时附加到或与该部分相关联的各种标识符(例如,条形码、QR码等) 的一个或多个标准/测试来验证该部分的各个方面或特征。例如,可以理解, 标识符(例如,条形码,QR码等)可以嵌入或以其它方式与元数据相关联或反 映可以对这样的标识符被引导到的部分的各个方面(例如,这种部分的序列 号、这种部分的颜色等)。因此,可以将与这种标识符相关联的元数据(例如, 标识符所关联的序列号、标识符反映的颜色等)与在部分的检查期间计算的一个或多个确定进行比较(例如,实际上反映在部件本身上的字母数字序列号、 部件本身的实际颜色,如基于对这种部分捕获/接收的各种传感器输入的处理 所确定的,如本文所述)(和/或其区域或区),以确定被检查部分(和/或其程 度)是否反映在相关标识符的元数据中反映的标准(例如,该部分上描绘的序 列号是否对应于反映在固定在部分上的条形码中的序列号,该部分的颜色是 否与固定在该部分上的条形码中反映的颜色相对应等)。在这样做时,所描述 的技术可以确保所引用的部分在内部一致(例如,因为盘本身适当地反映嵌入 在与/附加到部件的标识符相关联的标识符中)。
在另外的实现中,所引用的验证操作可以包括相对于可以在检查时与部 分一起被接收/提供的一个或多个标准/测试验证部分的各个方面或特性。例 如,结合特定部分的检查,各种数据项目可以由制造站、工厂等(例如,与工 厂相关联的服务器等)提供和/或从其接收,其可以反映或对应于该部分被预 期或要求满足/具有的各种标准或特征。因此,可以将接收到的标准、特性等 与在部分检查期间所规定的一个或多个确定进行比较(例如,部分本身的颜 色,如基于通过以下方式捕获/接收的各种传感器输入的处理所确定的)(和/ 或其区域或区),以确定在检查时该部分(和/或其程度)是否反映所接收的标 准、特征等)。在这样做时,所描述的技术可以确保被检查部分符合由该部分 制造商等所规定的参数、标准、特性等。
作为进一步示例,图9A和图9B描绘了示例性的检查场景。图9A描绘 了基准部分910的检查,其示出与基准部分中关于哪些附加和/或不同类型的 分析被应用的兴趣点或方面对应的基准部分910内的各个区域、区等920(例 如,部分910内的螺钉的存在和/或放置/排列)。在确定了这些区域/区并编制 了检查计划之后,后续部分(例如,图9B所示的部分930)可被检查(例如, 基于所引用的检查计划)。因此,如图9B所示,可以对与这些区域/区920 对应的部分930的区域/区进行处理/分析(例如,使用包括在检查计划中的特 定参数)来识别部分930内的所引用的螺钉的存在和/或位置。在这样做时, 所描述的技术可以识别部分930内符合检查计划中包括的检查要求/参数的 区域940以及部分930内不符合检查计划中包括的检查要求/参数的的区域 950(例如,螺丝缺失、未完全照明的区域等)。
还应理解,所引用的检查系统可被配置为通过很少或没有修改/调整来检 查不同的部分。例如,在某些实现中,可以初始确定部分的独特性,例如通 过读取识别部分的条形码和/或基于基于部分的2D或3D图像的识别过程。 在确定了特定部分之后,可以生成和/或选择相应的检查方案/计划,并且可 以基于适当的检查方案/计划(例如以本文所述的方式)检查部分。在这样做 时,可以使用单个检查系统/解决方案,在不同部分的检查之间几乎或没有延 迟或“停机”地检查不同部分。
为了进一步说明,在某些实现中,可以使用一个或多个标识符(例如,可 能存在于待检查部分上的序列号、条形码、QR码等)来标识、选择和/或调整 用于检查所引用的部分的检查计划。也就是说,可以理解,虽然在某些实现 中,所描述的技术可以能够确定(例如,提前)相对于待检查的特定产品而使 用哪个检查计划(例如,在组装线或制造设施或工位正在生产特定部分的场景 下),在其它实现中,所描述的技术(例如,检查系统)可以不一定预先确定其 正在检查的部分的身份或确切性质。因此,在某些实现中,所描述的技术(例如,如本文所述的检查系统的机器人臂和/或光学头)可以(经由一个或多个 传感器(例如,光学传感器或任何其它这种传感器)捕获或以其它方式接收一 个或多个输出,并且处理这种输入,以便识别或以其它方式识别或确定一个 或多个标识符(例如,该部分的序列号或型号、条形码、QR码等)的存在。
作为示例,在某些实现中,在识别出一个或多个字母数字字符的存在(例 如,在由检查系统捕获的部分的图像内)时,可以处理这种字符(例如,使用 各种光学字符识别(OCR)技术),以识别存在于该部分伤的字符、字符串、序 列号等。己经识别出该部分的这些字符,所描述的技术可以进一步查询一个 或多个数据库或存储库,这些数据库或存储库可以包含针对所引用的部分的 先前计算或提供的检查计划(例如,可以使用本文所描述的技术中的一个或多 个计算的检查计划)。那么与该部分相关/关联的检查计划然后可以由检查系 统提供给/接收,并且可以基于这种计划执行该部分的检查。在这样做时,检 查系统可以有效地识别待检查的部分,并且要求/接收与这种部件相关联的检 查计划,而不需要检查系统额外地“探测”,以便识别待检查的部分。
作为进一步示例,在某些实现中,可以使用与之相关的信息来编码所引 用的标识符(例如条形码、QR码等,如所指出的,可以附加到待检查的部分) 可用涉及相关联的部分(例如,材料类型、尺寸等)和/或可对英语相关联的部 分(例如,可以使用本文所述的一种或多种技术编译)的检查计划的指令来编 码。因此,在标识符在该部分上的存在被认证、别等时,标识符可以被处理(例 如,通过如本文所述的检查系统),以便计算/确定相关联的/嵌入的检查计划, 其中,检查计划涉及该部分并且该部分的检查可基于这种计划来进行。在这 样做时,检查系统可以有效地识别与被待查的部分相关的检查计划,而不需 要检查系统进行额外的“检查”和/或与外部数据库/存储库的通信。
在某些实现中,也可以实现“学习”过程。这种过程可以在所描述的在线 过程的后续和/或并行地采用。在这种学习过程中,可以向用户(例如,检查 管理员)(例如,在图1的128和图4中的420中)提供/呈现由所描述的检查系 统产生的各种识别的缺陷(例如,在自动检查过程中识别的缺陷),并且这种 用户可以手动地接受或拒绝所引用的确定(例如,在图1的130和图4的422 中)。基于这种反馈(例如,在图1的132和图4的424中),系统可以从反馈 “学习”(例如,在图1的134和图4的426中)(例如,使用机器学习技术,如 本领域的普通技术人员已知的)并且进一步改善检测/确定过程。此外,学习 过程也可以用于适应或改变检查计划(例如,在图1的136和图4的428中)。 例如,可以以更高的质量检查确定或以其它方式识别为更容易出错的区域。
应理解,所引用的操作可以实现检测结果相对于质量保证的适应性。还 应理解,在某些实现中,这种操作可以与所描述的在线过程并行地执行。
在某些实现中,可以相对于由系统生成的检测结果接收输入/反馈(例如, 指示是否接受或拒绝这种结果)。在某些实现中,提供这种反馈的用户可以访 问进行检测结果的检测数据和/或实际测试部分。这种接受/拒绝的指示可以 在机器学习过程中收集和使用。在这样做时,该系统可以进一步适应/配置为 特定制造商的要求、标准和/或偏好。由于计划过程为每个测试要求生成标准 化测量,因此可以以统一的方式进行处理,因此可以实现成功的学习过程。
附加地,在描述的在线检查过程中,系统可以接收/编译数据和/或生成 关于被检查部分上识别的缺陷的统计信息。例如,这种数据可以反映和/或用 于确定这些缺陷的类型和/或位置以及相关统计。这种信息可以被提供给各种 产品设计/原型引擎/系统(例如,CAD/CAM软件、系统等),其中其可以用 于修改/校正模型的设计。附加地,在制造过程中(例如,用以固定如可以根 据其位置和类型修改的机器),可以将实际取消的信息提供给其它站。此外, 在某些实现中,可以针对待进行这种校正的方式进行各种确定、预测和/或指 令(例如,为了使制造过程的“停机时间”最小化来抵消制造缺陷的最有效的方 式)。
在某些实现中,可以聚集/存储所描述的技术/工艺的各种阶段/操作(例 如,关于各种部分、结构、材料、模型等)收集的/或产生的数据(例如,数据 库)。可以将各种技术(例如,机器学习等)应用于这样的数据,例如为了确定 /预测未来产品中可能出现的缺陷以及如何/可能会在如何避免或最小化这些 缺陷的情况下产生各种建议。例如,己经确定了由某种材料制成的某种形状 的部分中的许多缺陷、替代形状(相对于其观察到更少缺陷)和/或替代材料(相 对于其观察到更少的缺陷)可被建议。在制造过程开始之前,可以避免缺陷。
在某些实现中,可以针对3D打印技术/工艺使用所描述的技术,包括但 不限于熔融沉积建模(FDM)。例如,在整个3D打印过程中,可以检查待打 印的部分/对象(例如,以本文所述的方式),以便识别缺陷。在识别出这些缺 陷的情况下,可以暂停/中止打印处理(从而减少在缺陷部分上浪费的废物的 量),或者可以调整打印过程以适应并纠正缺陷(如果可能的话-例如,在对 象中存在可被填充的孔)。此外,在某些实现中,可以调整原始3D打印计划 /处理,以考虑正在打印的部分的周期性/持续检查。例如,该部分的各个部 分/区域(例如,可能更容易受到缺陷的区域)可以被优先化(例如,在打印过程 中较早地印刷),并且一旦这样的区域被确定为己被打印而没有缺陷,则剩余 部分可被打印。
还应注意,尽管所描述的技术和工艺在本文主要相对于产品检查(例如, 使用如本文所描绘和描述的检查系统)描述,但是所描述的技术/工艺并不限 于此。因此,应理解,所描述的技术/工艺可以在其它设置和内容中类似地实 现和/或使用。作为示例,在某些实现中,可以采用所描述的技术来进行更大 规模的检查,例如对诸如建筑物、桥梁、道路、隧道等的较大结构的检查。 在这种实现中,车辆(配备有各种相机、传感器等)可用于相对于这种结构(例 如,周围和/或内部)的操纵。这种车辆的示例包括但不限于诸如汽车、自行车等载人车辆、无人驾驶飞行器(UAV)或无人驾驶飞机、遥控车、船等的无 人驾驶车辆或任何其它这种机动装置。在这种实现中,所引用的车辆或机动 装置可以被配置为执行初始检查(例如,在原型或理想构造的结构上)和/或 定义这种结构的理想/预期尺寸和特性的模型可被处理。在这样做时,可以计 算检查计划(例如,对于待检查的实际结构等)。如本文所述,在计算这种检 查计划时可以考虑各种考虑。例如,可以识别要检查的结构的一个或多个重 要或重要的区域,并且车辆在进行所引用的检查时进行操纵的路径可以适应 这些区域的优先级。作为进一步的示例,可以在计算所引用的检查计划中考 虑车辆/装置的某些技术限制(例如,可能影响无人机的飞行时间的电池限制、 对车辆可能或可能不行驶的位置的限制、高度/接收限制等)。在这样做时, 所描述的技术可以使所引用的结构以可能最有效和最有益的方式进行检查。 在计算了所引用的检查计划之后,车辆可以执行计划,例如以本文所述的方 式(例如,关于产品检查)。
还应理解,根据具体实现,本文中所引用的部件可以组合在一起或分离 成另外的部件。附加地,在一些实现中,特定装置的各种部件可以在单独的 机器上运行。
还应注意,尽管本文所描述的技术主要在产品检查方面进行了说明,但 是所描述的技术也可以以任何数量的附加或替代设置或内容以及任何数量的 附加目标来实现。
图11描绘了示意性计算机系统,其中可以执行用于使机器执行本文讨论 的任何一种或多种方法的指令集。在可选实现中,机器可以被连接(例如,联 网)到LAN、内部网、外部网或者英特网中的其它机器。该机器可以在客户 端-服务器网络环境中以服务器机器的容量运行。机器可以是个人计算机 (PC)、机顶盒(STB)、智能相机、服务器、网络路由器、交换机或网桥,或者 能够执行由该机器取得的一组指令(顺序地或以其它方式)的任何机器。此外, 虽然仅示出了单个机器,但是术语“机器”还应被视为包括单独或共同执行一 组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器集合。还应 注意的是,根据某些实现的所引用的计算机系统的各种其它方面也在图12 中示出并在下面描述。
示例性计算机系统600包括处理系统(处理器)602、主内存604(例如, 只读内存(ROM)、闪存,诸如同步DRAM(SDRAM)的动态随机存取内存⑽ AM))、静态内存606(例如,闪存、静态随机存取内存(SRAM))和数据存储装 置616,它们经由总线608彼此通信。
处理器602表示一个或多个通用处理装置,如微处理器、中央处理单元 等。更具体地,处理器602可以是复杂指令集计算(CISC)微处理器、精简指 令集计算(RISC)微处理器、非常长指令字(VLIW)微处理器或实现其它指令集 的处理器或实现指令集的组合的处理器。处理器602还可以是一个或多个专 用处理装置,例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信 号处器(DSP)、网络处理器等。处理器602被配置为执行用于执行本文讨论的 操作和步骤的指令626。
计算机系统600还可以包括网络接口装置622。计算机系统600还可以 包括视频显示单元610(例如,液晶显示器(LCD)或阴极射线管(CRT))、字母 数字输入装置612(例如,键盘)、光标控制装置614(例如,鼠标)和信号生成 装置620(例如,扬声器)。
数据存储装置616可以包括计算机可读介质624,在其上存储一个或多个 体现本文所描述的任何一种或多种方法或功能的指令集626。指令626也可 以在由计算机系统600执行期间,完全或至少部分地驻留在主存储器604和/ 或处理器602内,主存储器604和处理器602还构成计算机可读介质。指令 626还可以经由网络接口装置622通过网络被发送或接收。
尽管在示例性实施例中将计算机可读存储介质624示为单个介质,但是 术语“计算机可读存储介质”应被视为包括存储一组或多组指令的单个介质或 多个介质(例如,集中式或分布式数据库和/或相关联的高速缓存和服务器)。
术语“计算机可读存储介质”也应被视为包括能够存储、编码或携带一组 指令以供机器执行并使机器执行本公开的任何一种或多种方法学的任何介 质。因此,术语“计算机可读存储介质”应被认为包括但不限于固态存储器、 光学介质和磁性介质。
图12描绘了可被配置为实现本文描述的一种或多种技术和/或工艺的计 算装置103的进一步方面。装置103可以是机架式服务器、路由器计算机、 个人计算机、便携式数字助理、移动电话、膝上型计算机、平板电脑、相机、 摄像机、上网本、台式计算机、媒体中心、智能手机、手表、智能手表、车 载计算机/系统、上述的任何组合或能够实现本文所描述的各种功能的任何其 它这种类型的计算装置。可以在用户装置(例如,在用户装置的操作系统上) 上运行诸如移动应用(“应用”)、网络浏览器等(未示出)的各种应用。应理 解,在某些实现中,用户装置1〇3还可以包括和/或包含各种传感器和/或通 信接口。这种传感器的示例包括但不限于:加速度计、陀螺仪、罗盘、GPS、 触觉传感器(例如,触摸屏、按钮等)、麦克风、相机等。这种通信接口的示 例包括但不限于蜂窝(例如,3G、4G等)接口、蓝牙接口、WiFi接口、USB 接口、NFC接口等。
如上所述,在某些实现中,用户装置103还可以包括和/或包含各种传感 器和/或通信接口。作为示例,图12描绘了用户装置103的一个示例性实现。 如图2所示,装置103可以包括可操作地连接到各种硬件和/或软件组件的控 制电路240(例如,主板),其用于实现诸如本文所描述的各种操作。控制电 路240可以被操作地连接到处理器210和内存220。处理器210用于执行可 加载到内存220中的软件的指令。取决于具体的实施方案,处理器210可以 是多个处理器、多处理器核心或一些其它类型的处理器。此外,可以使用多 个异构处理器系统来实现处理器21〇,其中主处理器在单个芯片上存在辅助 处理器。作为另一说明性示例,处理器210可以是包含相同类型的多个处理 器的对称多处理器系统。
内存220和/或存储器290可以由处理器210访问,从而使得处理器210 能够接收和执行存储在内存220和/或存储器290上的指令。内存220可以是 例如随机存取存储器(RAM)或任何其它合适的易失性或非易失性计算机可读 存储介质。此外,内存220可以是固定的或可移除的。存储器290可以采取 各种形式,这取决于具体的实现。例如,存储器290可以包含一个或多个部 件或装置。例如,存储器290可以是硬盘驱动器、闪速存储器、可重写光盘、可重写磁带或上述的某种组合。存储器290也可以是固定的或可拆卸的。
通信接口250也可操作地连接到控制电路240。通信接口250可以是允 许用户装置103与一个或多个外部装置、机器、服务、系统和/或元件(包括 但不限于如本文所述的检查系统和/或其元件)之间的通信的任何接口(或多 个接口)。通信接口250可以包括(但不限于)调制解调器、网络接口卡(NIC)、 集成网络接口、射频发射机/接收机(例如,WiFi、蓝牙、蜂窝、NFC)、卫星 通信发射机/接收器、红外端口、USB连接或用于将装置103连接到其他计算 装置、系统、服务和/或诸如因特网的通信网络的任何其它这种接口。这种连 接可以包括有线连接或无线连接(例如,802.11),尽管应理解,通信接口250 实际上可以是任何能够与控制电路240和/或本文描述的各种部件进行通信 的接口。
在所描述的技术的操作期间的各个点处,装置103可以与一个或多个其 它装置、系统、服务、服务器等进行通信,诸如在附图中描绘和/或在此描述 的那些。这样的装置、系统、服务、服务器等可以向/从用户装置103发送和 /或接收数据,从而增强所描述的技术的操作,诸如本文中详细描述的。应当 理解,所引用的装置、系统、服务、服务器等可以与用户装置103直接通信、 与用户装置103的间接通信、与用户装置103的恒定/正在进行的通信、与用 户装置103的周期性通信和/或可以与用户装置103通信地协调,如本文所述。
还优选地连接到和/或与用户设备103的控制电路240通信的是一个或多 个传感器245A-245N(统称为传感器245)。传感器245可以是可并入/集成在 用户装置103内和/或与用户装置103通信的各种部件、装置和/或接收器。 传感器245可以被配置为检测本文所述的一个或多个刺激、现象或任何其它 这样的输入。这种传感器245的示例包括但不限于加速仪245A、陀螺仪245B、 GPS接收器245C、麦克风245D、磁力仪245E、相机245F、光传感器245G、 温度传感器245H、高度传感器2451、压力传感器245J、接近传感器245K、 近场通信(NFC)装置245L、罗盘245和触觉传感器245N。如本文所述,装置 103可以检测/接收来自传感器245的各种输入,并且这种输入可以用于启动、 启用和/或增强各种操作和/或其方面,诸如本文所述。
在这个时刻,应注意,虽然前面的描述(例如,关于传感器245)已经被引 导到用户装置103,但是各种其它装置、系统、服务器、服务等(例如在附图中 描绘和/或本文种描述)可以类似地结合与用户装置103相关联地描述的部 件、元件和/或能力。例如,所描述的检查系统和/或其元件还可以包括一个 或多个所引用的部件、元件和/或能力。
在上面的描述中,阐述了许多细节。然而,对于受益于本公开内容的本 领域普通技术人员将显而易见的是,可以在没有这些具体细节的情况下实施 实施例。在某些情况下,公知的结构和装置以框图形式而不是详细地示出, 以避免模糊描述。
根据对计算机存储器内的数据位的操作的算法和符号表示来呈现详细描 述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效 地将其工作的实质传达给本领域技术人员的手段。算法在这里,并且通常被 认为是导致期望结果的自相矛盾的步骤序列。这些步骤是需要物理量的物理 操作的步骤。通常,虽然不一定,但是这些数量采取能够被存储、传送、组 合、比较和以其它方式操纵的电或磁信号的形式。有时,主要是出于普遍使 用的原因,将这些信号称为位、值、元件、符号、字符、术语、数字等。
但是,应记住,所有这些和类似的术语都应该与适当的物理量相关联, 并且仅仅是适用于这些量的便利标签。除非另有明确说明,否则从上述讨论 中显而易见,可以理解,在整个说明书中,利用诸如“接收”、“确定”、“捕获”、 “处理”等术语的讨论是指计算机系统或类似的电子计算装置的动作和过程, 其将表示为计算机系统的寄存器和存储器内的物理(例如,电子)量的数据转 换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或 显示装置内的物理量的其他数据。
本公开的方面和实施方式还涉及用于执行本文操作的装置。该装置可以 为所需目的而特别构造。这种计算机程序可以存储在计算机可读存储介质中, 诸如但不限于包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、只读存 储器(ROM)、随机存取存储器(RAM)、EPR0M、EEPR0M、磁或光卡、或 任何适合于存储电子指令的介质。
应当理解,本公开不参考任何特定的编程语言来描述。应当理解,可以 使用各种编程语言来实现本文所述的本公开的教导。
应当理解,上述描述旨在是说明性的、而不是限制性的。在阅读和理解 上述描述之后,许多其它实施例对于本领域技术人员是显而易见的。此外, 除或除了本文所引用的那些之外,上述技术可以应用于其它类型的数据。因 此,本公开的范围应参照所附权利要求书以及这些权利要求书的等同物的全 部范围来确定。
Claims (10)
1.一种方法,包括:
捕获基准部分的一个或多个图像;
处理所述基准部分的所述一个或多个图像以生成所述基准部分的检查模型;
将所述检查模型的一个或多个区域与一个或多个分析参数相关联;
基于所述检查模型和所述一个或多个分析参数,通过处理装置生成检查计划;
基于所述检查计划,捕获待被检查的部分的一个或多个图像;
相对于所述分析参数对所述部分的所述一个或多个图像进行处理,以计算关于所述部分的一个或多个确定;以及
基于所述一个或多个确定,提供一个或多个输出。
2.如权利要求1所述的方法,还包括:将所述基准部分提供给检查系统。
3.如权利要求1所述的方法,还包括:在检查系统处接收所述基准部分。
4.如权利要求1所述的方法,其中,所述基准部分包括多个基准部分。
5.如权利要求1所述的方法,其中,所述基准部分包括反映基准部分的计算机辅助设计(CAD)模型。
6.一种系统,包括:
内存;以及
处理装置,操作性地联接到所述内存,所述处理装置用于:
捕获涉及基准部分的一个或多个传感器输入;
处理与涉及所述基准部分的所述一个或多个传感器输入以生成所述基准部分的检查模型;
相对于一个或多个分析参数,关联所述检查模型的一个或多个区域;
基于所述检查模型和所述一个或多个分析参数,生成检查计划;
基于所述检查计划,捕获涉及待检查的部分的一个或多个传感器输入;处理涉及与所述分析参数相关的所述部分的所述一个或多个传感器输入,以计算与所述部分的一个或多个确定相关的确定;以及
基于所述一个或多个确定,提供一个或多个输出。
7.一种具有在其上编码有的指令的非暂时性计算机可读介质,当所述被处理装置执行时,使处理装置:
接受反映基准部分的模型;
将所述模型的一个或多个区域与一个或多个分析参数相关联;
基于所述模型和所述一个或多个分析参数,生成检查计划;
基于所述检查计划,捕获待检查的部分的一个或多个图像;
相对于所述分析参数,通过处理装置处理所述部分的一个或多个图像,以计算与所述部分相关的一个或多个确定;以及
基于所述一个或多个确定,提供一个或多个输出。
8.一种方法,包括:
捕获基准部分的一个或多个图像;
处理所述基准部分的所述一个或多个图像以生成所述基准部分的检查模型;
将所述检查模型的一个或多个区域与一个或多个分析参数相关联;
通过处理装置并且基于所述一个或多个检查参数,生成检查计划,其中所述检查计划基于所述检查序列中的后续步骤,在检查序列中配置机器人臂相对于一个步骤的定位;
基于所述检查计划,捕获待被检查的部分的一个或多个图像;
相对于所述分析参数对所述部分的所述一个或多个图像进行处理,以计算关于所述部分的一个或多个确定;以及
基于所述一个或多个确定,提供一个或多个输出。
9.一种方法,包括:
捕获基准部分的一个或多个图像;
处理所述基准部分的所述一个或多个图像以识别所述基准部分的—个或多个方面;
基于所述基准部分的所述一个或多个方面,识别一个或多个检查参数;
基于所述一个或多个检查参数,通过处理装置生成检查计划;
基于所述检查计划,捕获待被检查的部分的一个或多个图像;
相对于所述一个或多个检查参数,处理所述部分的所述一个或多个图像,以计算与所述部分相关的一个或多个确定;以及
基于所述一个或多个确定,提供一个或多个输出。
10.如权利要求9所述的方法,其中,识别一个或多个检查参数的步骤包括:识别检查参数的数据库内的一个或多个检查参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462083807P | 2014-11-24 | 2014-11-24 | |
US62/083,807 | 2014-11-24 | ||
CN201580074364.7A CN107408297B (zh) | 2014-11-24 | 2015-11-24 | 自动检查 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580074364.7A Division CN107408297B (zh) | 2014-11-24 | 2015-11-24 | 自动检查 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112837266A true CN112837266A (zh) | 2021-05-25 |
Family
ID=56075093
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580074364.7A Active CN107408297B (zh) | 2014-11-24 | 2015-11-24 | 自动检查 |
CN202110016463.7A Pending CN112837266A (zh) | 2014-11-24 | 2015-11-24 | 自动检查 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580074364.7A Active CN107408297B (zh) | 2014-11-24 | 2015-11-24 | 自动检查 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10916005B2 (zh) |
EP (1) | EP3224806B1 (zh) |
JP (2) | JP7108247B2 (zh) |
CN (2) | CN107408297B (zh) |
WO (1) | WO2016083897A2 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107408297B (zh) | 2014-11-24 | 2021-02-02 | 基托夫系统有限公司 | 自动检查 |
WO2016128189A1 (en) * | 2015-02-13 | 2016-08-18 | Asml Netherlands B.V. | Process variability aware adaptive inspection and metrology |
FR3037429B1 (fr) * | 2015-06-15 | 2018-09-07 | Donecle | Systeme et procede d'inspection automatique de surface |
JP6745156B2 (ja) * | 2016-07-15 | 2020-08-26 | ニッタン株式会社 | 飛行体 |
US10706530B2 (en) | 2017-09-11 | 2020-07-07 | International Business Machines Corporation | Object detection |
US11086315B2 (en) | 2017-10-26 | 2021-08-10 | 2KR Systems, LLC | Building rooftop intelligence gathering, decision-support and snow load removal system for protecting buildings from excessive snow load conditions, and automated methods for carrying out the same |
US10969521B2 (en) | 2017-10-26 | 2021-04-06 | 2KR Systems, LLC | Flexible networked array for measuring snow water equivalent (SWE) and system network for providing environmental monitoring services using the same |
IL257256A (en) | 2018-01-30 | 2018-03-29 | HYATT Yonatan | System and method for establishing production line tests |
EP3740948A4 (en) * | 2018-01-15 | 2021-10-27 | Kitov Systems Ltd. | AUTOMATED INSPECTION AND PARTS REGISTRATION |
US20210061465A1 (en) * | 2018-01-15 | 2021-03-04 | Hongo Aerospace Inc. | Information processing system |
JP6917925B2 (ja) * | 2018-03-12 | 2021-08-11 | 株式会社日立製作所 | Cadデータ検査システム |
US11087446B2 (en) * | 2018-03-25 | 2021-08-10 | Matthew Henry Ranson | Automated arthropod detection system |
CN108764029A (zh) * | 2018-04-16 | 2018-11-06 | 南京维拓科技股份有限公司 | 模型智能检查方法 |
US11049052B2 (en) | 2018-05-02 | 2021-06-29 | International Business Machines Corporation | Automated managing of a data center installation |
CN109000559B (zh) * | 2018-06-11 | 2020-09-11 | 广东工业大学 | 一种物体体积的测量方法、装置、系统和可读存储介质 |
CN112513755A (zh) * | 2018-06-14 | 2021-03-16 | 海斯坦普服务公司 | 工业过程的质量监控 |
WO2020110129A1 (en) * | 2018-11-29 | 2020-06-04 | Inspekto A.M.V Ltd | Centralized analytics of multiple visual inspection appliances |
US11682113B2 (en) | 2018-11-29 | 2023-06-20 | Inspekto A.M.V. Ltd. | Multi-camera visual inspection appliance and method of use |
IL263399B (en) * | 2018-11-29 | 2022-09-01 | Inspekto A M V Ltd | Centralized analyzes of multiple devices for visual inspection of a production line |
JP7221038B2 (ja) * | 2018-12-10 | 2023-02-13 | 大和ハウス工業株式会社 | 留め付け検査システムおよび留め付け検査方法 |
US10670539B1 (en) * | 2018-12-11 | 2020-06-02 | General Electric Company | Coating quality inspection system and method |
US10964015B2 (en) * | 2019-01-15 | 2021-03-30 | International Business Machines Corporation | Product defect detection |
US11210770B2 (en) * | 2019-03-15 | 2021-12-28 | Hitachi, Ltd. | AI-based inspection in transportation |
WO2021092327A1 (en) * | 2019-11-07 | 2021-05-14 | Nanotronics Imaging, Inc. | Systems, methods, and media for manufacturing processes |
JP7525266B2 (ja) | 2020-02-14 | 2024-07-30 | 株式会社日立製作所 | 検査システム及び検査方法 |
IL294522A (en) * | 2020-02-24 | 2022-09-01 | Saccade Vision Ltd | System and method for automatic control of items |
US11162770B2 (en) * | 2020-02-27 | 2021-11-02 | Proto Labs, Inc. | Methods and systems for an in-line automated inspection of a mechanical part |
DE102020209509A1 (de) * | 2020-07-28 | 2022-02-03 | Sivantos Pte. Ltd. | Verfahren zur Fehlererkennung bei einem Hörgerät sowie System |
US20230297092A1 (en) * | 2020-08-05 | 2023-09-21 | Kitov Systems Ltd | Design encoding of intercomponent inspection requirements |
US11410417B2 (en) * | 2020-08-17 | 2022-08-09 | Google Llc | Modular system for automatic hard disk processing and verification |
US11625821B2 (en) * | 2020-10-14 | 2023-04-11 | Baker Hughes Oilfield Operations Llc | Automated inspection-plan based detection |
US11782167B2 (en) | 2020-11-03 | 2023-10-10 | 2KR Systems, LLC | Methods of and systems, networks and devices for remotely detecting and monitoring the displacement, deflection and/or distortion of stationary and mobile systems using GNSS-based technologies |
CN112419299B (zh) * | 2020-12-04 | 2024-01-19 | 中冶建筑研究总院(深圳)有限公司 | 一种螺栓缺失检测方法、装置、设备及存储介质 |
DE102021208648A1 (de) * | 2021-08-09 | 2023-02-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Prüfverfahren zur Prozessqualitätsüberprüfung und Prüfvorrichtung |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6324298B1 (en) * | 1998-07-15 | 2001-11-27 | August Technology Corp. | Automated wafer defect inspection system and a process of performing such inspection |
WO2002088688A1 (en) * | 2001-05-02 | 2002-11-07 | Teradyne, Inc. | Inspection system using dynamically obtained values and related techniques |
CN1440543A (zh) * | 2000-06-28 | 2003-09-03 | 泰拉丁公司 | 使用检查系统的图像处理系统 |
US20080281548A1 (en) * | 2005-08-26 | 2008-11-13 | Camtek Ltd | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines |
US20140050389A1 (en) * | 2012-08-14 | 2014-02-20 | Kla-Tencor Corporation | Automated Inspection Scenario Generation |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07107510B2 (ja) * | 1986-02-18 | 1995-11-15 | オムロン株式会社 | 基板検査装置および基板検査方法 |
JPH07107511B2 (ja) * | 1986-05-07 | 1995-11-15 | オムロン株式会社 | プリント基板検査装置 |
US5859923A (en) * | 1992-12-29 | 1999-01-12 | Cognex Corporation | Mark quality inspection apparatus and method |
JP3583450B2 (ja) * | 1993-09-28 | 2004-11-04 | 川崎重工業株式会社 | 3次元物体の自動検査装置および方法 |
US5815198A (en) * | 1996-05-31 | 1998-09-29 | Vachtsevanos; George J. | Method and apparatus for analyzing an image to detect and identify defects |
US6408429B1 (en) * | 1997-01-17 | 2002-06-18 | Cognex Corporation | Machine vision system for identifying and assessing features of an article |
AU9796398A (en) | 1997-10-09 | 1999-05-03 | Joseph L. Vilella | Electronic assembly video inspection system |
US6445812B1 (en) * | 1999-01-22 | 2002-09-03 | Siemens Corporate Research, Inc. | Illumination compensation system for industrial inspection |
JP4246319B2 (ja) | 1999-06-16 | 2009-04-02 | パナソニック株式会社 | 照明むら測定方法および測定装置 |
US6581202B1 (en) | 2000-11-10 | 2003-06-17 | Viasystems Group, Inc. | System and method for monitoring and improving dimensional stability and registration accuracy of multi-layer PCB manufacture |
GB0210990D0 (en) | 2002-05-14 | 2002-06-19 | Rolls Royce Plc | Method of generating an inspection program and method of generating a visual display |
JP4250931B2 (ja) * | 2002-08-30 | 2009-04-08 | 日本電気株式会社 | 外観検査装置および外観検査方法 |
US7183120B2 (en) | 2002-10-31 | 2007-02-27 | Honeywell International Inc. | Etch-stop material for improved manufacture of magnetic devices |
US6927003B2 (en) * | 2003-02-11 | 2005-08-09 | Synopsys, Inc. | Simulation based PSM clear defect repair method and system |
GB0303270D0 (en) | 2003-02-13 | 2003-03-19 | Renishaw Plc | A machine tool control process and apparatus therefor |
US20040223053A1 (en) | 2003-05-07 | 2004-11-11 | Mitutoyo Corporation | Machine vision inspection system and method having improved operations for increased precision inspection throughput |
DE102004007829B4 (de) | 2004-02-18 | 2007-04-05 | Isra Vision Systems Ag | Verfahren zur Bestimmung von zu inspizierenden Bereichen |
US7111783B2 (en) | 2004-06-25 | 2006-09-26 | Board Of Trustees Operating Michigan State University | Automated dimensional inspection |
US7398129B2 (en) * | 2004-10-07 | 2008-07-08 | Amada Company, Limited | Representation of sheet metal part models |
JP3960346B2 (ja) * | 2004-12-27 | 2007-08-15 | オムロン株式会社 | 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法 |
US7570796B2 (en) * | 2005-11-18 | 2009-08-04 | Kla-Tencor Technologies Corp. | Methods and systems for utilizing design data in combination with inspection data |
US7689003B2 (en) | 2006-03-20 | 2010-03-30 | Siemens Energy, Inc. | Combined 2D and 3D nondestructive examination |
US20080099675A1 (en) * | 2006-10-31 | 2008-05-01 | Hitachi High-Technologies Corporation | Inspection apparatus and an inspection method |
JP4943304B2 (ja) * | 2006-12-05 | 2012-05-30 | 株式会社 Ngr | パターン検査装置および方法 |
WO2008103209A1 (en) | 2007-02-21 | 2008-08-28 | Lockheed Martin Corporation | Articulated robot for laser ultrasonic inspection |
CA2701603A1 (en) * | 2007-10-03 | 2009-04-09 | Kabushiki Kaisha Toshiba | Visual inspection apparatus and visual inspection method |
JP5156452B2 (ja) * | 2008-03-27 | 2013-03-06 | 東京エレクトロン株式会社 | 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置 |
JP5414215B2 (ja) * | 2008-07-30 | 2014-02-12 | 株式会社日立ハイテクノロジーズ | 回路パターン検査装置、および回路パターンの検査方法 |
SG193874A1 (en) * | 2008-09-11 | 2013-10-30 | Rudolph Technologies Inc | Probe mark inspection |
FR2940449A1 (fr) * | 2008-12-24 | 2010-06-25 | Snecma | Procede de controle non destructif d'une piece mecanique |
US8746089B2 (en) | 2009-01-19 | 2014-06-10 | Babcock & Wilcox Nuclear Energy, Inc. | Apparatus for automated positioning of eddy current test probe |
GB0905718D0 (en) | 2009-04-02 | 2009-05-20 | Roke Manor Research | Automated 3D image analysis |
US8781208B2 (en) | 2009-04-30 | 2014-07-15 | Wilcox Associates, Inc. | Inspection method and inspection apparatus |
JP2011174896A (ja) | 2010-02-25 | 2011-09-08 | Mitsubishi Heavy Ind Ltd | 撮像装置及び撮像方法 |
JP5518571B2 (ja) * | 2010-05-24 | 2014-06-11 | 株式会社ブリヂストン | タイヤの外観検査装置及び外観検査方法 |
US8699784B2 (en) * | 2010-08-10 | 2014-04-15 | Camtek Ltd. | Inspection recipe generation and inspection based on an inspection recipe |
KR101240947B1 (ko) | 2010-12-30 | 2013-03-18 | 주식회사 미르기술 | 비전검사장치 |
US9201022B2 (en) * | 2011-06-02 | 2015-12-01 | Taiwan Semiconductor Manufacturing Company, Ltd. | Extraction of systematic defects |
JP5647999B2 (ja) | 2012-01-04 | 2015-01-07 | 株式会社日立ハイテクノロジーズ | パターンマッチング装置、検査システム、及びコンピュータプログラム |
JP5948138B2 (ja) * | 2012-05-11 | 2016-07-06 | 株式会社日立ハイテクノロジーズ | 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム |
US9251582B2 (en) | 2012-12-31 | 2016-02-02 | General Electric Company | Methods and systems for enhanced automated visual inspection of a physical asset |
US9091935B2 (en) * | 2013-03-11 | 2015-07-28 | Kla-Tencor Corporation | Multistage extreme ultra-violet mask qualification |
US20140336928A1 (en) | 2013-05-10 | 2014-11-13 | Michael L. Scott | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling |
US9430824B2 (en) * | 2013-05-14 | 2016-08-30 | Kla-Tencor Corporation | Machine learning method and apparatus for inspecting reticles |
SG10201708537XA (en) * | 2013-06-07 | 2017-11-29 | Asti Holdings Ltd | Systems and methods for automatically verifying correct die removal from film frames |
US9187188B2 (en) | 2013-07-02 | 2015-11-17 | Premium Aerotec Gmbh | Assembly inspection system and method |
JP6329397B2 (ja) * | 2014-03-07 | 2018-05-23 | 株式会社ダイヘン | 画像検査装置及び画像検査方法 |
CN107408297B (zh) | 2014-11-24 | 2021-02-02 | 基托夫系统有限公司 | 自动检查 |
-
2015
- 2015-11-24 CN CN201580074364.7A patent/CN107408297B/zh active Active
- 2015-11-24 JP JP2017546056A patent/JP7108247B2/ja active Active
- 2015-11-24 US US15/528,833 patent/US10916005B2/en active Active
- 2015-11-24 WO PCT/IB2015/002414 patent/WO2016083897A2/en active Application Filing
- 2015-11-24 EP EP15863436.0A patent/EP3224806B1/en active Active
- 2015-11-24 CN CN202110016463.7A patent/CN112837266A/zh active Pending
-
2021
- 2021-02-08 US US17/169,705 patent/US20210166364A1/en active Pending
-
2022
- 2022-02-04 JP JP2022016562A patent/JP7550462B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6324298B1 (en) * | 1998-07-15 | 2001-11-27 | August Technology Corp. | Automated wafer defect inspection system and a process of performing such inspection |
CN1440543A (zh) * | 2000-06-28 | 2003-09-03 | 泰拉丁公司 | 使用检查系统的图像处理系统 |
WO2002088688A1 (en) * | 2001-05-02 | 2002-11-07 | Teradyne, Inc. | Inspection system using dynamically obtained values and related techniques |
US20080281548A1 (en) * | 2005-08-26 | 2008-11-13 | Camtek Ltd | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines |
US20140050389A1 (en) * | 2012-08-14 | 2014-02-20 | Kla-Tencor Corporation | Automated Inspection Scenario Generation |
Also Published As
Publication number | Publication date |
---|---|
JP7108247B2 (ja) | 2022-07-28 |
JP2018506127A (ja) | 2018-03-01 |
WO2016083897A2 (en) | 2016-06-02 |
JP7550462B2 (ja) | 2024-09-13 |
US20210166364A1 (en) | 2021-06-03 |
US20190213724A1 (en) | 2019-07-11 |
CN107408297A (zh) | 2017-11-28 |
CN107408297B (zh) | 2021-02-02 |
US10916005B2 (en) | 2021-02-09 |
JP2022078043A (ja) | 2022-05-24 |
EP3224806B1 (en) | 2024-06-05 |
EP3224806A4 (en) | 2018-07-18 |
WO2016083897A3 (en) | 2016-08-18 |
EP3224806A2 (en) | 2017-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107408297B (zh) | 自动检查 | |
US11982628B2 (en) | System and method for detecting defects on imaged items | |
US8103376B2 (en) | System and method for the on-machine 2-D contour measurement | |
CN110148106A (zh) | 一种利用深度学习模型检测物体表面缺陷的系统及方法 | |
US20220020136A1 (en) | Optimizing a set-up stage in an automatic visual inspection process | |
EP4009038A1 (en) | Method and device for detecting mechanical equipment parts | |
US20230410364A1 (en) | Semantic segmentation of inspection targets | |
WO2020079694A1 (en) | Optimizing defect detection in an automatic visual inspection process | |
Son et al. | Path planning of multi-patched freeform surfaces for laser scanning | |
CN112585672A (zh) | 自动检查和零件登记 | |
CN109632815A (zh) | 表面缺陷在线检测系统及方法 | |
US20230245133A1 (en) | Systems and methods for assessing quality of retail products | |
Tsai et al. | Body thickness and bottom defect detection methods for products made by bottle blowing machines to meet quality requirements | |
Pillai et al. | Burr registration using image processing | |
JP2024119748A (ja) | 自動視覚検査システムの柔軟で直感的な配置システム | |
Chen et al. | Size Detection System for Integrated Circuit Lead Frame Using Machine Vision | |
Mosca et al. | VISTA—Vision-based Inspection System for automated Testing of Aircraft interiors: a panoramic view | |
Kos et al. | Detection, localization and recognition of objects using LabVIEW | |
TWM631676U (zh) | 具人工智慧模組進行檢測緊固件的設備 | |
Labudzki | The Use of Machine Vision to Recognize Objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |