CN111272763B - 用于工件检查的系统和方法 - Google Patents

用于工件检查的系统和方法 Download PDF

Info

Publication number
CN111272763B
CN111272763B CN201911220932.6A CN201911220932A CN111272763B CN 111272763 B CN111272763 B CN 111272763B CN 201911220932 A CN201911220932 A CN 201911220932A CN 111272763 B CN111272763 B CN 111272763B
Authority
CN
China
Prior art keywords
images
workpiece
image
predictive
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911220932.6A
Other languages
English (en)
Other versions
CN111272763A (zh
Inventor
边霄
阿尔皮特·杰恩
大卫·斯科特·迪温斯基
伯纳德·帕特里克·布莱
史蒂文斯·布沙尔
吉恩·菲利普·乔尼勒
马克·安德烈·马罗斯
斯蒂芬尼·哈雷尔
约翰·卡里吉亚尼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111272763A publication Critical patent/CN111272763A/zh
Application granted granted Critical
Publication of CN111272763B publication Critical patent/CN111272763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种检查系统，包括一个或多个成像装置和一个或多个处理器。成像装置在相对于工件的第一位置处产生工件的第一组的图像，并且在相对于工件的第二位置处产生工件的第二组的图像。使用不同的光设定获取第一组和第二组中的至少一些图像。处理器分析第一组的图像以产生与第一位置相关的第一预测图像，并且分析第二组的图像以产生与第二位置相关的第二预测图像。第一预测图像和第二预测图像包括相应的候选区。处理器合并第一预测图像和第二预测图像以检测在至少一个候选区中描绘的工件中的至少一个预测缺陷。

Description

用于工件检查的系统和方法
技术领域
本文描述的主题涉及用于例如飞行器发动机的机器组件的工件的检查。
背景技术
在交通工具和工业应用中使用的例如燃气涡轮发动机的各种机器组件被定期检查，以确保机器组件的安全可靠的性能。作为服务协议的一部分，可能需要定期检查。在检查期间，可以将机器组件运输到维修车间，其中将机器组件拆散成其零部件。个别地检查机器组件的各种零部件或工件的缺陷或异常，例如散裂、裂缝、划痕、刮痕、扭结、凹坑等。缺陷或异常的存在指示零件可能损坏，并且如果零件被重新组装到机器组件中，可能会对机器组件的完整性有风险。典型地，这种检查是由人类操作者手动进行的，人类操作者用手检查部件。如果操作者检测到缺陷，则操作者可以考虑各种因素，例如缺陷的类型、缺陷的大小等，以确定是否报废或丢弃零件、修理零件、或批准在不修理的情况下在机器组件内重复使用零件。
用于具体零件检查的一些已知手动处理是主观的、不一致的、低效的和不准确的。例如，该处理容易受到固有的人为偏见和/或操作者的错误的影响。尽管在确定什么构成了值得修理零件和/或丢弃零件的缺陷时，可以采用操作者要遵循的指南或规则，但是两名不同的操作者可能对指南有不同的解释和/或应用。
此外，至少部分地基于零件的不一致或有限光照，用于具体零件检查的一些已知处理可能是不准确的。光照变化、来自零件表面的光的镜面反射、视点变化等可能会导致缺陷预测的不准确性和不确定性。例如，当通过具有相对于表面的第一入射角以及第一波长范围和强度的第一光照射时，操作者(甚至自动检测系统)可能无法充分看到工件表面上的特定缺陷，但是当通过具有与第一光不同的入射角、波长范围和/或强度的第二光照射时，相同的缺陷可以是容易显而易见的。此外，相比第二光，零件的表面中的不同缺陷可以在第一光下更显而易见。基于零件的这种不一致和/或有限光照，可能达不到某些已知检查处理的准确性和确定性。
发明内容
在一个或多个实施例中，提供了一种检查系统，检查系统包括一个或多个成像装置和一个或多个处理器。一个或多个成像装置被构造成在一个或多个成像装置相对于工件的第一位置处产生工件的第一组的图像，并且在相对于工件的第二位置处产生工件的第二组的图像。使用不同的光设定获取第一组中的至少一些图像，并且使用不同的光设定获取第二组中的至少一些图像。一个或多个处理器被构造成获得第一组的图像并且分析第一组，以产生与一个或多个成像装置的第一位置相关联的第一预测图像。一个或多个处理器还被构造成获得第二组的图像并且分析第二组，以产生与一个或多个成像装置的第二位置相关联的第二预测图像。第一预测图像和第二预测图像包括描绘工件的表面中的潜在缺陷的相应的候选区。一个或多个处理器被构造成合并第一预测图像和第二预测图像，以检测工件的表面中的至少一个预测缺陷。在第一预测图像和第二预测图像的至少一个候选区中描绘至少一个预测缺陷。
在一个或多个实施例中，提供了一种用于检查工件的缺陷的方法。该方法包括在一个或多个成像装置相对于工件的第一位置处获得由一个或多个成像装置产生的工件的第一组的图像。使用不同的光设定来获取第一组中的至少一些图像。该方法包括在一个或多个成像装置相对于工件的第二位置处获得由一个或多个成像装置产生的工件的第二组的图像。使用不同的光设定来获取第二组中的至少一些图像。该方法包括经由一个或多个处理器分析第一组的图像，以产生与一个或多个成像装置的第一位置相关联的第一预测图像。第一预测图像包括描绘工件的表面中的潜在缺陷的候选区。该方法包括经由一个或多个处理器分析第二组的图像，以产生与一个或多个成像装置的第二位置相关联的第二预测图像。第二预测图像包括描绘工件的表面中的潜在缺陷的候选区。该方法还包括经由一个或多个处理器合并第一预测图像和第二预测图像，以检测工件的表面中的至少一个预测缺陷。在第一预测图像和第二预测图像的至少一个候选区中描绘至少一个预测缺陷。
在一个或多个实施例中，一种检查系统包括一个或多个成像装置和一个或多个处理器。一个或多个成像装置被构造成在一个或多个成像装置相对于工件的第一位置处产生工件的第一组的图像，并且在相对于工件的第二位置处产生工件的第二组的图像。使用不同的光设定获取第一组中的至少一些图像，并且使用不同的光设定获取第二组中的至少一些图像。一个或多个处理器被构造成通过第一人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的第一组中的图像来分析第一组的图像，以产生第一预测图像。一个或多个处理器被构造成通过第一人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的第二组中的图像来分析第二组的图像以产生第二预测图像。第一预测图像和第二预测图像包括描绘工件的表面中的潜在缺陷的相应的候选区。一个或多个处理器被构造成通过不同的第二人工神经网络中的人工神经元层检查作为前向传播方向上的输入的第一预测图像和第二预测图像，来合并第一预测图像和第二预测图像，不同的第二人工神经网络产生第一预测图像和第二预测图像中的至少一个描绘缺陷的输出概率。一个或多个处理器被构造成响应于输出概率超出指定概率阈值，检测工件的表面中的至少一个预测缺陷。
附图说明
通过参考附图阅读以下非限制性实施例的描述，将更好地理解本文所述的发明主题，其中：
图1是根据实施例的检查系统的框图；
图2示出了根据实施例的相对于工件在两个不同位置处的检查系统的成像装置；
图3示出了描绘根据实施例的通过成像装置以检查系统的不同光设定产生的各种图像的图表；
图4示出了根据实施例的在初始处理阶段期间准备用于使用人工神经网络来检验的第一组图像；
图5示出了根据图4所示的实施例的准备用于使用线性分类器或回归来分析以产生第一预测图像的一组输出图像；
图6示出了根据替代实施例的在初始处理阶段期间准备用于使用人工神经网络来检查的第一组图像；
图7示出了根据实施例的准备用于通过检查系统的一个或多个处理器来分析以合并两个预测图像的第一预测图像和第二预测图像；
图8示出了人工神经网络，该人工神经网络被训练成接收第一预测图像和第二预测图像作为输入，并基于预测图像产生输出概率；和
图9是根据实施例的用于检查工件缺陷的方法的流程图。
具体实施方式
本文所述的实施例提供了用于工件的具体零件检查的检查系统和方法。工件可以是例如燃气涡轮发动机的机器组件的部件。机器组件可以在交通工具或工业应用中使用。例如，机器组件可以是飞行器发动机。该检查系统和方法可以比主要是手动的一些已知零件检查方法更加自动化。例如，可以采用计算机视觉和图像处理技术来完全或至少部分地使检查处理自动化，相对于一些已知的检查方法，这可以增加检查处理的准确性、可重复性、一致性、鲁棒性和/或效率。
根据至少一个实施例，使用各种成像模态来获取工件的图像数据，例如使用一个或多个不同的光设定来照射工件，并且使用一个或多个不同的照相机来采集从工件反射的光，以产生图像数据。可选地，除了基于光的成像模态之外，各种成像模态还可以包括超声、计算机断层摄影(CT)、热成像等。在两个以上的不同阶段中，经由一个或多个处理器来处理图像数据。在一个处理阶段中，分析工件的第一组图像，以产生第一初始缺陷预测，并且分开地分析工件的不同的第二组图像，以产生第二初始缺陷预测。然后，在另一个处理阶段中，合并或融合从第一初始缺陷预测和第二初始缺陷预测中获得的信息，以产生用于工件的最终缺陷识别结果。根据至少一个实施例，在一个或两个阶段期间，可以利用例如人工神经网络的机器学习算法来处理图像数据。最终缺陷识别结果指示在工件的表面中是否检测到任何缺陷。可以利用最终缺陷识别结果来确定工件的后续动作，例如将工件重新组装到机器组件中、修理工件、丢弃工件、或对工件进行自动或手动的附加检查服务。
图1是根据实施例的检查系统100的框图。检查系统100被构造成获得工件120的多个图像以支持具体零件检查。检查系统100包括一个或多个成像装置108，一个或多个成像装置108被控制成在不同的光形态或设定下采集反射能量，用于产生工件120的图像数据(例如，静止图像和/或视频帧)。检查系统100控制一个或多个成像装置108从相对于工件120的至少一个选定位置获取图像，并且可选地，从相对于工件120的多个不同位置获取图像。检查系统100可以被构造成自动组合、融合和/或合并从不同位置和/或不同光设定获取到的图像信息，以通过减少检查处理中的光照变化、镜面反射变化和视点变化的影响来提高缺陷检测准确性。
检查系统100包括控制电路102，控制电路102可操作地连接到一个或多个成像装置108，并且被构造成获取(例如，接收或访问)由一个或多个成像装置108生成的图像数据。控制电路102包括一个或多个处理器104和关联的电路系统。例如，控制电路102包括和/或表示一个或多个硬件电路或电路系统，这些硬件电路或电路系统包括一个或多个处理器104、控制器和/或其他基于硬件逻辑的装置，与一个或多个处理器104、控制器和/或其他基于硬件逻辑的装置连接，或既包括一个或多个处理器104、控制器和/或其他基于硬件逻辑的装置又与其连接。控制电路102可以包括中央处理单元(CPU)、一个或多个微处理器、图形处理单元(GPU)、或能够根据特定逻辑指令处理输入数据的任何其他电子部件。
控制电路102分析图像数据，以基于描绘表面134的图像数据的自动图像分析，确定沿着工件120的表面134的缺陷的存在或不存。在做出关于工件120是否具有任何缺陷的最终预测时，控制电路102可以基于最终预测，产生控制信号，以控制工件120的后续动作和/或目的地。例如，如果确定工件120没有缺陷或仅有微小缺陷，则工件120可以前进到随后的组装或检查阶段。如果确定工件120具有至少一个显著的可执行的(例如，不可忽略的)缺陷，则控制电路102可以产生控制信号，以使工件120与同样已经检测到缺陷的其他工件聚集，和/或控制信号可以安排工件120以用于修理、丢弃和/或附加检查。
检查系统100可以是自动化系统，检查系统100在不需要人类操作者介入的情况下，照射工件120，产生反射光的图像数据，并且分析图像数据，以确定工件120上的缺陷的存在。可选地，通过使操作者使用可操作地连接到控制电路102的控制装置输入选择，操作者可以选择性地介入检查处理。例如，检查系统100可选地包括输入/输出(I/O)装置122，操作者可以利用输入/输出(I/O)装置122来参与检查处理。
检查系统100的输入/输出(I/O)装置122包括允许操作者与检查系统100进行交互的至少一个显示装置和至少一个用户输入装置。I/O装置122可操作地连接到控制电路102。显示器可以是液晶显示器(例如，发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子显示器，CRT显示器等。用户输入装置可以是被构造成接收来自操作者的输入的触摸板、触摸屏、鼠标、键盘、物理按钮等。在实施例中，操作者可以通过利用I/O装置122来参与检查。例如，操作者可以使用显示器查看具体零件检查的结果，并且用于选择附加动作，例如安排对工件120的修理。可选地，I/O装置122包括附加输出，例如音频扬声器、振动装置等，用于警告操作者。
控制电路102可以可操作地连接到存储器存储装置106(在本文中称为存储器106)。存储器106是有形且非暂时性的计算机可读介质。存储器106可以包括或表示闪存、RAM、ROM、EEPROM等。控制电路102可以执行存储在存储器106上或存储在另一个有形且非暂时性计算机可读介质上的编程指令。例如，控制电路102可以通过执行存储在存储器106上的编程指令来进行本文描述的检查处理的各种步骤。控制电路102和存储器106可以直接从一个或多个成像装置108获得工件120的图像数据，或者经由存储装置或远程服务器间接获得工件120的图像数据。控制电路102经由有线或无线通信链路118可操作地连接到一个或多个成像装置108。从成像装置108获得的图像数据可以被存储在存储器106中或被存储在控制电路102可访问的另一个存储装置中。
检查系统100检查具有各种形状和大小的工件120。例如，工件120可以是用于运输和/或工业应用的发动机或其他机械的金属或复合部件。在所示的实施例中，工件120是例如压缩机或涡轮的转子组件的转子叶片。转子叶片可以是飞行器或另一个交通工具的燃气涡轮发动机的部件。检查系统100可以检查的其他类型的工件120的非限制性示例包括燃烧器衬里、喷嘴、轴、轮、活塞等。可选地，工件120的表面134可以涂覆有隔热涂层，隔热涂层具有耐热性能，用于保护底层材料在操作期间免受高温，例如燃气涡轮发动机中的燃烧温度。
工件120可以设置在基座130或平台上。在整个检查处理中，工件120可以在基座130上的固定位置中保持固定。例如，在检查处理期间，当一个或多个成像装置108和/或一个或多个光源110相对于工件120移动时，工件120可以保持固定。替代地，在检查处理期间，可以通过控制基座130绕垂直轴线回转来旋转工件120。例如，基座130可以是或包括旋转以调节工件120相对于成像装置108的位置的转动台。可以旋转工件120以将表面134反射出的光引向一个或多个成像装置108，一个或多个成像装置108采集反射光以产生图像数据。尽管在图1中仅示出了一个工件120，但是基座130可以是并排地保持多个工件120的托盘，以用于连续检查托盘上的工件120。
一个或多个成像装置108可以是或包括至少一个照相机、传感器、扫描仪等。一个或多个成像装置108被构造成以不同光设定，例如以紫外线(UV)光设定、红外(IR)光设定和/或可见光设定，来产生图像。一个或多个成像装置108可以包括多个成像装置，例如产生UV图像数据的UV照相机、产生可见光图像数据的可见光照相机、和/或产生IR图像数据的IR照相机。替代地，一个或多个成像装置108可以是单个成像装置108，其包括用于采集不同类型的能量并产生例如UV图像和可见光图像的不同类型的图像数据的不同硬件。尽管认识到检查系统100可以具有多个成像装置108，但是以下描述以单数形式将一个或多个成像装置108称为成像装置108。
成像装置108可以具有一个或多个滤光器和/或透镜，该滤光器和/或透镜被设计成限制允许通过滤光器和/或透镜的波长。例如，成像装置108可以具有屏障滤光器，该屏障滤光器仅允许可见光谱中的一定波长带内的光穿过滤光器，不包括环境光和/或白光中存在的其他波长。另外地或替代地，成像装置108可以具有屏障滤光器，该屏障滤光器仅允许UV光谱中的一定波长带内的光穿过滤光器。在监测特定反射光线的时候，成像装置108在成像装置108的视场中产生表示主题的图像。
在图示的实施例中，成像装置108被安装在机械臂114上，机械臂114能够相对于工件120沿着多个轴线(例如，横向轴线、纵向轴线和垂直轴线)移动成像装置108。除了改变成像装置108的地点以外，机械臂114可以调节成像装置108相对于工件120的角度。机械臂114经由有线或无线通信链路118可操作地连接至控制电路102。例如，控制电路102控制机械臂114，以将成像装置108移动到空间中的特定的选定位置。每个选定位置具有在坐标系中的特定的地点坐标(例如，x、y、z)和特定的角度坐标(例如，rx、ry、rz)。例如，成像装置108的给定位置指的是成像装置108的地点和角度两者。该地点和角度可以相对于工件120或另一参考点。替代地，地点或角度中的至少一个可以是绝对值。控制电路102可以通过(i)仅改变成像装置108的地点，(ii)仅改变成像装置108的角度，或(iii)改变成像装置108的地点和角度两者，来控制机械臂114将成像装置108从第一位置移动到第二位置。机械臂114可以具有各种致动器和/或旋转轴线，以如控制电路102所引导的操纵成像装置108。
检查系统100包括一个或多个光源110，一个或多个光源110经由一个或多个有线和/或无线通信链路119可操作地连接到控制电路102。所示实施例示出了第一光源110A和第二光源110B，但是在其他实施例中，检查系统100可以具有两个以上的光源110或仅具有一个光源110。光源110可以被构造成产生并发射照射工件120的表面134的照射光。成像装置108监测从表面134朝向成像装置108反射出的照射光线以产生图像数据。两个光源110A、110B可以是相同或不同类型的光源。光源110A、110B中的一个或两个可以是LED、激光、白炽灯等。两个光源110A、110B可以彼此间隔开，并且相对于工件120具有不同位置，使得每个光源提供相对于工件120的表面134具有不同入射角的照射光。光源110A、110B中的一个或两个可以具有滤光器，用于控制从其发射出的光的波长或波长范围。光源110A、110B中的一个或两个可以具有一个或多个透镜和/或反射镜，用于控制所产生的光被发射的方向。
控制电路102被构造成独立地操作光源110以提供不同的光设定。例如，控制电路102可以控制每个光源110A、110B何时被激活(例如，发射光)和去激活(例如，不发射光)。控制电路102还可以控制由每个光源110A、110B产生的光特性，例如光强度、波长、波长范围、均匀性、偏光性等。尽管在所示实施例中，光源110A、110B是分立的并且彼此分离，但是在替代实施例中，光源110A、110B可以共享一个或多个部件，例如公共外壳。可选地，光源110A、110B可以是单个光源，其能够产生由控制电路102指示的不同特性的光。例如，控制电路102可以控制单个光源110在不同时间或在同一时间，使用光源110中的相同或不同光源(例如，发光二极管)，产生不同强度、波长等的光。
可选地，检查系统100包括围绕工件120的罩结构132。光源110A、110B安装在罩结构132上和/或内，并且发射光到由罩结构132限定的腔室133中。罩结构132可以使检查免受例如环境光或白光的外部光的影响，以使得在检查处理期间能够更好地控制光照条件。罩结构132可以是帐篷、窗帘、刚性壁等。在替代实施例中，至少一个光源110A、110B与成像装置108一起安装在第一机械臂114上，而不是远离机械臂114安装在罩结构132上。
控制电路102可以可操作地连接到检查系统100的通信装置112，通信装置112包括诸如收发器、接收器、发送器、调制解调器、路由器等的硬件以及关联的电路系统(例如，天线)。通信装置112可以由控制电路102控制，以与检查系统100的例如成像装置108、光源110和/或机械臂114的一个或多个部件通信。另外地或替代地，通信装置112可以将控制电路102无线地连接到另一个装置，诸如远程服务器、移动装置(例如，由操作者持有)等。
可选地，控制电路102、存储器106、通信装置112和I/O装置122可以是例如计算机(例如，台式电脑、笔记本电脑、平板电脑、智能电话、移动工作站等)的通用装置内的部件。例如，控制电路102、存储器106、通信装置112和I/O装置122可以被外壳或壳体共同包围。通信装置112和I/O装置122可以是检查系统100的可选部件，使得替代实施例可以缺少装置112、122中的一个或两个。
可选地，检查系统100可以包括除图1所示的部件以外的附加部件，例如附加成像装置、附加光源等。可选地，检查系统100可以具有与图1所示的部件不同的至少一些部件。例如，在替代实施例中，检查系统100可以具有第二机械臂，第二机械臂保持工件120而不是基座130。
根据一个或多个实施例的检查系统100自动进行全部或至少一部分检查处理，以检测工件120上的缺陷。检查处理包括：(i)图像获取阶段，在该图像获取阶段中，在成像装置108的不同位置处和/或在不同的光设定下获得工件120的图像数据；(ii)初始处理阶段，在该初始处理阶段中，工件120的多个图像被融合在一起并且被处理，以产生多个预测图像；和(iii)次级处理阶段，在该次级处理阶段中，预测图像被合并并且被分析，以最终确定工件120是否具有任何缺陷。如本文中更具体描述的，初始处理阶段可以使用不同的光设定来分析和集合从成像装置108的相同位置产生的多个图像，并且次级处理阶段分析由初始处理阶段产生的信息，以集合成像装置108相对于工件120的不同位置各处的信息。
在图像获取阶段，控制电路102控制成像装置108和光源110，以从多个不同的视角并且在不同的光设定或构造下产生工件120的图像数据。不同的视角可以通过相对于工件120移动成像装置108来实现，反之亦然。可以通过选择和/或改变光源110A、110B的位置，多少个和/或哪个光源110A、110B被激活并且朝向工件120发射照射光，一个或多个激活光源110产生的照射光的波长或波长范围，照射光的强度等，来实现不同的光设定。
图2示出了根据实施例的相对于工件120处于两个不同位置处的成像装置108。例如，在相对于工件120的第一位置202和第二位置204处示出了成像装置108。第一位置202具有地点坐标(x1，y1，z1)和角度坐标(rx1，ry1，rz1)。地点坐标指的是沿着例如横向轴线、垂直或高度轴线、以及纵向或深度轴线的三个正交轴线的位置。两个角度坐标指的是两个垂直平面中的角度。例如，机械臂114可以被构造成在两个垂直平面中使成像装置108倾斜和旋转以实现各种角度。第二位置204具有地点坐标(x2，y2，z2)和角度坐标(rx2，ry2，rz2)。第二位置204的地点和角度均不同于第一位置202的地点和角度。
控制电路102可以指定第一位置202和第二位置204作为成像装置108在图像获取阶段期间在其处获取工件120的图像的位置。成像装置108的包括其地点和角度的位置的总数可以基于各种因素，例如成像装置108的视场、要被检查的工件120的表面134的大小、表面134的复杂性和/或曲率(例如，表面拓扑)等，通过控制电路102来被计算。控制电路102可以利用工件120的计算机设计模型来确定被计入计算的工件120的测量和特征。计算还可以取决于指定的约束条件，例如与表面134的法向轴线的最大允许角度。例如，与法向轴线的角度的可接受范围可以是与法向轴线的45度内、30度内、20度内或10度内。可以实施该角度约束条件，以确保成像装置108与检查表面134相对正交，以接收从表面134反射的足够光量。另一个约束条件可以指示工件120的整个表面134被采集和描绘在一个或多个选定位置处获取到的图像中，以确保检查整个表面134的缺陷。
图2示出了将由成像装置108在第一位置202处以成像装置108的设定视场212采集的覆盖区域206(由图2中的点阴影表示)。图2还示出了将由成像装置108在第二位置204处以相同视场212采集的不同覆盖区域208(由图2中的虚线阴影表示)。覆盖区域206通常沿着图2中的工件120的右半部分，并且覆盖区域208通常沿着工件120的左半部分。存在其中覆盖区域206、208重叠的重叠区域210，表明工件120的这些部分将被采集在两个位置202、204中的每个位置处获取到的图像中。如图2所示，两个覆盖区域206、208的组合覆盖工件120的整个检查表面134。
尽管在图示实施例中选择成像装置108的两个位置用于检查，但是在其他实施例中，控制电路102可以仅选择一个位置或两个以上的位置。例如，如果成像装置108能够在满足所有的指定约束条件的情况下从单个位置采集工件120的整个检查表面134，则控制电路102可以选择用于采集图像数据的单个位置，而不是多个位置。
在图像获取期间，控制成像装置108在第一位置202处产生工件120的第一组图像，并且在第二位置204处产生工件120的第二组图像。使用周围环境中的不同光设定来产生第一组中的至少一些图像。类似地，使用周围环境中的能够与用于产生第一组图像的不同光设定相同的不同光设定来产生第二组中的至少一些图像。
现在参考图3，其示出了图表300，图表300描绘了根据实施例的通过成像装置108(如图1所示)以检查系统100的不同光设定产生的各种图像302(例如，图像302A-302F)。图表300具有表示不同光设定的三列308和表示成像装置108的例如图2中所示的两个位置202、204的两个不同位置的两行310。图3中所示的图像302均描绘了相同的工件120。尽管可以在所有图像302中描绘工件120，但是图3所示的六个图像302A-302F中的每个图像的图像数据可以至少部分与其他图像302A-302F略有不同，因为每个图像302A-302F在与其他图像302A、302F不同的照相机视角和/或不同的光照环境下产生。例如，图像302A通过成像装置108以第一光设定在第一位置产生。图像302E通过成像装置108以第二光设定在第二位置产生。在一个或多个实施例中，检查系统100被构造成分析和处理所有六个图像302A-302F，以预测工件120是否具有任何缺陷，并且如果具有任何缺陷，则确定这种缺陷的地点。
在图像获取阶段，控制电路102控制成像装置108产生工件120的第一组304的图像302和工件120的第二组306的图像302。第一组304包括通过成像装置108在相对于工件120的第一位置产生的图像302A-302C。第二组306包括通过成像装置108在相对于工件120的第二位置产生的图像302D-302F。第一组304中的三个图像302A-302C基于不同的光设定而彼此不同。例如，控制电路102控制光源110A，110B在成像装置108采集反射光以产生第一图像302A的时间期间提供第一光设定。控制电路102控制光源110A、110B提供第二光设定以采集用于产生第二图像302B的反射光，并且提供第三光设定以采集用于产生第三图像302C的反射光。类似地，使用第一光设定产生第二组306的第四图像302D，使用第二光设定产生第五图像302E，并且使用第三光设定产生第六图像302F。
在第一非限制性实例中，控制电路102可以通过激活第一光源110A并且去激活第二光源110B(或将第二光源110B维持在去激活状态)来提供第一光设定，使得仅第一光源110A产生光以照射工件120。控制电路102可以通过去激活第一光源110A并且激活第二光源110B来提供第二光设定，使得仅第二光源110B产生光以照射工件120。控制电路102可以通过激活第一光源110A和第二光源110B两者来提供第三光设定，使得光源110A、10B都发射光以照射工件120。通过激活两个光源110A，110B，第三光设定中的照射光可以比第一和第二光设定中的照射光具有更宽的波长带和/或更大的强度。
第一光源110A可以发射具有与第二光源110B不同的性质的光。例如，第一光源110A可以发射与第二光源110B不同的波长或波长范围。第一光源110A可以发射在可见波长带内的光，并且第二光源110B可以发射在IR波长带内的光，或者两个光源110A、110B可以发射在同一带(例如，可见光、IR、UV、广谱、窄谱等)内具有不同波长范围的光。在另一个实例中，第一光源110A可以发射具有与第二光源110B发射的光不同的强度的光。可选地，第一光源110A和第二光源110B可以产生具有彼此相同或相似性质的光，但是光源110A、110B相对于工件120的不同位置(例如，地点和/或角度)在不同的光设定下产生图像的变化。
在另一个非限制性实施例中，控制电路102可以控制第一光源110A和第二光源110B两者在三个光设定期间或至少两个光设定期间产生光，并且可以通过改变由光源110A、110B发射出的照射光的波长(或波长范围)，改变由光源110A、110B发射出的照射光的强度，和/或改变光源110A、110B中的至少一个光源相对于工件120的位置，来区分光设定。例如，光源110A、110B中的一个光源或两个光源都可以安装在例如机械臂的可移动装置上，可移动装置可以根据命令移动相应的光源110A、110B。
控制电路102可以控制机械臂114(如图1所示)将成像装置108移动到第一位置202(图2)。在第一位置202处，成像装置108在每个不同的指定光设定下连续产生同一工件120的图像，以产生第一组304中的三个图像302A、302B、302C。然后，控制电路102可以控制机械臂114将成像装置108移动到第二位置204(图2)，以在不同的光设定下连续产生第二组304中的三个图像302D、302E、302F。可以从所描述的顺序改变或颠倒产生图像302的顺序。尽管图3中的图表300示出了成像装置108的两个指定位置和三个指定光设定，但是应当理解的是，在替代实施例中，可以控制成像装置108在多于两个或少于两个的位置处产生共同的工件120的图像。此外，在替代实施例中，控制电路102可以控制光源110提供多于三个或少于三个的不同的光设定。控制电路102可以在图像获取阶段一次全部地或一个接一个地获得(例如，访问或接收)图像装置302产生的图像302。
初始处理阶段在图像获取阶段之后。在初始处理阶段，工件120的多个图像被融合在一起并且被处理以产生多个预测图像。例如，第一组304的图像302A、302B、302C可以被融合在一起并且被分析以产生第一预测图像，并且第二组306的图像302D、302E、302F可以被融合在一起并且被分析以产生第二预测图像。因为第一组304中的图像302利用成像装置108在相对于工件120的第一位置而产生，所以第一预测图像与成像装置108的第一位置相关联。类似地，因为第二组306中的图像302利用成像装置108在相对于工件120的第二位置而产生，所以第二预测图像与成像装置108的第二位置相关联。可选地，如果从相对于工件120的两个以上的不同位置产生工件120的图像302，则检查系统100可以产生两个以上的预测图像。
在至少一个实施例中，不同组304、306的图像302在初始处理阶段期间使用机器学习算法(例如，卷积神经网络算法、深度学习算法、决策树学习算法等)被分析，以提供自动的感兴趣对象的检测和识别。例如，控制电路102被构造成通过人工神经网络中的人工神经元层逐个检查作为前向传播方向上的输入的图像302A-302C，来分析第一组304的图像302A-302C。控制电路102通过人工神经网络中的人工神经元层逐个检查作为前向传播方向上的输入的图像302D-302F，来分开地分析第二组306的图像302D-302F。初始处理阶段被构造成确定潜在缺陷是否存在于工件120(图1)的表面134(图1所示)中。在后续的次级处理阶段期间，将进一步检查任何发现的潜在缺陷。
图4示出了根据实施例的在初始处理阶段期间准备用于使用人工神经网络402来检查的第一组304的图像302。图4中的第一组304的图像302具有四个图像302，而不是图3中所示的三个图像302A-302C，但是可以认识到，组304中的所有四个图像302通过成像装置108在相对于工件120的相同位置(例如，图2中所示的位置202)被采集。人工神经网络402(在本文中也称为神经网络402)可以存储在存储器106内，或者可以远离存储器106和控制电路102存储。例如，通信装置112可以将图像传送到远程装置上的神经网络402，并且通信装置112可以从远程装置接收结果消息，结果消息提供由神经网络402产生的输出概率。
神经网络402由一个或多个处理器(例如，微处理器、集成电路、现场可编程门阵列等)形成。神经网络402被划分成两个以上的层404，例如接收输入图像的一个或多个输入层404A，输出输出图像406的一个或多个输出层404B，以及在输入层404A与输出层404B之间的一个或多个中间层404C。神经网络402的层404表示人工神经元或节点的不同群或组，其可以表示由一个或多个处理器对输入图像进行的不同函数，以识别输入图像中的对象或特征。人工神经元在应用于每个输入图像的函数中施加不同的权重，以尝试识别输入图像中的感兴趣对象。为了检测工件120中的缺陷，各个层404中的人工神经元分别检查图像302，以将表面134中的缺陷识别为感兴趣对象，例如裂缝、散裂、缺口、划痕、磨损等。
神经网络402的层404中的人工神经元可以检查输入到神经网络402中的每个图像302的各个像素。神经网络402可以基于像素的特性分析，按不同对象类分配不同像素或使不同像素与不同对象类关联。对象类是出现在图像中的对象的类型或类别。通常，人体和汽车可以是两个不同的对象类。用于本文所述的检查系统100的更具体的对象类可以包括作为一个对象类的裂缝，作为另一个对象类的工件120的完整(未损坏)表面，作为另一个对象类的工件120后的背景环境，作为又一个对象类的散裂或剥落区等。
在神经网络402中分析的每个像素可以用像素表示各种不同对象类的概率来标记(例如，关联)。例如，人工神经元(例如，处理器)可以使用线性分类来计算不同对象类或类别的分类分数，并且分类分数指示像素表示各种对象类中的每个对象类的概率。给定像素的分类分数可以表示为矢量[a b c d]，其中a，b，c和d的值指示像素表示每个不同对象类的概率。分类分数在本文中称为分类矢量。每个人工神经元可以将例如激活函数(activation function)的数学函数应用于同一像素，其中不同神经元所应用的函数会影响其他神经元所应用的函数。与一个或多个或所有其他神经元相比，不同的神经元可以对函数中的不同项施加不同的权重。函数的应用产生了用于图像302中的像素的分类矢量，该分类矢量可以用于识别图像302中所示的工件120中的缺陷。神经网络402不可能100％准确预测哪些对象由不同像素表示，因此输出图像406是基于预测的。
神经网络402的层404中的神经元确定图像302中的各种像素的分类矢量，分类矢量检查像素的例如强度、颜色(例如，波长)等的特性。神经网络402中的人工神经元的层404可以按顺序检查每个输入图像302，其中一个中间(或隐藏)层404C的神经元检查给定像素，随后是相邻中间层404C中的神经元，以此类推，以计算给定像素的分类矢量。通过神经网络402的在前层404中的神经元应用于像素特性的函数结果会影响后续层404中的神经元的函数应用。
在神经网络402的层404已经确定像素的分类矢量之后，神经网络402检查每个像素的分类矢量，并且确定每个像素的最高概率对象类。例如，具有分类矢量[0.6 0.15 0.050.2]的图像302A中的第一像素指示神经网络402计算出第一像素表示第一对象类(例如，裂缝形式的缺陷)的60％的概率，第一像素表示第二对象类(例如，工件的表面的完整或未损坏区域)的15％的概率，第一像素表示第三对象类(例如，工件后的背景)的5％的概率，第一像素表示第四对象类(例如，工件上的涂层散裂或剥落形式的缺陷)的20％的概率。
输出图像406可以是基于对应输入图像302中的各个像素的确定概率的表示。例如，基于组304的第一图像302A的检查来产生第一输出图像406A，并且基于组304的第二图像302B的检查来产生第二输出图像406B。神经网络402可以确定每个像素表示在该像素的对应分类矢量中具有最高或最大概率的对象类。例如，由于60％的概率是裂缝对象类，因此神经网络402可以确定上述第一像素表示裂缝类型缺陷的一部分。选定概率可以用于将对应像素的分类矢量转换为独热(one-hot)矢量。例如，上述分类矢量[0.6 0.15 0.05 0.2]将被转换为独热矢量[1 0 0 0]，指示像素被确定为裂缝形式的缺陷的一部分。产生输出图像406，使得具有与裂缝对象类相关联的独热矢量的每个像素在输出图像406中被显示为具有裂缝的性质或特性(例如，波长、强度等)。对于要在其他对象类中预测的像素也是如此。
可以对第一组304的每个图像302中的所有(或至少一些)像素重复该处理，以产生一组408的输出图像406。例如，第一组304中的图像302通过神经网络402的层404逐个地被检查。第一图像302A可以在第二图像302B之前通过层404被检查。神经网络402基于每个输入图像302产生不同的输出图像406。
与神经网络402中的每个矢量和神经元相关联的权重值约束输入图像如何与神经元的输出相关。权重值可以由通过神经网络402的训练数据迭代流来确定。例如，可以在训练阶段建立权重值，在训练阶段中，神经网络402学习如何通过训练或地面真实图像中的对象的典型输入数据特性来识别特定对象类。例如，训练神经网络402，以检测特定缺陷，例如裂缝、散裂(例如剥落)、磨损、缺口等。在训练阶段期间，标记的训练或地面真实图像被输入到人工神经网络402中。标记的训练图像是形成图像的所有或大部分像素与已知对象类相关联的图像。在标记的训练图像中，标记为[1 0 0 0]的像素指示存在有像素表示第一对象类(例如，裂缝)中的至少一部分对象的100％的概率，并且存在有像素表示第二、第三或第四对象类(例如，完整区域、背景或散裂)中的任何对象类的至少一部分对象的零百分比的概率。
使用标记的训练图像或地面真实图像对神经网络402进行附加训练可以改进神经网络402在识别输入到神经网络402的图像中的对象时的准确性，使得输出图像406中的区域和对象更接近地类似于输入图像302中的对应区域和对象。该训练修改了在不同层404中的人工神经元的权重和/或函数，这可以导致不同对象类的概率的更大差距。例如，附加训练可以增加像素在第一对象类内的概率，并降低像素在第二对象类内的概率，从而增加像素在与第二对象类相对的第一对象类内的置信度。
在实施例中，神经网络402是卷积神经网络。例如，输入层404A和邻近输入层404A的一些中间层404C可以表示编码器，其对从图像302提取出的信息或数据进行编码。输出层404B和邻近输出层404B的其他中间层404C可以表示解码器，其上采样信息。
由神经网络402产生的输出图像406可以具有包含被识别为潜在缺陷的像素的候选区412。候选区412被识别用于进一步的检查，以确认潜在缺陷是实际缺陷还是仅仅是误报。在实施例中，输出图像406是缺陷掩模(mask)。例如，因为输出图像406的每个像素被预测为特定组的对象类中的一个，所以神经网络402可以被构造成遮掉(black out)缺陷掩模406中与被认为与对象检测无关的特定对象类相关联的像素。被预测为表示工件120后的背景的像素可以在缺陷掩模406中被遮掉。可选地，被预测为表示工件120的至少一部分像素也可以被遮掉。例如，被预测为描绘工件120的表面并且在任何识别出的候选区412之外的像素可以被遮掉。候选区412内的像素不被遮掉。可选地，可以使用矩形边界框来划定候选区412的边界，使得候选区412具有规则的形状。
图5示出了根据图4所示实施例的准备用于使用线性分类器或回归502来分析以产生第一预测图像504的一组408的输出图像406或缺陷掩模。在产生基于与成像装置108(图1所示)的第一位置相关联的第一组304的图像302的缺陷掩模406之后，利用融合处理来组合或合并缺陷掩膜406。融合处理基于一组408中的所有缺陷掩模406产生单个预测图像504。例如，可以集合或合并来自缺陷掩模406的信息来产生预测图像504。预测图像504与成像装置108相对于工件120的第一位置相关联。预测图像504可以包括描述工件120的表面134中的潜在缺陷的一个或多个候选区506。
缺陷掩模406可以经由缺陷掩模406的像素的线性组合而被合并，以产生第一预测图像504。例如，缺陷掩模406中的等效像素的性质可以被组合或合并，以产生预测图像504的特定像素。因为所有的缺陷掩模406都基于从相同的相关位置获取到的图像数据而产生，所以在一个缺陷掩模406中的一组给定2D坐标处的特定像素表示由相同坐标处的其他缺陷掩膜406中的等效像素所描绘的相同对象。缺陷掩模406的等效像素可以通过平均像素特性(例如强度、波长等)、求和像素特性、彼此重叠等效像素等来被组合或合并。
可以将线性组合应用于这些像素，以合并等效像素的性质和/或特性，用于产生预测掩模504。线性分类器或回归502可以包括一个或多个处理器。线性分类器或回归502可以被构造成通过使用机器学习算法检查像素来进行线性组合，机器学习算法被训练成基于像素的特征值(例如，性质和/或特性)来不同地加权像素。例如，如果四个缺陷掩模406中的三个缺陷掩模将特定像素分类为具有第一对象类，则与仅有两个缺陷掩模406将该像素分类为具有第一对象类的情况相比，预测图像504中的结果像素被更重地加权为具有第一对象类。替代地，线性分类器或回归502可以利用探索法(heuristics)，例如通过计算平均值、中位数等，来组合像素。在所示的实施例中，预测图像504具有候选区506，候选区506是基于一组408的缺陷掩模406的候选区412。候选区506包含与沿着工件120的表面134的潜在缺陷相关联的图像数据。
图5所示的预测图像504是与成像装置108相对于工件120的第一位置202(图2所示)相关联的第一预测图像504。在实施例中，初始处理阶段另外包括产生至少第二预测图像，第二预测图像与成像装置108相对于工件120的第二位置204相关联。例如，使用第二组306的图像302(例如，图像302D-302F)作为图4中的神经网络402的输入图像来重复图4和图5所示的步骤。神经网络402基于第二组306的图像302产生输出图像(例如，缺陷掩模)，并且使用线性分类器或回归502来融合输出图像，以产生第二预测图像。
图6示出了根据替代实施例的在初始处理阶段期间准备用于使用人工神经网络602检查的第一组304的图像302。图6所示的实施例可以代替图4和图5所示的步骤。图6所示的人工神经网络602(也称为神经网络602)可以是至少部分地与图4中的神经网络402不同的改进型卷积神经网络。例如，神经网络602包括人工神经元的各种层604，并且至少一个层604是长期短期记忆(LSTM)层606。LSTM层606被构造成加权图像302中描绘的特征，并且融合从一组304中的多个图像302中提取出的信息，以产生第一预测图像504。LSTM层606是具有存储单元的递归神经网络层，存储单元可以在多个情形上(例如，在不同输入图像302的评估中)记住并整合信息。更具体地，每一LSTM层606可以是2D卷积LSTM层。
在所示的实施例中，第一组304的图像302被输入到输入层604A，并且在前向传播方向上通过神经网络602的层604被逐一检查。LSTM层可以自动学习，以加权来自不同图像302的特征。神经网络602被构造成将从多个图像302中提取出的信息融合到单个预测图像504中。图6所示的LSTM层606位于神经网络602的中间，并且通过基本上融合来自第一组304中的多个不同图像302的特征来提供早期融合。替代地，LSTM层606可以被设置成朝向邻近输出层604B的神经网络602的输出端，其中LSTM层606通过融合预测分数(例如，矢量分类)来提供后期融合。
如图6所示，神经网络602利用第一组304的多个图像302作为输入，并且基于第一组304产生单个预测图像504。预测图像504能够与通过图5所示的线性分类器或回归502产生的预测图像504比较。例如，图6中的预测图像504可以包括含有潜在缺陷的至少一个候选区506。通过利用神经网络602中的LSTM层606，可以从原始图像302一步产生预测图像504，而不是如参考图4和图5所描述的两步产生预测图像504。例如，神经网络602不会产生与图4和图5所示的一组408相类似的一组输出图像。
在神经网络602基于第一组304的图像302产生第一预测图像504之后，第二组306的图像302可以被输入到神经网络602中，以产生第二预测图像。如上所述，不同的预测图像是基于成像装置108相对于工件120的不同位置，并且可以具有包含潜在缺陷的各个不同的候选区。
在初始处理阶段期间产生预测图像之后，在次级处理阶段期间合并预测图像，以检测工件120的表面134中的至少一个缺陷的存在或不存在。
图7示出了根据实施例的准备用于通过检查系统100的一个或多个处理器104合并两个预测图像504、704来分析的第一预测图像504和第二预测图像704。基于通过成像装置108在第一位置202(在图2中示出)处采集到的第一组304的图像302来产生第一预测图像504。基于通过成像装置108在第二位置204(图2)处采集到的第二组306的图像302来产生第二预测图像704。第一预测图像504包括图7中的一个候选区506。第二预测图像704具有图7中的两个候选区706(例如，区706A和706B)。候选区506、706由矩形边界框划定。候选区506、706在参考图4至图6描述的初始处理阶段期间被识别。
在次级处理阶段期间，一个或多个处理器104合并第一预测图像504和第二预测图像704，以分析预测图像504、704，并且确定候选区506、706是否包含实际缺陷或误报。一个或多个处理器104可以通过将预测图像504、704映射到模拟工件120的计算机设计模型708来合并预测图像504、704。例如，图7示出了工件120的计算机设计模型708，其中第一预测图像504和第二预测图像704都在各自的地点和取向中被映射到模型708上。计算机设计模型708可以是三维(3D)模型，其具有在3D计算机坐标系中表示工件120的点(例如，体素)。计算机设计模型708可以是工件120的比例表示。计算机设计模型可以是计算机辅助设计(CAD)模型等。一个或多个处理器104可以经由通信装置112或有线端口或驱动器从外部源获得计算机设计模型708，并且模型708可以至少临时地存储在存储器106内。
预测图像504、704被映射到工件120的计算机设计模型708，以将二维图像中采集到的特征与三维工件120的对应物理特征定向和对准。通过在图像获取阶段期间产生基于图像装置108相对于工件120的已知位置202、204的传递函数，处理器可以能够将预测图像504、704映射到计算机设计模型708。映射两个预测图像504、704还允许在相应的候选区506、706之间的比较，用于产生关于缺陷的存在的最终预测。
在图7中，在计算机设计模型708的所示取向上可见的第一预测图像504的边界具有虚线轮廓，并且第二预测图像704的边界具有“x”轮廓。两个预测图像504、704在重叠区域710中彼此重叠。在所示的实施例中，第一预测图像504的候选区506在重叠区域710内至少部分地与第二预测图像704的第一候选区706A重叠。根据实施例，一个或多个处理器104在确定图像数据是否描绘缺陷的过程中，可以将不同预测图像504、704的相应的候选区506、706A之间的重叠量作为因素计入。例如，大量的重叠或大百分比的重叠指示从成像装置108相对于工件120的两个不同位置在相同区域中检测到潜在缺陷，这增加了该区域包括缺陷的可能性。大量的重叠候选区或大百分比的重叠候选区增加了这种区域具有缺陷的可能性。另一方面，如果重叠区域710内的候选区506、706基本不重叠，则不同的视点产生不同的估计缺陷地点，这降低了候选区506、706中的任何一个具有缺陷的可能性。
在所示的实施例中，第一预测图像504的候选区506与第二预测图像704的候选区706A基本上重叠，使得重叠量超出指定阈值。可选地，阈值可以是候选区506或候选区706A的表面区域的50％(或另一百分比)。在实施例中，由于基本上重叠，因此一个或多个处理器104可以预测候选区506和/或候选区706A包含缺陷。因此，一个或多个处理器104可以在与候选区506和/或候选区706A相对应的区域中检测工件120的表面134中的预测缺陷。可选地，一个或多个处理器104可以将由两个候选区506、706A之间的重叠区域所限定的重叠区域712指定为工件120的表面134中的预测缺陷的地点。
在图7中，第二预测图像704的第二候选区706B的相当一部分被设置在重叠区710中，但是第一预测图像504不识别附近的候选区。一个或多个处理器104可以确定由于缺乏另一预测图像504的确证，第二候选区706B比第一候选区706A更不可能包含缺陷。一个或多个处理器104可以将第二候选区706B分类为误报，或可以在与第二候选区706B相对应的区域中进行附加分析。
在其中三个以上的预测图像通过被映射到计算机设计模型708而被合并的实施例中，预测图像可以具有更多的重叠。例如，可能有其中三个以上的预测图像彼此重叠的区域。一个或多个处理器104可以考虑多少个预测图像具有重叠的候选区以及重叠的程度，以确定在候选区内是否预测到缺陷。例如，如果不同预测图像的多个候选区在那个区域中彼此重叠超出指定阈值量，则一个或多个处理器104可以将指定区域标记为具有预测缺陷。在另一个实例中，如果不同预测图像的三个以上的候选区在该区域中彼此重叠到任何程度(例如，不考虑阈值量)，则一个或多个处理器104可以将指定区域标记为具有预测缺陷。
在另一个实施例中，一个或多个处理器104被构造成通过另一个人工神经网络中的人工神经元层检查作为前向传播方向上的输入的预测图像504、704，来合并第一预测图像504和第二预测图像704。例如，图8示出了人工神经网络802，人工神经网络802被训练成接收第一预测图像504和第二预测图像704作为输入，并且基于预测图像504、704产生输出概率。控制电路102可以在次级处理阶段利用人工神经网络802检查预测图像504、704。神经网络802的输出是候选区506、706(或更普遍地，预测图像504、704)描绘工件120的表面134中的缺陷的概率。类似于本文所述的其他神经网络402、602，人工神经网络802具有人工神经元层804。类似于图6中所示的神经网络602，人工神经网络802可以包括一个或多个LSTM层。人工神经网络802与本文所述的神经网络402、602不同，因为神经网络802被专门训练成检查和评估作为输入图像的预测图像504、704，而神经网络402、602被训练以检查和评估工件120的原始图像302。
人工神经网络802可以进行深度学习算法和/或线性分类器或回归，以产生输出概率。输出概率可以是在0和1之间的数字，例如0.3、0.6或0.8，或者是在0％和100％之间的百分比，例如30％、60％或80％。输出概率指示预测图像504、704(或其候选区506、706)描绘例如裂缝、散裂、缺口、磨损等的至少一个缺陷的置信度水平。例如，0.8或80％的输出概率指示预测图像504、704描绘缺陷的80％的可能性。
根据至少一个实施例，如果来自神经网络802的输出概率大于指定概率阈值，则控制电路102(例如，其一个或多个处理器104)被构造成检测预测图像504、704中的至少一个预测缺陷。在非限制性示例中，指定概率阈值可以是0.5(例如50％)、0.7(例如70％)、0.75(例如75％)等。操作者可以使用I/O装置122来选择或修改概率阈值。
在检查工件120并且确定工件120是否具有任何预测缺陷之后，控制电路102(例如，其一个或多个处理器104)可以采取一个或多个响应或矫正措施。如果检测到一个或多个预测缺陷，则控制电路102可以基于该检查产生控制信号，该控制信号被构造成使工件120与缺少至少一个预测缺陷(例如，不具有任何预测缺陷)的其他工件隔离。例如，控制信号可以安排工件120用于维护和/或修理，和/或可以命令机器人或其他机器将工件120与具有预测缺陷的其他工件成群地放置。可以对具有缺陷的工件120采用附加检查技术，以确定是否丢弃工件120、修理工件120、或在不修理的情况下照原样使用工件120。可选地，控制信号可以被引导到I/O装置122，以通知操作者至少一个缺陷被检测到。如果该检查没有检测到任何预测缺陷，则可以生成另一个控制信号，以将工件120与已经通过检查的其他工件聚集。工件120可以前进以重新组装到机器组件中。检查的结果和所有相关细节，例如任何预测缺陷的数量、类型、大小和地点，可以被记录在存储在存储器106或另一个存储装置中的报告中。这个数据可以被集合并研究，以改进检查处理并减少零件浪费。
检查系统100可以构造成连续检查多个工件120。一旦完成图1所示的各个工件120的图像采集，就将工件120移走并用要成像的另一个工件120来替换。检查系统100可以比一些已知的手动检查技术更有效和准确。
图9是根据实施例的用于检查工件的缺陷的方法900的流程图。方法900可以表示通过图1所示的检查系统100的包括其一个或多个处理器104的控制电路102进行的至少一些操作。方法900可以表示用于生成(例如，写入)一个或多个软件应用的算法，一个或多个软件应用引导控制电路102的一个或多个处理器104的操作。在替代实施例中，相比图9中所示的流程图，方法900可以包括附加步骤、更少步骤和/或不同步骤。
参考图1至图8，方法900在902处开始，在902处，获得工件120的第一组304的图像302。第一组304通过一个或多个成像装置108在相对于工件120的第一位置202处产生。第一组304中的至少一些图像302以不同的光设定被获取，不同的光设定例如是有源发光光源的不同地点、有源光源的不同类型、光的不同波长和/或光的不同强度。在904处，获得相同工件120的第二组306的图像302。第二组306通过一个或多个成像装置108在相对于工件120的第二位置204处产生。使用周围环境中的不同的光设定来获取第二组306中的至少一些图像302。
在906处，经由一个或多个处理器104分析第一组304的图像302，以产生与一个或多个成像装置108的第一位置202相关联的第一预测图像504。在908处，第二组306的图像302通过一个或多个处理器104被分析，以产生与一个或多个成像装置108的第二位置204相关联的第二预测图像704。第一预测图像504和第二预测图像704可以包括描绘工件120的表面134中的潜在缺陷的相应的候选区506、706。
在910处，经由一个或多个处理器104合并第一预测图像504和第二预测图像704。在912处，基于合并的第一预测图像504和第二预测图像704检测工件120的表面134中的至少一个缺陷的存在(或不存在)。在914处，基于工件120的表面134中的至少一个缺陷的存在或不存在来产生控制信号。控制信号可以被构造成将工件120与具有类似于工件120的检查结果的其他工件聚集，使得具有检测到的缺陷的工件与没有检测到的缺陷的工件分开分组。控制信号可以被构造成通知操作者，安排维护，在数据库中记录关于工件的检查的信息等。
根据本文描述的实施例的检查系统和方法，相比于一些已知检查系统和方法，可以提供各种技术效果和进步，例如改进的准确性、可重复性、一致性、鲁棒性和/或效率。例如，由于使用了从成像装置的不同位置并且在不同的光设定下采集到的同一工件的多个图像，因此至少一个技术效果是改进的检查准确性(例如，减少错误)。从不同的照相机视角和光构造获取图像减少了归于阴影、镜面反射、光照变化、视点变化等的错误。此外，利用机器学习算法来分析图像数据由于避免了固有的人类主观性，因此相对于手动检查，可以提高准确性、可重复性和一致性。由于本文所述的检查处理是完全或至少部分自动化的，因此另一个技术效果可以是增加效率。
在一个或多个实施例中，一种检查系统包括一个或多个成像装置和一个或多个处理器。一个或多个成像装置被构造成在一个或多个成像装置相对于工件的第一位置处产生工件的第一组的图像，并且在相对于工件的第二位置处产生工件的第二组的图像。使用不同的光设定获取第一组中的至少一些图像，并且使用不同的光设定获取第二组中的至少一些图像。一个或多个处理器被构造成获得第一组的图像并且分析第一组，以产生与一个或多个成像装置的第一位置相关联的第一预测图像。一个或多个处理器还被构造成获得第二组的图像并且分析第二组，以产生与一个或多个成像装置的第二位置相关联的第二预测图像。第一预测图像和第二预测图像包括描绘工件的表面中的潜在缺陷的相应的候选区。一个或多个处理器被构造成合并第一预测图像和第二预测图像，以检测工件的表面上的至少一个预测缺陷。在第一预测图像和第二预测图像的至少一个候选区中描绘至少一个预测缺陷。
可选地，检查系统进一步包括多个光源，多个光源可操作地连接到一个或多个处理器，并且被构造成产生朝向工件的表面的照射光。一个或多个处理器被构造成控制光源通过改变照射光的波长、改变照射光的强度、激活光源的第一光源以产生照射光、去激活光源的第一光源以停止产生照射光、和/或改变至少一个光源的位置，来提供不同的光设定。
可选地，相比于在第一位置的一个或多个成像装置，在第二位置的一个或多个成像装置相对于工件具有不同地点和/或不同角度。
可选地，一个或多个处理器被构造成通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的图像来分析第一组的图像，以产生一组的缺陷掩模，一组中的每个缺陷掩模基于第一组中的不同的一个图像。一个或多个处理器通过合并一组中的缺陷掩模来产生第一预测图像。可选地，一个或多个处理器被构造成经由缺陷掩模的像素的线性组合来合并缺陷掩模，以产生第一预测图像。
可选地，一个或多个处理器被构造成通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的图像来分析第一组的图像。层包括至少一个长期短期记忆层，长期短期记忆层被构造成加权图像中描绘的特征，并且融合从图像中提取出的信息，以产生第一预测图像。
可选地，响应于检测工件的表面中的至少一个预测缺陷，一个或多个处理器被构造成产生控制信号，控制信号被构造成使工件与缺少至少一个预测缺陷的其他工件隔离。
可选地，一个或多个处理器被构造成通过将第一预测图像和第二预测图像映射到模拟工件的计算机设计模型来合并第一预测图像和第二预测图像。一个或多个处理器基于一个或多个成像装置相对于工件的第一位置和第二位置，将第一预测图像和第二预测图像映射到计算机设计模型。
可选地，一个或多个处理器被构造成在通过确定第一预测图像的相应的候选区与第二预测图像的相应的候选区之间的重叠量来合并第一预测图像和第二预测图像之后，检测工件的表面中的至少一个预测缺陷。
可选地，一个或多个处理器被构造成通过人工神经网络中的人工神经元层检查作为前向传播方向上的输入的第一预测图像和第二预测图像，来合并第一预测图像和第二预测图像，人工神经网络产生第一预测图像和第二预测图像中的至少一个描绘缺陷的输出概率。一个或多个处理器响应于输出概率超出指定概率阈值来检测工件的表面中的至少一个预测缺陷。
在一个或多个实施例中，提供了一种用于检查工件的缺陷的方法。该方法包括在一个或多个成像装置相对于工件的第一位置处获得由一个或多个成像装置产生的工件的第一组的图像。使用不同的光设定来获取第一组中的至少一些图像。该方法包括在一个或多个成像装置相对于工件的第二位置处获得由一个或多个成像装置产生的工件的第二组的图像。使用不同的光设定来获取第二组中的至少一些图像。该方法包括经由一个或多个处理器分析第一组的图像，以产生与一个或多个成像装置的第一位置相关联的第一预测图像。第一预测图像包括描绘工件的表面中的潜在缺陷的候选区。该方法包括经由一个或多个处理器分析第二组的图像，以产生与一个或多个成像装置的第二位置相关联的第二预测图像。第二预测图像包括描绘工件的表面中的潜在缺陷的候选区。该方法还包括经由一个或多个处理器合并第一预测图像和第二预测图像，以检测工件的表面上的至少一个预测缺陷。在第一预测图像和第二预测图像的至少一个候选区中描绘至少一个预测缺陷。
可选地，该方法还包括在第一组和第二组两者中的图像的获取期间，通过改变朝向工件的表面引导的照射光的波长、改变朝向工件的表面引导的照射光的强度、改变被激活的光源的类型、改变被激活的光源的位置、和/或改变被激活的光源的数量，来修改光设定。
可选地，通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的图像来分析第一组的图像，以产生一组的缺陷掩模。一组中的每个缺陷掩模基于第一组中的不同的一个图像。通过合并第一组中的缺陷掩模来产生第一预测图像。可选地，基于第一组中的图像的缺陷掩模经由缺陷掩模的像素的线性组合被合并在一起，以产生第一预测图像。
可选地，通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的图像来分析第一组的图像。层包括至少一个长期短期记忆层，长期短期记忆层被构造成加权图像中描绘的特征，并且融合从图像中提取出的信息，以产生第一预测图像。
可选地，响应于检测工件的表面中的至少一个预测缺陷，该方法还包括产生控制信号，控制信号被构造成使工件与缺少至少一个预测缺陷的其他工件隔离。
可选地，合并第一预测图像和第二预测图像包括将第一预测图像和第二预测图像映射到模拟工件的计算机设计模型。映射基于一个或多个成像装置相对于工件的第一位置和第二位置。
可选地，合并第一预测图像和第二预测图像包括确定第一预测图像的候选区与第二预测图像的候选区之间的重叠量。
可选地，合并第一预测图像和第二预测图像包括通过人工神经网络中的人工神经元层检查作为前向传播方向的输入的第一预测图像和第二预测图像，人工神经网络产生第一预测图像和第二预测图像中的至少一个描绘缺陷的输出概率。一个或多个处理器响应于输出概率超出指定概率阈值来检测工件的表面中的至少一个预测缺陷。
在一个或多个实施例中，一种检查系统包括一个或多个成像装置和一个或多个处理器。一个或多个成像装置被构造成在一个或多个成像装置相对于工件的第一位置处产生工件的第一组的图像，并且在相对于工件的第二位置处产生工件的第二组的图像。使用不同的光设定获取第一组中的至少一些图像，并且使用不同的光设定获取第二组中的至少一些图像。一个或多个处理器被构造成通过第一人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的第一组中的图像来分析第一组的图像，以产生第一预测图像。一个或多个处理器被构造成通过第一人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的第二组中的图像来分析第二组的图像，以产生第二预测图像。第一预测图像和第二预测图像包括描绘工件的表面中的潜在缺陷的相应的候选区。一个或多个处理器被构造成通过不同的第二人工神经网络中的人工神经元层检查作为前向传播方向上的输入的第一预测图像和第二预测图像，来合并第一预测图像和第二预测图像，不同的第二人工神经网络产生第一预测图像和第二预测图像中的至少一个描绘缺陷的输出概率。一个或多个处理器被构造成响应于输出概率超出指定概率阈值，检测工件的表面上的至少一个预测缺陷。
如本文使用的，以单数叙述并且以单词“一”或“一种”开始的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地指出了这种排除。此外，对当前描述的主题的“一个实施例”的引用不旨在被解释为排除同样结合所述特征的另外的实施例的存在。此外，除非有相反的明确说明，否则“包含”或“具有”具有特定性质的元件或多个元件的实施例可以包括不具有该性质的另外的此类元件。
应当理解的是，以上描述旨在说明而非限制。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离本发明的范围的情况下，可以做出许多修改以使特定的情况或材料适应本文阐述的主题的教导。尽管本文描述的材料的尺寸和类型旨在限定公开主题的参数，但是它们决不是限制性的，而是示例性实施例。在回顾以上描述之后，许多其他实施例对于本领域普通技术人员将是显而易见的。因此，应当参考所附权利要求书以及这些权利要求书所赋予的等效物的全部范围，来确定本文所述主题的范围。在所附权利要求书中，术语“包括”和“在其中”用作相应术语“包含”和“其中”的简明英语等效。此外，在以下权利要求书中，术语“第一”、“第二””和“第三”等仅用作标记，并不旨在对其对象施加数字要求。此外，以下权利要求书的限制不是以装置加功能的形式编写的，也不旨在基于35USC§112(f)进行解释，除非直到这种权利要求限制明确地使用短语“用于……的装置”，之后是没有进一步结构的功能声明。
本书面描述使用实例来公开本发明，包括最佳模式，并且还使任何本领域技术人员能够实践公开主题的实施例，包括制造和使用装置或系统，以及执行方法。本主题的可以专利范围由权利要求书限定，并且可以包括本领域技术人员想到的其他实例。如果这些其他实例包括与权利要求的字面语言没有不同的结构元件，或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件，则这些其他实例旨在权利要求的范围内。
本发明的进一步方面通过以下条项的主题提供：
1.一种检查系统，包括：一个或多个成像装置，所述一个或多个成像装置被构造成在所述一个或多个成像装置相对于工件的第一位置处产生所述工件的第一组的图像，并且在相对于所述工件的第二位置处产生所述工件的第二组的图像，其中使用不同的光设定获取所述第一组中的至少一些所述图像，并且使用所述不同的光设定获取所述第二组中的至少一些所述图像；和一个或多个处理器，所述一个或多个处理器被构造成获得所述第一组的图像并且分析所述第一组，以产生与所述一个或多个成像装置的所述第一位置相关联的第一预测图像，所述一个或多个处理器还被构造成获得所述第二组的图像并且分析所述第二组，以产生与所述一个或多个成像装置的所述第二位置相关联的第二预测图像，所述第一预测图像和所述第二预测图像包括描绘所述工件的表面中的潜在缺陷的相应的候选区，其中所述一个或多个处理器被构造成合并所述第一预测图像和所述第二预测图像，以检测所述工件的所述表面中的至少一个预测缺陷，其中在所述第一预测图像和所述第二预测图像的至少一个所述候选区中描绘所述至少一个预测缺陷。
2.根据任何在前条项的检查系统，进一步包括多个光源，所述多个光源可操作地连接到所述一个或多个处理器，并且被构造成产生朝向所述工件的所述表面的照射光，其中所述一个或多个处理器被构造成控制所述光源通过以下中的一个或多个来提供所述不同的光设定：改变所述照射光的波长、改变所述照射光的强度、激活所述光源的第一光源以产生所述照射光、去激活所述光源的所述第一光源以停止产生所述照射光、或改变至少一个所述光源的位置。
3.根据任何在前条项的检查系统，其中相比于在所述第一位置的所述一个或多个成像装置，在所述第二位置的所述一个或多个成像装置相对于所述工件具有不同地点或不同角度中的至少一个。
4.根据任何在前条项的检查系统，其中所述一个或多个处理器被构造成通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述图像来分析所述第一组的图像，以产生一组的缺陷掩模，所述一组中的每个缺陷掩模基于所述第一组中的不同的一个所述图像，其中所述一个或多个处理器通过合并所述一组中的所述缺陷掩模来产生所述第一预测图像。
5.根据任何在前条项的检查系统，其中所述一个或多个处理器被构造成经由所述缺陷掩模的像素的线性组合来合并所述缺陷掩模，以产生所述第一预测图像。
6.根据任何在前条项的检查系统，其中所述一个或多个处理器被构造成通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述图像来分析所述第一组的图像，其中所述层包括至少一个长期短期记忆层，所述长期短期记忆层被构造成加权所述图像中描绘的特征，并且融合从所述图像中提取出的信息，以产生所述第一预测图像。
7.根据任何在前条项的检查系统，其中响应于检测到所述工件的所述表面中的所述至少一个预测缺陷，所述一个或多个处理器被构造成产生控制信号，所述控制信号被构造成使所述工件与没有至少一个预测缺陷的其他工件隔离。
8.根据任何在前条项的检查系统，其中所述一个或多个处理器被构造成通过将所述第一预测图像和所述第二预测图像映射到模拟所述工件的计算机设计模型来合并所述第一预测图像和所述第二预测图像，其中所述一个或多个处理器基于所述一个或多个成像装置相对于所述工件的所述第一位置和所述第二位置，将所述第一预测图像和所述第二预测图像映射到所述计算机设计模型。
9.根据任何在前条项的检查系统，其中所述一个或多个处理器被构造成在通过确定所述第一预测图像的相应的所述候选区与所述第二预测图像的相应的所述候选区之间的重叠量来合并所述第一预测图像和所述第二预测图像之后，检测所述工件的所述表面中的所述至少一个预测缺陷。
10.根据任何在前条项的检查系统，其中所述一个或多个处理器被构造成通过人工神经网络中的人工神经元层检查作为前向传播方向上的输入的所述第一预测图像和所述第二预测图像，来合并所述第一预测图像和所述第二预测图像，所述人工神经网络产生所述第一预测图像和所述第二预测图像中的至少一个描绘缺陷的输出概率，其中所述一个或多个处理器响应于所述输出概率超出指定概率阈值来检测所述工件的所述表面中的所述至少一个预测缺陷。
11.一种用于检查工件的缺陷的方法，所述方法包括：在一个或多个成像装置相对于所述工件的第一位置处获得由所述一个或多个成像装置产生的所述工件的第一组的图像，其中使用不同的光设定来获取所述第一组中的至少一些所述图像；在所述一个或多个成像装置相对于所述工件的第二位置处获得由所述一个或多个成像装置产生的所述工件的第二组的图像，其中使用所述不同的光设定来获取所述第二组中的至少一些所述图像；经由一个或多个处理器分析所述第一组的图像，以产生与所述一个或多个成像装置的所述第一位置相关联的第一预测图像，所述第一预测图像包括描绘所述工件的表面中的潜在缺陷的候选区；经由所述一个或多个处理器分析所述第二组的图像，以产生与所述一个或多个成像装置的所述第二位置相关联的第二预测图像，所述第二预测图像包括描绘所述工件的所述表面中的潜在缺陷的候选区；和经由所述一个或多个处理器合并所述第一预测图像和所述第二预测图像，以检测所述工件的所述表面中的至少一个预测缺陷，其中在所述第一预测图像和所述第二预测图像的至少一个所述候选区中描绘所述至少一个预测缺陷。
12.根据任何在前条项的方法，进一步包括在所述第一组中的所述图像的获取期间以及在所述第二组中的所述图像的获取期间，通过以下中的一个或多个来修改所述光设定：改变朝向所述工件的所述表面引导的照射光的波长、改变朝向所述工件的所述表面引导的照射光的强度、改变被激活的光源的类型、改变被激活的光源的位置、或改变被激活的光源的数量。
13.根据任何在前条项的方法，其中通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向的输入的所述图像来分析所述第一组的图像，以产生一组的缺陷掩模，所述一组中的每个缺陷掩模基于所述第一组中的不同的一个所述图像，其中通过合并所述一组中的所述缺陷掩模来产生所述第一预测图像。
14.根据任何在前条项的方法，其中基于所述第一组中的所述图像的所述缺陷掩模经由所述缺陷掩模的像素的线性组合被合并在一起，以产生所述第一预测图像。
15.根据任何在前条项的方法，其中通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述图像来分析所述第一组的图像，其中所述层包括至少一个长期短期记忆层，所述长期短期记忆层被构造成加权所述图像中描绘的特征，并且融合从所述图像中提取出的信息，以产生所述第一预测图像。
16.根据任何在前条项的方法，其中响应于检测到所述工件的所述表面中的所述至少一个预测缺陷，所述方法包括产生控制信号，所述控制信号被构造成使所述工件与没有至少一个预测缺陷的其他工件隔离。
17.根据任何在前条项的方法，其中合并所述第一预测图像和所述第二预测图像包括将所述第一预测图像和所述第二预测图像映射到模拟所述工件的计算机设计模型，其中所述映射基于所述一个或多个成像装置相对于所述工件的所述第一位置和所述第二位置。
18.根据任何在前条项的方法，其中合并所述第一预测图像和所述第二预测图像包括确定所述第一预测图像的所述候选区与所述第二预测图像的所述候选区之间的重叠量。
19.根据任何在前条项的方法，其中合并所述第一预测图像和所述第二预测图像包括通过人工神经网络中的人工神经元层检验作为前向传播方向的输入的所述第一预测图像和所述第二预测图像，所述人工神经网络产生所述第一预测图像和所述第二预测图像中的至少一个描绘缺陷的输出概率，其中所述一个或多个处理器响应于所述输出概率超出指定概率阈值来检测所述工件的所述表面中的所述至少一个预测缺陷。
20.一种检查系统，包括：一个或多个成像装置，所述一个或多个成像装置被构造成在所述一个或多个成像装置相对于工件的第一位置处产生所述工件的第一组的图像，并且在相对于所述工件的第二位置处产生所述工件的第二组的图像，其中使用不同的光设定获取所述第一组中的至少一些所述图像，并且使用所述不同的光设定获取所述第二组中的至少一些所述图像；和一个或多个处理器，所述一个或多个处理器被构造成通过第一人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述第一组的所述图像来分析所述第一组的所述图像，以产生第一预测图像，所述一个或多个处理器被构造成通过所述第一人工神经网络中的所述人工神经元层逐个地检查作为前向传播方向上的输入的所述第二组的所述图像来分析所述第二组的所述图像，以产生第二预测图像，所述第一预测图像和所述第二预测图像包括描绘所述工件的表面中的潜在缺陷的相应的候选区，其中所述一个或多个处理器被构造成通过不同的第二人工神经网络中的人工神经元层检查作为前向传播方向上的输入的所述第一预测图像和所述第二预测图像，来合并所述第一预测图像和所述第二预测图像，所述不同的第二人工神经网络产生所述第一预测图像和所述第二预测图像中的至少一个描绘缺陷的输出概率，并且其中所述一个或多个处理器被构造成响应于所述输出概率超出指定概率阈值，检测所述工件的所述表面中的至少一个预测缺陷。

Claims (20)

1.一种检查系统，其特征在于，包括：
一个或多个成像装置，所述一个或多个成像装置被构造成在所述一个或多个成像装置相对于工件的第一位置处产生所述工件的第一组的图像，并且在相对于所述工件的第二位置处产生所述工件的第二组的图像，其中使用不同的光设定获取所述第一组中的至少一些所述图像，并且使用所述不同的光设定获取所述第二组中的至少一些所述图像；和
一个或多个处理器，所述一个或多个处理器被构造成获得所述第一组的图像并且分析所述第一组，以产生与所述一个或多个成像装置的所述第一位置相关联的第一预测图像，所述一个或多个处理器还被构造成获得所述第二组的图像并且分析所述第二组，以产生与所述一个或多个成像装置的所述第二位置相关联的第二预测图像，所述第一预测图像和所述第二预测图像包括描绘所述工件的表面中的潜在缺陷的相应的候选区，
其中所述一个或多个处理器被构造成合并所述第一预测图像和所述第二预测图像，以检测所述工件的所述表面中的至少一个预测缺陷，其中在所述第一预测图像和所述第二预测图像的至少一个所述候选区中描绘所述至少一个预测缺陷。
2.根据权利要求1所述的检查系统，其特征在于，进一步包括多个光源，所述多个光源可操作地连接到所述一个或多个处理器，并且被构造成产生朝向所述工件的所述表面的照射光，其中所述一个或多个处理器被构造成控制所述光源通过以下中的一个或多个来提供所述不同的光设定：改变所述照射光的波长、改变所述照射光的强度、激活所述光源的第一光源以产生所述照射光、去激活所述光源的所述第一光源以停止产生所述照射光、或改变至少一个所述光源的位置。
3.根据权利要求1所述的检查系统，其特征在于，其中相比于在所述第一位置的所述一个或多个成像装置，在所述第二位置的所述一个或多个成像装置相对于所述工件具有不同地点或不同角度中的至少一个。
4.根据权利要求1所述的检查系统，其特征在于，其中所述一个或多个处理器被构造成通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述图像来分析所述第一组的图像，以产生一组的缺陷掩模，所述一组中的每个缺陷掩模基于所述第一组中的不同的一个所述图像，其中所述一个或多个处理器通过合并所述一组中的所述缺陷掩模来产生所述第一预测图像。
5.根据权利要求4所述的检查系统，其特征在于，其中所述一个或多个处理器被构造成经由所述缺陷掩模的像素的线性组合来合并所述缺陷掩模，以产生所述第一预测图像。
6.根据权利要求1所述的检查系统，其特征在于，其中所述一个或多个处理器被构造成通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述图像来分析所述第一组的图像，其中所述层包括至少一个长期短期记忆层，所述长期短期记忆层被构造成加权所述图像中描绘的特征，并且融合从所述图像中提取出的信息，以产生所述第一预测图像。
7.根据权利要求1所述的检查系统，其特征在于，其中响应于检测到所述工件的所述表面中的所述至少一个预测缺陷，所述一个或多个处理器被构造成产生控制信号，所述控制信号被构造成使所述工件与没有至少一个预测缺陷的其他工件隔离。
8.根据权利要求1所述的检查系统，其特征在于，其中所述一个或多个处理器被构造成通过将所述第一预测图像和所述第二预测图像映射到模拟所述工件的计算机设计模型来合并所述第一预测图像和所述第二预测图像，其中所述一个或多个处理器基于所述一个或多个成像装置相对于所述工件的所述第一位置和所述第二位置，将所述第一预测图像和所述第二预测图像映射到所述计算机设计模型。
9.根据权利要求1所述的检查系统，其特征在于，其中所述一个或多个处理器被构造成在通过确定所述第一预测图像的相应的所述候选区与所述第二预测图像的相应的所述候选区之间的重叠量来合并所述第一预测图像和所述第二预测图像之后，检测所述工件的所述表面中的所述至少一个预测缺陷。
10.根据权利要求1所述的检查系统，其特征在于，其中所述一个或多个处理器被构造成通过人工神经网络中的人工神经元层检查作为前向传播方向上的输入的所述第一预测图像和所述第二预测图像，来合并所述第一预测图像和所述第二预测图像，所述人工神经网络产生所述第一预测图像和所述第二预测图像中的至少一个描绘缺陷的输出概率，其中所述一个或多个处理器响应于所述输出概率超出指定概率阈值来检测所述工件的所述表面中的所述至少一个预测缺陷。
11.一种用于检查工件的缺陷的方法，其特征在于，所述方法包括：
在一个或多个成像装置相对于所述工件的第一位置处获得由所述一个或多个成像装置产生的所述工件的第一组的图像，其中使用不同的光设定来获取所述第一组中的至少一些所述图像；
在所述一个或多个成像装置相对于所述工件的第二位置处获得由所述一个或多个成像装置产生的所述工件的第二组的图像，其中使用所述不同的光设定来获取所述第二组中的至少一些所述图像；
经由一个或多个处理器分析所述第一组的图像，以产生与所述一个或多个成像装置的所述第一位置相关联的第一预测图像，所述第一预测图像包括描绘所述工件的表面中的潜在缺陷的候选区；
经由所述一个或多个处理器分析所述第二组的图像，以产生与所述一个或多个成像装置的所述第二位置相关联的第二预测图像，所述第二预测图像包括描绘所述工件的所述表面中的潜在缺陷的候选区；和
经由所述一个或多个处理器合并所述第一预测图像和所述第二预测图像，以检测所述工件的所述表面中的至少一个预测缺陷，其中在所述第一预测图像和所述第二预测图像的至少一个所述候选区中描绘所述至少一个预测缺陷。
12.根据权利要求11所述的方法，其特征在于，进一步包括在所述第一组中的所述图像的获取期间以及在所述第二组中的所述图像的获取期间，通过以下中的一个或多个来修改所述光设定：改变朝向所述工件的所述表面引导的照射光的波长、改变朝向所述工件的所述表面引导的照射光的强度、改变被激活的光源的类型、改变被激活的光源的位置、或改变被激活的光源的数量。
13.根据权利要求11所述的方法，其特征在于，其中通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向的输入的所述图像来分析所述第一组的图像，以产生一组的缺陷掩模，所述一组中的每个缺陷掩模基于所述第一组中的不同的一个所述图像，其中通过合并所述一组中的所述缺陷掩模来产生所述第一预测图像。
14.根据权利要求13所述的方法，其特征在于，其中基于所述第一组中的所述图像的所述缺陷掩模经由所述缺陷掩模的像素的线性组合被合并在一起，以产生所述第一预测图像。
15.根据权利要求11所述的方法，其特征在于，其中通过人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述图像来分析所述第一组的图像，其中所述层包括至少一个长期短期记忆层，所述长期短期记忆层被构造成加权所述图像中描绘的特征，并且融合从所述图像中提取出的信息，以产生所述第一预测图像。
16.根据权利要求11所述的方法，其特征在于，其中响应于检测到所述工件的所述表面中的所述至少一个预测缺陷，所述方法包括产生控制信号，所述控制信号被构造成使所述工件与没有至少一个预测缺陷的其他工件隔离。
17.根据权利要求11所述的方法，其特征在于，其中合并所述第一预测图像和所述第二预测图像包括将所述第一预测图像和所述第二预测图像映射到模拟所述工件的计算机设计模型，其中所述映射基于所述一个或多个成像装置相对于所述工件的所述第一位置和所述第二位置。
18.根据权利要求11所述的方法，其特征在于，其中合并所述第一预测图像和所述第二预测图像包括确定所述第一预测图像的所述候选区与所述第二预测图像的所述候选区之间的重叠量。
19.根据权利要求11所述的方法，其特征在于，其中合并所述第一预测图像和所述第二预测图像包括通过人工神经网络中的人工神经元层检验作为前向传播方向的输入的所述第一预测图像和所述第二预测图像，所述人工神经网络产生所述第一预测图像和所述第二预测图像中的至少一个描绘缺陷的输出概率，其中所述一个或多个处理器响应于所述输出概率超出指定概率阈值来检测所述工件的所述表面中的所述至少一个预测缺陷。
20.一种检查系统，其特征在于，包括：
一个或多个成像装置，所述一个或多个成像装置被构造成在所述一个或多个成像装置相对于工件的第一位置处产生所述工件的第一组的图像，并且在相对于所述工件的第二位置处产生所述工件的第二组的图像，其中使用不同的光设定获取所述第一组中的至少一些所述图像，并且使用所述不同的光设定获取所述第二组中的至少一些所述图像；和
一个或多个处理器，所述一个或多个处理器被构造成通过第一人工神经网络中的人工神经元层逐个地检查作为前向传播方向上的输入的所述第一组的所述图像来分析所述第一组的所述图像，以产生第一预测图像，所述一个或多个处理器被构造成通过所述第一人工神经网络中的所述人工神经元层逐个地检查作为前向传播方向上的输入的所述第二组的所述图像来分析所述第二组的所述图像，以产生第二预测图像，所述第一预测图像和所述第二预测图像包括描绘所述工件的表面中的潜在缺陷的相应的候选区，
其中所述一个或多个处理器被构造成通过不同的第二人工神经网络中的人工神经元层检查作为前向传播方向上的输入的所述第一预测图像和所述第二预测图像，来合并所述第一预测图像和所述第二预测图像，所述不同的第二人工神经网络产生所述第一预测图像和所述第二预测图像中的至少一个描绘缺陷的输出概率，并且
其中所述一个或多个处理器被构造成响应于所述输出概率超出指定概率阈值，检测所述工件的所述表面中的至少一个预测缺陷。
CN201911220932.6A 2018-12-04 2019-12-03 用于工件检查的系统和方法 Active CN111272763B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/208,668 US10755401B2 (en) 2018-12-04 2018-12-04 System and method for work piece inspection
US16/208,668 2018-12-04

Publications (2)

Publication Number Publication Date
CN111272763A CN111272763A (zh) 2020-06-12
CN111272763B true CN111272763B (zh) 2023-04-07

Family

ID=68766614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220932.6A Active CN111272763B (zh) 2018-12-04 2019-12-03 用于工件检查的系统和方法

Country Status (4)

Country Link
US (1) US10755401B2 (zh)
EP (1) EP3664023A1 (zh)
CN (1) CN111272763B (zh)
CA (1) CA3062044C (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3924918A1 (en) 2019-02-12 2021-12-22 ecoATM, LLC Kiosk for evaluating and purchasing used electronic devices
KR20210125526A (ko) 2019-02-12 2021-10-18 에코에이티엠, 엘엘씨 전자 디바이스 키오스크를 위한 커넥터 캐리어
AU2020224096A1 (en) * 2019-02-18 2021-09-23 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
US11495041B2 (en) * 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
IT201900005536A1 (it) * 2019-04-10 2020-10-10 Doss Visual Solution S R L Metodo di acquisizione immagini per una macchina di ispezione ottica
US11244443B2 (en) * 2019-07-28 2022-02-08 Advantest Corporation Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
JPWO2021065349A1 (zh) * 2019-10-02 2021-04-08
CN111179253B (zh) * 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
US11599986B2 (en) * 2020-06-16 2023-03-07 The Boeing Company Synthetic image generation for surface anomaly detection
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
JP7310750B2 (ja) * 2020-08-07 2023-07-19 トヨタ自動車株式会社 色味補正システム及び色味補正方法
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
JP2022049874A (ja) * 2020-09-17 2022-03-30 オムロン株式会社 検査装置、検査方法及び検査プログラム
CN114333141A (zh) * 2020-09-25 2022-04-12 深圳富桂精密工业有限公司 纸箱回收方法、电子装置及存储介质
MX2023006036A (es) * 2020-11-25 2023-08-01 Deepview Corp Camara con inteligencia artificial para inspeccion visual con entrenamiento de red neuronal integrado.
JPWO2022137494A1 (zh) * 2020-12-25 2022-06-30
FR3125156B1 (fr) * 2021-07-12 2023-11-10 Safran Controle non destructif d’une piece
CN113284148B (zh) * 2021-07-23 2021-10-15 苏州高视半导体技术有限公司 一种屏幕灰尘过滤方法
US11651554B2 (en) 2021-07-30 2023-05-16 The Boeing Company Systems and methods for synthetic image generation
US11900534B2 (en) 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation
US11635346B1 (en) 2022-02-01 2023-04-25 General Electric Company Bearing element inspection system and method
TWI804204B (zh) * 2022-02-21 2023-06-01 財團法人國家實驗研究院 用以提供機器學習判讀一生物樣品的取樣方法與裝置
CN114235831B (zh) * 2022-02-28 2022-08-23 广东省科学院智能制造研究所 一种基于图像检测的注塑工件的缩痕检测方法及装置
CN114858755B (zh) * 2022-07-05 2022-10-21 中国航发四川燃气涡轮研究院 一种航空发动机涂层变频原位激光检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102669812A (zh) * 2011-03-08 2012-09-19 豪尼机械制造股份公司 用于制造烟草加工行业的棒状制品的机器用的控制装置和控制方法
CN102854194A (zh) * 2012-09-11 2013-01-02 中南大学 基于线阵ccd的物件表面缺陷检测方法及装置
CN103369187A (zh) * 2012-03-29 2013-10-23 富士施乐株式会社 图像读取装置和图像形成装置
WO2017183923A1 (ko) * 2016-04-20 2017-10-26 주식회사 고영테크놀러지 물품의 외관 검사장치 및 이를 이용한 물품의 외관 검사방법
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN108490000A (zh) * 2018-03-13 2018-09-04 北京科技大学 一种棒线材表面缺陷在线检测装置和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9822992D0 (en) 1998-10-22 1998-12-16 British Aerospace Fatigue monitoring systems and methods
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
US7103507B2 (en) 2004-09-28 2006-09-05 Dimitry Gorinevsky Structure health monitoring system and method
US7333898B2 (en) 2006-06-05 2008-02-19 The Boeing Company Passive structural assessment and monitoring system and associated method
JP2008249386A (ja) * 2007-03-29 2008-10-16 Dainippon Screen Mfg Co Ltd 欠陥検査装置および欠陥検査方法
FR2931553B1 (fr) 2008-05-22 2010-10-29 Airbus France Estimation d'un critere de charge subie par un composant structurel d'un aeronef, et aide a la detection d'un atterissage dit "dur" grace a un tel critere
DE102011103003A1 (de) * 2011-05-24 2012-11-29 Lufthansa Technik Ag Verfahren und Vorrichtung zur Rissprüfung eines Flugzeug- oder Gasturbinen-Bauteils
US8761490B2 (en) * 2011-11-03 2014-06-24 United Technologies Corporation System and method for automated borescope inspection user interface
JP6424020B2 (ja) 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US10408766B2 (en) * 2015-02-04 2019-09-10 Bosch Packaging Technology K.K. Inspection device and inspection system
JP6576059B2 (ja) 2015-03-10 2019-09-18 キヤノン株式会社 情報処理、情報処理方法、プログラム
JP2016173247A (ja) * 2015-03-16 2016-09-29 株式会社東芝 パターン検査装置およびパターン検査方法
US9785919B2 (en) 2015-12-10 2017-10-10 General Electric Company Automatic classification of aircraft component distress
MX2019011878A (es) * 2017-04-07 2019-11-25 Texas A & M Univ Sys Dispositivos y métodos de reflectometría para detectar defectos de tubería.
US10445871B2 (en) 2017-05-22 2019-10-15 General Electric Company Image analysis neural network systems
JP2019002725A (ja) * 2017-06-13 2019-01-10 コニカミノルタ株式会社 欠陥検査装置
US10346969B1 (en) 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102669812A (zh) * 2011-03-08 2012-09-19 豪尼机械制造股份公司 用于制造烟草加工行业的棒状制品的机器用的控制装置和控制方法
CN103369187A (zh) * 2012-03-29 2013-10-23 富士施乐株式会社 图像读取装置和图像形成装置
CN102854194A (zh) * 2012-09-11 2013-01-02 中南大学 基于线阵ccd的物件表面缺陷检测方法及装置
WO2017183923A1 (ko) * 2016-04-20 2017-10-26 주식회사 고영테크놀러지 물품의 외관 검사장치 및 이를 이용한 물품의 외관 검사방법
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN108490000A (zh) * 2018-03-13 2018-09-04 北京科技大学 一种棒线材表面缺陷在线检测装置和方法

Also Published As

Publication number Publication date
US10755401B2 (en) 2020-08-25
CA3062044A1 (en) 2020-06-04
CN111272763A (zh) 2020-06-12
US20200175669A1 (en) 2020-06-04
EP3664023A1 (en) 2020-06-10
CA3062044C (en) 2022-07-19

Similar Documents

Publication Publication Date Title
CN111272763B (zh) 用于工件检查的系统和方法
US10726543B2 (en) Fluorescent penetrant inspection system and method
EP3776462B1 (en) System and method for image-based target object inspection
US8189044B2 (en) Method for optical inspection of a matt surface and apparatus for applying this method
US10746667B2 (en) Fluorescent penetrant inspection system and method
CN109840900B (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
US10670539B1 (en) Coating quality inspection system and method
EP4202424A1 (en) Method and system for inspection of welds
WO2012122542A2 (en) Intelligent airfoil component surface imaging inspection
JP4318579B2 (ja) 表面欠陥検査装置
CN112088387B (zh) 检测成像物品缺陷的系统和方法
US20230111718A1 (en) Mold inspection for composite fabrication with ai quality control modules
Rosell et al. Machine learning-based system to automate visual inspection in aerospace engine manufacturing
Agarwal et al. Robotic Defect Inspection with Visual and Tactile Perception for Large-scale Components
US20240048848A1 (en) Optimized Path Planning for Defect Inspection based on Effective Region Coverage
Luo et al. Quality Detection Model for Automotive Dashboard Based on an Enhanced Visual Model
CN115668292A (zh) 基于有效区域覆盖的缺陷检测的优化路径规划
WO2023064400A1 (en) Systems and methods for composite fabrication with ai quality control modules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant