CN103630071B - 检测工件的方法和系统 - Google Patents

检测工件的方法和系统 Download PDF

Info

Publication number
CN103630071B
CN103630071B CN201310378891.XA CN201310378891A CN103630071B CN 103630071 B CN103630071 B CN 103630071B CN 201310378891 A CN201310378891 A CN 201310378891A CN 103630071 B CN103630071 B CN 103630071B
Authority
CN
China
Prior art keywords
workpiece
model
sensing device
depth
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310378891.XA
Other languages
English (en)
Other versions
CN103630071A (zh
Inventor
J·D·道尔
P·R·戴维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN103630071A publication Critical patent/CN103630071A/zh
Application granted granted Critical
Publication of CN103630071B publication Critical patent/CN103630071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于检测工件的方法和系统。该方法包括将与工件有关的模型数据输入到检测系统中,确定深度感测装置相对于工件的相对位置,以及根据深度感测装置相对于工件的位置校准检测系统相对于模型的姿势图。该方法还包括测量深度感测装置相对于工件的至少一个像素的实际深度距离数据,并根据实际深度距离数据确定工件是否满足预定的检测标准。

Description

检测工件的方法和系统
技术领域
本发明通常涉及非破坏性工件检测,更具体地涉及用于工件自动化检测的方法和系统。
背景技术
工件或组件的生产需要使用多个部件和工具。在构造过程中及构造之后需要对组件执行精确和可靠检测,通过识别可能的问题,比如组装错误,组件中零件的损伤和/或外来物(FOD),以保证生产质量。
至少某些已知的组件检测是由手动执行的。在这些检测中,检测者通常结合个人知识使用视觉和触觉检测,以根据设计模型或图表比较工件。然而,手动检测通常需要检测者视觉检测、摸以及感觉工件,以测出该工件与模型的区别。同样地,手动检测引入了人为误差的可能性。例如,大型组件,例如飞行器,火车,汽车和船会包含不能到达的较小区域,因此检测者对这些区域的检测是很困难的。此外,手动检测耗时和/或需要成本,熟练劳动力。在某些实例中,检测者可以使用小型光检测工具,例如内孔表面检测仪或X射线技术,但是这种检测方式仍然引入潜在的人为误差,因为这些方法需要检测者视觉识别该工件与模型的区别。此外,X射线技术只能被用于有限的材料组,因为有些材料使用X射线是看不到的。
其他已知的检测方法使用自动化影像处理以执行检测。在检测过程中,采集工件的图像然后使用图像处理方法分析,以使图像内的那些特征与标准特征库相比较。使用边界拟合、颜色匹配和灵活物体缩放来识别特征。然而,这些检测方法在识别小型部件和检测相同颜色的物体时仍然会引入不准确性。此外,使用这种技术检测的区域会受到限制。
发明内容
一方面,提供了一种检测工件的方法。该方法包括将与工件有关的模型数据输入到检测系统中,确定深度感测装置相对于工件的相对位置,并根据深度感测装置相对于工件的位置校准检测系统相对于模型的姿势图。该方法还包括测量深度感测装置相对于工件的至少一个像素的实际深度距离数据,并根据实际深度距离数据确定工件是否满足预定的检测标准。
另一方面,提供了检测工件的计算机系统。该计算机系统包括处理器和以及其上有被处理器执行以执行功能的被编码的计算机可读指令的计算机可读存储装置。处理器执行功能包括将与工件相关的模型数据输入到存储装置中,并确定深度感测装置相对于工件的相对位置。处理器执行功能还包括根据深度感测装置相对于工件的位置校准计算机系统相对于模型的姿势图。该处理器执行的功能还包括测量深度感测装置相对于工件的至少一个像素的实际深度距离数据,并根据实际深度距离数据确定工件是否满足预定的检测标准。
又一方面,提供了检测工件的系统。该系统包括深度感测装置,其被配置为测量该深度感测装置相对于工件的至少一个像素的实际深度距离数据。该系统还包括被配置为确定深度感测装置相对于工件的相对位置的姿势探测系统。该系统还包括与深度感测装置和姿势探测系统通信的检测计算机系统。该检测系统被编程为输入与工件有关的模型数据,并根据深度感测装置相对于工件的位置校准检测系统相对于模型的姿势图。该检测系统还被编程为根据实际深度距离数据确定工件是否满足预定的检测标准。
根据本发明的一方面,提供了检测工件的方法,所述方法包括将与工件有关的模型数据输入到检测系统中,确定深度感测装置相对于工件的相对位置,根据深度感测装置相对于工件的位置校准检测系统相对于模型的姿势图,测量深度感测装置相对于工件的至少一个像素的实际深度距离数据,根据实际深度距离数据确定工件是否满足预定的检测标准。优势是输入模型数据包括输入与工件有关的计算机辅助设计模型数据。优势是输入模型数据还包括输入预先扫描的工件模型。
优势是确定深度感测装置的相对位置包括定义一个以工件的指定位置为原点的坐标系统,并使用多个位置探测摄像机确定深度感测装置相对于工件的位置。优势是该方法还包括将深度感测装置的位置传输给检测系统。
优势是测量实际深度距离包括关于工件移动深度感测装置以采集多个实际深度距离,所述方法还包括比较多个实际深度距离与多个模型相关的深度距离以确定不相同部分。
优势是根据实际深度距离数据确定,还包括计算检测系统的姿势图的模型深度距离数据,其中模型深度距离数据表示从检测系统的姿势图到模型工件的模型深度距离,确定实际深度距离与模型深度距离是否不同;并在实际深度距离与模型深度距离不同时,确定差值是否满足检测标准,其中符合阈值表示工件在可接受的条件内。另外该方法包括使用施加到深度感测装置视图上的重叠图显示没有出现在模型工件中的工件部分。此外,重叠图可以被配置以图示外来物,缺失零件,组装错误和损伤零件中的至少一个的存在。优势是测量实际深度距离数据还包括生成三维点云图。
根据本发明的另一方面,提供了工件检测的计算机系统,所述计算机系统包括处理器;以及其上有被处理器执行以执行功能的被编码的计算机可读指令的计算机可读存储装置,处理器执行的功能包括将与工件有关的模型数据输入到存储装置中,确定深度感测装置相对于工件的相对位置,根据深度感测装置相对于工件的位置校准计算机系统相对于模型的姿势图,测量深度感测装置相对于工件的至少一个像素的实际深度距离数据,并根据实际深度距离数据确定工件是否满足预定的检测标准。
优势是处理器执行的功能还包括将至少一个与工件有关的计算机辅助设计模型数据和预先扫描的工件模型输入。优势是处理器执行的功能还包括计算计算机系统的姿势图的模型深度距离数据,其中模型深度距离数据表示从计算机系统的姿势图到模型工件的模型深度距离,确定实际深度距离与模型深度距离是否不同,并在实际深度距离与模型深度距离不同时,确定差值是否满足检测标准,其中符合阈值表示工件在可接受的条件内。另外处理器执行的功能可以包括使用施加到深度感测装置视图上的重叠图显示没有出现在模型工件中的工件部分。
根据本发明发明的另一方面,提供了工件检测系统,所述系统包括被配置为测量深度感测装置相对于工件的至少一个像素的实际深度距离数据的深度感测装置,被配置为确定深度感测装置相对于工件的相对位置的姿势探测系统,以及与深度感测装置与姿势探测系统通信的检测计算机系统,该检测系统被编程以输入与工件有关的模型数据,并根据深度感测装置相对于工件的位置校准检测系统相对于模型的姿势图,根据实际深度数据确定工件是否满足预定的检测标准。
优势是输入模型数据的同时,检测计算机系统还被编程以输入与工件有关的计算机辅助设计模型数据。另外,输入模型数据的同时,检测计算机系统可以被编程以存储预先扫描的工件模型。
优势是检测计算机系统还可以被编程以计算检测计算机系统的姿势图的模型深度距离数据,其中模型深度距离数据表示从检测系统的姿势图到模型工件的模型深度距离,确定实际深度距离与模型深度距离是否不同,并在实际深度距离与模型深度距离不同时,确定差值是否满足检测标准,其中符合阈值表示工件在可接受的条件内。另外,可以显示实时和近似实时状态中的重叠图。此外,检测计算机系统可以被配置为使用施加到深度感测装置视图上的重叠图显示没有出现在模型工件中的部分工件。
附图说明
图1是示例性检测系统的示意图。
图2是可以与图1所示的检测系统一起使用的示例性检测计算机系统的示意图。
图3是由图1所示的检测系统实施的示例性方法的流程图。
具体实施方式
本发明通常涉及工件检测,更具体地涉及能够工件自动化检测的方法和系统。在一个实施例中,检测系统包括测量深度感测装置的至少一个像素的实际深度距离数据的深度感测装置,确定深度感测装置相对于工件的姿势数据的位置和方向(姿势)探测系统,以及与深度感测装置和姿势探测系统相连的检测计算机系统。本文描述的方法和系统的实施例能够使计算系统(i)输入与工件有关的模型数据,(ii)确定深度感测装置相对于工件的相对位置,(iii)根据深度感测装置相对于工件的位置校准检测计算机系统相对于模型的姿势图,(iv)测量深度感测装置相对于工件的至少一个像素的实际深度距离数据,以及(v)根据实际深度距离数据确定工件是否超出其预定阈值。
本文所述方法和系统可以通过使用计算机编程或工程技术被实施,其包括计算机软件,固件,硬件或其任意组合或者其子系统,其中的技术效果可以是至少下述之一:a)将工件的模型数据加载到检测计算机系统;b)确定深度感测装置相对于所检测工件的姿势数据;c)校准检测计算机系统相对于模型的姿势图和深度感测装置相对于所检测工件的姿势;d)测量至少一个像素的实际深度距离数据,其中实际深度距离数据表示深度感测装置与所检测工件之间的实际深度距离;e)计算检测计算机系统姿势图的模型深度距离数据,其中模型深度距离数据表示从检测计算机系统到模型工件的模型深度距离;f)比较实际深度距离数据和模型深度距离数据;g)确定实际深度距离是否与模型深度距离相同,并确定差值是否超出预定阈值;以及h)使用施加到深度感测装置上的重叠图显示没有出现在模型工件中的工件部分。
本文所用的以单数形式列出并与冠词“a”或“an”一起使用的元件和步骤应当被理解为并不排除多个元件或步骤,除非有明确说明。另外,参考“实施例”和/或“示例性实施例”并不被理解为排除同样包含所述特征的额外实施例的存在。
图1是被用于检测组件或工件108的示例性检测系统100的示意图。通常该工件是设计环境的产品,在设计环境中,结构元件以预定义的形式被组装以使组成元件以预定义的形式关于彼此和关于作为一个整体的工件被放置或指向。检测系统100能被用于各种各样的应用中。例如,检测系统100可用于检测大型组件,例如,飞行器,火车,船或任意其他具有若干元件的大型组件。另外,检测系统还可以被用于检测小型组件,例如工具或气体/液体管道等。
如图1所示,检测系统100包括深度感测装置102,姿势探测系统104和检测计算机系统106。本文所用术语“姿势”被定义为一个物体相对于另一个物体的位置和方向。检测系统100被用于检测工件,例如,如下文更详细的描述的工件108,而深度感测装置102与检测计算机系统106通信。具体地,深度感测装置102发送表示深度感测装置102与工件108之间在深度感测装置102视野内的每个像素的距离D的信号。姿势探测系统104与检测计算机系统106通信并发送表示深度感测装置102相对于工件的姿势的信号。或者或此外,深度感测装置102和姿势探测系统可以包括发送器、收发器和/或任意其他能够使检测系统100实现上述功能的信号传输装置。
深度感测装置102可以是任意合适的深度感测装置或能够测量深度感测装置102和工件108的实际距离的摄像机。在某些实施例中,深度感测装置是激光器或3D光深度感测装置。在一个实施例中,深度感测装置102通过计算发送激光束到工件108并从工件108反射回的激光束的两路行程时间来确定实际距离数据。在另一个实施例中,深度感测装置102向工件108投射红外(IR)模式。深度感测装置102包括采集IR模式图像的红外摄像机(图中没显示)。然后通过比较期望的IR模式和深度感测装置102观测到的实际IR模式确定深度数据。此外,为了计算距离,深度感测装置102可以确定激光束的相位差。深度感测装置102根据行程时间和相位差使用点云图中的3D坐标分量(及,X,Y,X轴上的点)确定距离,其中点云由多个点聚集。
在示例性实施例中,深度感测装置102通过有线连接或无线传输与检测计算机系统106通信,并发送实际深度距离数据到检测计算机系统106中。在示例性实施例中,深度感测装置102包括能够产生任意物体在其视野内的实时或基本实时的视频图像的图像处理器。在使用过程中,在示例性实施例中,用户手动将深度感测装置相对于工件放在所希望的位置。因为深度感测装置102产生视频图像,用户在检测过程中可以将深度感测装置相对工件移动而不引起误差或不精确性。在替代实施例中,深度感测装置102可以通过使用自动控制装置放置,或者工件相对深度感测装置移动而深度感测装置102保持静止。
在示例性实施例中,姿势探测系统104确定深度感测装置102相对工件108的姿势。更具体地,在示例性实施例中,姿势探测系统104包括能够使姿势探测系统104确定实时或近似实时的深度感测装置102的姿势的处理器。姿势探测系统104通过有线连接或无线传输与检测计算机系统106通信。
姿势探测系统104可以使用不同方法确定深度感测装置102的姿势。在示例性实施例中,姿势探测系统104是一个移动的采集系统,其包括多个关于工件108放置的摄像机116。多个小型反射标记118与每个被追踪的物体相连(即,与深度感测装置102和工件108相连)。这种标记118便于校准深度感测装置102相对于工件108的姿势的。摄像机116向工件108发送近似红外光,该光从标记118发送回来。在示例性实施例中,工件108在检测过程中保持静止,且因为在检测过程中工件108保持不动,因此其在坐标系统的原点(0,0,0)上被校准。当多个摄像机116观察到反射标记118时,姿势探测系统104能够确定,即对3D空间中的标记的位置做基本地三角形测量。另外,当多个标记118与相同的物体接触时,姿势探测系统104还能确定物体的相对方向。确定深度感测装置102的姿势的其他系统和方法可以包括,但不限于,基于标记追踪,二维(2D)平面自然特征追踪,基于3D模型追踪,3D深度传感器训练,使用重复最近点的3D追踪,物理连接深度感测装置和参考位置的机械追踪装置(即,工件108上的标记),确定脉冲磁场的强度和位置的磁追踪装置,使用参考地球磁场为正极的磁传感器的无源非惯性追踪装置,光追踪装置,声学追踪装置和/或其他追踪装置,能够确定姿势的装置或方法的组合。
图2是可以与检测系统100(图1所示)一起被使用的示例性检测计算机系统106(图1所示)的示意图。在示例性实施例中,检测计算机系统106包括存储装置200,以及与所用存储装置200相连且用于执行指令的处理器。更具体地,在示例性实施例中,检测计算机系统116被配置为通过编程存储装置200和/或处理器202执行一个或更多本文所述操作。例如,处理器202可以通过将操作编码成一个或更多可执行指令以及在存储装置200中提供可执行指令被编程。
处理器202可以包括一个或更多处理单元(例如,在多核配置中)。本文所用术语“处理器”不限于被本领域称为计算机的集成电路,而是更广泛地指控制器、微控制器、可编程逻辑控制器(PLC),专用集成电路和其他可编程电路。在示例性实施例中,处理器202被配置为加载工件108的模型工件120(图1所示)数据,接收来自姿势探测系统104(图1所示)的姿势数据,校准检测计算机系统106相对于工件108的姿势并校准深度感测装置102相对于工件108(图1所示)的姿势,接收来自深度感测装置102的实际深度距离数据,计算检测计算机系统106的姿势图的模型工件120深度距离数据,其中模型深度距离数据表示从检测计算机系统106到模型工件120的模型深度距离,以及比较实际深度距离数据和模型深度距离数据。
在示例性实施例中,存储装置200包括一个或更多能够使如可执行指令和/或其他数据被选择性存储或检索的装置。在示例性实施例中,这些数据可以包括,但不限于,姿势数据,位置数据,方向数据,预先扫描的模型工件120数据,计算机辅助设计(CAD)模型数据,GPS数据,地图数据,图纸数据,平面图数据,运行数据,检测阈值数据,和/或控制算法。此外,检测计算机系统106可以被配置为使用任意算法和/或方法使所述方法和系统实现本文所述的功能。存储装置200还可以包括一个或更多计算机可读介质,例如,但不限于,动态随机存储器(DRAM),静态随机存储器(SRAM),固态磁盘,和/或硬盘。在示例性实施例中,存储装置200存储与检测过程有关的数据,例如,预先扫描的模型工件120数据,工件108的CAD模型数据和/或检测阈值数据。深度感测装置102检测的点云图还可以被保存在存储装置200上,且被用作创建条件或工件108检测验证的文件。
在示例性实施例中,检测计算机系统106包括与处理器202相连的表示界面204以用于向用户呈现信息。例如,表示界面204可以包括与显示装置(图中没显示)相连的显示适配器(图中没显示),例如,但不限于,阴极射线管(CRT),液晶显示器(LCD),光发送结(LED)显示器,有机LED(OLED)显示器,“电子墨”显示器和/或打印机。在某些实施例中,表示界面204包括一个或更多显示装置。在示例性实施例中,处理器202被配置为比较由深度感测装置102测量的距离D(图1所示)与由检测计算机系统106计算的模型工件120的距离D2(图1所示)。如果有差异,处理器202将该差值与存储在存储装置200上的预定阈值数据比较。在示例性实施例中,当D和D2的差值超过预定阈值时,处理器202使用表示界面204将没有出现在模型工件120中的工件108部分显示给用户。可以使用不同的方法显示重叠图。在一个实施例中,只显示超出预定阈值的工件108部分。在另一个实施例中,显示所有工件,且不符合标准的工件108部分被显示为与剩余工件108颜色不同。此外,可以使用任意其他方法使显示工件的选定区域成为可能,其中该工件被确定具有预定容差的部分。
在示例性实施例中,检测计算机系统106包括用于接收用户输入的输入界面206。例如,在示例性实施例中,输入界面206接收适于与本文所述任意方法一起使用的信息。输入界面206与处理器202连接,且可以包括,例如,操纵杆,键盘,指示装置,鼠标,手写笔,触敏面板(例如,触摸面板或触摸屏),和/或位置探测器。应该注意到单个组件,例如,触摸屏可以同时起到表示界面204和输入界面206的作用。
在示例性实施例中,检测计算机系统106包括与处理器202相连的通信接口208。在示例性实施例中,通信接口208至少与一个远程装置通信,例如,深度感测装置102和/或姿势探测系统104。例如,通信接口208可以使用,但不限于,有线网络适配器,无线网络适配器,和/或移动电话通信适配器。被用于连接检测计算机系统106和远程装置的网络(图中没有显示)可以包括,但不限于,局域网(LAN),广域网(WAN),无线LAN(WLAN),网状网络和/或虚拟专用网络(VPN)或其他合适的通信装置。
图3是通过使用检测系统,例如检测系统100(图1所示),可以被实施为检测工件,例如工件108(如图1所示)的示例性方法300的流程图。在示例性实施例中,在操作过程中,检测系统100由用户使用检测计算机系统106(图1所示)操作。输入界面206(如图2所示)使得用户能够将与工件108有关的模型工件120数据输入302到检测计算机系统106中。在一个实施例中,模型数据是存储在存储装置200(图2所示)上的3D CAD数据。
输入302模型数据后,检测计算机系统106发送304信号112(如图1所示)以要求姿势探测系统104确定306深度感测装置102(图1所示)相对于工件108的姿势。
在示例性实施例中,为了确定深度感测装置102的姿势,用户定义308一个以工件的位置为原点的3D坐标系统。姿势探测系统104使用多个位置探测摄像机,例如摄像机116(图1所示),确定306深度感测装置102相对于工件108的姿势。姿势探测系统104将姿势数据作为信号发送回310检测计算机系统106.
通过使用深度感测装置102的姿势数据和存储在存储装置200的工件108的模型数据,检测计算机系统106产生312检测计算机系统106相对于模型工件的姿势图。检测计算机系统106校准314模型工件120的姿势图和深度感测装置102的姿势,以使模型工件120的姿势图能够被检测计算机系统106显示,从而使模型工件120的姿势图与深度感测装置相对于工件108的视图保持同步,因为深度感测装置102被关于工件108重新放置。
用于放置316检测所希望的工件108部分的深度感测装置316。在示例性实施例中,深度感测装置102由用户手动放置316。在替代实施例中,深度感测装置102可以被定位系统自动放置316,或其可以保持静止而工件108移动,从而实现检测。
校准314和放置316完成后,深度感测装置102测量318深度距离数据以确定深度感测装置102的每个像素的深度感测装置102和工件108之间的实际深度距离。在一个实施例中,用户可以关于工件108连续移动或扫描深度感测装置102,以采集多个实际深度距离并将其多个有关的模型深度距离比较,以确定322可以表示组装错误和/或工件108损耗的不相同部分。深度感测装置102将实际深度距离数据作为信号(图1所示)发送324给检测计算机系统106。
然后,检测计算机系统106计算326模型工件120深度距离数据,其中模型工件120深度距离数据表示由检测计算机系统和模型工件120产生312的姿势图之间的模型深度距离。检测计算机系统106比较328实际深度距离数据和模型深度距离数据以确定330实际深度距离与模型深度距离是否不同。如果实际深度距离与模型深度距离不同,检测计算机系统106确定332该差值是否超过预定阈值。符合阈值表示工件108在可接受的条件内。如果超过阈值,检测计算机系统106生成334警报或时间以表示潜在的组装错误,存在外来物和/或工件108损坏。另外,检测计算机系统106使用施加到深度感测装置102的视图中的重叠图显示336没有出现在模型工件120中的工件108部分。
本文所述实施例通常涉及工件检测,更具体地,涉及用于工件自动化检测的方法和系统。本文所述实施例整合了用于工件检测的系统和方法。更具体地,本文所述实施例提供一种便于在工件检测过程中减少人为误差成分的自动化方法。深度感测装置测量物体视图中每个像素的距离,并将距离数据发送到检测计算机系统。姿势探测系统追踪深度感测装置相对于工件的位置和方向,并将位置信息发送到检测计算机系统。通过使用存储在检测计算机系统上的工件模型,该系统产生模型工件的模型视图,其中模型视图追踪由深度感测装置观测到的实时或近似实时的实际视图。接着,检测计算机系统比较由深度感测装置观测到的实际距离数据与在检测计算机系统上计算的模型距离,如果距离差值超过预定阈值,则建立警报。检测计算机系统还可以生成显示画面以向用户图示哪一部分工件引起警报。通过本文描述的实施例,人为误差被基本上减少了。此外,检测系统使得大型和小型工件,以及物理上达到有限制的工件都能够被测量。本文所述实施例还促进了手工检测耗费的检测次数的减少。
上文详细描述了用于工件检测系统的方法和系统的示例性实施例。所述方法和系统并不限于本文所述的具体实施例,相反,系统组件和/或方法步骤可被独立使用或与本文所述的其他组件和/或步骤分离使用。每个方法步骤和每个部件还可以与其他方法步骤和/或组件组合使用。尽管各种实施例的具体特征被显示在某些图中,而没限制在其他图中,这仅是为了表示方便。附图的任意特征都可以与任意其他附图的任意特征被参考和/引用。
本书面描述使用实例公开了实施例,包括最佳模式,而且还使本领域的任意技术人员能实现本实施例,包括制造和使用任意装置或系统,以及执行所包含的任意方法。本发明可授予专利权的范围由权利要求书限定,而且可以包括本领域技术人员想到的其他实例。如果这些其他实例具有的结构元件与权利要求的字面语言相同,或者它们包括与权利要求的字面语言基本相同的等价结构元件,则这些实例旨在本权利要求的范围内。

Claims (14)

1.一种用于检测工件的方法,所述方法包括:
将与所述工件有关的模型数据存储到检测系统中;
确定深度感测装置相对于所述工件的相对位置;
根据所述深度感测装置相对于所述工件的所述位置,校准所述检测系统相对于模型工件的姿势图;
测量所述深度感测装置相对于所述工件的至少一个像素的实际深度距离数据;以及
根据所述实际深度距离数据确定所述工件是否满足预定的检测标准;
其中确定所述工件是否满足预定的检测标准包括:
计算所述检测系统的所述姿势图的模型深度距离数据,其中模型深度距离数据表示从所述检测系统的姿势图到所述模型工件的模型深度距离;
确定所述实际深度距离与所述模型深度距离是否有差异;以及
当所述实际深度距离与所述模型深度距离有差异时,确定所述差异是否满足所述检测标准,其中所述差异符合阈值表示所述工件在可接受条件内。
2.根据权利要求1所述的方法,其中存储所述模型数据包括存储与所述工件有关的计算机辅助设计模型数据。
3.根据权利要求1所述的方法,其中存储所述模型数据包括存储所述工件的预先扫描的模型。
4.根据权利要求1所述的方法,其中确定所述深度感测装置的所述相对位置包括:
定义以所述工件的指定位置为原点的坐标系统;以及
使用多个位置探测摄像机确定所述深度感测装置相对于所述工件的位置。
5.根据权利要求1所述的方法,还包括将所述深度感测装置的位置传输给所述检测系统。
6.根据权利要求1所述的方法,其中测量实际深度距离包括将所述深度感测装置相对于工件移动,以采集多个实际深度距离,所述方法还包括:
比较所述多个实际深度距离与多个相关的模型深度距离,以识别不相同的部分。
7.根据权利要求1所述的方法,还包括使用施加到所述深度感测装置的视图上的重叠图,显示没有出现在所述模型工件中的所述工件的部分。
8.根据权利要求7所述的方法,其中所述重叠图被配置为图示外来物、缺失组件、组装错误以及损伤零件的至少其中之一的存在。
9.根据权利要求1所述的方法,其中测量所述实际深度距离数据还包括生成三维点云图。
10.一种用于检测工件的系统,所述系统包括:
深度感测装置,其被配置为测量所述深度感测装置相对于所述工件的至少一个像素的实际深度距离数据;
姿势探测系统,其被配置为确定所述深度感测装置相对于所述工件的相对位置;以及
检测计算机系统,其与所述深度感测装置和所述姿势探测系统通信,所述检测计算机系统被编程为:
存储与所述工件有关的模型数据;
根据所述深度感测装置相对于所述工件的所述位置校准所述检测计算机系统相对于模型工件的姿势图;以及
根据所述实际深度距离数据确定所述工件是否满足预定的检测标准;
其中所述检测计算机系统被编程为通过以下操作确定所述工件是否满足预定的检测标准:
计算所述检测计算机系统的所述姿势图的模型深度距离数据,其中所述模型深度距离数据表示从所述检测计算机系统的所述姿势图到所述模型工件的模型深度距离;
确定所述实际深度距离与所述模型深度距离是否有差异;以及
当所述实际深度距离与所述模型深度距离有差异时,确定所述差异是否满足所述检测标准,其中所述差异符合阈值表示所述工件在可接收条件内。
11.根据权利要求10所述的系统,其中为了存储模型数据,所述检测计算机系统还被编程为存储所述工件的预先扫描的模型。
12.根据权利要求10所述的系统,其中为了存储模型数据,所述检测计算机系统还被编程为存储与所述工件有关的计算机辅助设计模型数据。
13.根据权利要求10所述的系统,其中所述检测计算机系统还被配置为使用施加到所述深度感测装置的视图上的重叠图,显示没有出现在所述模型工件中的所述工件的部分。
14.根据权利要求13所述的系统,其中所述重叠图被实时或近实时地显示。
CN201310378891.XA 2012-08-27 2013-08-27 检测工件的方法和系统 Active CN103630071B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/594,928 2012-08-27
US13/594,928 US8855404B2 (en) 2012-08-27 2012-08-27 Methods and systems for inspecting a workpiece

Publications (2)

Publication Number Publication Date
CN103630071A CN103630071A (zh) 2014-03-12
CN103630071B true CN103630071B (zh) 2018-01-23

Family

ID=49084754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310378891.XA Active CN103630071B (zh) 2012-08-27 2013-08-27 检测工件的方法和系统

Country Status (9)

Country Link
US (1) US8855404B2 (zh)
EP (1) EP2703776B1 (zh)
JP (1) JP6251519B2 (zh)
KR (1) KR102030854B1 (zh)
CN (1) CN103630071B (zh)
BR (1) BR102013021722B1 (zh)
CA (1) CA2820320C (zh)
ES (1) ES2785302T3 (zh)
RU (1) RU2643619C2 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9124801B2 (en) 2012-07-26 2015-09-01 Omnivision Technologies, Inc. Image processing system and method using multiple imagers for providing extended view
CA2884771C (en) 2012-09-10 2021-06-29 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
US10819962B2 (en) * 2012-12-28 2020-10-27 Apple Inc. Method of and system for projecting digital information on a real object in a real environment
TW201446386A (zh) * 2013-06-14 2014-12-16 Hon Hai Prec Ind Co Ltd 雷射加工系統
CN105793787B (zh) * 2013-12-27 2019-10-18 株式会社牧野铣床制作所 工作机械的控制装置
US9489724B2 (en) 2014-03-31 2016-11-08 The Boeing Company Three-dimensional stereoscopic projection on complex surfaces
NO343149B1 (no) * 2014-04-22 2018-11-19 Vision Io As Fremgangsmåte for visuell inspeksjon og logging
CN104200464B (zh) * 2014-08-19 2018-03-09 苏州华兴致远电子科技有限公司 一种识别列车异常的检测方法及系统
CN104986539B (zh) * 2015-05-21 2017-03-01 上海神机软件有限公司 组合模板自动输送系统
US20180374239A1 (en) * 2015-11-09 2018-12-27 Cognex Corporation System and method for field calibration of a vision system imaging two opposite sides of a calibration object
US10757394B1 (en) * 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US11562502B2 (en) * 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
CN105486249B (zh) * 2015-11-26 2018-01-16 北京市计算中心 三维扫描数据的自适应底面消除方法
US9721334B2 (en) 2015-12-03 2017-08-01 International Business Machines Corporation Work-piece defect inspection via optical images and CT images
US9880075B2 (en) * 2016-02-11 2018-01-30 Caterpillar Inc. Wear measurement system using a computer model
US9875535B2 (en) * 2016-02-11 2018-01-23 Caterpillar Inc. Wear measurement system using computer vision
DE102016106696A1 (de) * 2016-04-12 2017-10-12 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmesssystem
US9950815B2 (en) 2016-07-01 2018-04-24 United Technologies Corporation Systems and methods for detecting damage
US10249033B1 (en) 2016-12-20 2019-04-02 Palantir Technologies Inc. User interface for managing defects
US10620618B2 (en) * 2016-12-20 2020-04-14 Palantir Technologies Inc. Systems and methods for determining relationships between defects
US11314721B1 (en) 2017-12-07 2022-04-26 Palantir Technologies Inc. User-interactive defect analysis for root cause
WO2019185153A1 (de) * 2018-03-29 2019-10-03 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und vorrichtung zum bestimmen von 3d-koordinaten eines objekts
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10473593B1 (en) 2018-05-04 2019-11-12 United Technologies Corporation System and method for damage detection by cast shadows
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
US10488371B1 (en) * 2018-05-04 2019-11-26 United Technologies Corporation Nondestructive inspection using thermoacoustic imagery and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
KR102134590B1 (ko) * 2018-10-12 2020-08-27 주식회사 화승알앤에이 측정 대상의 3d 모델과 측정 대상에 대한 3d 스캔 데이터 간의 오차를 추출하는 방법
US11467270B2 (en) * 2019-03-27 2022-10-11 Asmpt Singapore Pte. Ltd. Apparatus and method for calibrating or testing an imaging device
WO2021250633A1 (en) * 2020-06-11 2021-12-16 Interaptix Inc. A system and method for remote inspection of a space
CN113942347B (zh) * 2020-07-16 2022-09-09 比亚迪股份有限公司 用于车辆的轮胎磨损检测系统和车辆
US11631184B2 (en) 2020-09-18 2023-04-18 Spirit Aerosystems, Inc. Feature inspection system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4651283A (en) * 1983-09-08 1987-03-17 Sciaky S.A. Installation for determining the spatial coordinates of a point on a piece, in particular for controlling a plant such as a welding plant for the car bodies of motor vehicles
EP0754930A2 (de) * 1995-07-20 1997-01-22 Bayerische Motoren Werke Aktiengesellschaft, Patentabteilung AJ-3 Vorrichtung zum optischen Abtasten von Messflächen
US6809728B2 (en) * 2001-08-24 2004-10-26 Sanyo Electric Co., Ltd. Three dimensional modeling apparatus
CN1648667A (zh) * 2004-01-30 2005-08-03 英业达股份有限公司 零部件安装缺失检测方法以及系统
CN1861317A (zh) * 2005-05-13 2006-11-15 西门子公司 工件测量的装置和方法
CN102538677A (zh) * 2012-01-16 2012-07-04 苏州临点三维科技有限公司 一种基于光学的管道快速检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175601A (en) 1991-10-15 1992-12-29 Electro-Optical Information Systems High-speed 3-D surface measurement surface inspection and reverse-CAD system
JP3893169B2 (ja) * 1996-06-18 2007-03-14 コニカミノルタホールディングス株式会社 3次元計測装置
JP2001241927A (ja) * 2000-03-01 2001-09-07 Sanyo Electric Co Ltd 形状測定装置
JP2002053198A (ja) * 2000-08-10 2002-02-19 Asahi Breweries Ltd 瓶ビールの製造方法及びその装置、並びに封入物の製造方法
US6856407B2 (en) 2000-09-13 2005-02-15 Nextengine, Inc. Method for depth detection in 3D imaging providing a depth measurement for each unitary group of pixels
DE102005043912B4 (de) 2005-05-18 2011-08-18 Steinbichler Optotechnik GmbH, 83115 Verfahren zum Bestimmen der 3D-Koordinaten der Oberfläche eines Objekts
US7495758B2 (en) 2006-09-06 2009-02-24 Theo Boeing Company Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
US8543237B2 (en) * 2007-09-17 2013-09-24 Conoptica As Rotating part position and change finding method and apparatus
US7778794B2 (en) 2007-11-26 2010-08-17 The Boeing Company System and method for identifying an element of a structure in an engineered environment
US8131055B2 (en) 2008-01-31 2012-03-06 Caterpillar Inc. System and method for assembly inspection
JP2010277164A (ja) * 2009-05-26 2010-12-09 Seiko Epson Corp モデルデータ作成装置、モデルデータ作成方法、物体認識装置、及び物体認識方法
JP2012078105A (ja) * 2010-09-30 2012-04-19 Mitsubishi Heavy Ind Ltd 姿勢制御装置、制御方法及びプログラム
US9082208B2 (en) * 2011-07-12 2015-07-14 Spirit Aerosystems, Inc. System and method for locating and displaying aircraft information
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4651283A (en) * 1983-09-08 1987-03-17 Sciaky S.A. Installation for determining the spatial coordinates of a point on a piece, in particular for controlling a plant such as a welding plant for the car bodies of motor vehicles
EP0754930A2 (de) * 1995-07-20 1997-01-22 Bayerische Motoren Werke Aktiengesellschaft, Patentabteilung AJ-3 Vorrichtung zum optischen Abtasten von Messflächen
US6809728B2 (en) * 2001-08-24 2004-10-26 Sanyo Electric Co., Ltd. Three dimensional modeling apparatus
CN1648667A (zh) * 2004-01-30 2005-08-03 英业达股份有限公司 零部件安装缺失检测方法以及系统
CN1861317A (zh) * 2005-05-13 2006-11-15 西门子公司 工件测量的装置和方法
CN102538677A (zh) * 2012-01-16 2012-07-04 苏州临点三维科技有限公司 一种基于光学的管道快速检测方法

Also Published As

Publication number Publication date
CA2820320A1 (en) 2014-02-27
CA2820320C (en) 2015-11-24
JP6251519B2 (ja) 2017-12-20
RU2013139448A (ru) 2015-03-10
CN103630071A (zh) 2014-03-12
US20140056507A1 (en) 2014-02-27
KR20140027868A (ko) 2014-03-07
BR102013021722B1 (pt) 2020-12-01
KR102030854B1 (ko) 2019-10-10
BR102013021722A2 (pt) 2015-07-21
RU2643619C2 (ru) 2018-02-02
EP2703776B1 (en) 2020-03-18
US8855404B2 (en) 2014-10-07
ES2785302T3 (es) 2020-10-06
JP2014044203A (ja) 2014-03-13
EP2703776A1 (en) 2014-03-05

Similar Documents

Publication Publication Date Title
CN103630071B (zh) 检测工件的方法和系统
US9529945B2 (en) Robot simulation system which simulates takeout process of workpieces
JP6192938B2 (ja) 三次元合成処理システムおよび三次元合成処理方法
US9488589B2 (en) Mapping damaged regions on objects
US10470838B2 (en) Surgical system for spatial registration verification of anatomical region
US11994588B2 (en) Three-dimensional surface scanning
CN102917844A (zh) 用于检查传感器放置的方法和系统
US10739870B2 (en) Stylus for coordinate measuring
CN103654784A (zh) 用于在医学成像检查期间采集患者的运动的方法
CN108474653A (zh) 三维计测装置及其计测辅助处理方法
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
US20240027181A1 (en) System and method for measuring using multiple modalities
CN107923744A (zh) 基于点云的表面施工
KR101403377B1 (ko) 2차원 레이저 센서를 이용한 대상 물체의 6 자유도 운동 산출 방법
US11566888B1 (en) Systems and methods for automatic measurement and scanning of complex surfaces
EP3627099B1 (en) A method of calibrating an apparatus for pointing spatial coordinates as well as a corresponding apparatus
US20150300842A1 (en) Device and Method For Determining the Change of Position of a 3D Measuring Head
JP2010170288A (ja) 3次元モデリング装置
RU2572502C1 (ru) Способ определения величины отклонения образующих стенок резервуара вертикального цилиндрического от вертикали
JP6581514B2 (ja) 三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置
Galetto et al. Analysing uncertainty contributions in dimensional measurements of large-size objects by ultrasound sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant