CN104067111A - 用于跟踪和监测目标对象上的差异的自动化系统和方法 - Google Patents

用于跟踪和监测目标对象上的差异的自动化系统和方法 Download PDF

Info

Publication number
CN104067111A
CN104067111A CN201280067976.XA CN201280067976A CN104067111A CN 104067111 A CN104067111 A CN 104067111A CN 201280067976 A CN201280067976 A CN 201280067976A CN 104067111 A CN104067111 A CN 104067111A
Authority
CN
China
Prior art keywords
destination object
image
orientation
difference
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280067976.XA
Other languages
English (en)
Other versions
CN104067111B (zh
Inventor
G·E·乔格森
J·J·特洛伊
S·W·莱安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN104067111A publication Critical patent/CN104067111A/zh
Application granted granted Critical
Publication of CN104067111B publication Critical patent/CN104067111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object

Abstract

一种检测系统，其包括目标对象，其具有目标对象坐标系统；跟踪单元，其经配置以监测目标对象的位置和/或定向，并产生指示目标对象的位置和/或定向的目标对象位置信号；摄像机，其经定位以捕捉目标对象的图像；定向机构，其被连接至摄像机以控制摄像机相对于目标对象的定向；以及处理器，其经配置以分析图像，从而检测该图像中的差异，并且当该图像中存在差异时，至少基于目标对象位置信号和摄像机的定向，确定差异相对于目标对象坐标系统的位置，以及然后，为摄像机和激光定向以瞄准和指出差异。

Description

用于跟踪和监测目标对象上的差异的自动化系统和方法
技术领域
本公开一般涉及检测系统，更具体地，涉及用于定位和检测目标对象上的差异的系统和方法，即使当目标对象已经移动时。
背景技术
差异，如异物碎片，在复合材料结构(如，飞机蒙皮)的维修或制造过程中，可呈现出昂贵和具有挑战性的问题。检测和移除差异的失败可导致复合材料结构的结构完整性的下降。此外，如果在复合材料结构制造过程中没有及早地检测到差异，则可处理、维修、或在一些情况下，通过工程分析和鉴定批准所产生的复合材料结构。每种选项都将是昂贵的。
此外，可能有些尺寸上或粘合层附近的微小差异，这可导致检测失败。未能及时地检测这些差异可导致该结构的极大损坏，其维修将是昂贵的。因此，目前需要在差异一附接至复合材料结构时便检测和移除差异。
目前差异检测的方法包括基于人或视觉的检测系统，其经常存在误差。计算机化的检测系统已经被用于通过声、基于激光、磁、RFID、GPS、以及基于动作捕捉的系统检测差异。然而，这些系统通常仅对固定目标对象起作用，并不能成功地指出运动对象上的差异，例如制造过程中的旋转飞机机身。
因此，存在需要这样一种基于局域定位的系统，其能够跟踪目标对象、确定在目标对象上的差异的位置以及在稍后时间准确地指示那些差异，即使在目标对象已经移动时。
发明内容
在一个实施例中，所公开的检测系统可包括目标对象，其具有目标对象坐标系统；跟踪单元，其经配置以监测目标对象的位置和/或定向，并产生指示目标对象的位置和/或定向的目标对象位置信号；摄像机，其定位成用于捕捉目标对象的图像；定向机构，其被连接至摄像机，用于控制摄像机相对于目标对象的定向；以及处理器，其经配置以分析图像，从而检测该图像中的差异，并且当该图像中存在差异时，至少基于目标对象位置信号、摄像机的定向以及图像内的差异的位置，确定差异相对于目标对象坐标系统的位置。在检测系统中，所述跟踪单元还包括编码器。在检测系统中，可通过所述处理器控制所述定向机构。在检测系统中，所述定向机构还可包括云台(pan-tilt)机构。检测系统可还包括联接至所述目标对象的运动致动器，所述运动致动器可由所述处理器控制，从而控制所述目标对象的所述位置和所述定向中的至少一个，其中所述运动致动器包括电动机。
在另一个实施例中，所公开的检测系统可包括目标对象，其具有目标对象坐标系统；运动致动器，其联接至目标对象以控制目标对象的位置和/或定向；跟踪单元，其经配置以监测目标对象的位置和/或定向，并产生指示目标对象的位置和/或定向的目标对象位置信号；局域定位系统(“LPS”)仪器，其相对于目标对象被定位，该LPS仪器包括摄像机，其经配置以捕捉目标对象的图像，激光发射装置，其经配置以将激光束投射到目标对象上，以及定向机构，其被连接至摄像机和激光发射装置，从而控制摄像机的定向和激光发射装置的定向；以及处理器，其经配置以分析图像，从而检测该图像中的差异，并且当该图像中存在差异时，至少基于目标对象位置信号和摄像机的定向确定差异相对于目标对象坐标系统的位置，其中所述处理器还被配置以基于差异相对于目标对象坐标系统的位置，通过控制激光发射装置的定向，将激光束投射至差异上。
在又一实施例中，公开的是用于检测具有目标对象坐标系统的目标对象上的差异的方法。本方法可包括以下步骤：(1)提供局域定位系统仪器，其包括摄像机、激光发射装置以及定向机构——其用于相对于目标对象为摄像机和激光发射装置定向，(2)提供运动致动器，其经配置以选择性地移动目标对象，(3)提供跟踪单元，其经配置以监测目标对象的位置和定向中的至少一个，(4)确定局域定位系统仪器相对于目标对象的初始位置，(5)将目标对象移至第一目标对象位置或定向，(6)相对于目标对象将摄像机定向至第一摄像机定向，(7)当目标对象处于第一目标对象位置并且摄像机处于第一摄像机定向时，捕捉目标对象表面上的区域的图像，(8)比较所捕捉的图像和相应参考图像，从而确定所捕捉的图像中是否存在差异，(9)当图像中存在差异时，确定差异在目标对象坐标系统中的坐标，以及(10)移动激光以指向差异处。
根据以下详细描述、附图和所附权利要求，公开的自动化检测系统和方法的其他方面将变得明显。
附图说明
图1是公开的检测系统的一个实施例的示意性透视图；
图2是公开的检测系统的另一个实施例的示意性透视图；
图3是公开的检测方法的一个实施例的流程图。
具体实施方式
参照图1，所公开的基于局域定位的自动化检测系统的一个实施例，一般指定为10，可包括处理器20、存储器54、跟踪单元37、可控运动致动器39、摄像机12和激光发射装置14。所公开的基于局域定位的自动化检测系统10还可包括用于支撑摄像机12的支撑体28，以及相对于目标对象18用于为摄像机12和激光发射装置14定向的定向机构16。
因此，摄像机12、激光发射装置14、定向机构16和支撑体28可包括所公开的基于局域定位的自动化检测系统10的局域定位系统仪器17。局域定位系统仪器17可具有坐标系统44。
激光发射装置14可以能够发射激光束，并充当激光测距仪，其用于确定局域定位系统仪器17与目标对象18之间的距离。可选地，单独的激光测距仪可被包括作为局域定位系统仪器17的部分。本领域技术人员将理解，使用能够确定局域定位系统仪器17与目标对象18之间的距离的激光测距仪将有助于下文所讨论的校准过程。
所公开的基于局域定位的自动化检测系统10可被用来(1)跟踪目标对象18的位置和/或定向，(2)检测目标对象18上的表面19上的差异26，(3)确定差异26相对于目标对象18的坐标系统46的位置，以及(4)提供目标对象18上的差异26的视觉指示(例如，激光点)。
如本文所用，“差异”指不是目标对象18的预期组分或特征的任何类型的不一致、差别或不规则。“差异”的例子包括，但不限于，异物碎片(例如，粉尘、碎屑)、受损区域(例如，瑕疵、凹痕)、错放或畸形组分(例如，错放层)、缺少组分(例如，缺少层)等。
因此，差异26可通过目标对象18上的一个或多个感兴趣点30来限定，并且可限定差异边界29。
处理器20可经配置以从摄像机12接收数据，并基于所接收的数据，定位目标对象18上的差异26。处理器20也可经配置以确定该差异26相对于目标对象18的坐标系统46的位置，其至少基于摄像机12相对于目标对象18的位置、目标对象18的位置/定向以及摄像机12的定向。处理器20可产生命令信号以控制激光发射装置14，使得激光发射装置14可提供目标对象18上差异26位置的视觉指示。
处理器20可通过处理器-激光通路38与激光发射装置14进行通信。处理器20和激光发射装置14之间的通信可以是单向通信(例如，从处理器20到激光发射装置14)或双向通信(例如，从处理器20到激光发射装置14以及从激光发射装置14到处理器20)。
处理器20可通过处理器-摄像机通路40与摄像机12进行通信。处理器20和摄像机12之间的通信可以是单向通信(例如，从摄像机12到处理器20)或双向通信(例如，从处理器20到摄像机12以及从摄像机12到处理器20)。
处理器20可通过处理器-机构通路42与定向机构16进行通信。处理器20和定向机构16之间的通信可以是单向通信(例如，从处理器20到定向机构16)或双向通信(例如，从处理器20到定向机构16以及从定向机构16到处理器20)。
处理器20可通过处理器-跟踪器通路36与跟踪单元37进行通信。处理器20和跟踪单元37之间的通信可以是单向通信(例如，从跟踪单元37到处理器20)。
处理器20可通过处理器-致动器通路43与可控运动致动器39进行通信，从而平移或旋转目标对象18。处理器20和运动致动器39之间的通信可以是单向通信(例如，从处理器20到运动致动器39)或双向通信(例如，从处理器20到运动致动器39以及从运动致动器39到处理器20)。
处理器-激光器通路38、处理器-摄像机通路40、处理器-机构通路42、处理器-跟踪器通路36和处理器-致动器通路43可包括传输数据的任何模式。作为一个例子，通路36、38、40、42、43可以是有线通路，如电缆、光缆等。作为另一个例子，该通路36、38、40、42、43可以是无线通路，如蓝牙、近场通信、红外通信等。
处理器20可以是任何类型的能够执行编程指令、代码、二进制编程等的计算或处理装置。处理器20还可是控制器、微处理器、微控制器或状态机，并且可以是或可包括信号处理器、数字处理器、嵌入式处理器、微处理器或任何变型，例如协处理器(例如，数学协处理器、图形处理单元(GPU)、通信协处理器)等，其可直接或间接地促进存储在其上的程序代码或程序指令的执行。处理器20还可包含多个处理内核，或是经配置以形成分布式处理系统的处理单元的集合。此外，处理器20可以能够执行多个程序、线程和代码。
处理器20还可被包含在包括，但不限于，个人计算机、平板计算机、智能电话等的电子装置内。处理器20可以可选地包含在本公开中所描述的其它组件之一内，包括摄像机12和激光发射装置14。
处理器20可包括图像处理功能。图像处理功能可以是图像处理软件或硬件，并且可经配置以从摄像机12接收图像(或一系列图像)，并分析该图像以检测和定位差异26。在图像处理期间，从摄像机12所接收的图像可与参考图像比较，该参考图像可以是单一图像、一系列图像或马赛克图像。比较过程可以使处理器20能够检测摄像机视野24内的目标对象18上的差异26。
参考图像可以是已被存储到存储器54的来自通常体现目标对象18的已知三维模型数据库的图像，可以是先前由摄像机12所获得的并存储在存储器54中的图像，或可以是已由其它装置获得并存储到存储器54的图像。
处理器20可包括用于存储如参考图像、坐标、方法、代码、指令和程序的数据的存储器54。处理器20可通过接口访问存储器54。存储器54可以是任何电子存储设备，包括，但不限于，CD-ROM、DVD、蓝光、存储器、硬盘、闪存驱动器、RAM、ROM、高速缓存以及它们的任意组合中的一个或多个。
跟踪单元37可以是能够感测或以其它方式监测目标对象18的位置和/或定向的任何装置或系统。例如，跟踪单元37可以是位置编码器，如旋转编码器，并且可跟踪目标对象18相对于支撑结构35的旋转位置/定向。由跟踪单元37所收集的数据可通过处理器-跟踪器通路36与处理器20通信。
例如，目标对象18可以不是固定的，而是可以附接到连接至支撑结构35的轴33，使得目标对象18绕轴线A旋转，如箭头22所示。跟踪单元37可跟踪目标对象18的旋转位置和/或定向，并可通过处理器-跟踪器通路36将位置/方位数据通信至处理器20。
在这点上，本领域技术人员将理解目标对象18可以在处理过程中增加，如当附加层(例如，层片)被施加到目标对象18上时。目标对象18的这种增加可减少目标对象18和局域定位系统仪器17之间的距离。然而，激光发射装置14的激光测距仪功能可检测该增加，并且可相应地重新校准系统。
可控运动致动器39可以是能够造成目标对象18的运动，如平移或旋转的任何装置或系统。合适的可控运动致动器39的例子包括，但不限于，马达(例如，电动机)、液压泵、空气缸、线性致动器等。
在一种结构中，可控运动致动器39可联接到轴33，从而绕轴线A选择性地旋转目标对象18。可控运动致动器39可通过例如带、滑轮或螺钉联接到轴33。在另一结构中，可控运动致动器39可直接连接到目标对象18，从而绕轴线A选择性地旋转目标对象18。
因此，当目标对象18形状已知时，例如当处理器20提供有目标对象18的三维模型时，可以确定局域定位系统仪器17的初始位置和定向。然后，在局域定位系统仪器17的初始位置和定向已知的情况下，从跟踪单元37所接收的位置/定向数据，以及从定位机构16所接收的位置/定向数据可使处理器20确定差异26相对于目标对象18的坐标系统46的位置。
基于从跟踪单元37所接收的位置/定向数据，处理器20可确定是否有必要重新定位目标对象18。如果重新定位是必要的，则处理器20可通过通路43将控制信号发送到可控运动致动器39。可控运动致动器39可接收来自处理器20的信号，并基于这些信号，可相对于支撑结构35重新定位(例如，旋转)目标对象18。
摄像机12可以是具有视野24(即，由摄像机12所接收的图像的可见水平和垂直范围)并且能够收集视野24中目标对象18的图像的任何设备。例如，摄像机12可以是数字单镜头反光式(SLR)摄像机、停止-运动摄像机、用于拍摄移动视频图像的视频摄像机、三维(3D)摄像机、数码摄像机、胶片摄像机、网络摄像机、立体摄像机等、或它们的任意组合。
摄像机12可包括透镜13，并通常可以是特别适合观看目标对象18表面19的系统的部分。摄像机12还可包含任何类型的记录机构，以及用于存储已捕捉的图像的存储介质诸如存储器等。摄像机12还可包含这样的装置，其用于控制视野24和范围，例如由变焦功能所控制的视野角。
任选地，可以在联接至处理器20的任何合适的观看设备21(例如，监视器、投影仪等)上观看摄像机12的视野24。
摄像机12可被支撑在支撑体28上。局域定位系统仪器17可距离目标对象18一定距离被定位，使得摄像机12可观看(或可经定向观看)目标对象18上的感兴趣区域。例如，局域定位系统仪器17可距离目标对象18约40英尺被定位。在这一点上，本领域技术人员将理解，可在校准过程中准确地确定局域定位系统仪器17距离目标对象18的实际距离。
定向机构16可调整摄像机12相对于目标对象18的定向，从而相对于目标对象18移动视野24。定向机构16可以是手动调整的或完全自动的(例如，通过若干伺服系统或其他类似装置驱动)。
在一个实施方式中，定向机构16可促进摄像机12沿一个轴线的运动。例如，定向机构16可以是单轨道(uni-track)系统、滑块视频系统或类似系统，并且可允许摄像机12沿与目标对象18的旋转轴线A平行(但隔开)的轴线往复移动。
在另一个实施方式中，定向机构16可以是云台机构。云台机构可以是能够围绕垂直、方位(平移)轴线50和水平、提升(倾斜)轴线52将摄像机12定位调整成所选定的角度。也考虑有利于沿其它轴线例如辊轴线运动的定向机构。
可根据方位角和仰角，以及十字标记(未示出)的中心确定方向向量，其中方向向量描述了摄像机12相对于与局域定位系统仪器17关联的坐标系统44的定向，十字标记的中心在摄像机瞄准感兴趣点30，如目标对象18表面19上的差异26的位置时，可存在于摄像机12的视野24内。十字标记的位置可以处于任何位置处，并且可以不一定是摄像机12视野24的中心。此方向向量可被认为是从摄像机12的透镜13延伸，并且在目标对象18表面19上的位置30处相交的线32。
通过定向机构16的摄像机12的操作和摄像机12的移动(例如，横穿目标对象18扫描视野24)可通过从处理器20所接收的一系列命令来控制。可选地，处理器20可通过手动控制输入装置23(如键盘、鼠标、操纵杆以及其他类似的外围设备、或者它们的任意组合)的方式来控制摄像机12或定向机构16。
因此，局域定位系统仪器17的定向机构16可由处理器20控制，从而将摄像机12的视野24定位在目标对象18上的不同位置。例如，如图1所示，定向机构16随着目标对象沿箭头22所示方向递增旋转可沿着目标对象18水平平移视野26。因此，摄像机12可拍摄目标对象18的整个表面19的图像。
存储器54可包含三维(3D)定位软件程序。3D定位软件可使用目标对象18表面19上的一定距离处的一个或多个校准点27，来确定局域定位系统仪器17相对于目标对象18的初始位置和定向。为了获得该最高的校准精度，校准点27可分布在目标对象18表面19上的范围内。可选地，校准点27可位于目标对象18之外的某处，例如支撑目标对象18的支撑结构35上。
3D定位软件可利用校准点27，并结合通过与定向机构16通信而获得的定向数据(例如，平移和倾斜数据)以及通过与激光发射装置14通信而获得的距离数据(例如，从局域定位系统仪器17到校准点27的距离)，以定义局域定位系统仪器17相对于目标对象18的相对位置和定向。校准点27可以是目标对象18的局域坐标系统46中的已知位置的可见特征，如通过3D CAD模型或其它测量技术所确定。校准点27可以与定向机构16的定向数据(例如，方位角和仰角)和激光发射装置14(激光测距仪)的距离数据协调用于解决相对于目标对象18的摄像机位置和定向。
一旦确定摄像机12相对于目标对象18的位置和定向，处理器20便可指导摄像机12开始收集目标对象18的图像。对于每个被捕捉的图像，摄像机12的定向(其可包括摄像机12沿方位轴线50和提升轴线52的角度)可被记录到存储器54中。通过使用来自定向机构16的方位角和仰角以及在校准过程中所确定的摄像机12的相对位置和定向，可以相对于目标对象18的坐标系统46确定每个图像的位置。
对于由摄像机12所捕捉的每个图像，处理器20可从存储器54中检索参考图像，并且可利用图像处理功能来比较参考图像和所捕捉的图像。如果处理器20确定所捕捉的图像和参考图像之间存在足够的差异，则处理器20可得出所捕捉的图像内存在差异26的结论。然后，处理器20可在存储器54中存储差异26相对于目标对象18的坐标系统46的位置。
在这一点上，本领域的技术人员将理解，相对于所捕捉的图像内的参考点(例如，中心点)，处理器20可确定由摄像机12所捕捉的每个图像的位置(相对于目标对象18的坐标系统46)。当在所捕捉的图像内发现差异26时，处理器20可通过确定相对于已知参考点位置的差异26位置，来确定差异26的位置(相对于目标对象18的坐标系统46)。
在整个目标对象18已成像并且所有差异均被检测之前，可重复以下过程：(1)跟踪目标对象的位置/定向，(2)收集目标对象18的图像，(3)分析所捕捉的图像以检测目标对象18上的差异26，和(4)确定该差异26相对于目标对象18的坐标系统46的位置。
激光发射装置14可被安装到摄像机12，使其指向与摄像机镜头13相同的方向，并具有类似于摄像机12的方向向量32的方向向量34。处理器20可通过测量摄像机12和激光发射装置14的相对位置计算出向量34，32的差异。
可选地，激光发射装置14可被安装到摄像机12，使其具有基本上等同于摄像机的方向向量32的方向向量34。在这种情况下，摄像机和激光发射装置14具有相同的光路并且无需计算向量32，34的差异。
当需要定位作为已知差异26存储在存储器54内的感兴趣点30时，处理器20可从存储器54中检索坐标。类似于上述用于相对于目标对象18定向摄像机12和定位感兴趣点30的过程，该处理器20可根据所存储的感兴趣点30(即，差异26)的位置指导定向机构16旋转或瞄准激光发射装置14。在该位置，激光发射装置14的定向(其可包括激光发光装置14沿方位轴线50和提升轴线52的角度)可经调整以移动到存储在存储器54中的坐标。通过使用来自定向机构16的方位角和仰角，以及在校准过程中所确定的激光发射装置14的相对位置和定向，可定位激光发射装置14，使其被直接瞄准在目标对象18表面19上的感兴趣点30处。
当目标对象18已经围绕轴线A旋转时，处理器20也可从跟踪单元37获得位置/定向数据，以进一步计算感兴趣点30的坐标。
一旦恰当地瞄准感兴趣点，激光发射装置14便可通过处理器20指导而发射激光束。激光束可以是任何类型的激光，其适于标记或以其他方式“指出”感兴趣点30，其方式为借助于或无需借助于光学装置对人眼可见。
在可选实施方式中，检测系统可整合至连接因特网的应用中，如能够连网(Web)的应用，其可以是有线的或无线的。在该类型的应用中，远程用户或其他自动化软件代理商可操作摄像机12、激光发射装置14或定向机构16，然后为系统视觉范围内的对象接收处理过的定位数据。随后，远程用户也可指导激光发射装置14以指示由摄像机12所发现的差异26。
参照图2，基于所公开的局域定位的自动化检测系统的第二实施例，一般指定为200，可包括第一局域定位系统仪器202、第二局域定位系统仪器204、处理器206、跟踪单元208以及可控运动致动器210。所以，在检测系统200中，第一局域定位系统仪器202可独立于第二局域定位系统仪器204操作，但是这两种仪器202，204均可被校准到相同目标对象242。
第一局域定位系统仪器202可具有坐标系统212，并且可包括摄像机和激光发射装置(统一示出为214)、定向机构216和支撑结构218。摄像机和激光发射装置214可通过通路220与处理器206通信，而定向机构216可通过通路222与处理器206通信。
第二局域定位系统仪器204可具有坐标系统224，并且可包括摄像机和激光发射装置(统一示出为226)、定向机构228和支撑结构230。摄像机和激光发射装置226可通过通路232与处理器206通信，而定向机构228可通过通路234与处理器206通信。
处理器206可另外通过通路236与跟踪单元208通信，而通过通路238与可控运动致动器210通信。处理器206还可访问存储器240。
因此，第一局域定位系统仪器202相对于目标对象242的位置和定向必须是已知的，并通过处理器206计算以及被存储在存储器240中，并且第二局域定位系统仪器204相对于目标对象242的位置和定向必须是已知的，并通过处理器206计算以及被存储在存储器240中。
当这两个局域定位系统仪器202，204均被校准到相同目标对象242时，由每个仪器202，204所指的位置均为相同点，并且激光束244，248相交于目标对象242的表面243上。除了这两个仪器202，204的不同位置外，可如上所述保持所有其它方面。
因此，这样的多系统配置可提供更大目标对象的附加覆盖(additional coverage)，并且还可用来提供在来自一种系统的光束被遮挡时的冗余(redundancy)。
参考图3，还公开了用于检测并指示目标对象上的差异的方法，一般被指定为100。方法100可采用局域定位系统仪器，其具有摄像机和激光发射装置，以及运动致动器、跟踪单元和图像处理功能，以检测目标对象上的差异。此外，该方法100可采用三维定位软件来确定所检测的差异相对于目标对象的坐标系统的位置。
方法100可开始于方框105处的执行校准过程的步骤。使用各种校准技术，如检测校准点，或使用激光来测量到目标对象上的已知位置的距离来确定局域定位系统仪器相对于目标对象的位置和定向。也考虑其它的校准技术。
在方框110处，可通过图像处理功能获得数据。数据可包括摄像机的扫描模式和目标对象的运动致动器数据。可定向摄像机，使得摄像机的视野在目标对象的一部分上，并且运动致动器可将目标对象移动到初始定向，如方框115所示。
在方框120中，可通过摄像机捕捉一部分目标对象的图像。在方框125处，可以确定所捕捉的图像是参考图像还是比较图像。如果图像是参考图像，那么，如方框160所示，图像可被存储到存储器中以供将来使用。
如果根据方框120的所捕获的图像是比较图像，则可从存储器中检索参考图像(方框130)，并且这两个图像可进行比较，以检测差异(方框135)。当检测到差异时，可做出关于比较图像中的差异的像素位置的确定，如方框140所示。
在方框145处，可相对于目标对象的坐标系统确定差异的位置。确定差异相对于目标对象的坐标系统的位置的步骤可采用三维定位软件，该软件可将像素值转换成三维坐标。
在方框150处，差异相对于目标对象的坐标系统的位置可被存储在存储器内。该差异的位置可在存储器中被存储为坐标数据。
因此，在需要时，可致动激光发射装置以将激光束指向差异处。基于存储在存储器中的坐标数据，激光发射装置可相对于目标对象定向，从而将激光束投射在差异处，如在方框155中那样。
如果需要进一步动作，如在方框165中那样，摄像机可指向目标对象上的另一位置，并且如果需要，则可指导运动致动器以将目标对象移动到新的位置，如在方框170中那样。然后，可通过获得新的图象重复该过程，如在方框120中那样。
因此，所公开的检测系统和方法提供了一种简便而又准确的方法来检测目标对象上的差异，然后，在需要的时候，指出差异，使得可采取措施来解决(例如，维修或移除)差异。
尽管已经示出和描述了所公开的基于局域定位的自动化检测系统的不同方面，但是本领域技术人员在阅读本说明书后可做出修改。本申请包括此类修改并且仅受到权利要求范围的限制。

Claims (15)

1.一种检测系统，其包括：
目标对象，其具有目标对象坐标系统；
跟踪单元，其经配置以监测所述目标对象的位置和定向中的至少一个，并产生指示所述目标对象的所述位置和所述定向中的所述至少一个的目标对象位置信号；
摄像机，其经定位以捕捉所述目标对象的图像；
定向机构，其被连接至所述摄像机以控制所述摄像机相对于所述目标对象的定向；以及
处理器，其经配置以分析所述图像，从而检测所述图像中的差异，并且当所述图像中存在所述差异时，至少基于所述目标对象位置信号和所述摄像机的所述定向，确定所述差异相对于所述目标对象坐标系统的位置。
2.根据权利要求1所述的检测系统，其中所述目标对象被安装在支撑结构上并相对于所述支撑结构围绕旋转轴线旋转。
3.根据权利要求1所述的检测系统，还包括存储器，其中所述处理器在所述存储器内将所述差异的位置存储为坐标数据。
4.根据权利要求6所述的检测系统，其中所述处理器分析所述图像，从而通过比较所述图像和参考图像，来检测所述图像中的所述差异，所述参考图像被存储在所述存储器内。
5.根据权利要求1所述的检测系统，还包括激光发射装置，其经定位以将激光束投射至所述目标对象上。
6.根据权利要求8所述的检测系统，其中所述激光发射装置被连接至所述定向机构，使得所述定向机构控制所述激光发射装置相对于所述目标对象的定向。
7.根据权利要求9所述的检测系统，其中通过所述处理器可控制所述激光发射装置的所述定向，从而将所述激光束投射至所述差异上。
8.根据权利要求8所述的检测系统，其中所述激光发射装置被配置成激光测距仪。
9.根据权利要求1所述的检测系统，还包括被联接至所述目标对象的运动致动器，所述运动致动器可由所述处理器控制，从而控制所述目标对象的所述位置和所述定向中的至少一个。
10.一种用于检测目标对象上的差异的方法，所述目标对象具有目标对象坐标系统，所述方法包括以下步骤：
提供局域定位系统仪器，其包括摄像机、激光发射装置以及定向机构，所述定向机构用于相对于所述目标对象为所述摄像机和所述激光发射装置定向；
提供运动致动器，其经配置以选择性地移动所述目标对象；
提供跟踪单元，其经配置以监测所述目标对象的位置和定向中的至少一个；
确定所述局域定位系统仪器相对于所述目标对象的初始位置和初始定向中的至少一个；
将所述目标对象移至第一目标对象位置或定向；
相对于所述目标对象将所述摄像机定向至第一摄像机定向；
当所述目标对象处于所述第一目标对象位置或定向，并且所述摄像机处于所述第一摄像机定向时，捕捉所述目标对象的图像；
比较所述捕捉的图像和参考图像，从而确定所述捕捉的图像中是否存在所述差异；以及
当所述捕捉的图像中存在所述差异时，确定所述差异在所述目标对象坐标系统中的坐标。
11.根据权利要求15所述的方法，还包括捕捉所述目标对象的下一张图像的步骤，其中在执行以下步骤中的至少一个后捕捉所述下一张图像：
将所述目标对象移动至下一目标对象位置或定向；以及
相对于所述目标对象将所述摄像机定向至下一个摄像机定向。
12.根据权利要求15所述的方法，其中确定所述坐标的所述步骤包括如下步骤：
确定所述差异的像素位置；以及
将所述像素位置转换成所述坐标。
13.根据权利要求15所述的方法，还包含将所述坐标存储在存储器内的步骤。
14.根据权利要求15所述的方法，还包含相对于所述目标对象定向所述激光发射装置，从而将激光束投射至所述差异上的步骤。
15.根据权利要求15所述的方法，还包含当所述图像中存在所述差异时当所述图像中存在所述差异时致动警报的步骤。
CN201280067976.XA 2012-01-25 2012-11-28 用于跟踪和监测目标对象上的差异的自动化系统和方法 Active CN104067111B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/357,768 2012-01-25
US13/357,768 US9310317B2 (en) 2012-01-25 2012-01-25 Automated system and method for tracking and detecting discrepancies on a target object
PCT/US2012/066747 WO2013112229A1 (en) 2012-01-25 2012-11-28 Automated system and method for tracking and detecting discrepancies on a target object

Publications (2)

Publication Number Publication Date
CN104067111A true CN104067111A (zh) 2014-09-24
CN104067111B CN104067111B (zh) 2017-03-01

Family

ID=47522894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067976.XA Active CN104067111B (zh) 2012-01-25 2012-11-28 用于跟踪和监测目标对象上的差异的自动化系统和方法

Country Status (6)

Country Link
US (1) US9310317B2 (zh)
EP (1) EP2807472B1 (zh)
JP (1) JP6144282B2 (zh)
KR (1) KR102000309B1 (zh)
CN (1) CN104067111B (zh)
WO (1) WO2013112229A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105293070A (zh) * 2015-12-04 2016-02-03 博格华纳汽车零部件（江苏）有限公司 涡轮部件焊缝检测设备及检测方法
CN106126933A (zh) * 2016-06-24 2016-11-16 清华大学 一种基于动态数据协调降低测量参数噪音的方法
CN107968677A (zh) * 2016-10-20 2018-04-27 株式会社理光 定向传播无线信号的中继装置、方法和系统
CN108474836A (zh) * 2016-01-14 2018-08-31 多耐科勒公司 用于确定运动物体的位置的方法和系统
CN108603743A (zh) * 2016-02-04 2018-09-28 富士胶片株式会社 信息处理装置、信息处理方法及程序
CN111929319A (zh) * 2020-10-14 2020-11-13 天津文洲机械有限公司 一种间接式高精度丝网破损视觉检测机
WO2022141231A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Systems and methods for determining the position of an object using an unmanned aerial vehicle

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011103003A1 (de) * 2011-05-24 2012-11-29 Lufthansa Technik Ag Verfahren und Vorrichtung zur Rissprüfung eines Flugzeug- oder Gasturbinen-Bauteils
US20140375770A1 (en) * 2012-08-31 2014-12-25 Systèmes Pavemetrics Inc. Method and apparatus for detection of foreign object debris
US9900585B2 (en) * 2013-09-18 2018-02-20 Matter and Form Inc. Device, system and method for three-dimensional modeling
US9488589B2 (en) * 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
US9575004B2 (en) * 2014-11-17 2017-02-21 The Boeing Company Automated low cost method for illuminating, evaluating, and qualifying surfaces and surface coatings
US10049493B1 (en) * 2015-10-22 2018-08-14 Hoyt Architecture Lab, Inc System and methods for providing interaction with elements in a virtual architectural visualization
US10435173B2 (en) * 2017-01-16 2019-10-08 The Boeing Company Remote optical control surface indication system
US10156439B2 (en) 2017-03-03 2018-12-18 The Boeing Company Inspection system for alignment in restricted volumes
US11238675B2 (en) * 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
JP2019211998A (ja) * 2018-06-04 2019-12-12 富士通株式会社 点検支援プログラム、点検支援方法および点検支援装置
US11070708B2 (en) * 2018-09-28 2021-07-20 Brainbaby, Inc. Self-contained low profile cross shooting video apparatus
DE102019201164A1 (de) * 2019-01-30 2020-07-30 Siemens Aktiengesellschaft Verfahren zum Erfassen einer aus einem ersten Werkstoff gebildeten Beschichtung eines Bauteils, insbesondere einer Maschine
US10488185B1 (en) * 2019-03-14 2019-11-26 The Boeing Company Methods and systems for characterizing a surface of a structural component

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809728B2 (en) * 2001-08-24 2004-10-26 Sanyo Electric Co., Ltd. Three dimensional modeling apparatus
CN1822314A (zh) * 2005-01-05 2006-08-23 台湾积体电路制造股份有限公司 使用直接写入方式的晶圆修复方法及系统
US20090086014A1 (en) * 2007-09-28 2009-04-02 The Boeing Company Local positioning system and method
CN101614677A (zh) * 2008-06-25 2009-12-30 沈阳利泰自控技术有限责任公司 机翼夹板蜂窝结构的高精度激光全息自动检测系统
US20100085437A1 (en) * 2008-10-07 2010-04-08 The Boeing Company Method and system involving controlling a video camera to track a movable target object
CN101784804A (zh) * 2007-07-31 2010-07-21 堡盟霍普纳有限公司 监控轴承磨损的自动同步发送机以及监控轴承磨损的方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4895448A (en) 1988-01-13 1990-01-23 Laird Richard P Method and apparatus for determining the surface quality of an object
JPH02311961A (ja) * 1989-05-29 1990-12-27 Mitsubishi Heavy Ind Ltd 画像処理技術を利用した検査方法
KR100193494B1 (ko) * 1993-07-23 1999-06-15 신형인 Ccd카메라와 레이저 거리계를 이용한 타이어 형상 변화 측정 방법
US6064429A (en) 1997-08-18 2000-05-16 Mcdonnell Douglas Corporation Foreign object video detection and alert system and method
US7372558B2 (en) 2001-10-11 2008-05-13 Laser Projection Technologies, Inc. Method and system for visualizing surface errors
US7220978B2 (en) * 2003-04-15 2007-05-22 The University Of South Carolina System and method for detecting defects in semiconductor wafers
US7236625B2 (en) 2003-07-28 2007-06-26 The Boeing Company Systems and method for identifying foreign objects and debris (FOD) and defects during fabrication of a composite structure
US20050205781A1 (en) * 2004-01-08 2005-09-22 Toshifumi Kimba Defect inspection apparatus
US7424902B2 (en) 2004-11-24 2008-09-16 The Boeing Company In-process vision detection of flaw and FOD characteristics
US20060108048A1 (en) 2004-11-24 2006-05-25 The Boeing Company In-process vision detection of flaws and fod by back field illumination
US7480037B2 (en) * 2005-12-02 2009-01-20 The Boeing Company System for projecting flaws and inspection locations and associated method
US7835567B2 (en) 2006-01-24 2010-11-16 Ingersoll Machine Tools, Inc. Visual fiber placement inspection
US7454265B2 (en) 2006-05-10 2008-11-18 The Boeing Company Laser and Photogrammetry merged process
US8050486B2 (en) 2006-05-16 2011-11-01 The Boeing Company System and method for identifying a feature of a workpiece
US9052294B2 (en) 2006-05-31 2015-06-09 The Boeing Company Method and system for two-dimensional and three-dimensional inspection of a workpiece
US7495758B2 (en) 2006-09-06 2009-02-24 Theo Boeing Company Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
KR100846633B1 (ko) * 2006-11-09 2008-07-16 삼성전자주식회사 패턴 결함 검출 방법 및 장치
US7904845B2 (en) * 2006-12-06 2011-03-08 Kla-Tencor Corp. Determining locations on a wafer to be reviewed during defect review
US7859655B2 (en) 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US8198617B2 (en) 2008-12-15 2012-06-12 The Boeing Company Locating a component underneath a surface of a target object and locating an access panel for accessing the component
FR2945630B1 (fr) * 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
US8493444B2 (en) * 2009-09-29 2013-07-23 United States Postal Service System and method of detecting a blocked aperture in letter or flat mail image sensor
US8249832B2 (en) 2009-12-05 2012-08-21 The Boeing Company Correlation of inspection information and computer-aided design data for structural assessment
US8279412B2 (en) 2009-12-17 2012-10-02 The Boeing Company Position and orientation determination using movement data
JP2013528795A (ja) 2010-05-04 2013-07-11 クリアフォーム インコーポレイティッド 参照容量分析センサを用いた対象検査
US9149929B2 (en) 2010-05-26 2015-10-06 The Boeing Company Methods and systems for inspection sensor placement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809728B2 (en) * 2001-08-24 2004-10-26 Sanyo Electric Co., Ltd. Three dimensional modeling apparatus
CN1822314A (zh) * 2005-01-05 2006-08-23 台湾积体电路制造股份有限公司 使用直接写入方式的晶圆修复方法及系统
CN101784804A (zh) * 2007-07-31 2010-07-21 堡盟霍普纳有限公司 监控轴承磨损的自动同步发送机以及监控轴承磨损的方法
US20090086014A1 (en) * 2007-09-28 2009-04-02 The Boeing Company Local positioning system and method
CN101614677A (zh) * 2008-06-25 2009-12-30 沈阳利泰自控技术有限责任公司 机翼夹板蜂窝结构的高精度激光全息自动检测系统
US20100085437A1 (en) * 2008-10-07 2010-04-08 The Boeing Company Method and system involving controlling a video camera to track a movable target object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴兴江: "基于激光的便携式飞机装配接缝质量检测仪及应用", 《计测技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105293070B (zh) * 2015-12-04 2017-06-16 博格华纳汽车零部件（江苏）有限公司 涡轮部件焊缝检测设备及检测方法
CN105293070A (zh) * 2015-12-04 2016-02-03 博格华纳汽车零部件（江苏）有限公司 涡轮部件焊缝检测设备及检测方法
CN108474836A (zh) * 2016-01-14 2018-08-31 多耐科勒公司 用于确定运动物体的位置的方法和系统
US11181359B2 (en) 2016-02-04 2021-11-23 Fujifilm Corporation Information processing device, information processing method, and program
CN108603743A (zh) * 2016-02-04 2018-09-28 富士胶片株式会社 信息处理装置、信息处理方法及程序
CN108603743B (zh) * 2016-02-04 2020-03-27 富士胶片株式会社 信息处理装置、信息处理方法及程序
CN106126933A (zh) * 2016-06-24 2016-11-16 清华大学 一种基于动态数据协调降低测量参数噪音的方法
CN106126933B (zh) * 2016-06-24 2018-11-30 清华大学 一种基于动态数据协调降低测量参数噪音的方法
CN107968677A (zh) * 2016-10-20 2018-04-27 株式会社理光 定向传播无线信号的中继装置、方法和系统
CN107968677B (zh) * 2016-10-20 2021-03-19 株式会社理光 定向传播无线信号的中继装置、方法和系统
CN111929319B (zh) * 2020-10-14 2021-04-09 天津文洲机械有限公司 一种间接式高精度丝网破损视觉检测机
CN111929319A (zh) * 2020-10-14 2020-11-13 天津文洲机械有限公司 一种间接式高精度丝网破损视觉检测机
WO2022141231A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Systems and methods for determining the position of an object using an unmanned aerial vehicle

Also Published As

Publication number Publication date
WO2013112229A1 (en) 2013-08-01
US9310317B2 (en) 2016-04-12
KR20140109858A (ko) 2014-09-16
EP2807472B1 (en) 2020-05-06
EP2807472A1 (en) 2014-12-03
JP6144282B2 (ja) 2017-06-07
KR102000309B1 (ko) 2019-07-15
US20130188059A1 (en) 2013-07-25
CN104067111B (zh) 2017-03-01
JP2015506480A (ja) 2015-03-02

Similar Documents

Publication Publication Date Title
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化系统和方法
CN109552665B (zh) 用于使用悬索平台测量和检查结构的方法
US11054258B2 (en) Surveying system
EP2962284B1 (en) Optical navigation & positioning system
US8699005B2 (en) Indoor surveying apparatus
JP2609518B2 (ja) 移動機械上に配置されたレンズのフィールド上の位置判断装置
US10191561B2 (en) Tracking controllers of a virtual reality system
KR20170069171A (ko) 고속 비디오 진동 분석을 위한 모듈식 장치
US10976158B2 (en) Device and method to locate a measurement point with an image capture device
CN111953892B (zh) 无人飞行器、检查方法
US20190037133A1 (en) Tracking image collection for digital capture of environments, and associated systems and methods
JP2018527575A5 (zh)
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
US20210055420A1 (en) Base for spherical laser scanner and method for three-dimensional measurement of an area
JP4892982B2 (ja) 磁気マッピング装置
CN110044334B (zh) 基于维诺图的室内空间定位
JP2022021009A (ja) 現場映像管理システムおよび現場映像管理方法
CN110480180A (zh) 基于反射型激光清除异物装置的目标识别定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant