CN112630304A - 用于跟踪扫描仪的位置的方法以及系统 - Google Patents

用于跟踪扫描仪的位置的方法以及系统 Download PDF

Info

Publication number
CN112630304A
CN112630304A CN202010724762.1A CN202010724762A CN112630304A CN 112630304 A CN112630304 A CN 112630304A CN 202010724762 A CN202010724762 A CN 202010724762A CN 112630304 A CN112630304 A CN 112630304A
Authority
CN
China
Prior art keywords
target object
sensor array
pixel
scanner
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010724762.1A
Other languages
English (en)
Inventor
约瑟夫·L·哈芬西特尔
詹姆斯·J·特洛伊
加里·E·乔治森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN112630304A publication Critical patent/CN112630304A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0609—Display arrangements, e.g. colour displays
    • G01N29/0645—Display representation or displayed parameters, e.g. A-, B- or C-Scan
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
    • G01N22/02—Investigating the presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/043—Analysing solids in the interior, e.g. by shear waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/225—Supports, positioning or alignment in moving situation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/26—Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265—Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/28—Details, e.g. general constructional or apparatus details providing acoustic coupling, e.g. water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0231—Composite or layered materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/263—Surfaces
    • G01N2291/2638—Complex surfaces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了用于跟踪扫描仪的位置的方法以及系统。具体地，用于使用由无损检查NDI扫描仪获取的目标物体的图像来跟踪NDI扫描仪的位置的系统和方法。该系统包括框架、由该框架支撑的NDI扫描仪、被配置为能够使框架机动化运动的系统、以及计算机系统，该计算机系统通信耦接以接收来自NDI扫描仪的传感器数据并跟踪该NDI扫描仪的位置。该NDI扫描仪包括二维传感器阵列。当处于目标物体的表面上的不同位置时，由二维传感器阵列重复地获取表面下的深度传感器数据并从二维传感器阵列输出。将所得到的二维扫描图像序列馈送到图像处理和特征点比较模块，该图像处理和特征点比较模块被配置为使用在所获取的扫描图像中可见的虚拟特征来跟踪扫描仪相对于目标物体的位置。

Description

用于跟踪扫描仪的位置的方法以及系统
技术领域
本公开总体上涉及用于在扫描仪在目标区域(例如，目标物体的表面)上移动时跟踪扫描仪的位置的系统和方法。具体地，本公开涉及用于跟踪无损检查扫描仪(以下称为“NDI扫描仪”)的位置的系统和方法。如本文所使用的，术语“位置”包括坐标系中的位置和相对于该坐标系的定向。
背景技术
可以使用各种类型的成像仪来对目标物体执行无损检查(NDI)。一个或多个成像仪可以在结构的待检查的部分上移动，并且获取表示结构的特性或特征(例如，物体或表面的边界)的扫描图像数据。例如，可以利用脉冲回波、穿透传输或剪切波传感器来获得超声数据，诸如厚度测量、检测结构中的层状缺陷和孔隙度和/或裂纹检测。谐振、一发/一收(pitch/catch，透射)或机械阻抗传感器可用于提供诸如结构的粘合胶层中的空隙或孔隙的指示。此外，单涡流传感器和双涡流传感器赋予并检测结构内的涡流，以提供用于检测特别是金属和其它导电结构中的裂纹和/或腐蚀的数据。
如在本文所使用的，术语“传感器数据”意指由二维(2-D)传感器阵列采集的模拟数据，二维(2-D)传感器阵列可以是另外包括数字信号处理器的NDI扫描仪(在本文也称为“2-D NDI扫描仪”)的一部分。如在本文所使用的，术语“扫描图像数据”意指从传感器数据得出的像素值(下文中称为“像素”)的2-D矩阵形式的数字数据。例如，2-D传感器阵列可以获取相应的模拟传感器数据，该模拟传感器数据被转换为对应的2-D像素矩阵，该像素矩阵表示面对2-D传感器阵列的目标物体的一部分的表面下结构的图像。
用于检查结构的一些现有解决方案包括具有支撑NDI扫描仪的框架的运动平台(例如，机器人履带车辆或安装到机器人的操纵臂的末端执行器)。该框架可以在结构的外模线上方移动。在替代实施例中，该运动平台可以被设计成手动移动。
这种运动平台的有效使用通常取决于它们在运动环境中的精确定位。已经开发了可用于此目的的许多定位解决方案。一些现有的定位系统需要单独的位置测量部件，诸如旋转增量编码器。可能期望提供避免使用专用于位置跟踪功能的旋转增量编码器的NDI的系统和方法。
发明内容
本文所公开的主题致力于用于使用由无损检查(NDI)扫描仪获取的目标物体的图像来跟踪NDI扫描仪的位置(以下称为“定位”)的系统和方法。目标物体具有表示几何元素的特征，诸如物体边界、深度和/或材料类型的不连续性以及表面边界(以下称为“结构特征”)。根据一些实施例，该系统包括框架、由框架支撑的NDI扫描仪、被配置为使得框架能够机动化移动的机器人系统，以及被通信耦接以从NDI扫描仪接收传感器数据并跟踪NDI扫描仪的位置的计算机系统。NDI扫描仪包括二维传感器阵列(以下称为“2-D传感器阵列”)。
根据一些实施例，当处于目标物体的表面上的不同位置时，2-D传感器阵列重复地(递归地、连续地)采集并输出表面下的深度传感器数据。将所得到的2-D扫描图像序列馈送到图像处理和特征点比较模块，该图像处理和特征点比较模块被配置为使用在所获取的扫描图像中可见的虚拟特征(下文中称为“特征”)来跟踪扫描仪相对于目标物体的位置。可选地，合成扫描图像构造模块被配置为通过将顺序扫描图像拼接在一起来构造包括与目标物体中的结构特征相对应的(虚拟)特征的合成扫描图像。
该图像处理和特征点比较模块被配置为使用从传感器数据得到的扫描图像数据来跟踪NDI扫描仪相对于目标物体的位置。图像处理与特征点比较模块接收连续的部分重叠的扫描图像，然后对部分重叠的扫描图像进行比较，找到共同的特征。该图像处理和特征点比较模块被进一步配置为基于先前位置以及相对于该先前位置的位置变化来计算扫描仪在目标物体的表面上的当前位置，该位置变化是基于相应的部分重叠的扫描图像中的一个或多个共同特征点的位置变化来确定的。
如在本文所使用的，术语“特征点”意指出现在扫描图像中的特征点。例如，特征点可以是特征的质心。如在本文所使用的，术语“共同特征”意指出现在两个连续扫描图像中的特征。如在本文所使用的，术语“共同特征点”意指共同特征的点。例如，共同特征点可以包括第一扫描图像中的共同特征的点和第二扫描图像中的相同共同特征的相同点。如果连续扫描图像包括至少两个共同特征点，则本文所公开的方法可以用于确定连续扫描图像之间的偏移(包括位置和定向)。在NDI扫描仪平移但不旋转的情况下，可以使用一个共同特征点来确定连续扫描图像之间的位置偏移。
根据一些实施例，合成扫描图像构造模块以初始图像开始，然后通过连续地将新图像数据拼接到当前合成图像而省略冗余信息，来连续地构造和更新合成图像。重复该过程直到结构的整个表面被扫描。该合成扫描图像可以由数十个或甚至数百个扫描图像组成，每个扫描图像与紧挨的前一个和后一个(在时间上)扫描图像部分重叠。
在本文所公开的方法能够用于手动和自动NDI应用的定位而不需要旋转增量编码器。可选地，定位过程可以包括重新定向传感器阵列的校正步骤，诸如偶尔的手动检查和手动校正位置和定向。系统校正值的映射也可用于说明制造中的错误，如下部结构(例如，表面下特征)的错误定位或遗漏。
虽然本文稍后将详细描述使用从目标物体获取的扫描图像来跟踪NDI扫描仪的位置的系统和方法的各种实施例，但是可以由以下方面中的一个或多个来表征这些实施例中的一个或多个。
以下详细公开的主题的一个方面是一种用于跟踪扫描仪的位置的方法，该方法包括：(a)将扫描仪的传感器阵列邻近目标物体的表面放置，使得传感器阵列在传感器阵列上的参考点在目标物体的表面上处于第一位置时覆盖目标物体的第一结构特征，第一位置在目标物体的表面上具有已知的第一X位置坐标和第一Y位置坐标；(b)当传感器阵列上的参考点处于第一位置时，从目标物体的面对传感器阵列的第一部分获取第一组传感器数据；(c)将第一组传感器数据转换为第一扫描图像的第一扫描图像数据；(d)在目标物体的表面上平移扫描仪，直到参考点处于与第一位置相距一定距离的第二位置处，同时该传感器阵列再次覆盖第一结构特征；(e)当参考点处于第二位置时，从目标物体的面对该传感器阵列的第二部分获取第二组传感器数据；(f)将第二组传感器数据转换为第二扫描图像的第二扫描图像数据；(g)在第一扫描图像和第二扫描图像中找到特征点；(h)确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点；(i)计算该共同特征点之间的像素位置差；以及(j)至少部分地基于第一Y位置坐标和在步骤(i)中计算的像素位置差，计算在目标物体的表面上的第二位置处的参考点的第二Y位置坐标。步骤(h)和(i)可以单独或同时进行。如本文所使用的，短语“找到特征点”意指在扫描图像中搜索满足特征选择标准的像素或像素组。
根据前一段落中描述的方法的一些实施例，步骤(j)包括：计算第一像素偏移，所述第一像素偏移等于共同特征点在所述第二扫描图像中的位置相对于所述共同特征点在所述第一扫描图像中的位置偏离的所述传感器阵列的像素行的数量；将第一像素偏移乘以相邻传感器行之间的距离以形成乘积，该乘积等于在步骤(d)中所述扫描仪在垂直于所述传感器行的方向上平移的第一距离；以及将第一距离与第一Y位置坐标相加，以得到参考点的第二Y位置坐标。
对于传感器平移不平行于Y轴的情况，根据所提出的一种实施方式的方法进一步包括：(k)至少部分地基于第一X位置坐标和共同特征点在第一扫描图像和第二扫描图像中的相应位置之间的第二差值，计算目标物体的表面上的传感器阵列上的参考点的第二X位置坐标；以及计算具有第一X位置坐标和第一Y位置坐标的第一点与具有第二X位置坐标和第二Y位置坐标的第二点之间的距离。在这种情况下，步骤(j)包括：计算第一像素偏移，第一像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素行的数量；将第一像素偏移乘以相邻传感器行之间的距离以形成乘积，该乘积等于在步骤(d)期间扫描仪在垂直于传感器行的方向上平移的第一距离；将第一距离与第一Y位置坐标相加得到第二Y位置坐标，步骤(k)包括：计算第二像素偏移，该第二像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素列的数量；将第二像素偏移乘以相邻传感器列之间的距离以形成乘积，该乘积等于在步骤(k)期间扫描仪在平行于传感器行的方向上平移的第二距离；将第二距离与第一X位置坐标相加而得到第二X位置坐标。
根据一些实施例，该方法进一步包括：通过使用第一扫描图像和第二扫描图像中的共同特征点将第二扫描图像中的第二扫描图像数据与第一扫描图像中的第一扫描图像数据对准来处理第一扫描图像和第二扫描图像，以形成合成扫描图像；在合成扫描图像中找到与目标物体中的第二结构特征相关联的特征点；至少部分地基于参考点的第一Y位置坐标来计算特征点的第三Y位置坐标；以及至少部分地基于参考点的第一X位置坐标来计算特征点的第三X位置坐标。
以下详细公开的主题的另一方面是一种用于跟踪扫描仪的位置的方法，该方法包括：(a)将扫描仪的传感器阵列邻近目标物体的表面放置，使得传感器阵列覆盖目标物体的第一结构特征和第二结构特征并且以已知的第一定向角定向；(b)当传感器阵列以第一定向角定向时，从目标物体的面对传感器阵列的第一部分获取第一组传感器数据；(c)将第一组传感器数据转换为第一扫描图像的第一扫描图像数据；(d)定向扫描仪，使得传感器阵列具有不同于第一定向角的第二定向角，并且再次覆盖第一结构特征和第二结构特征；(e)当传感器阵列以第二定向角定向时，从目标物体的面对传感器阵列的第二部分获取第二组传感器数据；(f)将第二组传感器数据转换为第二扫描图像的第二扫描图像数据；(g)在第一扫描图像和第二扫描图像中找到特征点；(h)确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点；(i)计算第一共同特征点和第二共同特征点之间的像素位置差值；以及(j)至少部分地基于第一定向角和连接第一共同特征点和第二共同特征点在第一扫描图像中的相应位置的第一线的第一角度与连接第一共同特征点和第二共同特征点在第二扫描图像中的相应位置的第二线的第二角度之间的差值，计算第二定向角。
根据前一段落中描述的方法的一些实施例，步骤(i)包括：计算第一像素偏移，该第一像素偏移等于第二共同特征点在第一扫描图像中的位置相对于第一共同特征点在第一扫描图像中的位置偏移的像素行的数量；计算第二像素偏移，该第二像素偏移等于第二共同特征点在第一扫描图像中的位置相对于第一共同特征点在第一扫描图像中的位置偏移的像素列的数量；计算第三像素偏移，该第三像素偏移等于第二共同特征点在第二扫描图像中的位置相对于第一共同特征点在第二扫描图像中的位置偏移的像素行的数量；以及计算第四像素偏移，该第四像素偏移等于第二共同特征点在第二扫描图像中的位置相对于第一共同特征点在第二扫描图像中的位置偏移的像素列的数量扫描图像，其中第一角度的正切等于第一像素偏移与第二像素偏移的比率，并且第二角度的正切等于第三像素偏移与第四像素偏移的比率。
以下详细公开的主题的另一个方面是一种系统，该系统包括框架、由该框架支撑的扫描仪、被配置为启用该框架的机动化移动的机器人系统，以及通信地耦接以从这些传感器接收传感器数据并且向该机器人系统发送控制信号以用于控制框架的机动化移动的计算机系统，其中扫描仪包括传感器阵列，并且计算机系统被配置为执行包括以下的操作：(a)在传感器阵列以传感器阵列上的参考点在目标物体的表面上的第一位置覆盖目标物体的第一结构特征时，激活传感器，第一位置在目标物体的表面上具有已知的第一X位置坐标和第一Y位置坐标；(b)当参考点处于第一位置时，接收从目标物体的面对传感器阵列的第一部分获取的第一组传感器数据；(c)将第一组传感器数据转换为第一扫描图像的第一扫描图像数据；(d)在传感器阵列在参考点位于与第一位置相距一定距离的第二位置处覆盖目标物体的第一结构特征时，激活传感器；(e)当参考点处于第二位置时，接收从目标物体的面对传感器阵列的第二部分获取的第二组传感器数据；(f)将第二组传感器数据转换为第二扫描图像的第二扫描图像数据；(g)在第一扫描图像和第二扫描图像中找到特征点；(h)确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点；(i)计算第一扫描图像和第二扫描图像中的共同特征点之间的像素位置差值；以及(j)至少部分地基于第一Y位置坐标和在步骤(i)中计算的像素位置差值，计算在目标物体的表面上的第二位置处的参考点的第二Y位置坐标。
下面公开了使用从目标物体获得的扫描图像来跟踪NDI扫描仪的位置的系统和方法的其它方面。
附图说明
在前面部分中讨论的特征、功能和优点可以在各种实施例中独立地实现，或者可以在其他实施例中组合。为了说明上述和其他方面，下面将参考附图描述各种实施例。在本节中简要描述的图都不是按比例绘制的。
图1是说明根据一个实施例的用于跟踪包括二维传感器阵列的NDI扫描仪的位置的系统的一些部件的框图。
图2A是表示具有表面下特征的目标物体的全扫描区域的图示。
图2B是表示由NDI扫描仪从图2A所示的全扫描区域的各个部分重叠部分捕获的顺序扫描图像的图示。
图2C是表示包括表示在图2A所示的部分重叠区域中获得的共同特征的像素的顺序扫描图像的图示。
图3是说明根据一个实施例的使用由包括二维传感器阵列的NDI扫描仪获取的图像跟踪运动平台的方法的步骤的流程图。
图4是示出使用具有以行和列布置的传感器的二维传感器阵列在各个垂直对准位置(无旋转)处连续采集的各个扫描图像中的共同特征的位置的图示。
图5A至图5J是表示根据所提出的一种实施方式在扫描加筋机身部分的区域期间在各个位置的二维阵列传感器的各个三维视图的图示。
图6A到图6J是表示分别对应于图5A到图5J中所描述的扫描位置的合成扫描图像的构造中的阶段的图示。
图7A至图7J是表示加筋机身部分的区域的相应二维CAD模型图像的图示，该加筋机身部分具有在分别对应于图5A至图5J中所示的扫描位置的位置处叠加的相应矩形。
图8A至图8D是表示用于扫描示例性目标物体的表面区域的各个路径的图示。
图9是示出使用具有以行和列布置的传感器的二维传感器阵列在各个不同定向位置处连续采集的各个扫描图像中的两个共同特征的位置的图示。
图10是说明根据另一实施例的用于跟踪和导航配备有包括二维传感器阵列的NDI扫描仪的自动运动平台的系统的一些部件的图示。
图11是说明用于使用图10中部分描绘的类型的自动运动平台来构建合成扫描图像的方法的步骤的流程图，该自动运动平台包括二维传感器阵列和计算机系统，该计算机系统被配置为在扫描期间基于由传感器阵列获取的非视觉(例如，NDI)数据来跟踪自动运动平台的位置。
图12是说明根据一个实施例的使用可移动的二维传感器阵列采集目标物体的合成扫描图像的方法的步骤的流程图。
图13是表示根据一个实施例的完整运动装置的一些部件的顶部平面图的图示。该装置可连接到NDI扫描仪(未示出)。
图14A和图14B分别是表示手持扫描装置的顶视平面图和正视图的图示，该手持扫描装置包括连接到图13中图示类型的完整运动装置的NDI扫描仪。
图15是说明系统的一些部件的框图，该系统包括安装到机器人履带车辆的2-D传感器阵列和配置为基于由2-D传感器阵列获取的图像来控制2-D传感器阵列的扫描位置的计算机系统。
下面将参考附图，其中不同附图中的相似元件具有相同的附图标记。
具体实施方式
为了说明的目的，现在将详细描述使用从目标物体获得的扫描图像来跟踪NDI扫描仪的位置的系统和方法。然而，在本说明书中并没有描述实际实施方式的所有特征。本领域的技术人员将理解，在任何这样的实施例的开发中，必须做出许多实施方式特定的决定以实现开发者的特定目标，诸如符合系统相关和商业相关的约束，这将在不同的实施方式有所变化。此外，应当理解，这样的开发工作可能是复杂且耗时的，但是对于得益于本公开的本领域普通技术人员而言仍然是常规任务。
根据一些实施例，该系统包括图像处理和特征点比较模块，该图像处理和特征点比较模块被配置为使用从传感器数据得到的扫描图像数据来跟踪扫描仪相对于目标物体的位置。图像处理与特征点比较模块接收并处理连续的部分重叠的扫描图像，然后对部分重叠的扫描图像进行比较，以找到共同的特征点。该图像处理和特征点比较模块被进一步配置为基于先前位置和相对于该先前位置的位置变化来计算该扫描仪在目标物体的表面上的当前位置(位置和定向)。该位置变化基于表示在相应的部分重叠的扫描图像中的共同特征点的像素的位置变化来确定的。
仅为了说明目的而通过非限制性示例给出，目标物体可以是飞机零件，诸如飞机机身的桶形部分。然而，应当理解，下文中参照机身部分描述的系统和方法也可应用于作为某种其它类型的交通工具或结构的一部分的其它类型的工件。
此外，可根据特定应用的需要由任何材料制成工件。应当理解，用于工件的材料类型可以部分地确定使用哪种类型的无损检查技术来检查工件。通过非限制性实例给出，工件可由复合材料制成，诸如由纤维增强塑料或金属(诸如铝或钛)制成的复合层压件。应当理解，并不意欲以任何方式限制制造待检查工件的材料。
根据被检查的材料的类型，可以使用多种类型NDI传感器中的任何一种。本文提出的方法可以应用于任何2-D NDI成像仪，包括其中传感器(诸如超声换能器或涡流线圈)的2-D阵列与被检查表面接触的成像仪。在替代实施例中，红外热成像闪光系统、太赫兹相机、微波成像仪或激光多普勒振动测量系统可以产生以X-Y格式数字化/像素化的非接触2-D图像，并且可以重叠、对准并用于跟踪目的。
在检查机身部分的特定应用的上下文中，扫描系统可以包括用于从机身部分外部的有利点扫描机身部分的蒙皮的装置。在下面公开的实施例中，扫描装置是2-D传感器阵列形式的NDI扫描仪，其从机身部分的面对部分收集传感器数据。在提出的一种实施方式中，NDI扫描仪以蛇形图案扫描机身部分的外型(mold)线。例如，NDI扫描仪平行于X轴垂直向上移动。
如在本文所使用的，术语“X轴”和“Y轴”是指在目标物体的表面上的原点处以直角相交并且随着这些轴远离该原点延伸而跟随该表面的轮廓的相应轴。在表面是平面(平坦)的情况下，X轴和Y轴是笔直的、共面的并且相互垂直。在该表面在Y方向上是弯曲的并且在X方向上是笔直的情况下，Y轴线是与表面局部相切的。在表面在X和Y两个方向上弯曲的情况下，X和Y轴都与表面局部相切。在每种情况下，表面上的点的Y位置坐标沿着Y轴测量并且等于距原点的第一距离，而表面上的点的X位置坐标沿着X轴测量并且等于距原点的第二距离。一方面，如果轴线是笔直的，则位置坐标等于该点距离原点的距离；另一方面，如果轴线是弧形的(因为目标物体的表面是弯曲的，则位置坐标等于离原点的弧长(而不是弦长)。
图1是说明根据一个实施例的用于跟踪包括二维传感器阵列的2-D NDI扫描仪14的位置的系统10的一些部件的框图。在该实施例中，2-D NDI扫描仪14安装在运动平台12(例如，机器人履带车辆)上。运动平台12可以是由人类操作者手动移动的类型或者是为了自动移动而机动化的类型。在扫描操作期间，由于运动平台12的连续运动，2-D NDI扫描仪14被放置在目标物体的表面上的连续位置处。在每个扫描位置处，2-D NDI扫描仪14被激活以从目标物体表面的相应面对部分采集传感器数据。
根据一些实施例，2-D NDI扫描仪14是刚性的，因此传感器阵列将不会直接顺从目标物体的表面，但是在大多数情况下，2-D NDI扫描仪14将安装在双轴万向节中，这将允许传感器阵列大致与表面对准。(这是合理的折衷，因为传感器阵列与表面的曲率相比通常较小。)此外，如果传感器是超声换能器，则可以在传感器阵列和表面之间使用声耦合剂(例如，水或某种类型的凝胶状物质或干的声耦合剂弹性体材料)。声耦合剂的存在提供了补偿轻微曲率失配的一些能力。
在图1中部分地描绘的系统10还包括(经由电缆或无线)通信地耦接到2-D NDI扫描仪14的NDI传感器数据处理器20。NDI传感器数据处理器20被配置为将2-D NDI扫描仪14输出的传感器数据转换为2-D扫描图像数据22。另外，系统10包括通信地耦接以从NDI传感器数据处理器20接收2-D扫描图像数据22的图像处理和特征点比较模块24。图像处理和特征点比较模块24可以是被配置(例如，经编程)为使用2-D扫描图像数据22跟踪2-D NDI扫描仪14相对于目标物体表面的位置(在本文也称为“定位”)的处理器或计算机。定位算法包括基于从一个捕获的NDI扫描图像到下一个捕获的NDI扫描图像的一系列(following)扫描特征的相对运动更新处理，以便确定2-D传感器阵列的运动。
NDI传感器数据处理器20不计算位置数据。NDI传感器数据处理器20处理由2-D传感器阵列获取的传感器数据，以创建将由图像处理和特征点比较模块24使用以确定相对位置的2-D扫描图像。在图像处理和特征点比较模块24已经计算出相对位置数据26之后，可以将相对位置数据26反馈到NDI传感器数据处理器20，以便创建合成扫描图像。如果不需要合成扫描图像(例如，如果系统仅用于定位而不用于NDI合成图像创建)，则相对位置数据22将不需要被发送回NDI传感器数据处理器20。
在一些情况下，NDI传感器数据处理器20可能仅能够接受用于合成扫描图像创建的相对位置数据22，这是当前使用中最常用的方法，但是在未来，更高级的技术可用于合成扫描图像生成，在这种情况下可能需要绝对位置信息。图1假设NDI传感器数据处理器20使用相对位置数据生成合成扫描图像，但是在其他实施例中，合成扫描图像生成可以由单独的图像处理应用来处理。
图2A示出了具有随机结构特征11(在本示例中用点表示)的目标物体的全扫描区域46。叠加在全扫描区域46上的虚线矩形包围全扫描区域46的第一部分，当2-D NDI扫描仪14位于第一位置时，将在第一扫描图像42a中捕获全扫描区域46的第一部分；当2-D NDI扫描仪14处于距第一位置小于2-D传感器阵列的长度的距离的第二位置时，叠加在全扫描区域46上的点线矩形包围在第二扫描图像42b中捕获的全扫描区域46的第二部分。全扫描区域的第一部分和第二部分共享图2A所示的共同区域46a。在图2B中单独示出扫描图像42a和42b。
如图2A中所示，分别出现在扫描图像42a和42b中的全扫描区域的第一部分和第二部分具有带有共同特征11a的共同扫描区域46a。共同特征点48a出现在扫描图像42a和42b的相应区域58a和58b中，如图2C所示。由于扫描图像42a和42b的区域58a和58b是相同的矩形扫描区域46a的图像，因此区域58a和58b将是相同的(以下称为“扫描图像的重叠区域”)。在顺序(连续)扫描图像中具有共同特征的这些重叠区域用于跟踪相对于第一位置的2-DNDI扫描仪14的第二位置。此外，当扫描图像42a和42b被拼接在一起以形成合成扫描图像时，可以省略扫描图像42a或42b之一中的冗余信息。
在本文提出的相对运动更新处理基于这样的概念：部分重叠的顺序扫描图像将在该对图像内具有共同的一些特征(表示目标物体中的结构特征)。本文假设第二扫描图像将与第一扫描图像具有共同的一些特征(下文中称为“共同特征”)。对共同特征点在第一扫描图像和第二扫描图像中的各个位置之间的像素距离差值进行计数和缩放(scale)，然后将相对物理距离与先前的位置估计相加，得到新的绝对位置。在该设置中，由扫描图像内出现的强度(高对比度)的显著局部变化来定义共同特征。系统不需要知道物理物体内的哪些结构特征是由这些虚拟特征表示的；该系统只需要检测连续扫描图像中像素的相同图案(pattern，模式)。整个概念有时被称为“解决相机姿势问题”-在这种情况下，“相机”是NDI扫描仪。该系统跟踪连续扫描图像中的一组点，并确定它们从一个扫描图像到下一个扫描图像的2-D位置，以得出共同特征点在扫描图像中的相对位移。该信息然后用于计算在一个扫描图像和后续扫描图像之间的时间段内，其上安装有2-D NDI扫描仪14的运动平台12的相对物理运动(位置和定向)。为了使这对位置和定向都起作用，需要有足够数量的共同特征。理论上，最小值为2，但最好具有更多的共同特征点以改进估计。
已经在文中的其他地方公开了在定位过程中使用特征点比较。例如，同时定位和映射(SLAM)方法使用来自一个或多个光学相机或激光扫描仪的数据和扩展卡尔曼滤波器以：(1)使用航位推算数据更新当前状态(位置)估计；(2)基于重新观察的特征(地标)更新估计的位置；以及(3)将新特征(地标)添加到当前状态。在SLAM中，使用两幅图像共同的共同特征点的相对位移来提供偏移估计。为此，需要相对小的位置和定向变化以及图像之间的实质性重叠以实现配准。另外，需要2-D传感器阵列的已知参考尺寸来确定位移的大小(scale，范围)。
可以使用基于共同特征点的各种算法来确定在将捕获两个图像时的两个时刻分开的时间间隔期间扫描仪移动的距离。这些算法可用于确定两个图像之间的位置和定向偏移。该过程涉及将从两个图像获得的两组共同特征点对准，并且确定一组点必须平移和旋转的量，以实现两组点之间的可选对准。这样的算法被配置为解决这种点对点匹配问题。
可以用于确定两个图像中的共同特征点之间(或者更一般地，在两组点之间)的位置和定向偏移的方法之一是使用所谓的迭代最近点(ICP)算法，其有时被称为“迭代对应点”算法。在这种情况下，根据两个图像中的共同特征点的相应x和y像素位置来确定偏移。
ICP算法的基本形式在由Besl和McKay于1992年撰写的标题为“A Method forRegistration of 3-D Shapes”的技术文章中描述(下文中称为“1992年的论文”)。由多个SLAM方法使用IPC算法的变化来对准一组点(这种类型的对准也称为“配准”)。对于允许SLAM比ICP方法的基本形式运行得更快的概念，存在若干速度改进，但是核心思想是相同的。1992年的论文除了描述其它类型的几何数据外，还描述了三维空间中的点(x，y，z)以及2-D空间中的点(x，y)的解。本文所公开的系统使用涉及一组点的ICP算法的形式。该方法确定第一组数据必须从其起始位置和定向朝向另一位置和定向平移或旋转多少以使第一组点与第二组点之间的总距离最小化。
ICP算法的基本形式是以下(1)对于给定的一组数据点中的每个点，使用距离度量来计算另一组中的最近点；(2)估计对准该组点所需的平移和旋转量；(3)通过在平移和旋转估计中确定的量来变换一个组中的点；以及(4)迭代(即，返回到步骤(1)以再次计算最近点)；以及(5)当达到预定距离度量值(例如，距离度量值等于指定阈值)时停止迭代。
首先，使用距离测量或“距离度量”(这里使用均方距离度量)来确定距每组点中的每个点的距离；然后，移动(偏移)其中一个点组以便减小均方距离。ICP方法需要位置和定向偏移的初始估计。在本申请中，使用运动平台的期望行进方向和当前速度估计进行偏移的粗略近似(该近似不必非常精确)。然后再次计算距离测量，之后使用迭代优化方法(诸如梯度下降法)计算位置和定向偏移的新估计。继续进行该迭代直到达到收敛标准。理想地，如果一个组中的每个点恰好具有另一组点中的一个对应的点并且准确地获取到所有的点，则由均方距离度量确定的总偏移将是零，但是由于一个组中可能存在与另一个组中的点不对准的异常点(以及小的采集精度误差)，因此最佳均方距离将不是零。对于在两个组之间有一些共同点而有一些不是共同点的实际情况，该方法不会达到零均方距离。因此，整个方法需要确定何时停止迭代搜索，这通常是当收敛速度减慢到某个特定量时。
共同特征点是与具有最大最近点距离值的点相比，具有较小的最近点距离值最大的点。基本ICP算法沿途找到共同的特征点，但ICP算法在处理剩余部分之前不需要知道它们是哪些点。对于工作的方法，仍然需要足够数量的共同特征点，但是不需要在与位置和定向偏移确定过程分开的专用步骤中明确地找到它们。当执行迭代时，发现共同特征点，并且在ICP过程的一些变化中，从过程的早期分析中挑选出非共同特征点(例如，异常点)，以便加速收敛(减少所需的迭代次数)。在其它方法或ICP方法的其它变化形式中，可首先从共同特征点剔除异常值以改进性能。
总之，ICP技术使用两组点之间的共同特征点来确定一个点组相对于另一个点组的位置和定向偏移。根据所使用的特定算法，从两组点找到共同特征点的步骤可以与或不与使用点来确定位置和定向偏移分开。例如，ICP算法的一些版本在确定位置和定向偏移的同时确定共同特征点。
只要2-D NDI扫描仪14的2-D传感器阵列足够大而总是覆盖目标物体的至少两个结构特征(例如，诸如紧固件的结构特征)，则系统10的图像处理和特征点比较模块24(见图1)能够通过处理连续扫描图像来跟踪传感器阵列的位置，连续扫描图像包括表示结构特征的共同特征。2-D传感器阵列被配置为用于一次捕获查看区域中的所有元素，并且只要来自该第一扫描图像的一部分的一些共同特征在该第二扫描图像中是可见的，则可以确定该2-D传感器阵列在连续图像采集之间的间隔中移动了多少。已知阵列的物理尺寸，更具体地说，每英寸的元素数量，图像处理和特征点比较模块24被配置成对两个扫描图像中的共同特征点的相应位置的差值进行计数，并将该差值转换成相对位置估计。图像处理和特征点比较模块24输出可用于位置跟踪等目的的相对位置数据26。例如，对共同特征点的各个表示之间的像素差值进行计数，并将其转换为2-D传感器阵列所行进的物理距离。将此估计的行进距离添加到先前绝对位置估计(在目标物体的参照系中测得)以获得2-D传感器阵列的绝对位置的新估计。可选地(如图1所示)，将相对位置数据26发送到NDI传感器数据处理器20，在NDI传感器数据处理器20中，相对位置数据26可用于构造合成扫描图像(如将在下文中更详细地描述)。
为了计算在目标物体表面的参照系中的绝对位移，本文提出的系统在处理每组扫描图像之后将相对位移加在一起，这被称为航位推算。然而，随着越来越多的离散相对距离值被加在一起，绝对位置估计变得不太准确，因此为了解决该偏差，可以将出现在扫描图像中的特征与具有已知坐标的地标/特征进行比较。基于这些已知坐标来更新该绝对位置估计，这用于重新校准该系统。图像到图像特征跟踪以高更新速率发生，并且与已知地标/特征数据的比较以较低更新速率发生。
图3是说明根据一个实施例的使用2-D NDI扫描仪14的2-D传感器阵列获取的图像来跟踪运动平台的方法130的步骤的流程图。方法130适用于手动或自动运动控制。首先，运动平台12被放置为使得2-D NDI扫描仪14的2-D传感器阵列位于在目标物体的参照系中定义的已知物理位置(以下称为“初始位置”)(步骤132)。在初始位置，2-D传感器阵列在目标物体的表面上的具有已知的第一X位置坐标和已知的第一Y位置坐标的第一位置处，来使目标物体的表面的第一部分与传感器阵列上的已知参考点(例如，传感器阵列的中心)相对。然后，2-D NDI扫描仪14被激活以获取由来自目标物体的第一部分的第一组传感器数据组成的第一扫描(步骤134)。将通过第一扫描获得的第一组传感器数据转换为第一扫描图像(步骤136)。例如，NDI传感器数据处理器20将2-D NDI扫描仪14输出的第一组传感器数据转换为第一扫描图像的第一扫描图像数据。然后，图像处理和特征点比较模块24使用图像处理(例如，边缘检测)在第一扫描图像中找到特征的质心(下文称为“特征点”)，并将那些特征点的像素位置保存在非暂时性有形计算机可读存储介质(例如，计算机存储器)中(步骤138)。
然后，移动运动平台12，使得2-D NDI扫描仪14的2-D传感器阵列位于目标物体的表面上的新物理位置(以下称为“当前位置”)，在该新物理位置处，当前扫描区域与初始位置处的扫描区域部分重叠(步骤140)。在2-D传感器阵列沿平行于传感器阵列的行或列的轴平移而不旋转的情况下，重叠区域必须包括目标物体中的至少一个共同特征(例如，表面下(subsurface，表层，次表面)特征)，以实现连续的位置跟踪。在2-D传感器阵列进行旋转和平移的情况下，重叠区域必须包括目标物体中的至少两个共同特征，以实现连续的位置跟踪。
在当前位置处，2-D传感器阵列在第二位置处使目标物体的表面的第二部分与传感器阵列上的参考点相对，该第二位置在目标物体的表面上具有未知的第二X位置坐标和未知的第二Y位置坐标。然后，2-D NDI扫描仪14被激活以获取由来自目标物体的第二部分的第二组传感器数据组成的第二扫描(步骤142)。将通过第二扫描获得的第二组传感器数据转换为第二扫描图像(步骤144)。例如，NDI传感器数据处理器20将2-D NDI扫描仪14输出的第二组传感器数据转换为第二扫描图像的第二扫描图像数据。然后，图像处理和特征点比较模块24使用图像处理找到第二扫描图像中的特征点，并将那些共同特征的像素位置保存在非暂时性有形计算机可读存储介质中(步骤146)。
图像处理和特征点比较模块24还被配置为比较在先前和当前扫描图像(在该迭代中，第一扫描图像和第二扫描图像)中出现的特征点的像素位置，以确定在两个图像中出现的共同特征点，并计算2-D像素位置差值(步骤148)。然后，图像处理和特征点比较模块24使用共同特征点的2-D像素位置差值和校准比例因子来计算2-D NDI扫描仪14的当前位置和先前位置之间的相对物理位置变化(位置和定向)(步骤150)。本文描述的过程假设校准比例因子可用于2-D NDI扫描仪14，其将装置的各个扫描元素(其与NDI扫描图像中的像素相关联)与物理距离相关联。可从装置制造商的规格表中获得这种类型的数据。
图像处理和特征点比较模块24(或不同的计算机或处理器)然后可以使用先前的绝对位置和当前的相对位置改变计算2-D NDI扫描仪14的当前绝对位置(步骤152)，该2-DNDI扫描仪14的当前绝对位置在目标物体的坐标系(参照系)(例如，目标物体的表面上的X、Y坐标系，如上所述)中定义。
然后确定定位过程是否应该继续(步骤158)。一方面，如果在步骤158中确定定位过程应该继续，则方法130返回到步骤140。然后获取下一扫描图像，该第三扫描图像将与第二扫描图像具有相同的一些特征，等等。另一方面，如果在步骤158中确定定位过程不应该继续，则方法130终止。
图4是示出共同特征点48a在相应扫描图像42a和42b中的位置的图示，该相应扫描图像42a和42b使用具有以行和列布置的传感器的2-D传感器阵列并且在2-D传感器阵列的中心处具有参考点RP来在相应垂直对准位置(无旋转)处连续采集。(参考点可以在2-D传感器阵列上的任何已知位置。)该示例假设运动平台12被控制或限制为平行于目标物体的表面上的Y轴移动2-D NDI扫描仪14，其中传感器行垂直于Y轴(不旋转)，在这种情况下，参考点RP从目标物体的表面上的参考系中的具有第一X位置坐标和第一Y位置坐标的第一位置移动到具有第一(相同)X位置坐标和与第一Y位置坐标相距一定距离的第二Y位置坐标的第二位置。通过将扫描图像42b中的像素位置(例如，像素行)相对于扫描图像42a中的像素位置(例如，像素行)的变化相加来计算第二Y位置坐标。以像素行的像素位置的这种变化在图4中用ΔR表示。在该示例中，扫描图像42a中包括共同特征点48a的像素被定位在行5和列11中，而扫描图像42b中包括共同特征点48a的像素被定位在行12和列11中，意指ΔR＝7行。因此，扫描图像42a和42b指示2-D传感器阵列在Y方向上移动的距离等于ΔR乘以校准比例因子fcal的乘积，该校准比例因子等于2-D传感器阵列中相邻传感器行的中心线之间的距离。
更具体地，图像处理和特征点比较模块24被配置为：(a)找到特征点在第一扫描图像和第二扫描图像中的X和Y像素位置值；(b)确定在步骤(a)中找到的哪些特征点是在第一扫描图像和第二扫描图像中出现的共同特征点；(c)计算在第一扫描图像和第二扫描图像中出现的共同特征点之间的像素位置差值；(d)通过将乘积ΔR×fcal与第一Y位置坐标相加，计算出参考点RP在目标物体表面的第二位置处的第二Y位置坐标。
根据所提出的一种实施方式，步骤(c)包括：计算第一像素偏移，该第一像素偏移等于共同特征点48a在第二扫描图像中的位置从共同特征点48a在第一扫描图像中的位置偏移的传感器阵列的像素行的数量；将第一像素偏移乘以相邻传感器行的相应中心线之间的距离，以形成乘积，该乘积等于扫描仪在垂直于传感器行的方向上平移的第一距离；以及将第一距离与第一Y位置坐标相加以得出参考点RP的第二Y位置坐标。
在2-D传感器阵列在X和Y方向上都平移而不旋转的情况下，可以应用相同的原理。更具体地，图像处理和特征点比较模块24被配置为：(a)找到第一扫描图像和第二扫描图像中的特征点的X和Y像素位置值；(b)确定在步骤(a)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点；(c)计算在第一扫描图像和第二扫描图像中出现的共同特征点之间的像素位置差值；(d)通过将乘积ΔR×fcal加到第一Y位置坐标，计算参考点RP在目标物体表面的第二位置处的第二Y位置坐标；(e)通过将乘积ΔC×fcal与第一X位置坐标相加，计算参考点RP在目标物体表面的第二位置处的第二X位置坐标，其中ΔC为第二像素偏移，第二像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的传感器阵列的像素列的数量。(为了说明的目的，假设校准比例因子对于2-D传感器阵列的行和列是相同的)
图5A到图5J是表示在扫描目标物体3的表面上的区域期间2-D NDI扫描仪14在相应位置处的相应三维视图的图示。根据图5A-图5J中所描绘的提出的应用，目标物体3是加筋的机身部分，其包括机身蒙皮9和通过隔开相应间隔的紧固件1行附接到机身蒙皮9的多个加强筋5，该紧固件具有适于在扫描图像中产生可检测边缘的相应结构特征。
图6A至图6J是表示分别对应于图5A至图5J中所示的2-D NDI扫描仪14的扫描位置的合成扫描图像30的构造中的各个阶段的图示。合成扫描图像包括具有表示紧固件1的结构特征的边缘的特征44。
图7A至图7J是示出由展平成二维的三维CAD模型数据构成的各个CAD模型表示32的图示。CAD模型表示32包括来自加筋机身部分的区域的结构信息，该区域具有在对应于图5A至图5J中分别所示的2-D NDI扫描仪14的扫描位置的位置处叠加的各个虚线矩形28。该CAD模型表示32包括表示机身蒙皮9的状态的像素34、表示加强筋5的状态的像素36以及表示紧固件1的状态的像素38，结构部件的所有表示根据CAD模型规格来定位。
图5A示出了在初始位置的2-D NDI扫描仪14，其中2-D NDI扫描仪14上的参考点(未示出)的位置坐标(在目标物体3的参照系中)是已知的。图6A示出初始扫描图像30，其最初仅由在2-D NDI扫描仪14位于图5A中所示的位置时获取的单个扫描图像组成，两个特征44出现在初始扫描图像30中，该特征对应于在图5A中所示的位置处的2-D NDI扫描仪14的扫描(覆盖)区域内的各个紧固件1。图7A中的虚线矩形28叠加在CAD模型表示32上，以指示2-D NDI扫描仪14在目标物体3的参照系中的绝对位置，该参照系由在图7A中的原点O处相交的X和Y轴指示。
对于在图5B到图5E中部分地描绘的沿着示例性扫描路径的各个位置，2-D NDI扫描仪14被垂直地(平行于Y轴)向上平移设定的距离多次，在每次移动之后停止以获取新的扫描图像。该设定的距离小于2-D NDI扫描仪14的2-D传感器阵列的高度，从而确保连续扫描图像将与目标物体3的表面上的共同区域重叠。选择2-D NDI扫描仪14前进的设定距离，使得连续扫描图像将包括对应于紧固件1的共同特征。在图5A-图5J中描述的示例中，2-DNDI扫描仪14的2-D传感器阵列的高度大于紧固件1的相邻行之间的距离。使用上述定位过程，可以估计在目标物体3的参照系中2-D NDI扫描仪14的各个绝对位置(对应于图5B至图5E中所示的位置)，然后可选地显示在CAD模型表示32上，如图7B至图7E所示。另外，当2-DNDI扫描仪14如图5B至图5E所示定位时所获取的各个扫描图像被连续地拼接以渐进地构建图6B至图6E中所见的合成扫描图像30。
如图5F所示，在完成垂直平移序列时，下一个移动是横向(水平)平移，其平移的设定距离小于2-D传感器阵列的宽度。在该阶段，2-D NDI扫描仪14在目标物体3的参照系中的绝对位置由图7F中的虚线矩形28表示。图6F示出了在图5F所示的阶段中获取的扫描图像已经通过拼接而被添加之后的合成扫描图像30。
对于在图5G到图5J中部分地描绘的沿着示例性扫描路径的各个位置，2-D NDI扫描仪14被多次垂直向下平移设定距离，在每次移动之后停止以获取新的扫描图像。再次，连续扫描图像与目标物体3的表面上的共同区域重叠。使用上述定位过程，可以估计2-D NDI扫描仪14在目标物体3的参照系中的各个绝对位置(对应于图5G至图5J中所描绘的位置)，然后显示在CAD模型表示32上，如图7G至图7J所示。另外，当2-D NDI扫描仪14如图5G到图5J所示定位时获取的各个扫描图像被连续地拼接以渐进地构建图6G到图6J中所见的合成扫描图像30。
自动运动平台可以被编程为在预定路径上在结构的表面上行进。该自动运动平台的位置可以与该目标物体(例如，飞机)的坐标系相联系，并且因此可以被编程为跟随该内部结构以用于检查的目的。在已经收集NDI扫描数据之后，将来自飞机的CAD模型的特征与NDI扫描数据相关联，以用于对子结构进行最准确地描绘。由于(在飞机的坐标系中定义的)检查区域的位置信息是已知的，该位置信息可以用于在与示出飞机特征的CAD模型相同的可视化环境中定位和定向2-D图像，该模型在相同的参考坐标系中定义。这可以作为重叠或并排显示来实现。在重叠显示场景中，2-D NDI扫描图像被表示为半透明纹理图，其允许通过2-D扫描图像看到CAD模型特征。基于重叠显示的观察和分析，检查员决定是否需要维修。在美国专利第9,182,487号中描述了将来自飞机的CAD模型的特征与NDI扫描数据相关联的过程。在已经将来自飞机的CAD模型的特征与NDI扫描数据相关联以产生隐藏在飞机的蒙皮下的特征的准确描绘之后，可以使用2-D扫描和CAD图像手动地或自动地选择要标记以进行修理的特征的位置。
图8A至图8D是表示用于对示例性目标物体3'的表面区域进行扫描的各路径的图示。虚线箭头指示由NDI扫描仪的2-D传感器阵列的参考点(或相对于参考点具有已知位置的其它点)沿着的扫描路径段。相邻扫描路径段重叠，并且将所得到的扫描图像数据拼接在一起以形成合成扫描图像。
图8A示出边缘起始(start，开始)的边对边扫描方法，其中NDI扫描仪沿着由虚线箭头指示的扫描路径7a。根据所提出的一个实施方式，边缘起始的边对边扫描方法包括以下步骤：(a)NDI扫描仪在一个边缘的起始处(类似于两个相邻边缘的拐角)开始扫描，然后沿着该边缘移动直到到达横过的(traversing，)远边缘。(一个边缘可能不是线性的)(b)然后，NDI扫描仪从前一扫描线移开传感器阵列宽度的一部分。(c)然后，NDI扫描仪使用所选择的重叠作为定位引导在相反方向上回扫直到到达横过的边缘。(d)重复步骤(b)和(c)，直到整个区域被覆盖(即，到达与原始(近)边缘相对的远边缘)。(e)可以沿着围绕整个边缘的可选路径以确保该边缘被完全覆盖。
图8B示出边缘起始中心到边扫描方法，其中NDI扫描仪沿着由虚线箭头指示的扫描路径7b。根据所提出的一种实施方式，边缘起始中心到边扫描方法包括以下步骤：(a)从一个边缘开始，在整个表面上移动NDI扫描仪远离该边缘，并且NDI扫描仪沿着大致线性的路径行进，直到到达横过的远边缘。(b)然后，NDI扫描仪使用所选择的重叠作为用于定位NDI扫描仪的引导，在相反方向上回扫直到到达横过的边缘。(c)重复步骤(b)直到原始扫描线的一侧上的整个区域被覆盖。(d)将NDI扫描仪移动到原始扫描线的另一侧，在任一边缘选择起始点。(e)在原始扫描线的那一侧重复步骤(b)，直到覆盖整个区域。(f)可以沿着围绕整个边缘的可选路径以确保该边缘被完全覆盖。
图8C示出了外到内扫描方法，其中NDI扫描仪沿着由虚线箭头指示的扫描路径7c。根据所提出的一种实施方式，外到内扫描方法包括以下步骤：(a)从一个边缘开始，在任一方向上沿着该边缘移动NDI扫描仪，直到已经实现完整一周行进。(b)将NDI扫描仪从边缘扫描带移开阵列宽度的预选比例。(c)保持扫描带重叠而在边缘扫描带的内侧扫描一周。(d)重复步骤(b)和(c)，直到已经扫描了表面的整个区域。
图8D示出了一种内到外扫描方法，其中NDI扫描仪沿着由虚线箭头指示的扫描路径7d。根据所提出的一种实施方式，内到外扫描方法包括以下步骤：(a)首先，将NDI扫描仪放置在待扫描表面的中间的某处。(b)沿着闭合路径扫描(返回到扫描开始点)移动NDI扫描仪，该闭合路径扫描足够小，以在中心(区域的最长轴将比阵列宽度短)不留下任何间隙。该闭合路径可以是圆形、椭圆形、正方形，或一些其他形状，包括接近该区域的外边缘的形状的形状。(c)将NDI扫描仪从扫描带移开阵列宽度的预选比例。(d)保持扫描带重叠的同时围绕前一扫描带的外部扫描一周，，直到NDI扫描仪回到路径起始处。(e)如果到达边缘，则在所沿着的闭合路径的相同方向上沿着边缘扫描，直到NDI扫描仪能够以使用所选择的重叠作为引导的路径继续的点。(f)重复步骤(c)到(e)，直到围绕整个边缘的一个完整路径是默认(default，缺省)扫描。
在连续扫描之间的间隔中平移NDI扫描仪的同时伴随有旋转的情况下，本文提出的定位方法也是有效的。图9是示出当NDI扫描仪处于各个不同定向位置时，连续采集的各个扫描图像42a和42b中的两个共同特征点48a和48b的位置的图示。如本文所使用的，短语“不同定向”意指2-D NDI扫描仪14的2-D传感器阵列在各个位置具有不同的定向。为了说明的目的，以下假设在捕获第一扫描图像42a时NDI具有第一定向角，并且在捕获第二扫描图像42b时NDI具有第二定向角，第二定向角与第一定向角相差角度θ。在该示例中，NDI扫描仪包括布置成行和列的多个传感器并且在相对于2-D传感器阵列的已知位置处具有参考点RP。该示例假设运动平台12被控制为使得2-D传感器阵列相对于捕获第一扫描图像42a的角位置旋转。可以通过使用SLAM或其他定位技术来计算旋转角度θ。
根据一个实施例，用于跟踪扫描仪位置的方法包括以下步骤。(a)该2-D传感器阵列被放置成与表面相邻并且覆盖目标物体的第一特征和第二特征，并且以已知的第一定向角度定向。(b)当定向在第一定向角时，扫描仪从目标物体的面对的第一部分获取第一组传感器数据。(c)将第一组传感器数据转换为第一扫描图像的第一扫描图像数据。(d)然后，扫描仪被重新定向，使得传感器阵列具有不同于第一定向角的第二定向角，但再次覆盖第一结构特征和第二结构特征。(e)当定向在第二定向角时，扫描仪从目标物体的面对的第二部分获取第二组传感器数据。(f)将第二组传感器数据转换为第二扫描图像的第二扫描图像数据。(g)图像处理和特征点比较模块24找到第一扫描图像和第二扫描图像中的特征点的X和Y像素位置值。(h)图像处理和特征点比较模块24确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点。(i)图像处理和特征点比较模块24计算第一扫描图像和第二扫描图像中出现的共同特征点之间的像素位置差值。(j)然后，图像处理和特征点比较模块24至少部分地基于第一定向角和连接第一共同特征点和第二共同特征点在第一扫描图像中的相应位置的第一线的第一角度与连接第一共同特征点和第二共同特征点在第二扫描图像中的相应位置的第二线的第二角度之间的差值，来计算第二定向角。在图9所示的示例中，第一角度和第二角度之间的差值为角度θ。
根据所提出的一种实施方式，步骤(i)包括(1)计算第一像素偏移，该第一像素偏移等于第二共同特征点在第一扫描图像中的位置相对于第一共同特征点在第一扫描图像中的位置偏移的像素行的数量；(2)计算第二像素偏移，该第二像素偏移等于第二共同特征点在第一扫描图像中的位置相对于第一共同特征点在第一扫描图像中的位置偏移的像素列的数量；(3)计算第三像素偏移，该第三像素偏移等于第二共同特征点在第二扫描图像中的位置相对于第一共同特征点在第二扫描图像中的位置偏移的像素行的数量；以及(4)计算第四像素偏移，该第四像素偏移等于第二共同特征点在第二扫描图像中的位置相对于第一共同特征点在第二扫描图像中的位置偏移的像素列的数量，其中第一角度等于第一像素偏移与第二像素偏移的比率，并且第二角度的正切等于第三像素偏移与第四像素偏移的比率。为了计算NDI扫描仪在目标物体表面的参照系中的绝对位置，上述系统将相对位置和定向数据与先前(旧)的绝对位置和定向数据组合，以计算NDI扫描仪相对于目标物体的坐标系的当前(新)绝对位置和定向。该定位方法是航位推算过程，这意指随着更多的离散相对距离值被求和，绝对位置估计变得较不准确。可选的校正过程可以与基本相对定位过程一起使用，以基于扫描图像内具有已知的位置坐标的所识别的共同特征的知识来改进位置估计。此校正过程以低于主特征跟踪过程的更新速率运行，可用于改进位置估计以补偿特征合成测量误差。
根据一些实施例，定位方法包括周期性校正步骤以重新定位2-D传感器阵列，诸如偶尔的人工检查和人工校正位置和定向。例如，该阵列扫描该零件的长度、在小于该阵列的宽度上移动，并且然后以类似于图5A-图5J中所示的方式扫描回到原始边缘。可以在每次扫描通过之后，或者在几次通过之后，检查并调整距起始位置的距离，阵列角度也是如此。
在机器人履带车辆的情况下，随着NDI扫描仪行进穿过目标物体的结构特征，路径方向上的车轮滑移将变得明显。可以通过到起始点的距离测量和到起始位置的简单激光线对准调整来检查扫描之间的位置和定向。如果存在随机或非重复图案，则可在每次重叠通过时检查阵列的位置和定向，并且每当存在显著偏差时使用在目标物体上扫描的已知参考特征来手动校正该阵列的位置和定向。
如先前参考图1所描述的，合成扫描图像30(在图6A-图6J中的各个阶段示出)由NDI传感器数据处理器20基于由图像处理和特征点比较模块24生成的相对位置数据26来构造。拼接在一起的图像的对准使用相对像素偏移来对准，并且不涉及绝对位置坐标，但是对于物理跟踪，可以计算绝对距离。仅知道像素数并不能使系统准确确定结构特征的长度。本文提出的定位过程是近似，其将随着时间的推移而逐渐“漂移”，直到能够利用已知的绝对坐标信息更新位置估计，此时误差降回到零，并且随着更多的图像对准被处理而再次开始建立。
例如，可以生成具有20个图像拼接在一起而没有明显失准的合成扫描图像，但是以像素为单位的图像的总长度可能不精确地对应于以英寸或厘米为单位行进的物理距离。这是因为，由于从一个图像到下一个图像的小的对准误差，组合图像可能稍微扭曲。像素是模拟世界的数字表示，但是舍入、截断或其它测量伪像从模数转换蔓延到混合中。即使组成2-D传感器阵列的元件的相邻列之间的距离是已知的，随着越来越多的图像被对准，在总距离总和中将累积小的误差，除非或直到使用已知的绝对参考校正估计的绝对位置。总的图像到图像的误差可能很小，并且可能能够在已知的地标更新之间捕获多个图像，但是在某个点，所测量的距离误差可能变得太大，从而引起如本文所公开的校正。
根据另一方面，如果期望精确的合成扫描图像，则如果从其他地标数据知道实际的总距离，则可以之后将合成扫描图像缩放至适当的尺寸。还可以理解，并不总是需要将合成扫描图像存储在存储器中的情况。这将是仅当合成扫描图像对某些类型的分析过程(诸如NDI分析)有用时的情况。在其它情况下，扫描图像数据可以仅为了位置跟踪目的而存储在存储器中，并且定位过程将在各个图像不再需要用于特征对准时从存储器中删除它们。
在本文提出的基于2-D NDI传感器的定位过程适用于使用反馈控制的自动运动控制系统(诸如机器人和表面爬行车辆)，以及适用于手动运动控制系统(诸如手持式装置)。
对于2-D NDI扫描仪的手动移动，有几种选择：(1)为了在表面上滑动2-D NDI扫描仪，用于2-D NDI扫描仪的支撑外壳可以由某种类型的低摩擦塑料(诸如Delrin)制成，以减少滑动阻力和表面的潜在刮擦；或者(2)用于2-D NDI扫描仪的支撑框架可以设置有三个或更多个全向轮(在下文中称为“全向轮”)。
对于自动运动，NDI扫描仪可安装在履带车辆(例如，全动履带车辆或非全动履带车辆)的框架上。例如，在美国专利第8,738,226号中公开了能够扫描机身表面上的二维传感器阵列的系链(tethered)履带车辆。在可选实施例中，二维传感器阵列可以安装在美国专利第8,738,226号和第10,168,287号所公开类型的真空附着履带车辆上。可替代地，可以通过将NDI扫描仪安装到框架组件来实现自动移动，该框架组件在操纵器臂(铰接的、可伸缩的、机架等)的远端处耦接到末端执行器。(如本文所使用的，术语“末端执行器”是指包括臂的自动化装置的最后连杆，在该端点处连接支撑NDI扫描仪的框架组件)。在美国专利第9,933,396号中公开了包括铰接臂的合适的机器人。根据另一自动系统，NDI扫描仪可由无人飞机(UAV)携带，无人飞机飞行到目标区域然后在目标区域的表面上拖曳传感器阵列。例如，美国专利申请第16/202,347号公开了一种UAV，其携带一维传感器阵列，但是可以适于携带二维传感器阵列。
图10是说明根据一个实施例的用于跟踪和导航自动的运动平台12的系统10'的一些部件的图示，自动的运动平台12配备有2-D NDI扫描仪14、运动控制器16和驱动电机18(用于驱动轮，未示出)。该运动控制器16可以包括车载运动控制处理器或模块以及多个马达控制器，这些马达控制器从运动控制处理器或模块接收用于控制多个驱动马达18的操作的命令，这些驱动马达驱动车轮(例如全向轮或麦克纳姆轮)旋转。在扫描操作期间，作为运动平台12的连续运动的结果，2-D NDI扫描仪14被放置在目标物体的表面上的连续位置处。在每个扫描位置处，2-D NDI扫描仪14被激活以从目标物体表面的相应面对部分采集传感器数据。
在图10中部分地描绘的系统10'还包括(经由电缆或无线)通信地耦接到2-D NDI扫描仪14的NDI传感器数据处理器20。NDI传感器数据处理器20被配置为将2-D NDI扫描仪14输出的传感器数据转换为2-D扫描图像数据22。另外，系统102-D包括图像处理和特征点比较模块24，其通信地耦接以从NDI传感器数据处理器20接收2-D扫描图像数据22。图像处理和特征点比较模块24可以是被配置(例如，经编程)为使用2-D扫描图像数据22跟踪2-DNDI扫描仪14相对于目标物体表面的位置(在本文也称为“定位”)的处理器或计算机。该定位算法包括基于从一个捕获的NDI扫描图像到下一个捕获的NDI扫描图像的接续扫描特征的相对运动更新处理，以便在先前图像采集期间确定2-D传感器阵列相对于其位置的运动。
图像处理与特征点比较模块24将相对位置数据26输出至运动控制器，该运动控制器可用于控制运动平台12的运动。例如，对共同特征点的各个表示之间的像素差值进行计数，并将其转换为2-D传感器阵列所行进的物理距离。任选地(如图10所示)，相对位置数据26也被发送到NDI传感器数据处理器20，在NDI传感器数据处理器20中，相对位置数据26可用于构造合成扫描图像。
图11是说明方法160的步骤的流程图，该方法160用于使用配备有2-D NDI扫描仪14和计算机系统的自动的运动平台12来构造合成扫描图像，该2-D NDI扫描仪14包括二维传感器阵列，该计算机系统被配置为基于由传感器阵列获取的非视觉(例如，NDI)数据在扫描期间跟踪运动平台的位置，并且通过将所获取的扫描图像拼接一起来构造合成扫描图像。方法160适用于手动或自动运动控制。首先，运动平台12被放置为使得2-D NDI扫描仪14的2-D传感器阵列位于在目标物体的参照系中定义的已知物理位置(以下称为“初始位置”)(步骤132)。此后，如先前参考图3描述的那样执行步骤134、136、138、140、142、144和146。图像处理和特征点比较模块24然后比较在先前和当前扫描图像(在该迭代中，第一扫描图像和第二扫描图像)中出现的共同特征点的相应像素位置，以确定2-D像素位置差值(步骤148)。然后，图像处理和特征点比较模块24使用共同特征点的2-D像素位置差值和校准比例因子来计算2-D NDI扫描仪14的当前位置和先前位置之间的相对物理位置变化(位置和定向)(步骤150)。图像处理和特征点比较模块24(或不同的计算机或处理器)然后可以使用先前的绝对位置和当前的相对位置变化，计算2-D NDI扫描仪14的当前绝对位置，其在目标物体的坐标系(参照系)(例如，如上所述的与目标物体的表面相关联的X-Y坐标系)中被定义(步骤152)。然后将更新的绝对位置数据发送到系统运动控制器(步骤154)。此外，使用当前NDI扫描图像和在步骤156中计算的相对2-D像素位置差值数据来更新合成扫描图像。然后确定定位过程是否应该继续(步骤158)。如果在步骤158中确定应该继续定位过程，则方法130返回到步骤140。然后获取下一扫描图像，该第三扫描图像将具有与第二扫描图像相同的一些共同特征，等等。否则，如果在步骤158中确定定位过程不应该继续，则方法160终止。
图11中描述的算法扩展了图3中描述的通用定位过程，以解决NDI使用情况的特定类型，即，使用像素空间中的相对位置(位置和方向)偏移从一系列单独图像生成合成图像。此外，位置数据在该过程中由运动控制器使用，以使得系统能够自动运动(例如，由机器人自动运动)。然而，应当理解，可以独立地使用合成图像创建和自动运动控制方面，并且不必进行组合。
图12是说明根据一个实施例的使用可移动二维传感器阵列构建(创建)目标物体的合成扫描图像的方法100的步骤的流程图。以上述方式获取每个扫描图像，即，通过获取传感器数据，从该传感器数据生成扫描图像、找到特征点并比较特征点在相继扫描图像中的位置以确定哪些特征点在两个图像之间是共同的，然后确定偏移。最初，将2-D传感器阵列放置在具有已知位置坐标和已知定向角的第一位置(步骤102)。然后，NDI扫描仪被激活以从目标物体的面对传感器阵列的第一部分获取初始扫描图像(下文中称为“第一扫描图像”)(步骤104)。在初始扫描图像采集之后，系统操作者(例如，技术人员或检查员)验证第一扫描图像包括至少两个不同特征。如果至少两个特征是不同的，则将第一扫描图像加载到合成扫描图像文件中以用于存储(步骤106)。然后将2-D传感器阵列移动到下一位置(步骤108)。选择下一位置，使得2-D传感器阵列覆盖在前一(在该迭代中，第一)扫描图像中看到的至少两个不同的特征。在下一位置，NDI扫描仪被激活以采集传感器数据，然后NDI传感器数据处理器生成下一个(在该迭代中，第二)扫描图像(步骤110)。然后，将下一个扫描图像拼接到合成扫描图像(步骤112)。在将第二扫描图像拼接到第一扫描图像的迭代中，通过使用第一扫描图像和第二扫描图像中的共同特征将第二扫描图像中的第二扫描图像数据与第一扫描图像中的第一扫描图像数据对准来构造合成扫描图像。更一般来说，在后续迭代中，使用共同特征将下一扫描图像与合成扫描图像对准。根据一个选项，合成扫描图像包括来自第一扫描图像的像素数据和来自第二扫描图像的不与第一扫描图像重叠的部分的像素数据。根据另一个选项，合成扫描图像包括：来自第一扫描图像的不与第二扫描图像重叠的第一部分的像素数据；来自第二扫描图像的不与第一扫描图像重叠的第一部分的像素数据；以及像素数据，该像素数据是来自第二扫描图像的与第一扫描图像重叠的第二部分的像素数据和来自第一扫描图像的与第二扫描图像重叠的第二部分的像素数据的混合。
在每个相继获取的扫描图像与合成扫描图像合并之后，技术人员执行手动检查以确定正被检查的部件的整个表面是否已经被覆盖(步骤114)。如果在步骤114中确定部件的整个表面没有被覆盖，则技术人员使用接口来通知控制器(例如，图15中的计算机系统40)需要更多的扫描(步骤116)。然后，图12中所示的算法返回到步骤108，在这种情况下，2-D传感器阵列被移动到面对部件的未受检部分的下一位置。如果在步骤114中确定部件的整个表面已经被覆盖，那么技术人员使用接口来通知控制器终止扫描(步骤118)。然后将合成扫描图像文件保存在非暂时性有形计算机可读存储介质中的NDI结果目录中，以供后续分析(步骤120)。
如先前所公开的，该运动平台可以被设计成用于手动移动。图13示出了根据四全向轮配置的完整运动手持式跟踪装置12a的一些部件的顶部平面视图。该跟踪装置可以连接到NDI扫描仪(图13中未示出，但参见图14A中的2-D NDI扫描仪14)。图13中所示的完整运动手持跟踪装置12a包括矩形框架4和通过各自的轴6a-6d和轴承(未示出)可旋转地安装到框架4的四个双排全向轮4a-4d。在该特定实施方式中，轴6a和6c是同轴的；轴6b和6d是同轴的；并且轴6a、6c垂直于轴6b、6d。该实施例示出了可选的双排全向轮(其可以在一些条件下改善滚动平滑性)，但是也可以使用单排全向轮。在可选实施例中，跟踪装置没有轮子，而是在表面上滑动。
图14A和图14B分别示出了手持扫描装置的顶视平面图和前视图，该手持扫描装置包括刚性连接到图13中图形描述的类型的完整运动手持跟踪装置12a的2-D NDI扫描仪14。由完整运动手持跟踪装置12a携带2-D NDI扫描仪14。2-D NDI扫描仪14具有附着于其上的手柄8，通过该手柄，操作员可以在任何方向上手动地旋转或不旋转移动扫描装置。可以以允许支撑框架和轮组件之间的顺应性的方式(例如，使用线性引导件和弹簧)安装一个或多个全向轮。这允许轮子在表面不是完全平坦的情况下保持与表面接触。
不使用NDI传感器数据来创建合成扫描图像的手动移动系统的一种可能用途是用于一般定位，其中为用户显示NDI扫描仪的当前位置和定向。在一些使用情况下，用户可能正在查看单个NDI扫描图像的显示，并且想要提取单个兴趣点的位置坐标。不涉及检查的另一使用情况是将手动移动的装置用作一种数字卷尺(位置数据显示在屏幕上)。
图15是说明根据一个实施例的系统50的一些部件的框图，该系统50包括安装到麦克纳姆轮机器人履带车辆52(下文中称为“履带车辆52”)的2-D传感器阵列60(例如，超声换能器阵列)。在可选实施例中，可以使用全向轮或其它类型的轮。该系统50进一步包括计算机系统40，该计算机系统被配置为控制该2-D传感器阵列60的扫描位置以及该2-D传感器阵列60对传感器数据的采集。基于从由2-D传感器阵列60从被检查的部件获得的传感器数据得出的扫描图像中的共同特征来控制扫描位置，如本文先前所描述的。
履带车辆52包括运动控制器16和可操作地耦接到相应的驱动马达18的多个麦克纳姆轮7。该运动控制器16包括运动控制处理器54和多个马达控制器56，用于根据从该运动控制处理器54接收的控制信号来独立地控制这些驱动马达18。运动控制处理器54进而从计算机系统40接收命令。计算机系统40可以经由电缆(图15中未示出)或经由收发器无线通信地耦接到运动控制处理器54。计算机系统40使用相对位置信息来跟踪履带车辆52的相对位置(例如，相对于使用本地定位系统获取的初始绝对位置)。
更具体地，用NDI扫描应用软件64和运动控制应用软件68对计算机系统40进行编程。计算机系统40可以包括通用计算机。NDI扫描应用软件64被配置为控制脉冲发生器/接收器62。根据图15中所示的结构，脉冲发生器/接收器62耦接到由履带车辆52携带的2-D传感器阵列60。脉冲发生器/接收器62向2-D传感器阵列60发送脉冲并从2-D传感器阵列60接收返回信号。在计算机系统40上运行的NDI扫描应用软件64控制图像扫描数据的所有细节以及该数据的显示。
另外，计算机系统40包括输出相对位置数据26的图像处理和特征点比较模块24。运动控制应用程序68被配置为基于从图像处理和特征点比较模块24接收的定位更新来控制履带车辆52的运动以继续沿着原始预定义(计划的)扫描路径。根据一个实施例，运动控制应用软件68配置为在完成使用相对位置数据26跟踪运动之后估计履带车辆52在绝对坐标中的位置。可以周期性地检查停止的装置的当前位置，以确定其可能偏移期望位置的程度。根据本文的教导，可以通过以较低的更新速率获得准确的绝对测量来对相对运动测量进行校正。该绝对测量处理(在目标物体停止时执行)可以集成到以较高更新速率运行的相对运动测量系统中，该相对运动测量系统在目标物体移动时获取相对运动测量。根据下文公开的一个实施例，基于较低更新速率局部定位系统的过程提供对较高更新速率定位过程的校正。
除了映射表面下特征之外，可以使用绝对位置测量来映射(map)目标物体中的表面和表面下异常的位置。将缺陷尺寸、形状和深度映射到目标物体的CAD模型将允许结构中的缺陷的有限元分析、其对结构性能的影响的分析以及修复分析和规划。
仅创建合成扫描图像的处理器需要访问NDI扫描图像和相对位置数据两者。根据一些实施例，可以由NDI传感器数据处理器20处理构建合成扫描图像的任务。根据其他实施例，由单独的过程(或处理器)来处理合成扫描图像的创建任务。在典型的应用中，由从原始NDI传感器数据创建单独图像的相同处理器来处理将单独扫描图像结合成更大的合成扫描图像(因为硬件是由销售商封包的，以便于将其装在单个单元中)。但是不必以这种方式进行这种图像处理。在替代方案中，可以由NDI传感器数据处理器20输出各个单独扫描图像，并将其发送到单独的处理器，以将扫描图像拼接在一起以形成单个大的合成扫描图像。
通过图像处理方法分析NDI扫描图像对之间的共同特征以找到每个扫描图像中的相同共同特征之间的位置差值，使得合成扫描图像拼接方法知道这些图像彼此偏移多少。通过了解该信息(共同特征位置和定向差值)，可以正确地将当前扫描图像与合成扫描图像对准。如果图像中的共同特征被对准，则图像被对准。这种对准独立于位置和定向跟踪数据的产生，这意指即使跟踪数据中的误差增加，扫描图像仍将被对准。
可以手动地(人工辅助的)执行定位跟踪校正，其中人识别CAD模型数据和NDI扫描图像数据中的共同已知地标，并且执行估计以与已知坐标对准。或者可以通过使用适当准备的参考图像来自动化校正过程。这些参考图像可以来自已经识别出地标的坐标的先前NDI扫描，或者数据可以来自具有用于地标的已知坐标的CAD模型数据。
根据所提出的一种实施方式，2-D传感器阵列采取超声换能器元件阵列的形式，超声换能器元件被配置为能够产生和显示小面积的C扫描。可以采用许多不同的超声换能器元件配置。例如，超声换能器阵列可以包括以像素型配置布置成行和列的发射/接收电极的阵列。在可选配置中，超声换能器阵列包括一组相互平行的细长发射电极，其以非零角度与一组相互平行的细长接收电极重叠和交叉。在需要检测结构中的缺陷或异常的各种工业中，诸如在飞机、汽车、海洋或建筑业中，可以使用超声换能器阵列来检查任何数量的结构。该超声换能器阵列能够检测该结构的表面内或表面上的任何数量的缺陷或异常，诸如冲击损坏(例如，分层和基体开裂)、脱粘(例如，机身/增强构件或蜂窝合成材料)、不连续性、空隙，或孔隙度，这些可能不利地影响该结构的性能。
在本文已经将某些系统、设备、应用或过程描述为包括多个模块。模块可以是除了优选地被实施为硬件或固件以实现如本文所公开的流式计算的那些模块之外，可以是以软件、硬件或其组合中实现的不同功能的单元。当通过软件在任何部分中执行模块的功能时，模块可以包括非暂时性有形计算机可读存储介质。
虽然已经参照特定实施例描述了用于使用从目标物体获取的扫描图像来跟踪NDI扫描仪的位置的系统和方法，但是本领域技术人员将理解，在不脱离本文教导的范围的情况下，可以进行各种改变并且可以用等同物替代其元件。此外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使特定情形适应于本文的教导。因此，意图是下文阐述的权利要求不限于所公开的实施例。
如本文所使用的，术语“计算机系统”应当被广义地解释为包括具有至少一个计算机或处理器的系统，并且其可以具有借助于网络或总线可通信地耦接的多个计算机或处理器。如在前一句中所使用的，术语“计算机”和“处理器”均指包括处理单元(例如，中央处理单元)和用于存储可由处理单元读取的程序的某种形式的存储器(例如，非暂时性有形计算机可读存储介质)的装置。
本文描述的方法可以被编码为包括在非暂时性有形计算机可读存储介质中的可执行指令，该非暂时性有形计算机可读存储介质包括但不限于存储装置和/或存储器装置。此类指令在由处理器或计算机执行时致使该处理器或计算机执行在本文所描述的方法的至少一部分。
本文所阐述的方法权利要求不应解释为要求以字母顺序(权利要求书中的任何字母顺序仅用于引用先前叙述的步骤的目的)或以它们叙述的顺序来执行其中叙述的步骤，除非权利要求语言明确指定或陈述指示其中执行这些步骤中的一些或全部的特定顺序的条件。也不应将方法权利要求解释为排除同时或交替执行的两个或更多个步骤的任何部分，除非权利要求语言明确陈述了排除这种解释的条件。例如，可以单独或同时执行确定哪些特征点是共同特征点以及计算共同特征点之间的像素位置差值的步骤。
此外，本公开包括根据以下项的实施例：
项1.一种用于跟踪扫描仪的位置的方法，该方法包括：
(a)将扫描仪(14)的传感器阵列(60)放置在目标物体(30)的表面(31)附近，使得传感器阵列覆盖目标物体的第一结构特征(11)，其中传感器阵列上的参考点在第一位置处，该第一位置在目标物体的表面上具有已知的第一X位置坐标和第一Y位置坐标，其中传感器阵列是二维的；
(b)当参考点处于第一位置时，从目标物体的面对传感器阵列的第一部分获取第一组传感器数据；
(c)将第一组传感器数据转换为第一扫描图像(42a)的第一扫描图像数据；
(d)在目标物体的表面上平移扫描仪直到参考点处于与第一位置相距一定距离的第二位置处同时传感器阵列再次覆盖第一结构特征；
(e)当参考点处于第二位置时，从目标物体的面对传感器阵列的第二部分获取第二组传感器数据；
(f)将第二组传感器数据转换为第二扫描图像(42b)的第二扫描图像数据；
(g)找到第一扫描图像和第二扫描图像中的特征点(48)；
(h)确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点(48a)；
(i)计算共同特征点之间的像素位置差值；和
(j)至少部分地基于第一Y位置坐标和在步骤(i)中计算的像素位置差值，计算在目标物体的表面上的第二位置处的参考点的第二Y位置坐标。
2.如项1所述的方法，其中步骤(j)包括：
计算第一像素偏移，该第一像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的传感器阵列的像素行的数量；
将第一像素偏移乘以相邻传感器行之间的距离以形成乘积，该乘积等于在步骤(d)期间扫描仪在垂直于传感器行的方向上平移的第一距离；和
将第一距离与第一Y位置坐标相加，以得到参考点的第二Y位置坐标。
3.如项1-2中任一项所述的方法，进一步包括：
(k)至少部分地基于第一X位置坐标和在步骤(i)中计算的像素位置差值，计算参考点在目标物体的表面上的第二X位置坐标。
4.如项3所述的方法，进一步包括计算具有第一X位置坐标和第一Y位置坐标的第一点与具有第二X位置坐标和第二Y位置坐标的第二点之间的距离。
5.如项3-4中任一项所述的方法，其中步骤(j)包括：
计算第一像素偏移，该第一像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素行的数量；
将第一像素偏移乘以相邻传感器行之间的距离以形成乘积，该乘积等于在步骤(d)期间扫描仪在垂直于传感器行的方向上平移的第一距离；和
将第一距离与第一Y位置坐标相加得到第二Y位置坐标，其中步骤k包括：
计算第二像素偏移，该第二像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素列的数量；
将第二像素偏移乘以相邻传感器列之间的距离以形成乘积，该乘积等于在步骤(k)期间扫描仪在平行于传感器行的方向上平移的第二距离；和
将第二距离与第一X位置坐标相加而得到第二X位置坐标。
6.如项3-5中任一项所述的方法，还包括通过使用第一扫描图像和第二扫描图像中的共同特征点将第二扫描图像中的第二扫描图像数据与第一扫描图像中的第一扫描图像数据对准，来处理第一扫描图像和第二扫描图像以形成合成扫描图像(30)。
7.如项6所述的方法，进一步包括：
在合成扫描图像中找到表示目标物体中的第二结构特征的特征点；
至少部分地基于参考点的第一Y位置坐标来计算特征点的第三Y位置坐标；和
至少部分地基于参考点的第一X位置坐标来计算特征点的第三X位置坐标。
8.一种用于跟踪扫描仪的位置的方法，该方法包括：
(a)将扫描仪(14)的传感器阵列(60)邻近目标物体(30)的表面(31)放置，使得传感器阵列覆盖目标物体的第一结构特征和第二结构特征(11)并且以已知的第一定向角定向；
(b)当传感器阵列以第一定向角定向时，从目标物体的面对传感器阵列的第一部分获取第一组传感器数据；
(c)将第一组传感器数据转换为第一扫描图像(42a)的第一扫描图像数据；
(d)定向扫描仪，使得传感器阵列具有不同于第一定向角的第二定向角，并且再次覆盖第一结构特征和第二结构特征；
(e)当传感器阵列以第二定向角定向时，从目标物体的面对传感器阵列的第二部分获取第二组传感器数据；
(f)将第二组传感器数据转换为第二扫描图像(42b)的第二扫描图像数据；
(g)找到第一扫描图像和第二扫描图像中的特征点(48)；
(h)确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点(48a)；
(i)计算第一共同特征点和第二共同特征点之间的像素位置差值；和(j)至少部分地基于第一定向角度和连接第一共同特征点和第二共同特征点在第一扫描图像中的相应位置的第一线的第一角度与连接第一共同特征点和第二共同特征点在第二扫描图像中的相应位置的第二线的第二角度之间的差值，计算第二定向角度。
9.如项8所述的方法，其中步骤(i)包括：
计算第一像素偏移，该第一像素偏移等于第二共同特征点在第一扫描图像中的位置相对于第一共同特征点在第一扫描图像中的位置偏移的像素行的数量；
计算第二像素偏移，该第二像素偏移等于第二共同特征点在第一扫描图像中的位置相对于第一共同特征点在第一扫描图像中的位置偏移的像素列的数量；
计算第三像素偏移，该第三像素偏移等于第二共同特征点在第二扫描图像中的位置相对于第一共同特征点在第二扫描图像中的位置偏移的像素行的数量；和
计算第四像素偏移，该第四像素偏移等于第二共同特征点在第二扫描图像中的位置相对于第一共同特征点在第二扫描图像中的位置偏移的像素列的数量；
其中，该第一角度的正切值等于第一像素偏移与第二像素偏移的比值，该第二角度的正切值等于第三像素偏移与第四像素偏移的比值。
10.如项8-9中任一项所述的方法，还包括通过使用第一扫描图像和第二扫描图像中的共同特征点将第二扫描图像中的第二扫描图像数据与第一扫描图像中的第一扫描图像数据对准，来处理第一扫描图像和第二扫描图像以形成合成扫描图像(30)。
11.如项10所述的方法，其中合成扫描图像包括来自第一扫描图像的像素数据和来自第二扫描图像的不与第一扫描图像重叠的部分的像素数据。
12.如项10-11中任一项所述的方法，其中合成扫描图像包括：
来自第一扫描图像的不与第二扫描图像重叠的第一部分的像素数据；
来自第二扫描图像的不与第一扫描图像重叠的第一部分的像素数据；和
像素数据，该像素数据是来自第二扫描图像的与第一扫描图像重叠的第二部分的像素数据和来自第一扫描图像的与第二扫描图像重叠的第二部分的像素数据的混合。
13.如项10-12中任一项所述的方法，进一步包括：
在合成扫描图像中找到与目标物体中的第二结构特征相关联的特征点；
至少部分地基于参考点的第一Y位置坐标来计算特征点的第三Y位置坐标；和
至少部分地基于参考点的第一X位置坐标来计算特征点的第三X位置坐标。
14.一种系统，包括框架(2)、由框架支撑并包括传感器(60)的二维阵列的扫描仪(14)、机器人系统(50)以及计算机系统(40)，该机器人系统(50)被配置为能够使框架机动化运动，该计算机系统(40)被通信地耦接以从传感器接收传感器数据并且向机器人系统发送控制信号以用于控制框架的机动化移动并且被配置为执行以下操作，该操作包括：
(a)当传感器阵列覆盖目标物体(30)的第一结构特征(11)时，激活传感器，其中传感器阵列上的参考点位于目标物体的表面上具有已知的第一X位置坐标和第一Y位置坐标的第一位置；
(b)当参考点处于第一位置时，接收从目标物体的面对传感器阵列的第一部分采集的第一组传感器数据；
(c)将第一组传感器数据转换为第一扫描图像(42a)的第一扫描图像数据；
(d)在传感器阵列覆盖目标物体的第一结构特征的同时激活传感器，其中参考点位于距离第一位置一定距离的第二位置；
(e)当参考点处于第二位置时，接收从目标物体的面对传感器阵列的第二部分采集的第二组传感器数据；
(f)将第二组传感器数据转换为第二扫描图像(42b)的第二扫描图像数据；
(g)找到第一扫描图像和第二扫描图像中的特征点(48)；
(h)确定在步骤(g)中找到的哪些特征点是第一扫描图像和第二扫描图像中的共同特征点(48a)；
(i)计算共同特征点之间的像素位置差值；和
(j)至少部分地基于第一Y位置坐标和在步骤(i)中计算的像素位置差值，计算在目标物体的表面上的第二位置处的参考点的第二Y位置坐标。
15.如项14所述的系统，其中操作(j)包括：
计算第一像素偏移，该第一像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素行的数量；
将第一像素偏移乘以相邻传感器行之间的距离以形成乘积，该乘积等于在步骤d期间扫描仪在垂直于传感器行的方向上平移的第一距离；和
将第一距离与第一Y位置坐标相加，得到参考点的第二Y位置坐标。
16.如项14-15中任一项所述的系统，其中计算机系统进一步被配置为：
(k)至少部分地基于第一X位置坐标和在步骤(i)中计算的像素位置差值计算参考点在目标物体的表面上的第二X位置坐标。
17.如项16所述的系统，其中计算机系统进一步被配置为计算在目标物体的表面上具有第一X位置坐标和第一Y位置坐标的第一点与在目标物体的表面上具有第二X位置坐标和第二Y位置坐标的第二点之间的距离。
18.如项15-17中任一项所述的系统，其中操作(j)包括：
计算第一像素偏移，该第一像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素行的数量；
将第一像素偏移乘以相邻传感器行之间的距离以形成乘积，该乘积等于在步骤d期间扫描仪在垂直于传感器行的方向上平移的第一距离；和
将第一距离与第一Y位置坐标相加，得到第二Y位置坐标，其中，操作k包括：
计算第二像素偏移，该第二像素偏移等于共同特征点在第二扫描图像中的位置相对于共同特征点在第一扫描图像中的位置偏移的像素列的数量；
将第二像素偏移乘以相邻传感器列之间的距离以形成乘积，该乘积等于在步骤(k)期间扫描仪在平行于传感器行的方向上平移的第二距离；以及
将第二距离与第一X位置坐标相加，得到第二X位置坐标。
19.如项15-18中任一项所述的系统，其中计算机系统进一步被配置为通过使用第一扫描图像和第二扫描图像中的共同特征点将第二扫描图像中的第二扫描图像数据与第一扫描图像中的第一扫描图像数据对准来处理第一扫描图像和第二扫描图像以形成合成扫描图像(30)。
20.如项19所述的系统，其中计算机系统进一步被配置为执行多个操作，该操作包括：
在合成扫描图像中找到与目标物体中的第二结构特征(11)相关联的特征点(48)；
至少部分地基于参考点的第一Y位置坐标来计算特征点的第三Y位置坐标；和
至少部分地基于参考点的第一X位置坐标来计算特征点的第三X位置坐标。

Claims (10)

1.一种用于跟踪扫描仪的位置的方法，所述方法包括：
(a)将扫描仪(14)的传感器阵列(60)邻近目标物体(30)的表面(31)放置，使得所述传感器阵列以所述传感器阵列上的参考点在所述目标物体的所述表面上的第一位置的方式覆盖所述目标物体的第一结构特征(11)，其中，所述第一位置在所述目标物体的所述表面上具有已知的第一X位置坐标和第一Y位置坐标，其中所述传感器阵列是二维的；
(b)当所述参考点处于所述第一位置时，从所述目标物体的面对所述传感器阵列的第一部分获取第一组传感器数据；
(c)将所述第一组传感器数据转换为第一扫描图像(42a)的第一扫描图像数据；
(d)在所述目标物体的所述表面上平移所述扫描仪，直到所述参考点位于与所述第一位置相距一定距离的第二位置处，同时所述传感器阵列再次覆盖所述第一结构特征；
(e)当所述参考点处于所述第二位置时，从所述目标物体的面对所述传感器阵列的第二部分获取第二组传感器数据；
(f)将所述第二组传感器数据转换为第二扫描图像(42b)的第二扫描图像数据；
(g)找到所述第一扫描图像和所述第二扫描图像中的特征点(48)；
(h)确定在步骤(g)中找到的哪些特征点是所述第一扫描图像和所述第二扫描图像中的共同特征点(48a)；
(i)计算所述共同特征点之间的像素位置差值；和
(j)至少部分地基于所述第一Y位置坐标和在步骤(i)中计算的所述像素位置差值，计算在所述目标物体的所述表面上的所述第二位置处的所述参考点的第二Y位置坐标。
2.根据权利要求1所述的方法，其中，步骤(j)包括：
计算第一像素偏移，所述第一像素偏移等于所述共同特征点在所述第二扫描图像中的位置相对于所述共同特征点在所述第一扫描图像中的位置偏移的所述传感器阵列的像素行的数量；
将所述第一像素偏移乘以相邻传感器行之间的距离以形成乘积，所述乘积等于在步骤(d)期间所述扫描仪在垂直于所述传感器行的方向上平移的第一距离；和
将所述第一距离与所述第一Y位置坐标相加，得到所述参考点的所述第二Y位置坐标。
3.根据权利要求1至2中任一项所述的方法，进一步包括：
(k)至少部分地基于所述第一X位置坐标和在步骤(i)中计算的所述像素位置差值，计算所述参考点在所述目标物体的所述表面上的第二X位置坐标。
4.根据权利要求3所述的方法，进一步包括计算具有所述第一X位置坐标和所述第一Y位置坐标的第一点与具有所述第二X位置坐标和所述第二Y位置坐标的第二点之间的距离。
5.根据权利要求3至4中任一项所述的方法，其中，步骤(j)包括：
计算第一像素偏移，所述第一像素偏移等于所述共同特征点在所述第二扫描图像中的位置相对于所述共同特征点在所述第一扫描图像中的位置偏移的像素行的数量；
将所述第一像素偏移乘以相邻传感器行之间的距离以形成等于在步骤(d)期间所述扫描仪在垂直于所述传感器行的方向上平移的第一距离的乘积；和
将所述第一距离与所述第一Y位置坐标相加得到所述第二Y位置坐标，其中，步骤(k)包括：
计算第二像素偏移，所述第二像素偏移等于所述共同特征点在所述第二扫描图像中的位置相对于所述共同特征点在所述第一扫描图像中的位置偏移的像素列的数量；
将所述第二像素偏移乘以相邻传感器列之间的距离以形成等于在步骤(d)期间所述扫描仪在平行于所述传感器行的方向上平移的第二距离的乘积；和
将所述第二距离与所述第一X位置坐标相加，得到所述第二X位置坐标。
6.根据权利要求3至5中任一项所述的方法，进一步包括通过使用所述第一扫描图像和所述第二扫描图像中的所述共同特征点将所述第二扫描图像中的所述第二扫描图像数据与所述第一扫描图像中的所述第一扫描图像数据对准，来处理所述第一扫描图像和所述第二扫描图像以形成合成扫描图像(30)。
7.根据权利要求6所述的方法，进一步包括：
在所述合成扫描图像中找到表示所述目标物体中的第二结构特征的特征点；
至少部分地基于所述参考点的所述第一Y位置坐标来计算所述特征点的第三Y位置坐标；和
至少部分地基于所述参考点的所述第一X位置坐标来计算所述特征点的第三X位置坐标。
8.一种用于跟踪扫描仪的位置的方法，所述方法包括：
(a)将扫描仪(14)的传感器阵列(60)邻近目标物体(30)的表面(31)放置，使得所述传感器阵列覆盖所述目标物体的第一结构特征和第二结构特征(11)并且以已知的第一定向角定向；
(b)当所述传感器阵列以所述第一定向角定向时，从所述目标物体的面对所述传感器阵列的第一部分获取第一组传感器数据；
(c)将所述第一组传感器数据转换为第一扫描图像(42a)的第一扫描图像数据；
(d)定向所述扫描仪，使得所述传感器阵列具有不同于所述第一定向角的第二定向角，并且再次覆盖所述第一结构特征和所述第二结构特征；
(e)当所述传感器阵列以所述第二定向角定向时，从所述目标物体的面对所述传感器阵列的第二部分获取第二组传感器数据；
(f)将所述第二组传感器数据转换为第二扫描图像(42b)的第二扫描图像数据；
(g)找到所述第一扫描图像和所述第二扫描图像中的特征点(48)；
(h)确定在步骤(g)中找到的哪些特征点是所述第一扫描图像和所述第二扫描图像中的共同特征点(48a)；
(i)计算第一共同特征点和第二共同特征点之间的像素位置差值；和
(j)至少部分地基于所述第一定向角和连接所述第一共同特征点和所述第二共同特征点在所述第一扫描图像中的相应位置的第一线的第一角度与连接所述第一共同特征点和第二共同特征点在所述第二扫描图像中的相应位置的第二线的第二角度之间的差值，计算所述第二定向角。
9.根据权利要求8所述的方法，其中，步骤(i)包括：
计算第一像素偏移，所述第一像素偏移等于所述第二共同特征点在所述第一扫描图像中的位置相对于所述第一共同特征点在所述第一扫描图像中的位置偏移的像素行的数量；
计算第二像素偏移，所述第二像素偏移等于所述第二共同特征点在所述第一扫描图像中的位置相对于所述第一共同特征点在所述第一扫描图像中的位置偏移的像素列的数量；
计算第三像素偏移，所述第三像素偏移等于所述第二共同特征点在所述第二扫描图像中的位置相对于所述第一共同特征点在所述第二扫描图像中的位置偏移的像素行的数量；和
计算第四像素偏移，所述第四像素偏移等于所述第二共同特征点在所述第二扫描图像中的位置相对于所述第一共同特征点在所述第二扫描图像中的位置偏移的像素列的数量；
其中，所述第一角度的正切值等于所述第一像素偏移与所述第二像素偏移的比值，所述第二角度的正切值等于所述第三像素偏移与所述第四像素偏移的比值。
10.一种用于跟踪扫描仪的位置的系统，包括框架(2)、由所述框架支撑并包括二维的传感器阵列(60)的扫描仪(14)、机器人系统(50)以及计算机系统(40)，所述机器人系统(50)被配置为能够使所述框架机动化运动，所述计算机系统(40)被通信地耦接以从所述传感器阵列中的传感器接收传感器数据并且向所述机器人系统发送控制信号以用于控制所述框架的机动化移动并且被配置为执行以下操作，所述操作包括：
(a)当所述传感器阵列以所述传感器阵列上的参考点位于目标物体的表面上的第一位置的方式覆盖所述目标物体(30)的第一结构特征(11)时，激活所述传感器，其中，所述第一位置在所述目标物体的所述表面上具有已知的第一X位置坐标和第一Y位置坐标；
(b)当所述参考点处于所述第一位置时，接收从所述目标物体的面对所述传感器阵列的第一部分获取的第一组传感器数据；
(c)将所述第一组传感器数据转换为第一扫描图像(42a)的第一扫描图像数据；
(d)在所述传感器阵列在所述参考点位于距离所述第一位置一定距离的第二位置覆盖所述目标物体的所述第一结构特征时，激活所述传感器；
(e)当所述参考点处于所述第二位置时，接收从所述目标物体的面对所述传感器阵列的第二部分获取的第二组传感器数据；
(f)将所述第二组传感器数据转换为第二扫描图像(42b)的第二扫描图像数据；
(g)找到所述第一扫描图像和所述第二扫描图像中的特征点(48)；
(h)确定在步骤(g)中找到的哪些特征点是所述第一扫描图像和所述第二扫描图像中的共同特征点(48a)；
(i)计算所述共同特征点之间的像素位置差值；和
(j)至少部分地基于所述第一Y位置坐标和在步骤(i)中计算的所述像素位置差值，计算在所述目标物体的所述表面上的所述第二位置处的所述参考点的第二Y位置坐标。
CN202010724762.1A 2019-09-24 2020-07-24 用于跟踪扫描仪的位置的方法以及系统 Pending CN112630304A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/580,200 US11635408B2 (en) 2019-09-24 2019-09-24 Method for tracking location of two-dimensional non-destructive inspection scanner on target object using scanned structural features
US16/580,200 2019-09-24

Publications (1)

Publication Number Publication Date
CN112630304A true CN112630304A (zh) 2021-04-09

Family

ID=72644158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724762.1A Pending CN112630304A (zh) 2019-09-24 2020-07-24 用于跟踪扫描仪的位置的方法以及系统

Country Status (3)

Country Link
US (1) US11635408B2 (zh)
EP (1) EP3799790B1 (zh)
CN (1) CN112630304A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11548161B2 (en) * 2020-05-14 2023-01-10 The Boeing Company Methods of performing a plurality of operations within a region of a part utilizing an end effector of a robot and robots that perform the methods
US11631184B2 (en) * 2020-09-18 2023-04-18 Spirit Aerosystems, Inc. Feature inspection system
US11961305B2 (en) 2021-09-08 2024-04-16 The Boeing Company Enhanced vehicle navigation using non-destructive inspection one-dimensional sensor arrays
WO2023134867A1 (de) * 2022-01-14 2023-07-20 Siemens Aktiengesellschaft Verfahren und system zur bestimmung der position eines prüfkopfes während einer saft-untersuchung
CN117948915B (zh) * 2024-03-18 2024-05-31 杭州非白三维科技有限公司 一种多追踪头光学追踪三维扫描方法和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711179B2 (en) * 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
US8305432B2 (en) 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
US7743660B2 (en) 2007-06-15 2010-06-29 The Boeing Company System and method for automated inspection of large-scale part
EP2178025B1 (en) 2008-10-14 2011-12-14 Dolphiscan AS Ultrasonic imaging apparatus for reading and decoding machine-readable matrix symbols
US8744133B1 (en) 2010-10-04 2014-06-03 The Boeing Company Methods and systems for locating visible differences on an object
US9182487B2 (en) 2011-06-22 2015-11-10 The Boeing Company Advanced remote nondestructive inspection system and process
US8738226B2 (en) 2011-07-18 2014-05-27 The Boeing Company Holonomic motion vehicle for travel on non-level surfaces
US20140002642A1 (en) * 2012-06-15 2014-01-02 Elmar SWIEGOT Absolute position detection
US8880340B2 (en) 2013-01-04 2014-11-04 The Boeing Company Augmented mobile platform localization
US9470658B2 (en) 2013-03-12 2016-10-18 The Boeing Company Self-contained holonomic tracking method and apparatus for non-destructive inspection
CN105052144B (zh) * 2013-03-12 2019-01-01 寰发股份有限公司 用于可伸缩视频编码的层间预测方法
US10139806B2 (en) * 2015-01-12 2018-11-27 The Boeing Company Systems and methods for coordinate transformation using non-destructive imaging
US10209223B2 (en) 2015-05-26 2019-02-19 The Boeing Company Real-time fusion of ultrasound and eddy current data during non-destructive examination
US10168287B2 (en) 2015-06-12 2019-01-01 The Boeing Company Automated detection of fatigue cracks around fasteners using millimeter waveguide probe
US9689844B2 (en) 2015-07-27 2017-06-27 The Boeing Company Ultrasonic inspection using flexible two-dimensional array applied on surface of article
US9915633B2 (en) 2015-07-28 2018-03-13 The Boeing Company Two-dimensional array depression profiler and measurement device
US9933396B2 (en) 2015-08-26 2018-04-03 The Boeing Company Automated ultrasonic inspection of elongated composite members using single-pass robotic system
WO2018104264A1 (en) 2016-12-05 2018-06-14 3Shape A/S A system and method for replacing a rotational axis decoder in a scanning system
CN107274400B (zh) * 2017-06-21 2021-02-12 歌尔光学科技有限公司 空间定位装置、定位处理方法及装置、虚拟现实系统

Also Published As

Publication number Publication date
US11635408B2 (en) 2023-04-25
US20210089817A1 (en) 2021-03-25
EP3799790A1 (en) 2021-04-07
EP3799790B1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
EP3799790B1 (en) Method for tracking location of two-dimensional non-destructive inspection scanner on target object using scanned structural features
US11044011B2 (en) Automated scanning systems for non-destructive inspection of curved cylinder-like workpieces
EP3798677B1 (en) System and method for continual localization of scanner using non-destructive inspection data
JP7232581B2 (ja) 自動装置の伸長リーチアームのツール保持端部の安定化
JP7353021B2 (ja) 位置アライメントフィードバックを用いた、ロボットのエンドエフェクタの位置制御方法
US10634632B2 (en) Methods for inspecting structures having non-planar surfaces using location alignment feedback
US6636581B2 (en) Inspection system and method
US9221506B1 (en) Location tracking and motion control of automated marking device
CN105382631B (zh) 一种五轴数控机床旋转轴误差的检测设备和方法
US20140305216A1 (en) Apparatus for Automated Non-Destructive Inspection of Airfoil-Shaped Bodies
WO2014143315A1 (en) Self-contained holonomic tracking method and apparatus for non-destructive inspection
EP2570241A2 (en) Robot system and imaging method
JP2003530561A (ja) 測定装置及び方法
CN111457871A (zh) 非破坏性检查设备和检查测试物品的方法
EP3567340A1 (en) Visual inspection arrangement
CN112508933B (zh) 一种基于复杂空间障碍物定位的柔性机械臂运动避障方法
US11961305B2 (en) Enhanced vehicle navigation using non-destructive inspection one-dimensional sensor arrays
US20240221385A1 (en) Enhanced Vehicle Navigation Using Non-Destructive Inspection One-Dimensional Sensor Arrays
US20240070910A1 (en) Processing method and processing device for generating cross-sectional image from three-dimensional position information acquired by visual sensor
CN114964185A (zh) 一种空间数据测量装置及其测量方法
CN115752294A (zh) 一种航空发动机大型复杂轴类三维表面轮廓测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination