CN109079775A - 使用方位对准反馈来控制机器人末端执行器的方位的方法 - Google Patents

使用方位对准反馈来控制机器人末端执行器的方位的方法 Download PDF

Info

Publication number
CN109079775A
CN109079775A CN201810605278.XA CN201810605278A CN109079775A CN 109079775 A CN109079775 A CN 109079775A CN 201810605278 A CN201810605278 A CN 201810605278A CN 109079775 A CN109079775 A CN 109079775A
Authority
CN
China
Prior art keywords
end effector
orientation
target object
robot
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810605278.XA
Other languages
English (en)
Other versions
CN109079775B (zh
Inventor
J·J·特洛伊
G·E·乔治逊
S·W·莱
D·J·赖特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109079775A publication Critical patent/CN109079775A/zh
Application granted granted Critical
Publication of CN109079775B publication Critical patent/CN109079775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/12—Programme-controlled manipulators characterised by positioning means for manipulator elements electric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/04—Casings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45071—Aircraft, airplane, ship cleaning manipulator, paint stripping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y10S901/44—End effector inspection

Abstract

本申请公开了使用方位对准反馈来控制机器人末端执行器的方位的方法。提供用于使用来自多个距离传感器的实时数据来控制相对平移运动和旋转运动从而进行自动化机器人末端执行器对准的系统和方法。根据一个实施例，对准过程涉及计算偏移距离和旋转角度以将机器人末端执行器引导到相对于目标对象的期望方位。相对校准过程能够开发机器人运动路径规划应用程序，所述应用程序最小化在线和离线的运动路径脚本创建，从而实现更易于使用的机器人应用程序。可以使用相对对准过程与用于目标对象坐标系配准的独立(非机载)方法。一种示例实施方式使用有限状态机配置来控制完整运动机器人平台，所述完整运动机器人平台具有用于基于网格的扫描获取的旋转末端执行器以进行非破坏性检验。

Description

使用方位对准反馈来控制机器人末端执行器的方位的方法
背景技术
本公开总体涉及用于在执行自动化程序(诸如非破坏性检验(NDI)和其他维护操作)期间控制机器人末端执行器相对于目标对象的方位的系统和方法。
现有的机器人编程技术要求将每个单独的机器人运动序列输入运动控制过程(例如，运动脚本)，通常涉及在线教学或离线编程方法-但是这些通常需要来自机器人程序员的高水平的专业知识和努力。
如果机器人与目标对象之间的对准劣化，则标准开环编程技术也存在问题，所述对准劣化可以是在可能不平整、具有裂缝、孔或其他不连续性的表面上移动的基于地面的机器人遇到的情况。现有的开环机器人编程技术不能适应未对准(例如，由于误差随着时间而累积，因此仅航位推算测距技术(dead reckoning odometry)是不够的)。为了解决这种情况，一些方法使用外部硬件以提供扫描器方位的连续闭环反馈。这种示例是运动捕获(参见例如美国专利号7,643,893和8,892,252)，其使用多个相机来跟踪附接到移动目标对象的回射(retro-reflective)光学目标。这些类型的解决方案要求在使用前设置外部硬件，这在某些使用情况下可能出现问题。其他解决方案使用接触对准过程以辅助将末端执行器与工件对准。
发明内容
以下详细公开的主题涉及用于在自动化操作的执行期间控制基于地面的机器人移动平台的末端执行器相对于目标对象的方位的系统和方法。在一些基于地面的机器人移动平台中，机器人包括在其远端处具有腕部的机器人臂，末端执行器附接到所述腕部。工具(例如，NDI传感器)附接到末端执行器。典型地，机器人控制器被配置成控制机器人的各种电动机，使得末端执行器移动到末端执行器和附接到其的工具将与待扫描目标对象的部分正确对准的方位(即，如本文所使用的，术语“方位”包括位置和取向)。
更具体地，本文公开的主题涉及用于使用来自多个距离传感器的实时数据来自动化机器人末端执行器对准以控制相对平移运动和旋转运动的系统和方法。根据一个实施例，对准过程涉及计算偏移距离和旋转角度以将机器人末端执行器引导到相对于目标对象的期望方位。[如本文所使用的，术语“目标偏移距离”是指安装到末端执行器的工具的远端与目标表面之间的期望(即，目标)距离。例如，在非接触式NDI过程的情况下，系统操作员需要指定操作员想要实现的NDI传感器与目标对象之间的目标偏移距离。]相对校准过程能够开发机器人运动路径规划应用程序，其最小化在线和离线的运动路径脚本创建，从而实现更易于使用的机器人应用程序。以下还详细公开了该相对对准过程与用于目标对象坐标系配准的独立(非机载)方法的集成。提供了一种示例实施方式，所述实施方式使用有限状态机配置以控制完整运动机器人平台，所述完整运动机器人平台具有用于基于网格的扫描获取的旋转末端执行器以进行NDI。有限状态机控制应用程序是一种过程，其采用高级目标、来自传感器的反馈、约束条件和触发条件以实时产生被发送到机器人的运动控制器的指令。
以下详细描述的过程通过消除典型机器人路径创建中涉及的许多开环步骤来简化机器人运动路径编程，并且通过提供与末端执行器相对于目标对象的位置和取向相关联的实际测量数据的实时反馈来改进整个系统的稳健性。所公开的过程使用末端执行器与目标对象的位置和取向对准来显著加速和简化机器人路径规划的过程，其中所述位置和取向对准使用多个距离传感器。所述过程还提供适应环境变化的能力，从而提高过程的稳健性。可选地，可以利用定位过程以将NDI扫描数据与目标对象的坐标系进行配准以用于维护/修理使用、以及记录位置信息以用于存档目的。所提出的系统还使得能够将传感器反馈用于机器人运动规划，而不需要在线或离线运动编程。这减少了路径规划准备时间并减少了对操作人员进行专业培训的需求。
为了说明的目的，将详细描述用于使用主动(active)红外热成像对由复合材料(例如，由纤维增强塑料制成的复合层压物)制成的机身部分进行检验的系统和方法。主动(即脉冲式)红外热成像是一种用于航空和发电工业的非破坏性地评估结构部件的子表面缺陷的方法。然而，本文公开的末端执行器对准概念在其应用中不限于红外热成像扫描器被安装到末端执行器的情况。本文公开的对准过程还可以用于对准安装到末端执行器的其他类型的NDI传感器(诸如超声波换能器阵列或涡流传感器)或非NDI工具。
根据使用红外热成像(IRT)扫描器的一些实施例，系统包括具有旋转腕和模块化工具安装件的竖直延伸臂，除了对准传感器元件之外，系统还提供了紧凑且相对低成本的平台，其能够以最小的地面占用面积到达机身周围的所需区域。在一个优选实施例中，竖直延伸臂刚性地联接到完整运动基座平台和包括红外相机的IRT扫描器，并且至少一个闪光灯附接到末端执行器。
虽然以下将详细描述用于控制机器人末端执行器相对于目标对象的方位的系统和方法的各种实施例，但是这些实施例中的一个或多个可以由以下方面中的一个或多个来表征。
以下详细公开的主题的一个方面是一种用于控制机器人移动平台的末端执行器相对于目标对象的方位的方法，其包括：将末端执行器移动到第一方位(例如，开始方位)并且使得机器人控制器能够执行由有限状态机控制应用程序指定的操作，所述操作包括：当末端执行器处于第一方位时，从安装到末端执行器的第一、第二和第三距离传感器获取距离数据，其中所获取的距离数据表示将第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离；以及通过使用距离数据将末端执行器与目标对象对准，使末端执行器从第一方位移动到第一网格方位。根据一些实施例，对准包括旋转末端执行器，使得末端执行器的轴线垂直于目标对象的表面；以及使末端执行器移位，使得末端执行器与目标对象的表面分开目标偏移距离。
先前段落中描述的方法还可以包括：计算外部跟踪系统在目标对象坐标系中的方位的坐标，并且然后将由外部跟踪系统产生的激光束瞄准在目标表面上的指定坐标方位处，由此形成激光点。在该实例中，将末端执行器移动到第一方位包括驱动机器人移动平台，以围绕由外部跟踪系统产生的激光点对准由第一、第二和第三测距仪产生的激光点。该方法还可以包括在末端执行器处于第一网格方位时，使用外部跟踪系统来计算安装到末端执行器的工具在目标对象坐标系中的坐标。
以下详细公开的主题的另一个方面是一种机器人移动平台，其包括：自推进式移动基座平台，其包括多个滚动元件和分别联接到所述多个滚动元件的多个电动机；可竖直延伸桅杆，其由基座平台承载；臂，其具有固定地联接到可垂直延伸桅杆的近端；末端执行器，其可枢转地联接到臂的远端；非瞬态有形计算机可读存储介质，其中存储有限状态机控制应用程序；第一、第二和第三距离传感器，其被安装到末端执行器并且被配置成获取表示将第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离的距离数据；以及控制器，其被配置成控制第一、第二和第三距离传感器的操作并且根据由有限状态机控制应用程序产生的命令使末端执行器相对于地面移动，其中有限状态机控制应用程序包括用于产生可由控制器执行的用于以下操作的指令的方法：使用由第一、第二和第三距离传感器获取的距离数据来移动末端执行器。
以下详细公开的主题的又一个方面是一种用于控制机器人移动平台的末端执行器相对于目标对象的方位的方法，其包括使得机器人控制器能够执行由有限状态机控制应用程序指定的操作，所述操作包括：(a)根据表示网格图案的预存储网格图案数据，将末端执行器移动到不与目标对象的表面接触的标称方位；(b)在末端执行器处于未对准方位时，从安装到末端执行器的第一、第二和第三距离传感器获取距离数据，其中所获取的距离数据表示将第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离；(c)通过使用距离数据将末端执行器与目标对象对准，使末端执行器从未对准方位移动到对准方位；(d)当末端执行器处于对准方位时，激活安装到末端执行器的工具；以及(e)对网格图案的多个对准方位中的每一个重复步骤(a)至(d)。根据一些实施例，对准包括旋转末端执行器，使得末端执行器的轴线垂直于目标对象的表面；以及使末端执行器移位，使得末端执行器与目标对象的表面分开目标偏移距离。
以下公开了用于控制机器人末端执行器的方位的系统和方法的其他方面。
附图说明
先前部分中讨论的特征、功能和优点可以在各种实施例中独立实现，或者可以在另外的其他实施例中组合。出于说明上述和其他方面的目的，下文将参考附图描述各种实施例。本节中简要描述的图表均未按比例绘制。
图1是标识用于机身部分的热图像成像的系统的一些部件的框图。
图2是表示根据一个实施例的基于地面的机器人NDI移动平台的侧视图的图。
图3是表示根据另一个实施例的基于地面的机器人NDI移动平台的侧视图的图。
图4是表示图3中描绘的机器人NDI移动平台的一些部件的分解图的图。
图5是表示在扫描由复合材料制成的弯曲工件的过程中的基于地面的机器人NDI移动平台的透视图的图。(安装到机器人末端执行器的激光测距仪在图5中未示出，但在图6中示出。)
图6是表示图5中描绘的机器人NDI移动平台的一部分的侧视图的图，所述部分包括末端执行器和安装到末端执行器的三个激光测距仪。
图7是表示安装到图5中描绘的机器人NDI移动平台的末端执行器的红外热成像扫描器的透视图的图。
图8是表示图7中描绘的红外热成像扫描器的前视图的图。
图9是标识根据一些实施例的对准系统的一些部件的框图。
图10是表示用于大型工件的IRT检验的扫描图案(3×2)的图。
图11是标识根据一个实施例的采用末端执行器对准过程的非破坏性检验方法的一些步骤的流程图。
图11A和图11B(结合)形成标识图11中以高级描绘的方法中采用的对准过程有限状态机所执行的一些步骤的流程图。
图12是表示使用局部定位系统(LPS)的扫描区域边界测量的图。
图13是表示使用LPS的机器人系统的初始方位对准的图。
图14是表示根据一个实施例的执行机器人对零件定位过程的LPS的透视图的图。
图15A至图15C分别表示三个激光测距仪的前视图、侧视图和顶视图，所述三个激光测距仪在公共平面中以三角形图案布置并且指向目标对象表面上的相应点，激光测距仪和点被相应的距离分开。
图16是表示具有四个麦克纳姆轮的完整运动基座平台的顶视图的图，其中各种尺寸由双头箭头指示。
图17是标识根据一些实施例的用于大型复合结构的红外热成像检验的系统的一些部件的框图。
以下将参考附图，其中不同附图中的类似元件具有相同的附图标记。
具体实施方式
以下详细介绍的过程提供了一种用于自动化任务(如大表面(诸如飞机机身)上的NDI扫描)的方式。所述过程还提供了一种易于使用的高级接口，所述接口能够通过最少的指令来实现扫描序列定义，从而消除了对定制路径编程的需要。以下描述的系统具有用于与目标对象相对对准的机载反馈传感器，其不需要来自外部传感器的连续反馈。解决方案涉及用于获取距离测量数据、计算距离和角度对准、以及利用有限状态机控制应用程序来控制对准过程的技术。
此外，还包括一种独立定位过程，以提供目标对象的局部坐标系中限定的扫描区域的三维(3D)方位数据。这允许对与其他参考信息(诸如3D计算机辅助设计(CAD)模型)对准的扫描数据进行后处理。也可以使用定位过程来执行扫描系统与目标对象的初始对准。
为了说明的目的，现在将详细描述用于使用主动热成像对由复合材料(例如，由纤维增强塑料制成的复合层压物)制成的机身部分进行非破坏性检验的系统和方法。然而，不是实际实施方式的所有特征都在本说明书中进行描述。本领域技术人员应当理解的是，在任何这样的实施例的开发中，必须做出许多实施方式特定的决策以实现开发人员的特定目标(诸如符合系统相关约束和业务相关约束)，所述目标将在不同实施方式间改变。此外，应当理解的是，这种开发努力可能是复杂且耗时的，但是仍将是受益于本公开的本领域普通技术人员的常规任务。
红外热成像方法和装置使得能够执行材料的非破坏性测试，以便检测缺陷、材料性质的变化、或材料的涂层或层的厚度差异。红外成像可以检测材料表面处或其下方的热扩散率或热导率的局部变化。红外热成像可用于金属(诸如含铁材料，包括钢)或非金属材料(诸如塑料、陶瓷或复合材料)。
主动(active)热成像用于针对子表面缺陷来非破坏性地评估样品。它对揭示内部粘合不连续性、分层、空隙、夹杂物和其他结构缺陷是有效的，这些缺陷通过对样品的视觉检验是不可检测的。通常，主动热成像包括加热或冷却样品以产生样品温度与环境温度之间的差异，并且然后观察样品随着其温度返回环境温度而发出的红外热特征。使用红外相机是因为它能够检测冷却行为中的任何异常，其可能是由于子表面缺陷阻碍热量从样品表面到样品内部的扩散而引起的。更具体地，这些缺陷致使缺陷正上方的表面以不同于周围无缺陷区域的速率冷却。随着样品冷却，红外相机监测并记录指示表面温度的图像时间序列，由此创建随时间推移的表面温度改变的记录。
通常，使用闪光灯来加热材料的表面，并且在固定时间段之后，拍摄已加热材料的表面的热图像。用于热成像加热的系统通常采用氙闪光管和现成照相电源以用于样品激发。红外相机对来自材料表面的红外光谱辐射进行成像，所述红外光谱辐射代表材料表面的温度。材料表面的温度差异指示材料的不同热特性。材料热特性的这些变化指示可能的材料缺陷或包括异物。
通过了解红外相机视场在机身部分表面上的确切方位来获得红外特征处理所需的结构厚度和堆叠几何结构。
图1是标识用于机身部分2的热图像成像的系统的一些部件的框图。红外热成像检验系统包括数字红外相机4，所述数字红外相机4具有被引导通过机罩12中的相机镜头孔径5的镜头，所述机罩12被设计为形成与被检验表面相邻的带机罩的外壳。一对闪光灯6a和6b设置在机罩12的内部并与机罩12形成固定空间关系。响应于来自红外热成像计算机8的触发信号，闪光灯6a和6b产生闪光，所述红外热成像计算机8也控制红外相机4的操作。适用于与本文公开的至少一些实施例一起使用的一种类型的红外相机4的一个示例包括被配置成充当光谱辐射计的焦平面阵列(FPA)装置。例如，在美国专利7,186,981中可以找到关于可以包括在一定类型的闪光灯组件中的其他部件的更多细节，所述类型的闪光灯组件包括红外相机、一对闪光灯和机罩。
根据一种热成像检验方法，首先触发闪光灯6a和6b以便将热量传递到机身部分2的复合材料。优选地，在复合材料的冷却期间，周期性地触发红外相机4以捕获机身部分2的加热部分的变化光谱辐射的连续数字图像。优选地，被检验的复合材料的热激发(加热)区域将在激发源移除之后单调地冷却，直到样品与其周围环境达到热平衡。由红外相机4捕获的数字红外成像数据被红外热成像计算机8接收以用于处理。红外热成像计算机8被编程以处理红外成像数据以检测和定位材料边缘、材料表面下方的异物、或其他材料异常(诸如分层和超出容差的孔隙度)。红外成像数据可以显示在显示监视器(图1中未示出)上，所述显示监视器可以与红外热成像计算机8集成或分离。
根据图1中描绘的实施例，红外热成像计算机8可以具有数字图像获取能力，以便将来自红外相机4的红外成像数据转换为可以由红外热成像计算机8分析和数学操纵的格式。可选的数据获取模块10可以合并在红外热成像计算机8中或与其分离(如图1中描绘的)。如果在复合结构表面太大而无法装配到单个图像帧的情况下，红外相机4捕获多个空间不同的图像以产生复合结构表面的完全拼接图像，则可以使用数据获取模块10。红外热成像计算机8可以被进一步编程以分析由红外相机4捕获的红外成像数据。具体地，可以分析机身部分2随着其返回室温的表面温度响应的时间历史以检测复合材料中的缺陷的存在。
在检验机身部分的具体应用的背景下，非破坏性检验系统可以包括用于从机身部分外部的有利点扫描机身部分蒙皮的装置。在以下公开的实施例中，外部扫描装置包括配备有红外相机的机器人。机器人包括可移动机器人基座和具有联接到机器人基座的近端的机器人臂。机器人基座可以是移动的完整履带式车。红外热成像扫描器联接到机器人臂的远端。红外热成像扫描器包括红外相机和附接在机罩内的两个或更多个闪光灯。机罩的尺寸可以被设计成覆盖机身部分的外表面上的方形区域。可以基于使用局部定位系统对机器人基座相应方位的测量，将从相邻方形区域获取的红外成像数据缝接(stitch)在一起。缝接过程可以实时执行或者可以稍后执行。
现在将详细描述被配置成使用本文公开的方位对准反馈概念的NDI系统的各种实施例。根据一些实施例，NDI系统是具有末端执行器的自动化平台，其能够从飞机的任一侧到达机身的顶部和底部的中心线。该NDI系统包括麦克纳姆轮式完整运动基座平台、由基座平台承载的竖直延伸桅杆、枢转末端执行器、接近传感器、以及用于安装在末端执行器上的多种类型的NDI装置的支撑件。具有位于延伸臂上的枢转末端执行器的竖直支撑桅杆允许检验飞机机身部分的整个高度。完整运动基座平台允许机器人沿着机身的长度快速且有效地重新定位NDI扫描器单元。具有距离传感器反馈的运动控制软件使得能够自动捕获重叠的网格图案扫描。还捕获参考位置数据以便将NDI扫描与适当的飞机坐标系对准。系统相对易于在自动或手动控制模式中进行设置和使用。它可以被配置成接受安装到其末端执行器的各种类型的NDI单元，包括：涡流、超声波和红外热成像(IRT)的NDI传感器。
图2是表示根据一个实施例的基于地面的机器人NDI移动平台200的侧视图的图。该平台包括完整运动基座平台204、红外热成像(IRT)扫描器214、以及在机器人控制器(未示出)的控制下的自动化扫描器支撑设备(由完整运动基座平台204承载)。自动化扫描器支撑设备包括竖直可延伸桅杆206，其可以根据需要延伸和缩回以改变IRT扫描器214的高度。竖直可延伸桅杆206包括：第一桅杆部分206a，其具有线性轴线和固定地联接到完整运动基座平台204的一个端部；第二桅杆部分206b，其具有线性轴线并且可滑动地联接到第一桅杆部分206a以用于沿着平行于第一桅杆部分206a的轴线的线滑动；以及第三桅杆部分206c，其具有线性轴线并且可滑动地联接到第二桅杆部分206b以用于沿平行于第二桅杆部分206b的轴线的线滑动。根据一个实施方式，桅杆的竖直延伸由单个电动机和缆索滑轮系统控制。
图2中描绘的基于地面的机器人NDI移动平台200还包括四连杆臂机构208，以控制可枢转地联接到四连杆机构的远端的末端执行器212的位置和取向。四连杆机构208的驱动连杆由电动机驱动式导螺杆或液压缸210驱动以相对于第三桅杆部分206c旋转。IRT扫描器214被安装到末端执行器212并且与末端执行器212一起旋转。IRT护罩216围绕IRT扫描器214，以便将IRT扫描器214与弯曲工件202(例如，机身部分)之间的空间体积与周围环境隔离。
图3是表示根据另一个实施例的基于地面的机器人NDI移动平台220的侧视图的图。该实施例包括竖直可延伸桅杆206、固定地联接到第三桅杆部分206c的刚性延伸臂222、以及可枢转地联接到刚性延伸臂222的两侧的远端的末端执行器224。图4是表示图3中描绘的机器人NDI移动平台220的一些部件的分解图的图。该实施例具有对延伸高度以及末端执行器俯仰的独立可编程控制。末端执行器224的俯仰旋转可以由具有不可反向驱动的齿轮箱(未示出)的位置控制电动机246(参见图4)驱动。
图5是表示在扫描由复合材料制成的弯曲工件202的过程中的基于地面的机器人NDI移动平台230的原型的透视图的图。IRT扫描器214被安装到末端执行器224，所述末端执行器224进而可在机器人控制器80的控制下围绕俯仰轴枢转。末端执行器224可枢转地联接到刚性延伸臂232，所述刚性延伸臂232进而固定地联接到竖直可延伸桅杆206的最高桅杆部分。IRT扫描器214通过电缆242将获取的数据发送到红外热成像计算机(图5中未示出)。机器人NDI移动平台230还配备有报警灯244，其在启用系统时在开关之间进行切换。
根据一个提出的实施方式，完整运动基座平台204采用被布置成A型对位于一个对角线上并且B型对位于另一个对角线的四个麦克纳姆(Mecanum)轮。A型麦克纳姆轮与B型麦克纳姆轮的不同之处在于，前者的锥形滚子(roller)以不同于后者的锥形滚子的角度进行定向。每个麦克纳姆轮可以由相应的独立控制步进电动机驱动以进行旋转。通过控制每个轮的旋转速度和方向，可以使得麦克纳姆轮式车在任何方向上移动并转弯。例如，使所有四个轮以相同速率沿相同方向旋转会导致向前移动或向后移动；使一侧上的轮以相同速率但是沿与另一侧上的轮相反的旋转方向旋转会导致车辆旋转；并且使A型轮以相同速率但是沿与B型轮相反的旋转方向旋转会导致侧向移动。完整运动基座平台204在机载控制计算机(即机器人控制器)的控制下移动。在美国专利号9,410,659中描述了合适的麦克纳姆轮式完整运动基座平台的结构和功能，所述专利申请的公开内容通过引用以其整体并入本文。
根据一个实施例，围绕完整运动基座平台204的周边安装多个传感器(图5未示出)以指示车的该特定区域中的障碍物的存在。运动控制器使用该传感器数据来阻止在与该特定传感器相关联的方向上发生附加运动，但是仍然允许在其他方向上的运动。潜在的传感器包括接触传感器、透过光束(thru-beam)传感器和接近传感器。该防撞系统将以类似于美国专利号7,194,358中描述的类似方式操作。
如前所述，本文公开的方位对准反馈过程采用距离传感器以确定IRT扫描器214相对于目标对象(例如，工件202)的位置和取向(即，方位)。可以使用至少三个非共线的距离测量装置来实时计算相对方位。为了减轻刮伤目标对象表面的任何可能性，选择激光测距仪代替接触探头以用作距离传感器。除了近范围的距离和角度引导之外，激光测距仪还向平台运动控制器提供较长范围距离反馈的优势以用于一般导航目的。
根据一个实施方式，三个激光测距仪(图5未示出)被安装到末端执行器224。图6是表示图5中描绘的机器人NDI移动平台的一部分的侧视图的图，所述部分包括末端执行器224和安装到末端执行器224的三个激光测距仪。三个激光测距仪中的仅两个激光测距仪(即，激光测距仪236和238)在图6中可见。第三激光测距仪(即，激光测距仪240)在图7中可见。如图6所示，第一激光测距仪236附接到L形安装板218a，所述L形安装板218a进而附接到末端执行器224。类似地，第二激光测距仪238附接到L形安装板218b(在图6和图7中示出)，所述L形安装板218b进而附接到末端执行器224；并且第三激光测距仪240附接到L形安装板218c(图7中示出)，所述L形安装板218c进而附接到末端执行器224。
图7是表示安装到末端执行器224的IRT扫描器214(移除了护罩216)的透视图的图，所述末端执行器224进而可枢转地联接到刚性延伸臂232。如前所述，激光测距仪236、238和240被安装到末端执行器224。从图8的前视图中可以最佳地看到，激光测距仪236安装在比IRT扫描器214的机罩12的最高点的高度更高的高度处，而激光测距仪238和240安装在比IRT扫描器214的机罩12的最低点的高度更低的高度处，以一定距离分开。优选地，激光测距仪236、238和240设置在等腰三角形的顶点处。图15A示出了一种布置，其中使激光测距仪238和240分开的距离(即，等腰三角形的底边)是a，并且使激光测距仪236与激光测距仪238和240之间的中点分开的距离(即等腰三角形的高)是b。
图5-图7中描绘的系统使用机载对准系统，以便确定末端执行器224对于目标对象的相对方位(位置和取向)偏移。该过程使用来自激光测距仪236、238和240的距离信息以实时计算相对方位。然后，系统将该数据提供给机器人控制器以产生末端执行器224的期望的基于反馈的运动(其还可以包括机器人的其他零件的运动控制)。
该过程所实现的一种形式的控制是半自动化控制，以在对准的某个方面辅助操作员，诸如末端执行器224的取向，以便确保它始终垂直于目标对象的表面或确保它始终与表面相距特定距离。
图9是标识根据一些实施例的对准系统的一些部件的框图。距离传感器14(例如，激光测距仪236、238和240)向计算机16(例如，机器人控制器)提供距离信息。计算机16被配置(例如，被编程)成基于从距离传感器14接收的距离信息来确定将末端执行器224与目标对象表面对准需要什么移动。这些移动可以包括以下中的一个或多个：将完整运动基座平台204移动到新方位；延伸或缩回竖直的可伸展桅杆206；以及围绕俯仰轴枢转末端执行器224。机器人NDI移动平台包括由相应的电动机控制器18控制的多个电动机20。计算机16将命令信号发送到选定的电动机控制器18，以激活用于将末端执行器224与目标对象表面对准所需要的机器人移动。
该过程所实现的另一种形式的控制是全自动化运动控制，其中操作员指定高级目标(诸如m×n网格图案)，并且然后自动化控制器基于高级目标和来自对准系统的反馈进行运动规划。例如，图10是表示用于大型工件的IRT检验的3×2扫描图案22的图。首先，IRT扫描器获取扫描区域26a的IRT数据。然后，IRT扫描器向上移动并停止在其获取扫描区域26b的IRT数据的方位。优选地，扫描区域26b与扫描区域26a略微重叠以便于将扫描缝接在一起并确保在覆盖范围内没有间隙。接下来，IRT扫描器向右移动并停止在其获取扫描区域26c的IRT数据的方位。然后，IRT扫描器向下移动并停止在其获取扫描区域26d的IRT数据的方位，随后向右移动以获取扫描区域26e的IRT数据，并且然后向上移动以获取扫描区域26f的IRT数据。IRT扫描器在该过程期间的扫描路径28在图10中用箭头指示。
对准过程提供了对机器人的单独运动直接编程的替代方案。它还使得系统能够适应环境中的意外改变，以及为末端执行器提供防撞能力以便在不接触目标表面的情况下实现相对于目标表面的期望位置和取向。
这里使用的自动化过程基于有限状态机控制应用程序，所述应用程序基于外部输入来管理从一个状态到另一个状态的转变。该框架使得系统能够基于多种类型的输入和系统的当前状态产生响应。产生自动生成的运动路径规划和扫描器控制信号所需要的系统的各种动作基于满足用于一种操作模式与另一种操作模式之间的转变所必需的准则。根据一个实施例，有限状态机使用传感器反馈来触发离散系统状态组之间的转变。
现在将参考机器人NDI移动平台来描述过程，所述机器人NDI移动平台包括承载机器人臂的基座平台(例如，完整运动基座平台)，所述机器人臂在其远端处具有NDI传感器(例如，IRT扫描器)，基座平台和机器人臂的移动由装置控制器(例如，机器人控制器)控制。图11示出了系统的整体操作的高级过程，并且图11A和图11B示出了与所述过程的对准基础方面相关联的细节。在机器人控制器与NDI传感器控制计算机(例如，图1中标识的红外热成像计算机8)之间发送的数字信号实现了单独的机器人和NDI传感器系统之间的同步。
图11标识根据一个实施例的采用末端执行器对准过程的非破坏性检验方法100的一些步骤。为了开始所述过程，系统操作员识别NDI传感器相对于目标对象的第一方位(步骤102)。可以通过视觉方法(由操作员)完成、或者自动(利用类似LPS的指向系统)完成该步骤。然后，系统操作员可以操作基座平台和机器人臂以将NDI传感器移动到大致第一方位(步骤104)。在步骤106中，系统操作员向装置控制器提供图案中的期望数量的扫描。将该数量与存储在网格方位计数器中的计数进行比较，所述计数器在每次获取图案中的扫描时都会增加。在步骤108中，装置控制器计算初步路径参数并开始自动化扫描获取。系统操作员还启用接近/碰撞检测(步骤110)。然后，系统操作员使用外部跟踪系统(例如，LPS)来捕获第一方位的3D坐标(步骤112)。(外部跟踪系统先前已经被校准，使得其自身相对于目标对象坐标系的3D坐标是已知的，这允许LPS计算机计算第一方位相对于目标对象坐标系的3D坐标。)在此之后，启用用于在对准过程期间和扫描过程期间控制NDI传感器的运动的有限状态机(步骤114)(即，转到图11A中的A)。(将在下一段中参照图11A和图11B描述有限状态机。)在已经对准NDI传感器并且已经完成扫描图案之后，系统操作员使用外部跟踪系统来捕获NDI传感器的结束方位的3D坐标(步骤116)。然后，可以通过将来自邻接扫描的扫描数据缝接(stitching)在一起来组装组合图像(步骤118)。
图11A和图11B(结合)形成标识图11中以高级描绘的方法中采用的有限状态机所执行的一些步骤的流程图。有限状态机是过程的数学模型，其在任何给定时间只能处于有限数量的状态中的一个状态。
根据一个提出的实施方式，机器人控制器首先检查(即，确定)有限状态机(FSM)是否被设置为GRID_MOVE状态(步骤120)。GRID_MOVE是机器人在以高级限定的网格方位之间移动的状态。例如，如果系统操作员希望系统以3×2图案捕获数据，则机器人将沿着图10中所示的扫描路径28移动以形成连续的网格。如果机器人控制器在步骤120中确定FSM未处于GRID_MOVE状态，则机器人控制器然后直接行进到步骤128。如果机器人控制器在步骤120中确定FSM处于GRID_MOVE状态，则机器人控制器然后确定序列中是否存在附加的网格方位(步骤122)。这通过将网格方位计数器中的当前计数与待获取扫描的预设数量进行比较来完成。如果机器人控制器在步骤122中确定序列中不存在附加的网格方位(即，计数等于预设数量)，则过程返回到图11中的步骤116。如果机器人控制器在步骤122中确定在序列中存在附加的网格方位(即，计数小于预设数量)，则机器人移动到未对准的NDI传感器的下一个方位(步骤124)，在此之后将有限状态机器的状态设置为ALIGN(步骤126)。在下一个步骤中，机器人控制器确定有限状态机是否被设置为ALIGN状态(步骤128)。
ALIGN状态是：机器人正使用三个距离传感器以确保末端执行器的俯仰和偏摆使得NDI扫描器的瞄准(aim)轴线垂直于目标对象的表面。如果机器人控制器在步骤128中确定有限状态机未处于ALIGN状态，则机器人控制器直接行进到图11B中的步骤144。如果机器人控制器在步骤128中确定有限状态机处于ALIGN状态，则机器人控制器确定是否需要细化(refined)NDI传感器的方位(步骤130)。如果机器人控制器在步骤130中确定不需要细化NDI传感器的方位(即，NDI扫描器的瞄准轴线垂直于目标对象的表面)，则机器人控制器将有限状态机的状态设置为SCAN(步骤132)并且直接行进到图11B中的步骤144。如果机器人控制器在步骤130中确定确实需要细化NDI传感器的方位(即，NDI扫描器的瞄准轴线不垂直于目标对象的表面)，则机器人控制器按顺序执行以下步骤：(a)从距离传感器获取距离数据(步骤134)；(b)根据期望的对准位置计算取向和平移偏移(步骤136)；(c)将距离与期望偏移对准(步骤138)；(d)对准末端执行器的偏摆角以实现与目标对象表面的垂直性并且调整横向位置(步骤140)；(e)对准末端执行器的俯仰角以实现与目标对象表面的垂直性并且调整高度(步骤142)；以及(f)返回步骤130。
如前所述，如果机器人控制器在步骤130中确定不需要细化NDI传感器的方位，则机器人控制器将有限状态机的状态设置为SCAN(步骤132)并且直接行进到图11B中的步骤144。在步骤144中，机器人控制器确定有限状态机是否被设置为ALIGN状态。如果机器人控制器在步骤144中确定有限状态机未处于SCAN状态，则机器人控制器返回图11A中的步骤120。如果机器人控制器在步骤144确定有限状态机处于SCAN状态，则机器人控制器向NDI扫描器控制计算机(例如，图1中标识的红外热成像计算机8)发送扫描器控制命令(步骤146)。然后，机器人控制器检查扫描器响应(步骤148)并且确定是否已完成扫描图案(步骤150)。如果机器人控制器在步骤150中确定未完成扫描图案，则机器人控制器返回步骤148。如果机器人控制器在步骤150中确定已经完成扫描图案，则机器人控制器按顺序执行以下步骤：(a)使NDI扫描器返回方位(步骤152)；(b)将有限状态机的状态设置为GRID_MOVE；(c)使网格方位计数器增加；以及(d)返回图11A中的步骤120。
在完成自动化扫描序列后，可以然后将来自每个IRT扫描的单独图像缝接在一起以产生检验区域的单个表示。
上述系统可以具有用于机器人操纵器或其他装置的通用对准任务的许多潜在用例。这些用例中的一种用例是用于在航空制造和维护环境中的基于网格的NDI扫描获取，例如飞机机身的基于网格的扫描。
在典型操作期间，该系统可以由用户驱动(遥控操作)到大致第一方位，在此之后，所述系统被设置为自动获取沿着飞机机身的任一侧以操作员限定的竖直和水平图案布置的网格扫描，如图10所示。
运动控制算法的自动化网格扫描特征涉及将来自三个激光测距仪236、238和240的距离数据反馈到运动控制算法，这分别设置平台204和末端执行器224的水平和竖直放置以及偏摆和俯仰取向。该方法消除了对系统的单独预定义运动路径的需要，从而简化了使用并减少了安装时间。
还可以在遥控操作模式下完全控制系统以允许操作员手动获取数据。半自动化模式也是可能的，其中系统操作员控制平台方位和桅杆高度，并且系统自动适配末端执行器俯仰取向以保持与其前方表面的垂直对准。
为了在飞机坐标系中正确定位扫描，需要对扫描的边界区域进行3D坐标位置测量。该边界参考允许将组合的扫描图像放置在与目标对象及其相关联的CAD模型相同的坐标系中。这使得所获取的扫描与目标对象的相应3D模型相关联以及提供方位数据以供将来参考。对于该系统，使用局部定位系统(LPS)24(图12中所示)来获取目标对象54的坐标系中的3D坐标位置数据。例如，图12示出了LPS 24将激光束30引导在测量的边界位置60处。假定已经相对于目标对象54的坐标系校准LPS 24，通过LPS 24获取的边界位置数据点可以用于确定每个边界位置在目标对象54的坐标系中的坐标。
根据一个实施例，当IRT扫描器214(参见图5和图8)在捕获特定方位的扫描数据时，可以通过以IRT护罩216的拐角作为目标来完成获取扫描的边界。在第一次扫描之前和最后一次扫描之后、或在网格序列中的任何中间方位处执行这些LPS边界测量。根据一个提出的实施方式，IRT护罩216上的拐角(或一些已知方位)可以具有有源(例如，LED)或无源的光学目标或其他可见特征。无源方法要求系统操作员运行LPS 24以对向(target)点；使用有源LED目标启用了使用LPS相机以检测LED的自动化方法。在理想情况下，最好是获得扫描区域的所有四个拐角，但是IRT罩216有时遮挡光学目标，这使得难以对向它们。该过程部分所需的光学目标的最小数量是两个，因为人们可以例如使用来自目标对象的3D CAD模型的表面法线来做出关于X乘Y扫描区域的形状的假设。
LPS 24的机动平转-倾斜(pan-tilt)控制方面允许它还提供初始方位基准和引导能力以指示期望的第一扫描方位。在将LPS 24初始校准到目标对象上的已知方位之后，操作员可以指导LPS 24将其激光指示器瞄准在目标表面上的指定3D坐标处，在图13中指示所述激光点38。如图13所示，操作员然后驱动机器人以将其激光测距仪236、238和240的激光点32a、32b和32c围绕LPS激光点38分别对准。
为了使用LPS 24来获取目标对象54(例如，飞机)的坐标系中的测量值，系统操作员需要目标对象上的三个已知点。这三个点是校准点，其与IRT护罩216上的针对扫描配准过程而测量的点分开。这意味着，如果人们想要将扫描数据与飞机坐标对准，则LPS测量的最小总数为五个：三个用于初始LPS校准并且两个用于限定其中进行扫描的矩形区域。
图14是根据一个实施例的能够执行机器人对目标定位过程的系统的透视图。使用包括单个相机40和可控制的平转-倾斜单元42上的激光测距仪(未示出)的LPS 24来执行机器人对目标定位过程。在美国专利号7,859,655中公开了LPS操作和校准过程，所述专利的公开内容通过引用以其整体并入本文。
更具体地，图14中描绘的局部定位系统包括可以具有自动(远程控制)变焦能力的摄像机40。摄像机40被支撑在平转-倾斜机构42上。摄像机40和平转-倾斜机构42可以由LPS控制计算机48操作。LPS控制计算机48通过视频/控制电缆46与摄像机40和平转-倾斜机构42通信。可替代地，LPS控制计算机48可以通过无线通信路径(未示出)与摄像机40和平转-倾斜机构42通信。LPS控制计算机48被配置成控制LPS硬件的操作，所述LPS硬件包括激光测距仪(未示出)、摄像机40和平转-倾斜机构42。例如，可以使用计算机48的键盘或其他用户接口硬件36(例如，游戏手柄)来控制平转-倾斜机构42的平转(pan)角度和倾斜角度，并且因此控制摄像机40的取向。如通过摄像机40看到的光学图像场可以显示在计算机48的监视器34上。
控制平转-倾斜机构42，以便围绕竖直方位角(平转)轴线和水平仰角(倾斜)轴线旋转地将激光测距仪(未示出)和摄像机40调整到选定角度。根据相机被瞄准在感兴趣点时的平转和倾斜角度来确定方向矢量66(在图14中由虚线指示)，其描述了激光测距仪(未示出)和摄像机40相对于三脚架44(或其上附接有平转-倾斜单元的其他平台)的固定坐标系的取向。在图14中，方向矢量66从激光测距仪(未示出)和摄像机40延伸并且与护罩216的一个拐角上的点94a相交。
激光测距仪可以以使得它沿着方向矢量66传输激光束的方式合并在相机40的外壳内或者安装到相机40的外部。激光测距仪被配置成测量到护罩216上的任何可见特征(例如，拐角94a-94c中的一个拐角)的距离、或到弯曲工件202上的任何校准点(例如，点92a-92c)的距离。(每个校准点可以是弯曲工件202上的可见特征或附接到弯曲工件202的光学目标。)激光测距仪可以具有激光器、以及被配置成基于响应于从冲击点反射的激光束而检测到的激光来计算距离的单元。
图14所示的局部定位系统还包括加载到LPS控制计算机48中的三维定位软件。例如，三维定位软件可以具有使用弯曲工件202上的多个校准点92a-92c来限定摄像机40相对于弯曲工件202的方位(位置和取向)的类型。如根据特征位置的三维数据库(例如，CAD模型)或其他测量技术确定的，校准点92a-92c可以是弯曲工件202的局部坐标系中的已知位置的可见特征。在LPS校准过程期间，从CAD模型中提取至少三个非共线点的X、Y、Z数据。通常，选择对应于可以容易地定位在目标对象上的特征的校准点。三维定位软件利用校准点92a-92c的X、Y、Z数据和来自平转-倾斜机构42的平转和倾斜数据来限定摄像机40相对于弯曲工件202的局部坐标系的相对位置和取向。到校准点92a-92c的测量距离可以与来自平转-倾斜机构42的平转角和倾斜角协作地使用以解决相对于弯曲工件202的相机位置和取向。在美国专利号7,859,655中公开了一种用于产生器械对目标校准变换矩阵(有时称为相机姿态)的方法。使用已知和测量的数据，校准过程计算限定摄像机40相对于弯曲工件202的位置和取向的4×4齐次变换矩阵。
一旦已经确定摄像机40相对于弯曲工件202的位置和取向并且已经产生相机姿态变换矩阵，相机平转数据(摄像机40围绕方位角轴线的旋转角)和倾斜数据(摄像机40围绕仰角轴线的旋转角)可以与已计算的摄像机40的位置和取向结合使用以确定护罩216上的任何感兴趣点在弯曲工件202的坐标系中的X坐标、Y坐标和Z坐标。通过在扫描图案的开始和结束处定位护罩216，可以确定扫描图案在弯曲工件202的坐标系中的方位。
更具体地，可以使用相对定位过程以在扫描图案的开始和结束处确定护罩216的可见特征(例如，图14中描绘的拐角94a-94c中的任何一个)在弯曲工件202的坐标系中的方位。应用于护罩216的基本过程序列如下：(1)局部定位系统通过测量目标对象上的三个已知点92a-92c来校准到被检验的目标对象(例如，弯曲工件202)的坐标系。(2)当机器人位于扫描图案的开始处时(例如，对于图12中看到的扫描区域26a)，局部定位系统测量护罩216上的可见特征(例如，拐角94a)的方位。(3)随后，当机器人处于扫描图案的结束处时(例如，对于图12中看到的扫描区域26f)，局部定位系统用于测量护罩216上的相同可见特征或不同可见特征(例如，拐角94b或94c)的方位。(4)这允许操作员确定组成拼接图案的扫描的边界。
在计算机48中运行的LPS控制软件计算护罩216上的每个可见特征相对于弯曲工件202的坐标系的方位。LPS控制计算机48(参见图14)将方位数据发送给图17中描绘的专家工作站74，专家工作站74被配置成记录方位坐标以供将来参考。该方位数据还可用于将扫描数据与目标对象的CAD模型对准。
计算机48上的LPS控制软件输出点数据作为X值、Y值和Z值，但是为了提供零件90的位置和取向，控制应用程序不仅需要X、Y和Z数据点。为了解决位置和取向问题，使用来自三个测量点92a-92c的X、Y和Z数据以及这些点的已知尺寸来计算完整的6自由度的位置和取向表示。这就是先前描述的定位软件所作的。定位软件所使用的位置和取向格式是4×4变换矩阵，但是还存在用于表示数据的其他方式。
如果系统操作员希望执行相对LPS扫描(如美国专利申请公布号2015/0268033中描述)，则操作员可以使用目标对象上的任何三个非共线点，但不需要事先知道这些点的3D坐标(如同人们利用标准LPS方法一样)。系统操作员将不利用相对模式获得目标对象坐标中的结果，但对于一些应用程序，这不是需要的。可以使用相对LPS定位过程以确保NDI传感器对准在与先前情况相同的区域中。这对于将若干单独扫描拼合在一起或者如果需要移动LPS来说也很有用。
如先前公开的，系统使用距离测量装置(诸如激光器、弦线(string)编码器、超声波传感器)，其中基本要求是至少三个非共线距离测量装置。一种距离传感器配置(如上所述)使用以三角形形式布置的三个距离测量激光器。在替代实施例中，四个距离测量激光器以矩形形式布置。无论使用哪种传感器配置，都将距离数据连同末端执行器取向数据一起馈送到机器人控制器80。可以使用反馈控制方法以将当前角度与期望角度之间的误差驱使到零。
现在将参考图15A-图15C描述一种用于使用激光测距仪来确定角度的方法。图15A至图15C是分别表示三个激光测距仪236、238和240的前视图、侧视图和顶视图的图，所述三个激光测距仪236、238和240在公共平面中以三角形图案布置并且指向目标对象54的表面上的相应点，激光测距仪和点被相应的距离分开。
除了使用三个激光器来确定到目标的距离外，它们还用于确定偏摆角和俯仰角。图15A使用水平尺寸a和竖直尺寸b连同到目标对象54的表面的测量距离d1、d2和d3来示出激光测距仪236、238和240相对于彼此的位置。方程(1)和(2)可以用于计算俯仰角和偏摆角：
PitchAngle＝atan2(d1-(d2+d3)/2,b) (1)
YawAngle＝atan2(d2-d3,a) (2)
其中PitchAngle和YawAngle是图15A-图15C中所示的对准设备相对于目标对象54的表面的当前计算角度。相对于当前位置处的表面法线测量的这些角度的目标应当等于零；并且以下描述了用于实现目标角度的过程。
在计算出当前偏摆角和俯仰角的情况下，系统运动控制器可以针对受控运动使用速度控制方法：平转、倾斜和距离。可以使用反馈控制器(诸如比例积分微分(PID)控制器)以将当前角度与期望角度之间的误差驱使到零。方程(3)和(4)可以用于计算俯仰和偏摆运动控制：
PitchRate＝Kppitch*(PitchAngle-PitchAnglegoal) (3)
YawRate＝Kpyaw*(YawAngle-YawAnglegoal) (4)
其中PitchRate和YawRate分别描述围绕对准设备的俯仰轴线和基座的偏摆轴线的角度旋转速率；Kppitch和Kpyaw分别是与俯仰轴线和偏摆轴线相关联的成比例的反馈增益；PitchAngle和YawAngle分别是根据公式(1)和(2)计算的角度；并且PitchAnglegoal和YawAnglegoal是控制器朝向其驱动系统的期望目标角度(如前所述，针对该示例，这两个角度都为零)。也可以使用积分和微分反馈，但这里没有示出。
基座速度方程如下：
Velx＝Kpx*(MinDistx-offsetx) (5)
Vely＝Kpy*(MinDisty-offsety) (6)
其中Velx和Vely是基座的横向速度；Kpx和Kpy分别是针对基座的X方向和Y方向的成比例的反馈增益；MinDistx和MinDisty分别是激光器在X方向和Y方向上测量的最小值；并且offsetx和offsety是目标偏移距离。针对一些应用，激光器未配置成在X方向和Y方向两者上进行测量；在这些情况下，将不会使用与对准过程相关联的X或Y速度控制方程。
针对包括基座框架62、沿一个对角线的一对A型麦克纳姆轮W1和W3、以及沿另一个对角线的一对B型麦克纳姆轮W2和W4的完整运动基座平台，可以使用运动学来计算四个单独的轮速度。在图16中示出了车辆的尺寸(L和D)和期望的旋转点(通过距离a1、a2、b1、b2描述)。方程(7)至(10)中示出了轮W1至W4的单独轮速度：
VW1＝Vely-Velx+YawRate*(a1+b1) (7)
VW2＝Vely+Velx-YawRate*(a1+b2) (8)
VW3＝Vely-Velx-YawRate*(a2+b2) (9)
VW4＝Vely+Velx+YawRate*(a2+b1) (10)
其中VWi(i＝1,2,3,4)是单独轮速度；Velx和Vely是来自方程(5)和(6)的横向速度；YawRate来自方程(4)的偏摆转速；并且a1、a2、b1、b2是如图16所示的旋转点距离。
末端执行器的主要枢轴配置如下：(a)单轴线枢轴：一个电动机、一个角度传感器；以及(b)双轴线万向支架(gimbal)：两个电动机、两个角度传感器。
上述对准过程解决了离散和连续的传感器更新用例，并且该概念也可以被封装为独立系统或现有系统的一部分。
虽然本文公开的概念具有用于完整运动基座平台的应用，但是变体也适用于其他系统。潜在用例包括：完整平台和非完整平台；铰接式机器人臂；塔架(gantry)臂；混合式运动基座/臂系统；直升机和UAV；相机；灯；以及工具。
本文公开的基于激光的对准过程使得系统能够在不必在线教导机器人或离线对其进行预编程的情况下进行操作，这使得该方法更易于使用。这将末端执行器引导到位，同时适应环境中的意外改变。系统不是通过列表或预先编程的运动步骤运行，而是作为使用来自传感器的反馈的有限状态机进行操作，以便在对准、基于网格的运动和扫描过程中的各种步骤之间转变。
对准传感器还为末端执行器提供防撞能力。系统的配置允许它从基于地面的完整平台到达机身上的区域，一直到拱顶(顶部)。该解决方案提供了一种用于使用外部测量系统(LPS)来收集方位参考数据的可选过程。
收集在目标对象(例如，飞机)的坐标系中限定的方位数据的能力允许为了维护/维修使用的扫描数据与CAD数据的准确配准、以及为了存档目的记录方位信息的方式。
除了对准传感器元件之外，使用具有旋转腕和模块化工具安装件的竖直延伸臂的系统的配置提供了紧凑且相对低成本的平台，其能够以最小的地面占用面积到达机身周围的所需区域。
本文公开的系统可以被配置成接受安装到其末端执行器的各种类型的NDI装置，包括：涡流、超声波和红外热成像(IRT)的传感器。具有位于延伸臂上的枢转末端执行器的竖直支撑桅杆允许对飞机机身部分的全高度检验。完整运动基座允许沿着机身长度对传感器单元的有效重新定位。运动控制软件使得能够自动捕获重叠的网格图案扫描。捕获参考位置数据以用于与飞机坐标进行扫描对准。
在操作期间，该系统可以由操作员驱动(遥控操作)以将其置于开始区域的大致位置，并且然后被配置成自动获取沿着飞机机身的任一侧以操作员限定的竖直和水平图案布置的网格扫描。这里使用的运动控制算法的特征之一是它涉及距离传感器反馈而不是要求用于系统的单独预定义运动路径，这简化了使用并减少了安装时间。为了在飞机坐标系中正确定位扫描，需要对扫描的边界区域进行3D坐标位置测量。使用局部定位系统来获取飞机坐标系中的3D坐标位置数据。然后使用该参考位置数据以将NDI扫描与适当的飞机坐标系对准。
图17是标识根据一个计算机体系结构的用于大型复合结构的红外热成像检验的系统的一些部件的框图。机器人控制器80基于有限状态机和至少来自距离传感器(例如，三个激光测距仪)的反馈来控制机器人64的移动。LPS控制计算机48控制LPS 24的移动和启动(firing)，所述LPS控制计算机48还接收来自LPS 24的激光跟踪数据。红外热成像计算机8控制红外相机4和闪光灯6的激活，所述红外热成像计算机8还接收来自红外相机4的红外成像数据。所有这些计算机可以与专家工作站74处的主计算机进行有线通信或无线通信。专家工作站74处的主计算机可以被编程以使激光跟踪数据与红外成像数据相关。主计算机可以被进一步编程以从3D模型数据库服务器96请求3D模型数据。在热成像孔隙度测量的情况下，专家工作站74处的主计算机也可以被编程以从参考热特征数据库服务器98请求参考热特征数据。
LPS控制计算机48获取复合结构的3D坐标系中的红外相机4的方位数据。在桶形机身部分的情况下，红外成像数据可以被直接映射到机身部分的3D模型上。红外成像数据与3D模型数据的叠加还能够改善数据分析和潜在的自动化数据分析。例如，通过将红外成像数据直接叠加在3D模型上，特征/缺陷指示可以与机身结构直接相关。此外，直接数据到模型上的叠加可以用于确定孔隙度量化所需的局部区域或空间点的厚度。在一个实施例中，过程涉及将红外成像数据带应用为一个或多个计算机图形纹理图，其被投影到专家工作站74处的监视器或计算机屏幕上显示的虚拟环境中的3D模型表面上。
虽然已经参照各种实施例描述了用于控制机器人末端执行器相对于目标对象的方位的方法，但本领域技术人员应当理解，在不脱离本文教导内容的范围的情况下，可以进行各种改变并且可以用等同物替换其元件。此外，在不背离本发明的范围的情况下，可以做出许多修改以使本文的传授内容适应特定情况。因此，意图是权利要求不限于本文公开的特定实施例。
如权利要求中所使用的，术语“方位”包括三维坐标系中的位置和相对于该坐标系的取向。如权利要求中所使用的，术语“移动末端执行器”应当被广义地解释为包括以下中的至少一个或多个：相对于地面移动基座、相对于基座平台移动机器人臂、以及相对于机器人臂移动末端执行器。
本文描述的方法可以被编码为体现在非瞬态有形计算机可读存储介质(包括但不限于存储装置和/或存储器装置)中的可执行指令。此类指令在由处理或计算系统执行时致使系统装置执行本文描述的方法的至少一部分。
此外，本公开包括根据以下条款的实施例：
条款1.一种用于控制机器人移动平台的末端执行器相对于目标对象的方位的方法，其包括：
将末端执行器移动到第一方位；以及
使得机器人控制器能够执行由有限状态机控制应用程序指定的操作，所述操作包括：
在末端执行器处于第一方位时，从安装到末端执行器的第一、第二和第三距离传感器获取距离数据，其中所获取的距离数据表示将第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离；以及
通过使用距离数据将末端执行器与目标对象对准，使末端执行器从第一方位移动到第一网格方位。
条款2.如条款1所述的方法，其中对准包括旋转末端执行器，使得末端执行器的轴线垂直于目标对象的表面。
条款3.如条款2所述的方法，其中旋转末端执行器包括围绕俯仰轴线旋转末端执行器。
条款4.如条款3所述的方法，其还包括围绕偏摆轴线旋转机器人移动平台的基座。
条款5.如条款2-4中任一项所述的方法，其中对准还包括使末端执行器移位，使得末端执行器与目标对象的表面分开目标偏移距离。
条款6.如条款1-5中任一项所述的方法，其中对准包括使末端执行器移位，使得末端执行器与目标对象的表面分开目标偏移距离。
条款7.如条款1-6中任一项所述的方法，其还包括计算外部跟踪系统的方位在目标对象坐标系中的坐标。
条款8.如条款7所述的方法，其还包括将由外部跟踪系统产生的激光束瞄准在目标表面上的指定坐标位置处，由此形成激光点，其中将末端执行器移动到第一方位包括驱动机器人移动平台，以围绕由外部跟踪系统产生的激光点对准由第一、第二和第三测距仪产生的激光点。
条款9.如条款7-8中任一项所述的方法，其还包括在末端执行器处于第一网格方位时，使用外部跟踪系统来计算安装到末端执行器的工具上的可见特征在目标对象的坐标系中的坐标。
条款10.如条款1-9中任一项所述的方法，其中由有限状态机控制应用程序指定的操作还包括：
当末端执行器处于第一网格方位时，激活安装到末端执行器的工具；
使用有限状态机控制应用程序将末端执行器从第一网格方位移动到第二方位；
通过使用有限状态机控制应用程序将末端执行器与目标对象对准，将末端执行器从第二方位移动到第二网格方位；以及
当末端执行器处于第二网格方位时，激活工具。
条款11.如条款10所述的方法，其中工具是红外热成像扫描器并且由有限状态机控制应用程序指定的操作还包括：
当末端执行器处于第一网格方位时，获取第一红外热成像扫描；以及
当末端执行器处于第二网格方位时，获取第二红外热成像扫描。
条款12.如条款11所述的方法，其还包括将第一和第二红外热成像扫描缝接在一起。
条款13.一种机器人移动平台，其包括：
自推进式移动基座平台，其包括多个滚动元件和分别联接到所述多个滚动元件的多个电动机；
可竖直延伸桅杆，其由基座平台承载；
臂，其具有固定地联接到可垂直延伸桅杆的近端；
末端执行器，其可枢转地联接到臂的远端；
非瞬态有形计算机可读存储介质，其中存储有限状态机控制应用程序；
第一、第二和第三距离传感器，其被安装到末端执行器并且被配置成获取表示将第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离的距离数据；以及
控制器，其被配置成控制第一、第二和第三距离传感器的操作并且根据由有限状态机控制应用程序产生的命令使末端执行器相对于地面移动，其中有限状态机控制应用程序包括用于产生可由控制器执行的用于以下操作的指令的方法：使用由第一、第二和第三距离传感器获取的距离数据来移动末端执行器。
条款14.如条款13所述的机器人移动平台，其中第一、第二和第三距离传感器是激光测距仪。
条款15.如条款14所述的机器人移动平台，其还包括安装到末端执行器的工具。
条款16.如条款15所述的机器人移动平台，其中工具是红外热成像扫描器。
条款17.如条款16所述的机器人移动平台，其中红外热成像扫描器包括护罩。
条款18.如条款13-17中任一项所述的机器人移动平台，其中控制器还被配置成通过使用有限状态机控制应用程序将末端执行器与目标对象对准，将末端执行器从第一方位移动到第二方位，其中对准包括旋转末端执行器，使得末端执行器的轴线垂直于目标对象的表面。
条款19.如条款18所述的机器人移动平台，其中对准还包括使末端执行器移位，使得末端执行器与目标对象的表面分开目标偏移距离。
条款20.一种用于控制机器人移动平台的末端执行器相对于目标对象的方位的方法，其包括使得机器人控制器能够执行由有限状态机控制应用程序指定的操作，所述操作包括：
(a)根据表示网格图案的预存储网格图案数据，将末端执行器移动到不与目标对象的表面接触的标称方位；
(b)在末端执行器处于未对准方位时，从安装到末端执行器的第一、第二和第三距离传感器获取距离数据，其中所获取的距离数据表示将第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离；
(c)通过使用距离数据将末端执行器与目标对象对准，使末端执行器从标称方位移动到对准方位；
(d)当末端执行器处于对准方位时，激活安装到末端执行器的工具；以及
(e)对网格图案的多个对准方位中的每一个重复步骤(a)至(d)。
条款21.如条款20所述的方法，其中对准包括旋转末端执行器，使得末端执行器的轴线垂直于目标对象的表面；以及使末端执行器移位，使得末端执行器与目标对象的表面分开目标偏移距离。
条款22.如条款20-21中任一项所述的方法，其中工具是红外热成像扫描器，并且由有限状态机控制应用程序指定的操作还包括在末端执行器处于每个对准方位时获取相应的红外热成像扫描，还包括将红外热成像扫描缝接在一起。
在下文中阐述的方法权利要求不应当被解释为要求其中列举的步骤按照字母表顺序(权利要求中的任何字母表排序仅用于参考先前所列举的步骤的目的)或按照它们被列举的顺序来执行，除非权利要求语言明确指定或规定指示执行某些或所有步骤的特定顺序的条件。方法权利要求也不应当被解释为排除同时或交替执行的两个或更多个步骤的任何部分，除非权利要求语言明确规定排除这种解释的条件。

Claims (11)

1.一种用于控制机器人移动平台(200)的末端执行器(224)相对于目标对象(54)的方位的方法，其包括：
将所述末端执行器(224)移动到第一方位；和
使得机器人控制器(16)能够执行由有限状态机控制应用程序指定的操作，所述操作包括：
在所述末端执行器(224)处于所述第一方位时，从安装到所述末端执行器的第一、第二和第三距离传感器(236、238、240)获取距离数据，其中所获取的距离数据表示将所述第一、第二和第三距离传感器(236、238、240)与所述目标对象(54)的表面上的相应区域分开的相应距离；和
通过使用所述距离数据将所述末端执行器(224)与所述目标对象(54)对准，使所述末端执行器(224)从所述第一方位移动到第一网格方位。
2.根据权利要求1所述的方法，其中所述对准包括旋转所述末端执行器(224)，使得所述末端执行器的轴线垂直于所述目标对象(54)的所述表面。
3.根据权利要求2所述的方法，其中所述旋转所述末端执行器(224)包括围绕俯仰轴线旋转所述末端执行器。
4.根据权利要求3所述的方法，其还包括围绕偏摆轴线旋转所述机器人移动平台(200)的基座。
5.根据权利要求1-4中任一项所述的方法，其中所述对准还包括使所述末端执行器(224)移位，使得所述末端执行器(224)与所述目标对象(54)的所述表面分开目标偏移距离。
6.根据权利要求1-5中任一项所述的方法，其还包括计算外部跟踪系统的方位在所述目标对象(54)的坐标系中的坐标。
7.根据权利要求8所述的方法，其还包括将由所述外部跟踪系统产生的激光束瞄准在所述目标的所述表面上的指定坐标位置处，由此形成激光点38，其中将所述末端执行器(224)移动到所述第一方位包括驱动所述机器人移动平台(200)，以围绕由所述外部跟踪系统产生的激光点(38)对准由所述第一、第二和第三测距仪(236、238、240)产生的激光点(32a、32b和32c)。
8.根据权利要求6-7中任一项所述的方法，其还包括在所述末端执行器(224)处于所述第一网格方位时，使用所述外部跟踪系统来计算安装到所述末端执行器(224)的工具上的可见特征在所述目标对象(54)的坐标系中的坐标。
9.根据权利要求1-8中任一项所述的方法，其中由所述有限状态机控制应用程序指定的操作还包括：
当所述末端执行器(224)处于所述第一网格方位时，激活安装到所述末端执行器(224)的工具；
使用所述有限状态机控制应用程序将所述末端执行器(224)从所述第一网格方位移动到第二方位；
通过使用所述有限状态机控制应用程序将所述末端执行器(224)与所述目标对象(54)对准，将所述末端执行器(224)从所述第二方位移动到第二网格方位；以及
当所述末端执行器(224)处于所述第二网格方位时，激活所述工具。
10.一种机器人移动平台(200)，其包括：
自推进式移动基座平台(204)，其包括多个滚动元件和分别联接到所述多个滚动元件的多个电动机；
竖直可延伸桅杆，其由所述基座平台承载；
臂，其具有固定地联接到所述可竖直延伸桅杆的近端；
末端执行器，其可枢转地联接到所述臂的远端；
非瞬态有形计算机可读存储介质，其中存储有限状态机控制应用程序；
第一、第二和第三距离传感器，其被安装到所述末端执行器并且被配置成获取表示将所述第一、第二和第三距离传感器与目标对象的表面上的相应区域分开的相应距离的距离数据；以及
控制器，其被配置成控制所述第一、第二和第三距离传感器的操作并且根据由所述有限状态机控制应用程序产生的命令使所述末端执行器相对于地面移动，其中所述有限状态机控制应用程序包括用于产生可由所述控制器执行的用于以下操作的指令的方法：使用由所述第一、第二和第三距离传感器获取的所述距离数据来移动所述末端执行器。
11.一种用于控制机器人移动平台的末端执行器相对于目标对象的方位的方法，其包括使得机器人控制器能够执行由有限状态机控制应用程序指定的操作，所述操作包括：
(a)根据表示网格图案的预存储网格图案数据，将所述末端执行器移动到不与所述目标对象的表面接触的标称方位；
(b)在所述末端执行器处于所述未对准方位时，从安装到所述末端执行器的第一、第二和第三距离传感器获取距离数据，其中所获取的距离数据表示将所述第一、第二和第三距离传感器与所述目标对象的所述表面上的相应区域分开的相应距离；
(c)通过使用所述距离数据将所述末端执行器与所述目标对象对准，使所述末端执行器从所述标称方位移动到对准方位；
(d)当所述末端执行器处于所述对准方位时，激活安装到所述末端执行器的工具；以及
(e)对所述网格图案的多个对准方位中的每一个重复步骤(a)至(d)。
CN201810605278.XA 2017-06-14 2018-06-13 使用方位对准反馈来控制机器人末端执行器的方位的方法 Active CN109079775B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/623,304 2017-06-14
US15/623,304 US10625427B2 (en) 2017-06-14 2017-06-14 Method for controlling location of end effector of robot using location alignment feedback

Publications (2)

Publication Number Publication Date
CN109079775A true CN109079775A (zh) 2018-12-25
CN109079775B CN109079775B (zh) 2022-11-18

Family

ID=62116327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810605278.XA Active CN109079775B (zh) 2017-06-14 2018-06-13 使用方位对准反馈来控制机器人末端执行器的方位的方法

Country Status (4)

Country Link
US (1) US10625427B2 (zh)
EP (1) EP3415284A3 (zh)
JP (1) JP7353021B2 (zh)
CN (1) CN109079775B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110285779A (zh) * 2019-06-12 2019-09-27 智久(厦门)机器人科技有限公司 一种深度相机的角度误差补偿方法、装置、存储介质
CN111596284A (zh) * 2020-05-12 2020-08-28 河海大学常州校区 一种基于热成像技术的三维空间定位装置及方法
CN112809664A (zh) * 2019-11-15 2021-05-18 精工爱普生株式会社 机器人系统的控制方法
CN113029357A (zh) * 2021-03-04 2021-06-25 中北大学 一种测温仪探头位置自动调节装置及方法
CN113232020A (zh) * 2021-05-14 2021-08-10 山西光兴光电科技有限公司 取片机器人取片位置校正系统及校正方法
CN113386149A (zh) * 2021-05-14 2021-09-14 中国航发北京航空材料研究院 一种面向排气机匣的激光喷丸机器人运动轨迹控制方法
CN114514094A (zh) * 2019-08-19 2022-05-17 应用材料公司 处理系统对准器站的校准
US20220379483A1 (en) * 2019-11-01 2022-12-01 Neuromeka Automatic calibration method and device for robot vision system

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3043004B1 (fr) * 2015-10-29 2017-12-22 Airbus Group Sas Procede d'orientation d'un effecteur portant un outil d'assemblage par rapport a une surface
US10884426B2 (en) 2016-09-06 2021-01-05 Advanced Intelligent Systems Inc. Mobile work station for transporting a plurality of articles
US10447995B1 (en) * 2017-03-16 2019-10-15 Amazon Technologies, Inc. Validation of camera calibration data using augmented reality
US10554950B1 (en) 2017-03-16 2020-02-04 Amazon Technologies, Inc. Collection of camera calibration data using augmented reality
DE202017105967U1 (de) * 2017-09-29 2018-01-31 Airbus Operations Gmbh Farbbasiertes Heizsystem
US10974830B2 (en) * 2017-12-28 2021-04-13 Auror Flight Scienes Corporation Manipulation system and method for an aircraft
CN108237557B (zh) * 2018-02-02 2023-08-04 深圳市优必选科技有限公司 一种人形机器活动关节受力测试装置
WO2019157587A1 (en) 2018-02-15 2019-08-22 Advanced Intelligent Systems Inc. Apparatus for supporting an article during transport
US10823815B2 (en) * 2018-02-28 2020-11-03 The Boeing Company Hybrid position locating system in a manufacturing environment
US11238675B2 (en) 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
US10717190B2 (en) * 2018-04-19 2020-07-21 Aurora Flight Sciences Corporation End-effector for workpiece manipulation system
US10634632B2 (en) * 2018-04-25 2020-04-28 The Boeing Company Methods for inspecting structures having non-planar surfaces using location alignment feedback
US11066838B2 (en) * 2018-07-12 2021-07-20 The Boeing Company Work platform mover system
US11745354B2 (en) 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10871366B2 (en) 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
US11002529B2 (en) 2018-08-16 2021-05-11 Mitutoyo Corporation Robot system with supplementary metrology position determination system
US10751883B2 (en) * 2018-08-16 2020-08-25 Mitutoyo Corporation Robot system with supplementary metrology position coordinates determination system
US10913156B2 (en) 2018-09-24 2021-02-09 Mitutoyo Corporation Robot system with end tool metrology position coordinates determination system
US10745219B2 (en) 2018-09-28 2020-08-18 Advanced Intelligent Systems Inc. Manipulator apparatus, methods, and systems with at least one cable
US10751888B2 (en) 2018-10-04 2020-08-25 Advanced Intelligent Systems Inc. Manipulator apparatus for operating on articles
US10966374B2 (en) 2018-10-29 2021-04-06 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10645882B1 (en) 2018-10-29 2020-05-12 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10676279B1 (en) 2018-11-20 2020-06-09 Advanced Intelligent Systems Inc. Systems, methods, and storage units for article transport and storage
US11435305B2 (en) * 2018-12-19 2022-09-06 General Electric Company Thermographic inspection system mounted on motorized apparatus and methods of using same
US10335947B1 (en) * 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism
CN113711342A (zh) * 2019-02-14 2021-11-26 柿子技术公司 用于机器人系统的基于雷达的位置测量
US11485018B2 (en) * 2019-09-16 2022-11-01 The Boeing Company Robotic end effector system with surface tracking and methods for use
CN110549341A (zh) * 2019-09-24 2019-12-10 山东省智能机器人应用技术研究院 工业机器人坐标定位系统和方法
US10782267B1 (en) 2019-11-04 2020-09-22 Equate Petrochemical Company Mobile non-destructive testing inspection system
CN110900606B (zh) * 2019-12-03 2022-08-09 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
WO2021174037A1 (en) * 2020-02-28 2021-09-02 Bly Ip Inc. Laser alignment device
CN112223283A (zh) * 2020-09-29 2021-01-15 腾讯科技（深圳）有限公司 机械臂、机器人、机械臂的控制方法、处理设备及介质
CN112847361B (zh) * 2021-01-05 2022-06-14 佛山科学技术学院 一种机器人柔性装配控制方法及系统
CN112959323B (zh) * 2021-03-02 2022-03-11 中国工程物理研究院激光聚变研究中心 一种机器人运动误差在位检测与补偿方法及设备
US20230052634A1 (en) * 2021-05-28 2023-02-16 Wichita State University Joint autonomous repair verification and inspection system
US11502729B1 (en) * 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
US11953309B2 (en) * 2021-09-22 2024-04-09 Lockheed Martin Corporation Automated non-contact thickness inspection and projection system using color-coded based patterns
WO2023076159A1 (en) * 2021-10-25 2023-05-04 Becton, Dickinson And Company Calibration and design of an automated diagnostic analyzer
US20230221263A1 (en) * 2022-01-10 2023-07-13 The Boeing Company Systems and methods for detecting anomalies in objects
WO2023157083A1 (ja) * 2022-02-15 2023-08-24 ファナック株式会社 ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法
CN114536362A (zh) * 2022-02-24 2022-05-27 中国民用航空飞行学院 一种柔性飞机除漆机器人及其使用方法
WO2023250005A1 (en) * 2022-06-23 2023-12-28 Boston Dynamics, Inc. A mobile robot system for automated asset inspection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5769954A (en) * 1993-08-13 1998-06-23 Putzmeister Aktiengesellschaft Process and device for treating the surface of large objects
CN102284956A (zh) * 2011-05-04 2011-12-21 南京航空航天大学 一种自动钻铆机器人的法向找正方法
US20130024067A1 (en) * 2011-07-18 2013-01-24 The Boeing Company Holonomic Motion Vehicle for Travel on Non-Level Surfaces
US20160016312A1 (en) * 2013-03-15 2016-01-21 Carnegie Mellon University A Supervised Autonomous Robotic System for Complex Surface Inspection and Processing
US20160123933A1 (en) * 2014-10-30 2016-05-05 The Boeing Company Non-destructive ultrasonic inspection apparatus, systems, and methods
CN105882777A (zh) * 2015-02-17 2016-08-24 波音公司 车辆到物体的电永磁附连
US9645012B2 (en) * 2015-08-17 2017-05-09 The Boeing Company Rapid automated infrared thermography for inspecting large composite structures

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800758B1 (en) 1999-07-23 2010-09-21 Faro Laser Trackers, Llc Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6231280B1 (en) 1999-08-10 2001-05-15 Northrop Grumman Corporation Vibration-absorbing end effector of an automated drill and countersink machine
US6751342B2 (en) 1999-12-02 2004-06-15 Thermal Wave Imaging, Inc. System for generating thermographic images using thermographic signal reconstruction
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US6990215B1 (en) 2000-07-31 2006-01-24 Geodetic Services, Inc. Photogrammetric measurement system and method
US6907799B2 (en) * 2001-11-13 2005-06-21 Bae Systems Advanced Technologies, Inc. Apparatus and method for non-destructive inspection of large structures
US7110194B2 (en) 2002-11-27 2006-09-19 Hubbs Machine & Manufacturing Inc. Spherical retro-reflector mount negative
US7075084B2 (en) 2002-12-20 2006-07-11 The Boeing Company Ultrasonic thermography inspection method and apparatus
US7186981B2 (en) 2003-07-29 2007-03-06 Thermal Wave Imaging, Inc. Method and apparatus for thermographic imaging using flash pulse truncation
US7384220B2 (en) 2004-01-06 2008-06-10 The Boeing Company Laser-guided coordination hole drilling
US7194358B2 (en) 2004-02-25 2007-03-20 The Boeing Company Lift collision avoidance system
US7513964B2 (en) 2005-02-28 2009-04-07 The Boeing Company Real-time infrared thermography inspection and control for automated composite marterial layup
US7287902B2 (en) 2005-06-07 2007-10-30 The Boeing Company Systems and methods for thermographic inspection of composite structures
US7783376B2 (en) 2006-05-10 2010-08-24 The Boeing Company Photogrammetric contrasting light for hole recognition
US7454265B2 (en) 2006-05-10 2008-11-18 The Boeing Company Laser and Photogrammetry merged process
US7587258B2 (en) 2006-05-10 2009-09-08 The Boeing Company Merged laser and photogrammetry measurement using precise camera placement
US20070269098A1 (en) 2006-05-19 2007-11-22 Marsh Bobby J Combination laser and photogrammetry target
US7643893B2 (en) 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
US7743660B2 (en) 2007-06-15 2010-06-29 The Boeing Company System and method for automated inspection of large-scale part
US7859655B2 (en) 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
EP2197199B1 (en) 2008-12-12 2017-10-18 Testo SE & Co. KGaA Thermal imaging camera and method for constructing a thermographic image
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US9149929B2 (en) 2010-05-26 2015-10-06 The Boeing Company Methods and systems for inspection sensor placement
US8713998B2 (en) 2011-06-14 2014-05-06 The Boeing Company Autonomous non-destructive evaluation system for aircraft structures
US9221506B1 (en) * 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
US8892252B1 (en) * 2011-08-16 2014-11-18 The Boeing Company Motion capture tracking for nondestructive inspection
JP6059031B2 (ja) * 2013-01-31 2017-01-11 本田技研工業株式会社 移動作業ロボット
US9410659B2 (en) 2014-02-10 2016-08-09 The Boeing Company Automated mobile boom system for crawling robots
US9981389B2 (en) * 2014-03-03 2018-05-29 California Institute Of Technology Robotics platforms incorporating manipulators having common joint designs
US10310054B2 (en) 2014-03-21 2019-06-04 The Boeing Company Relative object localization process for local positioning system
GB201419182D0 (en) * 2014-10-28 2014-12-10 Nlink As Mobile robotic drilling apparatus and method for drilling ceillings and walls
WO2016174445A1 (en) 2015-04-30 2016-11-03 Bae Systems Plc Drilling apparatus for drilling aircraft panels
US9519844B1 (en) * 2016-01-22 2016-12-13 The Boeing Company Infrared thermographic methods for wrinkle characterization in composite structures
US10402671B2 (en) * 2016-03-28 2019-09-03 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
US10814480B2 (en) * 2017-06-14 2020-10-27 The Boeing Company Stabilization of tool-carrying end of extended-reach arm of automated apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5769954A (en) * 1993-08-13 1998-06-23 Putzmeister Aktiengesellschaft Process and device for treating the surface of large objects
CN102284956A (zh) * 2011-05-04 2011-12-21 南京航空航天大学 一种自动钻铆机器人的法向找正方法
US20130024067A1 (en) * 2011-07-18 2013-01-24 The Boeing Company Holonomic Motion Vehicle for Travel on Non-Level Surfaces
US20160016312A1 (en) * 2013-03-15 2016-01-21 Carnegie Mellon University A Supervised Autonomous Robotic System for Complex Surface Inspection and Processing
US20160123933A1 (en) * 2014-10-30 2016-05-05 The Boeing Company Non-destructive ultrasonic inspection apparatus, systems, and methods
CN105882777A (zh) * 2015-02-17 2016-08-24 波音公司 车辆到物体的电永磁附连
US9645012B2 (en) * 2015-08-17 2017-05-09 The Boeing Company Rapid automated infrared thermography for inspecting large composite structures

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110285779A (zh) * 2019-06-12 2019-09-27 智久(厦门)机器人科技有限公司 一种深度相机的角度误差补偿方法、装置、存储介质
CN114514094A (zh) * 2019-08-19 2022-05-17 应用材料公司 处理系统对准器站的校准
US20220379483A1 (en) * 2019-11-01 2022-12-01 Neuromeka Automatic calibration method and device for robot vision system
US11642789B2 (en) * 2019-11-01 2023-05-09 Neuromeka Automatic calibration method and device for robot vision system
CN112809664A (zh) * 2019-11-15 2021-05-18 精工爱普生株式会社 机器人系统的控制方法
CN112809664B (zh) * 2019-11-15 2023-06-16 精工爱普生株式会社 机器人系统的控制方法
CN111596284A (zh) * 2020-05-12 2020-08-28 河海大学常州校区 一种基于热成像技术的三维空间定位装置及方法
CN111596284B (zh) * 2020-05-12 2023-09-01 河海大学常州校区 一种基于热成像技术的三维空间定位装置及方法
CN113029357A (zh) * 2021-03-04 2021-06-25 中北大学 一种测温仪探头位置自动调节装置及方法
CN113232020A (zh) * 2021-05-14 2021-08-10 山西光兴光电科技有限公司 取片机器人取片位置校正系统及校正方法
CN113386149A (zh) * 2021-05-14 2021-09-14 中国航发北京航空材料研究院 一种面向排气机匣的激光喷丸机器人运动轨迹控制方法
CN113386149B (zh) * 2021-05-14 2022-06-28 中国航发北京航空材料研究院 一种面向排气机匣的激光喷丸机器人运动轨迹控制方法

Also Published As

Publication number Publication date
JP7353021B2 (ja) 2023-09-29
CN109079775B (zh) 2022-11-18
EP3415284A2 (en) 2018-12-19
JP2019051585A (ja) 2019-04-04
EP3415284A3 (en) 2019-01-02
US10625427B2 (en) 2020-04-21
US20180361595A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN109079775A (zh) 使用方位对准反馈来控制机器人末端执行器的方位的方法
CN109079842A (zh) 自动化设备的范围延伸臂的工具承载端部的稳定化
US11044011B2 (en) Automated scanning systems for non-destructive inspection of curved cylinder-like workpieces
US10585167B2 (en) Relative object localization process for local positioning system
US10634632B2 (en) Methods for inspecting structures having non-planar surfaces using location alignment feedback
US9645012B2 (en) Rapid automated infrared thermography for inspecting large composite structures
US8059151B2 (en) Method for planning an inspection path for determining areas that are to be inspected
EP2752657B1 (en) System and methods for stand-off inspection of aircraft structures
JP5337805B2 (ja) 局所的位置決定システムとその方法
CN109549667A (zh) 超声换能器扫描系统、方法及超声成像设备
JP2007120993A (ja) 物体形状測定装置
JP6392922B1 (ja) 検査システムの検査対象外となる領域を算出する装置、および検査対象外となる領域を算出する方法
EP3799790B1 (en) Method for tracking location of two-dimensional non-destructive inspection scanner on target object using scanned structural features
JP2020510903A (ja) 環境のデジタルキャプチャのための画像収集の追跡、並びに関連のシステム及び方法
JP5365960B2 (ja) 三次元２点間距離簡易計測装置
JP2022149716A (ja) 測量システム
CN109993768A (zh) 一种提高伺服跟踪实时性和精准性的空中目标测谱方法
CN116878707A (zh) 一种残余应力检测方法及及其检测装置
JP2022149715A (ja) ポール装置及び測量システム
JPH09223222A (ja) 位置計測装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant