JP2019051585A - 位置アライメントフィードバックを用いた、ロボットのエンドエフェクタの位置制御方法 - Google Patents

位置アライメントフィードバックを用いた、ロボットのエンドエフェクタの位置制御方法 Download PDF

Info

Publication number
JP2019051585A
JP2019051585A JP2018110992A JP2018110992A JP2019051585A JP 2019051585 A JP2019051585 A JP 2019051585A JP 2018110992 A JP2018110992 A JP 2018110992A JP 2018110992 A JP2018110992 A JP 2018110992A JP 2019051585 A JP2019051585 A JP 2019051585A
Authority
JP
Japan
Prior art keywords
end effector
target object
robot
distance
state machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018110992A
Other languages
English (en)
Other versions
JP7353021B2 (ja
Inventor
ジェームズ ジェー. トロイ,
J Troy James
ジェームズ ジェー. トロイ,
ゲアリー イー. ジョージソン,
E Georgeson Gary
ゲアリー イー. ジョージソン,
スコット ダブリュ. レア,
W Lea Scott
スコット ダブリュ. レア,
ダニエル ジェームズ ライト,
J Wright Daniel
ダニエル ジェームズ ライト,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019051585A publication Critical patent/JP2019051585A/ja
Application granted granted Critical
Publication of JP7353021B2 publication Critical patent/JP7353021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/12Programme-controlled manipulators characterised by positioning means for manipulator elements electric
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/04Casings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39024Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40298Manipulator on vehicle, wheels, mobile
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45066Inspection robot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45071Aircraft, airplane, ship cleaning manipulator, paint stripping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector
    • Y10S901/44End effector inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボット用エンドエフェクタのアライメントを自動化するシステム及び方法を提供する。【解決手段】アライメントのプロセスは、ロボットのエンドエフェクタを対象物体に対する所望の位置に誘導するための、オフセット距離と回転角度の計算を含む。この相対的アライメントプロセスによって、オンライン及びオフラインの動作経路スクリプトの作成を最小限にするロボット動作経路計画アプリケーションの開発が可能になり、その結果、ロボット向け用途がより使用しやすいものになる。独立した(オフボードの)方法による、対象物体の座標系のレジストレーション用の相対的アライメントプロセスが用いられ得る。例示的な一実施形態は、非破壊検査用のグリッドベースのスキャン結果取得に使用される回転式エンドエフェクタを有するホロノミック運動のロボットプラットフォームを制御する、有限状態機械の構成を用いる。【選択図】図5

Description

本開示は、概して、非破壊検査(NDI)及び他の整備作業といった自動手順の実施中の、対象物体に対するロボットのエンドエフェクタの位置を制御するシステム及び方法に関する。
現存するロボットプログラミング技法は、動作制御プロセス(例えば動作スクリプト)に対して、典型的にはオンラインのティーチング法またはオフラインのプログラミング法を用いて、個別のロボットの動作シーケンスを入力することを必要とする。しかし、これらは通常、ロボットプログラマーに対して高いレベルの専門技術と労力とを要求する。
ロボットと対象物体との間のアライメントが損なわれる場合には、標準的な開ループのプログラミング技法もまた、問題を有し得る。これは、地表を渡って移動する地上ロボットに関して、地表が不均一であり得るか、または亀裂、孔もしくは他の不連続部を有し得る場合に該当し得る。現存する開ループのロボットプログラミング技法は、アライメントのずれには適応できない(例えば、デッドレコニングオドメトリ単体では十分ではない。なぜなら、時間の経過と共に誤差が蓄積していくからである)。この状況に対処するため、いくつかの手法では、スキャナの位置に関する連続的な閉ループフィードバックを提供する、外部ハードウエアが使用される。この一例がモーションキャプチャ(米国特許第7,643,893号及び第8,892,252号を参照)であり、これらにおいては、移動中の物体と対象物体に取り付けられた逆反射の光学対象物を追跡するための複数のカメラが使用される。これらのタイプの解決方法では、使用に先立って外部ハードウエアをセットアップする必要があるが、このことは、あるユースケースでは問題となり得る。他の解決方法では、エンドエフェクタをワークピースに対してアライメントするのを補助するため、接触アライメントプロセスが使用される。
以下で詳細に開示される主題は、自動作業の実施中に、対象物体に対する地上ロボット移動プラットフォームのエンドエフェクタの位置を制御するための、システム及び方法を対象とする。ある地上ロボット移動プラットフォームでは、ロボットは、遠位端にリストを有するロボットアームを備える。リストには、エンドエフェクタが取り付けられる。エンドエフェクタには、ツール(例えばNDIセンサ)が取り付けられる。典型的には、ロボットコントローラは、ロボットの様々なモータを制御し、それによってエンドエフェクタをある位置まで動かして、その位置で、エンドエフェクタ及びエンドエフェクタに取り付けられたツールが、対象物体のスキャンされる部分と適正にアライメントされるように、構成されている(即ち、本書で使用する場合、「位置」という用語は配置及び配向のどちらをも含む)。
具体的には、本書で開示される主題は、相対的な並進運動及び回転運動を制御するための複数の距離センサからのリアルタイムのデータを用いて、ロボットのエンドエフェクタのアライメントを自動化するシステム及び方法に関する。一実施形態では、アライメントのプロセスは、ロボットのエンドエフェクタを対象物体に対する所望の位置に誘導するための、オフセット距離と回転角度の計算を含む。(本書で使用する場合、「目標オフセット距離」とは、エンドエフェクタに装着されたツールの遠位端と対象面との間の、所望の(即ち目標の)距離である。例えば、非接触式NDIプロセスの場合、システムオペレータは、自分が実現したいと思うNDIセンサと対象物体との間の目標オフセット距離を特定する必要がある。)この相対的アライメントプロセスによって、オンライン及びオフラインの動作経路スクリプトの作成を最小限にするロボット動作経路計画アプリケーションの開発が可能になり、その結果、ロボット向け用途がより使用しやすいものになる。以下で同様に開示されているのは、この相対的アライメントプロセスと、対象物体の座標系のレジストレーションのための独立した(オフボードの)方法との統合である。NDI用のグリッドベースのスキャン結果取得に使用される回転式エンドエフェクタを有するホロノミック運動のロボットプラットフォームを制御する有限状態機械の構成を用いて、例示的な一実施形態が提供される。有限状態機械の制御アプリケーションは、上位レベルの目標と、センサからのフィードバックと、制約(constraints)と、ロボットのモーションコントローラに送信される命令をリアルタイムで生成するトリガ条件とを必要とするプロセスである。
以下で記載されるプロセスは、典型的なロボット経路の作成に含まれる開ループのステップの多くを削減することによって、ロボットの動作経路のプログラミングを簡便化し、対象物体に対するエンドエフェクタの配置及び配向に関連する実測データをリアルタイムでフィードバックすることによって、システム全体の頑健性を向上させる。開示されるプロセスは、複数の距離センサを用いて対象物体に対するエンドエフェクタの配置及び配向をアライメントすることによって、ロボット経路の計画プロセスを顕著に迅速化し、簡便化する。開示されるプロセスはまた、プロセスの頑健性を向上させるための環境変化に適応する機能も提供する。オプションで、整備/修理の用途向けに、NDIのスキャンデータを対象物体の座標系でレジスタするためと、位置情報をアーカイブ目的で記録するために、位置同定プロセスが使用され得る。提案されるシステムはまた、オンラインまたはオフラインの動作プログラミングを必要とすることなしに、ロボットの動作計画のためにセンサフィードバックを使うことも可能にする。これによって、経路計画の作成時間と、専門的トレーニングを受けたオペレータの必要性とが削減される。
説明のため、アクティブ赤外線サーモグラフィを用いて複合材料製(例えば、繊維強化プラスチック製の複合材積層板)の胴体部を点検するシステム及び方法を、詳細に記載する。アクティブ(即ちパルス状)赤外線サーモグラフィは、航空業界及び発電業界で使用されている、表面下の欠陥に関して構造構成要素を非破壊的に評価する一方法である。しかし、本書で開示されるエンドエフェクタのアライメントの概念は、赤外線サーモグラフィ用スキャナがエンドエフェクタに装着された環境における用途に限定されない。本書で開示されるアライメントのプロセスは、(超音波トランスデューサアレイまたは渦電流センサといった)他のタイプのNDI用センサまたは非NDI用ツールのアライメントにも、使用されてよい。
赤外線サーモグラフィ(IRT)スキャナを用いるある実施形態によると、このシステムは、回転式リスト及びモジュラーツール用マウントの付いた垂直延長アームと、アライメント用センサ要素とを備え、最小限の地上接触面積(ground footprint)で胴体周りの必要なエリアに到達できる、コンパクトで比較的低コストのプラットフォームを提供する。好適な一実施形態によると、垂直延長アームはホロノミック運動のベースプラットフォームと、赤外線カメラを含むIRTスキャナとに堅固に連結されており、エンドエフェクタには少なくとも1つのフラッシュランプが取り付けられている。
対象物体に対するロボットのエンドエフェクタの位置を制御するシステム及び方法の、様々な実施形態が以下で詳細に記載されているが、これらの実施形態のうちの1つ以上は、以下の態様のうちの1つ以上によって特徴づけられていてよい。
以下で詳細に開示される主題の一態様は、対象物体に対するロボット移動プラットフォームのエンドエフェクタの位置を制御する方法であり、この方法は、エンドエフェクタを第1の位置(例えば開始位置)に動かすことと、有限状態機械制御アプリケーションによって特定された動作をロボットコントローラが実行できるようにすることとを含み、この動作は、エンドエフェクタが第1の位置にある間に、エンドエフェクタに装着された第1、第2、及び第3の距離センサから距離データを取得することであって、取得された距離データは、第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す、取得することと、この距離データを使ってエンドエフェクタを対象物体に対してアライメントすることによって、エンドエフェクタを第1の位置から第1のグリッド位置へと動かすこととを含む。ある実施形態によると、アライメントすることは、エンドエフェクタの軸が対象物体の表面と垂直になるように、エンドエフェクタを回転させることと、エンドエフェクタが対象物体の表面から目標オフセット距離で離れるように、エンドエフェクタを移動させることとを含む。
上の段落で記載された方法は、対象物体の座標系における、外部追跡システムの位置の座標を計算することと、続いて、外部追跡システムによって作り出されたレーザビームを、対象面上の特定の座標位置に照準し、それによってレーザスポットを形成することをさらに含んでいてよい。この例では、エンドエフェクタを第1の位置に動かすことは、第1、第2、及び第3の距離計によって作り出されたレーザスポットを、外部追跡システムによって作り出されたレーザスポットの周囲にアライメントするために、ロボット移動プラットフォームを駆動することを含む。方法は、エンドエフェクタが第1のグリッド位置にある間に、外部追跡システムを用いて、対象物体の座標系における、エンドエフェクタに装着されたツールの座標を計算することをさらに含み得る。
以下で詳細に開示される主題の別の態様は、複数の回転要素及び、前記複数の回転要素にそれぞれ連結された複数のモータを備える自走可能な移動ベースプラットフォームと、ベースプラットフォームに支持された垂直に延長可能なマストと、垂直に延長可能なマストに固定して連結された近位端を有するアームと、アームの遠位端に枢動可能に連結されたエンドエフェクタと、有限状態機械の制御アプリケーションが保存されている非一過性の有形コンピュータ可読記憶媒体と、第1、第2、及び第3の距離センサであって、エンドエフェクタに装着され、第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す距離データを取得するように構成された第1、第2、及び第3の距離センサと、第1、第2、及び第3の距離センサの動作を制御し、且つ有限状態機械の制御アプリケーションによって生成されたコマンドに従ってエンドエフェクタを地面に対して動かすように構成されたコントローラと、を備えるロボット移動プラットフォームであって、有限状態機械の制御アプリケーションが、第1、第2、及び第3の距離センサが取得した距離データを使ってエンドエフェクタを動かすためにコントローラによって実行可能な命令を生成する方法を含む、ロボット移動プラットフォームである。
以下で詳細に開示される主題のさらなる態様は、対象物体に対するロボット移動プラットフォームのエンドエフェクタの位置を制御する方法であって、この方法は、有限状態機械制御アプリケーションによって特定された動作をロボットコントローラが実行できるようにすることとを含み、この動作は、(a)グリッドパターンを表す予め保存されたグリッドパターンデータに従って、対象物体の表面と接していない基準位置(nominal location)にエンドエフェクタを動かすことと、(b)エンドエフェクタがアライメントされていない位置にある間に、エンドエフェクタに装着された第1、第2、及び第3の距離センサから距離データを取得することであって、取得された距離データは、第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す、取得することと、(c)この距離データを使ってエンドエフェクタを対象物体とアライメントすることによって、エンドエフェクタを、アライメントされていない位置からアライメントされた位置へ動かすことと、(d)エンドエフェクタがアライメントされた位置にある間に、エンドエフェクタに取り付けられたツールを起動することと、(e)グリッドパターンの複数のアライメントされる位置の1つずつに関して、ステップ(a)から(d)を繰り返すこととを含む、方法である。ある実施形態によると、アライメントすることは、エンドエフェクタの軸が対象物体の表面と垂直になるように、エンドエフェクタを回転させることと、エンドエフェクタが対象物体の表面から目標オフセット距離で離れるように、エンドエフェクタを移動させることとを含む。
ロボットのエンドエフェクタの位置を制御するシステム及び方法の他の態様が、以下で開示される。
前節で検討された特徴、機能、及び利点は、様々な実施形態において個別に実現することが可能であるか、またはさらに別の実施形態において組み合わせられてよい。上記の態様及び他の諸態様を例示する目的で、以下で、図面を参照しながら様々な実施形態が説明される。本節で簡潔に記載されている図面はいずれも、縮尺どおりに描かれていない。
胴体部のサーモグラフィ撮像用システムの、いくつかの構成要素を特定するブロック図である。 一実施形態による、地上ロボットNDI移動プラットフォームの側面図である。 別の実施形態による、地上ロボットNDI移動プラットフォームの側面図である。 図3に示すロボットNDI移動プラットフォームの、いくつかの構成要素の分解図である。 複合材料製の湾曲したワークピースをスキャンしている途中の、地上ロボットNDI移動プラットフォームの斜視図である(ロボットのエンドエフェクタに装着されたレーザ距離計は、図5には示されていないが、図6には示されている)。 図5に示すロボットNDI移動プラットフォームの一部分であって、エンドエフェクタ及び、エンドエフェクタに装着された3つのレーザ距離計を含む部分の、側面図である。 図5に示すロボットNDI移動プラットフォームのエンドエフェクタに装着された、赤外線サーモグラフィ用スキャナの斜視図である。 図7に示す赤外線サーモグラフィ用スキャナの前面図である。 ある実施形態による、アライメントシステムのいくつかの構成要素を特定するためのブロック図である。 大型ワークピースのIRT検査用のスキャンパターン(3×2)を表す図である。 一実施形態によるエンドエフェクタのアライメントプロセスを用いた、非破壊検査の一方法のいくつかのステップを特定するフロー図である。 図11に上位レベルとして記載されている方法で用いられる、アライメントプロセスの有限状態機械によって実施されるいくつかのステップを特定するフローチャートを、図11Bと合わせて形成する。 図11により上位レベルとして記載されている方法で用いられる、アライメントプロセスの有限状態機械によって実施されるいくつかのステップを特定するフローチャートを、図11Aと合わせて形成する。 ローカル・ポジショニング・システム(LPS)を用いた、スキャン領域の境界の測定を表す。 LPSを用いた、ロボットシステムの初期位置アライメントを表す図である。 一実施形態による、ロボット対部品の位置同定プロセスを実行中のLPSの斜視図である。 図15A〜図15Cは、共通平面上で三角形のパターンに配設され、対象物体の表面上のそれぞれのスポットに向けられた3つのレーザ距離計であって、これらのレーザ距離計とこれらのスポットは、それぞれの距離で離れている、レーザ距離計の、それぞれ前面図、側面図、及び上面図である。 図15A〜図15Cは、共通平面上で三角形のパターンに配設され、対象物体の表面上のそれぞれのスポットに向けられた3つのレーザ距離計であって、これらのレーザ距離計とこれらのスポットは、それぞれの距離で離れている、レーザ距離計の、それぞれ前面図、側面図、及び上面図である。 両矢印で表される様々な寸法が付いた、4個のメカナムホイールを有するホロノミック運動のベースプラットフォームの上面図である。 ある実施形態による、大型の複合材構造体の赤外線サーモグラフィ検査用システムの、いくつかの構成要素を特定するブロック図である。
以下で図面を参照する。種々の図面中、類似の要素には同一の参照番号が付されている。
以下で詳細に記載されるプロセスは、航空機の胴体といった大型の表面に対するNDIスキャンのようなタスクを自動化する方法を提供する。このプロセスはまた、最小限の命令によってスキャンシーケンスの定義を可能にし、それによってカスタマイズされた経路のプログラミングの必要性をなくす、使いやすい高レベルのインターフェースを提供する。以下に記載のシステムは、外部センサからの継続的なフィードバックを必要としない、対象物体に対する相対的なアライメントのための搭載型フィードバックセンサを有する。この解決方法は、距離測定データを取得する技術、距離と角度のアライメントを計算する技術、及び有限状態機械の制御アプリケーションでアライメントプロセスを制御する技術を含む。
加えて、対象物体の局所座標系内で規定されたスキャン領域の三次元(3D)位置データを提供するための、独立した位置同定プロセスもまた含まれる。これによって、3Dコンピュータ支援設計(CAD)モデルといった他の参照情報に対してアライメントされたスキャンデータの後処理が可能になる。スキャンシステムの対象物体との当初のアライメントも、位置同定プロセスを使って実施することができる。
説明のため、アクティブサーモグラフィを用いて複合材料製(例えば、繊維強化プラスチック製の複合材積層板)の胴体部を非破壊検査するシステム及び方法を、ここで詳細に記載する。しかしながら、実際の実装のすべての特徴が本明細書に記載されているわけではない。当業者であれば、こうした実施形態の開発において、実装によって異なるシステム関連や業種関連の制約に適合するといった、開発者の具体的な目標を達成するためには、実装固有の判断を多数行う必要があることを、理解するであろう。さらに、こうした開発のための取り組みは煩雑で時間がかかるものであるかもしれないが、本開示から受益する当業者にとっては所定の日常業務であることは、理解されるであろう。
赤外線サーモグラフィの方法及び装置によって、欠陥、材料特性のばらつき、または材料の被覆もしくは層の厚さの相違を検出するための、材料の非破壊試験の実施が可能になる。赤外線撮像は、材料の表面における、または材料の表面下における熱拡散率または熱伝導率の局所的なばらつきを検出することができる。赤外線サーモグラフィは、鋼を含む鉄系材料といった金属、またはプラスチック、セラミック、もしくは複合材料といった非金属材料に対して使用することができる。
アクティブサーモグラフィは、表面下の欠陥に関して試料を非破壊的に評価するために使用される。アクティブサーモグラフィは、試料の目視点検によって検出できない内部接合不連続、層間剥離、空隙、介在物、及び他の構造的欠陥を発見するのに有効である。一般的に、アクティブサーモグラフィは、試料の温度と周囲温度との間に差異を作り出すために試料を加熱または冷却し、次にその温度が周囲温度に戻る際に試料から発せられる赤外線熱痕跡を観察することを含む。赤外線カメラは、試料の表面から試料の内部への熱の拡散をブロックする表面下の欠陥によって生じたであろう、冷却挙動中のあらゆる異常を検出することができるので、赤外線カメラが使用される。具体的には、これらの欠陥は、欠陥のすぐ上にある表面が、周囲の欠陥のないエリアとは異なる速度で冷却する原因となる。試料が冷却する際に、表面温度を表す画像の時系列が赤外線カメラによってモニタリングされ、記録される。それによって、経時的な表面温度の変化の記録が作られる。
典型的には、材料の表面がフラッシュランプを用いて加熱され、一定期間の後、加熱された材料の表面の熱画像が撮影される。サーモグラフィ用の加熱システムは、典型的には、試料を励起するためのキセノンの閃光電球及び、既製の写真用電源を用いる。赤外線カメラが、材料の表面温度を表す、材料の表面からの赤外線分光放射輝度を撮影する。材料の表面温度の差異は、材料の熱特性が異なっていることを表す。材料の熱特性にこうしたばらつきがあることは、材料に欠陥があるか、または異物が介在している可能性を表す。
赤外線痕跡の処理に必要な構造の厚さ及び積層の配列は、胴体部の表面上における赤外線カメラの視野の正確な位置を知ることによって得られる。
図1は、胴体部2のサーモグラフィ撮像用システムの、いくつかの構成要素を特定するブロック図である。この赤外線サーモグラフィ検査システムは、フード12内のカメラレンズ開口5を通して向けられているレンズを有するデジタル赤外線カメラ4を備える。フード12は、検査中の表面付近に覆われた筐体を形成するように設計されている。一対のフラッシュランプ6a及び6bが、フード12の内部に、且つフード12に対して固定した空間関係で、配置されている。フラッシュランプ6a及び6bは、赤外線サーモグラフィ用コンピュータ8からのトリガ信号に応答して、閃光を作り出す。赤外線サーモグラフィ用コンピュータ8は、赤外線カメラ4の動作もまた制御する。本書で開示される実施形態のうちの少なくともいくつかで使用するのに適切なタイプの赤外線カメラ4の一例は、分光放射計として機能するように構成された、焦点面アレイ(FPA)装置を含む。赤外線カメラ、一対のフラッシュランプ、及びフードを備えたタイプのフラッシュランプアセンブリに含まれていてよい他の構成要素に関するさらなる詳細は、例えば、米国特許第7,186,981号で見ることができる。
サーモグラフィ検査の一方法によると、まず、胴体部2の複合材料に熱を伝達するため、フラッシュランプ6a及び6cがトリガされる。好ましくは、複合材料の冷却中、胴体部2の被加熱部の様々な分光放射輝度の連続したデジタル画像をキャプチャするため、赤外線カメラ4が定期的にトリガされる。好ましくは、検査されている複合材料の熱的に励起された(加熱された)領域は、励起源が取り外された後、試料がその周囲との熱平衡に到達するまで、単調に冷却される。赤外線カメラ4によってキャプチャされたデジタル赤外線撮像データは、処理のため、赤外線サーモグラフィ用コンピュータ8によって受信される。赤外線サーモグラフィ用コンピュータ8は、材料の境界、材料の表面下の異物、または層間剥離や許容範囲を超える空隙率といったこの他の材料の異常を検出して位置を突き止めるために、赤外線撮像データを処理するようにプログラムされている。赤外線撮像データは、赤外線サーモグラフィ用コンピュータ8と一体化されていてよいかまたは分離されていてよい、表示モニタ(図1には図示せず)上に表示されてよい。
図1に示す実施形態によると、赤外線サーモグラフィ用コンピュータ8は、赤外線カメラ4から得た赤外線撮像データを、赤外線サーモグラフィ用コンピュータ8によって分析し数学的に操作することができるフォーマットに変換する、デジタル画像取得機能を有する。オプションのデータ取得モジュール10が、赤外線サーモグラフィ用コンピュータ8と一体化されていてよいか、または(図1に示すように)分離されていてよい。データ取得モジュール10は、複合材構造体の表面が単一の画像フレームに収まるのには大きすぎて、赤外線カメラ4が複数の空間的に異なる画像をキャプチャし、複合材構造体の表面の完結した組み合わせ画像を生成する場合に、使用され得る。赤外線サーモグラフィ用コンピュータ8は、さらに、赤外線カメラ4によってキャプチャされた赤外線撮像データを分析するようにプログラムされていてよい。具体的には、胴体部2が室温に戻る際の胴体部2の表面温度応答の時間履歴が、複合材料中の欠陥の存在を検出するために分析され得る。
胴体部の検査という特定の用途の文脈では、非破壊検査システムは、胴体部の外部の有利な地点から胴体部の外板をスキャンする方法を含んでいてよい。以下で開示される実施形態では、外部のスキャン手段は、赤外線カメラを装備したロボットを備える。ロボットは、移動可能なロボットベースと、ロボットベースに連結された近位端を有するロボットアームとを有する。ロボットベースは、移動式のホロノミックのクローラビークルであってよい。ロボットアームの遠位端には、赤外線サーモグラフィ用スキャナが連結されている。赤外線サーモグラフィ用スキャナは、赤外線カメラと、フード内部に取り付けられた2つ以上のフラッシュランプとを含む。フードは、胴体部の外表面上の正方形のエリアをカバーするようにサイズ決めされていてよい。隣接する正方形のエリア同士から取得された赤外線撮像データは、局所座標系を用いたロボットベースのそれぞれの位置の測定値に基づいて、つなぎ合わせることができる。つなぎ合わせ処理は、リアルタイムで実施されてよいか、または後刻に実施されてよい。
ここで、本書で開示される位置アライメントフィードバックの概念を使用するように構成されたNDIシステムの様々な実施形態について、詳細に説明する。ある実施形態によると、NDIシステムは、胴体の頂部及び底部の中心線に、航空機のどちらの側からも到達することができるエンドエフェクタを有する、自動化されたプラットフォームである。このNDIシステムは、メカナムホイール付きのホロノミック運動のベースプラットフォームと、ベースプラットフォームに支持された垂直延長マストと、枢動式エンドエフェクタと、近接センサと、エンドエフェクタに装着された複数のタイプのNDI装置用の支持体とを備える。延長アームに枢動式エンドエフェクタが付いた垂直支持マストによって、航空機の胴体部の高さ全体の検査が可能になる。ホロノミック運動のベースプラットフォームによって、ロボットが胴体の長さに沿ってNDIスキャナユニットを迅速かつ効率的に再配置することが可能になる。距離センサフィードバック付きの動作制御ソフトウエアによって、グリッドパターンによるスキャン結果を一部が重なるようにして自動でキャプチャすることが可能になる。NDIのスキャン結果を適切な航空機の座標系とアライメントするために、基準位置データもまたキャプチャされる。自動制御モードであれ手動制御モードであれ、このシステムはセットアップと使用が比較的容易である。このシステムは、渦電流センサ、超音波センサ、及び赤外線サーモグラフィ(IRT)のNDIセンサを含む、エンドエフェクタに装着された様々なタイプのNDIユニットを受容するように構成され得る。
図2は、一実施形態による、地上ロボットNDI移動プラットフォーム200の側面図である。このプラットフォームは、ホロノミック運動のベースプラットフォーム204、赤外線サーモグラフィ(IRT)用スキャナ214、及び、ロボットコントローラ(図示せず)の制御下にある自動スキャナ支持器具(ホロノミック運動のベースプラットフォーム204によって支持されている)を備える。自動スキャナ支持器具は、IRTスキャナ214の高度を変更するために必要に応じて延長及び収縮し得る、垂直に延長可能なマスト206を備える。垂直に延長可能なマスト206は、直線軸とホロノミック運動のベースプラットフォーム204に固定して連結された一端とを有する第1のマスト部206a、直線軸を有し、且つ第1のマスト部206aに摺動可能に連結されて第1のマスト部206aの軸に平行な線に沿って摺動する第2のマスト部206b、及び直線軸を有し、且つ第2のマスト部206bに摺動可能に連結されて第2のマスト部206bの軸に平行な線に沿って摺動する第3のマスト部206cを備える。一実施形態によると、マストの垂直延長は、単一のモータ及びケーブル滑車システムによって制御される。
図2に示す地上ロボットNDI移動プラットフォーム200は、4バー式の結合アーム機構208をさらに備える。4バー式の結合アーム機構208は、その遠位端に枢動可能に連結された、エンドエフェクタ212の配置及び配向を制御する。4バー式結合機構208の駆動用結合部は、モータ駆動される主ネジまたは油圧シリンダ210によって、第3のマスト部206cに対して回転するように駆動される。IRTスキャナ214は、エンドエフェクタ212に装着されており、エンドエフェクタ212と共に回転する。IRTスキャナ214と湾曲したワークピース202(例えば胴体部)との間の間隙の空間を周囲の環境から隔離するため、IRTシュラウド216がIRTスキャナ214を囲んでいる。
図3は、別の実施形態による、地上ロボットNDI移動プラットフォーム220の側面図である。この実施形態は、垂直に延長可能なマスト206と、第3のマスト部206cに固定して連結された剛性の延長アーム222と、剛性の延長アーム222の両側の遠位端に枢動可能に連結されたエンドエフェクタ224とを含む。図4は、図3に示すロボットNDI移動プラットフォーム220の、いくつかの構成要素の分解図である。この実施形態では、延長する高さと同様にエンドエフェクタのピッチも、独立してプログラム可能に制御される。エンドエフェクタ224のピッチ回転は、位置制御モータ246(図4参照)によって、後退駆動不能なギアボックス(図示せず)で駆動され得る。
図5は、複合材料製の湾曲したワークピース202をスキャン中の、地上ロボットNDI移動プラットフォーム230のプロトタイプの斜視図である。IRTスキャナ214がエンドエフェクタ224に装着されており、エンドエフェクタ224は、ロボットコントローラ80の制御下でピッチ軸について枢動可能になっている。エンドエフェクタ224は、剛性の延長アーム232に枢動可能に連結されており、延長アーム232は、垂直な延長可能マスト206の最上マスト部に固定して連結されている。IRTスキャナ214は、取得したデータを、電気ケーブル242を経由して赤外線サーモグラフィ用コンピュータ(図5には図示せず)に送信する。ロボットNDI移動プラットフォーム230は、システムが有効化されているときにスイッチオン・オフする警告灯244もまた備えている。
提案される一実施形態によると、ホロノミック運動のベースプラットフォーム204は、4つのメカナムホイールを用いており、タイプAの一対が1つの対角線上に配置され、タイプBの一対がもう1つの対角線上に配置されている。タイプAのメカナムホイールの先細のローラーがタイプBのメカナムホイールの先細のローラーとは異なる角度で配向きされているという点で、タイプAのメカナムホイールとタイプBのメカナムホイールとは、異なっている。各メカナムホイールは、それぞれの独立して制御可能なステッパーモータによって回転されるように駆動され得る。メカナムホイール付きのビークルは、各ホイールの速度及び回転方向を制御することによって、あらゆる方向に動かすことができ、旋回させることができる。例えば、4つのホイールすべてを同じ速度で同じ方向に回転させることによって前方または後方への移動が生じ、片側のホイールを同じ速度で回転させ、反対側のホイールを反対方向に回転させることによってビークルが旋回し、さらにはタイプAのホイールを同じ速度で回転させ、種類Bのホイールと反対方向に回転させることによって、横方向への移動が生じる。ホロノミック運動のベースプラットフォーム204は、機載の制御用コンピュータ(即ちロボットコントローラ)の制御下で動く。適切なメカナムホイール付きのホロノミック運動のベースプラットフォームは、米国特許第9,410,659号に記載されており、同特許の開示は、全体として参照により本願に援用される。
一実施形態によると、ホロノミック運動のベースプラットフォーム204の外周に、複数のセンサ(図5には図示せず)が装着されており、ビークルのその特定の領域における障害物の存在を表示するようになっている。モーションコントローラは、そのセンサのデータを使って、その特定のセンサに関連付けられた方向に向けたさらなる動きを阻止する。しかし、他の方向への動きは、引き続き可能である。可能性のあるセンサは、接触センサ、透過型センサ、及び近接センサを含む。この衝突回避システムは、米国特許第7,194,358号に記載されているものと同様の態様で動作する。
上記のように、本書で開示されている位置アライメントフィードバックのプロセスでは、対象物体(例えばワークピース202)に対するIRTスキャナ214の配置及び配向(即ち位置)を決定するために、距離センサが用いられる。相対的位置をリアルタイムで計算するために、少なくとも、非同一直線上にある3つの距離測定装置を使用することができる。対象物体の表面に擦過傷を付けるあらゆる可能性を軽減するため、距離センサとして使用するのに、接触プローブの代わりにレーザ距離計が選択された。レーザ距離計は、近距離の誘導と角度の誘導に加え、プラットフォームのモーションコントローラに対して、ナビゲーション全般を目的としたより長距離の距離フィードバックという利点も提供する。
一実施形態によると、3つのレーザ距離計(図5には図示せず)がエンドエフェクタ224に装着されている。図6は、図5に示すロボットNDI移動プラットフォームの一部分であって、エンドエフェクタ224及び、エンドエフェクタ224に装着された3つのレーザ距離計を含む、部分の側面図である。図6では3つのレーザ距離計のうち2つだけ(即ちレーザ距離計236及び238)が、見えている。図7では、第3のレーザ距離計(即ちレーザ距離計240)が、見えている。図6から分かるように、第1のレーザ距離計236は、L字形の装着プレート218aに取り付けられており、L字形の装着プレート218aは、エンドエフェクタ224に取り付けられている。同様に、第2のレーザ距離計238はL字形の装着プレート218b(図6及び図7に示す)に取り付けられており、L字形の装着プレート218bはエンドエフェクタ224に取り付けられている。また、第3のレーザ距離計240はL字形の装着プレート218c(図7に示す)に取り付けられており、同様にL字形の装着プレート218cはエンドエフェクタ224に取り付けられている。
図7は、剛性の延長アーム232に枢動可能に連結されたエンドエフェクタ224に装着された、IRTスキャナ214(シュラウド216は取り外されている)の斜視図である。上記のとおり、レーザ距離計236、238、及び240が、エンドエフェクタ224に装着されている。図8の前面図で最も良く見えるように、レーザ距離計236は、IRTスキャナ214のフード12の最高地点の高度よりも高い高度に装着されている。その一方、レーザ距離計238及び240は、IRTスキャナ214のフード12の最低地点の高度よりも低い高度に装着され、ある距離によって離れている。好ましくは、レーザ距離計236、238、及び240は、二等辺三角形の頂点に配置されている。図15Aが示す配置では、レーザ距離計238と240が離れている距離(即ち、二等辺三角形の底辺)はaであり、レーザ距離計236と、レーザ距離計238と240の中点とが離れている距離(即ち、二等辺三角形の高さ)はbである。
図5〜図7に示すシステムは、エンドエフェクタ224の、対象物体に対する相対的な位置(配置及び配向)オフセットを決定するため、搭載型のアライメントシステムを使用する。このプロセスは、レーザ距離計236、238、及び240からの距離情報を使用して、リアルタイムで相対的な位置を計算する。次にこのシステムは、そのデータをロボットコントローラに提供して、フィードバックに基づくエンドエフェクタ224の所望の動きを生じさせる(ロボットの他の部位の動作制御もまた含んでいてよい)。
このプロセスが可能にする制御の一形態は、アライメントの一部の態様についてオペレータを補助する、半自動の制御である。これは例えば、エンドエフェクタ224が常に対象物体の表面に対して垂直であることを確実にしたり、常に表面から特定の距離にあることを確実にしたりするといった、エンドエフェクタ224の配向である。
図9は、ある実施形態による、アライメントシステムのいくつかの構成要素を特定するためのブロック図である。距離センサ14(例えばレーザ距離計236、238、及び240)が、コンピュータ16(例えばロボットコントローラ)に対して距離情報を提供する。コンピュータ16は、距離センサ14から受信した距離情報に基づいて、エンドエフェクタ224を対象物体の表面に対してアライメントするために何の動きが必要であるかを決定するように構成されて(例えばプログラムされて)いる。これらの動きは、ホロノミック運動のベースプラットフォーム204を新たな位置に移動すること、垂直に延長可能なマスト206を延長または収縮すること、及びエンドエフェクタ224をピッチ軸について枢動させること、のうちの1つ以上を含んでいてよい。ロボットNDI移動プラットフォームは、それぞれのモータコントローラ18によって制御されている複数のモータ20を備える。コンピュータ16は、エンドエフェクタ224を対象物体の表面とアライメントするのに必要なロボットの動作を起動するため、選択したモータコントローラ18にコマンド信号を送信する。
このプロセスによって可能になる別の形態の制御は、完全自動化された動作制御である。この完全自動化された動作制御では、オペレータがm×nのグリッドパターンといった上位レベルの目標を特定し、上位レベルの目標とアライメントシステムからのフィードバックとに基づいて、自動コントローラが動作のプランニングを行う。例えば、図10は大型ワークピースのIRT検査用の3×2のスキャンパターン22を表す図である。まず、IRTスキャナがスキャンエリア26aのIRTデータを取得する。次に、IRTスキャナは上方に移動し、スキャンエリア26bのIRTデータを取得する位置で停止する。スキャン結果同士をつなぎ合わせ易くし、対象範囲内に間隙がないことを確実にするため、スキャンエリア26bは、スキャンエリア26aとわずかに重複していることが好ましい。次に、IRTスキャナは右方に移動し、スキャンエリア26cのIRTデータを取得する位置で停止する。次に、IRTスキャナは下方に移動し、スキャンエリア26dのIRTデータを取得する位置で停止する。続いて、スキャンエリア26eのIRTデータを取得するため右方に移動し、次にスキャンエリア26fのIRTデータを取得するため上方に移動する。このプロセス中のIRTスキャナのスキャン経路28は、図10の矢印によって表されている。
このアライメントプロセスは、ロボットの個別の動作を直接プログラミングすることに対する、代替方法を提供する。このプロセスはまた、システムが予期せぬ環境の変化に適応することを可能にする。また、エンドエフェクタが対象面に接触することなく対象面に対する所望の配置及び配向を実現するための、エンドエフェクタの衝突回避機能も提供する。
本書で使われている自動プロセスは、外部からの入力に基づいて1つの状態から別の状態への遷移を管理する、有限状態機械制御アプリケーションに基づいている。このフレームワークによって、システムが、複数のタイプの入力とシステムの現在の状態とに基づいて応答を作り出すことが可能になる。自動で生成される動作経路プラン及びスキャナ制御信号を作り出すのに必要なシステムの様々な動きは、動作の1モードと別モードの間の遷移に必要な基準を満たすことに基づいている。一実施形態によると、有限状態機械は、システム状態の別個のセット間の遷移をトリガするために、センサフィードバックを用いる。
ここで、本プロセスについて、NDIセンサ(例えばIRTスキャナ)を遠位端に有するロボットアームを支持するベースプラットフォーム(例えば、ホロノミック運動のベースプラットフォーム)を備え、ベースプラットフォームとロボットアームの動作がデバイスコントローラ(例えばロボットコントローラ)によって制御されている、ロボットNDI移動プラットフォームに関連して記載しよう。図11は、このシステムの動作全体に関する上位レベルのプロセスを示し、図11A及び図11Bは、このプロセスのアライメントベースの態様に関連した詳細を示す。ロボットコントローラとNDIセンサ制御コンピュータ(例えば図1で特定されている赤外線サーモグラフィコンピュータ8)との間で送信されるデジタル信号によって、離れているロボットとNDIセンサシステムとの間の同期が可能になる。
図11は、一実施形態によるエンドエフェクタのアライメントプロセスを用いた、非破壊検査の一方法100のいくつかのステップを特定している。プロセスを開始するため、システムのオペレータが、対象物体に対するNDIセンサの最初の位置を特定する(ステップ102)。このステップは、(オペレータによる)視覚的な方法によって、または自動的に(LPSのような指向装置で)、達成することができる。次に、システムオペレータは、ベースプラットフォーム及びロボットアームを操作して、NDIセンサを近接する第1の位置に動かすことができる(ステップ104)。ステップ106で、システムオペレータは、パターン内における所望の数のスキャンを、デバイスコントローラに提供する。この数は、グリッド位置カウンターに保存されたカウント数と比較される。このカウンターは、パターン内でスキャンが1つ取得される都度、増分される。ステップ108では、デバイスコントローラは、予備経路パラメータを計算し、自動スキャンの取得を開始する。システムオペレータは、近接検出/衝突検出もまた可能にする(ステップ110)。次にシステムオペレータは、外部追跡システム(例えばLPS)を用いて第1の位置の3D座標をキャプチャする(ステップ112)。(外部追跡システムは、既に較正済みであり、それによって対象物体の座標系に対する自身の3D座標は既知となっている。そのため、LPSコンピュータが対象物体の座標系に対する第1の位置の3D座標系を計算することが可能になっている。)以降、アライメントプロセス中及びスキャンプロセス中に、NDIセンサの動作を制御するための有限状態機械が有効化される(ステップ114)(即ち、図11AのAに進む)。(有限状態機械は、図11A及び図11Bに関連して次の段落で説明する。)NDIセンサがアライメントされスキャンパターンが完成した後、システムオペレータは、外部追跡システムを使ってNDIセンサの終了位置の3D座標をキャプチャする(ステップ116)。次いで、隣同士のスキャンによって得たスキャンデータをつなぎ合わせることによって、組み合わせ画像が組み立てられ得る。
図11A及び図11Bは、(組み合わせて、)図11に上位レベルとして記載されている方法で用いられる、有限状態機械によって実施されるいくつかのステップを特定するフローチャートを形成する。有限状態機械は、任意の所与の時点における有限数の状態のうちの1つでのみあり得るプロセスの、数学的モデルである。
提案される一実施形態によると、ロボットコントローラは、まず有限状態機械(FSM)がGRID−MOVEの状態にセットされているか否かをチェック(即ち、判定)する(ステップ120)。GRID−MOVEは、ロボットが上位のレベルで規定されたグリッド位置の間で移動する状態である。例えば、システムオペレータがシステムに3×2のパターンでデータをキャプチャすることを望む場合、ロボットは、図10のスキャン経路28に沿って移動し、連続したグリッドにするであろう。ステップ120で、FSMがGRID−MOVE状態にないとロボットコントローラが判定した場合、ロボットコントローラは、直接ステップ128に進む。ステップ120で、FSMがGRID−MOVE状態にあるとロボットコントローラが判定した場合、ロボットコントローラは、シーケンス内にさらなるグリッド位置があるかどうかを判定する(ステップ122)。これは、グリッド位置カウンターの現在のカウント数を、予めセットされた取得すべきスキャン結果の数と比較することによって達成される。ステップ122で、シーケンス内にさらなるグリッド位置が存在していない(即ち、カウント数が所定の数と等しい)とロボットコントローラが判定した場合、プロセスは、図11のステップ116に戻る。ステップ122で、シーケンス内にさらなるグリッド位置が存在している(即ち、カウント数が所定の数よりも少ない)とロボットコントローラが判定した場合、ロボットはアライメント未了であるNDIセンサの次の位置へと移動し(ステップ124)、それに続いて有限状態機械の状態はALIGNにセットされる(ステップ126)。次のステップでは、ロボットコントローラは、有限状態機械がALIGNの状態にセットされているか否かを判定する(ステップ128)。
ALIGN状態とは、ロボットが3つの距離センサを使用して、エンドエフェクタのピッチ及びヨーが、NDIスキャナの照準軸を対象物体の表面に対して垂直にすることを確実にする状態である。ステップ128で、有限状態機械がALIGN状態にないとロボットコントローラが判定した場合、ロボットコントローラは、直接、図11Bのステップ144に進む。ステップ128で、有限状態機械がALIGN状態にあるとロボットコントローラが判定した場合、ロボットコントローラは、NDIセンサの位置の精度を上げる必要があるかどうかを判定する(ステップ130)。ステップ130で、NDIセンサの位置の精度を上げる必要がないとロボットコントローラが判定した場合(即ち、NDIスキャナの照準軸が対象物体の表面と垂直である場合)、ロボットコントローラは、有限状態機械の状態をSCANにセットし(ステップ132)、直接、図11Bのステップ144に進む。ステップ130で、NDIセンサの位置の精度を上げる必要があるとロボットコントローラが判定した場合(即ち、NDIスキャナの照準軸が対象物体の表面と垂直でない場合)、ロボットコントローラは、順に以下のステップを実施する。(a)距離センサから距離データを取得する(ステップ134)、(b)所望のアライメントされる位置からの配向及び並進のオフセットを計算する(ステップ136)、(c)距離を所望のオフセットにアライメントする(ステップ138)、(d)エンドエフェクタのヨー角をアライメントして、対象物体の表面に対する垂直を実現し、水平の配置を調整する(ステップ140)、(e)エンドエフェクタのピッチ角をアライメントして、対象物体の表面に対する垂直を実現し、高さを調整する(ステップ142)、及び(f)ステップ130に戻る。
上記のとおり、ステップ130で、NDIセンサの位置の精度を上げる必要がないとロボットコントローラが判定した場合、ロボットコントローラは、有限状態機械の状態をSCANにセットし(ステップ132)、直接、図11Bのステップ144に進む。ステップ144では、ロボットコントローラは、限界状態機械がALIGNの状態にセットされているか否かを判定する。ステップ144で、有限状態機械がSCAN状態にないとロボットコントローラが判定した場合、ロボットコントローラは、図11Aのステップ120に戻る。ステップ144で、有限状態機械がSCAN状態にあるとロボットコントローラが判定した場合、ロボットコントローラは、NDIスキャナ制御コンピュータ(例えば、図1で特定されている赤外線サーモグラフィコンピュータ8)に対してスキャナ制御コマンドを送信する(ステップ146)。次に、ロボットコントローラは、スキャナの応答をチェックし(ステップ148)、スキャンのパターンが完了したか否かを判定する(ステップ150)。ステップ150で、スキャンのパターンが完了していないとロボットコントローラが判断した場合、ロボットコントローラは、ステップ148に戻る。ステップ150で、スキャンのパターンが完了したとロボットコントローラが判断した場合、ロボットコントローラは、次に、順に以下のステップを実施する。(a)NDIスキャナを位置に戻す(ステップ152)、(b)有限状態機械の状態をGRID_MOVEにセットする、(c)グリッド位置カウンターを増分する、及び(d)図11Aのステップ120に戻る。
自動スキャンシーケンスの完了後、各IRTスキャンからの個別の画像がつなぎ合わされ、検査領域の単一の描写を作り出すことができる。
上記のシステムは、ロボットマニピュレータまたは他の装置の一般的なアライメント作業用に、多数の可能性あるユースケースを有し得る。これらのユースケースのうちの1つは、航空宇宙の製造環境及び整備環境におけるグリッドベースのNDIスキャン取得、例えば、航空機の胴体のグリッドベースのスキャンである。
このシステムは、典型的な稼働中、ユーザによっておよその第1の位置に駆動される(遠隔操作される)ことができる。システムはその後、図10に示すとおり、航空機の胴体のどちらかの側に沿って、オペレータに規定された垂直及び水平のパターンで配列されたグリッドのスキャンを自動的に取得するようにセットされる。
動作制御アルゴリズムの自動グリッドスキャン機能は、3つのレーザ距離計236、238、及び240から動作制御アルゴリズムへの距離データのフィードバックを伴っている。動作制御アルゴリズムは、プラットフォーム204及びエンドエフェクタ224の水平配置及び垂直配置、並びにヨー及びピッチの配向を、それぞれセットする。このアプローチによって、システムのために個別の所定の動作経路がある必要がなくなり、それによって、使用が簡便化されセットアップ時間が短縮される。
本システムは、オペレータがデータを手動で取得できるように、遠隔操作モードで完全に制御することもまた可能である。システムオペレータがプラットフォームの位置とマストの高さを制御し、システムが自動的にエンドエフェクタのピッチ配向を適応させてエンドエフェクタの前にある表面との垂直のアライメントを維持する、半自動化モードもまた可能である。
スキャン結果を航空機の座標系内で正確に位置同定するために、スキャン結果の境界領域の3D座標位置測定値が採られる。この境界の基準値によって、組み合わされたスキャン画像を、対象物体及びそれに関連するCADモデルと同一の座標系内に置くことが可能になる。これによって、取得したスキャン結果と対象物体の各3Dモデルの関連付けが可能になり、将来の参照用の位置データを用意することも可能になる。このシステムでは、対象物体54の座標系における3D座標位置データを取得するため、ローカル・ポジショニング・システム(LPS)24(図12に示す)が使用される。例えば、図12は、測定される境界の位置60にレーザビーム30を向けている、LPS24を示している。LPS24が既に対象物体54の座標系に対して較正済みであると仮定すると、LPS24によって取得された境界の位置データ点は、対象物体54の座標系における各境界の位置の座標を決定するために使用することができる。
一実施形態によると、スキャン結果の境界の取得は、IRTスキャナ214(図5及び図8を参照)が特定の位置のスキャンデータをキャプチャしているときに、IRTシュラウド216の角を対象にすることによって達成され得る。これらのLPSの境界の測定は、最初のスキャンよりも前及び最後のスキャンの後、またはグリッドシーケンス中の任意の中間位置において実施される。提案される一実施形態によると、IRTシュラウド216のコーナー(またはある既知の位置)は、能動的光学対象物(例えばLED)もしくは受動的光学対象物、またはその他の視覚可能な特徴を有していることができる。受動的なアプローチは、システムオペレータがLPS24を操作して、地点を標的にすることを必要とする。能動的なLEDの対象物は、LPSカメラを使ってLEDを検出する、自動アプローチを可能にする。理想的には、スキャンする領域の四隅全てを得ることがベストであろうが、IRTシュラウド216が、ときどき光学対象物を遮蔽してしまい、光学対象物を標的にすることが困難になる。プロセスのうちのこの部分で必要な光学対象物の最小数は2である。なぜならば、例えば、対象物体の3DCADモデルからの表面垂線を用いて、X×Yのスキャン領域の形状に関する仮定を作成することが可能だからである。
LPS24のモータ付きのパンチルト制御アスペクトによって、LPS24が、当初位置基準値と、スキャンする所望の第1の位置を指し示す誘導機能を提供することも、可能になる。対象物体上の既知の位置に対してLPS24の当初の較正を行った後、オペレータは、LPS24に指示して、LPS24のレーザポインターを対象面上の特定の3D座標に向けて照準することができる。このレーザスポット38は、図13に示されている。オペレータは次に、ロボットを駆動して、図13に示すようにロボットのレーザ距離計236、238、及び240それぞれのレーザスポット32a、32b、及び32cを、LPSのレーザスポット38の周囲にアライメントする。
LPS24を使用して対象物体54(例えば航空機)の座標系における測定値を取得するために、システムオペレータは、対象物体上の3つの既知の地点を必要とする。これらの3つの地点は較正点であり、スキャンのレジストレーションの目的で測定されたIRTシュラウド216上の地点とは別である。これが意味するところは、スキャンデータを航空機の座標とアライメントしたい場合に、LPSの測定値の総数の最小値は、5個、即ちLPSの当初較正用に3個、及びスキャンが行われた長方形領域を規定するために2個だということである。
図14は、一実施形態による、ロボット・対象物間の位置同定プロセスを実施することができるシステムの斜視図である。ロボット・対象物間の位置同定プロセスは、制御可能なパンチルトユニット42上に単一のカメラ40とレーザ距離計(図示せず)を備える、LPS24を用いて実施される。LPSの操作及び較正プロセスは、米国特許第7,859,655号で開示されており、同特許の開示は、全体として参照により本願に援用される。
具体的には、図14に示すローカル・ポジショニング・システムは、自動(遠隔操作)ズーム機能を有していてよい、ビデオカメラ40を備える。ビデオカメラ40は、パンチルト機構42上で支持されている。ビデオカメラ40及びパンチルト機構42は、LPS制御コンピュータ48によって操作されてよい。LPS制御コンピュータ48は、ビデオ/コントロールケーブル46を通してビデオカメラ40及びパンチルト機構42と通信を行う。代わりに、LPS制御コンピュータ48は、無線通信経路(図示せず)を通してビデオカメラ40及びパンチルト機構42と通信してもよい。LPS制御コンピュータ48は、レーザ距離計(図示せず)、ビデオカメラ40、及びパンチルト機構42を含む、LPSハードウエアの動作を制御するように構成されている。例えば、パンチルト機構42のパン角及びチルト角、したがってビデオカメラ40の配向は、コンピュータ48のキーボードか、または他のユーザインターフェースハードウエア36(例えばゲームパッド)を用いて制御され得る。ビデオカメラ40で観測される光学的画像フィールドは、コンピュータ48のモニタ34上に表示され得る。
パンチルト機構42は、レーザ距離計(図示せず)及びビデオカメラ40を、垂直な方位角(パン)軸及び水平な仰角(チルト)軸を中心に、選択した角度に回転式に調節するように制御される。三脚44(または、上にパンチルトユニットが取り付けられる他のプラットフォーム)の固定座標系に対する、レーザ距離計(図示せず)及びビデオカメラ40の配向を示す方向ベクトル66(図14に破線で示す)は、カメラが関心の地点を照準するときのパン角及びチルト角によって決定される。図14では、方向ベクトル66はレーザ距離計(図示せず)及びビデオカメラ40から伸びており、シュラウド216の1つのコーナー上の地点94aと交差する。
レーザ距離計は、方向ベクトル66に沿ってレーザビームを伝送するように、カメラ40のハウジング内に組み入れられているか、またはカメラ40の外側に装着されていてよい。レーザ距離計は、シュラウド216上の任意の視覚可能な特徴(例えば、コーナー94a−cのうちの1つ)までの距離、または湾曲したワークピース202上の任意の較正点(例えば地点92a−c)までの距離を、測定するように構成されている。(各較正点は、湾曲したワークピース202上の視覚可能な特徴、または湾曲したワークピース202に取り付けられた光学対象物であってよい。)レーザ距離計は、レーザと、衝突地点から反射したレーザビームに応答して検出されたレーザ光に基づいて距離を計算するように構成されたユニットとを有していてよい。
図14に示すローカル・ポジショニング・システムは、LPS制御コンピュータ48上にロードされた、3次元の位置同定ソフトウエアをさらに含む。例えば、三次元位置同定ソフトウエアは、湾曲したワークピース202に対するビデオカメラ40の位置(配置及び配向)を規定するため、湾曲したワークピース202上の複数の較正点92a−cを使うタイプのものであってよい。較正点92a−cは、特徴位置の三次元データベース(例えば、CADモデル)または他の測定技術によって決定された、湾曲したワークピース202の局所座標系内の既知の位置にある、視覚可能な特徴であってよい。LPSの較正プロセス中、非同一直線上の少なくとも3つの地点のX,Y,Zデータが、CADモデルから抽出される。典型的には、対象物体上で容易に位置を特定され得る特徴に相当する、較正点が選択される。三次元位置同定ソフトウエアは、較正点92a−cのX,Y,Zデータ、及びパンチルト機構42のパンデータとチルトデータを利用して、湾曲したワークピース202の局所座標系に対するビデオカメラ40の相対的な配置及び配向を規定する。較正点92a−cまでの測定された距離は、湾曲したワークピース202に対するカメラの配置及び配向を求めるため、パンチルト機構42から得たパン角及びチルト角と併せて使用され得る。計器・対象物間の較正変換マトリックス(時としてカメラポーズと称される)の生成方法は、米国特許第7,859,655号で開示されている。較正プロセスは、既知のデータ及び測定されたデータを使用して、湾曲したワークピース202に対するビデオカメラ40の配置及び配向を規定する4×4の同次変換マトリクスを計算する。
湾曲したワークピース202に対するビデオカメラ40の配置及び配向が決定され、カメラポーズ変換マトリクスが生成されると、湾曲したワークピース202の座標系における、シュラウド216上の任意の関心地点のX、Y、及びZ座標を決定するために、ビデオカメラ40の計算された配置及び配向と併せて、カメラのパンデータ(方位角軸を中心としたビデオカメラ40の回転角度)及びチルトデータ(仰角軸を中心としたビデオカメラ40の回転角度)が使用されてよい。スキャンパターンの最初と最後にシュラウド216の位置を特定することによって、湾曲したワークピース202の座標系におけるスキャンパターンの位置が決定され得る。
具体的には、スキャンパターンの最初と最後に、湾曲したワークピース202の座標系におけるシュラウド216上の視覚可能な特徴(例えば、図14に示すコーナー94a−cのうちの任意の1つ)の位置を決定するために、相対的位置同定プロセスが使用され得る。シュラウド216に適用される基本的なプロセスのシーケンスは、以下のとおりである。(1)ローカル・ポジショニング・システムが、対象物体上の3つの既知の地点92a−cを測定することによって、検査される対象物体(例えば湾曲したワークピース202)の座標系に対する較正を行う。(2)ロボットがスキャンパターンの最初(例えば図12のスキャンエリア26a)にいるときに、ローカル・ポジショニング・システムが、シュラウド216上の視覚可能な特徴(例えばコーナー94a)の位置を測定する。(3)その後、ロボットがスキャンパターンの最後(例えば図12のスキャンエリア26f)にいるときに、ローカル・ポジショニング・システムを使って、シュラウド216上の同一のまたは別の視覚可能な特徴(例えばコーナー94bまたは94c)が測定される。(4)これによって、モザイクパターンを構成するスキャン範囲の境界を、オペレータが決定することが可能になる。
コンピュータ48上で実行されているLPS制御ソフトウエアは、湾曲したワークピース202の座標系に対する、シュラウド216上の各視覚可能な特徴の位置を計算する。LPS制御コンピュータ48(図14参照)は、図17に示す、将来の参照用に位置座標を記録するように構成されたエキスパートワークステーション74に対して位置データを送信する。この位置データは、スキャンデータを対象物体のCADモデルとアライメントするためにも、用いられ得る。
コンピュータ48上のLPS制御ソフトウエアは地点データをX値、Y値、及びZ値として出力するが、部位90の配置及び配向を与えるために制御アプリケーションが必要とするのは、単にX、Y、Zのデータ点だけではない。配置と配向の問題を解決するため、3つの測定された地点92a−cからのX、Y、及びZのデータ、並びにこれらの点の既知の寸法を使用して、完全な自由度6の配置及び配向の表現が計算される。これが、上記の位置同定ソフトウエアが行っていることである。位置同定ソフトウエアが使用する配置と配向のフォーマットは、4×4の変換マトリクスを使用しているが、データを表す他の方法も存在する。
システムオペレータが相対的LPSスキャン(米国特許出願公開第2015/0268033号に記載)を実施したいと思う場合、オペレータは、対象物体上にある非同一直線上の任意の3点を使用することができるが、(標準的なLPS法の場合にそうであるように)これらの地点の3D座標をあらかじめ知っておく必要は、ない。システムオペレータは、関連するモードを使って対象物体の座標系における結果を取得しないであろうが、いくつかのアプリケーションでは、それは必要ないことである。相対的LPS位置同定プロセスは、NDIセンサが以前の状況と同じ領域内でアライメントされるのを確実にするために、使用され得る。同プロセスは、いくつかの複数のスキャン結果をつなぎ合わせるのにもまた有用であるか、または、必要があればLPSを動かすのにも有用である。
上記で開示したとおり、このシステムは、レーザ、ストリングエンコーダ、超音波センサといった距離測定装置を、少なくとも3つの距離測定装置が非同一直線上にあるという基本的要件で使用する。距離センサを用いる構成(上記)では、三角形のフォーメーションに並んだ3個の距離測定レーザが使用される。代替的な実施形態では、4個の距離測定レーザが長方形のフォーメーションに配設されている。どちらの構成を使うかに関係なく、距離データは、エンドエフェクタの配向データと共にロボットコントローラ80にフィードされる。現在の角度と所望の角度の間の誤差をゼロにするために、フィードバック制御方法が使用され得る。
ここで、レーザ距離計を用いて角度を測定する方法が、図15A〜図15Cを参照して記載される。図15A〜図15Cは、共通平面上で三角形のパターンに配設され、対象物体54の表面上のそれぞれの点に向けられた3つのレーザ距離計236、238、及び240であって、これらのレーザ距離計とこれらの点は、それぞれの距離で離れている、レーザ距離計の、それぞれ前面図、側面図、及び上面図である。
3つのレーザは、対象物までの距離の測定に使用するのに加えて、ヨー角及びピッチ角の測定にもまた使用される。図15Aは、対象物体54の表面までの測定された距離d1、d2、及びd3と共に、水平方向の寸法a及び垂直方向の寸法bを用いて、レーザ距離計236、238、及び240の互いに対する配置を示している。ピッチ角及びヨー角を計算するため、等式(1)及び(2)が使用され得る。
PitchAngle=atan2(d−(d+d)/2,b) (1)
YawAngle=atan2(d−d,a) (2)
式中、ピッチ角及びヨー角は、図15A−図15Cに示すアライメント機器に関して、現在計算された、対象物体54の表面に対する角度である。現在の位置に垂直な表面に対して測定されるこれらの角度の目標値はゼロに等しく、この目標角度を達成するためのプロセスが以下に記載される。
現在のヨー角及びピッチ角が計算されることで、システムモーションコントローラは、制御される動作(パン、チルト、及び距離)のための速度制御法を使用することができる。現在の角度と所望の角度の間の誤差をゼロにするために、比例積分微分(PID)コントローラといったフィードバックコントローラが使用され得る。ピッチ及びヨーの動作制御を計算するため、等式(3)及び(4)が使用され得る。
PitchRate=Kppitch*(PitchAngle−PitchAnglegoal) (3)
YawRate=Kpyaw*(YawAngle−YawAnglegoal) (4)
式中、PitchRate及びYawRateはそれぞれアライメント器具のピッチ軸を中心にした角回転速度と、ベースのヨー軸を中心にした角回転速度を示しており、Kppitch及びKpyawはそれぞれピッチ軸とヨー軸に関連する比例フィードバックゲインであり、PitchAngle及びYawAngleはそれぞれ等式(1)及び(2)から計算された角度であり、PitchAnglegoal及びYawAnglegoalはコントローラがシステムを向かわせる所望の目標角度である(上記のとおり、本実施例ではこの角度はどちらもゼロである)。積分及び微分フィードバックもまた使用され得るが、ここでは示さない。
基本的な速度の等式は以下のとおりである。
Vel=Kp*(MinDist−offset) (5)
Vel=Kp*(MinDist−offset) (6)
式中、Vel及びVelはベースの水平方向の速度であり、Kp及びKpはそれぞれベースのX方向及びY方向に関する比例フィードバックゲインであり、MinDist及びMinDistはそれぞれX方向及びY方向にレーザで測定した最小値であり、offset及びoffsetは目標のオフセット距離である。ある用途に関しては、レーザは、X方向とY方向の両方を測定するようには構成されていない。その場合には、このアライメントプロセスに関連づけられたXまたはYの速度制御の等式は、使用されないであろう。
ベースフレーム62、1つの対角線上にある一対のタイプAのメカナムホイールW1及びW3、並びにもう1つの対角線上にある一対のタイプBのメカナムホイールW2及びW4を備えるホロノミック運動のベースプラットフォームに関して、4つの個別の車輪の速度を計算するために、運動学を使用することができる。ビークルの寸法(L及びD)、並びに所望の回転点(距離a1、a2、b1、b2で示す)が、図16に示されている。車輪W1〜W4に関する個別の車輪の速度は、等式(7)〜(10)に示されている。
W1=Vel−Vel+YawRate*(a+b) (7)
W2=Vel+Vel−YawRate*(a+b) (8)
W3=Vel−Vel−YawRate*(a+b) (9)
W4=Vel+Vel+YawRate*(a+b) (10)
式中、Vwi(i=1,2,3,4)は個別の車輪の速度であり、Vel及びVelは等式(5)及び(6)から得られた水平方向の速度であり、YawRateは等式(4)から得られたヨー回転速度であり、a1、a2、b1、b2は図16に示す回転点までの距離である。
エンドエフェクタの枢動軸に関する基本的な構成は、以下のとおりである。(a)一軸式枢動軸の場合:モータ1つ、角度センサ1つ。(b)二軸式のジンバルの場合:モータ2つ、角度センサ2つ。
上記のアライメントプロセスは、別個のセンサアップデートと連続したセンサアップデートのどちらのユースケースにも対処するものであり、そのコンセプトは、スタンドアロンシステムとして、または既存のシステムの一部としてパッケージ化することも可能である。
本書で開示するコンセプトは、ホロノミック運動のベースプラットフォーム向けに用途を有するものであるが、変形形態は他のシステムにも適用可能である。可能性があるユースケースは、ホロノミック及び非ホロノミックのプラットフォーム、多関節ロボットアーム、ガントリーアーム、ハイブリッド動作のベース/アームシステム、ヘリコプタ及びUAV、カメラ、ライト、並びにツールを含む。
本書で開示されるレーザベースのアライメントプロセスは、ロボットにオンラインでティーチングを行うかまたはオフラインでプログラミングをする必要なしに、システムの稼働を可能にする。それによって、このアプローチがより使いやすいものになる。このプロセスによって、エンドエフェクタが、環境内の予期せぬ変化に適応しながら所定の場所に誘導される。このシステムは、リストまたはあらかじめプログラムされた動作のステップをやり通す代わりに、センサからのフィードバックを使って、アライメント、グリッドベースの動作、及びスキャン処理の中の様々なステップ間の遷移を行う、有限状態機械として動作する。
アライメントセンサはまた、エンドエフェクタに衝突回避機能も提供する。このシステムの構成によって、地上のホロノミックプラットフォームからクラウン部(頂部)までずっと、胴体の各エリアに届くことが可能になっている。この解決法は、外部測定システム(LPS)を用いた位置基準データの収集に関する、オプションのプロセスを提供する。
対象物体(例えば航空機)の座標系において規定された位置データを収集する機能によって、整備/修理用途向けのスキャンデータのCADデータとの正確なレジストレーション、及び保管目的で位置情報を記録する方法が可能になる。
回転リスト及びモジュラーツール用マウントの付いた垂直延長アームと、アライメント用センサ要素とを用いたこのシステムの構成は、最小限の地上接触面積で胴体周りの必要なエリアに到達できる、コンパクトで比較的低コストのプラットフォームを提供する。
本書で開示されるシステムは、渦電流センサ、超音波センサ、及び赤外線サーモグラフィ(IRT)センサを含む、エンドエフェクタに装着された様々なタイプのNDI装置を受容するように構成され得る。延長アームに枢動式エンドエフェクタが付いた垂直支持マストによって、航空機の胴体部の高さ全体の検査が可能になる。ホロノミック運動のベースによって、胴体の長さに沿ったセンサユニットの効率的な再配置が可能になる。動作制御ソフトウエアによって、グリッドパターンによるスキャン結果が一部重なるようにして自動でキャプチャすることが可能になる。スキャン結果と航空機の座標とのアライメントのため、基準位置データがキャプチャされる。
このシステムは、稼働中、オペレータによって開始領域のおよその位置に駆動(遠隔操作)されることができる。システムはその後、航空機の胴体のどちらかの側に沿って、オペレータに規定された垂直及び水平のパターンで配列されたグリッドのスキャンを自動的に取得するように構成されている。本書で使用されている動作制御アルゴリズムの特徴のうちの1つは、このアルゴリズムが、システム用に個別にあらかじめ規定された動作経路を必要とする代わりに、距離センサフィードバックを伴っていることである。その結果、使用が簡便化され、セットアップ時間が削減される。スキャン結果の位置を航空機の座標系内で正確に特定するために、スキャン結果の境界領域の3D座標位置が測定される。航空機の座標系における3D座標の位置データを取得するため、ローカル・ポジショニング・システムが使用される。次に、NDIのスキャン結果を適切な航空機の座標系とアライメントするために、この基準位置データが使用される。
図17は、1つのコンピュータアーキテクチャによる、大型の複合材構造体の赤外線サーモグラフィ検査用システムの、いくつかの構成要素を特定するブロック図である。ロボット64の動作は、有限状態機械と、少なくとも距離センサ(例えば3つのレーザ距離計)からのフィードバックとに基づいて、ロボットコントローラ80によって制御される。LPS24の動作及び発射は、LPS制御コンピュータ48によって制御される。LPS制御コンピュータ48は、LPS24からのレーザ追跡データもまた受信する。赤外線カメラ4及びフラッシュランプ6の起動は、赤外線サーモグラフィコンピュータ8によって制御される。赤外線サーモグラフィコンピュータ8は、赤外線カメラ4から赤外線画像データもまた受信する。これらのコンピュータは全て、エキスパートワークステーション74のマスターコンピュータと有線通信または無線通信可能であり得る。エキスパートワークステーション74のマスターコンピュータは、レーザ追跡データと赤外線撮像データとを相関させるようにプログラムされていてよい。マスターコンピュータは、さらに、3Dモデルデータベースサーバ96に3Dモデルデータを要求するようにプログラムされていてよい。サーモグラフィによる空隙率の測定の場合には、エキスパートワークステーション74のマスターコンピュータは、基準熱痕跡データベースサーバ98に基準熱痕跡データを要求するようにも、プログラムされていてよい。
LPS制御コンピュータ48は、複合材構造体の3D座標系における、赤外線カメラ4に関する位置データを取得する。樽形の胴体部の場合には、赤外線撮像データは、胴体部の3Dモデル上に直接マッピングすることができる。赤外線撮像データを3Dモデルデータにオーバーレイすることによって、データ分析の向上と潜在的なデータ分析の自動化が可能になる。例えば、赤外線撮像データを3Dモデル上に直接オーバーレイすることによって、特徴/欠陥の表示を胴体構造物と直接相関させることができる。加えて、モデル上へのデータの直接のオーバーレイは、空隙率の定量化に必要な局所または空間点の厚さを決定するのに使用され得る。一実施形態では、このプロセスは、エキスパートワークステーション74でモニタ上またはコンピュータスクリーン上に表示されたバーチャル環境で3Dモデルの表面上にプロジェクションされた、1つ以上のコンピュータグラフィックのテクスチャマップとして、赤外線画像データの細長片を貼り付けることを含む。
様々な実施形態を参照しながら対象物体に対するロボットエンドエフェクタの位置を制御する方法が説明されてきたが、当業者は、本書の教示の範囲から逸脱することなく、様々な変形例が可能であること、及びその要素を均等物で置換できることを理解するだろう。加えて、その範囲から逸脱することなく、多数の修正を行って本明細書の教示を特定の状況に適合させることができる。したがって、特許請求の範囲は、本書に開示される特定の実施形態に限定されないことが意図されている。
特許請求の範囲で使用される場合、「位置」という用語は、3次元座標系における配置及び当該座標系に対する配向を含む。特許請求の範囲で使用される場合、「エンドエフェクタを動かす」という用語は、ベースプラットフォームを地面に対して動かすか、ロボットアームをベースプラットフォームに対して動かすか、エンドエフェクタをロボットアームに対して動かすか、のうちの少なくとも1つ以上を含むように、広範に解釈すべきである。
本書に記載の方法は、限定しないが、記憶装置及び/またはメモリ装置を含む、非一過性の有形コンピュータ可読媒体内で実装される実行可能な命令として符号化され得る。こうした命令は、処理システムまたはコンピュータシステムで実行された場合、本書に記載された方法の少なくとも一部をシステム装置に行わせることができる。
さらに、本発明は、以下の条項による実施形態を含む。
条項1.対象物体に対するロボット移動プラットフォームのエンドエフェクタの位置を制御する方法であって、
エンドエフェクタを第1の位置に動かすことと、
有限状態機械制御アプリケーションによって特定された動作をロボットコントローラが実行できるようにすることとを含み、この動作は、
エンドエフェクタが第1の位置にある間に、エンドエフェクタに装着された第1、第2、及び第3の距離センサから距離データを取得することであって、取得された距離データは、第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す、取得することと、
この距離データを使ってエンドエフェクタを対象物体に対してアライメントすることによって、エンドエフェクタを第1の位置から第1のグリッド位置へと動かすこととを含む、方法。
条項2.アライメントすることは、エンドエフェクタの軸が対象物体の表面に対して垂直になるようにエンドエフェクタを回転させることを含む、条項1に記載の方法。
条項3.エンドエフェクタを回転させることは、エンドエフェクタをピッチ軸について回転させることを含む、条項2に記載の方法。
条項4.ロボット移動プラットフォームのベースをヨー軸について回転させることをさらに含む、条項3に記載の方法。
条項5.アライメントすることは、エンドエフェクタが対象物体の表面から目標オフセット距離で離れるようにエンドエフェクタを移動させることをさらに含む、条項2から4のいずれか一項に記載の方法。
条項6.アライメントすることは、エンドエフェクタが対象物体の表面から目標オフセット距離で離れるようにエンドエフェクタを移動させることをさらに含む、条項1から5のいずれか一項に記載の方法。
条項7.対象物体の座標系における外部追跡システムの位置の座標を計算することをさらに含む、条項1から6のいずれか一項に記載の方法。
条項8.外部追跡システムによって作り出されたレーザビームを、対象物の表面上の特定の座標位置に照準し、それによってレーザスポットを形成することをさらに含み、エンドエフェクタを第1の位置に移動することは、ロボット移動プラットフォームを駆動して、第1、第2、及び第3の距離計によって作り出されたレーザスポットを外部追跡システムによって作り出されたレーザスポットの周囲にアライメントすることをさらに含む、条項7に記載の方法。
条項9.エンドエフェクタが第1のグリッド位置にある間に、外部追跡システムを用いて、対象物体の座標系における、エンドエフェクタに装着されたツール上の視覚可能な特徴の座標を計算することをさらに含む、条項7または8に記載の方法。
条項10.有限状態機械の制御アプリケーションによって特定される動作が、
エンドエフェクタが第1のグリッド位置にある間に、エンドエフェクタに装着されたツールを起動することと、
有限状態機械の制御アプリケーションを使ってエンドエフェクタを第1のグリッド位置から第2の位置に動かすことと、
有限状態機械の制御アプリケーションを使ってエンドエフェクタを対象物体とアライメントすることによって、エンドエフェクタを第2の位置から第2のグリッド位置に動かすことと、
エンドエフェクタが第2のグリッド位置にある間に、ツールを起動することと
をさらに含む、条項1から9のいずれか一項に記載の方法。
条項11.ツールは赤外線サーモグラフィスキャナであり、有限状態機械制御アプリケーションによって特定される動作がさらに、
エンドエフェクタが第1のグリッド位置にある間に、第1の赤外線サーモグラフィスキャン結果を取得することと、
エンドエフェクタが第2のグリッド位置にある間に、第2の赤外線サーモグラフィスキャン結果を取得することとを含む、条項10に記載の方法。
条項12.第1の赤外線サーモグラフィスキャン結果と第2の赤外線サーモグラフィスキャン結果とをつなぎ合わせることをさらに含む、条項11に記載の方法。
条項13.複数の回転要素及び、前記複数の回転要素にそれぞれ連結された複数のモータを備える自走可能な移動ベースプラットフォームと、
ベースプラットフォームに支持された垂直に延長可能なマストと、
垂直に延長可能なマストに固定して連結された近位端を有するアームと、
アームの遠位端に枢動可能に連結されたエンドエフェクタと、
有限状態機械の制御アプリケーションが保存されている非一過性の有形コンピュータ可読記憶媒体と、
第1、第2、及び第3の距離センサであって、エンドエフェクタに装着され、第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す距離データを取得するように構成された第1、第2、及び第3の距離センサと、
第1、第2、及び第3の距離センサの動作を制御し、且つ有限状態機械の制御アプリケーションによって生成されたコマンドに従ってエンドエフェクタを地面に対して動かすように構成されたコントローラと
を備えるロボット移動プラットフォームであって、有限状態機械の制御アプリケーションが、第1、第2、及び第3の距離センサが取得した距離データを使ってエンドエフェクタを動かすためにコントローラによって実行可能な命令を生成する方法を含む、ロボット移動プラットフォーム。
条項14.第1、第2、及び第3の距離センサがレーザ距離計である、条項13に記載のロボット移動プラットフォーム。
条項15.エンドエフェクタに装着されたツールをさらに備える、条項14に記載のロボット移動プラットフォーム。
条項16.ツールが、赤外線サーモグラフィ用スキャナである、条項15に記載のロボット移動プラットフォーム。
条項17.赤外線サーモグラフィ用スキャナがシュラウドを備える、条項16に記載のロボット移動プラットフォーム。
条項18.コントローラは、有限状態機械制御アプリケーションを用いてエンドエフェクタを対象物体とアライメントすることによって、エンドエフェクタを第1の位置から第2の位置に動かすようにさらに構成され、アライメントすることは、エンドエフェクタの軸が対象物体の表面に垂直になるようにエンドエフェクタを回転させることを含む、条項13から17のいずれか一項に記載のロボット移動プラットフォーム。
条項19.アライメントすることは、エンドエフェクタが対象物体の表面から目標オフセット距離で離れるようにエンドエフェクタを動かすことをさらに含む、条項18に記載のロボット移動プラットフォーム。
条項20.ロボット移動プラットフォームのエンドエフェクタの対象物体に対する位置を制御する方法であって、有限状態機械制御アプリケーションによって特定された動作をロボットコントローラが実行できるようにすることとを含み、この動作は、
(a)グリッドパターンを表す予め保存されたグリッドパターンデータに従って、対象物体の表面と接していない基準位置にエンドエフェクタを動かすことと、
(b)エンドエフェクタがアライメントされていない位置にある間に、エンドエフェクタに装着された第1、第2、及び第3の距離センサから距離データを取得することであって、取得された距離データは、第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す、取得することと、
(c)この距離データを使ってエンドエフェクタを対象物体とアライメントすることによって、エンドエフェクタを、基準位置からアライメントされた位置へ移動することと、
(d)エンドエフェクタがアライメントされた位置にある間に、エンドエフェクタに取り付けられたツールを作動させることと、
(e)グリッドパターンの複数のアライメントされる位置の1つずつに関して、ステップ(a)から(d)を繰り返すこととを含む、方法。
条項21.アライメントすることは、エンドエフェクタの軸が対象物体の表面と垂直になるように、エンドエフェクタを回転させることと、エンドエフェクタが対象物体の表面から目標オフセット距離で離れるように、エンドエフェクタを移動させることとを含む、条項20に記載の方法。
条項22.ツールは赤外線サーモグラフィスキャナであり、有限状態機械制御アプリケーションによって特定される動作が、エンドエフェクタがそれぞれのアライメントされた位置にある間に、それぞれの赤外線サーモグラフィスキャン結果を取得することをさらに含み、赤外線サーモグラフィスキャン結果をつなぎ合わせることをさらに含む、条項20または21に記載の方法。
以下で説明されるプロセスの請求項について、請求項内で列挙されているステップは、請求項の文言が、これらのステップのうちの一部または全部が実施される具体的な順序を示す条件を明示的に特定または記載していない限り、アルファベット順(請求項中のアルファベット順表記は全て、既出のステップを参照する目的でのみ使用されている)またはこれらのステップの記載順に実施される必要があると解釈すべきではない。また、プロセスの請求項は、2つ以上のステップの任意の部分が同時にまたは交互に実施されることを、請求項の文言がそうした解釈を明示的に除外していない限り、排除していると解釈されるべきではない。

Claims (11)

  1. 対象物体(54)に対するロボット移動プラットフォーム(200)のエンドエフェクタ(224)の位置を制御する方法であって、
    前記エンドエフェクタ(224)を第1の位置に動かすことと、
    有限状態機械制御アプリケーションによって特定された動作をロボットコントローラ(16)が実行できるようにすることとを含み、前記動作は、
    前記エンドエフェクタ(224)が前記第1の位置にある間に、前記エンドエフェクタに装着された第1、第2、及び第3の距離センサ(236、238、240)から距離データを取得することであって、取得された前記距離データは、前記第1、第2、及び第3の距離センサ(236、238、240)が前記対象物体(54)の表面上のそれぞれのエリアから離れているそれぞれの距離を表す、取得することと、
    前記距離データを使って前記エンドエフェクタ(224)を前記対象物体(54)に対してアライメントすることによって、前記エンドエフェクタ(224)を前記第1の位置から第1のグリッド位置へと動かすこととを含む、方法。
  2. 前記アライメントすることは、前記エンドエフェクタ(224)の軸が前記対象物体(54)の前記表面に対して垂直になるように前記エンドエフェクタを回転させることを含む、請求項1に記載の方法。
  3. 前記エンドエフェクタ(224)を前記回転させることは、前記エンドエフェクタをピッチ軸について回転させることを含む、請求項2に記載の方法。
  4. 前記ロボット移動プラットフォーム(200)のベースをヨー軸について回転させることをさらに含む、請求項3に記載の方法。
  5. 前記アライメントすることは、前記エンドエフェクタ(224)が前記対象物体(54)の表面から目標オフセット距離で離れるように前記エンドエフェクタ(224)を移動させることをさらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記対象物体(54)の座標系における外部追跡システムの位置の座標を計算することをさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記外部追跡システムによって作り出されたレーザビームを、前記対象の前記表面上の特定の座標位置に照準し、それによってレーザスポット38を形成することをさらに含み、前記エンドエフェクタ(224)を前記第1の位置に動かすことは、前記ロボット移動プラットフォーム(200)を駆動して、前記第1、第2、及び第3の距離計(236、238、240)によって作り出されたレーザスポット(32a、32b、32c)を前記外部追跡システムによって作り出された前記レーザスポット38の周囲にアライメントすることをさらに含む、請求項6に記載の方法。
  8. 前記エンドエフェクタ(224)が前記第1のグリッド位置にある間に、前記外部追跡システムを用いて、前記対象物体(54)の前記座標系における、前記エンドエフェクタ(224)に装着されたツール上の視覚可能な特徴の座標を計算することをさらに含む、請求項6または7に記載の方法。
  9. 前記有限状態機械の制御アプリケーションによって特定される動作が、
    前記エンドエフェクタ(224)が前記第1のグリッド位置にある間に、前記エンドエフェクタ(224)に装着されたツールを起動することと、
    前記有限状態機械の制御アプリケーションを使って前記エンドエフェクタ(224)を前記第1のグリッド位置から第2の位置に動かすことと、
    有限状態機械の制御アプリケーションを使って前記エンドエフェクタ(224)を前記対象物体(54)とアライメントすることによって、前記エンドエフェクタ(224)を前記第2の位置から第2のグリッド位置に動かすことと、
    前記エンドエフェクタ(224)が前記第2のグリッド位置にある間に、前記ツールを起動することとをさらに含む、請求項1から8のいずれか一項に記載の方法。
  10. 複数の回転要素及び、前記複数の回転要素にそれぞれ連結された複数のモータを備える自走可能な移動ベースプラットフォーム(204)と、
    前記ベースプラットフォームに支持された垂直に延長可能なマストと、
    前記垂直に延長可能なマストに固定して連結された近位端を有するアームと、
    前記アームの遠位端に枢動可能に連結されたエンドエフェクタと、
    有限状態機械の制御アプリケーションが保存されている非一過性の有形コンピュータ可読記憶媒体と、
    第1、第2、及び第3の距離センサであって、前記エンドエフェクタに装着され、前記第1、第2、及び第3の距離センサが対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す距離データを取得するように構成された第1、第2、及び第3の距離センサと、
    前記第1、第2、及び第3の距離センサの動作を制御し、且つ有限状態機械の制御アプリケーションによって生成されたコマンドに従って前記エンドエフェクタを地面に対して動かすように構成されたコントローラとを備えるロボット移動プラットフォーム(200)であって、前記有限状態機械の制御アプリケーションが、前記第1、第2、及び第3の距離センサが取得した前記距離データを使って前記エンドエフェクタを動かすためにコントローラによって実行可能な命令を生成する方法を含む、
    ロボット移動プラットフォーム(200)。
  11. ロボット移動プラットフォームのエンドエフェクタの対象物体に対する位置を制御する方法であって、前記方法は、有限状態機械制御アプリケーションによって特定された動作をロボットコントローラが実行できるようにすることとを含み、前記動作は、
    (a)グリッドパターンを表す予め保存されたグリッドパターンデータに従って、前記対象物体の表面と接していない基準位置に前記エンドエフェクタを動かすことと、
    (b)前記エンドエフェクタがアライメントされていない位置にある間に、前記エンドエフェクタに装着された第1、第2、及び第3の距離センサから距離データを取得することであって、取得された前記距離データは、前記第1、第2、及び第3の距離センサが前記対象物体の表面上のそれぞれのエリアから離れているそれぞれの距離を表す、取得することと、
    (c)前記距離データを使って前記エンドエフェクタを前記対象物体とアライメントすることによって、前記エンドエフェクタを、前記基準位置からアライメントされた位置へ動かすことと、
    (d)前記エンドエフェクタがアライメントされた位置にある間に、前記エンドエフェクタに装着されたツールを起動することと、
    (e)前記グリッドパターンの複数のアライメントされる位置の1つずつに関して、ステップ(a)から(d)を繰り返すこととを含む、方法。
JP2018110992A 2017-06-14 2018-06-11 位置アライメントフィードバックを用いた、ロボットのエンドエフェクタの位置制御方法 Active JP7353021B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/623,304 2017-06-14
US15/623,304 US10625427B2 (en) 2017-06-14 2017-06-14 Method for controlling location of end effector of robot using location alignment feedback

Publications (2)

Publication Number Publication Date
JP2019051585A true JP2019051585A (ja) 2019-04-04
JP7353021B2 JP7353021B2 (ja) 2023-09-29

Family

ID=62116327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018110992A Active JP7353021B2 (ja) 2017-06-14 2018-06-11 位置アライメントフィードバックを用いた、ロボットのエンドエフェクタの位置制御方法

Country Status (4)

Country Link
US (1) US10625427B2 (ja)
EP (1) EP3415284A3 (ja)
JP (1) JP7353021B2 (ja)
CN (1) CN109079775B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157083A1 (ja) * 2022-02-15 2023-08-24 ファナック株式会社 ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3043004B1 (fr) * 2015-10-29 2017-12-22 Airbus Group Sas Procede d'orientation d'un effecteur portant un outil d'assemblage par rapport a une surface
EP3509800A4 (en) 2016-09-06 2019-09-18 Advanced Intelligent Systems Inc. MOBILE WORKSTATION FOR TRANSPORTING A VARIETY OF ARTICLES
US10554950B1 (en) 2017-03-16 2020-02-04 Amazon Technologies, Inc. Collection of camera calibration data using augmented reality
US10447995B1 (en) * 2017-03-16 2019-10-15 Amazon Technologies, Inc. Validation of camera calibration data using augmented reality
DE202017105967U1 (de) * 2017-09-29 2018-01-31 Airbus Operations Gmbh Farbbasiertes Heizsystem
US10974830B2 (en) * 2017-12-28 2021-04-13 Auror Flight Scienes Corporation Manipulation system and method for an aircraft
CN108237557B (zh) * 2018-02-02 2023-08-04 深圳市优必选科技有限公司 一种人形机器活动关节受力测试装置
WO2019157587A1 (en) 2018-02-15 2019-08-22 Advanced Intelligent Systems Inc. Apparatus for supporting an article during transport
US10823815B2 (en) * 2018-02-28 2020-11-03 The Boeing Company Hybrid position locating system in a manufacturing environment
US11238675B2 (en) 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
US10717190B2 (en) * 2018-04-19 2020-07-21 Aurora Flight Sciences Corporation End-effector for workpiece manipulation system
US10634632B2 (en) * 2018-04-25 2020-04-28 The Boeing Company Methods for inspecting structures having non-planar surfaces using location alignment feedback
US11066838B2 (en) * 2018-07-12 2021-07-20 The Boeing Company Work platform mover system
US10871366B2 (en) * 2018-08-16 2020-12-22 Mitutoyo Corporation Supplementary metrology position coordinates determination system for use with a robot
US10751883B2 (en) * 2018-08-16 2020-08-25 Mitutoyo Corporation Robot system with supplementary metrology position coordinates determination system
US11002529B2 (en) 2018-08-16 2021-05-11 Mitutoyo Corporation Robot system with supplementary metrology position determination system
US11745354B2 (en) 2018-08-16 2023-09-05 Mitutoyo Corporation Supplementary metrology position coordinates determination system including an alignment sensor for use with a robot
US10913156B2 (en) 2018-09-24 2021-02-09 Mitutoyo Corporation Robot system with end tool metrology position coordinates determination system
US10745219B2 (en) 2018-09-28 2020-08-18 Advanced Intelligent Systems Inc. Manipulator apparatus, methods, and systems with at least one cable
US10751888B2 (en) 2018-10-04 2020-08-25 Advanced Intelligent Systems Inc. Manipulator apparatus for operating on articles
US10966374B2 (en) 2018-10-29 2021-04-06 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10645882B1 (en) 2018-10-29 2020-05-12 Advanced Intelligent Systems Inc. Method and apparatus for performing pruning operations using an autonomous vehicle
US10676279B1 (en) 2018-11-20 2020-06-09 Advanced Intelligent Systems Inc. Systems, methods, and storage units for article transport and storage
US11435305B2 (en) * 2018-12-19 2022-09-06 General Electric Company Thermographic inspection system mounted on motorized apparatus and methods of using same
US10335947B1 (en) * 2019-01-18 2019-07-02 Mujin, Inc. Robotic system with piece-loss management mechanism
JP2022520768A (ja) * 2019-02-14 2022-04-01 パーシモン テクノロジーズ コーポレイション ロボットシステムのためのレーダーベースの位置測定
CN110285779A (zh) * 2019-06-12 2019-09-27 智久(厦门)机器人科技有限公司 一种深度相机的角度误差补偿方法、装置、存储介质
US11823937B2 (en) * 2019-08-19 2023-11-21 Applied Materials, Inc. Calibration of an aligner station of a processing system
US11485018B2 (en) * 2019-09-16 2022-11-01 The Boeing Company Robotic end effector system with surface tracking and methods for use
CN110549341A (zh) * 2019-09-24 2019-12-10 山东省智能机器人应用技术研究院 工业机器人坐标定位系统和方法
KR102220173B1 (ko) * 2019-11-01 2021-02-25 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
US10782267B1 (en) 2019-11-04 2020-09-22 Equate Petrochemical Company Mobile non-destructive testing inspection system
JP7404797B2 (ja) * 2019-11-15 2023-12-26 セイコーエプソン株式会社 ロボットシステムの制御方法
CN110900606B (zh) * 2019-12-03 2022-08-09 江苏创能智能科技有限公司 一种基于小型机械臂手眼联动系统及其控制方法
WO2021174037A1 (en) * 2020-02-28 2021-09-02 Bly Ip Inc. Laser alignment device
CN111596284B (zh) * 2020-05-12 2023-09-01 河海大学常州校区 一种基于热成像技术的三维空间定位装置及方法
CN112223283B (zh) * 2020-09-29 2024-06-25 腾讯科技(深圳)有限公司 机械臂、机器人、机械臂的控制方法、处理设备及介质
CN112847361B (zh) * 2021-01-05 2022-06-14 佛山科学技术学院 一种机器人柔性装配控制方法及系统
CN112959323B (zh) * 2021-03-02 2022-03-11 中国工程物理研究院激光聚变研究中心 一种机器人运动误差在位检测与补偿方法及设备
CN113029357A (zh) * 2021-03-04 2021-06-25 中北大学 一种测温仪探头位置自动调节装置及方法
CN113386149B (zh) * 2021-05-14 2022-06-28 中国航发北京航空材料研究院 一种面向排气机匣的激光喷丸机器人运动轨迹控制方法
CN113232020B (zh) * 2021-05-14 2023-03-21 山西光兴光电科技有限公司 取片机器人取片位置校正系统及校正方法
US20230052634A1 (en) * 2021-05-28 2023-02-16 Wichita State University Joint autonomous repair verification and inspection system
US11502729B1 (en) * 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
US11953309B2 (en) * 2021-09-22 2024-04-09 Lockheed Martin Corporation Automated non-contact thickness inspection and projection system using color-coded based patterns
WO2023076159A1 (en) * 2021-10-25 2023-05-04 Becton, Dickinson And Company Calibration and design of an automated diagnostic analyzer
US20230221263A1 (en) * 2022-01-10 2023-07-13 The Boeing Company Systems and methods for detecting anomalies in objects
CN114536362A (zh) * 2022-02-24 2022-05-27 中国民用航空飞行学院 一种柔性飞机除漆机器人及其使用方法
US20230419467A1 (en) * 2022-06-23 2023-12-28 Boston Dynamics, Inc. A mobile robot system for automated asset inspection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030089183A1 (en) * 2001-11-13 2003-05-15 Jacobsen Robert A. Apparatus and method for non-destructive inspection of large structures
JP2014147997A (ja) * 2013-01-31 2014-08-21 Honda Motor Co Ltd 移動作業ロボット
WO2016066615A2 (en) * 2014-10-28 2016-05-06 Nlink As Mobile robotic drilling apparatus and method for drilling ceilings and walls
US20170052070A1 (en) * 2015-08-17 2017-02-23 The Boeing Company Rapid Automated Infrared Thermography for Inspecting Large Composite Structures

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0765271B1 (de) * 1993-08-13 1998-05-13 PUTZMEISTER Aktiengesellschaft Verfahren und anordnung zur oberflächenbearbeitung von grossobjekten
US7800758B1 (en) 1999-07-23 2010-09-21 Faro Laser Trackers, Llc Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6231280B1 (en) 1999-08-10 2001-05-15 Northrop Grumman Corporation Vibration-absorbing end effector of an automated drill and countersink machine
US6751342B2 (en) 1999-12-02 2004-06-15 Thermal Wave Imaging, Inc. System for generating thermographic images using thermographic signal reconstruction
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US6990215B1 (en) 2000-07-31 2006-01-24 Geodetic Services, Inc. Photogrammetric measurement system and method
US7110194B2 (en) 2002-11-27 2006-09-19 Hubbs Machine & Manufacturing Inc. Spherical retro-reflector mount negative
US7075084B2 (en) 2002-12-20 2006-07-11 The Boeing Company Ultrasonic thermography inspection method and apparatus
US7186981B2 (en) 2003-07-29 2007-03-06 Thermal Wave Imaging, Inc. Method and apparatus for thermographic imaging using flash pulse truncation
US7384220B2 (en) 2004-01-06 2008-06-10 The Boeing Company Laser-guided coordination hole drilling
US7194358B2 (en) 2004-02-25 2007-03-20 The Boeing Company Lift collision avoidance system
US7513964B2 (en) 2005-02-28 2009-04-07 The Boeing Company Real-time infrared thermography inspection and control for automated composite marterial layup
US7287902B2 (en) 2005-06-07 2007-10-30 The Boeing Company Systems and methods for thermographic inspection of composite structures
US7783376B2 (en) 2006-05-10 2010-08-24 The Boeing Company Photogrammetric contrasting light for hole recognition
US7454265B2 (en) 2006-05-10 2008-11-18 The Boeing Company Laser and Photogrammetry merged process
US7587258B2 (en) 2006-05-10 2009-09-08 The Boeing Company Merged laser and photogrammetry measurement using precise camera placement
US20070269098A1 (en) 2006-05-19 2007-11-22 Marsh Bobby J Combination laser and photogrammetry target
US7643893B2 (en) 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
US7743660B2 (en) 2007-06-15 2010-06-29 The Boeing Company System and method for automated inspection of large-scale part
US7859655B2 (en) 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
EP2683156A3 (en) 2008-12-12 2015-02-11 Testo AG Thermal imaging camera
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US9149929B2 (en) 2010-05-26 2015-10-06 The Boeing Company Methods and systems for inspection sensor placement
CN102284956B (zh) * 2011-05-04 2013-11-20 南京航空航天大学 一种自动钻铆机器人的法向找正方法
US8713998B2 (en) 2011-06-14 2014-05-06 The Boeing Company Autonomous non-destructive evaluation system for aircraft structures
US9221506B1 (en) * 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
US8738226B2 (en) * 2011-07-18 2014-05-27 The Boeing Company Holonomic motion vehicle for travel on non-level surfaces
US8892252B1 (en) * 2011-08-16 2014-11-18 The Boeing Company Motion capture tracking for nondestructive inspection
EP2973074B1 (en) * 2013-03-15 2019-04-24 Carnegie Mellon University A supervised autonomous robotic system for complex surface inspection and processing
US9410659B2 (en) 2014-02-10 2016-08-09 The Boeing Company Automated mobile boom system for crawling robots
US9981389B2 (en) * 2014-03-03 2018-05-29 California Institute Of Technology Robotics platforms incorporating manipulators having common joint designs
US10310054B2 (en) 2014-03-21 2019-06-04 The Boeing Company Relative object localization process for local positioning system
US9664652B2 (en) * 2014-10-30 2017-05-30 The Boeing Company Non-destructive ultrasonic inspection apparatus, systems, and methods
US9533724B2 (en) * 2015-02-17 2017-01-03 The Boeing Company Electro-permanent magnetic attachment of a vehicle to an object
WO2016174445A1 (en) 2015-04-30 2016-11-03 Bae Systems Plc Drilling apparatus for drilling aircraft panels
US9519844B1 (en) * 2016-01-22 2016-12-13 The Boeing Company Infrared thermographic methods for wrinkle characterization in composite structures
US10402671B2 (en) * 2016-03-28 2019-09-03 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
US10814480B2 (en) * 2017-06-14 2020-10-27 The Boeing Company Stabilization of tool-carrying end of extended-reach arm of automated apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030089183A1 (en) * 2001-11-13 2003-05-15 Jacobsen Robert A. Apparatus and method for non-destructive inspection of large structures
JP2014147997A (ja) * 2013-01-31 2014-08-21 Honda Motor Co Ltd 移動作業ロボット
WO2016066615A2 (en) * 2014-10-28 2016-05-06 Nlink As Mobile robotic drilling apparatus and method for drilling ceilings and walls
US20170052070A1 (en) * 2015-08-17 2017-02-23 The Boeing Company Rapid Automated Infrared Thermography for Inspecting Large Composite Structures

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAOZHEN GONG, ET AL.: "A novel method of surface-normal measurement in robotic drilling for aircraft fuselage using three l", PROC. OF INTERNATIONAL CONFERENCE ON ADVANCED INTELLIGENT MECHATRONICS, JPN6022036893, 11 July 2012 (2012-07-11), pages 450 - 455, XP032222527, ISSN: 0005026329, DOI: 10.1109/AIM.2012.6266022 *
TIAN WEI, ET AL.: "Auto-normalization algorithm for robotic precision drilling system in aircraft component assembly", CHINESE JOURNAL OF AERONAUTICS, vol. 26, JPN6022036892, 7 March 2013 (2013-03-07), CN, pages 495 - 500, ISSN: 0005026328 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157083A1 (ja) * 2022-02-15 2023-08-24 ファナック株式会社 ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法

Also Published As

Publication number Publication date
US10625427B2 (en) 2020-04-21
EP3415284A3 (en) 2019-01-02
US20180361595A1 (en) 2018-12-20
CN109079775B (zh) 2022-11-18
EP3415284A2 (en) 2018-12-19
CN109079775A (zh) 2018-12-25
JP7353021B2 (ja) 2023-09-29

Similar Documents

Publication Publication Date Title
JP7353021B2 (ja) 位置アライメントフィードバックを用いた、ロボットのエンドエフェクタの位置制御方法
US10814480B2 (en) Stabilization of tool-carrying end of extended-reach arm of automated apparatus
US10634632B2 (en) Methods for inspecting structures having non-planar surfaces using location alignment feedback
EP3549874B1 (en) Mobile visual-inspection system
US11044011B2 (en) Automated scanning systems for non-destructive inspection of curved cylinder-like workpieces
US9645012B2 (en) Rapid automated infrared thermography for inspecting large composite structures
US10585167B2 (en) Relative object localization process for local positioning system
US9740191B2 (en) Location calibration for automated production manufacturing
US9221506B1 (en) Location tracking and motion control of automated marking device
EP2752657B1 (en) System and methods for stand-off inspection of aircraft structures
US8044991B2 (en) Local positioning system and method
EP3799790B1 (en) Method for tracking location of two-dimensional non-destructive inspection scanner on target object using scanned structural features
US10162352B2 (en) Remotely operated mobile stand-off measurement and inspection system
JP2007120993A (ja) 物体形状測定装置
EP3567340A1 (en) Visual inspection arrangement
CN111337538A (zh) 安装于机动化设备上的热像检查系统及其使用方法
US11961305B2 (en) Enhanced vehicle navigation using non-destructive inspection one-dimensional sensor arrays
US20240221385A1 (en) Enhanced Vehicle Navigation Using Non-Destructive Inspection One-Dimensional Sensor Arrays
US20240134373A1 (en) System, apparatus, and method for providing augmented reality assistance to wayfinding and precision landing controls of an unmanned aerial vehicle to differently oriented inspection targets

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230919

R150 Certificate of patent or registration of utility model

Ref document number: 7353021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150