JP2014132437A - 航空機構造体の遠隔検査のためのシステム及び方法 - Google Patents

Abstract

【課題】航空機コンポーネント等に対して遠隔から非破壊検査を行う方法及びシステムを提供する。
【解決手段】（ａ）パンチルト機構の制御によって対象物の表面領域に局所位置決めシステムハードウェアを向けることと、（ｂ）画像を撮影するため局所位置決めシステムハードウェアを起動することと、（ｃ）領域内に異常が存在するかどうかを判断するため画像を処理することと、（ｄ）異常が存在する場合、対象物の座標系内で異常の位置の座標を決定することと、を含む。
【選択図】図２

Description

本開示は概して、航空機コンポーネントなどの構造体の遠隔検査のための自動システム及び方法に関する。具体的には、本開示は、遠隔地から構造コンポーネント上の目視可能な差異の配置を特定し、被検構造体の座標系で潜在的な損傷の配置を正確に測定するための自動システム及び方法に関する。

大型の商用航空機などの構造体上で潜在的な損傷の配置を検出して正確に測定することは、多くの時間と労力を要する作業となることがある。この問題を解決するための効率的で自動化されたプロセスは、大型のビークル及び構造体の建造及び維持に携わる多くの組織にとって価値のあるものとなりうる。

２次元画像のみから、航空機の座標で定義される航空機の配置を正確に測定することは困難である。言うまでもなく、解析担当者に大きさの基準を与えるため、（巻尺などの）大きさのわかっているアイテムが画像内に挿入される。しかし、基準となるスケールがある場合でも、所望の座標系で正確な位置を測定することは困難な場合がある。特に、一意的に特定しうる目立った特徴がほとんど存在しない領域では、正確な配置を決定することは困難である。加えて、多数の潜在的な損傷を人間が解析する場合には、エラーが発生しやすい。したがって、損傷の検出及び位置特定のプロセスは可能なかぎり自動化することが望ましい。しかも、このプロセスはすべて、被検構造体に接触する検査機器又は位置特定機器を必要とせずに、遠隔地から実施可能とすべきである。

自動検査の具体的な問題点の１つは、航空機の主翼上の誘電体上部を自動的に検査するためのシステム及び方法を提供することである。誘電体上部は、落雷が構造体を貫通して燃料タンク領域に入り込むのを防止するため、締結具の頭部を被覆するバリア誘電体パッチになっている。誘電体上部は、数年間運航した後にはひび割れしやすいことが知られている。そのような装備がなされた航空機のオペレータは、ひび割れした誘電体上部を正確かつ迅速に特定し、そのひび割れの深さを正確かつ迅速に測定するように努める。一定の長さを超えるひび割れには、誘電体上部の補修又は交換が必要となる。

誘電体上部の検査のための既存の解決策は、完全な手作業による目視検査及び修復である。長さ０．１インチを超えるひび割れは許容できない。このようなひび割れの検査は、航空機の運航準備に影響を及ぼすであろう。しかも、一般的な航空機には約１８、０００個の誘電体上部がある。

検査官の手作業に取って代わり、航空機に物理的に触れることなく、検査頻度を上げ、目視検査によるよりもさらに小さなひび割れを発見するためには、遠隔操作による局所位置決めシステムと遠隔操作による非破壊評価（ＮＤＥ）方法を結合することが望ましいであろう。検査を迅速化するため、複数の局所位置決めシステムが利用可能な場合には、複数の遠隔ＮＤＥを同時に動作することができる。

より一般的には、局所（例えば、航空機）座標系で位置特定機能を提供する局所位置決めシステムに結合された遠隔ＮＤＥが必要である。航空機構造体に触れることなく、航空機構造体を走査する機能を有し、他方で航空機構造体に触れることなく配置情報をすべて得ることができ、かつこれを同時に行うことができる運航時ＮＤＥは非常に有利であろう。

本明細書で開示されている主題は、遠隔局所位置決めと遠隔ＮＤＥを結合するシステム及び方法を対象としている。より具体的には、以下に記載されるシステムは、遠隔検査位置特定、遠隔ＮＤＥ、ＮＤＥ測定データの３次元構造体へのマッピング／相関、及びデータ保存・読出機能を同時に且つ自律的に提供する。システムは、局所位置決めシステムの機能を、検査対象構造体から離れた位置で使用可能な一群のＮＤＥハードウェアの１つと結合する。

説明を目的として、システムは以下で、具体的な用途、すなわち航空機主翼上の誘電体上部の配列の遠隔検査に準拠して記載される。以下で開示される具体的な実施形態は、ひび割れした誘電体上部の位置特定、検査、記録を行い、適切な処置（処置不要、ひび割れ状態の監視（すなわち、そのまま放置）、応急補修、完全補修）を示すように設計されている。必要に応じて、同一の又は別の遠隔ＮＤＥが品質検査を実施することもできる。修理及びその後の検査は、将来の損傷の評価及び他の整備作業時に後から検索するため本システムによって遠隔アクセスされるデータベースに記録される。

以下で開示される具体的なシステムは、規定されているすべての誘電体上部を位置特定し、さらなる検査を必要とする誘電体上部を示すため、局所位置決めシステムを使用して、ひび割れしている誘電体上部とひび割れしていない誘電体上部をきわめて迅速に識別し、加えて、これらの誘電体上部のひび割れの深さを測定するための自動ＮＤＥオプションを提供する。ひび割れ測定の結果は遠隔のデータベースに保存され、その結果に基づいて様々なレベルの自律的補修が開始される。ひび割れした上部の補修又は除去は別々に行われる。

局所位置決めと遠隔ＮＤＥとの組み合わせを実装するため以下に開示される手段及び方法は、誘電体上部のひび割れ検出の応用に限定されない。本明細書に開示されている技術を使用して、他の航空機コンポーネントの検査も可能である。さらに一般的には、開示された技術は、構造体の遠隔検査が必要とされる任意の状況に応用される。

異常が単一の点である場合には、システムは異常の位置座標を記録する。異常がひび割れ又は領域などのように、幾分大きな場合には、追加的な配置データが記録されることがある。ひび割れを記述するには、始点から終点までの（これら２点を含みうる）ベクトル、又は複数の点から成る多重折れ線を定義することができる。このような場合には、システムは２つ以上の一連の点に対応する一連の位置座標を記録する。但し、異常が領域になる場合には、その範囲に対応するより複雑な定義が使用される。この場合、異常の配置を定義するため、位置データ及び配向データが記録される。

本明細書で開示される主題の一態様は、局所位置決めシステムハードウェア、ＮＤＥ機器、及び以下の操作、（ａ）対象物に対して方向ベクトルを決定し、方向ベクトルと交わる対象物の表面上の領域の画像を表す画像データを取得するため、局所位置決めシステムハードウェアを制御すること；（ｂ）領域の画像が領域内に異常の存在を示す情報を含むかどうかを判断するため画像データを処理すること；（ｃ）操作（ｂ）で画像データが領域内に異常の存在を示す情報を含むと判断された場合には、対象物の座標系に対する異常の位置の座標を決定すること；（ｄ）記録された座標を有する対象物上の領域にＮＤＥ機器を向けること；及び（ｅ）遠隔ＮＤＥ技術を用いて異常の特徴を表すＮＤＥ測定データを取得するＮＤＥ機器を制御すること、を実行するようにプログラムされたコンピュータシステムを備えるシステムである。コンピュータシステムはさらに、異常の特徴に対する値を決定するため、ＮＤＥ測定データを処理するようにプログラムされてもよい。さらなる選択肢によれば、局所位置決めシステムハードウェアは、ビデオカメラ、レーザー距離計、及び対象物に対するビデオカメラの配置を推定する際に使用される位置測定データを提供する動作制御パンチルトユニットを備える。

別の態様は、動作制御パンチルト機構によって支持されるビデオカメラ、レーザー距離計及びＮＤＥ機器を備える遠隔検査のためのシステムである。システムはさらに、以下の操作、対象物に対する方向ベクトルを決定し、当該方向ベクトルと交わる対象物の表面上の領域の画像を表す画像データを取得するため、前記ビデオカメラ、前記レーザー距離計及び前記動作制御パンチルト機構を制御すること；領域内に異常が存在するかどうかを判断するため画像を処理すること；異常が存在する場合、対象物の座標系内で異常の位置の座標を決定すること；及び座標に対応する対象物上の領域にＮＤＥ機器を向けること、を実施するようにプログラムされたコンピュータシステムを含む。任意選択により、コンピュータシステムはさらに、異常の特徴（例えば、ひび割れの深さ）を測定するようにプログラムされている。

さらに別の態様は、対象物に関する座標系に対して、局所位置決めシステムを用いて対象物の表面上の目視検出可能な異常（すなわち、正常との差異）の位置の座標を決定すること；記録された座標を用いて目視検出可能な異常にＮＤＥ機器を向けること；ＮＤＥ機器を用いて目視検出可能な異常の特徴を表す測定データを取得すること；及び目視検出可能な異常の特徴に対する値を決定するため測定データを処理すること、を含む対象物の表面上の領域のＮＤＥ検査の方法である。

さらなる態様によれば、対象物上の目視可能な異常の位置を検出して決定するための方法が提供可能であり、前記方法は、（ａ）位置及び配向によって、局所位置決めシステムを対象物に対して配置すること；（ｂ）局所位置決めシステムの位置及び配向と、対象物の一連の基準画像、対象物の座標系内での過去の位置及び配向を収集するために前回利用された局所位置決めシステムの過去の位置及び配向との間のオフセットを決定すること；（ｃ）位置及び配向によって、局所位置決めシステムをステップ（ｂ）で決定されたオフセットに従い対象物に対して再配置すること；（ｄ）再配置された局所位置決めシステムの位置及び配向から対象物の一連の画像を取得すること；（ｅ）取得した画像と対応する基準画像との間の差異を検出するため、一連の画像と一連の基準画像内の対応する画像とを比較すること；（ｆ）対象物の座標系内で検出された差異の位置の座標を決定すること；（ｇ）検出された差異の位置の座標を記録すること；及び（ｈ）記録された座標を用いて、検出された差異にＮＤＥ機器を向けること、を含む。任意選択により、方法は、（ｉ）ＮＤＥ技術を用いて検出された差異の特徴を表す測定データを取得すること；及び（ｊ）検出された差異の前述の特徴に対する値を決定するため測定データを処理すること、をさらに含む。

さらに別の態様は、（ａ）局所位置決めシステムを用いて対象物の座標系に対して対象物の表面上の領域の位置測定データを取得すること；（ｂ）領域を表す画像データを取得すること；（ｃ）画像データが領域内の異常の存在を示す情報を含むかどうかを判断するため画像データを処理すること；（ｄ）ステップ（ｃ）で画像データが領域内の異常の存在を示す情報を含むと判断された場合には、対象物の座標系に対する異常の位置の座標を決定すること；（ｅ）異常の位置の座標を記録すること；（ｆ）記録された座標を有する対象物上の領域にＮＤＥ機器を向けること；及び（ｇ）遠隔ＮＤＥ技術を用いて異常の第１の特徴を表すＮＤＥ測定データを取得すること、を含むように提供される遠隔検査のための方法である。任意選択により、方法は、異常の第１の特徴に対する値を決定するためＮＤＥ測定データを処理すること、及び／又は異常の第２の特徴に対する値を決定するため画像データを処理することをさらに含んでもよい。異常がひび割れの場合には、第１の測定された特徴はひび割れの深さであってもよく、第２の測定された特徴はひび割れの長さであってもよい。画像解析ソフトウェアは対象物の座標系に対する異常の位置を決定し、次に異常の第２の特徴を決定するために使用可能である。１つの応用では、対象物は航空機であり、異常は航空機に対する損傷、例えば航空機主翼の誘電体上部のひび割れとなる。好ましくは、ＮＤＥ技術は、以下の群、すなわち近赤外線分光法、テラヘルツイメージング、マイクロ波イメージング、Ｘ線後方散乱イメージング、遠隔赤外線サーモグラフィ、レーザーシアログラフィ、レーザー超音波探傷法及びレーザー振動測定法から選択される。任意選択により、方法は、（１）記録された座標を有する対象物上の領域にレーザービームを向けること；又は（２）特徴の位置の３次元データベースから対象物の表面上の特徴の座標位置を受け取り、表面を横切って走査するようにビデオカメラを制御し、各々の特徴の座標位置で停止すること、をさらに含んでもよい。

対象物の表面上の異常の大きさを決定するには、表面と測定機器との間の相対角度に関する情報を使用する。具体的には、対象物の座標系に対するビデオカメラの位置及び配向を決定するために、３次元配置ソフトウェアを使用することができる。

以下の段落は、本発明の実施形態の幾つかの態様をさらに説明している。
１つの実施形態では、ビデオカメラ、レーザー距離計、非破壊評価機器、及び動作制御パンチルト機構を備え、前記ビデオカメラ、前記レーザー距離計、及び前記非破壊評価機器は前記動作制御パンチルト機構によって支持されており、且つ以下の操作；
対象物に対する方向ベクトルを決定し、当該方向ベクトルと交わる対象物の表面上の領域の画像を表す画像データを取得するため、前記ビデオカメラ、前記レーザー距離計及び前記動作制御パンチルト機構を制御すること；
前記領域内に異常が存在するかどうかを判断するため前記画像を処理すること；
異常が存在する場合には、前記対象物の座標系内の前記異常の位置の座標を決定すること；及び
前記座標に対応する位置に前記非破壊評価機器を向けること
を実施するようにプログラムされたコンピュータシステムを備えるシステムが遠隔検査のために提供される。

本実施形態の第１の変形例では、前記コンピュータシステムは、前記座標に対応する前記位置に向けられている間に、前記非破壊評価機器によって取得される情報に基づいて前記異常の特徴を測定するようにさらにプログラムされている。

別の実施形態では、対象物上の目視可能な異常の位置を検出して決定するための方法が提供され、前記方法は、
（ａ）位置及び配向によって、局所位置決めシステムを対象物に対して配置すること；
（ｂ）局所位置決めシステムの位置及び配向と、対象物の一連の基準画像、対象物の座標系内での過去の位置及び配向を収集するために前回利用された局所位置決めシステムの過去の位置及び配向との間のオフセットを決定すること；
（ｃ）位置及び配向によって、局所位置決めシステムをステップ（ｂ）で決定されたオフセットに従い対象物に対して再配置すること；
（ｄ）再配置された局所位置決めシステムの位置及び配向から対象物の一連の画像を取得すること；
（ｅ）取得した画像と対応する基準画像との間の差異を検出するため、一連の画像と一連の基準画像内の対応する画像とを比較すること；
（ｆ）対象物の座標系内で検出された差異の位置の座標を決定すること；
（ｇ）検出された差異の位置の前記座標を記録すること；及び
（ｈ）前記記録された座標を用いて、検出された差異に非破壊評価機器を向けること、を含む。

実施形態の第１の変形例では、方法は、（ｉ）非破壊評価技術を用いて検出された差異の特徴を表す測定データを取得すること；及び（ｊ）検出された差異の特徴に対する値を決定するため測定データを処理すること、をさらに含む。

実施形態の第１の変形例の一変形例では、取得したばかりの画像を対応する基準画像と比較することは、取得した画像と一連の基準画像内の対応する画像の双方に共通の特徴の相対変位を決定することを含む。

さらなる実施形態では、
対象物に関する座標系に対して、局所位置決めシステムを用いて対象物の表面上の目視検出可能な異常の位置の座標を決定すること；
前記記録された座標を用いて目視検出可能な異常に非破壊評価機器を向けること；
非破壊評価機器を用いて目視検出可能な異常の特徴を表す測定データを取得すること；及び
目視検出可能な異常の特徴に対する値を決定するため測定データを処理すること
を含む対象物の表面上の領域の非破壊評価検査の方法が提供される。

別の実施形態では、局所位置決めシステムハードウェア、非破壊評価機器、及び以下の操作
（ａ）対象物（１４）に対して方向ベクトル（１２）を決定し、方向ベクトル（１２）と交わる対象物（１４）の表面（１５）上の領域の画像を表す画像データを取得するため、前記局所位置決めシステムハードウェアを制御すること；
（ｂ）領域の画像が領域内に異常の存在を示す情報を含むかどうかを判断するため画像データを処理すること；
（ｃ）操作（ｂ）で画像データが領域内に異常の存在を示す情報を含むと判断された場合には、対象物の座標系に対する異常の位置の座標を決定すること；
（ｄ）前記座標を有する対象物上の領域に非破壊評価機器を向けること；及び
（ｅ）遠隔非破壊評価技術を用いて異常の第１の特徴を表す非破壊評価測定データを取得する前記非破壊評価機器を制御すること
を実行するようにプログラムされたコンピュータシステムを備えるシステムが提供される。

実施形態の第１の変形例では、前記コンピュータシステムは、（ｉ）異常の第１の特徴に対する値を決定するために非破壊評価測定データを、及び（ｉｉ）異常の第２の特徴に対する値を決定するために画像データを処理するようにさらにプログラムされており、
システムは前記コンピュータシステムに常駐する画像解析ソフトウェアをさらに備え、前記コンピュータは、
対象物の座標系に対する異常の位置を決定し、次に異常の第２の特徴を決定するために前記画像解析ソフトウェアを使用するようにプログラムされている。

実施形態の第２の変形例では、動作制御パンチルト機構及び前記コンピュータシステムに常駐する３次元配置ソフトウェアが提供され、前記局所位置決めシステムハードウェア及び前記非破壊評価機器は前記動作パンチルト機構によって支持されており、且つ前記コンピュータは、対象物の座標系に対して前記局所位置決めシステムハードウェアの位置及び配向を決定するため、前記３次元配置ソフトウェアを使用するようにプログラムされている。

実施形態の第３の変形例では、前記非破壊評価機器は、以下の群、レンズ効果を有するテラヘルツカメラ、遠隔測定に対してレンズ効果を有する近赤外線分光器、熱探知カメラ、マイクロ波イメージング、Ｘ線後方散乱イメージング、シアログラフィック計測システム、超音波生成・検出用レーザー、及びレーザー走査振動計から選択される。

実施形態の第４の変形例では、前記局所位置決めシステムハードウェアは、レーザーポインタを備え、前記コンピュータシステムは、前記記録された座標を有する対象物上の前記領域にレーザービームを向けるように前記レーザーポインタを制御するようにさらにプログラムされている。

実施形態の第５の変形例では、前記コンピュータシステムは、特徴位置の３次元データベースから対象物の表面上の特徴の座標位置を受け取り、次に前記局所位置決めシステムハードウェアが表面を横切って移動し、前記特徴の前記座標位置の各々で停止して画像データを取得できるように制御するようにさらにプログラムされている。

他の態様は以下に続く詳細な説明の中で開示される。

米国特許第７，８５９，６５５号に開示されている局所位置決めシステムの等角図を示す略図である。 米国特許第７，８５９，６５５号に開示されている代替的な局所位置決めシステムの等角図を示す略図である。 米国特許出願第１２／８９７，４０８号（その開示の全体は本明細書に組み込まれる）に開示されている一実施形態による、対象物の基準画像と検査画像との目視可能な差異の配置を決定するためのプロセスを示すフロー図である。 局所位置決めシステムとＮＤＥ機器が別々のユニットである一実施形態による、航空機主翼上の誘電体上部の配列の遠隔検査のためのシステムを示す略図である。 航空機構造体の遠隔検査のためのシステムの構造を示すブロック図である。 局所位置決めシステムとＮＤＥ機器が一体型ユニットである一実施形態による、航空機主翼上の誘電体上部の配列の遠隔検査のためのシステムを示す略図である。 落雷保護を備えるため誘電体材料で作られたパッチに覆われた航空機主翼上の締め具の上方部分の断面図を示す略図である。 航空機主翼上の誘電体上部の配列の遠隔検査のためのシステムに関するプロセスの段階を示すフロー図である。 一実施形態による遠隔ＮＤＥプロセスの様々な段階を示すフロー図である。以下で図面を参照するが、異なる図面の類似の要素は同一の参照番号を有する。

図１は、対象物の局所座標系で定義される対象物上の位置データの提供に適した局所位置決めシステム１の一実施形態を図解している。局所位置決めシステム１は、自動（遠隔制御）ズーム機能を有するビデオカメラ２を備えてもよい。ビデオカメラ２は、パーソナルコンピュータ上にビデオカメラの出力を表示するための光学画像フィールドディスプレイ１７又は他のディスプレイ装置８内で、点の正確な配置特定を容易にするため、一体型照準線生成器を追加的に含んでもよい。照準線生成器がビデオカメラ２の一体型コンポーネントでない応用では、照準線生成器６（点線で表示）がこの目的のための分離された要素としてビデオカメラ２に接続されてもよく、或いはパーソナルコンピュータ又はディスプレイ装置８上のビデオ動画上に重ねられてもよい。

ビデオカメラ２は、三脚支持台４又は代替的な支持フレーム（例えば、ガントリー）上に据え付けられた動作制御パンチルト機構３に結合されてもよい。動作制御パンチルト機構３は、ビデオカメラ２を垂直の方位角（パン）軸２０及び水平の仰角（チルト）軸２１の周りの選択された角度までの位置調整、同様にビデオカメラ２のカメラのロール軸２２の周りの選択された角度までの回転が可能である。本明細書で説明している実装に関しては、ロール軸の測定及び制御は要求されていない。

三脚４（又はパンチルトユニットが取り付けられる他のプラットフォーム）の固定座標系２４に対するカメラの配向を記述する方向ベクトルは、方位角及び仰角、並びに対象物１４上の関心点１６にカメラの狙いを定めたときの光学視野内の照準線マーカーの中心位置から決定される。図１では、方向ベクトルは、カメラ２のレンズから延伸し、対象物１４上の配置１５と交差する線１２によって表される。

ビデオカメラ２及びパンチルト機構３はパーソナルコンピュータ又は他のコンピュータ８によって操作されてもよい。コンピュータ８は、ビデオ／コントロールケーブル１０を経由してビデオカメラ２及びパンチルト機構３と通信することができる。代替的に、コンピュータ８は、無線通信経路（図示せず）を経由してビデオカメラ２及びパンチルト機構３と通信してもよい。代替的に、コンピュータはカメラと一体化されてもよい。パンチルト機構３の制御及びその結果として、ビデオカメラ２の配向は、コンピュータ８のキーボード、マウス（図示せず）、トラックボール（図示せず）、又は別の入力デバイスを用いて制御されてもよい。光学画像フィールド１７は、照準線オーバーレイ１８と共に、ビデオカメラ２で見たとおりにコンピュータ８のモニタ上に表示されてもよい。

３次元配置ソフトウェアはコンピュータ８に読み込み可能である。例えば、３次元配置ソフトウェアは、対象物１４に対するビデオカメラ２の配置（位置及び配向）を定義するため、対象物１４（航空機の表面など）上で間隔を空けて複数の較正点１５を使用する種類のものであってもよい。幾つかの応用では、３次元配置ソフトウェアは、パンチルト機構３のパンデータとチルトデータを組み合わせて、対象物１４の局所座標系２７に対するビデオカメラ２の相対的な位置及び配向を定義するため、対象物１４上で最低３個の較正点１５を利用することができる。較正点１５は、特徴位置の３次元データベース（例えば、ＣＡＤモデル）又は他の測定技術から決定されるように、対象物１４の局所座標系２７の既知の位置の目視可能な特徴であってもよい。較正点１５は、対象物１４に対するカメラの位置及び配向を求めるため、パンチルト機構３の方位角及び仰角と連携して、使用されてもよい。

対象物１４に対してビデオカメラ２の位置及び配向が決定されると、コンピュータ８は、例えば、航空機上の損傷／補修箇所となる、対象物１４上の未知の位置の所望の配置１６に、ビデオカメラ２の光学画像フィールドを回転してズームするように操作される。方向ベクトルのこの位置で、ビデオカメラ２の配向（方位角軸２０及び仰角軸２１に沿ったビデオカメラ２のそれぞれの角度を含んでもよい）が記録される。パンチルトユニットからの方位角及び仰角、並びに較正プロセスで決定されたカメラの相対的な位置及び配向を利用することにより、関心点１６の配置が対象物１４の座標系２７に対して決定される。対象物１４上の損傷／補修箇所１６は、損傷／補修箇所の境界に沿ってビデオカメラ２の光学画像フィールド内で照準線１８を調整することによって、大きさが測定される。ひび割れの場合には、ひび割れの一つの端からひび割れのもう一つの端まで照準線を動かし、ひび割れの経路に沿って進めることによって、ひび割れの長さは測定可能である。

関心点１６の位置が対象物の座標系内で（以前のデータ取得セッション、ＣＡＤモデル、又は他の測定から）既知の場合には、逆のプロセスも実施可能である。この状況下では、較正点が目視可能な作業領域上の任意の箇所にカメラは配置可能で（元のデータが記録された配置とは異なる配置にあってもよい）、カメラの姿勢較正ステップが実施される。関心点からカメラ２までの方向ベクトル１２は、対象物の座標系２７内で計算されてもよい。方向ベクトルをカメラの座標系に変換するため、カメラ姿勢変換行列の逆行列が使用されてもよい。対象物１４上の関心点にカメラ２の狙いを定めるため、方位角及び仰角が計算され、パンチルトユニットで使用される。

幾つかの応用では、一又は複数のレーザーポインタがカメラ２に据え付けられ、方向ベクトル１２に揃えられてもよい。図１に描かれている実施形態では、カメラ２には３個のレーザーポインタ２６が据え付けられている。レーザーポインタ２６は、ビデオカメラ２の標的又は方向に関して、視覚的な目安を対象物１４上に提供する。レーザーポインタ２６から照射されるレーザービーム（図示せず）と対象物１４との交点は裸眼でも目視可能なため、レーザーポインタ２６によって提供されるこの照準となる特徴は、対象物１４上の位置較正点１５及び関心点１６の迅速な選択の支援に有用である。レーザーポインタはまた、対象物１４上の配置を示すことによって、対象物の座標系２７における点を再現するときにも使用可能である。

典型的な実施形態では、局所位置決めシステム機器は対象物１４から約１０〜５０フィートの範囲内に設定可能である。対象物は、例えば、誘電体上部の配列を備えた航空機の表面であってもよい。対象物１４上の較正点１５は対象物１４に対してビデオカメラ２の位置及び方向を決定するため、パンチルト機構のパンデータとチルトデータ（すなわち、方位角と仰角）と連動してコンピュータ８に読み込まれる３次元配置ソフトウェアによって、選択され使用されてもよい。較正点１５は、３次元ＣＡＤモデル又は他の測定技術から決定されるように、対象物１４の局所座標系２７の既知の位置の特徴点であってもよい。幾つかの実施形態では、パンチルトユニット３は、三脚４又は他の携帯機器などの携帯型支持台に取り付けられてもよい。他の実施形態では、パンチルトユニットは航空機格納庫の壁などの固定された支持体に取り付けることもできる。

コンピュータ８に読み込まれた３次元配置ソフトウェアは、対象物１４に対してビデオカメラ２の位置及び配向を決定し、（１）ベクトルに基づく手法；（２）５点乃至７点に基づく位置及び配向技術；及び（３）レーザーのレンジに基づくシステム、の３つの方法のうちの１つを用いてカメラ姿勢変換行列を生成することができる。

ベクトルに基づく手法は、対象物１４上の３つの較正点１５を利用し、連立方程式を解いて、対象物１４に対するビデオカメラ２の位置を決定することができる。この手法はカメラの相対的な配向が既知であることを仮定している。

５点乃至７点に基づく位置及び配向技術は、米国特許第７，８５９，６５５号（その開示の全体は本明細書に組み込まれる）に開示されている方法により、対象物１４に対するビデオカメラ２の位置（ｘ，ｙ，ｚ）及び配向（ロール、ピッチ、ヨー）の双方を決定することができる。

代替的な実施形態では、市販のレーザー測距装置をシステムに一体化してレーザーハイブリッドシステムを作成することができ、レーザーハイブリッドシステムはパンチルト機構３に組み込まれ、ビデオカメラ２から対象物１４上の較正点１５までの距離の推定値を得るため、測定データを使用することができる。

対象物１４に対するビデオカメラ２の位置及び配向が決定され、カメラ姿勢変換行列が生成されると、カメラのパンデータ（方位角軸２０の周りのビデオカメラ２の回転角）及びチルトデータ（仰角軸２１に対するビデオカメラ２の回転角）は算出されたビデオカメラ２の位置及び配向と共に使用されて、対象物１４の座標系における任意の関心点（航空機外板上の損傷／補修箇所など）の位置（Ｘ，Ｙ，Ｚ）を決定する。次に、対象物１４上の損傷／補修箇所にビデオカメラ２の狙いが定められ、損傷／補修箇所の中心及び／又は輪郭が決定される。

対象物１４上の損傷／補修箇所の位置は当初不明の場合があるため、ビデオカメラ２の局所的なカメラ座標系２４における方向ベクトル１２を決定するため、パンチルト機構３のパン角およびチルト角が使用されることがある。損傷／補修箇所の表面位置の決定は、以下の方法、（１）対象物上の較正点、又は対象物上の既知の位置でユーザーが選択した他の特徴から形成される多角形表面と交差する光線を使用する近似法；（２）例えばＣＡＤモデルからの３次元データ；又は（３）任意選択のレーザー測距装置からの距離、のいずれか１つによって行われてもよい。この段階では、カメラ姿勢変換行列は、ビデオカメラ２の局所座標系で最初に定義される損傷／補修箇所を、対象物１４の局所座標系に変換又は変更するために使用されることがある。

次に、対象物１４上の過去の損傷、補修箇所及び／又は他の問題点を特定するため、対象物１４の３次元モデル座標系及び整備データベースがコンピュータ８によってアクセスされる。対象物１４上の損傷／補修箇所の現時点での補修は、損傷／補修箇所の過去の損傷、補修及び／又は問題点との位置及び幾何学的関係に基づいて計画される。ビデオカメラの光学画像フィールドが損傷／補修箇所に向けられているときのビデオカメラ２の位置及び幾何学的情報は保存され、データベースに保管されている３次元モデルに重ねられる。ビデオカメラ２又は他のカメラを使用して、損傷／補修箇所のデジタル写真を追加的に撮影してデータベースに保存してもよい。これにより、対象物１４にその後の補修が必要になった場合には、更新されたデータベースが利用可能となる。

局所位置決め機器のカメラによって撮影された画像から異常の３次元位置を推定するために画像処理方法が使用されるが、異常の３次元座標を決定するためには、システムは最初に画像の中心の３次元位置を決定しなければならない。局所位置決めシステムが正しい配置に向けられていると仮定するならば、これらの座標は局所位置決めシステム較正行列と共に画像の中心として使用可能である。しかし、より確実な解決法は、レーザー距離計６３８を使用してレーザー距離計が向けられている現在の位置で距離の値を読み取り、局所位置決めシステムソフトウェアでパン角及びチルト角と共に当該測定値を使用して現在の３次元座標を計算することである。局所位置決めシステムによって測定された３次元座標は、異常の３次元座標を導くため、画像処理方法によって使用される。局所位置決めシステムによって得られた位置測定データ（及びその較正行列）は、画像から導かれたデータと共に使用されて、異常の長さを決定する（カメラ画像のみ又は局所位置決めシステムのみからのデータは、異常の位置又は長さを決定するのに十分ではない）。

図２に示した実施形態は、照準点軸６２０を有し機器座標系を有する指示機器６１８を用いて、対象物座標系を有する対象物６１４の表面６１２上の関心点６１０の位置を決定するように使用可能である。１つの方法は、機器６１８の照準点軸６２０が対象物６１４の表面６１２上の３つの較正点６２４、６２６及び６２８の各々に順次位置合わされるときに、機器座標系で照準点軸６２０の配向を測定することを含み、対象物座標系における３つの較正点６２４、６２６及び６２８の位置は既知である。この方法はまた、機器６１８から３つの較正点６２４、６２６及び６２８の各々まで照準点軸６２０にほぼ沿って、距離（すなわち、レンジ）を測定することを含む。この方法はまた、３つの較正点６２４、６２６及び６２８に対応する機器座標系で測定された配向及び距離、並びに対象物座標系での３つの較正点６２４、６２６及び６２８の既知の位置を少なくとも用いて、機器座標系で定義される位置を対象物座標系で定義される位置に変換する較正行列を計算することを含む。この方法はまた、機器６１８の照準点軸６２０が関心点６１０に位置合わせされるとき、機器座標系で照準点軸６２０の配向を測定することを含む。この方法はまた、関心点６１０に対応する機器座標系６２２で測定された照準点軸６２０の配向、較正行列を少なくとも用いて、また対象物座標系での機器６１８から関心点６１０まで照準点軸６２０にほぼ沿った距離と対象物６１４の表面６１２のモデルのうちの少なくとも１つを用いて、対象物座標系６１６で関心点６１０の位置を計算することを含む。この方法はまた、計算済みの位置を保存することを含む。１つの変形例では、保存された計算済みの位置はコンピュータ６３２のコンピュータメモリ６３０に保存されるが、コンピュータ６３２は、機器座標系での機器６１８の照準点軸６２０の距離及び配向測定値に対応する信号を少なくとも受け取るように動作可能に機器６１８に結合されており、対象物座標系で関心点６１０の位置を計算するようにあらかじめ記載された操作を実施する。

図２に示した実施形態によれば、機器６１８から関心点６１０まで照準点軸６２０にほぼ沿った距離（レンジ）は、レーザー距離計６３８を用いて測定され、機器座標系６２２のデカルト座標で定義される関心点６１０の位置は、機器６１８の順運動学及び機器座標系６２２の球面座標で定義される関心点６１０に対応する測定されたパン角６３４とチルト角６３６及び距離を用いて計算され、較正行列は、機器座標系６２２のデカルト座標で定義される関心点６１０の位置を、対象物座標系６１６のデカルト座標で定義される関心点６１０の位置に変換するように使用される。

図２に示した実施形態では、機器６１８は三脚６５３によって支持されるパンチルトユニット６５２を含む。機器６１８はパンチルトユニット６５２に据え付けられており、機器６１８はパン及びチルト方向に回転可能である。１つの変形例では、機器６１８はレーザー距離計６３８を備えたビデオカメラ６４４を含み、コンピュータ６３２はジョイスティック入力装置６５４及びモニタ６５６を含む。１つの変形例では、コンピュータ６３２は、ジョイスティック入力装置６５４を介してパンチルトユニット６５２を制御し、モニタ６５６上にビデオカメラ６４４の視野を表示し、ディスプレイ上に照準点軸６２０の（照準線の中心などの）表示６５８を重ね、さらにジョイスティック入力装置６５４のユーザーがディスプレイ上の照準点軸６２０の表示６５８をディスプレイ上の関心点６１０に位置調整して、位置調整されたことをコンピュータ６３２に示したとき、パン角とチルト角（及び較正行列に対する距離）を測定するようにプログラムされている。

加えて、図２に示した局所位置決めシステム（ＬＰＳ）は、（航空機などの）対象物の表面上の目視可能な異常を自動的に検出することが可能で、対象物の局所座標系でこれらの異常の配置と大きさを自動的に測定する。一連の画像ペアを収集するため、ビデオ又は他のデジタルカメラが使用される。デジタル画像処理ソフトウェアは画像変化検出プロセスを実施し、そのプロセスで２点以上の画像の差異が検出され、これらの差異が存在する画像内の２次元ピクセル位置が決定される。局所位置決めシステムユニットを配向して、対象物の座標系で表されたこれらの関心領域の３次元位置を測定及び計算するため、２次元データが次に利用される。上記を遂行するため、局所位置決めシステムの制御方法が拡張され、画像収集、解析、及び３次元対象物座標への変換が自動化される。これらのプロセスは、米国特許出願第１２／８９７，４０８号（その開示の全体は参照により本願に組み込まれる）に詳細に記載されている。

潜在的な損傷が発生することがある航空機表面上の領域の配置及び測定に関して、幾つかの実施形態が以下に記載される。１つの実施形態では、損傷は損傷発生前後の一連の画像ペアから決定され、デジタル画像処理ソフトウェアが使用されて、基準画像が取得された時点と同一領域の検査画像が取得された時点との間で何らかの目視可能な変化が発生したかどうかが判断される。潜在的な画像の差異が検出されると、航空機上の対応する３次元配置（Ｘ，Ｙ，Ｚ）が、格納庫又は測定装置基準フレームで定義される座標系ではなく、好ましくは航空機に関する局所座標系で決定される。詳細な検査、補修、及び／又は航空機の損傷に関する報告書の作成を指示するため、局所航空機座標の測定値が記録又は使用される。

人間オペレータ、タイマー、又は自動アプリケーションによって始動されると、図２に図解されているシステムは、一連の画像を取得してこれらを基準画像セットと比較することができる（別の態様では、基準画像なしで異常を検出することも可能である）。画像ペア間の差異が検出され、画像ピクセル配置が使用されて、ビデオカメラを向ける方向が定義される。所望の配置が決定されると、システムは距離測定を実施し、対象物の座標系で定義される表面上のデカルト座標（Ｘ，Ｙ，Ｚ）位置を計算する。次に、この位置データは表示、保存、又はこのデータを要求したクライアントアプリケーションに送信される。

本明細書に記載されているプロセスのある種の実施形態に関しては、対象物及び局所位置決め機器は互いに固定された位置関係にあるが、ある種の使用事例では相対位置は変化することがある。このような状況では、前後の画像でカメラの位置及び配向が大きく離れていない場合には、オフセットを推定するため画像処理技術が使用される。画像ベースの配置技術として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）で使用される技術が使用されてもよい。ＳＬＡＭでは、オフセットの推定値を与えるために、両方の画像に共通する特徴の相対的な変位が使用される。これでは、登録を実施するため、画像間の実質的な重なりに加えて、比較的小さな位置及び配向の変化が使用される。加えて、既知の基準寸法は、変位の規模を決定するために使用される。

大きな量の画像の重なりに加えて、小さな位置及び配向の変化を使用することが常に可能なわけではない。対象物と機器との間の相対的な位置再調整がより広い条件のレンジで実施可能であることを保証するためには、より一般的なプロセスが必要となる。１つの解決策は、基準画像が撮影されたときと同一の相対位置及び配向に機器を戻す方法を提供することである。上述のように、１つの選択肢は、移動式プラットフォーム、ロボットアーム、又はクレーンなどの可動式支持台の上に局所位置決め機器を設置することである。対象物に対する現在の相対位置（それらのうちのいずれかは、最初の基準位置と異なっているかもしれない）で局所位置決めユニットを較正した後、オフセット変換行列が計算可能となる。移動式プラットフォームはオフセットの量だけ機器を並進及び回転し、元の位置及び配向との位置再調整を実現する。任意の残存する小さな差異は、画像ベースの配置で使用される技術と同様の画像処理技術に基づく画像移動／回転によって補償されうる。

図３は、対象物上の目視可能な差異の３次元での位置を決定するためのプロセスを図解するフロー図である。より具体的には、このフロー図は、自動化された画像取得、画像処理、機器位置再調整、及びＬＰＳ３次元測定プロセスとの統合に関する詳細を提供している。

ステップ５０２では、ＬＰＳは対象物に対して較正され、較正行列は保存される。適切に間隔が空けられた画像配置は、対象物に関するシーン内で特定される（ステップ５０４）。画像の初期セットが取得される（ステップ５０６）。具体的には、取得された各画像の画像中心に付随するＸ，Ｙ，Ｚ配置データと共に、一連の基準画像が取得される。

対象物、例えば航空機は、運航に供され、時間の経過とともに潜在的な損傷の事象が発生し（ステップ５０８）、対象物はＬＰＳに対する位置で再度配置される。典型的なシナリオでは、ＬＰＳに対する対象物の位置は、初期画像が取得された時点での両者の間の相対位置と幾分異なることがあり、ステップ５１０でＬＰＳの相対位置が変化したかどうかを検討する際に、肯定的な応答となることがある。

ＬＰＳの相対位置が変化したという（ステップ５１０の）決定に応じて、対象物に対するＬＰＳの現在の位置が決定され、初期のＬＰＳ配置からのオフセット変換が計算される（ステップ５１２）。ＬＰＳはオフセット変換の量だけ再配置される（ステップ５１４）。ＬＰＳの再配置後（又はステップ５１０でＬＰＳの相対位置が変化していないと決定された場合）、一連の現在の画像が同一の相対配置から取得される（ステップ５１６）。同一の位置及び配置から得られた画像ペアは変化を検出するため比較される（ステップ５１８）。例えば、変化の領域はデジタル画像処理技術を用いて決定可能である。このようなプロセスの１つは、画像減算、ぼかしフィルタ、画像セグメント化ステップを含んでもよい。

任意の差異の配置はステップ５２０で決定される。各領域の重心は検出され、ピクセル座標（ｘ，ｙ）に変換される。ＬＰＳに関するカメラの光学系を補償するため歪み補正が実施され（ステップ５２２）、２次元画像補正が適用されて（ｘ’，ｙ’）となる。この補正は、例えば、レンズ光学系、ズーム、及び焦点レベルに依存することがある。１つの実施形態により、補正は実験的に決定され、参照テーブルを用いて実行時に呼び出される。

対象ベクトルはステップ５２４で決定され、ここで補正されたピクセル値（ｘ’，ｙ’）は、初期画像配置データと共に、ＬＰＳ機器から対象物までのベクトルを定義する新たな方位角と仰角（パン角とチルト角）を決定するために使用される。この実施形態では、ＬＰＳは、パン角とチルト角を決定するために駆動されるパンチルトユニットを含み、新しいレンジ測定が行われる（ステップ５２６）。パンチルトユニットは、監視カメラ及び望遠鏡などの物品で使用されるパンチルトユニットと同様のもので、レンジ測定装置及び画像装置の一方又は両方の位置決めに関して非常に正確なデータを提供する。

配置は、例えば、対象物に関するデカルト座標で計算される（ステップ５２８）。これらの対象座標は、対象物と機器の較正行列に加えて、パン、チルト及びレンジデータから決定される。その結果得られる測定データは、ソケット接続を介して保存、表示、又は他のクライアントアプリケーションへの送信が可能である（ステップ５３０）。次に、転送される他の点がさらにあるかどうかが判断される（ステップ５３２）。他の点がある場合には、プロセスは次の配置に関するパン及びチルトの計算を再度行い、他の点がない場合にはプロセスは終了する。

遠隔検査配置、遠隔ＮＤＥ、３次元構造体に対するＮＤＥ測定データマッピング／相関、及びデータ保存・検索機能を同時に且つ自動的に行うためのシステムの一実施形態は、図４を参照して説明される。システムは、局所位置決めシステム３０の機能を、検査対象構造体から離れた位置で使用可能なＮＤＥ機器３２と結合する。説明を目的として、システムは、具体的な用途、すなわち航空機主翼３６上の誘電体上部３４の配列の遠隔検査に準拠して説明される。しかしながら、本明細書で開示されるＬＰＳ／ＮＤＩ結合システムは、航空機主翼上の誘電体上部を検査する用途に限定されることはない。

図４に示した実施形態では、局所位置決めシステム３０は、パンチルト機構３８、ビデオカメラ５２、レーザー距離計５４、及びノートブック又はラップトップコンピュータ５０を含む。図４に示したシステムは、パンチルト機構３８に据え付けられるＮＤＥ機器３２をさらに含む。この場合、ビデオカメラ５２は、パンチルト機構３８に据え付けられるＮＤＥ機器３２にしっかりと取り付けられてもよい（代替的に、ビデオカメラをパンチルト機構に据え付け、ＮＤＥ機器がビデオカメラにしっかりと取り付けられてもよい）。パンチルト機構３８は、三脚４０又は他の好適な支持構造体に据え付け可能である。局所位置決めシステム３０及びＮＤＥ機器３２は、各電気ケーブル４４及び４６によってコントローラ４２に結合可能である。図４には示されていないが、パンチルト機構の下には電子ボックスが設置可能で、電子ボックスは、パンチルト機構３８、ビデオカメラ５２、及び任意選択によりレーザー距離計を含む制御可能なＬＰＳコンポーネントすべてに対して、電子ボックスから延びる結合ケーブルを有する。その場合、ビデオカメラは１本の電気ケーブルを介して電子ボックスに接続され、さらに電子ボックスから延びる前述の結合ケーブルを介してコントローラに接続されることがある。

コントローラ４２は、制御機能（カメラ５２及び局所位置決めシステム３０のレーザーポインタ５４の制御、ＮＤＥ機器３２の制御及びパンチルト機構３８の制御を含む）を実行する、及び／又は画像処理（異常の検出及び配置特定並びに異常の大きさ及び／又は深さの測定など）を実施する一又は複数のプロセッサを含んでもよい。レーザーポインタ５４は眼に安全なレーザービーム５６を生成する。ラップトップＰＣ５０は、制御装置４２に対してコマンドを構成して入力し、取得した画像データ及び計算結果をそのディスプレイ画面上に表示するためのユーザーインターフェースを提供する。

図５は、対象物６２の遠隔検査のための一システムの構造を示す。このシステムは、局所位置決めシステム（ＬＰＳ）ハードウェア６４及び非破壊評価（ＮＤＥ）ハードウェア６６に連結されるコンピュータ６８を含む。コンピュータ６８は、コンピュータメモリに保存されるソフトウェアモジュールに関する操作を実行するようにプログラムされている。このようなソフトウェアモジュールは、ＬＰＳソフトウェア７０、ＮＤＥソフトウェア７２及び画像処理ソフトウェア７４を含んでもよい。ＬＰＳソフトウェア７０はＬＰＳハードウェアを制御し、航空機の座標に対してＬＰＳユニットを較正し、対象に対する方向ベクトルを決定し、対象の視覚画像を取得する。画像処理ソフトウェア７４は、画像内の異常（例えば、ひび割れ）の配置を特定し、その長さを測定し、ＮＤＥ測定データを取得するためＬＰＳに指示を与えＮＤＥ機器の狙いを定めるための配置を決定する。ＮＤＥソフトウェア７２はＮＤＥハードウェアを制御し、ＮＤＥ機器データ（ＮＤＥ画像はＮＤＥ測定データに由来することに注意）を取得し、ひび割れの深さを決定する。検査中、コンピュータ６８は、特徴の位置を保存する３次元モデルデータベース７６から（誘電体上部又は他の関心項目などの）対象物の表面上の特徴の座標位置を検索することができる。

ＬＰＳの位置決めに関するデータは、本明細書では「位置測定データ」と呼ばれる。ＬＰＳカメラによって取得される視覚画像に関するデータは、本明細書では「画像データ」と呼ばれる。ＮＤＥシステムに関するデータは、本明細書では「ＮＤＥ測定データ」と呼ばれる。位置測定データ、画像データ及びＮＤＥ測定データは、結果データベース７８に保存されてもよい。

図５は単一のコンピュータを示しているが、ソフトウェアモジュールはコンピュータシステムの各コンピュータ又はプロセッサによって実行されてもよい。このようなコンピュータシステムは、ネットワーク又はバスを経由して通信を行う２つ以上のコンピュータ又はプロセッサを有することがある。

図６は、局所位置決めシステムとＮＤＥ機器が単一ユニット６０に一体化されている代替的な実施形態を示す。一体型ユニット６０は、電気ケーブル５８を介してコントローラ４２に接続されている。パンチルト機構３８は同一のケーブルを介して制御可能である。ミラー付き機構（一体型ユニット６０の内部に配設されており、図６では見ることができない）は位置調整を行うためポインティングレーザーの前で回転し、ＮＤＥ検出の際に経路から取り除かれる。代替的な実施形態では、ミラーを移動する代わりに、カメラを位置調整経路から出し入れしてもよい。

図４〜６は、航空機の主翼３６上に配設される誘電体上部３４のひび割れの遠隔検出及び測定のためのシステムを図解しているが、本明細書に開示されている技術を用いて他の航空機コンポーネントを検査することもできる。さらに一般的には、開示された技術は、構造体の遠隔検査が必要とされる任意の状況に応用される。

図７は、航空機主翼の２つの部分（主翼表面のコンポーネント又は外板８４のみが示されている）を締結する締結具８２が誘電体材料（イー・アイ・デュポン・ドゥ・ヌムール・アンド・カンパニーが製造したＫａｐｔｏｎ（商標）など）から成るパッチ８６によって覆われている締結継手の一部の断面図である。パッチ８６は、落雷が部品８４を貫通して燃料タンク領域に入り込むのを防止するため、締結具８２の頭部を被覆している。主翼表面のコンポーネント又は外板８４は、塗装８８の層によって覆われた複合材料から成っていてもよい。

誘電体上部（すなわち、図７のパッチ８６）は、数年間運航した後にはひび割れしやすいことが知られている。そのような装備がなされた航空機のオペレータ（又は第三者の保守整備業者）は、誘電体上部を有する締結具の配置を特定し、ひび割れした誘電体上部を正確かつ迅速に特定し、そのひび割れの深さを正確かつ迅速に測定することができる。一定の長さを超えるひび割れには、誘電体上部の補修又は交換が必要となる。

図８のフロー図は高水準の遠隔検査プロセスを示している。航空機主翼の座標系に関してＬＰＳ較正した後、誘電体上部の位置を示す特定の配置を狙うようにＬＰＳに指示を与えることによって、主翼上の誘電体上部の配置が特定される（ステップ９２）。配置が特定された誘電体上部の画像が次に取得される（ステップ９４）。検査が必要なすべての誘電体上部に対してステップ９２及び９４が反復される。コンピュータシステムは、ＮＤＥ検査が必要となる領域が画像内にあるかどうかを判断するため、ステップ９２及び９４の間に取得した位置測定データ及び画像データを処理する（ステップ９６）。これらの領域を検査するため、次にＮＤＥ機器が使用される（ステップ９８）。

ＮＤＥ検査を開始する条件の自動判定の前に、何を異常とみなすかの定義が専門家／検査官によって提供される。ＮＤＥの専門家が細長い領域を追加検査の警告が与えられる項目として定義した場合には、このような領域はひび割れ、又は擦り傷、又は油性マジックによるマークになることがある。このようなすべての場合について、システムは画像内の異常の配置を記録する。画像データのみでは、検出された異常がひび割れかどうかをシステムが判断することはできない。ＮＤＥ測定データはその後の判断を行うために使用される。図８に図解されているデータ収集方法は、潜在的損傷の最低水準としてあらかじめ指定した基準を満たしていない領域をすべて除外することによって、追加検査が必要となる誘電体上部を検査官が検出する際の負荷を大幅に軽減する。

図４に図解されているシステムを使用する、一実施形態による誘電体上部の検査のための方法は、図９に示されている。ステップ１０２では、ＬＰＳは、少なくとも３つの既知の点を測定することによって、主翼（又は航空機の他の部分）の領域上で較正される。次に、検査される誘電体上部（又は他の特徴）の座標配置はＣＡＤモデル（又は他のデータベース）からエクスポートされ、ＬＰＳに転送される（ステップ１０４）。これは、データファイル経由、又はＣＡＤモデリングアプリケーションとＬＰＳとの間のソケット接続のいずれかによって実現される。さらにシステムオペレータは、最初又は次の対象位置を狙うようにＬＰＳに指示を与える（ステップ１０６）。検査される各誘電体上部（又は他の特徴）に関して、ＬＰＳの高解像度高ズームカメラは特定の座標に狙いが定められ、現在の対象領域の一又は複数の画像を取得する（ステップ１０８）。保存された画像は、画像内に何らかの異常があるかどうかを判断することができる画像処理アプリケーションを使用して、読み出される（ステップ１１０）。より具体的には、画像処理ソフトウェアは、取得した画像内の異常（すなわち、公称データとの差異）の配置を特定し、次に取得した画像に描かれた表面上の損傷の長さ、領域、又は他の寸法を測定する。解析された画像内の任意の異常の配置は、航空機座標系の基準フレーム内のデカルト（Ｘ，Ｙ，Ｚ）座標に変換され、次に記録される（ステップ１１２）（図９のステップ１１２は図３に示したステップ５２０、５２２、５２４，５２６、５２８及び５３０を含みうる）。走査領域内で複数の対象配置が検査される場合には、画像処理ステップ１１０及び１１２は、ステップ１０６及び１０８でその後の画像の取得と並行して実施されることがある。ステップ１１４では、追加の対象点を画像化するかどうかの判断が行われる。画像化すると判断された場合には、所定の作業はステップ１０６に戻り、画像化しないと判断された場合には、システムオペレータは最初又は次の異常の位置を狙うようにＬＰＳに指示を与えることができる（ステップ１１６）（前述の画像処理の間に判断される）。システムオペレータは次に、現在の異常の位置のＮＤＥ検査を実施し、取得したＮＤＥ測定データを関連視覚画像と異常の位置に対応する形態で保存するため、ＮＤＥ機器を起動するようにコントローラに指示を与える（ステップ１１８）。取得されたデータは、ひび割れ（又は他の損傷）の深さを決定するため、コントローラによって処理することが可能である。ステップ１２０では、追加の異常点をＮＤＥ検査するかどうかの判断が行われる。検査すると判断された場合には、所定の作業はステップ１１６に戻り、検査しないと判断された場合にはＮＤＥ検査は終了することができる。任意選択により、ＮＤＥ検査プロセスの終了前に、必要とされるすべての箇所（図９には図示せず）に対して有効なデータが収集されたことを確認するため、収集したデータで最終チェックが実施可能である。この種類のチェックには、（１）各測定位置をチェックしてその位置が指定された位置に一致することを確認すること（視界から配置を遮る物体など、閉塞の可能性を解決するため）；及び（２）適切な大きさ、ズームレベル、及び照明レベルの画像が取得されたことを確認することが含まれる。各配置でのデータ完全性のステータスはデータベースに記録されてもよい。

ＬＰＳ機器の初期設定及び較正（ステップ１０２）後、図９で説明されているデータ取得プロセスの残りの部分は自動化される。システムによって収集されたＮＤＩの結果（ステップ１１８）は、専門の（人間の）検査官によって解析される。このデータ収集の方法により、検査官は生データの検索及び収集という単調で時間のかかる作業から解放される。

検査プロセスを制御するコンピュータシステムは、検査されたすべての誘電体上部（又は他の特徴）に関して、（ビデオカメラによって取得された）画像データ、（ＮＤＥ機器によって取得された）ＮＤＥ測定データ、主翼（又は検査される他の構造体）上の配置、検査日／設定など、を相互に関連付けるデジタル記録をコンピュータメモリ（又は他の記録媒体）に保存することができる。

領域の走査が完了すると、検査官は「配置」オプションを選択することができ、これに対応して、検査官が十分な時間をかけて追跡のためこれらの誘電体上部に手作業で印をつける間に、コントローラは、ＬＰＳパンチルトユニットが移動し、修理又は除去が必要なる各誘電体上部（又は検査中の他の特徴）に狙いを定めて一時停止するようにプログラムされる。

複数の遠隔ＮＤＥ手法のうちの任意の１つとして、近赤外線分光法（遠隔測定用のレンズを有する分光器を使用する）、テラヘルツイメージング（遠隔測定用のレンズを有するテラヘルツカメラを使用する）、遠隔赤外線サーモグラフィ（熱探知カメラを使用する）、及びレーザーシアログラフィ（シアログラフィック測定システムを使用する）などは、ひび割れ（又は航空機上の他の損傷）の深さを測定するために使用可能である。遠隔ＮＤＥのための局所位置決めシステム及び複合構造物のための位置決めと統合可能な他の方法は、レーザー超音波探傷法（検査中のコンポーネント内で超音波を発生させ検出するためレーザーを使用する）及びレーザー振動測定法（レーザー走査振動記録計を使用する）を含む。遠隔マイクロ波イメージング又はＸ線後方散乱イメージングはまた、ひび割れの深さ又は他の損傷の測定に使用可能である。

近赤外線分光法は、電磁スペクトルの近赤外領域（波長約８００ｎｍ〜約２５００ｎｍ）を使用する分光法である。

誘電体上部の遠赤外線サーモグラフィ検査では、選択した誘電体上部によって放出された電磁スペクトルの赤外線領域（約９，０００ｎｍ〜約１４，０００ｎｍ）の放射を検出するために焦点が合わされた撮像カメラが使用される。

テラヘルツカメラは、前面から入射するテラヘルツ放射を受信してその入射する放射を可視放射に変換するように構成される画像コンバータを備える。１つの種類のテラヘルツカメラでは、画像コンバータはサファイヤクリスタルからなる硬いベースコンポーネント、硬いベースの前面に塗布されたサーモクロミック液晶層、及び液晶の前面に塗布された熱吸収層を含む。可視光源はコンバータの後端面を照らすように構成されてもよい。コンバータの後端面から放出される可視光を検出するように適用された検出器が提供される。検出器はサーモクロミック液晶層の後端面上に形成される可視画像を取得することができる。

レーザーシアログラフィは、表面の下に位置していて可視光検出を用いて検出することができない異常の検出に特に有用である。検査中の試料はレーザーを用いて照らされ、特殊な光学的せん断エレメントを介してＣＣＤカメラ上に結像される。誘電体上部のレーザーシアログラフィ検査では、選択された誘電体上部の表面領域はコヒーレント性の高いレーザー光で照らされる。スペックルと呼ばれる確率的な干渉縞が生成される。このスペックルは既知の基準干渉縞と比較することができる。

誘電体上部のレーザー超音波探傷法では、レーザーパルスは自由空間を経由して選択された誘電体上部の表面上で検出される。レーザーパルスは誘電体上部の表面で相互作用して、誘電体上部の中へ伝播する超音波パルスを誘発する。超音波パルスは注目している特徴を探査して表面に戻る。分離されているレーザー受信器は測定ヘッドを用いて、超音波パルスが表面に到達したときに生成される小さな変位を検出する。

航空機主翼上の誘電体上部を遠隔検査するための方法は、付加的な特徴の開示を含め、さらに詳細に説明される。

（１）ＬＰＳは、少なくとも３つの既知の点を取得し、それらを航空機のＣＡＤモデルと比較することによって、主翼の領域上で較正される。次に、ＣＡＤモデルを使用して検査されるすべての誘電体上部（又は航空機上で選択された他の特徴）の配置を特定する。

（２）ＬＰＳは、主翼を横切るように走査し、各誘電体上部、又は一連の（２個又は４個の）誘電体上部（又は検査される航空機上の他の特徴）で停止するようにプログラムされている。

（３）ＬＰＳは、狭い視野（高ズーム）、解析用の高解像度光学（可視）画像、検査資料、及び整備追跡用の検索記録を収集し保存する。

（４）特徴抽出及び幾何学的測定機能を有する画像解析ソフトウェアは、誘電体上部の表面（又は検査される特徴の上の他の表面損傷）でひび割れの長さを特定し、測定する。

（５）所定の長さ（例えば、０．１インチ）よりも長い異常が検出された場合には、コンピュータで動作しているＬＰＳは遠隔ＮＤＥ装置を始動して、当該誘電体上部のＮＤＥ画像を収集して保存する。このＮＤＥ画像は、５〜２０フィートの距離でＮＤＥ測データを収集するようにレンズが装着された、テラヘルツ、近赤外線、赤外線、レーザー超音波探傷法、後方散乱Ｘ線、又は他のセンサー／カメラ（上記参照）からのものであってもよい。

（６）異常の深さ（又は損傷に関する情報）は、各異常箇所から受信されるＮＤＥ信号の振幅、位相、幅、又は他の特徴を用いて、自動的に測定される。

（７）指定された長さ又は深さを超える一又は複数のひび割れ（又は一定の大きさを超える損傷を有する他の検出された特徴）を有する誘電体上部には、「要観察」、「補修」又は「除去」のコードが自動的に割り当てられ、その配置と関連付けられる。小さなひび割れ（又は他の損傷）に関しては、誘電体上部（又は検査中の他の航空機の特徴）の補修が行われる。より大きな損傷に関しては、完全な除去と交換が必要となることがある。例えば、測定したひび割れの長さ又は深さが第１の閾値よりも大きい場合には、そのひび割れには除去のタグがつけられる。測定したひび割れの長さ又は深さが第２の閾値よりも大きいが第１の閾値を下回っている場合には、そのひび割れには補修のタグがつけられる。また、測定したひび割れの長さ又は深さが第３の閾値よりも大きいが第２の閾値を下回っている場合には、そのひび割れには要観察のタグがつけられる。

（８）ＬＰＳは、部品の３次元モデル及び座標にアクセス可能であるため、ひび割れした誘電体上部（又は損傷のある他の特徴）の配置は（航空機主翼の座標系で）具体的に記録することができる。

（９）システムは、ひび割れが検出されたことを示す警報を始動し、（光学検査データに基づいて動作する画像ソフトウェアを用いて）ひび割れの長さ、及び（テラヘルツ、近赤外線、又は表面の下を探査する他の検査方法を用いて）ひび割れの深さを示す。検査が実施された時点から航空機又はＬＰＳが移動していても、何らかのひび割れのある又は前回補修した誘電体上部（又は損傷のある他の特徴）はＬＰＳを用いて迅速に検出可能である。

（１０）ＬＰＳは、走査及び画像撮影時に検出したひび割れのある誘電体上部に、眼に安全なレーザービームを向けることが可能で、検査官は示された箇所まで進み、そこに補修又は交換の印をつけることができる。

（１１）システムは、直近に検証又は補修済みの誘電体上部（又は他の検査済みの特徴）をスキップし、検査が必要な誘電体上部に進むことによって、余計な検査時間を節約することができる。

（１２）ＬＰＳに接続された補修データベースは、補修又は除去が必要なものを含むすべての誘電体上部についてのデジタル記録（画像データ、ＮＤＥ測定データ、主翼上の配置、検査データ／設定など）を保管する。デジタル記録はデータベース内のデジタルマーキングに、容易にアクセス可能な航空機の３次元モデルとの相関関係を提供する。不具合自体の表示は、３次元モデリング／ＣＡＤ環境で使用するためのシステムからエクスポート可能である。これによりユーザーは他のモデルと関連付けて不具合を見ることが可能になり、将来の検査用に３次元記録を提供する。

（１３）補修の追跡検査は、補修又は交換が行われたばかりのこれらの誘電体上部（又は特徴）だけにＮＤＥ装置を向けるＬＰＳにより実行可能である。別の遠隔ＮＤＥ手法が必要な場合には、ＬＰＳは以前の装置から単純に取り外され、新しい装置に据え付けられるか、又は別の統合されたシステムが使用される。航空機上の既知の点による迅速な較正は、航空機の座標系に結びつけられた新しい装置を有する。

局所位置決めと遠隔ＮＤＥとの組み合わせを実装するため以下に開示される手段及び方法は、誘電体上部のひび割れ検出の応用に限定されない。本明細書に開示されている技術を使用して、他の航空機コンポーネントの検査も可能である。さらに一般的には、開示された技術は、構造体の遠隔検査が必要とされる任意の状況に応用される。

ＬＰＳの照準合わせ及び画像取得のプロセスは、画像処理と並行して実行可能である。これは、ＬＰＳに分散処理をサポートする構造を設計することによって可能である。このようなＬＰＳユニットは、分離されている画像処理コンピュータ（又は複数の画像処理コンピュータ）が画像データを処理している間に、移動し、画像を取得し、さらにその画像をマッピングされたネットワークドライブに保存することができる。この構成では、システムは各配置で画像処理が完了するのを待つ必要がない。ＬＰＳが画像の取得を完了するときまでに、大部分の画像は異常を検出するため既に処理されている。このことがまた、独立した（より高度な）画像処理技術が、将来開発されシステム全体に挿入されることを可能にする。代替的に、画像処理作業は、コンピュータが十分な処理能力を有しているとするならば、他のＬＰＳ機能を制御しているものと同一のコンピュータ上で実施可能である。

ＬＰＳによって、上記で開示されている遠隔ＮＤＥ手法は、航空機座標系に直接結びついて、損傷、ＮＤＥ測定データ、及び補修がどこに存在するかを決定することが可能になる。異常の検出に使用される画像処理ソフトウェアは、特定の種類の不具合を検出するように調整可能である。手作業又は半自動による検出感度調整制御は、オペレータ又はシステムが検出される異常の大きさを調整することができるように実装可能である。位置決め機能を有する遠隔検査は、検査を自動的に行うことによって、検査の速度と検査の精度の両方を高め、ロボットアーム又はロボット運搬機なしで実行可能であるため、結果的に検査コストを低減する。

特定の誘電体上部の適用に関しては、締結具の上の誘電体上部のひび割れは、飛行の安全性の問題を引き起こすことがある。言うまでもなく、正しい検査及び補修の方法に関するコスト抑制はきわめて大きい。ひび割れが問題になる前の大きさでひび割れを特定する、一貫した、再現性のある、正確な検査方法は、コストのみならず安全性の観点からも価値がある。この方法に関してはコスト抑制があるが、これは、人間の視覚のみに頼る単純な目視による方法など、より大きなひび割れを確認する方法と比較して、検査の間隔を延ばせるためである。本発明によってもたらされるより大きなコスト抑制は、検査の自動化及びスピードによってもたらされるものである。この発明は、誘電体上部の検査を行うための工数と労働力を大幅に低減することができる。さらに、航空機上で行う検査はシザース式又はブーム式高所作業台などの支持機器を使用するため、航空機と人間とのやり取りを損ない、時折傷害を引き起こす可能性がある。このような犠牲も回避可能である。

様々な実施形態を参照して本発明を説明したが、本発明の範囲から逸脱せずに、様々な変更が行われてもよく、且つ、均等物がその構成要素として代用されてもよいことを、当業者は理解されたい。加えて、本発明の本質的な範囲から逸脱することなく、本発明の教示に特定の状況を適用するために、多くの変更が行われてもよい。したがって、本発明は、本発明を実行するために熟考された最適なモードで開示された特定の実施形態に限定されないことを意図している。

本明細書において使用されているように、「コンピュータシステム」という用語は少なくとも１つのコンピュータ又はプロセッサを有するシステムを広く包含するように解釈されるべきであり、当該システムはネットワーク又はバスを経由して通信を行う２つ以上のコンピュータ又はプロセッサを有してもよい。

本明細書において使用されているように、「異常の位置」という句は、単一の点となる異常の位置、及び複数の点を含む異常（例えば、ひび割れ又は領域である異常）の単一の点の位置を広く包含するように解釈されるべきである。

以下で説明される方法は、本明細書で列挙されているステップがアルファベット順（本明細書中の任意のアルファベット順はあらかじめ列挙されているステップを参照する目的でのみ使用されている）又はこれらのステップが列挙される順に実施されることを要求していると解釈すべきではない。また、これらのステップは、２つ以上のステップの任意の部分が同時に又は逆順に実施されることを排除すると解釈すべきではない。

付録
（米国特許出願第１２／８９７，４０８号）
発明の名称：対象物上の目視可能な差異の配置を特定するための方法及びシステム
・背景技術
（０００１） 本開示の分野は対象物上の目視可能な差異の配置を特定し、例えば、大型民間航空機などの対象物上の潜在的な損傷の配置を正確に測定するための方法及びシステムに関する。
（０００２） 大型の民間航空機などの対象物上で潜在的な損傷の配置を検出して正確に測定することは、多くの時間と労力を要する作業となることがある。この問題を解決するための効率的で自動化されたプロセスは、大型のビークル及び構造体の建造及び維持に携わる多くの組織によって価値のあるものとなりうる。
（０００３） ２次元画像のみから、航空機の座標系で定義される航空機の配置を正確に測定することは困難である。言うまでもなく、解析担当者に大きさの基準を与えるため、（巻尺などの）大きさのわかっているアイテムが画像内に挿入される。しかし、基準となるスケールがある場合でも、所望の座標系で正確な配置を測定することは困難な場合がある。特に、一意的に特定しうる目立った特徴がほとんど存在しない領域では、正確な配置を決定することは困難である。加えて、多数の潜在的な損傷を人間が解析する場合には、エラーが発生しやすい。したがって、損傷の検出及び配置特定のプロセスは可能なかぎり自動化することが望ましい。
（０００４） 損傷の局所座標測定値を決定するためには、多数の手作業による又は半自動化された選択肢が存在する。１つの一般的な方法は、損傷の配置を決定するための巻尺の使用に加えて、損傷の目視検査及び／又は人間による画像の解析である。巻尺の使用は不正確で、民間航空機などの大きな物体の上では困難で、いくぶん危険でもあり、損傷領域に到達するには、梯子、ロープ、シザース式又はスノーケル式高所作業台の使用が含まれることがある。
（０００５） 巻尺の使用の欠点は、プロセスが不正確であり、長い時間を要し、人的な誤りの可能性が含まれることである。幾つかの状況では安全性も懸念事項であり、ある種の物体の測定については、測定ツールに触れることは好ましくない。
（０００６） 局所位置決めシステム（ＬＰＳ）は、（航空機などの）対象物又はその周囲に上ることなく測定値を提供するように使用可能である。しかしながら、本明細書に記載されている実施形態を除くと、ＬＰＳは手動制御される機器であり、多数の潜在的な損傷を検出して測定する作業は非常に長い時間を要する。
（０００７） （削除）
（０００８） （削除）
（０００９） （削除）
（００１０） （削除）

・図面の簡単な説明
（００１１） 付録−図１は航空機の製造及び保守方法のフロー図である。
（００１２） 付録−図２は航空機のブロック図である。
（００１３） 付録−図３はデータ処理システムの略図である。
（００１４） 付録−図４は対象物の２次元画像位置を取得し、対象物の局所座標系で定義される３次元位置データを生成するように動作するシステムの略図である。
（００１５） 付録−図５は、対象物に対する機器の位置再調整を描いた付録−図４の自動測定システムの図解である。
（００１６） 付録−図６は、対象物上の目視可能な差異の配置に関するプロセスを図解するフロー図である。

・発明を実施するための形態
（００１７） 記載されている実施形態は、局所位置決めシステム（ＬＰＳ）が（航空機などの）対象物の表面上の目視可能な異常を自動的に検出することが可能で、対象物の局所座標系でこれらの異常の配置と大きさを自動的に測定するための方法及びシステムに関する。
（００１８） 本明細書でさらに記載されるように、システムは、関心領域の画像内の２次元ピクセル配置を決定するため、画像変化検出ソフトウェアに加えて、局所位置決めシステム（ＬＰＳ）に関連するデジタルカメラによって収集された一連の画像ペアを使用する。対象物の座標系で表されたこれらの関心領域の３次元位置を測定及び計算するようにＬＰＳユニットに指示を与えるため、２次元データが次に利用される。上記を遂行するため、画像収集、解析、及び３次元対象物座標への変換を自動化するためＬＰＳが修正される。このようなプロセスは本明細書に記載されており、修正及び強化により、２次元画像を処理し、必要な３次元測定結果を取得するためＬＰＳの動作は自動化される。
（００１９） 以下の文は、本明細書で使用される専門用語の定義及び説明を含む。例えば、座標系は３つの直交方向（Ｘ，Ｙ，Ｚ）によって定義される基準フレームである。座標系は移動物体及び静止物体の双方に付随しうる。デカルト座標は直角（直交）座標系と呼ばれる。局所座標は特定の物体に対して定義される座標系である。

（００２０） 並進は２つの座標系の間の直線運動を意味し、一方回転は２つの座標系の間の角運動である。位置は特に、特定の座標系で定義される点のＸ，Ｙ，Ｚ測定値を意味する。配向は特に、１つの座標系の別の座標系に対する回転角測定値を意味する。
（００２１） 回転行列は、１つの座標系の別の座標系に対する配向を記述する３×３直交行列を記述し、変換行列は、１つの座標系の別の座標系に対する相対的な位置及び配向を記述する４×４同次行列を記述する。変換行列はしばしば、変換又は行列と呼ばれる。
（００２２） 絶対運動はワールド座標系に対する運動を意味し、相対運動は１つの座標系の別の座標系に対する運動（局所運動）を意味する。
（００２３） 変化の検出は、２つ以上の画像の間での差異を定義するために使用されるプロセスである。コンピュータビジョンは、マッピング、解析、又は制御で使用する画像から情報を得るアプリケーションを意味する。デジタル画像処理は、１つの画像又は一連の画像のコンピュータに基づく解析を表す。ピクセルは、２次元デジタル画像を構成する画素を意味する。セグメント化は、デジタル画像内で同様の特性を有するピクセルに標識を付けるプロセスである。
（００２４） 実施形態は、潜在的な損傷が発生することがある航空機表面上の領域の配置の検出及び測定に関して記述されることがある。損傷は取得時点が前後する一連の画像ペアから決定されるもので、画像処理ソフトウェアは、第１の画像を取得した時点から第２の画像を取得した時点までに何かが変化したかどうかを判断するために利用される。潜在的な画像の差異が検出されると、航空機上の対応する３次元配置（Ｘ，Ｙ，Ｚ）が、格納庫又は測定装置基準フレームで定義される座標系ではなく、好ましくは航空機に関する局所座標系で決定することが必要となる。詳細な検査、補修、及び／又は航空機の損傷に関する報告書の作成を指示するため、局所航空機座標の測定値が記録又は使用される。

（００２５） より具体的に図を参照すると、本開示の実施形態は、付録−図１に示す航空機の製造及び保守方法１００、及び付録−図２に示す航空機２００に照らし説明されることがある。製造前の段階では、航空機の製造及び保守方法１００は、航空機２００の仕様及び設計１０２及び材料の調達１０４を含みうる。
（００２６） 製造段階では、コンポーネント及びサブアセンブリの製造１０６と、航空機２００のシステムインテグレーション１０８とが行われる。その後、航空機２００を運航１１２に供するために、認可及び納品１１０が行われる。顧客により運航される間に、航空機２００は定期的な整備及び保守１１４（改造、再構成、改修なども含みうる）が予定されている。
（００２７） 航空機の製造及び保守方法１００の各プロセスは、システムインテグレーター、第三者、及び／又はオペレータ（例えば顧客）によって実施又は実行されうる。本明細書の目的のために、システムインテグレーターは、限定しないが、任意の数の航空機製造者、及び主要システムの下請業者を含むことができ、第三者は、例えば、限定しないが、任意の数のベンダー、下請業者、及び供給業者を含むことができ、オペレータは、航空会社、リース会社、軍事団体、サービス機関などでありうる。
（００２８） 付録−図２に示されるように、航空機の製造及び保守方法１００によって製造された航空機２００は、複数のシステム２０４及び内装２０６を有する機体２０２を含みうる。システム２０４の例には推進システム２０８、電気システム２１０、油圧システム２１２、及び環境システム２１４のうちの一又は複数が含まれる。この例には任意の数の他のシステムが含まれてもよい。航空宇宙産業の例を示したが、本発明の原理は、自動車産業などの他の産業にも適用しうる。
（００２９） 本明細書で具現化した装置及び方法は、航空機の製造及び保守方法１００の一又は複数の段階で使用可能である。例えば、限定しないが、コンポーネント及びサブアセンブリの製造１０６に対応するコンポーネント又はサブアセンブリは、航空機２００の運航中に製造されるコンポーネント又はサブアセンブリと同様の方法で作製又は製造しうる。

（００３０） また、一又は複数の装置の実施形態、方法の実施形態、又はこれらの組み合わせは、例えば、限定しないが、航空機２００の組立てを実質的に効率化するか、又は航空機２００のコストを削減することにより、コンポーネント及びサブアセンブリの製造１０６及びシステムインテグレーション１０８の段階で利用することができる。同様に、一又は複数の装置の実施形態、方法の実施形態、又はこれらの組み合わせは、航空機２００が運航中であっても、例えば、限定しないが、システムインテグレーション１０８の段階で実施される整備及び保守１１４及び／又は定期的な整備及び保守１１４に、利用することができる。
（００３１） 種々の有利な実施形態の説明は、例示及び説明を目的として提供されているものであり、網羅的な説明であること、又は開示された形態に実施形態を限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の有利な実施形態は、他の有利な実施形態に照らして異なる利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。
（００３２） 次に付録−図３を参照すると、例示的な一実施形態によるデータ処理システムが図解されている。この例示的な実施例では、データ処理システム３００は通信ファブリック３０２を含み、この通信ファブリックは、プロセッサユニット３０４、メモリ３０６、固定記憶域３０８、通信ユニット３１０、入力／出力（Ｉ／Ｏ）ユニット３１２、及びディスプレイ３１４の間の通信を提供する。
（００３３） プロセッサユニット３０４は、メモリ３０６に読み込まれるソフトウェアに対する命令を実行するよう機能する。プロセッサユニット３０４は、特定の実施態様に応じて、一又は複数のプロセッサの組、又はマルチプロセッサコアとすることができる。さらに、プロセッサユニット３０４は、単一のチップ上に一次プロセッサと二次プロセッサとが共存する一又は複数の異種プロセッサシステムを使用して実装してもよい。別の例示的な実施例として、プロセッサユニット３０４は同一の種類の複数のプロセッサを含む対称型マルチプロセッサシステムであってもよい。
（００３４） メモリ３０６及び固定記憶域３０８は記憶装置の例である。記憶装置は、一時的及び／又は永続的に情報を保存することが可能な任意の数のハードウェアである。これらの例では、メモリ３０６は、例えば、限定しないが、ランダムアクセスメモリ又は他の好適な揮発性又は不揮発性の記憶装置であってもよい。固定記憶域３０８は具体的な実装に応じて様々な形態をとりうる。例えば、限定しないが、固定記憶域３０８は、一又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域３０８は、ハードドライブ、フラッシュメモリ、書き換え型光ディスク、書き換え型磁気テープ、又はこれらの任意の組み合わせであってもよい。固定記憶域３０８によって使用される媒体は着脱式であってもよい。例えば、限定しないが、着脱式ハードドライブは固定記憶域３０８に使用しうる。

（００３５） 通信ユニット３１０はこれらの例では、他のデータ処理システム又は装置との通信を提供する。このような実施例では、通信ユニット３１０はネットワークインターフェースカードである。通信ユニット３１０は、物理的及び無線の通信リンクのいずれか一方又は両方を使用することによって、通信を提供することができる。
（００３６） 入出力ユニット３１２は、データ処理システム３００に接続される他の装置とのデータの入出力を可能にする。例えば、限定しないが、入出力ユニット３１２は、キーボード、マウス、又は他のヒューマンインターフェース装置（ジョイスティックなど）を介して、ユーザー入力への接続を提供することができる。加えて、入出力はまた、ネットワークソケットなどの接続を使用するネットワーク装置からもたらされる。さらに、入出力ユニット３１２は、プリンタに出力を送信することができる。ディスプレイ３１４はユーザーに情報を表示する機構を提供する。
（００３７） オペレーティングシステム及びアプリケーション又はプログラムに対する命令は、固定記憶域３０８上に配置される。これらの命令は、プロセッサユニット３０４で実行するためメモリ３０６に読み込むことができる。種々の実施形態のプロセスは、メモリ３０６などのメモリに配置されうる命令を実装したコンピュータを使用して、プロセッサユニット３０４によって実施することができる。これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読取可能なプログラムコードと呼ばれ、プロセッサユニット３０４内のプロセッサによって読取及び実行することができる。種々の実施形態のプログラムコードは、メモリ３０６又は固定記憶域３０８など、種々の物理的な又は有形のコンピュータ可読媒体上に具現化しうる。
（００３８） プログラムコード３１６は、選択的に着脱可能なコンピュータ可読媒体３１８上に機能的な形態で配置され、又はプロセッサユニット３０４による実行用にデータ処理システム３００に読込み又は転送可能である。プログラムコード３１６及びコンピュータ可読媒体３１８は、これらの実施例ではコンピュータプログラム製品３２０を形成する。１つの実施例では、コンピュータ可読媒体３１８は、例えば、固定記憶域３０８の一部であるハードドライブなどの記憶装置に転送するための固定記憶域３０８の一部であるドライブまたは他の装置に挿入又は配置される光ディスク又は磁気ディスクなど、有形の形態をとりうる。有形の形態では、コンピュータ可読媒体３１８はまた、データ処理システム３００に接続されているハードドライブ、サムドライブ、又はフラッシュメモリなどの固定記憶域の形態をとりうる。コンピュータ可読媒体３１８の有形形態は、コンピュータで記録可能な記憶媒体とも呼ばれる。幾つかの例では、コンピュータ可読媒体３１８は着脱式ではないことがある。
（００３９） 別の態様では、プログラムコード３１６は、通信ユニット３１０への通信リンク及び／又は入出力ユニット３１２への接続を介して、コンピュータ可読媒体３１８からデータ処理システム３００へ転送されてもよい。例示的な実施例において、通信リンク及び／又は接続は、物理的なもの又は無線によるものであってよい。また、コンピュータ可動媒体は、プログラムコード又はデータを含む通信リンク又は無線伝送などの無形媒体の形態をとってもよい。

（００４０） 幾つかの例示的な実施形態では、プログラムコード３１６は、データ処理システム３００内で使用するため、他の装置又はデータ処理システムから、ネットワークを介して固定記憶域３０８へダウンロードすることができる。例えば、サーバーデータ処理システム内のコンピュータ可読記憶媒体に保存されているプログラムコードは、ネットワークを介してサーバーからデータ処理システム３００にダウンロードすることができる。プログラムコード３１６を提供するデータ処理システムは、サーバーコンピュータ、クライアントコンピュータ、又はプログラムコード３１６を保存及び転送することが可能な他の装置であってもよい。
（００４１） データ処理システム３００に例示されている種々のコンポーネントは、種々の実施形態が実装可能な方法に対して構造的な制限を与えることを意図していない。種々の例示的な実施形態は、データ処理システム３００に対して図解されているコンポーネントに対して追加的又は代替的なコンポーネントを含むデータ処理システム内に実装される。付録−図３に示した他のコンポーネントは、例示的な実施例と異なることがある。
（００４２） １つの実施例では、データ処理システム３００の記憶装置は、データを保存しうる任意のハードウェア装置である。メモリ３０６、固定記憶域３０８、及びコンピュータ可読媒体３１８は具体的な形態の記憶装置の例である。
（００４３） 別の実施例では、バスシステムは、通信ファブリック３０２を実装するために使用することができ、システムバス又は入出力バスといった一又は複数のバスを含むことができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又は装置の間でのデータ伝送を行う任意の好適な種類のアーキテクチャを使用して実装することができる。加えて、通信ユニットは、モデム又はネットワークアダプタといったデータの送受信に使用される一又は複数の装置を含むことができる。さらに、メモリは例えば、限定しないが、通信ファブリック３０２に備わっていることがあるインターフェース及びメモリ制御装置ハブにみられるような、メモリ３０６又はキャッシュであってもよい。
（００４４） 上述のように、説明されている１つの実施形態は、（航空機などの）対象物の表面上の目視可能な変化領域（損傷など）を自動的に検出するためのプロセスに関連し、対象物の局所座標系でこれらの領域の配置を自動的に測定する。以下で説明されるシステムは、関心領域内の画像の２次元ピクセル配置を決定するため、画像変化検出ソフトウェアに加えて、局所位置決めシステム（ＬＰＳ）のデジタルカメラによって収集される一連の画像ペアを使用し、次に対象物の座標系で表されるこれらの領域の３次元位置を測定及び計算するよう、ＬＰＳユニットに指示を与えるため当該データを使用する。

（００４５） 付録−図４は、付録−図３のデータ処理システム３００を取り込み、ピクセル配置で表された２次元画像位置を取得し、対象物の局所座標系で定義される３次元位置データを生成するように動作するシステム４００の略図である。システム４００に関連するプロセスは人間オペレータによって制御可能か、又は自動化可能である。システム４００は移動式プラットフォーム４１２に配置される局所位置決めシステム（ＬＰＳ）４１０を含む。ＬＰＳ４１０は付録−図３に関して上述されているシステム３００と通信を行う。システム３００は、ＬＰＳ４１０から受信したデータを使用し、ＬＰＳ４１０にデータを提供する幾つかのアプリケーションを含む。コアＬＰＳ計算・制御コンポーネント４２０は、ＬＰＳ４１０が新しい位置に移動したかどうかを判断するため、ＬＰＳ４１０から受信したデータを使用する。外部アプリケーション通信及びＩ／Ｏ４２２は、ＬＰＳ４１０とＬＰＳ測定データを受信するアプリケーション４３０の双方にインターフェースを提供する。画像処理・制御アプリケーション４２４は、ＬＰＳ４１０から受信した画像データを使用して前回保存された対象物の画像に対する比較を行い、対象物上で変化が発生したかどうかを判断する。
（００４６） １つの実施形態では、コアＬＰＳ計算・制御コンポーネント４２０、外部アプリケーション通信及びＩ／Ｏ４２２、及び画像処理・制御アプリケーション４２４は、ネットワークソケットインターフェース接続を介して相互に通信し、一又は複数の処理装置上で実行される。ソケット通信インターフェースを有する付加的なアプリケーションは、外部アプリケーション通信及びＩ／Ｏ４２２を介してメインシステム４００にプラグインすることが可能で、これによりハードウェア資源の共有及び測定データを必要とする他のアプリケーションとの直接通信が可能になる。他の実施形態では、システム４００はクライアントアプリケーションなしのスタンドアロン構成で動作し、測定データをファイルに書き出すこと又はディスプレイに表示することができる。
（００４７） 人間オペレータ、タイマー、又は自動アプリケーションによって始動されると、システム４００は、一連の画像を取得してこれらを基準画像セットと比較する。画像ペア間の差異が検出され、画像ピクセル配置が使用されて、測定機器（すなわち、ＬＰＳユニット４１０）を向ける方向が定義される。所望の配置が決定されると、ＬＰＳユニット４１０は距離測定を実施し、対象物の座標系で表面上のデカルト座標（Ｘ，Ｙ，Ｚ）位置を計算する。次に、この位置データは表示、保存、又はこのデータを要求したクライアントアプリケーション４３０に送信される。
（００４８） 本明細書に記載されているプロセスのある種の実施形態に関しては、対象物及び機器は互いに固定された位置関係にあるが、ある種の使用事例では相対位置は変化することがある。このような状況では、前後の画像でカメラの位置及び配向が大きく離れていない場合には、オフセットを推定するため画像処理技術が使用される。画像ベースの配置技術として、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）で使用される技術が使用されてもよい。ＳＬＡＭでは、オフセットの推定値を与えるために、両方の画像に共通する特徴の相対的な変位が使用される。これでは、登録を実施するため、画像間の実質的な重なりに加えて、比較的小さな位置及び配向の変化が要求される。加えて、既知の基準寸法は、変位の規模を決定するために要求される。
（００４９） 大きな量の画像の重なりに加えて、小さな位置及び配向の変化を要求することが常に可能なわけではない。対象物と機器との間の相対的な位置再調整がより広い条件のレンジで実施可能であることを保証するためには、より一般的なプロセスが必要となる。１つの解決策は、基準画像が撮影されたときと同一の相対位置及び配向に機器を戻す方法を提供することである。上述のように、１つの選択肢は、移動式プラットフォーム４１２、ロボットアーム、又はクレーンなどの可動式支持台の上に機器（ＬＰＳ４１０）を設置することである。対象物に対する現在の相対位置でＬＰＳユニットを較正した後（どちらかは最初の基準位置と異なっていることがある）、オフセット変換行列が計算可能となる。移動式プラットフォームは次にこの量だけ機器を並進及び回転し、元の位置及び配向との位置再調整を実現する。任意の残存する小さな差異は、画像ベースの配置で使用される技術と同様の画像処理技術に基づく画像移動／回転によって補償されうる。付録−図５は、上述の対象物４５０に対するＬＰＳ４１０の機器位置再調整を図解している任意選択の移動式プラットフォーム４１２を有する自動測定システム４００の実施例を示している。

（００５０） 付録−図６は、対象物上の目視可能な差異の３次元での位置を決定するためのプロセスを図解するフロー図５００である。より具体的には、フロー図５００は、自動化された画像取得、画像処理、機器位置再調整、及びＬＰＳ３次元測定プロセスとの統合に関する詳細を提供している。
（００５１） ＬＰＳ４１０は対象物に対して較正５０２され、較正行列は保存される。適切に間隔が空けられた画像配置は、対象物に関するシーン内で特定５０４される。画像の初期セットが取得５０６される。具体的には、取得５０６された各画像の画像中心に付随するＸ，Ｙ，Ｚ配置データと共に、一連の基準画像が取得される。
（００５２） 対象物、例えば航空機は、運航に供され、時間の経過とともに潜在的な損傷の事象が発生５０８し、対象物はＬＰＳシステム４００に対する位置で再度配置される。典型的なシナリオでは、ＬＰＳ４００に対する対象物の位置は、初期画像が取得５０６された時点での両者の間の相対位置と幾分異なることがあり、ＬＰＳの相対位置が変化５１０したかどうかを検討する際に、肯定的な応答となることがある。
（００５３） 対象物に対するＬＰＳ４１０の現在の配置が決定５１２され、ＬＰＳの初期の配置からのオフセット変換が計算される。ＬＰＳ４１０はオフセット変換の量だけ再配置５１４される。ＬＰＳの再配置後、同一の相対配置から一連の現在の画像が取得５１６される。同一の位置及び配置から得られた画像ペアは変化を検出５１８するため比較される。例えば、変化の領域はデジタル画像処理技術を用いて決定可能である。このようなプロセスの１つは、画像減算、ぼかしフィルタ、画像セグメント化ステップを含んでもよい。
（００５４） 差異の配置が決定５２０される。各領域の重心は検出され、ピクセル座標（ｘ，ｙ）に変換される。ＬＰＳ４１０に関するカメラの光学系を補償するため歪み補正が実施５２２され、２次元画像補正が適用されて（ｘ’，ｙ’）となる。この補正は、例えば、レンズ光学系、ズーム、及び焦点レベルに依存することがある。１つの実施形態では、補正は実験的に決定５２２され、参照テーブルを用いて実行時に呼び出される。

（００５５） 対象ベクトルは決定５２４され、ここで補正されたピクセル値（ｘ’，ｙ’）は、初期画像配置データと共に、機器から対象物までのベクトルを定義する新たな方位角と仰角（パン角とチルト角）を決定するために使用される。１つの実施形態では、ＬＰＳ４１０は、パン角とチルト角を決定５２４するために駆動５２６されるパンチルトユニット（ＰＴＵ）（図示せず）を含み、新しいレンジ測定が行われる。パンチルトユニットは、監視カメラ及び望遠鏡などの物品で使用されるパンチルトユニットと同様のもので、レンジ測定装置及び画像装置の一方又は双方の位置決めに関して非常に正確なデータを提供する。
（００５６） 配置は、例えば、対象物に関するデカルト座標で計算５２８される。これらの対象座標は、対象物と機器の較正行列に加えて、パン、チルト及びレンジデータから決定される。その結果得られる測定データは、ソケット接続を介して保存、表示、又は他のクライアントアプリケーションへの送信５３０が可能である。転送される点がさらにある場合には、プロセスは次の配置に関するパン及びチルトの計算を再度行い５３２、他の点がない場合にはプロセスは終了する。
（００５７） １つの初期実装では、前後の画像（基準画像と現在の画像）の各セットは、検査される対象物上の対象領域を覆うわずかに重なり合った画像のモザイクから成る。シーンを網羅するため、大きな光学ズームレンジを有する中解像度カメラが使用される。最初のシーン分割作業に関しては、特定のカメラ配向角及びズームレベルが自動的に計算され、特定の配置まで機器のパン及びチルトモーターを駆動するために使用される。これらの画像の各々までの距離が計算され（ここで使用されるＬＰＳプロセスに関しては、距離の測定はレーザー距離計を使用して実施される）、今後使用するため保存される。
（００５８） 少なくとも、モザイク内の各位置に対しては、１つの画像及び１つの３次元測定値（パン、チルト、及び距離データを使用）が必要であるが、過渡的な事象により、一時的な照明の変化又は他の一時的な遮蔽（カメラの前方での昆虫の飛翔又は雨／雪など）を除外できるように、同一の配置から複数の画像を取得することが有用な場合がある。
（００５９） 基準画像の配置に適合する一連の画像が収集されると、画像処理フェーズが始まる。画像ペアが均一な照明を有している場合、全体的な画像レベルを適合するため輝度／コントラスト補正を使用することができる。画像の一部に影がかかっているような状況では、例えば、集光型フラッシュ装置などの専用の光源をＬＰＳユニットと併用してもよい。このような光源はカメラと共に移動して、シーンにより一貫性のある照明を提供することに役立つ。

（００６０） 照明補正が適用されると、現在の画像と基準画像との間の差異が決定される。１つの実施形態では、ピクセルごとの差分操作が実施され、次にぼかしフィルタ操作、さらに画像のセグメント化操作が実施される。Ｎ×Ｎぼかしフィルタ（例えば、５×５カーネル）は、画像に付随する高周波ノイズの大部分を平滑化し、様々なサイズの領域を廃棄するように調整可能である。ぼかされた画像は次に、明確な非接触領域にセグメント化される。分割された各領域の重心が計算され、各画像ペアに関連するリストに保存される。関心領域の大きさの推定値は、セグメント化されたピクセルデータ及び３Ｄセグメントデータを用いて計算される。
（００６１） ピクセル配置を対象領域までの特定の方向ベクトルに関連付けるための数学モデルは、理想的な「ピンホール」カメラモデルを仮定している。実際のカメラはこの理想的なモデルとは異なるため、画像処理フェーズの最終段階では、領域の重心に対するｘ，ｙピクセル配置のリストは、光学系及びデジタル撮影の歪みを補償するため補正される。１つの実施形態では、この歪みは実験的に測定される。
（００６２） その結果得られる補正されたピクセル値（ｘ’，ｙ’）は、画像の中心に対して定義されるが、機器から対象物の関心領域までのベクトルを計算するため、各々の画像配置（以前測定した）に対する３次元データ（パン、チルト、及び距離の値）と共に使用される。このベクトルは画像の中心に対するパン角及びチルト角に変換されるが、パン角及びチルト角は、ＬＰＳを検出された差異の配置に揃えるため、ＬＰＳユニットのモーターを駆動して所望の配向に向けるために使用される。ＬＰＳユニットが所望のパン角及びチルト角に到達すると、別の距離測定値が得られ、対象物の座標系で定義した、対象物上の関心領域のデカルト座標（Ｘ，Ｙ，Ｚ）位置を計算するために使用される。目標を定めるプロセスの精度の確認が必要な場合には、この配置で追加の画像を取得することができる。関心領域は画像の中心になる。
（００６３） 最終ステップは、ネットワークソケット接続などの有効な通信チャネルを経由して、結果として得られた位置データをファイル又は別のアプリケーションに送信することである。
（００６４） 上述のプロセスの変形例は、同一のインフラストラクチャにより実装可能である。１つの実施例では、システム４００は、対象物上の表面の点を取得するため、画像内の差異のある領域のエッジの周囲で複数の測定を行い、３次元輪郭表示を作成するように指示され、３次元輪郭表示は保存可能で、今後輪郭を再トレースする際に使用される。結果は、領域の大きさと形状に関して２次元画像よりも正確な近似となる。

（００６５） 先行する段落は、対象物上の動かない変化（表面のへこみなど）の特定を対象としているが、この方法は対象物表面上の可動物にも適用可能である。このような特定を実現するためには、較正した対象物の表面に沿って移動する物体の３次元経路を追跡するために、一連の画像が取得され使用される。
（００６６） 移動する差異領域の事例に関するプロセスは移動しない使用事例と同様であり、カメラを検出された領域の中心に再度設定するステップに加えて、この配置で新しい基準画像を取得する。新しい基準画像の取得は、新しい位置測定のたびに発生する。この使用事例に関する主要な制約条件は、移動物体が較正済みの対象物に対して移動することであり、移動物体が基準画像によって定義される領域を離れるほど速く移動しないことである。より速く移動する物体の事例を扱うため、高角の基準画像を取得することもできる。
（００６７） 既存の手動による検査及び測定のプロセスと比較して、記載されている実施形態はエラーを低減し、検査時間を短縮し、測定精度を向上させ、検査官の安全性を高める。レーザー追跡装置、セオドライト、トータルステーションなど、同様な種類のハードウェアと比較して、これらには画像処理アプリケーションとの統合及び他のアプリケーションと直接通信を行う能力が不足している。
（００６８） ある種の実施形態では、システム４００は完全に自動化され、人的エラーを軽減し、より正確な測定をもたらす。検査のために航空機のすべての領域に整備要員が物理的に触れる必要はないため、ＬＰＳ４１０によって使用される測定プロセスは非接触式で安全性を高め、しかも測定装置が航空機に接触することによる損傷の可能性を低減する。システム４００は、幾つかの実施形態で、情報と受信したコマンドを送信するため、他の制御及び報告システムと統合されてもよく、これによって、変化する条件に適応可能な閉回路制御システムを開発することができる。
（００６９） 本明細書に記載されているように、対象物の座標で３次元測定値を生成するため、システム要素は画像取得・処理機能、及び２次元画像データを使用する自動制御プロセスを含む。このような実施形態を提供するため、ＬＰＳハードウェアとソフトウェアとの統合、外部アプリケーションと通信するためのＬＰＳソフトウェアに対する修正、測定したデータを使用する一又は複数の選択的な「クライアント」アプリケーションとの統合が提供される。記載されているように、一連の画像ペアを正しく取得することによって、対象物内の変化が検出され、ＬＰＳによって使用可能な形態に変換され、３次元対象物座標が決定される。

（００７０） 記載されている実施形態は、対象物の局所座標系での自動測定を可能にする。前後の画像ペアの解析はシステム４００によって取得されるが、システムの動作は対象物の表面上で検出される目視可能な変化に基づいている。画像内に関心領域が検出されると、ＬＰＳ４１０は２次元画像内に検出された対応するスポットを狙うように配向される。システム４００は距離の測定を実施し、次に対象物の座標系で定義される３次元位置を計算する。
（００７１） （削除）

（００７２） 本発明はまた、以下の態様に関する。
Ａ１．対象物上の目視可能な変化の領域の配置を検出して決定するための方法であって、前記方法は、
局所位置決めシステムを前記対象物に対して、位置及び配向で配置すること；
前記対象物の一連の基準画像、前記対象物の座標系内での過去の位置及び配向を収集するために、前記局所位置決めシステムの位置及び配向と、前回利用された局所位置決めシステムの過去の位置及び配向との間のオフセットを決定すること；
前記決定されたオフセットによって、前記局所位置決めシステムを前記対象物に対して、位置及び配向で再配置すること；
前記再配置された局所位置決めシステムの位置及び配向から前記対象物の一連の画像を取得すること；
前記取得した画像と前記対応する基準画像との間の差異を検出するため、前記一連の画像と前記一連の基準画像内の対応する画像とを比較すること；
前記対象物の座標系内で前記検出された差異の位置の座標を決定すること；
を含む方法。
Ａ２．前記検出された差異の配置を決定することは、
前記局所位置決めシステムから前記検出された差異までの対象ベクトルを定義すること；
前記定義された対象ベクトルに沿って前記検出された差異までのレンジを測定すること；及び
前記対象物に関する座標の前記検出された差異の配置を定義するため、前記測定されたレンジと前記定義された対象ベクトルを使用すること
を含む、Ａ１に記載の方法。
Ａ３．前記局所位置決めシステムから前記検出された差異までの対象ベクトルを定義することは、前記局所位置決めシステムを指し示すための方位角と仰角を定義するため、前記検出された差異に対応するピクセル配置を使用することを含む、Ａ２に記載の方法。
Ａ４．オフセットを決定することは、前記一連の基準画像を収集するために、前記局所位置決めシステムに関する現在の位置及び配向から前回利用された前記局所位置決めシステムの過去の位置及び配向へのオフセット変換を計算することを含み、さらに
前記局所位置決めシステムを位置及び配向で再配置することは、前記一連の基準画像を収集するために、前記局所位置決めシステムが前回利用されたときとほぼ同一の位置及び配向に前記局所位置決めシステムを再配置するため前記オフセット変換を利用することを含む、Ａ１に記載の方法。
Ａ５．前記一連の画像を対応する画像と比較することは、取得した画像と前記一連の基準画像内の対応する画像の双方に共通の特徴の相対変位を決定することをさらに含む、Ａ５に記載の方法。
Ａ６．測定装置から対象物までの距離を較正して、装置と対象との較正行列を生成すること；及び
一連の基準画像内の各画像中心に付随するデカルト座標位置データと共に前記対象物の一連の基準画像を取得すること
をさらに含む、Ａ１に記載の方法。
Ａ７．差異を検出するため、前記一連の画像を前記一連の基準画像内の対応する画像と比較することは、画像減算、ぼかしフィルタ、及び画像セグメント化技術のうちの少なくとも１つを使用して関心領域を特定することを含む、Ａ１に記載の方法。
Ａ８．前記一連の画像を対応する基準画像と比較することは、
取得した画像の関心領域と前記対応する基準画像内の前記対応する関心領域は異なることを検証すること；
前記特定された画像内の前記関心領域の重心を決定すること；
前記重心の前記ピクセル座標を決定すること；及び
前記画像取得装置に関する光学系を補償するため前記関心領域に対する歪み補正を実施すること
を含む、Ａ１に記載の方法。
Ａ９．前記対象ベクトルを定義するため方位角と仰角を決定することをさらに含む、Ａ８に記載の方法。
Ａ１０．対象物上の目視可能な変化の領域の配置を前記対象物に関する座標で検出して決定するためのシステムであって、前記システムは、
画像取得装置、レンジ測定装置、及び対象ベクトル位置調整装置を含む局所位置決めシステム；及び
前記画像取得装置、前記レンジ測定装置、及び前記対象ベクトル位置調整装置に通信可能に結合された処理装置であって、
前記対象物に対して前記局所位置決めシステムの位置（及び配向）を決定し、
前記局所位置決めシステムの位置（及び配置）から、前記対象物に関する一連の基準画像を取得するために利用された局所位置決めシステムの位置（及び配向）である基準位置（及び配向）までのオフセット変換を計算し、
前記基準位置と実質的に同一の位置及び配向に前記局所位置決めシステムを再配置（及び再配向）することに関連した命令を生成するために前記オフセット変換を利用し、
前記対象物の一連の画像を取得するため前記画像取得装置を操作し、
前記取得した画像と前記対応する基準画像との間の差異を検出するため、前記一連の画像と前記一連の基準画像内の対応する画像を比較し、さらに
前記対象物に関する座標で前記検出された差異の配置を決定する
ようにプログラムされた処理装置
を備えるシステム。
Ａ１１．前記検出された差異の配置を決定するため、前記処理装置は、
前記局所位置決めシステムから前記検出された差異までの対象ベクトルを定義するため前記対象ベクトル位置調整装置を操作し；
前記定義された対象ベクトルに沿って前記検出された差異までのレンジを前記レンジ測定装置に測定させ；さらに
前記対象物に関する座標で前記検出された差異の配置を定義するため、前記測定されたレンジと前記定義された対象ベクトルを使用する
ようにプログラムされている、Ａ１０に記載のシステム。
Ａ１２．少なくとも前記局所位置決めシステムを据え付けられた移動式プラットフォームにさらに含み、前記移動式プラットフォームは、前記移動式プラットフォームの位置決めに関して前記局所位置決めシステムの再配置及び再配向に関連する命令を利用するように動作可能である、Ａ１０に記載のシステム。
Ａ１３．前記処理装置は、距離測定装置の向きを決定するための方位角及び仰角を定義するため、前記検出された差異に対応するピクセル配置を利用するようにプログラムされている、Ａ１０に記載のシステム。
Ａ１４．前記処理装置は、取得した画像と前記一連の基準画像内の対応する画像の双方に共通の特徴の相対変位を決定するようにプログラムされている、Ａ１０に記載のシステム。
Ａ１５．前記処理装置は、画像減算、ぼかしフィルタ、画像セグメント化技術のうちの少なくとも１つを使用して前記取得した画像内の関心領域内の差異を検出するようにプログラムされている、Ａ１０に記載のシステム。
Ａ１６．前記一連の画像を対応する画像と比較するため、前記処理装置は、
前記取得した画像と対応する基準画像が一致しない場合に、前記取得した画像内のセグメント化された領域に対して重心を決定し、
前記重心のピクセル座標を決定し、さらに
前記画像取得装置に関する光学系を補償するため歪み補正を実施する
ようにプログラムされている、Ａ１０に記載のシステム。
Ａ１７．対象ベクトルを定義するため、前記処理装置は、前記対象ベクトルに沿って前記画像取得装置と前記レンジ測定装置を位置調整するため、方位角及び仰角を決定するようにさらにプログラムされている、Ａ１０に記載のシステム。
Ａ１８．対象物の表面上の目視で検出可能な変化に関する配置であって、前記対象物に関する座標で提供される配置を提供するための方法で、前記方法は、
前記対象物の少なくとも一部の基準画像と比較して、前記対象物の少なくとも一部の取得した画像内の検出可能な変化の２次元ピクセル配置を決定すること；
局所位置決めシステムを前記検出可能な変化に向けるため前記２次元ピクセル配置を利用すること；
前記局所位置決めシステムで前記検出可能な変化を測定すること；及び
前記局所位置決めシステムの測定値から、前記検出可能な変化の前記３次元位置を前記対象物に関する座標で計算すること
を含む方法。
Ａ１９．取得した画像内の検出可能な変化の２次元ピクセル配置を決定することは、
前記対象物に対する前記画像取得装置に関する位置を決定すること；
前記画像取得装置に関する前記位置から、前記基準画像を取得するために利用される画像取得装置の基準位置までのオフセット変換を計算すること；
前記基準位置とほぼ同一の配置に前記画像取得装置を再配置するため前記オフセット変換を利用すること；及び
前記画像取得装置によって前記対象物の画像を取得すること
を含む、Ａ１８に記載の方法。
Ａ２０．前記局所位置決めシステム測定値から、前記対象物に関する座標の前記検出可能な変化の３次元位置を計算することは、
前記局所位置決めシステムを前記検出可能な変化に向けること；
新しい基準画像を取得すること；
一定時間経過後、前記局所位置決めシステムによって画像を取得すること；
前記新しい基準画像とその後取得した画像との間の検出可能な変化の位置で変化を決定すること；及び
前記対象物に沿って移動する物体の３次元経路を追跡するため、一連の画像を提供するため、検出、取得及び決定のステップを反復すること
を含む、Ａ１８に記載の方法。

・付録の図面

１ 局所位置決めシステム
２ ビデオカメラ
３ パンチルト機構
４ 三脚
６ 照準線生成器
８ コンピュータ
１０ ビデオ／コントロールケーブル
１２ 方向ベクトル
１４ 対象物
１５ 較正点
１６ 損傷／補修箇所
１７ 光学画像フィールド
１８ 照準線
２０ 方位角（パン）軸
２１ 仰角（チルト）軸
２２ ロール軸
２４ カメラ座標系
２６ レーザーポインタ
２７ 局所座標系
３０ 局所位置決めシステム
３２ ＮＤＥ機器
３４ 誘電体上部
３６ 航空機主翼
３８ パンチルト機構
４０ 三脚
４２ コントローラ
４４、４６ 電気ケーブル
５０ ラップトップＰＣ
５２ ビデオカメラ
５４ レーザーポインタ
５６ レーザービーム
５８ 電気ケーブル
６０ 一体型ユニット
８２ 締結具
８４ 外板
８６ パッチ
８８ 塗装
６１０ 関心点
６１２ 表面
６１４ 対象物
６１８ 機器
６２０ 照準点軸
６２４、６２６、６２８ 較正点
６３０ コンピュータメモリ
６３２ コンピュータ
６３８ レーザー距離計
６４４ ビデオカメラ
６５２ パンチルトユニット
６５３ 三脚
６５４ ジョイスティック入力装置
６５６ モニタ
６５８ 照準点軸の表示

Claims (15)

1. 局所位置決めシステムハードウェア、非破壊評価機器、及びコンピュータシステムを備えるシステムであって、該コンピュータシステムは以下の操作：
   （ａ）対象物（１４）に対して方向ベクトル（１２）を決定し、該方向ベクトル（１２）と交わる前記対象物（１４）の表面（１５）上の領域の画像を表す画像データを取得するため、前記局所位置決めシステムハードウェアを制御すること；
   （ｂ）前記領域の画像が前記領域内に異常の存在を示す情報を含むかどうかを判断するため前記画像データを処理すること；
   （ｃ）操作（ｂ）で前記画像データが前記領域内に異常の存在を示す情報を含むと判断された場合には、前記対象物の座標系に対する前記異常の位置の座標を決定すること；
   （ｄ）前記座標を有する前記対象物上の領域に非破壊評価機器を向けること；及び
   （ｅ）遠隔非破壊評価技術を用いて前記異常の第１の特徴を表す非破壊評価測定データを取得する前記非破壊評価機器を制御すること
   を実行するようにプログラムされているシステム。
2. 前記コンピュータシステムは、前記異常の第１の特徴に対する値を決定するため、前記非破壊評価測定データを処理するようにさらにプログラムされている、請求項１に記載のシステム。
3. 前記コンピュータシステムは、前記異常の第２の特徴に対する値を決定するため、前記画像データを処理するようにさらにプログラムされている、請求項２に記載のシステム。
4. 前記異常はひび割れで、前記第１の特徴はひび割れの深さであり、前記第２の特徴はひび割れの長さである、請求項３に記載のシステム。
5. 遠隔検査のための方法であって、
   （ａ）局所位置決めシステムを用いて前記対象物の座標系に対して対象物の表面上の領域の位置を表す位置測定データを取得すること；
   （ｂ）前記領域を表す画像データを取得すること；
   （ｃ）前記画像データが前記領域内の異常の存在を示す情報を含むかどうかを判断するため前記画像データを処理すること；
   （ｄ）ステップ（ｃ）で前記画像データが前記領域内の異常の存在を示す情報を含むと判断された場合には、前記対象物の座標系に対する前記異常の位置の座標を決定すること；
   （ｅ）前記異常の位置の前記座標を記録すること；
   （ｆ）非破壊評価機器を前記記録された座標を有する前記対象物上の領域に向けること；
   （ｇ）遠隔非破壊評価技術を用いて前記異常の第１の特徴を表す非破壊評価測定データを取得すること、
   を含む方法。
6. 前記異常の前記第１の特徴に対する値を決定するため、前記非破壊評価測定データを処理することをさらに含む、請求項５に記載の方法。
7. 前記異常の第２の特徴に対する値を決定するため、前記画像データを処理することをさらに含む、請求項６に記載の方法。
8. 前記異常はひび割れで、前記第１の特徴はひび割れの深さであり、前記第２の特徴はひび割れの長さである、請求項７に記載の方法。
9. 前記対象物の前記座標系に対する前記異常の位置を決定し、次に前記異常の前記第２の特徴を決定するために画像解析ソフトウェアを使用することをさらに含む、請求項７に記載の方法。
10. 前記対象物は航空機であり、前記異常は前記航空機に対する損傷である、請求項５に記載の方法。
11. 前記領域は前記航空機の主翼上の誘電体上部の配置に対応する、請求項１０に記載の方法。
12. 前記対象物の座標系に対するビデオカメラの位置及び配向を決定するために、３次元配置ソフトウェアを使用することをさらに含む、請求項５に記載の方法。
13. 前記非破壊評価技術は、以下の群：近赤外分光法、テラヘルツイメージング、遠隔赤外線サーモグラフィ、レーザーシアログラフィ、レーザー超音波探傷法及びレーザー振動測定法、から選択される、請求項５に記載の方法。
14. 前記記録された座標を有する前記対象物上の前記領域にレーザービームを向けることをさらに含む、請求項５に記載の方法。
15. 特徴位置の３次元データベースから前記対象物の表面上の特徴の座標位置を受け取ること、次に前記表面を横切って走査するようにビデオカメラを制御すること、前記特徴の前記座標位置の各々で停止して画像データを取得することをさらに含む、請求項５に記載の方法。

Images