JP2010122218A - ２次元画像上で３次元計測を行なう方法及び装置 - Google Patents

Abstract

【課題】取得画像及びＣＡＤデータをリンクして、拡散補償により検査の正確性を向上させ、欠陥タイプを特徴つける検査システムを提供する。
【解決手段】３次元距離を決定する装置は、その物体の２次元ピクセル実画像を取得し（１０２）、３次元ＣＡＤモデルを用いてその物体の模擬画像を生成し（１０４）、模擬画像と２次元ピクセル実画像とを比較して特定費用関数を決定し、特定費用関数が所定値以下になるまでその模擬画像を変更する。ＣＡＤモデルと２次元ピクセル画像との間の相対位置の相互調整に従って、その模擬画像を再配置し（１１０）、再配置された模擬画像を用いて３次元距離スケールマトリクスを生成し（１１２）、物体のピクセル画像上の２次元距離と３次元距離スケールマトリクスとを用いて実画像の表面上にある選択されたピクセル間の距離を測定し、表示する。
【選択図】図３

Description

本発明は、概して、２次元画像上で３次元計測を行なう方法及び装置に関し、特に、外部及び／又は内部次元における情報、表面状態情報及び／又は内部欠陥情報を含むデータを取得するための適応的検査を実行する方法及び装置に関する。

多くの部品は、表面又は内部に傷が無い状態で製造され、維持されなければならない。ＣＭＣ（セラミックス複合材料）は、しばしば、航空機部品及び他の部品を組み立てる際に用いられる。これらの部品は、表面及び／又は内部にひびを有している場合、或いはひびが発生してしまう場合がある。ひびの検査は、ＩＲカメラを用いて投影方向の２次元厚さ画像を提供する、既知の赤外線（ＩＲ）検査システムを用いて行なうことができる。各欠陥のサイズは、２次元ＩＲ画像上で計測されるが、この画像は、このＩＲシステムの投影方向に対して垂直な平面上の情報のみを提供する。加えて、２次元ＩＲ画像のみからは、拡散情報を導き出すことはできず、ＩＲ画像上で欠陥タイプを特徴付けるのに役立てることはできない。また、ＣＭＣ部品は、様々な適用方法ごとに最適化されるので、しばしば複雑な形状及び表面を有する。従って、ＩＲ画像から直接３次元欠陥測定を行なうことは困難といえる。

ＩＲデータをＣＡＤデータにリンクする既知の方法は、例えば、「赤外線厚さ測定に基づく内部特徴再構築の新しい方法（A novel method for internal feature reconstruction based on Infrared thickness measurement）」マルチスペクトル画像処理及びパターン認識に関する第３国際シンポジウム（the Third International Symposium on Multispectral Image Processing and Pattern Recognition）Proceedings of the SPIE, Volume 5286, pp. 230-237 (2003)に記載されているように、検査中に、その部品に対して固定具を取り付けることを必要としている。ＵＴ（超音波断層写真ultrasonic tomographic）画像を展開する既知の方法は、ソリッドＣＡＤモデルよりもむしろメッシュモデルを用いる。例えば、Shannonらによる米国特許出願US20070217672A1「２次元及び３次元非破壊検査」には、ＮＤＥ（非破壊検査）を視覚的に補助するために、３次元情報を用いる技術が開示されている。しかし、Shannonらによる米国特許出願US20070217672A1は、3次元情報を用いてＩＲ画像を展開する方法については開示も示唆もしていない。そこに開示されているのは、2次元画像を3次元空間にマッピングする方法というよりむしろ、3次元図形上に2次元画像をマッピングする方法である。

従って、そのような欠陥を、取得した画像から簡単に３次元測定できる装置が必要とされていた。取得画像及びＣＡＤデータをリンクして、拡散補償により検査の正確性を向上させ、及び／又は、欠陥タイプを特徴付ける検査システムも必要とされている。

米国特許7477360号公報 米国特許7415152号公報 米国特許7197193号公報 米国特許7079132号公報 米国特許6206566号公報 米国特許公開20070217672号公報 米国特許公開20070065002号公報

一態様では、部品又は物体の２次元ピクセル画像上の３次元距離を決定する方法が提供される。この方法は、カメラを用いて前記物体の２次元ピクセル実画像を取得するステップと、３次元ＣＡＤモデルと２次元ピクセル画像とを用いて物体の模擬画像を生成するようにワークステーションを動作させるステップと、を含む。この方法は、さらに、ワークステーションを利用して、模擬画像と２次元ピクセル実画像とを比較して特定費用関数を決定するステップと、ＣＡＤモデルと２次元ピクセル実画像との間の相対位置の相互調整に従って模擬画像を再配置し、特定費用関数が所定値以下になるまで模擬画像を変更するステップと、を含む。特定費用関数が所定値以下になれば、この方法はさらに、ワークステーションを利用して、再配置された前記模擬画像を用いることにより３次元距離スケールマトリクスを生成するステップと、ワークステーションを利用して、物体のピクセル画像上の２次元距離と３次元距離スケールマトリクスとを用いて実画像の表面上にある選択されたピクセル間の距離を測定し表示するステップと、を含む。

他の態様では、部品又は物体の２次元ピクセル画像上で３次元距離を決定する装置を提供する。この装置は、カメラと、カメラから画像を受信し、物体の３次元ＣＡＤモデルを有するコンピュータワークステーションと、ディスプレイと、を備える。この装置は、物体の２次元ピクセル実画像を取得し、３次元ＣＡＤモデルを用いて物体の模擬画像を生成し、模擬画像と２次元ピクセル実画像とを比較して特定費用関数を決定する。この装置はさらに、ＣＡＤモデルと２次元ピクセル実画像との間の相対位置の相互調整に従って模擬画像を再配置し、特定費用関数が所定値以下になるまで模擬画像を変更する。再配置された模擬画像を用いて３次元距離スケールマトリクスを生成し、物体のピクセル画像上の２次元距離と３次元距離スケールマトリクスとを用いて、実画像の表面上にある選択されたピクセル間の距離を測定し、表示する。

他の態様では、カメラと前記カメラから画像を受信し、物体の３次元ＣＡＤモデルを有するコンピュータワークステーションとディスプレイとを含む装置内のコンピュータワークステーションへの命令を記録した機械可読媒体であって、命令は、カメラを用いて物体の２次元ピクセル実画像を取得することを命じる。そして、３次元ＣＡＤモデルを用いて前記物体の模擬画像を生成することを命じる。また、模擬画像と前記２次元ピクセル実画像とを比較して特定費用関数を決定することを命じる。さらに、ＣＡＤモデルと２次元ピクセル実画像との間の相対位置の相互調整に従って、模擬画像を再配置して特定費用関数が所定値以下になるまで模擬画像を変更することを命じる。また、再配置された模擬画像を用いて３次元距離スケールマトリクスを生成し、物体のピクセル画像上の２次元距離と３次元距離スケールマトリクスとを用いて実画像の表面上にある選択されたピクセルの距離を測定し表示することを命じる。

物体の２次元画像から３次元上の距離を決定する際に用いられる装置の一例を示すブロック図である。 物体に存在する欠陥を含む画像であって、図１に示した装置から取得されるピクセル画像の一部を表わす図である。 図１に示す装置によって実行される代表的処理の一部を示すフローチャートである。 図２の２次元画像によって表わされた代表的ＣＡＤ画像を、図２の線４−４に沿って切断した断面図である。 展開されたＣＡＤモデルを用いて決定されたＺ軸上の距離と焦点面におけるピクセルからのその表面上の距離とを含む３次元距離スケールマトリクスの一部を示す図である。

本発明の実施形態の技術的効果は、実際の検査画像を、模擬ＣＡＤ（計算機援用設計）モデルにリンクすること、及び、本発明でなければ利用できない次元情報を表示することにある。このリンク付けを利用することで、例えば、２次元画像から欠陥を３次元測定できるようになり、ＩＲ検査のための拡散補償を可能にする。

図１は、物体の２次元画像から３次元距離を決定する際に用いられる装置１０のブロック図である。本実施形態において、装置１０は、ＩＲカメラ１２を含む。このカメラ１２は、検査対象の部品１６のＩＲ（サーマル）画像１４をスキャン或いは生成する。
まず、１つ以上のＩＲランプ１８を用いて、動力源が絶たれる前の部品１６を数秒間温める。ランプ１８は、部品１６を数秒間温めるためだけに電源を供給される。ランプ１８への電源供給を絶った後に第１サーマル画像１４を取得する。実施形態に係る装置１０では、部品１６の温度が低下するのに合わせて、サーマル画像１４を、迅速にかつ繰り返し取得できる。部品１６の厚み及びその部品１６が冷めていくスピードに応じて、例えば、１マイクロ秒、数マイクロ秒、或いは、他の期間に、最高秒速１００回で画像１４を取得しても良い。そのように取得した各画像１４は、温度が変化するにつれて、１画像ごとに異なるものとなる。画像１４は、図１に「フィルム面」として示されたものと関連するが、当業者であれば、多くの実施形態におけるこの「フィルム面」は、ＩＲセンサのアレイを表わすものと理解できるであろう。

画像１４は、部品１６の厚みを決定するために画像上の様々なポイント２０で処理される。部品１６が、単一の構成を有する場合は、その厚みは容易に決定される。なぜなら、その場合、より厚みを有する領域は、より大きな蓄熱量を有し、冷却速度がより遅くなるからである。コーティングやラミネート加工が行なわれた部品のように、既知の、単一でない構成を有する部品の厚みは、この原理のより詳細な適用によって決定される。これらの決定に要求される処理は、装置１０の制御、カメラＩＲ画像１４の入力、並びに、ＣＡＤ画像の処理と同様に、コンピュータワークステーション２１において、ワークステーション２１の内部又は機械可読媒体２３又はＣＤ−ＲＯＭのような他のタイプの媒体に記憶されるプログラムの制御下で実行される。

図２を参照すると、ピクセル画像１４の一部１５に欠陥がある場合がある。特に、図２は、図１に示す装置から取得されたピクセル画像の一部を示す。ここで、この画像は、物体内の欠陥を含んでいる。クラックなどの欠陥は、例えば、暗い直線又は曲線３０として現われる。なぜなら、部品１において、クラックのすぐそばにある部分は、より厚みが薄く、従って、部品１６の欠陥を含まない他の部分に比べて、より速やかに冷えるからである。一例では、部品１６のクラック部分が、実際にはカーブしていたとしても、「フィルム面」に対する部品１６の方向によっては、そのクラックは、曲線としてよりも、むしろ直線３０として画像１４上に投影されるかもしれない。ＩＲサーマル画像１４を、部品１６の３次元構造にリンクすることにより、部品１６におけるクラックや他の欠陥の３次元形状を判定することができ、さらに、その欠陥がカーブしているかどうか、そしてもしカーブしているなら、それは円弧状なのかスプライン状なのか、などを判定することができる。

図３は、図１に示された装置によって実行される例示的な処理の一部を示すフローチャートである。フローチャート１００において、３次元距離は、一対のピクセル間で決定される。ブロック１０２において、ビューアングル及びＩＲ実画像までの距離と共に２次元ピクセルＩＲ（サーマル）実画像１４を読み込む（ビューアングルは、ＩＲカメラ１２と部品１６の相対的な方向に基づいて決定でき、標準位置に関連する）。ブロック１０４では、部品１６のＣＡＤモデルから、２次元ピクセルＩＲ実画像１４のビューアングルに応じて、且つ、部品１６が加熱された温度に基づいて、ＩＲ模擬画像を生成する。そのビューアングルにおける模擬ＩＲカメラを用いてＣＡＤモデルを投影するコンピュータによって及び実カメラ１２からの実部品１６での距離によってＩＲ模擬画像を生成しても良い。多くの実施形態では、ブロック１０６は、このコンピュータ投影の実行処理に含まれる。他の実施形態では、追加的な調整がブロック１０６で行なわれる。このブロック１０６での調整は、手動で、つまり、スクリーン上の画像を目で見て検査した後に手動調整を行なっても良いし、コンピュータ又はワークステーションのプログラムによって自動的に行なっても良いし、それらの組合せによって行なっても良い。

次に、ブロック１０８において、ＩＲ模擬画像を２次元ピクセルＩＲ実画像１４と比較するために費用関数を用いる。３次元ＣＡＤモデル上の点と、２次元ピクセルＩＲ画像１４上のピクセル同士の対応関係を確立することにより費用関数を評価できる。費用関数は、２つの画像間のグレースケールの相違に関連する。例えば、一実施形態では、実又は模擬のＩＲエミッション強度又は解釈された厚み値に応じた０から２５５までのグレースケール値を割り当てられた複数のピクセルを有してもよい。そのような実施形態では、例えば５００×５００ピクセルの画像サイズであってもよい。本実施形態における費用関数においては、例えば、２次元ピクセルＩＲ（サーマル）画像１４及び模擬ＩＲ画像における対応ピクセルのグレースケール値の違いに基づいて統計値が計算される。

もし、ブロック１０８において、費用関数の値が、選択閾値以上であれば、適正な最適化が実行されて（１１０）ＩＲ模擬画像の再配置を決定し（つまり、ＣＡＤモデルと２次元ピクセル画像との間の相対位置を調整して、ＩＲ画像を変化させ）、模擬ＩＲ画像は、その決定に応じて再配置される。１つの適した最適化方法は、ＬＭ（レーベンバーグ・マルカート）アルゴリズムを用いる。これは、その関数のパラメータ空間に渡り、通常非線形の関数を最小化する問題に数値解を提供する。そのアルゴリズムは、ガウスニュートン法と勾配法との間で行なわれても良い。しかしながら、他の最適化方法を他の実施形態として用いてもよい。例えば、ニュートンアルゴリズムを用いることもできるが、ニュートンアルゴリズムは必ずしもグループ解又は最適化解を保証するものではない。

もし最適化が必要であれば、最適化処理を実行し、ブロック１０８の比較処理を再度実行する。費用関数が選択閾値以下になるまでブロック１０８及び１１０を含むループを実行する。費用関数が選択閾値以下になれば、或いは、最適化が必要でなければ、ｘ軸とｙ軸に沿った２つのピクセル間の３次元距離スケールマトリクスが、ＩＲ最適化模擬画像に従って、ブロック１１２において生成され、ＣＡＤモデルは、最適化模擬画像を生成するために用いられる。特に、５００×５００ピクセルのサーマル画像１４を備えた実施形態においては、それらのピクセルは、ｘ軸方向及びｙ軸方向に線形に配置されるものと想定できる。すなわち、それらのピクセルは、部品１６の１００ｍｍ×１００ｍｍの部分を表わす（全てではないが、中には、ピクセルごとのビューアングル投影に基づいて画像１４に補正を施し、糸巻き型、たる型又は他の既知のタイプの歪みを補償するものもある）。本実施形態において、３次元距離スケールマトリクスは、ピクセル（x, y）ごとに、サーマル画像１４を表わす帰属２次元表面までの距離に関連するＣＡＤモデルがシミュレートした画素の表面の距離（深さ）を表わす値を含む。従って、フラットな表面からのオフセットとして３次元距離スケールマトリクスに含まれるマトリクス値を用いて部品１６の表面に沿った距離を決定することが可能となる。ブロック１１４では、ＩＲカメラ１２及び部品１６が動かされることも調整されることもないと仮定した場合、追加的なサーマル画像１４を繰り返し読み込み（例えば、数マイクロ秒ごとに取得される。他の場合については上述した）、欠陥の解析を行なう。そのような欠陥は、ブロック１１２で生成された同じ３Ｄ距離スケールマトリクスを用いて測定される
例えば、図２及び図４を参照すると（図４は、図２に示された部品１６の線４−４に沿った断面図である）、図２の部分１５にライン３０として現われたクラックは、カメラ１２の焦点面１７に一致しない部品１６の部分を表わすピクセルを含む。焦点面１７に関するｚ軸軸方向のそのような距離の例は、図４において、ｄ１、ｄ２、ｄ３、ｄ４、及びｄ５として示されている（ここでｄ４≒０である）。したがって、図２に示すように、直線的なクラックが、例えば、ピクセル２０２からピクセル２０４に延びている場合には、ピクセル２０２及び２０４のｘ−ｙ座標によってのみ決定される距離は、そのクラックの長さまたは形状を正確に表現したものではない。なぜなら、そのような距離は、直線３０上にあるクラックを投影したときのｚ軸方向の距離を無視しているからである。図５を参照すると、図５に示された３次元距離スケールマトリクス２０６の一部は、展開されたＣＡＤモデル上の焦点面１７からのｚ軸方向の距離を含む。このマトリクスに含まれている数字は、画像１４の対応ピクセルでのｚ軸方向の距離を表わす。従って、部品１６の表面に沿った画像１４上の何れの画素によって表わされる実際の距離に対する精度の高い概算値は、選択されたｘ−ｙ座標に対応する３次元距離スケールマトリクス２０６におけるｘ−ｙ座標とｚ軸距離用いて容易に決定される。例えば、部品１６の表面の曲面部分に沿った距離であって、ピクセル２０２とピクセル２０４の間の線によって表わされた距離については、その線の長さに沿った調整ピクセル群に対応する３次元画像における２点間の測地線の距離を取得することにより、決定することができる。そのＣＡＤモデルから、その曲線が特定のパラメータを有する曲線に沿ったものと分かれば、さらによいことに、非線形推定を得ることができる。

ＣＡＤモデル及びＩＲ（サーマル）画像を展開することにより、ワークステーションは、ＣＡＤ情報を用いて、例えばＩＲ検査のための熱拡散補正などといった、検査の正確性を向上させることができる。ＣＡＤ情報は、また、２次元検査画像（つまりＩＲ画像上での欠陥のサイズを検出する）上での正確な検査を実現するために用いられる。さらに、ＣＡＤモデルの３次元形状においてＩＲ検査データを可視化及び／又は分析することが可能であり、そのような検査は、ＣＡＤモデルの工学的詳細に基づいて、直接評価される。設定によっては、組込式Ｘ線ＣＴ（コンピュータ断層撮影）情報をＣＡＤモデルに組み込むことにより、構成を拡張して、ＣＡＤモデル及びＣＴ・Ｘ線検査データから導き出した、より正確な３次元幾何情報にＩＲ（サーマル）画像をリンクすることができる。

２次元ピクセルＩＲ（サーマル）画像において、いくつかの実施形態では、ＵＴ（超音波断層撮影）画像を利用してもよい。他のタイプの２次元実画像は、３次元ＣＡＤモデルに合わせて用いられる。２次元画像３次元ＣＡＤモデルにリンクすることにより、３次元空間での欠陥の測定を、２次元ＩＲ画像上で行なうことが可能となる。一実施形態では、航空機で用いられる、セラミック複合材料で形成されたブレード、ベイン、シュラウドの測定が可能となる。ＣＡＤ情報を、拡散補償のため、欠陥の特性検知の向上のため、そして、欠陥のサイズをより正確に検知するために用いることもできる。

本明細書は、本発明を開示するためのベストモードを含む例を用いている。また、当業者であれば、本明細書により、如何なるデバイス又はシステムを生成すること及び使用することを含み、如何なる方法の組合せをも実行する本発明を実施できる。本発明の特許可能な範囲は、特許請求の範囲によって定義されており、当業者が思いつく他の例を含んでも良い。特許請求の範囲の文言から乖離しない構成要素を有する場合には、或いは、特許請求の範囲の文言から実質的には相違しない均等な構成要素を含む場合には、上述の他の例は、特許請求の範囲内にあると意図される。

10 装置
12 ＩＲカメラ
14 ２次元ピクセルＩＲ画像
15 部品
16 部分
17 焦点面
18 ＩＲランプ
20 ポイント
21 コンピュータワークステーション
23 機械可読媒体
30 暗い直線又は曲線
100 フローチャート
102 ＩＲ実画像読込
104 ＩＲ模擬画像を生成
106 模擬画像を実画像と並べる
108 模擬画像を実画像と比較
110 最適化を行ない、模擬画像を再配置
112 ３次元距離スケールマトリクスを生成
114 実画像を読込
202, 204 ピクセル
206 ３次元距離スケールマトリクス

Claims (10)

1. 部品（１６）又は物体の２次元ピクセル画像（１４）上で３次元距離を決定する装置（１０）であって、
   カメラ（１２）と、
   カメラから画像を受信し、前記物体の３次元ＣＡＤモデルを有するコンピュータワークステーション（２１）と、
   ディスプレイと、
   を備え、
   前記物体の２次元ピクセル実画像を取得し（１０２）、
   ３次元ＣＡＤモデルを用いて前記物体の模擬画像を生成し（１０４）、
   前記模擬画像と前記２次元ピクセル実画像とを比較して（１０８）特定費用関数を決定し、
   前記特定費用関数が所定値以下になるまで前記模擬画像を変更するため、前記ＣＡＤモデルと前記２次元ピクセル実画像との間の相対位置の反復調整に従って、前記模擬画像を再配置し（１１０）、
   再配置された前記模擬画像を用いて３次元距離スケールマトリクス（２０６）を生成し（１１２）、
   物体の前記ピクセル画像上の２次元距離と前記３次元距離スケールマトリクスとを用いて、前記実画像の表面上にある選択されたピクセル（２０２、２０４）間の距離を測定し、表示することを特徴とする装置（１０）。
2. 前記カメラ（１２）は、ＩＲカメラであって、前記２次元ピクセル実画像（１４）を取得し（１０２）、前記装置はＩＲ（サーマル）実画像を取得することを特徴とする請求項１に記載の装置（１０）。
3. 前記反復調整は、前記実画像（１４）中のピクセルと前記模擬画像中の対応ピクセルとのグレースケール値の相違に依存する統計値を用いることを特徴とする請求項１に記載の装置（１０）。
4. 前記反復調整の実行のため、ＬＭ最適化方法を用いることを特徴とする請求項１に記載の装置（１０）。
5. 再配置された前記模擬画像を用いて３次元距離スケールマトリクス（２０６）を生成する（１１２）ため、焦点面（１７）からの前記模擬画像での距離を決定することを特徴とする請求項１に記載の装置（１０）。
6. 前記物体（１６）の前記ピクセル画像上での２次元距離と前記３次元距離スケールマトリクスとを用いて、前記実画像（１４）の表面上で選択されたピクセル（２０２、２０４）間の距離を測定し表示するため、
   選択されたｘ−ｙ座標に対応する前記３次元距離スケールマトリクス（２０６）でｚ軸距離として扱われる厚さデータとｘ−ｙ座標として扱われる測地線距離とを用いて、前記実画像の表面上の選択ピクセル間の距離を決定することを特徴とする請求項５に記載の装置（１０）。
7. カメラ（１２）と前記カメラから画像を受信して物体（１６）の３次元ＣＡＤモデルを有するコンピュータワークステーションとディスプレイとを含む装置（１０）内のコンピュータワークステーション（２１）への命令を記録した機械可読媒体（２３）であって、前記命令は、
   前記カメラを用いて前記物体の２次元ピクセル実画像（１４）を取得するステップ（１０２）と、
   ３次元ＣＡＤモデルを用いて前記物体の模擬画像を生成するステップ（１０４）と、
   前記模擬画像と前記２次元ピクセル実画像とを比較して（１０８）特定費用関数を決定するステップと、
   前記特定費用関数が所定値以下になるまで前記模擬画像を変更するため、前記ＣＡＤモデルと前記２次元ピクセル実画像との間の相対位置の反復調整に従って、前記模擬画像を再配置するステップ（１１０）と、
   再配置された前記模擬画像を用いて３次元距離スケールマトリクス（２０６）を生成するステップ（１１２）と、
   物体の前記ピクセル画像上の２次元距離と前記３次元距離スケールマトリクスとを用いて前記実画像の表面上にある選択されたピクセル（２０２、２０４）間の距離を測定し表示するステップと、
   を実行するように、前記コンピュータワークステーション（２１）に命令することを特徴とする機械可読媒体（２３）。
8. 前記カメラ（１２）はＩＲカメラであって、前記ワークステーション（２１）に対し、ＩＲ（サーマル）実画像（１４）を取得（１０２）するよう指示する命令をさらに記録していることを特徴とする請求項７に記載の機械可読媒体（２３）。
9. 前記特定費用関数が所定値以下になるまで前記実画像（１４）と前記模擬画像とのアラインメントを繰り返し変更するため、記録された前記命令は、さらに、前記実画像（１４）中の対応ピクセルのグレースケール値の相違に基づく統計値、又は、前記実画像及び前記模擬画像における対応ピクセルに関連する厚さ情報、の使用をワークステーション（２１）に命令することを特徴とする請求項７に記載の機械可読媒体（２３）。
10. 前記反復調整の実行のため、記録された前記指示は、さらに、ＬＭ最適化方法の使用をワークステーション（２１）に命令することを特徴とする請求項７に記載の機械可読媒体（２３）。