JP2020529069A - 画像処理および特徴認識のためのシステムおよび方法 - Google Patents

Abstract

本発明は、画像データ内の特定の特徴を分離するために、多次元画像データを処理するためのシステムおよび方法を対象とする。１つの例示的なアプリケーションは、画像データから構造体の変形を検出するための非破壊試験である。顕著な特徴を分離する方法には、画像を三角形平面のネットワークに細分することにより、表面画像の「基線」近似を生成することと、各平面の測定値を近似することと、元の画像データから基線を減算して処理画像を生成することと、を含む。三角形平面ネットワークを定義し、各平面を近似し、基線の減算を実施するためのプロセスは、変形を示すことができる、特定の三角形平面内で発生する特徴値の変化を含む最終的な処理画像をもたらすことができるが、環境変数および検査変数の製品であり得る、より大きな領域で発生する特徴値の変化は、結果として生じるデータセットから少なくとも部分的に除去される。

Description

本発明は、画像処理方法論に関し、詳細には、材料変形を含む構造的特徴を識別するために構造体の表面画像データを分析するための非破壊試験システムおよび方法に関する。

石油およびガス産業で使用されるパイプラインおよび容器構造体は、経時的に応力にさらされ、それが蓄積されて、構造体内に欠陥を生成する可能性がある。あいにく、容易に観察可能な欠陥が発生するまでに、そのような構造体が損傷応力を受けているかどうかを判定することは通常困難である。

例えば、パイプラインで使用される非金属パイプなどの構造体材料の非破壊検査技術の利用は限られている。ほとんどの場合、これまでに利用可能な技術は、材料を破壊するものか、または実験的で信頼性の低いものである。さらに、検査された表面の画像内の特徴を検出するための既存の画像処理システムに関して、典型的には、頻度に基づいた特徴の平均化、平滑化および分離に集中する。一般に、材料検査用の既存の非破壊システムおよび監視技術は、欠陥が発生する前に予測することができるように、引張応力または圧縮応力などの材料上または材料内の応力の存在を十分な精密度および正確度で効率的に検出するには不十分である可能性がある。

画像データセットを処理するためには、コンピュータグラフィックス技術を使用した表面近似が利用されている。より小さな正方形を使用して大きな表面領域を離散化する正方形／長方形格子近似、同じ形状の三角形を使用する三角形の規則的なネットワーク、任意の形状の三角形を使用する三角形の不規則なネットワークなどを含む、いくつかの表面近似の方法が存在する。ただし、表面近似のための現在のコンピュータ技術およびアルゴリズムでは、処理アルゴリズムおよび監視システムの複雑さのために、大規模なデジタルデータ記憶装置および高価なコンピュータハードウェアが必要になる場合がある。

必要なのは、十分な解像度および精密度でコンピュータ画像処理を通じて表面画像データから特徴を効率的に検出するためのシステムおよび方法である。より具体的には、特徴を分離し、光学検査デバイスを使用して収集された画像データから構造体の材料変形を定量化するために使用することができる画像処理および監視システムである。

本明細書でなされた開示が提示するのは、これらおよび他の考察に関するものである。

本発明は、光学検査デバイスで捕捉された構造体の表面の多次元画像データから構造体の変形を検出するためのコンピュータ実装方法を対象とする。

一態様では、光学検査デバイスを使用して捕捉された構造体の多次元画像データから構造体の変形を検出するためのコンピュータ実装方法が提供される。具体的には、この方法には、プロセッサで構造体の表面の多次元画像データを提供するステップを含み、画像データには、光学検査デバイスを使用して測定される複数のデータ点を含む。より具体的には、各データ点には、１）それぞれのデータ点が少なくとも２つの次元で捕捉された、表面上のそれぞれの場所を識別する場所データ、および２）検査デバイスを使用して測定されたそれぞれのデータ点に対する、少なくともそれぞれのｚ値を含む特徴値データを含む。この方法にはまた、プロセッサを用いて、表面分割モデルを画像データに適用するステップも含む。より具体的には、表面分割モデルの適用には、画像データによって表される表面を複数の平行四辺形平面に分割するステップと、平行四辺形平面の各々をそれぞれ２つの三角形平面に細分するステップと、を含む。この方法にはまた、プロセッサを用いて、三角形平面各々に対するそれぞれの特徴値Ｖを計算するステップも含む。より具体的には、それぞれの三角形平面の特徴値は、それぞれの三角形平面内のデータ点のうちの１つ以上の測定された特徴値ｚに基づいて計算される。この方法にはまた、特徴値に基づいたプロセッサを用いて、複数のデータ点の各々に対する調整された特徴値Ｚを計算するステップも含む。より具体的には、それぞれのデータ点に対する調整された特徴値Ｚは、それぞれのデータ点に対する測定された特徴値ｚ、およびそれぞれのデータ点が中にある三角形平面の計算された近似特徴値Ｖに基づいて計算される。この方法にはまた、処理された多次元画像のデータセットが、提供された画像データ内のデータセットとは異なる、表面の処理された多次元画像を生成するステップも含む。より具体的には、表面の多次元画像は、各データ点の調整された特徴値Ｚに基づいてプロセッサで生成される。この方法にはまた、表面の処理された多次元画像プロセッサによってディスプレイ上に出力されるステップを含み、処理された多次元画像は、画像データの表面分割モデルの特定の三角形平面内の表面の検出された変形を図形表現で示す。

別の態様によれば、光学検査デバイスで捕捉された表面の多次元画像データから構造体の変形を検出するためのシステムが提供される。このシステムには、コンピュータ可読記憶媒体と、通信インターフェースと、ディスプレイと、を備える。システムにはまた、記憶媒体にアクセスするように構成され、通信インターフェースおよびディスプレイと動作可能に通信する１つ以上のプロセッサも備える。さらに、システムには、記憶媒体に記憶され、プロセッサによって実行可能なソフトウェアモジュールを含む。

ソフトウェアモジュールには、プロセッサによって実行されたときに、光学検査デバイスを使用して測定された複数のデータ点を含む、多次元画像データを受信するようにプロセッサを構成する通信モジュールを含む。具体的には、データ点には、少なくとも２つの次元で、それぞれのデータ点が捕捉された表面上のそれぞれの場所を識別する場所データ、および検査デバイスを使用して測定されたそれぞれのデータ点に対する少なくともそれぞれの特徴値ｚを含む特徴値データを含む。

ソフトウェアモジュールにはまた、プロセッサによって実行されたとき、画像データによって表される表面を、表面分割モデルに従って複数の平行四辺形平面に分割し、さらに平行四辺形平面の各々を、２つの三角形表面にそれぞれ細分するようにプロセッサを構成する表面分割モジュールも含む。

ソフトウェアモジュールにはまた、プロセッサによって実行されたときに、三角形平面の各々に対するそれぞれの近似特徴値Ｖを計算するようにプロセッサを構成する特徴検出モジュールも含む。具体的には、それぞれの三角形平面に対する近似特徴値Ｖは、それぞれの三角形平面内のデータ点のうちの１つ以上の測定された特徴値ｖに基づいて計算される。さらに、特徴検出モジュールは、複数のデータ点の各々に対する調整された特徴値Ｚを計算するようにプロセッサをさらに構成する。具体的には、それぞれのデータ点に対する調整された特徴値Ｚは、それぞれのデータ点に対する測定された特徴値ｚ、およびそれぞれのデータ点が中にある三角形平面の計算された近似特徴値Ｖに基づいて計算される。

ソフトウェアモジュールにはまた、プロセッサによって実行されたときに、各データ点の調整された特徴値Ｚに基づいて、処理された多次元画像が提供された画像データ内のデータセットとは異なる、表面の処理された多次元画像を生成するようにプロセッサを構成する画像生成モジュールも含む。画像生成モジュールはまた、ディスプレイを使用して、表面の処理された多次元画像を出力するようにプロセッサを構成する。より具体的には、処理された多次元画像は、画像データの表面分割モデルの特定の三角形平面内の表面の検出された変形を図形表現で示す。

これらおよび他の態様、特徴、ならびに利点は、本発明の特定の実施形態の付随する説明、ならびに添付の図面および特許請求の範囲から理解することができる。

本発明の一実施形態による、構造体の多次元画像データを捕捉するための検査装置の概略図である。 本発明の一実施形態による、多次元画像データを分析するためのコンピューティングデバイスの構成要素の概略ブロック図である。 本発明の一実施形態による、多次元画像データを分析するためのルーチンを示す系統的フローチャートである。 本発明の一実施形態による、画像データのデータ構造を示す概念図である。 本発明の一実施形態による、処理の様々な段階での表面画像データの図形表現である。 本発明の一実施形態による、表面画像データの三角形平面ネットワークの図形表現である。 本発明の一実施形態による、表面画像データの三角形平面の３次元図形表現である。 本発明の一実施形態による、観察された特徴値を含む表面画像データの３次元図形表現である。 本発明の一実施形態による、図５Ａの表面画像データの近似特徴値の３次元図形表現である。 本発明の一実施形態による、図５Ｂの表面画像データの図形表現上に重ね合わせた、処理された表面画像データの３次元図形表現である。 本発明の一実施形態による、図５Ｃの処理された表面画像データの３次元図形表現である。 本発明の一実施形態による、表面画像データの三角化マップ上に重ね合わせた、処理された表面画像データの３次元図形表現である。 本発明の一実施形態による、図５Ｅの処理された表面画像データの３次元図形表現である。 本発明の一実施形態による、処理された表面画像データの層の３次元図形表現の分解図である。

概要および導入として、本明細書で開示されるシステムおよび方法は、画像データ内の特定の特徴を推定、分離、強調表示および定量化するために、画像の「処理」用に設計されたコンピュータ実装画像処理方法論に関する。非限定的な例として、開示された画像処理システムおよび方法は、材料を検査し、その他の点ではほぼ均一な材料構造体の変形を検出するための非破壊試験（ＮＤＴ）システムに適用することができる。したがって、例示的なシステムおよび方法は、材料構造体の変形を測定するためのそのようなシステムに適用されるものとして本明細書でさらに説明されるが、アルゴリズムは、あらゆる種々の多次元画像、またはより一般には、多次元プロット、行列、またはテンソル（集合的には「画像」または「画像データ」と呼ばれる）を使用した処理および特徴検出に使用することができるため、例示的な処理アルゴリズムの適用はそれほど限定されない。

大まかに言うと、多次元画像データを処理する例示的な方法には、多次元「基線」画像を生成することと、基線の減算（すなわち、元の画像から基線を減算）を実施して処理画像を生成することと、を含む。例えば、例示的な２次元画像分析アプリケーションでは、コンピュータ実装方法は、「より鋭い」またはローカライズされた特徴のみが残り、残りのデータセットはフラット化されるように、「長距離」変動（例えば、より広い領域に及ぶ）をデータセットから削除する目的で元の画像から減算された基線表面を生成するようにコンピューティングデバイスプロセッサを構成する。開示された実施形態は、３次元画像データ、すなわち構造体のＮＤＴ検査中に光学検査デバイスを使用して捕捉された表面画像データの３次元プロットの処理に関連してより具体的に説明されるが、同じ手順は高次元のデータセットにも拡張することができる。

ＮＤＴ試験を容易にするように構成された例示的な構造材料、および３次元表面画像データセットを生成するために使用することができる例示的な検査デバイスは、本明細書で簡単に説明しており、２０１６年３月２８日に提出され、発明者Ｂｏｖｅｒｏらによる、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＳＴＲＵＣＴＩＮＧ ＡＮＤ ＴＥＳＴＩＮＧ ＣＯＭＰＯＳＩＴＥ ＰＨＯＴＯＮＩＣ ＳＴＲＵＣＴＵＲＥＳ」と題された、同時係属中の同一出願人による米国特許出願第１５／０８２，３２７号にさらに記載されている。

一般に、ＮＤＴ試験中、検査装置は、構造体の表面の領域上に放射線を放出するように位置決めされている。構造の表面（および／または構造体内）および構造体内または表面上の任意の周期的特徴（例えば、周期的格子、蛍光体材料など）から回折された放射線は、検査デバイスの放射線センサを使用して検出することができる。したがって、検出された回折光を使用して、処理装置は、画像データを分析して、検査された表面の区画が変形を受けているかどうかを判定することができる。

パイプラインおよび貯蔵容器などの現場の大型構造体の状態を監視するために、ＮＤＴ試験を容易にする材料を構造体に統合、埋め込み、または取り付けて、構造体の状態の指標として機能させることができる。そのような材料には、変形に応答して、インデックスパラメータの変化を受ける構造体を含むことができる。そのような材料の重要なクラスの１つは、光学格子およびフォトニック結晶を含む、周期的なフォトニック材料を含む。照射に応じてフォトニック材料が送信する回折パターンは、それらの構成要素の周期的な間隔に非常に敏感である。したがって、例えば、引張応力、圧縮応力、曲げ、温度変動などにより、埋め込まれたフォトニック材料が受ける標準状態からのいかなる変形または摂動も、摂動構造体の回折パターンの、標準状態との対応する相違において明らかにされ得る。回折パターンの変化は、摂動の大きさに比例し、検査装置を使用して捕捉および測定することができる。

図１は、（例えば、図示されていない構造体に埋め込まれた）フォトニック材料１０３を含む構造体１５０を検査するために使用される検査装置１００の例示的な一実施形態を示す。フォトニック材料１０３には、回折格子を含むことができるが、屈折率などの光学特性の周期的変動を示す、他の構造体も含むことができる。装置１００には、構造体の長さに沿ってユニットとして位置決めされ、かつ移動することができる、構造体の検査に使用される複数の構成要素を含む、ハウジング１０５を含む。この目的のために、ハウジングは、ロボットまたは無人機などの車両に結合することができ、または代替的に、ハウジングには、自動移動のための駆動機構および車輪を含むことができる。

ハウジング１０５内に位置決めされているのは、放射線をハウジングの開口部１０７を通して構造体１５０の区画に向けて案内するように位置決めされた、放射線源１１０、１１５である。２つの放射線源が示されているが、いくつかの実施形態では、単一の放射線源を使用することができ、代替的な実施形態では、３つ以上の放射線源を使用することができる。例示的な実装形態では、放射線源１１０はレーザー（単一波長）源であり、放射線源１１５は、複数の異なる波長を放出する拡散放射線源である。拡散放射線源１１５は、広範囲の形態をとることができ、可視スペクトル内および／または可視スペクトル外の波長の広いまたは狭い範囲にわたって、放射線を放出することができる。例えば、拡散放射線源は、白色ＬＥＤ、フラッシュライト、Ｘ線エミッタ、または自然環境放射線を使用して実装され得る。１つ以上のレンズ、例えば、１２０は、検査のために、拡散放射線源１１０によって放出された放射線を、構造体１５０に集束させるように構成され得る。

動作中、フォトニック材料１０３で受け取った放射線は、回折され、検査装置の開口部１０７に向かって反射され得る。いくつかの実施形態では、装置１００には、フォトニック材料から回折された放射線を受信するように位置付けられた、（図示されているような）反射器１２５を含む。反射器１２５および１つ以上の集束構成要素１２８は、入ってくる放射線を、放射線センサ１３０に向けて、案内かつ集束させるように配向することができる。放射線センサ１３０は、デジタルカメラ、赤外線検出器、電荷結合素子（ＣＣＤ）光電子増倍管、写真フィルムなどを含む多くの方法で実装され得る。センサが単一の要素を構成する実装形態では、センサが出力する信号の大きさまたは強度は、変位を判定するために使用される。ＣＣＤアレイなどの要素のアレイを含むセンサの場合、特定のアレイ要素の応答（すなわち、位置）は、変位を判定することができる情報を提供する。図示された実施形態では、放射線センサは、ローカルプロセッサ１４０に結合され、かつ捕捉されたセンサデータを、ローカルプロセッサ１４０に送信する。検査装置１００には、検査デバイスの動作を可能にし、より具体的には、放射線センサ１３０によって捕捉された情報の分析に関連する動作を実行する役割を果たす、様々なコンピュータハードウェアおよびソフトウェア構成要素が配設され得る。追加または代替の実施形態では、装置１００には、本明細書でさらに説明するように、捕捉された画像データをさらに処理するために、センサデータを遠隔ベースのコンピューティングデバイスに送信するための通信モジュール（例えば、無線トランシーバあるいは他の有線または無線通信インターフェース）を含む。

図２は、開示された実施形態の１つ以上に従って多次元画像データを処理するためのコンピューティングデバイス２００の例示的なコンピュータハードウェアおよびソフトウェア構成要素を示すブロック図である。コンピューティングデバイス２００は、表面の多次元画像データを分析して特徴を選択的に検出するための例示的な方法を実施する役割を果たす、様々なコンピュータハードウェアおよびソフトウェア構成要素とともに配置することができる。例えば、限定ではないが、本明細書でさらに説明するより具体的な例示的な実装形態では、コンピューティングデバイスは、検査された構造体の顕著な特徴（例えば、変形）を検出する目的で、画像化デバイス１００によって捕捉された画像データ情報の分析に関する動作を実施するように構成することができる。

図２に示されるように、コンピューティングデバイス２００の構成要素には、プロセッサ２４０および回路基板２５０を含む。図２に示されるように、回路基板は、プロセッサ２４０によってアクセス可能なメモリ２５５、通信インターフェース２６０、およびコンピュータ可読記憶媒体２６５を含むことができる。プロセッサ２４０および／または回路基板２５０はまた、当業者によって理解されるように、オペレータ（ユーザ）に視覚的に情報を出力するためのディスプレイ２７０、オペレータ入力を受信するためのユーザインターフェース２７５、および音声フィードバックを提供するための音声出力２８０に結合され得る。一例として、装置２００はディスプレイ２７０から視覚信号を、例えば、検査装置１００を使用して捕捉された表面の画像、または本明細書でさらに説明する例示的な画像処理アルゴリズムに従って検出された特定の特徴を示す表面の処理された画像を発することができる。様々な構成要素は、回路基板２５０から独立して、または回路基板２５０の一部としてのいずれかで示されているが、この構成要素は、様々な構成で配置し得ることを理解することができる。

プロセッサ２４０は、メモリにロードされ得るソフトウェア命令を実行する役割を果たす。プロセッサ２４０は、複数のプロセッサ、マルチプロセッサコア、またはいくつかの他の種類のプロセッサであり得る。メモリ２５５は、プロセッサ２４０によってアクセス可能であり、それによって、プロセッサが、メモリ上および／または記憶装置上に記憶された命令を受信および実行することが可能になる。メモリ２５５は、例えば、ランダムアクセスメモリ（ＲＡＭ）、または任意の他の好適な揮発性もしくは不揮発性のコンピュータ可読記憶媒体を使用して、実装され得る。加えて、メモリ２５５は、固定式でも取り外し可能でもよい。記憶媒体２６５はまた、特定の実装形態に応じて、様々な形態を採り得る。例えば、記憶媒体２６５は、ハードドライブ、フラッシュメモリ、書き換え可能な光ディスク、書き換え可能な磁気テープ、または上記の何らかの組み合わせなどの１つ以上の構成要素またはデバイスを含むことができる。記憶媒体２６５はまた、固定式でも、または取り外し可能でも、あるいはクラウドベースのデータ記憶システムなどのリモート装置であり得る（リモートメモリまたは記憶装置の構成は示されていない）。回路基板２５０はまた、コンピューティングデバイスに電力を供給するための電源（図示せず）ソースを含むか、またはそれに結合することができる。

１つ以上のソフトウェアモジュール２８５は、メモリ２５５内および／または記憶媒体２６５内に符号化されている。このソフトウェアモジュールは、コンピュータプログラムコード、またはプロセッサ２４０内で実行される一組の命令を有する、１つ以上のソフトウェアプログラムまたはアプリケーションを含み得る。本明細書に開示されたシステムおよび方法の動作を実行し、態様を実施するためのそのようなコンピュータプログラムコードまたは命令は、１つ以上のプログラミング言語の任意の組み合わせで記述され得る。ソフトウェアモジュールは、記憶装置２６５またはメモリ２５５にローカルに保存され、プロセッサ２４０でローカルに実行されるが、プロセッサは、好ましくは無線で、通信インターフェース２６０を介して、およびローカルエリアネットワークまたは広域ネットワークを介して、リモートベースのコンピューティングプラットフォームと相互作用して、計算または分析を実施することができる。

ソフトウェアモジュール２８５の実行中、プロセッサ２４０は、以下でさらに詳細に説明するように、多次元画像データの分析に関連する様々な動作を実施するように構成されている。ソフトウェアモジュールは、例えば、表面画像データを複数の個別の表面に分割するようにプロセッサを構成する表面分割モジュール２９０、個別の表面内の特徴データを分析し、表面画像データ内の特定の特徴を推定、分離、強調表示および定量化するようにプロセッサを構成する特徴検出モジュール２９２、ディスプレイ２７０を介した出力のために、表面を表し、検出された特徴を強調表示する、処理された画像を生成するようにプロセッサを構成する画像生成モジュール２９４、および通信ネットワークあるいは任意の有線または無線電子通信接続などの通信接続（図示せず）を経由してリモートデバイス（例えば、検査デバイス１００）と通信するようにプロセッサを構成する通信モジュール２９６含むことができるがこれらに限定されない。

ソフトウェアモジュール２８５のプログラムコード、および非一時的コンピュータ可読記憶デバイス（メモリ２５５および／または記憶装置２６５など）のうちの１つ以上は、当業者には既知であるように、本開示に従って製造および／または販売することができるコンピュータプログラム製品を形成することができる。加えて、本装置および方法の構成および動作に関連する情報および／またはデータはまた、ソフトウェアモジュールと関連付けられて記憶されてもよい。そのような情報には、多次元画像データに関連する所定の設定およびパラメータ、多次元画像データによって表される構造体およびオブジェクトの既知の特性（例えば、予想される回折パターンなど、検査することができるフォトニック材料の予想される特性）、および検出される特徴の特性（例えば、材料変形の種類、およびサイズ、形状などの関連する特性）を含むことができる。同様に、検査装置に固有であり、その動作を容易にする動作パラメータも保存することができる。

図３は、画像データ内の特定の特徴を推定、分離、強調表示および定量化するために、多次元画像データを分析するためのコンピュータ実装方法３００の系統的フロー図である。具体的には、方法３００は、検査デバイス１００を使用して表面の検査を通して捕捉された表面の多次元画像データを処理する文脈で説明されている。

本明細書で説明するＮＤＴの例では、表面材料は、検査された構造の変形が、例えば、特徴のサイズおよび／または格子の特徴間の相対距離を変化させることによって格子の周期性がローカルに変化し、結果的に、検査デバイス１００によって捕捉される反射光の波長が変化をもたらすように、内蔵型回折格子または既知の周期性を有する他のそのような特徴を含むことができる。

３次元の世界では、初期のおよび観察された格子パターンを記録および保存し、既知のまたは予想される回折特性を考慮してそのようなデータを点ごとに分析するための既存のシステムおよび方法には、かなりの計算リソースが必要になる場合がある。このようなシステムでは、通常、特定の環境特性および測定値に影響を与える可能性のある検査関連変数（例えば、温度、照明、表面に対する検査デバイスの距離および配向、表面の形状など）を測定し、数学的に考慮することも必要である。本明細書で開示する例示的なシステムおよび方法は、特定の組のルールおよびパラメータに従って各々実施され、多次元画像データセットの顕著な特徴を高い精密度、正確度、および解像度で分離および定量化するためのより効率的で堅牢な解決策を実現し、さらに比較的高いレベルの計算効率を同時に維持するステップの特定の組み合わせを含む。同時に、処理アルゴリズムにより、複雑性の低い画像化システムおよび簡素化された検査プロセスの使用が可能になる。さらに、様々なアルゴリズム画像処理ステップが実行されるパラメータを調整することにより、システムを使用して画像データ内の任意の数の異なる種類の特徴を検出することを可能にし、それにより、多種多様な用途で使用することができる高度に調整可能な解決策を提供する。

ルーチン３００はステップ３０５で始まり、多次元表面画像データは、コンピューティングデバイス２００で提供される。前述のように、多次元データセットは、表面を検査し、測定データを記録し、データセットをコンピューティングデバイスに送信するために使用される検査デバイス１００から受信することができる。いくつかの実装形態では、コンピューティングデバイスは、図４Ｂ（ａ）に示すように、前処理画像、例えば、表面画像４１１の形で画像データを受け取ることができる。

例として、また限定することなく、多次元データは、データプロット、行列、またはテンソルの形式で表すこともできる。図４Ａは、多次元データセット４０６の例示的な行列表現である。データセットは、ｉ個のデータ点で構成されている。各データ点は、ｋ次元で構成されている。ｉおよびｋは、両方とも任意の正の整数（ｉ，ｋ≧０）にすることができ、ｉおよびｋは、相互に独立している。図４Ａに示されるように、第１の次元「次元１」は、変数「ｘ」によって表され、第２の次元「次元２」は、変数「ｙ」によって表される。例えば、サブデータセット（ｘ、ｙ）は、２次元の場所データセットを表すことができる。例えば、画像データ点の検査および捕捉中に、検査デバイス１００は、搭載された位置決めセンサ（図示せず）を使用して２次元位置決めデータ（例えば、ｘおよびｙの位置）を収集するように構成することができる。開示された実施形態の範囲から逸脱することなく、代替の２次元位置決めシステムを使用し得ること、例えば、角度および距離値を含む極座標システムを使用し得ることが理解されるべきである。

好ましくは、多次元データは、少なくとも１つの測定された次元データ、変数「ｚ」によって表される「特徴データ」を含む。例えば、実際のＮＤＴの例では、ｚは、検査デバイス１００を使用して測定された、所定の場所で検査された表面によって回折された放射線の色相値を表すことができる。理解されるように、測定された色相値は、表面上のその特定の点によって反射され、画像化デバイスによって捕捉された光の波長に直接関係する場合がある。

いくつかの例示的な実装形態では、多次元データ３０６は、３次元場所データセット（ｘ、ｙ、ｚ）を含むことができ、場所データセットは、３次元のデカルト座標系またはガウスクルーガー座標系などに関する経度、緯度、および高度を含む。前述のように、好ましくは、測定された画像データは、１つ以上の測定された特徴値（例えば、３次元場所を有する点で検査デバイスによって測定された色相値を表す変数ｄ）を含む。

ルーチン３００のステップ３１０において、多次元画像データによって表される表面は、複数の個別のサブ領域に分割される。より具体的には、好ましくは表面分割モジュール２９０を含むソフトウェアモジュールの１つ以上を実行することによって構成されるプロセッサ２４０は、表面分割モデルに従って表面３１１を整数の平行四辺形平面３１２に分割することができる。図４Ｂは、画像データによって表される表面３１１（上部に部分（ａ）として示されている）を図形的に示す。図４Ｂはまた、複数の平行四辺形平面３１２（中間部に部分（ｂ）として示されている）に分割された表面も示す。いくつかの実施形態では、平行四辺形は長方形であるが、平行四辺形は正方形でもよい。

さらに、ステップ３１５において、表面３１２の各平行四辺形をさらに三角形に分割することができる。より具体的には、好ましくは表面分割モジュール２９０を含むソフトウェアモジュールの１つ以上を実行することによって構成されるプロセッサ２４０は、それぞれの平行四辺形の対角線の１つによって表面４１２の平行四辺形のネットワークを２つの三角形にさらに分割することができる。

いくつかの実施形態では、プロセッサは、表面分割モデルのパラメータを定義するように構成することができる。例えば、構成されたプロセッサは、平行四辺形の数ならびに平行四辺形のサイズおよび形状を定義できる。より具体的には、表面分割モデルは、構成されたプロセッサによって、測定された領域の寸法（例えば、表面のサイズおよび／またはその形状）の関数として定義することができる。

例えば、長方形のネットワークは、画像（または、より一般的にはデータセット）を元の画像（またはデータセット全体）と同じアスペクト比（または複数のアスペクト比）を有する整数の長方形に細分することによって定義することができる。例えば、画像のサイズが４００×３００ピクセルの場合、サイズ４０×３０ピクセルの１００個の長方形、またはサイズ４×３ピクセルの１０，０００個の長方形などに分割することができる。画像（またはデータセット）の領域全体を整数の長方形（または正方形）によって完全に覆うことができない場合、その後近似または無視を行うことができる。図４Ｂは、表面３１２を細分する平行四辺形の頂点を形成する制御点４２０の例示的な組をさらに示す。

追加または代替として、構成されたプロセッサは、画像を分析用の目標解像度および処理された画像の詳細レベルの関数として、特定の数およびサイズを有する平行四辺形平面のネットワークに細分するモデルを定義することができる。例えば、平行四辺形のネットワーク、したがって三角形のネットワークの解像度は、基準平面の減算による画像分析を通じて分離および露出される特徴の特性（例えば、サイズ、連続性など）の関数として定義することができる。より具体的には、本明細書でさらに説明するように、より多くの細分（すなわち、平行四辺形）により、元の画像から減算したときに、元の画像から平滑化され、結果として生じる、処理された画像内の個別の平行四辺形内で発生する変化のみを強調表示する、より多くの量の画像データ（例えば、特徴）を得ることができるより詳細な「基準平面」画像を得ることができる。したがって、表面分割モデルのパラメータの調整により、システムを使用して、開示される実施形態を多種多様な検査用途に役立てる様々な種類の特性を有する画像データ内の特徴を選択的に分離および検出することを可能にする。

図４Ｂは、一例として、実線の対角線４２５に沿って２つの三角形に分割された頂点４２０ａ、４２０ｂ、４２０ｃ、および４２０ｄを有する表面４１２の特定の平行四辺形４１４の拡大概念図を示す。破線４２７は、平行四辺形を三角形平面に分割するための代替オプションを示す。したがって、三角形に細分された平行四辺形のネットワークは、集合的に三角形平面ネットワークを形成し、各三角形は表面の平面を表す。三角形のネットワークは、それらの空間的な関係に従って表面特徴をシミュレーションし、あらゆる曲面をシミュレーションするために有限数の三角形平面を使用することができるため、表面データを処理するための効率的な手段になり得る。例示的な実装形態では、表面の所定の領域を表すデータ点は、検査中の表面の特定の物理的特性を表す測定値ｚ（例えば、色相値）を各々有する。

図４Ｃは、表面４１２の三角形のネットワーク表現を定義するステップ３１５で生成された三角形のサブセットを示す。図４Ｃに示される例示的な実装形態では、ネットワーク内の平行四辺形の対角線は互いに平行であるが、代替の配設が可能である。さらに、平行四辺形が長方形または正方形である実装形態は、図４Ｃに示すように、直角三角形のネットワークをもたらすことが理解できる。直角三角形のネットワークは、データ構造の冗長性を低減し、記憶領域を節約し、表面分割および近似アルゴリズムの堅牢性を改善することができる。

次に、ステップ３２０において、それぞれの三角形平面の近似特徴値を計算する。所定の平面に対する特徴値の計算は、所定の平面によって表される表面の部分に対する、測定された特徴値の近似値を生成する役割を果たす。具体的には、好ましくは、特徴検出モジュール２９２を含む１つ以上のソフトウェアモジュールを実行することによって構成されるプロセッサ２４０は、それぞれの三角形平面によって表される画像化された表面の部分に対する近似特徴値を計算することができる。本明細書でさらに説明するように、近似特徴値は、三角形平面方程式に従って計算することができる。

図４Ｃは、ステップ３１５で定義された三角形のネットワークの直角三角形４３０を示し、破線は、さらに三角形のネットワークの一部を形成する隣接三角形を示す。ネットワークの三角形の各々に対する特徴値Ｚは、測定されたデータ点に対応することができる、三角形の頂点に従って計算することができる。また、近似特徴値Ｚは、１つ以上の値、ベクトル表現、あるいは測定値を表す方程式またはその近似値であり得ることも理解されたい。例えば、三角形４３０などの三角形は平面を定義するため、平面の方程式は、例えば、次のように指定された特徴間の関係を使用する、これらに限定されない頂点４３２ａ、４３２ｂ、および４３２ｃのデータ点から推定することができる。

方程式１：ａ＝ｘ_ａ、ｙ_ａ、ｚ（ｘ_ａ、ｙ_ａ）
方程式２：ｂ＝ｘ_ｂ、ｙ_ｂ、ｚ（ｘ_ｂ、ｙ_ｂ）
方程式３：ｃ＝ｘ_ｃ、ｙ_ｃ、ｚ（ｘ_ｃ、ｙ_ｃ）

より具体的には、方程式１、２、および３では、ａ、ｂ、およびｃは三角形の１つの頂点を各々表す。例えば、方程式１には、データ点４３２ａの測定された特徴値ｚ（ｘ_ａ、ｙ_ａ）を有する場所データ（ｘ_ａ、ｙ_ａ）を含むが、方程式２および方程式３には、それぞれデータ点４３２ｂおよび４３２ｃの同じデータ構造に同じ情報を有する。ａｂおよびａｃは、三角形の２つの縁部であり、方程式４および５に示されるように、ベクトル

と

は同じ平面上の２つのベクトルを表す。

と

のクロス乗積は、「点および法線」ベクトルとしても当該分野で知られている方程式６に示すように、デカルト座標系における三角形平面の係数行列を定義する。集合的に、方程式１〜６は、多次元データの個々の点を三角形平面として近似する役割を果たし、複数の三角形平面は、表面の多次元画像を共に近似する。上記の手法以外の手法もあり、そのため、方程式１〜６は単なる一例である。平面は、例えば、次の関係を使用して表すことができる。

上記の３次元平面の式は、代わりに次の例示的な公式で表すことができる。

方程式８：Ａｘ＋Ｂｙ＋Ｃｚ＝Ｄ

したがって、所定の平面内のデータ点の特徴値は、平面の公式を使用して近似することができる。Ｚがデータ点の近似特徴値を表すとする。表面データの任意の所定の三角形平面では、方程式９に示される公式変換を使用して近似Ｚ値を計算することができ、方程式８では、ｚをＺ（ｘ_ｉ、ｙ_ｉ）に置き換える。

前述のように、例示的な実際のＮＤＴアプリケーションでは、近似Ｚ値は色相を表すことができる。事実上、各平面の近似Ｚ値を計算することにより、各平面内の点に対する色相値の近似表現を生成する役割を果たす。さらに、そのように近似された三角形平面の連続ネットワークは、表面画像データのセット全体の近似表現を生成する役割を果たす。

個々の平面のサイズを調節して画像の解像度を調整し、異なる種類の特徴を選択的に強調表示することに加えて、個々の平面を近似するための特定の数学的アルゴリズムも、本技術の特定の用途に従って調整することができることが理解されるべきである。

次に、ステップ３２５において、元の表面データから調整された特徴値を生成する。ステップ３２５では、表面上のそれぞれの場所で表面画像の顕著な特徴を効果的に強調表示し、かつ分離する。具体的には、例示的な一実装形態では、好ましくは、特徴検出モジュール２９２を含む１つ以上のソフトウェアモジュールを実行することによって構成されるプロセッサ２４０は、基線／基準平面の減算によって、表面画像のそれぞれのデータ点に対する調整された特徴値Ｖを計算することができる。より具体的には、構成されたプロセッサは、対応するｘ座標およびｙ座標を有する表面画像データセットの各点の観測されたｚ値から、それぞれの平面の近似Ｚ値を減算することができ、そのような差は調整された特徴値Ｖとして定義される。

個々のデータ点に対する調整された特徴値Ｚを計算するための例示的な数学的な関係を、方程式１０に示す。

方程式１０：Ｖ＝ｚ（ｘ_ｉ、ｙ_ｉ）−Ｚ（ｘ_ｉ、ｙ_ｉ）

いくつかの実装形態では、元の表面画像データセットによって表される、測定された特徴値ｚは、絶対値（例えば、測定された大きさ）であり、基線の減算の結果として、調整された特徴値Ｚは、対応する三角形平面の近似特徴値Ｖに対して相対的であることが理解されるべきである。また、データ点に対する調整された特徴値Ｚをさらに改良するために、追加の処理を実施し得ることをさらに理解するべきである。例えば、色相の調整された特徴値は、既知の数学的関係に基づいて変位の測定値に変換することができる。期待値（例えば、変形していない構造体に対応する期待特徴値または変位）を、（例えば、変位の大きさのみを絶対値として定量化するために）基線の減算によって計算された、調整された特徴値から減算することができる、「風袋」動作を実施することができる。また、追加のデータ処理および処理ステップを実施して、結果として生じるデータセットをさらに改良する、および／またはデータを代替の形式または測定値に変換し得ることをさらに理解するべきである。

さらなる例として、図４Ｄは、３次元で表す頂点４４０ａ、４４０ｂおよび４４０ｃを有する表面４１２の特定の三角形面４４２、および上述の３つの測定されたデータ点から判定された頂点４４０ａ’、４４０ｂ’および４４０ｃ’を有する三角形平面の対応する２次元表現４４４を図形的に示す。

図５Ａ〜図５Ｃは、ルーチン３００による処理の様々な段階における例示的な画像データの図形表現を示す。図５Ａは、観察／測定された特徴値を含み、三角形平面のネットワークに細分した（例えば、ステップ３１５で）例示的な表面画像データセット５１５を示す。図５Ｂは、ステップ３２０で計算された、それぞれの三角形平面に対する近似特徴値を含む例示的な表面画像データセット５２０を示す。図５Ｃは、図５Ｂに示されるように、近似特徴値Ｚに重ね合わせた、（図５Ａに示されるような）観察された特徴値ｚの基準平面の減算によって計算された、調整された特徴値を含む表面画像データセット５２５を示す（例えば、ステップ３２５で）。調整された特徴値は、調整された特徴値画像に存在する特徴の、対応する場所を強調表示するために、図５Ａの細分された表面画像の上に重ね合わせて示される。

表面画像データ分析のために開示された例示的なプロセスは、画像表面の細分、および結果として生じる、調整された特徴値のデータセット内にとどまるために、特定の三角形平面内で発生する、測定された特徴値の顕著な変化をもたらす表面近似とそれに続く基準平面の減算のステップを含む特定の手法を提供する。さらに、個々の三角形のサイズよりも大きい領域で発生する特徴値の変化は、減算後に少なくとも部分的に平滑化される。したがって、急速な変化（つまり、特定の三角形平面内で発生するｚの変化）は、「より遅い」変化（例えば、より広い領域に及ぶ変化）に対して強調表示される。ただし、より大きな領域に及ぶこのようなより遅い変化の大きさによっては、そのような変化は、強調されていないとは言え、結果として生じる、調整された特徴値のデータセットに依然として存在し得ることが理解できる。したがって、調整された特徴値のデータセットで特定の特徴が表されるかどうかは、大きさおよびサイズ／面積の両方の関数となり得る。

最終的に、基準平面／基線近似および次の減算は、表面全体で共有され、ステップ３２０で生成され、ステップ３２５で減算される表面画像の基線近似で表す特徴値を除去する役割を果たす。表面近似および基線の減算についての特定の方法の結果として、環境または検査条件およびその変化（例えば、検査中の画像化された表面に対する検査デバイスの距離または角度、照明条件、表面の特定の輪郭、温度など）から一般的に生じる可能性がある、より大きな領域に存在する特徴値の変化は、調整された特徴量のデータセットを含む最終処理データセット内で同様に平滑化（例えば、強調）される。したがって、多くの変化する環境条件および検査条件を考慮する必要がなく、材料変形などの顕著な特徴の検出および分離の精密度を犠牲にすることもないので、ステップの特定の組み合わせにより、数学的に単純化され、より効率的にレンダリングされた堅牢な特徴検出プロセスをもたらす。実用的な観点からは、環境条件および検査条件の変化に関係なく特徴データ値を測定および捕捉できるため、検査プロセスも動作上より効率的である。

実際のＮＤＴアプリケーションに関しては、材料変形から生じる特徴値は、通常、近似特徴値とは大幅に異なり、一方材料変形に対応しない特徴値（および特徴値の変化）は、近似値に近い特徴値を測定した。したがって、材料変形に対応する特徴値は、基線の減算後の最終画像データ（つまり、三角形平面の近似特徴値）に残り、結果として生じる、処理された表面画像に急激な変化として示される。より具体的には、測定値がそれぞれの平面に対する近似値から大きく逸脱し、処理された画像にピークとして現れる可能性があるため、表面変形は「鋭い」値を有すると説明できる。比較すると、他の環境変化（例えば、材料の形状の根本的な変化または検査角度などの検査条件の変形）から生じる測定値は、近似値から大きく逸脱しない。

図５Ｃは、基線の減算後の表面画像データに残る例示的な鋭い特徴値の変化を示す。前述のように、場合によっては、特徴値の変化は三角形平面の境界を越えない、つまり、１つの三角形平面の境界内または境界上に残る。図５Ｃの左側のピーク５５０は、三角形平面の境界（例えば、隣接する三角形間の境界）を超えない例示的な鋭い値である。いくつかの例示的な実装形態では、特徴値の変化は複数の三角形平面を超え、基線の減算後、処理された画像に鋭い特徴として残る。図５Ｃの右側のピーク５５５は、複数の三角形平面を超える例示的な鋭い特徴値である。前述のように、複数の三角形平面を超える特徴値の急激な変化は、基線の減算を通じてある程度平滑化されており（例えば、大きさの減少）、一方、単一の三角形内の鋭い値は比較的影響を受けないままである。

ステップ３３０では、表面の処理された多次元画像を生成することができる。より具体的には、好ましくは、画像生成モジュール２９４を含むソフトウェアモジュールの１つ以上を実行することによって構成されるプロセッサ２４０は、各々のデータ点の調整された特徴値Ｖに基づいて表面を示す図形表現（例えば、画像）を生成することができる。理解できるように、各データ点の調整された特徴値Ｚに基づいて表面の処理された多次元画像を生成することを通じて、表面の処理された多次元画像を定義するデータセットは、提供された画像データのデータセットとは異なる。図５Ｄは、調整された特徴値Ｖを示す処理された多次元画像５３０の例示的な図形表示である。

さらなる例として、図５Ｅは、表面画像データの三角形化された図形表現上に重ね合わせた、処理された表面画像データの３次元図形表現である。具体的には、図５Ｅは、鋭い特徴値の変化を表す調整された特徴値が、基線の減算後のデータセットに残り、鋭い特徴値の変化の両方のインスタンスが三角形平面の境界を越えない（例えば、１つの三角形平面の境界内または境界上にとどまっている）代替例を示す。図５Ｆは、表面画像データの三角形化されたマップ上に重ね合わせることなく、調整された特徴値Ｖを示す、処理された多次元画像５３０を図形的に示す。

いくつかの実装形態では、プロセッサによって生成された、処理された多次元画像は、例示的なルーチン３００の様々なステップで生成された情報のいくつかの層を含むことができる。例えば、図５Ｇに示すように、情報の層は、場所データ層５７５、表面画像の細分を示す三角形のネットワーク層５７０、元の測定された特徴値層５８０（例えば、それぞれの場所に対する色相の測定値を示す元の表面画像）、および調整された特徴値に基づいて生成された最終表面画像層５８５を含むことができる。構成されたプロセッサは、最終的に処理された画像および層を共にまたは別々に出力する。さらに、生成された画像は、当技術分野で理解されるように、ベクトルデータまたはラスタデータとしてフォーマットすることができる。

ステップ３３５では、好ましくは、表面の処理された多次元画像を含む１つ以上の画像層は、コンピューティングデバイス２００のディスプレイ２７０を使用してプロセッサ２４０によって出力することができる。より具体的には、ディスプレイ２７０を使用するプロセッサ２４０は、最終的に処理された画像をオペレータに図形的に出力し、それにより、ルーチン３００のステップ３０５〜３３０に従って検出および分離された、材料変形に対応する元の表面画像からの特徴を図形的に提示することができる。例えば、図形出力は含むことができる

既存の技術は主に頻度に基づいて特徴の平均化、平滑化、分離に集中し、それらが環境条件および検査条件の変化を監視および数学的に調整する必要があるという点でさらに制限される場合があるが、前述の開示された実施形態は、当技術分野では型破りであり、とりわけ、精密度および処理効率の点で実用的な利点を達成する特定の手法に従って特定の組のルールを適用する。より具体的には、顕著な態様によれば、計算された、調整された特徴値Ｚに基づいて生成された、処理された多次元画像は、複数の三角形平面を含む領域で発生する、測定された特徴値ｚの変化と比較して、より大きな強調を有する所定の三角形平面内で発生する、測定された特徴値ｚの変化を図形表現で示す。さらに、ＮＤＴの実装で開示されたシステムおよび方法によって達成される利点には、検査条件変数、すなわち照明、検査デバイスと材料の相対的な配向、検査デバイスと材料の距離などの変化に関係なく変形を識別するための能力を含む。さらなる結果として、検査デバイスは、（例えば、近接センサ、角度センサ、さらに特定の光源を使用して）検査条件を監視するためのセンサを必ずしも必要としないため、計算の観点からだけでなく、動作の観点からも、変形分析が簡素化され、かつより効率的になる。

本システムおよび方法の例示的な実施形態および配設は、とりわけ、画像化された構造体の変形を検出するために多次元表面画像データを分析するためのシステムおよびコンピュータ実装方法、コンピュータシステム、およびコンピュータプログラム製品を提供する。図中のフローチャートおよびブロック図は、様々な実施形態および配設によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示す。この点について、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、またはコードの一部を表し得、これらは、指定された論理機能（複数可）を実装するための１つ以上の実行可能な命令を含む。また、いくつかの代替的な実装形態では、ブロック中に記載された機能は、図中に記載された順序とは異なる順序で行われ得ることにも留意されたい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、または各ブロックは、場合によっては、含まれる機能性に応じて、逆の順序で実行されてもよい。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、特定の機能もしくは動作を行う特殊目的ハードウェアベースシステム、または特殊目的ハードウェアとコンピュータ命令との組み合わせによって実装され得ることにも留意することになる。

本明細書に開示されたいずれの構造および機能の細目も、システムおよび方法を限定するものとして解釈されるべきではなく、むしろ、当業者に、方法を実装するための１つ以上のやり方を教示するための典型的な実施形態および／または構成として提供されていることを理解されたい。

上述の主題は、単に例示として提供されており、限定されるものと解釈されるべきではない。本明細書に使用されている専門用語は、特定の実施形態のみを説明する目的のものであり、本発明を限定することを意図されるものではない。本明細書で使用される際、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上、他の意味を示すことが明らかな場合を除き、複数形も含むことが意図されるものである。さらに、本明細書で使用するとき、用語「備える」および／または「備えている」は、記載する特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことが理解される。

また、本明細書に使用されている表現および専門用語は、説明目的のものであり、限定するものと見なされるべきではない。本明細書における「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（備える）」、または「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含む）」、「ｉｎｖｏｌｖｉｎｇ（伴う）」、およびそれらの異形の使用は、それ以降に挙げられた項目、およびその均等物、ならびに追加項目を包含することを目的としている。

いくつかの特定の例および実施形態を使用して本発明を上記で説明したが、当業者には明らかな変更および変形が存在する。そのため、説明された実施形態は、あらゆる点で例示的であり、限定的ではないと見なされるべきである。したがって、本発明の範囲は、前述の説明ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の同等の意味および範囲内にあるすべての変化は、それらの範囲内に含まれるものとする。

240 プロセッサ
250 回路基板
255 メモリ
260 通信インターフェース
265 記憶装置
270 ディスプレイ
275 ユーザインターフェース
280 オーディオ出力
290 表面分割モジュール
292 特徴検出モジュール
294 画像生成モジュール
296 通信モジュール

一態様では、光学検査デバイスを使用して捕捉された構造体の多次元画像データから構造体の変形を検出するためのコンピュータ実装方法が提供される。具体的には、この方法には、プロセッサで構造体の表面の多次元画像データを提供するステップを含み、画像データには、光学検査デバイスを使用して測定される複数のデータ点を含む。より具体的には、各データ点には、１）それぞれのデータ点が少なくとも２つの次元で捕捉された、表面上のそれぞれの場所を識別する場所データ、および２）検査デバイスを使用して測定されたそれぞれのデータ点に対する、少なくともそれぞれのｚ値を含む特徴値データを含む。この方法にはまた、プロセッサを用いて、表面分割モデルを画像データに適用するステップも含む。より具体的には、表面分割モデルの適用には、画像データによって表される表面を複数の平行四辺形平面に分割するステップと、平行四辺形平面の各々をそれぞれ２つの三角形平面に細分するステップと、を含む。この方法にはまた、プロセッサを用いて、三角形平面各々に対するそれぞれの近似特徴値Ｚを計算するステップも含む。より具体的には、それぞれの三角形平面の特徴値は、それぞれの三角形平面内のデータ点のうちの１つ以上の測定された特徴値ｚに基づいて計算される。この方法にはまた、近似特徴値Ｚに基づいたプロセッサを用いて、複数のデータ点の各々に対する調整された特徴値Ｖを計算するステップも含む。より具体的には、それぞれのデータ点に対する調整された特徴値Ｖは、それぞれのデータ点に対する測定された特徴値ｚ、およびそれぞれのデータ点が中にある三角形平面の計算された近似特徴値Ｚに基づいて計算される。この方法にはまた、処理された多次元画像のデータセットが、提供された画像データ内のデータセットとは異なる、表面の処理された多次元画像を生成するステップも含む。より具体的には、表面の多次元画像は、各データ点の調整された特徴値Ｖに基づいてプロセッサで生成される。この方法にはまた、表面の処理された多次元画像プロセッサによってディスプレイ上に出力されるステップを含み、処理された多次元画像は、画像データの表面分割モデルの特定の三角形平面内の表面の検出された変形を図形表現で示す。

ソフトウェアモジュールにはまた、プロセッサによって実行されたときに、三角形平面の各々に対するそれぞれの近似特徴値Ｚを計算するようにプロセッサを構成する特徴検出モジュールも含む。具体的には、それぞれの三角形平面に対する近似特徴値Ｚは、それぞれの三角形平面内のデータ点のうちの１つ以上の測定された特徴値ｖに基づいて計算される。さらに、特徴検出モジュールは、複数のデータ点の各々に対する調整された特徴値Ｖを計算するようにプロセッサをさらに構成する。具体的には、それぞれのデータ点に対する調整された特徴値Ｖは、それぞれのデータ点に対する測定された特徴値ｚ、およびそれぞれのデータ点が中にある三角形平面の計算された近似特徴値Ｚに基づいて計算される。

ソフトウェアモジュールにはまた、プロセッサによって実行されたときに、各データ点の調整された特徴値Ｖに基づいて、処理された多次元画像が提供された画像データ内のデータセットとは異なる、表面の処理された多次元画像を生成するようにプロセッサを構成する画像生成モジュールも含む。画像生成モジュールはまた、ディスプレイを使用して、表面の処理された多次元画像を出力するようにプロセッサを構成する。より具体的には、処理された多次元画像は、画像データの表面分割モデルの特定の三角形平面内の表面の検出された変形を図形表現で示す。

個々のデータ点に対する調整された特徴値Ｖを計算するための例示的な数学的な関係を、方程式１０に示す。

いくつかの実装形態では、元の表面画像データセットによって表される、測定された特徴値ｚは、絶対値（例えば、測定された大きさ）であり、基線の減算の結果として、調整された特徴値Ｖは、対応する三角形平面の近似特徴値Ｚに対して相対的であることが理解されるべきである。また、データ点に対する調整された特徴値Ｖをさらに改良するために、追加の処理を実施し得ることをさらに理解するべきである。例えば、色相の調整された特徴値は、既知の数学的関係に基づいて変位の測定値に変換することができる。期待値（例えば、変形していない構造体に対応する期待特徴値または変位）を、（例えば、変位の大きさのみを絶対値として定量化するために）基線の減算によって計算された、調整された特徴値から減算することができる、「風袋」動作を実施することができる。また、追加のデータ処理および処理ステップを実施して、結果として生じるデータセットをさらに改良する、および／またはデータを代替の形式または測定値に変換し得ることをさらに理解するべきである。

ステップ３３０では、表面の処理された多次元画像を生成することができる。より具体的には、好ましくは、画像生成モジュール２９４を含むソフトウェアモジュールの１つ以上を実行することによって構成されるプロセッサ２４０は、各々のデータ点の調整された特徴値Ｖに基づいて表面を示す図形表現（例えば、画像）を生成することができる。理解できるように、各データ点の調整された特徴値Ｖに基づいて表面の処理された多次元画像を生成することを通じて、表面の処理された多次元画像を定義するデータセットは、提供された画像データのデータセットとは異なる。図５Ｄは、調整された特徴値Ｖを示す処理された多次元画像５３０の例示的な図形表示である。

既存の技術は主に頻度に基づいて特徴の平均化、平滑化、分離に集中し、それらが環境条件および検査条件の変化を監視および数学的に調整する必要があるという点でさらに制限される場合があるが、前述の開示された実施形態は、当技術分野では型破りであり、とりわけ、精密度および処理効率の点で実用的な利点を達成する特定の手法に従って特定の組のルールを適用する。より具体的には、顕著な態様によれば、計算された、調整された特徴値Ｖに基づいて生成された、処理された多次元画像は、複数の三角形平面を含む領域で発生する、測定された特徴値ｚの変化と比較して、より大きな強調を有する所定の三角形平面内で発生する、測定された特徴値ｚの変化を図形表現で示す。さらに、ＮＤＴの実装で開示されたシステムおよび方法によって達成される利点には、検査条件変数、すなわち照明、検査デバイスと材料の相対的な配向、検査デバイスと材料の距離などの変化に関係なく変形を識別するための能力を含む。さらなる結果として、検査デバイスは、（例えば、近接センサ、角度センサ、さらに特定の光源を使用して）検査条件を監視するためのセンサを必ずしも必要としないため、計算の観点からだけでなく、動作の観点からも、変形分析が簡素化され、かつより効率的になる。

Claims (17)

1. 構造体の変形を、光学検査デバイスで捕捉された前記構造体の表面の多次元画像データから検出するためのコンピュータ実装方法であって、
   プロセッサで前記多次元画像データを提供することであって、前記画像データが、前記光学検査デバイスを使用して測定された複数のデータ点を含み、各データ点が、
   少なくとも２つの次元で、それぞれのデータ点が捕捉された前記表面上のそれぞれの場所を識別する場所データと、
   前記検査デバイスを使用して測定された前記それぞれのデータ点に対する少なくともそれぞれの特徴値ｚを含む特徴値データと、を含む、提供することと、
   前記プロセッサを用いて、
   前記画像データによって表される前記表面を複数の平行四辺形平面に分割するステップと、
   前記平行四辺形平面の各々を２つの三角形平面にそれぞれ細分するステップと、を含む、表面分割モデルを前記画像データに適用することと、
   前記プロセッサを用いて、前記三角形平面の各々に対する近似特徴値Ｚを計算することであって、それぞれの三角形平面に対する前記近似特徴値が、前記それぞれの三角形平面内の前記データ点のうちの１つ以上の前記測定された特徴値に基づいて計算される、計算することと、
   前記プロセッサを用いて、前記特徴値に基づいて、前記複数のデータ点の各々に対する調整された特徴値Ｖを計算することであって、それぞれのデータ点に対する前記調整された特徴値が、前記それぞれのデータ点に対する前記測定された特徴値ｚ、および前記それぞれのデータ点が中にある三角形平面に対する前記計算された近似特徴値Ｚに基づいて計算される、計算することと、
   前記プロセッサを用いて、各データ点の前記調整された特徴値Ｖに基づいて、前記表面の処理された多次元画像を生成することであって、前記処理された多次元画像のデータセットが、前記提供された画像データのデータセットとは異なる、生成することと、
   図形表示を使用して前記プロセッサを用いて、前記表面の前記処理された多次元画像を出力することであって、前記処理された多次元画像が、前記細分された画像データのそれぞれの三角形平面内の前記表面の前記検出された変形を図形表現で示す、出力することと、を含む、方法。
2. 前記処理された多次元画像に含めるために前記調整された特徴値Ｚを計算する前記ステップが、所定の三角形面およびそのそれぞれのデータ点の各々について、前記それぞれのデータ点ごとに、前記測定された特徴値ｚからの前記計算された近似特徴値Ｖの基線の減算をさらに含む、請求項１に記載の方法。
3. 前記それぞれの三角形平面に対する前記近似特徴値Ｚが、三角形平面方程式に従って、かつ前記それぞれの三角形平面のそれぞれの頂点に対応する測定されたデータ点に基づいて計算される、請求項１に記載の方法。
4. 前記調整された特徴値Ｖに基づいて生成された、前記処理された多次元画像が、複数の三角形平面を含む領域で発生する、測定された特徴値ｚの変化と比較してより大きな強調を有する所定の三角形平面内で発生する、測定された特徴値ｚの変化を図形表現で示す、請求項１に記載の方法。
5. 前記プロセッサを用いて、前記画像データによって表される前記表面の寸法および前記画像データから検出される変形に対応する特徴のサイズの関数として、前記複数の平行四辺形平面の数を特定する前記表面分割モデルを生成することをさらに含む、請求項１に記載の方法。
6. 前記提供するステップが、
   前記検査デバイスを使用して、前記光学検査デバイスを使用して前記複数のデータ点を測定することと、
   前記多次元画像データを生成することと、を含む、請求項１に記載の方法。
7. 前記特徴値データが、前記検査デバイスを使用して捕捉された回折放射の色相の測定値である、請求項６に記載の方法。
8. 前記平行四辺形平面の形状が長方形である、請求項１に記載の方法。
9. 前記三角形平面が直角三角形平面である、請求項１に記載の方法。
10. 各平行四辺形平面が、その２つの頂点間に延びる対角線に沿ってさらに分割され、その結果、前記対角線が２つのそれぞれの三角形平面の共有エッジを画定する、請求項１に記載の方法。
11. それぞれの三角形平面に対する前記計算された近似特徴値Ｚが、値、ベクトル、および方程式のうちの１つ以上として表され、前記それぞれの三角形平面内に位置付けられている１つ以上のデータ点の前記測定された特徴値ｚから計算される、請求項１に記載の方法。
12. 前記それぞれの三角形平面に対する前記近似特徴値Ｚが、前記それぞれの三角形平面の３つの頂点に位置付けられているデータ点の前記測定された特徴値ｚから計算される、請求項１に記載の方法。
13. 構造体の変形を、光学検査デバイスで捕捉された前記構造体の表面の多次元画像データから検出するためのシステムであって、
    コンピュータ可読記憶媒体と、
    通信インターフェースと、
    ディスプレイと、
    前記記憶媒体にアクセスするように構成され、前記通信インターフェースおよび前記ディスプレイと動作可能に通信する１つ以上のプロセッサと、
    前記記憶媒体に記憶され、前記プロセッサによって実行可能なソフトウェアモジュールと、を備え、前記ソフトウェアモジュールが、
    前記プロセッサによって実行されたとき、前記通信インターフェースを使用して、前記光学検査デバイスを使用して測定された複数のデータ点を含む前記多次元画像データを受信するように前記プロセッサを構成し、前記データ点が、少なくとも２つの次元で、それぞれのデータ点が捕捉された前記表面上のそれぞれの場所を識別する場所データ、および前記検査デバイスを使用して測定された前記それぞれのデータ点の少なくともそれぞれの特徴値ｚを含む特徴値データを含む、通信モジュールと、
    前記プロセッサによって実行されたとき、前記画像データによって表される前記表面を、表面分割モデルに従って複数の平行四辺形平面に分割し、前記平行四辺形平面の各々を２つの三角形平面にそれぞれ細分するように前記プロセッサを構成する、表面分割モジュールと、
    前記プロセッサによって実行されたとき、前記三角形平面の各々に対するそれぞれの近似特徴値Ｚを計算するように前記プロセッサを構成し、それぞれの三角形平面に対する前記近似特徴値Ｚが、前記それぞれの三角形平面内の前記データ点のうちの１つ以上の測定された特徴値ｚに基づいて計算される、特徴検出モジュールであって、前記複数のデータ点の各々に対する調整された特徴値Ｖを計算するように前記プロセッサをさらに構成し、それぞれのデータ点に対する前記調整された特徴値Ｚが、前記それぞれのデータ点に対する前記測定された特徴値ｚおよび前記それぞれのデータ点が中にある三角形平面に対する前記計算された近似特徴値Ｖに基づいて計算される、特徴検出モジュールと、
    前記プロセッサによって実行されたとき、各データ点の前記調整された特徴値Ｖに基づいて、処理された多次元画像のデータセットが前記受信された画像データのデータセットとは異なる、前記表面の前記処理された多次元画像を生成するように前記プロセッサを構成し、前記ディスプレイを使用して、前記表面の前記処理された多次元画像を出力するように前記プロセッサをさらに構成する、画像生成モジュールであって、前記処理された多次元画像が、前記表面のそれぞれの三角形平面内の前記検出された前記表面の変形を図形表現で示す、画像生成モジュールと、を含む、システム。
14. 前記それぞれの三角形平面に対する前記近似特徴値Ｚが、三角形平面方程式に従って、かつ前記それぞれの三角形平面のそれぞれの頂点に対応する測定されたデータ点に基づいて計算される、請求項１３に記載のシステム。
15. 前記処理された多次元画像に含まれる前記調整された特徴値Ｖが、所定の三角形平面について、前記所定の三角形平面のそれぞれのデータ点に対する前記測定された特徴値ｚから、前記計算された近似特徴値Ｚの基線の減算によってさらに計算される、請求項１３に記載のシステム。
16. 前記複数のデータ点を測定し、前記多次元画像データを生成するように構成された光学検査デバイスをさらに備える、請求項１３に記載のシステム。
17. 前記表面分割モジュールが、前記画像データによって表される前記表面の寸法および前記画像データから検出される変形に対応する特徴のサイズの関数として、前記複数の平行四辺形平面の数を特定する前記表面分割モデルを生成するように前記プロセッサをさらに構成する、請求項１３に記載のシステム。

Images