JP2012220496A

JP2012220496A - 目視される物体の表面に関する３次元データの品質の指示を表示するための方法およびデバイス

Info

Publication number: JP2012220496A
Application number: JP2012084402A
Authority: JP
Inventors: Alexander Bendall Klerk; クラーク・アレキサンダー・ベンドール
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2011-04-06
Filing date: 2012-04-03
Publication date: 2012-11-12
Also published as: CA2773762A1; US20120256901A1; EP2509046A2; US8411083B2; EP2509046A3; CN102840838A

Abstract

【課題】目視される物体の表面に関する３次元データの品質の指示を表示するための方法およびデバイスを提供する。
【解決手段】目視される物体２０２の表面２１０の画像５００を獲得して、表示するステップであって、画像５００の複数のピクセル２３１、２３２、２３３、２３４は、目視される物体２０２上の複数の表面ポイント２２１、２２２、２２３、２２４に対応する、ステップと、複数の表面ポイントに対応する複数のピクセルの各ピクセルに関して、ピクセルに対応する表面ポイントに関する３次元座標が利用可能性であるかどうかを判定するステップと、ピクセル２３１に対応する表面ポイント２２１に関する３次元座標が利用可能でない各ピクセル２３１に関する第１のオーバーレイ２５０を表示するステップとを備える方法。
【選択図】図４

Description

本明細書で開示される主題は、目視される物体の表面に関する３次元データの品質の指示を表示するための方法およびデバイスに関する。

ビデオ内視鏡などのビデオ検査デバイスが、目視される物体の表面を検査して、その物体の損傷または磨耗からもたらされている可能性がある、表面上の不規則性を識別し、分析するのに使用され得る。多くの場合、表面は、近づきにくく、ビデオ検査デバイスを使用することなしに見ることができない。例えば、ビデオ内視鏡が、航空機上、または発電ユニットの上のタービンエンジンのブレードの表面を検査して、表面上に形成されている可能性がある不規則性を識別して、修理またはさらなるメンテナンスが要求されるかどうかを判定するのに使用され得る。その評価を行うために、表面および不規則性の非常に正確な寸法測定を獲得して、その不規則性が、その物体に関する実用上の限度、または要求される規格を超えていない、または外れていないことを検証することが、しばしば、必要である。

表面上の不規則性の寸法を特定するために、ビデオ検査デバイスが、その不規則性を示す、目視される物体の表面の２次元画像を獲得し、表示するのに使用され得る。表面のこの２次元画像が、表面上の関心対象の領域（例えば、不規則性の近くの）内を含め、表面上の複数のポイントの３次元座標（例えば、（ｘ，ｙ，ｚ））を与える表面の３次元データ（例えば、マップの形態の）を生成するのに使用されることが可能である。一部のビデオ検査デバイスにおいて、操作者は、測定モードでビデオ検査デバイスを操作して、測定スクリーンに入り、このスクリーンにおいて、操作者は、２次元画像上で関心対象の領域内にカーソルを置いて、その不規則性の幾何学的寸法を特定する。測定モードにおける検査中に測定を実行することに加えて、操作者は、測定モードに必ずしも入ることなしに画像を保存し、後の時点で測定を実行することもできる。

不規則性の正確な測定は、その測定を実行するのに選択された、その不規則性の近くの表面ポイントに関して正確な３次元座標が利用可能である場合に限って、実行され得る。例えば、表面のいくつかの領域内で、過度のターゲット距離、ピクセル飽和、シャドウイングなどのために３次元座標が利用できない可能性がある。他の領域において、３次元座標は利用できる可能性があるが、それらの座標の精度が、反射、または他の照明品質問題などのために、劣悪である可能性がある。操作者が、表面の２次元画像を見て、測定を実行する際、いずれの領域が、測定を実行すべき３次元座標を有さないか、または潜在的に不正確な３次元座標を有する区域を示すものは、存在しない。

測定を行っている間に、表面に関する３次元データの品質のこの指示がないと、操作者は、３次元座標が存在しない領域内に、または不正確な３次元座標が存在する領域内にカーソルを、そうとうは知らずに置く可能性がある。このことは、不正確な測定につながる可能性があり、あるいは、ビデオ検査デバイスが、３次元座標が利用可能でないと操作者に通知する事例において、操作者が正確な３次元データを有する別の画像を獲得することができるまで、測定プロセスを遅らせる。操作者が、より早期の検査中に保存された画像に対して測定を実行しており、関心対象の領域が、正確な３次元データを有さない場合、測定は、検査を再実行することを必要とせずには、実行され得ない可能性がある。したがって、測定を実行している間に、または後の測定のために画像を保存している間に、表面に関する３次元データの品質の指示を提供する必要性が存在する。

以上の説明は、単に一般的な背景情報として与えられており、主張される主題の範囲を特定する助けとして使用されることは意図していない。

米国特許第７，８２１，６４９号明細書

目視される物体の表面に関する３次元データの品質の指示を表示するための方法およびデバイスが開示され、表面ポイントに対応する画像のピクセル上にオーバーレイが表示されて、それらの表面ポイントの３次元座標の予測される精度、または利用可能性を示す。

１つの例示的な実施形態において、目視される物体の表面に関する３次元データの品質の指示を表示するための方法が開示される。この方法は、目視される物体の表面の画像を獲得して、表示するステップであって、その画像の複数のピクセルは、目視される物体上の複数の表面ポイントに対応する、ステップと、その複数の表面ポイントの３次元座標を決定するステップと、その複数の表面ポイントに対応する複数のピクセルの各ピクセルに関する精度値を決定するステップであって、この精度値は、そのピクセルに対応する表面ポイントの３次元座標の予測される精度に基づく、ステップと、精度値を有する複数のピクセルの各ピクセルに関して、その精度値が許容できる精度値の範囲を外れているかどうかを判定するステップと、精度値が許容できる精度値の範囲を外れている複数のピクセルの各ピクセルに関するオーバーレイを表示するステップとを備える。

別の例示的な実施形態において、目視される物体の表面に関する３次元データの品質の指示を表示するための方法は、目視される物体の表面の画像を獲得して、表示するステップであって、その画像の複数のピクセルは、目視される物体上の複数の表面ポイントに対応する、ステップと、その複数の表面ポイントに対応する複数のピクセルの各ピクセルに関して、そのピクセルに対応する表面ポイントに関する３次元座標が利用可能であるかどうかを判定するステップと、そのピクセルに対応する表面ポイントに関する３次元座標が利用可能でない各ピクセルに関する第１のオーバーレイを表示するステップとを備える。

さらに別の例示的な実施形態において、目視される物体の表面に関する３次元データの品質の指示を表示するためのデバイスが開示される。このデバイスは、目視される物体の表面の画像を獲得するための、その画像の複数のピクセルが、目視される物体上の複数の表面ポイントに対応するイメージャと、その複数の表面ポイントの３次元座標を決定し、その複数の表面ポイントに対応する複数のピクセルの各ピクセルに関する、そのピクセルに対応する表面ポイントの３次元座標の予測される精度に基づく精度値を決定し、精度値を有する複数のピクセルの各ピクセルに関して、その精度値が許容できる精度値の範囲を外れているかどうかを判定するための中央プロセッサユニットと、目視される物体の表面の画像、および精度値が許容できる精度値を外れている複数のピクセルの各ピクセルに関するオーバーレイを表示するためのモニタとを備える。

本発明の以上の簡単な説明は、１つまたは複数の例示的な実施形態による本明細書で開示される主題の簡単な概要を与えることだけを意図しており、特許請求の範囲を解釈する案内の役割、または本発明の範囲を規定する、または制限する役割はせず、本発明の範囲は、添付の特許請求の範囲によってだけ規定される。この簡単な説明は、後段の詳細な説明でさらに説明される例示的ないくつかの選定された概念を簡略化された形態で概説するように与えられる。この簡単な説明は、特許請求される主題の重要な特徴、または不可欠な特徴を特定することは意図しておらず、特許請求される主題の範囲を特定する助けとして使用されることも意図していない。特許請求される主題は、背景技術で述べたいずれかの欠点、またはすべての欠点を解決する実施形態に限定されない。

本発明の特徴が理解され得るように、本発明の詳細な説明が、いくつかの実施形態を参照して得られることが可能であり、それらの実施形態のいくつかは、添付の図面に示される。しかし、これらの図面は、本発明のいくつかの実施形態を示すに過ぎず、したがって、本発明の範囲は、他の同様に効果的な実施形態を包含するので、本発明の範囲を限定するものと考えられるべきではないことに留意されたい。これらの図面は、必ずしも一律の縮尺に従っておらず、概ね、本発明のいくつかの実施形態の特徴を例示することに重点を置いている。これらの図面において、同様の符号は、様々な図のすべてにわたって同様の部分を示すのに使用される。このため、本発明をさらに理解するために、これらの図面に関連して読まれる、後段の詳細な説明を参照することができる。

図１は、本発明の例示的な実施形態におけるビデオ検査デバイスを示すブロック図である。本発明の例示的な実施形態における、表面に関する３次元データの品質を示すオーバーレイを表示する、不規則性を有する目視される物体の表面の、ビデオ検査デバイスによって獲得された画像を示す図である。本発明の例示的な実施形態における、図２の画像に示される目視される物体の表面に関する３次元データの品質の指示を表示するための方法を示す流れ図である。本発明の別の例示的な実施形態における、表面に関する３次元データの品質を示すオーバーレイを表示する、不規則性を有する目視される物体の表面の、ビデオ検査デバイスによって獲得された画像を示す図である。本発明の別の例示的な実施形態における、図４の画像に示される目視される物体の表面に関する３次元データの品質の指示を表示するための方法を示す流れ図である。

目視される物体の表面に関する３次元データの品質の指示を表示するための方法およびデバイスが開示され、表面ポイントに対応する画像のピクセル上にオーバーレイが表示されて、それらの表面ポイントの３次元座標の予測される精度、または利用可能性を示す。この方法およびデバイスの開示されるいくつかの実施形態の実施において実現され得る利点は、ビデオ検査デバイスの操作者が、測定を実行している間に、または後の測定のために画像を保存している間に、表面のいずれの領域が正確な３次元データを有するかを知ることである。

図１は、本発明の例示的な実施形態におけるビデオ検査デバイス１００のブロック図である。図１に示されるビデオ検査デバイス１００は、例示的であること、および本発明の範囲は、いずれの特定のビデオ検査デバイス１００にも限定されず、ビデオ検査デバイス１００内の構成要素のいずれの特定の構成にも限定されないことが理解されよう。

ビデオ検査デバイス１００は、挿入管１１０と、挿入管１１０の遠位端に配置されたヘッドアセンブリ１２０とを備える細長いプローブ１０２を含むことが可能である。挿入チューブ１１０は、ヘッドアセンブリ１２０とプローブ電子部品１４０の間のすべての相互接続が通される柔軟性のある管状のセクションであることが可能である。ヘッドアセンブリ１２０は、目視される物体２０２からイメージャ１２４上に光を誘導し、焦点を合わせるためのプローブ光学部品１２２を含む。プローブ光学部品１２２は、例えば、単一レンズ、または複数の構成要素を有するレンズを備えることが可能である。イメージャ１２４は、目視される物体２０２の画像を獲得するためのソリッドステートＣＣＤ画像センサもしくはソリッドステートＣＭＯＳ画像センサであることが可能である。

着脱可能な先端部１３０もしくはアダプタが、ヘッドアセンブリ１２０の遠位端に配置されることが可能である。着脱可能な先端部１３０は、目視される物体２０２からイメージャ１２４上に光を誘導し、焦点を合わせるようにプローブ光学部品１２２と連携して機能する先端部目視光学部品１３２（例えば、レンズ、窓、または開口）を含むことが可能である。また、着脱可能な先端部１３０は、ビデオ検査デバイス１００のための光源が、先端部１３０から、またはプローブ１０２から目視される物体２０２に光を通すための光通過要素（図示せず）から発せられる場合、照明ＬＥＤ（図示せず）を含むことも可能である。また、先端部１３０は、カメラの視野、および光出力を側面に向ける導波路（例えば、プリズム）を含むことによって、側面目視のための能力をもたらすことも可能である。また、先端部１３０は、目視される物体の３次元データを決定する際に使用するための立体光学部品もしくは構造化光投影要素を提供することも可能である。先端部１３０に含められることが可能な要素は、プローブ１０２自体の中に含められることも可能である。

イメージャ１２４は、複数の行と列に形成された複数のピクセルを含むことが可能であり、さらにイメージャ１２４の各ピクセル上に入射する光を表すアナログ電圧の形態で画像信号を生成することが可能である。これらの画像信号は、信号バッファリングおよび信号調整のための電子部品を設けるイメージャハイブリッド１２６を通って、イメージャハーネス１２２に伝搬されることが可能であり、イメージャハーネス１１２は、イメージャハイブリッド１２６とイメージャインタフェース電子部品１４２の間の制御信号およびビデオ信号のための配線を設ける。イメージャインタフェース電子部品１４２は、電源、イメージャクロック信号を生成するためのタイミングジェネレータ、イメージャビデオ出力信号をデジタル化するためのアナログフロントエンド、およびそのデジタル化されたイメージャビデオデータを処理して、より有用なビデオフォーマットにするためのデジタルシグナルプロセッサを含むことが可能である。

イメージャインタフェース電子部品１４２は、ビデオ検査デバイス１００を動作させるための機能を集めたものを提供するプローブ電子部品１４０の一部である。また、プローブ電子部品１４０は、プローブ１０２および／または先端部１３０に関する較正データを格納する較正メモリ１４４を含むことも可能である。また、マイクロコントローラ１４６が、ゲイン設定および露出設定を決定し、設定するようにイメージャインタフェース電子部品１４２と通信するため、較正メモリ１４４に較正データを格納するため、および較正メモリ１４４から較正データを読み取るため、目視される物体２０２に送られる光を制御するため、ならびにビデオ検査デバイス１００のＣＰＵ１５０と通信するためにプローブ電子部品１４０の中に含められることも可能である。

マイクロコントローラ１４６と通信することに加えて、イメージャインタフェース電子部品１４２は、１つまたは複数のビデオプロセッサ１６０と通信することも可能である。ビデオプロセッサ１６０は、イメージャインタフェース電子部品１４２からビデオ信号を受け取り、一体型ディスプレイ１７０または外部モニタ１７２を含む様々なモニタ１７０、１７２に信号を出力することが可能である。一体型ディスプレイ１７０は、様々な画像またはデータ（例えば、目視される物体２０２の画像、メニュー、カーソル、測定結果）を検査者に表示するためにビデオ検査デバイス１００に組み込まれたＬＣＤスクリーンであることが可能である。外部モニタ１７２は、様々な画像またはデータを表示するためにビデオ検査デバイス１００に接続されたビデオモニタまたはコンピュータタイプのモニタであることが可能である。

ビデオプロセッサ１６０は、ＣＰＵ１５０に／からコマンド、ステータス情報、ストリーミングビデオ、静止ビデオ画像、およびグラフィックオーバーレイを供給する／受け取ることができ、さらに画像キャプチャ、画像画質向上、グラフィックオーバーレイマージ、歪み補正、フレーム平均化、拡大縮小、デジタルズーミング、オーバーレイ、マージ、反転、動き検出、ならびにビデオフォーマット変換および圧縮などの機能を提供するＦＰＧＡ、ＤＳＰ、または他の処理要素から成ることが可能である。

ＣＰＵ１５０は、画像、ビデオ、およびオーディオの格納機能および呼び戻し機能、システム制御、および測定処理を含め、多数の他の機能を提供することに加えて、ジョイスティック１８０、ボタン１８２、キーパッド１８４、および／またはマイクロフォン１８６を介して入力を受け取ることによって、ユーザインタフェースを管理するのに使用されることが可能である。ジョイスティック１８０は、メニュー選択、カーソル移動、スライダ調整、およびプローブ１０２の関節制御などの動作を実行するように操作者によって操作されることが可能であり、さらに押しボタン機能を含むことが可能である。ボタン１８２および／またはキーパッド１８４が、メニュー選択のため、およびユーザコマンド（例えば、静止させる、または静止画像を保存する）をＣＰＵ１５０に与えるために使用されることも可能である。マイクロフォン１８６が、検査者によって、静止させる、または静止画像を保存する音声命令を与えるのに使用されることが可能である。

ビデオプロセッサ１６０は、ビデオプロセッサ１６０によって、フレームバッファリング、および処理中のデータの一時的保持のために使用されるビデオメモリ１６２と通信することも可能である。ＣＰＵ１５０は、ＣＰＵ１５０によって実行されるプログラムの格納のためにＣＰＵプログラムメモリ１５２と通信することも可能である。さらに、ＣＰＵ１５０は、揮発性メモリ１５４（例えば、ＲＡＭ）および不揮発性メモリ１５６（例えば、フラッシュメモリデバイス、ハードドライブ、ＤＶＤ、またはＥＰＲＯＭメモリデバイス）と通信状態にあることも可能である。不揮発性メモリ１５６は、ビデオおよび静止画像をストリーミングするための一次ストレージである。

ＣＰＵ１５０は、コンピュータ入出力インタフェース１５８と通信状態にあることも可能であり、インタフェース１５８は、ＵＳＢ、Ｆｉｒｅｗｉｒｅ（登録商標）、イーサネット、オーディオ入出力、およびワイヤレストランシーバなどの周辺デバイスおよびネットワークに対する様々なインタフェースを提供する。このコンピュータ入出力インタフェース１５８は、静止画像、ストリーミングビデオ、またはオーディオを保存する、呼び戻す、送信する、さらに／または受信するのに使用されることが可能である。例えば、ＵＳＢ「サムドライブ」またはＣｏｍｐａｃｔＦｌａｓｈ（登録商標）メモリカードが、コンピュータ入出力インタフェース１５８に差し込まれることが可能である。さらに、ビデオ検査デバイス１００は、画像データまたはストリーミングビデオデータのフレームを外部のコンピュータまたはサーバに送るように構成されることが可能である。ビデオ検査デバイス１００は、ＴＣＰ／ＩＰ通信プロトコルスイートを組み込むことができ、それぞれがやはりＴＰＣ／ＩＰ通信プロトコルスイートを組み込んだ複数のローカルコンピュータおよび遠隔コンピュータを含むワイドエリアネットワークに組み込まれ得る。ＴＣＰ／ＩＰプロトコルスイートを組み込むことで、ビデオ検査デバイス１００は、ＴＣＰおよびＵＤＰを含むいくつかのトランスポート層プロトコルと、ＨＴＴＰおよびＦＴＰを含む、異なるいくつかの層のプロトコルとを組み込む。

図２は、本発明の例示的な実施形態における、表面２１０に関する３次元データの品質を示す精度オーバーレイ２４０を表示する、不規則性２０４を有する目視される物体２０２の表面２１０の、ビデオ検査デバイス１００によって獲得された画像２００である。この例において、不規則性２０４は、損傷または磨耗によって、その不規則性２０４の箇所で目視される物体２０２の表面２１０から物質が除去されている、ひびとして示される。この例示的な実施形態に示される不規則性２０４は、単に例に過ぎないこと、および本発明の方法は、他のタイプの不規則性（例えば、へこみ、点腐食、コーティングのはがれ、表面堆積など）にも適用されることが理解されよう。画像２００が獲得され、不規則性２０４が識別されると、画像２００は、不規則性２０４の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、点から線まで、プロファイルスライスなど）を特定するのに使用され得る。一実施形態において、使用される画像２００は、不規則性２０４を含む、目視される物体２０２の表面２１０の２次元画像２００であり得る。

図３は、本発明の例示的な実施形態における、図２の画像に示される目視される物体２０２の表面２１０に関する３次元データの品質の指示を表示するための方法を示す流れ図である。図３の流れ図に表されるステップは、この流れ図に示されるのとは異なる順序で実行され得ること、およびいくつかの実施形態に関して、それらのステップのすべてが要求されるわけではないことが理解されよう。

ステップ３００で、図２に示されるとおり、ビデオ検査デバイス１００のイメージャ１２４が、不規則性２０４を有する目視される物体２０２の表面２１０の画像２００を獲得し、ビデオモニタ（例えば、一体型ディスプレイ１７０または外部モニタ１７２）でその画像２００を表示することが可能である。図２に示されるとおり、画像２００の複数のピクセル２３１、２３２、２３３、２３４が、目視される物体上の複数の表面ポイント２２１、２２２、２２３、２２４に対応する。一実施形態において、画像２００は、約４００，０００ピクセルを有することが可能である。

ステップ３１０で、ビデオ検査デバイス１００のＣＰＵ１５０が、不規則性２０４の近くを含む、目視される物体２０２の表面２１０上の複数の表面ポイント２２１、２２２、２２３、２２４の３次元座標（ｘ_i，ｙ_i，ｚ_i）を決定することが可能である。異なるいくつかの既存の技術が、表面ポイント２２１、２２２、２２３、２２４の３次元座標（ｘ_i，ｙ_i，ｚ_i）をもたらすのに使用されることが可能である（例えば、位相シフト、位相シフトモアレ、レーザドット投影などのステレオ法、走査システム法、構造化光法）。ほとんどのそのような技術は、さもなければ光学的歪みによってもたらされる３次元座標の誤差を小さくするのに使用される光学特性データを、とりわけ含む、較正データを使用することを備える。一部の技術では、３次元座標は、投影されたパターンなどを含むことが可能な、時間的に近接してキャプチャされた１つまたは複数の画像を使用して決定されることが可能である。画像２００を使用して決定された３次元座標について述べることは、時間的に近接してキャプチャされた表面２１０の１つまたは複数の画像２００を使用して決定された３次元座標を備えることも可能であること、および説明される動作中に操作者に表示される画像２００は、３次元座標を決定する際に実際に使用されることも、使用されないことも可能であることを理解されたい。

一実施形態において、ビデオ検査デバイス１００のＣＰＵ１５０は、複数の表面ポイントの３次元座標の第１のセット（ｘ_i1，ｙ_i1，ｚ_i1）、および表面ポイント２２１、２２２、２２３、３３４を含む複数の表面ポイントの３次元座標の第２のセット（ｘ_i2，ｙ_i2，ｚ_i2）を決定する。

ステップ３２０で、ビデオ検査デバイス１００のＣＰＵ１５０が、複数の表面ポイント２２１、２２２、２２３、２２４に対応する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関してＡＶ（精度値）を決定することが可能であり、この精度値は、ピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４の３次元座標（ｘ_i，ｙ_i，ｚ_i）の予測される精度に基づく。

一実施形態において、ピクセル２３１、２３２、２３３、２３４に関する精度値は、そのピクセルに対応する表面ポイント２２１、２２２、２２３、２２４の３次元座標の第１のセット（ｘ_i1，ｙ_i1，ｚ_i1）からの３次元座標のうち少なくとも１つの座標と、ピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４の３次元座標の第２のセット（ｘ_i2，ｙ_i2，ｚ_i2）からの３次元座標のうち少なくとも１つの座標の差であることが可能である。異なる座標セットからの同一の表面ポイント２２１、２２２、２２３、２２４に関する３次元座標は、反射、他の光品質問題などのために、異なる可能性がある。

一実施形態において、特定のピクセル２３１、２３２、２３３、２３４に関するＡＶ（精度値）は、そのピクセル２３１、２３２、２３３、２３４に関するｚ値（ｚ_i1，ｚ_i2）の間の差によって決定されることが可能である。

この例において、ｚ値（ｚ_i1，ｚ_i2）の間の差が大きいほど、ＡＶ（精度値）は大きく、そのピクセル２３１、２３２、２３３、２３４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）の予測される精度は低くなる。

別の実施形態（例えば、３次元座標（ｘ_i，ｙ_i，ｚ_i）を決定するのにステレオ技術が使用される）において、ピクセル２３１、２３２、２３３、２３４に関する精度値は、１つの立体画像の中の或る特定の表面ポイント２２１、２２２、２２３、２２４に関して、他方の立体画像の中に別個のマッチが存在するかどうかを判定することによって決定されることが可能である。例えば、マッチするピクセルが、相関技術を介して識別されるが、そのマッチするピクセルが、隣接する１つまたは複数のピクセルによって与えられるマッチよりほんのわずかしか良好でない、または異なる場合、そのことは、そのピクセル２３１、２３２、２３３、２３４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）の予測される精度がより低いことを示す。

ステップ３３０で、ビデオ検査デバイス１００のＣＰＵ１５０が、精度値を有する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、その精度値が許容できる精度値の範囲を外れているかどうかを判定することが可能である。ピクセル２３１、２３２、２３３、２３４に関する精度値が、式（１）に示されるとおり、そのピクセル２３１、２３２、２３３、２３４に関するｚ値（ｚ_i1，ｚ_i2）の間の差である一実施形態において、ＡＶ（許容できる値）の範囲は、０．１０未満、つまり、１０パーセント未満であることが可能である。別の実施形態において、ＡＶ（許容できる値）の範囲は、０．１５未満、つまり、１５パーセント未満であることが可能である。この精度値、および許容できる精度値の範囲は、例示的であること、および本発明の範囲は、いずれの特定の精度値判定にも限定されないことが理解されよう。

ステップ３４０で、図２に示されるとおり、ビデオ検査デバイス１００のモニタ１７０、１７２が、ステップ３３０における判定により精度値が許容できる精度値の範囲を外れている複数のピクセル２３２の各ピクセルに関する精度オーバーレイ２４０を表示することが可能である。例えば、図２で、表面ポイント２２２に対応するピクセル２３２が、許容できる精度値の範囲を外れている精度値を有する。この精度オーバーレイ２４０は、画像２００上に常時、表示されることも、いくつかの時点で（例えば、精度値が許容できる精度値の範囲を外れているピクセル２３２の上にカーソルが動かされた際、または操作者が画像２００を保存する際）だけ表示されることも可能である。この精度オーバーレイ２４０の存在は、画像２００が表面２１０上の関心対象の領域内（例えば、不規則性２０４の近く）に測定を実行すべき正確な３次元データを有するかどうかを、操作者が判定することを許す。

一実施形態において、精度値が許容できる精度値の範囲を外れている複数のピクセル２３２のすべてのピクセルに関する精度オーバーレイ２４０は、同一の色（例えば、黄）である。別の実施形態において、精度値が許容できる精度値の範囲を外れている複数のピクセル２３２の各ピクセルに関する精度オーバーレイ２４０は、そのピクセルに関する精度値に基づいて色付けされ、さらに異なる色、または異なる色調を備えることが可能である。例えば、０．１６という精度値（すなわち、比較的高い予測される精度値）を有するピクセル２３２が、暗い色調の黄であることが可能な、０．３６という精度値（すなわち、比較的低い予測される精度値）を有するピクセル２３２と比べて、明るい色調の黄であることが可能である。一実施形態において、或る範囲の精度値は、或る色、または或る色調に対応することが可能である。

図４は、本発明の別の例示的な実施形態における、表面２１０に関する３次元データの品質を示すオーバーレイ２４０、２５０を表示する、不規則性２０４を有する目視される物体２０２の表面２１０の、ビデオ検査デバイス１００によって獲得された画像５００である。

図５は、本発明の別の例示的な実施形態における、図４の画像に示される目視される物体２０２の表面２１０に関する３次元データの品質の指示を表示するための方法を示す流れ図である。図４の流れ図に表されるステップは、この流れ図に示されるのとは異なる順序で実行され得ること、およびいくつかの実施形態に関して、それらのステップのすべてが要求されるわけではないことが理解されよう。

ステップ４００で、図４に示されるとおり、ビデオ検査デバイス１００のイメージャ１２４が、不規則性２０４を有する目視される物体２０２の表面２１０の画像５００を獲得し、その画像５００をビデオモニタ（例えば、一体型ディスプレイ１７０または外部モニタ１７２）上で表示することが可能である。図４に示されるとおり、画像５００の複数のピクセル２３１、２３２、２３３、２３４が、目視される物体２０２上の複数の表面ポイント２２１、２２２、２２３、２２４に対応する。

ステップ４１０で、ビデオ検査デバイス１００のＣＰＵ１５０が、複数の表面ポイント２２１、２２２、２２３、２２４に対応する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、そのピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能であるかどうかを判定することが可能である。表面２１０のいくつかの領域内で、過度のターゲット距離、ピクセル飽和、シャドウイングなどのために、いくつかの表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用できない可能性がある。

一実施形態（例えば、３次元座標（ｘ_i，ｙ_i，ｚ_i）を決定するのに構造化光技術が使用される）において、ビデオ検査デバイス１００のＣＰＵ１５０が、複数の表面ポイント２２１、２２２、２２３、２２４に対応する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、それらのピクセル２３１、２３２、２３３、２３４の各ピクセルの明るさレベルを解析することによって、そのピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能であるかどうかを判定することが可能である。例えば、ピクセル２３１、２３２、２３３、２３４の明るさレベルが低過ぎ（例えば、８ビットスケール（０〜２５５）で２０未満）、対応する表面ポイント２２１、２２２、２２３、２２４上の過度のシャドウイングの可能性を示している場合、その表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）は、利用できない可能性がある。同様に、ピクセル２３１、２３２、２３３、２３４の明るさレベルが高過ぎ（例えば、８ビットスケール（０〜２５５）で２３０を超える）、対応する表面ポイント２２１、２２２、２２３、２２４上の飽和の可能性を示している場合、その表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）は、利用できない可能性がある。この実施形態において、許容できる明るさ値の範囲は、２０から２３０までの間である。したがって、この実施形態において、ビデオ検査デバイス１００のＣＰＵ１５０は、複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、明るさレベルが許容できる明るさ値の範囲を外れているかどうかを判定することが可能である。ビデオ検査デバイス１００のＣＰＵ１５０は、明るさレベルが許容できる明るさ値の範囲を外れている複数のピクセル２３１の各ピクセルに関して、そのピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でないと判定することが可能である。この明るさレベル判定、および許容できる明るさレベルの範囲は、例示的であること、および本発明の範囲は、いずれの特定の明るさレベル判定にも限定されないことが理解されよう。

別の実施形態（例えば、３次元座標（ｘ_i，ｙ_i，ｚ_i）を決定するのにステレオ技術が使用される）において、ビデオ検査デバイス１００のＣＰＵ１５０が、複数の表面ポイント２２１、２２２、２２３、２２４に対応する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、それらのピクセル２３１、２３２、２３３、２３４の各ピクセルの詳細レベルを解析することによって、そのピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能であるかどうかを判定することが可能である。例えば、ピクセル２３１、２３２、２３３、２３４の詳細レベルが、適切なステレオマッチングを許すには低過ぎる（例えば、８ビットスケール（０〜２５５）で２０未満）場合、その表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）は、利用できない可能性がある。この例示的な実施形態において、許容できる詳細値の範囲は、２０より大きい。したがって、この実施形態において、ビデオ検査デバイス１００のＣＰＵ１５０は、複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、詳細レベルが許容できる詳細値を外れているかどうかを判定することが可能である。ビデオ検査デバイス１００のＣＰＵ１５０は、詳細レベルが許容できる詳細値を外れている複数のピクセル２３１の各ピクセルに関して、そのピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でないと判定することが可能である。この詳細レベル判定、および許容できる詳細レベルの範囲は、例示的であること、および本発明の範囲は、いずれの特定の詳細レベル判定にも限定されないことが理解されよう。

別の実施形態（例えば、３次元座標（ｘ_i，ｙ_i，ｚ_i）を決定するのにステレオ技術が使用される）において、ビデオ検査デバイス１００のＣＰＵ１５０が、複数の表面ポイント２２１、２２２、２２３、２２４に対応する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、１つの立体画像の中の或る特定の表面ポイント２２１、２２２、２２３、２２４に関して、他方の立体画像の中に別個のマッチが存在するかどうかを判定することによって、そのピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能であるかどうかを判定することが可能である。例えば、ビデオ検査デバイス１００のＣＰＵ１５０は、１つの立体画像の中の表面ポイント２２１、２２２、２２３、２２４の走査を実行して、他方の立体画像の中に確度が高いマッチが存在するかどうかを判定することが可能である。ビデオ検査デバイス１００のＣＰＵ１５０は、確度の高いマッチが存在しない複数のピクセル２３１の各ピクセルに関して、そのピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でないと判定することが可能である。

一実施形態において、ピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でないと判定された場合、ビデオ検査デバイス１００のＣＰＵ１５０は、さらなる解析を実行して、ピクセル２３１に対応する表面ポイント２２１に３次元座標を割り当てることが可能である。例えば、ピクセル２３１の周囲の或るピクセル領域（例えば、９×９）内のピクセルの大多数が３次元データを有する場合、補間技術が、ピクセル２３１に対応する表面ポイント２２１に３次元座標を割り当てるのに使用されることが可能である。

ステップ４２０で、図４に示されるとおり、ビデオ検査デバイス１００のモニタ１７０、１７２が、ピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でない（例えば、３次元座標が、最初に利用可能でなく、後の補間に基づいて割り当てられていない）複数のピクセル２３１の各ピクセルに関する利用可能性オーバーレイ２５０を表示することが可能である。この利用可能性オーバーレイ２５０は、画像５００上に常時、表示されることも、いくつかの時点で（例えば、ピクセル２３１に対応する表面ポイント２２１に関する３次元座標が利用可能でないピクセル２３１の上にカーソルが動かされた際、または操作者が画像５００を保存する際）だけ表示されることも可能である。この利用可能性オーバーレイ２５０の存在は、画像５００が表面２１０上の関心対象の領域内（例えば、欠陥２０４の近く）に測定を実行すべき利用可能な３次元データを有するかどうかを、操作者が判定することを許す。一実施形態において、ピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でない複数のピクセル２３１のすべてのピクセルに関する利用可能性オーバーレイ２５０は、同一の色（例えば、赤）である。利用可能性オーバーレイ２５０は、流れ図の中で、より後に表示され得る（例えば、後段で説明するステップ４６０と同時に）ことが理解されよう。

ステップ４３０で、ビデオ検査デバイス１００のＣＰＵ１５０が、図４に示されるとおり、３次元座標が利用可能でない複数の表面ポイント２２１、２２２、２２３、２２４の３次元座標（ｘ_i，ｙ_i，ｚ_i）を決定することが可能である。ステップ３１０に関連して前述したとおり、異なるいくつかの既存の技術が、２２２、２２３、２２４の３次元座標（ｘ_i，ｙ_i，ｚ_i）をもたらすのに使用されることが可能である。

ステップ４４０で、ビデオ検査デバイス１００のＣＰＵ１５０が、３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能である複数の表面ポイント２２１、２２２、２２３、２２４に対応する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、精度値を決定することが可能であり、この精度値は、そのピクセル２３１、２３２、２３３、２３４に対応する表面ポイント２２１、２２２、２２３、２２４の３次元座標（ｘ_i，ｙ_i，ｚ_i）の予測される精度に基づく。一実施形態において、ピクセル２３１、２３２、２３３、２３４に関する精度値は、ステップ３２０に関連して前述したとおり、決定されることが可能である。

ステップ４５０で、ビデオ検査デバイス１００のＣＰＵ１５０が、ステップ３３０に関連して前述したとおり、精度値を有する複数のピクセル２３１、２３２、２３３、２３４の各ピクセルに関して、その精度値が許容できる精度値の範囲を外れているかどうかを判定することが可能である。

ステップ４６０で、図４に示されるとおり、ビデオ検査デバイス１００のモニタ１７０、１７２が、ステップ３４０に関連して前述したとおり、その精度値が許容できる精度値の範囲を外れている複数のピクセル２３２の各ピクセルに関する精度オーバーレイ２４０を表示することが可能である。例えば、図４で、表面ポイント２２２に対応するピクセル２３２が、許容できる精度値の範囲を外れている精度値を有する。精度オーバーレイ２４０は、画像５００上に常時、表示されることも、いくつかの時点で（例えば、精度値が許容できる精度値の範囲を外れているピクセル２３２の上にカーソルが動かされた際、または操作者が画像５００を保存する際）だけ表示されることも可能である。

一実施形態において、精度オーバーレイ２４０と利用可能性オーバーレイ２５０は、ピクセル２３１に対応する表面ポイント２２１に関する３次元座標（ｘ_i，ｙ_i，ｚ_i）が利用可能でないピクセル２３１の上にカーソルが動かされた際、または精度値が許容できる精度値の範囲を外れているピクセル２３２の上にカーソルが動かされた際に、一緒に表示されることが可能である。

この書面による説明は、実施例を使用して、最良の形態を含む、本発明を開示し、さらに当業者が、任意のデバイスまたはシステムを作成すること、および使用すること、ならびに組み込まれた任意の方法を実行することを含め、本発明を実施することをさらに可能にする。本発明の特許可能な範囲は、特許請求の範囲によって規定され、さらに当業者に思い浮かべられる他の実施例を含むことが可能である。そのような他の実施例は、それらの実施例が、特許請求の範囲の文字どおりの言葉と異ならない構造上の要素を有する場合、またはそれらの実施例が、特許請求の範囲の文字どおりの言葉とごくわずかしか違いのない均等の構造上の要素を含む場合、特許請求の範囲に含まれることが意図される。

１００ビデオ検査デバイス
１０２プローブ
１１０挿入管
１１２イメージャハーネス
１２０ヘッドアセンブリ
１２２プローブ光学部品
１２４イメージャ
１２６イメージャハイブリッド
１３０着脱可能な先端部
１３２先端部目視光学部品
１４０プローブ電子部品
１４２イメージャインタフェース電子部品
１４４較正メモリ
１４６マイクロコントローラ
１５０ＣＰＵ
１５２プログラムメモリ
１５４揮発性メモリ
１５６不揮発性メモリ
１５８コンピュータ入出力インタフェース
１６０ビデオプロセッサ
１６２ビデオメモリ
１７０一体型ディスプレイ
１７２外部モニタ
１８０ジョイスティック
１８２ボタン
１８４キーパッド
１８６マイクロフォン
２００、５００画像
２０２目視される物体
２０４不規則性
２１０表面
２２１、２２２、２２３、２２４表面ポイント
２３１、２３２、２３３、２３４ピクセル
２４０精度オーバーレイ
２５０利用可能性オーバーレイ

Claims

目視される物体（２０２）の表面（２１０）に関する３次元データの品質の指示を表示するための方法であって、
前記目視される物体（２０２）の前記表面（２１０）の画像（５００）を獲得して、表示するステップであって、前記画像（５００）の複数のピクセル（２３１、２３２、２３３、２３４）は、前記目視される物体（２０２）上の複数の表面ポイント（２２１、２２２、２２３、２２４）に対応する、ステップと、
前記複数の表面ポイント（２２１、２２２、２２３、２２４）に対応する前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記ピクセル（２３１、２３２、２３３、２３４）に対応する前記表面ポイント（２２１、２２２、２２３、２２４）に関する３次元座標が利用可能であるかどうかを判定するステップと、
前記ピクセル（２３１）に対応する前記表面ポイント（２２１）に関する３次元座標が利用可能でない各ピクセル（２３１）に関する第１のオーバーレイ（２５０）を表示するステップとを備える方法。
前記複数の表面ポイント（２２１、２２２、２２３、２２４）に対応する前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記ピクセル（２３１、２３２、２３３、２３４）に対応する前記表面ポイント（２２１、２２２、２２３、２２４）に関する３次元座標が利用可能であるかどうかを前記判定するステップは、
前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関する明るさレベルを決定するステップと、
前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記明るさレベルが許容できる明るさ値の範囲を外れているかどうかを判定するステップと、
明るさレベルが許容できる明るさ値の前記範囲を外れている前記前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記ピクセル（２３１、２３２、２３３、２３４）に対応する前記表面ポイント（２２１、２２２、２２３、２２４）に関する３次元座標が利用可能でないと判定するステップとを備える請求項１記載の方法。
前記複数の表面ポイント（２２１、２２２、２２３、２２４）に対応する前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記ピクセル（２３１、２３２、２３３、２３４）に対応する前記表面ポイント（２２１、２２２、２２３、２２４）に関する３次元座標が利用可能であるかどうかを前記判定するステップは、
前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関する詳細レベルを決定するステップと、
前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記詳細レベルが許容できる詳細レベル値の範囲を外れているかどうかを判定するステップと、
詳細レベルが許容できる詳細レベル値の前記範囲を外れている前記複数のピクセル（２３１、２３２、２３３、２３４）の各ピクセルに関して、前記ピクセル（２３１、２３２、２３３、２３４）に対応する前記表面ポイント（２２１、２２２、２２３、２２４）に関する３次元座標が利用可能でないと判定するステップとを備える請求項１記載の方法。
前記ピクセル（２３１）に対応する前記表面ポイント（２２１）に関する３次元座標が利用可能でない各ピクセル（２３１）に関する第１のオーバーレイ（２５０）を前記表示するステップは、前記ピクセル（２３１）に対応する前記表面ポイント（２２１）に関する３次元座標が利用可能でないピクセル（２３１）上にカーソルが動かされた際に行われる請求項１記載の方法。
前記ピクセル（２３１）に対応する前記表面ポイント（２２１）に関する３次元座標が利用可能でない各ピクセル（２３１）に関する前記第１のオーバーレイ（２５０）は、赤である請求項１記載の方法。
３次元座標が利用可能である前記複数の表面ポイント（２２２、２２３、２２４）の３次元座標を決定するステップと、
３次元座標が利用可能である前記複数の表面ポイント（２２２、２２３、２２４）に対応する前記複数のピクセル（２３２、２３３、２３４）の各ピクセルに関して、精度値を決定するステップであって、前記精度値は、前記ピクセルに対応する前記表面ポイント（２２２、２２３、２２４）の３次元座標の予測される精度に基づく、ステップと、
精度値を有する前記複数のピクセル（２３２、２３３、２３４）の各ピクセルに関して、前記精度値が許容できる精度値の前記範囲を外れているかどうかを判定するステップと、
精度値が許容できる精度値の前記範囲を外れている前記複数のピクセル（２３２）の各ピクセルに関する第２のオーバーレイ（２４０）を表示するステップとをさらに備える請求項１記載の方法。
３次元座標が利用可能である前記複数の表面ポイント（２２２、２２３、２２４）に対応する前記複数のピクセル（２３２、２３３、２３４）の各ピクセルに関して、精度値を前記決定するステップは、
前記ピクセル（２３２、２３３、２３４）に対応する前記表面ポイント（２２２、２２３、２２４）の３次元座標の第１のセットからの３次元座標のうち少なくとも１つの座標と、前記ピクセル（２３２、２３３、２３４）に対応する前記表面ポイント（２２２、２２３、２２４）の３次元座標の第２のセットからの３次元座標のうち少なくとも１つの座標との差を決定するステップを備える請求項６記載の方法。
精度値を有する前記複数のピクセル（２３２、２３３、２３４）の各ピクセルに関して、前記精度値が許容できる精度値の前記範囲を外れているかどうかを前記判定するステップは、前記差が許容できる精度値の前記範囲を外れているかどうかを判定するステップを備える請求項７記載の方法。
許容できる精度値の前記範囲は、１０パーセント未満の差である請求項８記載の方法。
精度値が許容できる精度値の前記範囲を外れている前記複数のピクセル（２３２）の各ピクセルに関する第２のオーバーレイ（２４０）を前記表示するステップは、精度値が許容できる精度値の前記範囲を外れているピクセル（２３２）上にカーソルが動かされた際に行われる請求項６記載の方法。
精度値が許容できる精度値の前記範囲を外れている前記複数のピクセル（２３２）の各ピクセルに関する前記第２のオーバーレイ（２４０）は、そのピクセル（２３２）に関する前記精度値に基づいて色付けされる請求項６記載の方法。
前記ピクセル（２３１）に対応する前記表面ポイント（２２１）に関する３次元座標が利用可能でない各ピクセル（２３１）に関する第１のオーバーレイ（２５０）を前記表示するステップ、および精度値が許容できる精度値の前記範囲を外れている前記複数のピクセル（２３２）の各ピクセルに関する第２のオーバーレイ（２４０）を前記表示するステップは、前記ピクセル（２３１）に対応する前記表面ポイント（２２１）に関する３次元座標が利用可能でないピクセル（２３２）上にカーソルが動かされた際、または精度値が許容できる精度値の前記範囲を外れているピクセル（２３２）上にカーソルが動かされた際に行われる請求項６記載の方法。