JP2012027017A - 構造化光ベースの測定の方法 - Google Patents

構造化光ベースの測定の方法 Download PDF

Info

Publication number
JP2012027017A
JP2012027017A JP2011154365A JP2011154365A JP2012027017A JP 2012027017 A JP2012027017 A JP 2012027017A JP 2011154365 A JP2011154365 A JP 2011154365A JP 2011154365 A JP2011154365 A JP 2011154365A JP 2012027017 A JP2012027017 A JP 2012027017A
Authority
JP
Japan
Prior art keywords
image
shadow
pixels
light emitter
illuminant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011154365A
Other languages
English (en)
Other versions
JP2012027017A5 (ja
Inventor
Alexander Bendall Klerk
クラーク・アレキサンダー・ベンドール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2012027017A publication Critical patent/JP2012027017A/ja
Publication of JP2012027017A5 publication Critical patent/JP2012027017A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】構造化光ベースの測定の方法を提供する。
【解決手段】影形成要素289、290、291をもつ開口292を通して光を放出する第1の発光体211が作動され、第2の発光体212が非作動にされた状態で第1の発光体画像を取り込み、第2の発光体212が作動され、第1の発光体211が非作動にされた状態で第2の発光体画像を取り込み、第1の発光体画像中の画素の第1の複数の輝度値を決定し、第2の発光体画像中の画素の第2の複数の輝度値を決定し、第1の複数の輝度値に対する第2の複数の輝度値の明度比率を決定し、この明度比率を使用して物距離を決定する。
【選択図】図2

Description

本明細書で開示される主題は構造化光ベースの測定に関し、より詳細には、映像検査デバイスのプローブから対象物までの距離(「物距離:object distance」)を決定する構造化光ベースの方法に関する。
映像検査デバイスは広範な用途で使用される。内視鏡の使用による生体の内部の臓器の光学的検査または業務用機器の欠陥の検査などいくつかの用途では、映像検査デバイスのユーザが、対象物に対して測定を行うために、検査される対象物からのプローブの距離を決定することができることは有用である。この作業、および他の観察作業を行うために、現在のプローブは様々な方法を使用している。測定法のいくつかの例には、ステレオ、影、および投影ドットグリッド法が含まれる。
立体視システムは、一般に、特別な光学システムを使用し、2つの画像を一致させるために画像中の対象物の表面の細部に依拠して、同じ情景を2つのバンテージ位置から観察する。物距離は画像中のわずかな差を解析することによって決定される。投影ドットグリッド法はレーザなどの光源を使用して、対象物上にドットを投影する。物距離を決定するために、次にドット間の間隔を決定するか、または、次に画像中のドットの位置を決定する。影法は、光源と対象物との間に線などの単一の不透明要素を配置する。この要素は、光源によって放出される光の中に置かれ、光および光源の中心線からある角度だけオフセットされる。対象物が、不透明な要素によって投じられた影を含む光領域の部分の中にある場合、対象物が装置に近づく、または遠ざかるにつれて、画像中の影の位置はシフトし、したがって、物距離を決定するのに使用することができる。
現在の測定法はそれぞれ様々な制限を有する。例えば、立体視システムは、二重焦点観察光学系を含む装置の物理的寸法によって制限されるベースライン間隔を有する。ベースライン間隔はプローブの分解能を決定する。ベースライン間隔を増加させると、所与の物距離でより良好な精度を実現することができる。さらに、立体視システムでは、物距離を計算するために、観察対象物上の同じポイントが両方の画像で識別されなければならない。多数の表面には、一意に識別可能なフィーチャがなく、そのため物距離の正確な決定が困難または不可能になる。
影測定法では、影を含む視野の一部分の中に対象物がない場合、測定を行うことができない。さらに、大きい視野ではなく1つの特定の区域しか測定されず、したがって、視野にわたる表面の不規則性および視野内の対象物の向きは検出されない。
多数の立体視測定システムおよび影測定システムでは、2組の光学系が使用される。第1の組の光学系は対象物を観察するのに使用され、一方、第2の組の光学系は測定を行うために使用される。多くの場合、別個のプローブチップに含まれる第2の組の光学系は、測定が望まれるとき第1の組と交換されなければならない。例えば、ある影測定システムでは、同じ一般観察光源が一般観察および測定のために使用される。しかし、欠陥または他の測定可能なフィーチャが発見されるとき、一般観察光源で測定を行うために、別個の影測定チップを設置しなければならない。このプローブチップの交換は追加の時間を消費し、プローブの効率的な使用を損なう。さらに、影測定光学系は光出力を著しく遮断し、その結果、影測定光学系を使用している間、視野は十分に照明されず、観察距離が制限される。立体視光学系は、画像解像度および観察被写界深度が通常の観察光学系のものと比べて一般に低減するので、一般観察には同様に望ましくない。
他の例では、精度を制限し、自動測定を妨げる人間の主観的な要素(例えば、表示装置などによって供給された画像の中で影または他のパターンが位置する場所を推測すること)が含まれる。さらに、多くの場合、観察光学系の設計および/または構成の複雑さのために、多数のプローブまたはプローブヘッドアセンブリが大きいかまたは嵩張る。観察光学系が小さくおよび/または簡単になるほど、プローブおよび/またはプローブチップを小さくすることができ、狭い空間で操作する能力が増大し、または追加の機能を設計および/または組込みを行うための余地が大きくなる。
米国特許出願公開第20090225329号公報
上述のシステムの欠点なしに検査の間に対象物の表面までの距離を決定することは有利であろう。
上述のシステムの欠点を回避する、対象物の表面までの距離を決定する方法が提供される。
一実施形態では、映像検査デバイスのプローブから対象物までの距離を決定するための構造化光ベースの測定の方法が開示される。映像検査デバイスは、発光体が作動されるとき、少なくとも1つの影形成要素をもつ開口を通して対象物上に光を放出し、対象物上に複数の影を形成するための第1の発光体および第2の発光体を含むことができる。この方法は、第1の発光体が作動され、第2の発光体が非作動にされた状態で対象物の少なくとも1つの第1の発光体画像を取り込むステップと、第2の発光体が作動され、第1の発光体が非作動にされた状態で対象物の少なくとも1つの第2の発光体画像を取り込むステップと、少なくとも1つの第1の発光体画像中の画素の第1の複数の輝度値を決定するステップと、少なくとも1つの第2の発光体画像中の画素の第2の複数の輝度値を決定するステップと、少なくとも1つの第2の発光体画像中の画素の第2の複数の輝度値に対する少なくとも1つの第1の発光体画像中の画素の第1の複数の輝度値の明度比率を決定するステップと、明度比率を使用して物距離を決定するステップとを含むことができる。
一実施形態では、映像検査デバイスのプローブから対象物までの距離を決定するための構造化光ベースの測定の方法が開示される。映像検査デバイスは第1の発光体と第2の発光体とを含むことができ、第1の発光体が作動されるとき、第1の発光体は、少なくとも1つの影形成要素をもつ開口を通して対象物上に光を放出し、対象物上に少なくとも1つの影を形成することができる。この方法は、第1の発光体が作動され、第2の発光体が非作動にされた状態で対象物の少なくとも1つの第1の発光体画像を取り込むステップと、第2の発光体が作動され、第1の発光体が非作動にされた状態で対象物の少なくとも1つの第2の発光体画像を取り込むステップと、少なくとも1つの第1の発光体画像中の画素の第1の複数の輝度値を決定するステップと、少なくとも1つの第2の発光体画像中の画素の第2の複数の輝度値を決定するステップと、少なくとも1つの第1の発光体画像中の画素の第1の複数の輝度値に対する少なくとも1つの第2の発光体画像中の画素の第2の複数の輝度値の明度比率を決定するステップと、明度比率を使用して物距離を決定するステップとを含むことができる。
本発明の特徴を理解することができるように、本発明の詳細な説明がいくつかの実施形態を参照して行われ、そのうちのいくつかは添付図面に示される。しかし、図面は本発明のいくつかの実施形態だけを示しており、したがって、本発明の範囲を限定するものと見なされるべきではなく、それは、本発明の範囲は他の同様に効果的な実施形態を包含するからであることが留意されるべきである。図面は必ずしも原寸に比例しておらず、本発明のいくつかの実施形態のフィーチャを示す際に、一般に、強調されている。したがって、本発明のさらなる理解のために、図面と併せて読まれる以下の詳細な説明を参照することができる。
本発明の一実施形態の映像検査デバイスのブロック図である。 2つの発光体および3つの影形成要素を使用する本発明の一実施形態における影パターンを投影するプローブヘッドアセンブリおよび着脱可能なチップの機械的構成の概略平面図である。 図2の着脱可能なチップから50mmに配置された平坦で白色の物体の画素化画像を示す図であり、画像は、本発明の一実施形態における、図2の着脱可能なチップおよび図1の映像検査デバイスにより一般観察の間に取り込まれる。 本発明の一実施形態における、図2の着脱可能なチップから50mmに配置された平坦で白色の物体の画素化画像の1行を示す図であり、画像は、第1の発光体の作動の間に取り込まれる。 本発明の一実施形態における、図2の着脱可能なチップから50mmに配置された平坦で白色の物体の画素化画像の1行を示す図であり、画像は、第2の発光体の作動の間に取り込まれる。 本発明の一実施形態における、それぞれが画素の1行にわたる図4の画像の明度プロファイルおよび図5の画像の明度プロファイルを示す図である。 本発明の一実施形態にける、図6に示された明度プロファイルの明度比率を示す図である。 本発明の一実施形態における、それぞれが図7に示されたような明度比率ピークを含む明度比率ピーク画素の識別を示す概略図である。 本発明の一実施形態における、影形成要素を示す図であり、中央の影形成要素は2つの周辺の影形成要素よりも狭い。 2つの発光体と、中央の影形成要素が2つの周辺の影形成要素よりも狭い3つの影形成要素とを使用する本発明の一実施形態における、着脱可能なチップから50mmにある平坦で白色の物体の取り込まれた各画像の画素の1行の明度プロファイルを示す図であり、1つの画像は第1の発光体の作動の間に取り込まれ、1つの画像は第2の発光体の作動の間に取り込まれる。 本発明の一実施形態における、図10に示された明度プロファイルの明度比率を示す図である。
図面は必ずしも原寸に比例しておらず、むしろ、本発明の原理を示す際に、一般に、強調されている。図面において、同様の数字は様々な図の全体を通して同様の部分を示すのに使用される。
図1は、本発明の例示的実施形態の映像検査デバイス100のブロック図である。図1に示した映像検査デバイス100は例示であり、本発明の範囲は、いかなる特定の映像検査デバイス100にも、または映像検査デバイス100内の構成要素のいかなる特定の構成にも限定されないことが理解されよう。
映像検査デバイス100は、挿入管110と、挿入管110の遠位端に配置されたヘッドアセンブリ120とを含む細長いプローブ102を含むことができる。挿入管110は、ヘッドアセンブリ120とプローブエレクトロニクス140と間のすべての相互接続が通り抜ける可撓性で管状の区間とすることができる。ヘッドアセンブリ120は、撮像装置124上に物体からの光を誘導し合焦するためのプローブ光学系122を含むことができる。プローブ光学系122は、例えば、単一レンズまたは多数の構成要素を有するレンズを含むことができる。撮像装置124は、目標対象物の画像を得るための固体CCDまたはCMOS画像センサとすることができる。ヘッドアセンブリ120は、さらに、目標対象物を照明するために一般観察光源128を含むことができる。一般観察光源128は、いくつかの異なる方法(例えば、近位に配置されたランプ、LED、またはレーザ、あるいは遠位に配置されたランプまたはLEDからの光を送出する光ファイババンドル)で設けることができる。
着脱可能なチップまたはアダプタ130はヘッドアセンブリ120の遠位端に配置することができる。着脱可能なチップ130は、撮像装置124上に目標対象物からの光を誘導し合焦するためのプローブ光学系122とともに働くチップ観察光学系132(例えば、レンズ、窓、または開口)を含むことができる。着脱可能なチップ130は、映像検査デバイス100用の光源がチップ130または光通過要素138から放射して、光をプローブ102から目標対象物に通過させる場合、照明LED(図示せず)を含むこともできる。チップ130は、側方にカメラの視界および光出力を曲げるための導波路(例えば、プリズム)を含むことによって側方観察の能力を備えることもできる。チップ130に含むことができる要素はプローブ102自体に含むこともできる。
撮像装置124は、複数の行および列に形成された複数の画素を含むことができ、撮像装置124の各画素に入射した光を表すアナログ電圧の形態で画像信号を生成することができる。画像信号は、信号バッファリングおよび調整のためのエレクトロニクスを備える撮像装置ハイブリッド126を通って、撮像装置ハイブリッド126と撮像装置インタフェースエレクトロニクス142との間の制御および映像信号のための電線を備える撮像装置ハーネス112まで伝搬することができる。撮像装置インタフェースエレクトロニクス142は、電源、撮像装置クロック信号を生成するためのタイミング発生器、撮像装置映像出力信号をデジタル化するためのアナログフロントエンド、およびデジタル化された撮像装置映像データをより有用な映像フォーマットに処理するためのデジタル信号プロセッサを含むことができる。
撮像装置インタフェースエレクトロニクス142は、映像検査デバイス100を動作させるための機能の集合を備えるプローブエレクトロニクス140の一部である。プローブエレクトロニクス140は、さらに、プローブ102および/またはチップ130用の較正データを記憶する較正メモリ144を含むことができる。マイクロコントローラ146は、利得および露光の設定を決定および設定するために撮像装置インタフェースエレクトロニクス142と通信し、較正メモリ144からの較正データの記憶および読出しを行い、目標対象物に供給する光を制御し、映像検査デバイス100のCPU150と通信するためにプローブエレクトロニクス140にさらに含まれ得る。
マイクロコントローラ146との通信に加えて、撮像装置インタフェースエレクトロニクス142は、さらに、1つまたは複数の映像プロセッサ160と通信することができる。映像プロセッサ160は撮像装置インタフェースエレクトロニクス142からの映像信号を受け取り、一体化表示器170または外部モニタ172を含む様々なモニタに信号を出力することができる。一体化表示器170は、様々な画像またはデータ(例えば、目標対象物、メニュー、カーソル、測定結果の画像)を検査官に表示するための映像検査デバイス100に組み込まれたLCD画面とすることができる。外部モニタ172は、様々な画像またはデータを表示するために映像検査デバイス100に接続されたビデオモニタまたはコンピュータタイプモニタとすることができる。
映像プロセッサ160は、命令、状況情報、ストリーミングビデオ、スチルビデオ画像、およびグラフィカルオーバーレイをCPU150に供給する/CPU150から受け取ることができ、画像キャプチャ、画像強調、グラフィカルオーバレイマージング、歪み補正、フレームアベレージング、スケーリング、デジタルズーミング、オーバレイイング、マージング、フリッピング、動き検出、ならびに映像フォーマット変換および圧縮などの機能を備えるFPGA、DSP、または他の処理要素で構成することができる。
CPU150は、画像、映像、ならびに音声記憶および再生機能を含む多数の他の機能と、システム制御と、測定処理とを備えることに加えて、ジョイスティック180、ボタン182、キーパッド184、および/またはマイクロホン186を介して入力を受け取ることによってユーザインタフェースを管理するのに使用することができる。ジョイスティック180は、メニュー選択、カーソル移動、スライダ調整、およびプローブ102の明瞭度制御のような操作を行うためにユーザが操作することができ、かつプッシュボタン機能を含むことができる。ボタン182および/またはキーパッド184は、さらに、メニュー選択と、ユーザ命令をCPU150に供給する(例えば、静止画像を凍結または保存する)こととのために使用することができる。マイクロホン186は、静止画像を凍結または保存するために音声命令を与えるのに検査官が使用することができる。
映像プロセッサ160は、さらに、処理の間のフレームバッファリングおよびデータの一時的保持のために、映像プロセッサ160によって使用される映像メモリ162と通信することができる。CPU150は、さらに、CPU150によって実行されるプログラムを記憶するためにCPUプログラムメモリ152と通信することができる。さらに、CPUは、揮発性メモリ154(例えば、RAM)および不揮発性メモリ156(例えば、フラッシュメモリデバイス、ハードドライブ、DVD、またはEPROMメモリデバイス)と通信することができる。不揮発性メモリ156はストリーミングビデオおよび静止画像のための主記憶装置である。
CPU150は、さらに、USB、ファイアワイア、イーサネット(商標)、オーディオI/O、および無線トランシーバなどの周辺機器およびネットワークに様々なインタフェースを与えるコンピュータI/Oインタフェース158と通信することができる。このコンピュータI/Oインタフェース158は、静止画像、ストリーミングビデオ、または音声を保存、再生、送信、および/または受信するのに使用することができる。例えば、USB「親指ドライブ」またはコンパクトフラッシュ(商標)メモリカードはコンピュータI/Oインタフェース158に差し込むことができる。さらに、映像検査デバイス100は外部コンピュータまたはサーバに画像データまたはストリーミングビデオデータのフレームを送るように構成することができる。映像検査デバイス100はTCP/IP通信プロトコル群を組み込むことができ、それぞれがTCP/IP通信プロトコル群を同様に組み込む複数のローカルおよびリモートコンピュータを含む広域ネットワークに組み込むことができる。TCP/IPプロトコル群を組み込むことにより、映像検査デバイス100は、TCPおよびUDPを含むいくつかのトランスポート層プロトコルと、HTTPおよびFTPを含むいくつかの異なる層プロトコルを組み込む。
図2は、2つの発光体211、212および3つの影形成要素289、290、291を使用する本発明の一実施形態における影パターンを投影するプローブヘッドアセンブリ220および着脱可能なチップ230の機械的構成の概略平面図である。図2を参照すると、着脱可能なチップ230はプローブヘッドアセンブリ220の遠位端に取り付けることができる。構造化光投影光学系および受光光学系からさらに構成することができる1組のチップ観察光学系は着脱可能なチップ230の内部に収容することができる。
一実施形態では、着脱可能なチップ230は、プローブヘッドアセンブリ220に取付け可能および取外し可能な、プローブヘッドアセンブリ220からは別個の構成要素とすることができる。別の実施形態では、以前に述べたように、着脱可能なチップ230の要素はプローブヘッドアセンブリ220の内部に収容するか、他の形でプローブヘッドアセンブリ220と一体化することができる。さらに、プローブヘッドアセンブリ220に収容されると説明した要素は着脱可能なチップ230に収容することができる。説明を容易にするために、本明細書で説明する実施形態は着脱可能なチップ230を着脱可能であるとして参照するが、着脱可能なチップ230の要素がプローブヘッドアセンブリ220と一体化される実施形態が同様に想像される。さらに、説明を容易にするために、チップ観察光学系および構造化光投影光学系、またはそれらの一部は、着脱可能なチップ230に完全に収容されているとして説明する。しかし、これらの要素は、着脱可能なチップ230とプローブヘッドアセンブリ220との間で分割されることを含めて、上述の様々な実施形態に従って収容することができる。さらに、説明は映像検査デバイス100のプローブヘッドアセンブリ230を参照するが、別の同様のデバイスを使用することもできる。
構造化光投影光学系は2つ以上の発光体211、212と、1つまたは複数の影形成要素289、290、291とを含むことができる。影形成要素289、290、291および発光体211、212はプローブヘッドアセンブリ220と一体化するか、または一般観察の間着脱可能なチップ230の一部として取り付けることができ、その結果、影形成要素289、290、291および発光体211、212は、観察チップを交換することなしに、測定するために、または観察対象物206の空間的関係を決定するために使用することができる。発光体211、212は、単一の発光ダイオード(LED)、光ファイバ、レーザ、または別の発光源とすることができる。発光体211、212は、必要に応じて、単一または多数に、細く、長く、または様々な形状にすることができる。十分に一様な出力を生成する任意の小さく高強度の発光体を使用することができる。当業者は適切な代替物を認識するであろう。小さい発光体211、212およびより少ない発光体211、212を使用すると、物理的空間を節約することができ、それにより、着脱可能なチップ230のサイズを小さくすることができ、または着脱可能なチップ230をさらに複雑にする余地を大きくすることができる。
発光体211、212は、互いに対しておよび/または着脱可能なチップ230に対してしっかりと所定位置に配置することができる。単一のダイ286が発光体211、212を含み、それにより、発光体211、212の相対位置を本質的に制御することができる。発光体211、212は、着脱可能なチップ230の遠位端の開口292を通して光を放出することができる。開口292は、開放窓、またはガラス、プラスチック、もしくは別の光透過材料によって部分的にまたは完全に閉じられた窓とすることができる。発光体211、212は、一般観察の間光源として働くことができ、または代替の一般観察光源228が、多分、光通過要素238とともに、一般観察の間完全な光出力を供給することができる。
発光体211、212によって放出され、開口292を通る光の中に、1つまたは複数の影形成要素289、290、291を配置することができる。これらの影形成要素289、290、291は開口292の中またはその近くに配置することができる。光透過材料を使用して開口292を密閉する場合、影形成要素289、290、291は、光透過材料の上に配置する、それに取り付ける、またはそれと一体化することができる。影形成要素289、290、291は固体物体とすることができ、または影形成要素は透明な窓の上に描くことができる。影形成要素289、290、291を生成するために液晶表示装置(LCD)を使用することもできる。LCDにより、オペレータは影形成要素を操作するのにより優れた制御を行い、サイズ、形状、暗さ、位置、および存在を変更することができる。
図2で示した例示的実施形態において、3つの影形成要素289、290、291は、長い縁部から中心の方に暗さが増大する線、棒、または長方形のように整形された影を投影するように構成することができる。しかし、1つ以上の任意の数の影形成要素289、290、291を使用することができる。図2は2次元の平面図であるので、影形成要素289、290、291の深さ(すなわち、細長い寸法)は見られない。一実施形態では、影形成要素289、290、291は、発光体211、212の幅よりも細くすることができる。発光体211、212の幅の2倍までの幅をもつ影形成要素289、290、291を使用して、投影される影の必要な形状を保持するのを可能とすることができる。図示の例示的実施形態では、影形成要素289、290、291は発光体211、212の幅とほぼ等しい幅を有する。影形成要素289、290、291は、代替として、所望の幅、長さ、または形状の影を生成するために様々に整形またはサイズ変更することができる。
影形成要素289、290、291は、発光体211、212から放出された光の一部を遮ることができ、その結果、光と影とのパターンである投影された影パターン201、202は、プローブヘッドアセンブリ220および/または着脱可能なチップ230から前方に投影することができる。発光体211、212は1つずつ作動することができる。影パターン201は第1の発光体211の作動中に投影することができ、影パターン202は第2の発光体212の作動中に投影することができる。発光体211、212が作動されるとき、一般観察光源228は非作動にすることができる。発光体211、212および影形成要素289、290、291は、発光体211、212が同時に光を放出する場合、投影された影パターン201、202は光と影との交互の区域を有するように配置および構成することができる。言い換えれば、影パターン201、202が重畳される場合、重畳された影パターン201、202中の影が重ならなくすることができる。投影された影は急峻な縁部を有することができ、または投影された影は光に滑らかに移行することができる。しかし、急峻な縁部または滑らかな移行からX方向に影の中心に近づくと、影の明度値は減少する。
細いビームの発光体211、212を使用すると、比較的狭い影が推進される。発光体211、212の幅の範囲とほぼ同じ幅、またはその範囲内の幅の狭い影形成要素289、290、291を使用すると、さらに、重なりのない比較的狭い影を推進するのに役立つ。影形成要素289、290、291が広すぎると、投影された影は同様に大きくなることがあり、1つの発光体211、212から投影された影が別の発光体211、212から投影された影と重なることがある。影形成要素289、290、291が発光体211、212と比較して細すぎる場合、光は、影形成要素289、290、291を通り過ぎて、投影された影の中心に、または中心の方に曲げられることがあり、その結果、投影された影は弱いか、または明確に輪郭が示されない。発光体211、212の幅と同じくらいの幅まで影形成要素289、290、291を最大化すると、重なりのない比較的明瞭で狭い影が推進される。
発光体は従来の方法で電力を供給することができる。例えば、図2示されるように、発光体211、212は、発光体211、212に接続される第1の組の電線240を通して電力を含む電気信号を受け取ることができる。第1の組の電線240は第1の組の電気接触部250で終端することができ、それは、プローブヘッドアセンブリ220に収容される第2の組の電気接触部(図示せず)にさらに接続する、またはそれから切り離すことができる。この構成により、着脱可能なチップ230はプローブヘッドアセンブリ220に取付け可能および取外し可能になる。第2の組の電気接触部(図示せず)は、プローブヘッドアセンブリ220のヘッドを通って延びる第2の組の電線(図示せず)に接続することができる。電線は、駆動回路(図示せず)および/または電源(図示せず、図1を参照)まで上流に通じる。他の配線配置は当業者なら認識されよう。
例えば、代替の一実施形態では、双方向駆動回路(図示せず)を、非平行な発光体211、212、単一の電線240、および必要ならば発光体211、212を駆動するための単一の接触部250とともに使用することができる。この実施形態では、プローブヘッドアセンブリ220は電気的な接地に使用することができる。
受光光学系は、構造化光投影光学系から投影され、視野内の対象物206から反射された光を受け取る。対象物206がプローブヘッドアセンブリ220の前にある場合、投影された影パターン201、202は対象物206上に投影される。光は対象物206で反射し、プローブヘッドアセンブリ220に戻り、受光光学系は光をプローブ光学系122および撮像装置124に渡す。図2で示した例示的実施形態では、受光光学系はレンズ234およびプリズム236を含む。レンズ234は、発光体211、212および影形成要素289、290、291の上に、それらの下に、またはそれらの側方に配置することができる。レンズ234は、画像をプリズム236を通してプローブ光学系122および撮像装置124に合焦することができる。例示的実施形態では、レンズ234が発光体211、212および/または影形成要素289、290、291の側方にオフセットされる距離はベースライン間隔を決定することができる。限られた数の発光体211、212および影形成要素289、290、291を使用すると、および/または小さい発光体211、212および小さい影形成要素289、290、291を使用すると、レンズ234をさらにオフセットするために追加の空間を開けることでき、それにより、ベースライン間隔が増加し、したがって、映像検査デバイス100の精度および/または解像度が向上する。
プリズム236は、適切な方向に光を誘導するために適切に整形することができる。図2では、プリズム236は台形である。さらに、当業者なら分かるはずであるように、着脱可能なチップ230を取り付けるおよび取り外すように設計することができる、または着脱可能なチップ230の要素を一体化することができる特定の映像検査デバイス100に部分的に応じて、デバイスのチップ観察光学系の構成は変更することができる。例えば、代替の一実施形態では、発光体211、212および/または影形成要素289、290、291は受光光学系の両側に存在することができ、それにより、可能性として、さらに多くの発光体211、212および/またはさらに多くの影形成要素289、290、291を使用できるようになり、および/または可能性として、より良好なデータ密度が提供される。別の実施形態では、レンズ234およびプリズム236が存在せず、既存の映像検査デバイス100に前から存在するプローブ光学系122だけを利用する。
投影された影パターン201、202は、Z軸に沿って、着脱可能なチップ230から50ミリメートル(≒1.9685インチ)の物距離まで外側に示された影投射軌跡を有し、影は平坦で無光沢で白色の表面上に投影される。図の2次元の間隔は、上から見下ろして見えるような視野を示す。影軌跡は、線221、222、231、232、241、および242によって示される。線313、314は視野の端を示す。線221、231、および241は、第1の発光体211が作動している間に3つの影形成要素289、290、および291によって投影された影を示す。線222、232、および242は、発光体212が作動している間に同じ3つの影形成要素289、290、および291によって視野に投影された影の中心を示す。中心の影形成要素290はほぼ原点(0,0)に配置される。発光体211、212は、Z軸に沿って原点からの負の距離の方向に配置される。原点は、代替として、発光体211もしくは212の一方の位置、または発光体211と212との間の中央点などの別の場所を考慮に入れることができる。
図2で分かるように、影の位置は着脱可能なチップ230からの距離に応じて変化し、その変化は予測可能にすることができる。したがって、影が視野内で対象物206に当たる場所を決定することにより、測定した場所での対象物206の距離および倍率を決定することができるようになる。着脱可能なチップ230のチップ観察光学系などの要素の幾何学的形状が分かると、対象物206の距離は、人間の主観なしに、映像検査デバイス100によって三角測量により迅速に自動的に決定することができる。この方法では、映像検査デバイス100は自動的物距離値および他の空間特性を提供することができる。しかし、発光体211、212のうちの一方による照明の間に取り込まれた画像では、影は必ずまたはいつでも明瞭に画定されるまたは識別可能であるとは限らない。例えば、反射光を引き起こす、または追加の影を生成する表面の不規則のために、高精度で影の端または中心を定めるのは困難なことがある。しかし、視野内の対象物206上の影の位置または影のポイントはより正確に定めることができる。
物距離を含む観察対象物206の空間特性の決定を可能にする画像取り込みシーケンスを発生させるために、一般観察画像300は、一般観察光源228が作動され、発光体211、212が非作動にされた状態で取り込むことができる。図3は、図2の着脱可能なチップから50mmに配置された平坦で白色の対象物206の画素化一般観察画像300の1行を示し、一般観察画像300は、本発明の一実施形態における図2の着脱可能なチップおよび図1の映像検査デバイス100により一般観察の間に取り込まれる。説明の目的だけのために、画素化一般観察画像300は48個の行および64個の列の画素を含む。行および列は、限定はしないが、640×480、または1280×1024のように非常に大きくすることができる。一般観察画像300は、影が投影されていない状態で一般観察光源228を使用して取り込むことができる。しかし、発光体211、212のうちの1つまたは複数は、一般観察の間代替として使用することができる。1つを超える一般観察画像300を取り込むことができ、得られた値は平均化することができる。各画素は関連する輝度(luminance)(または明度(brightness))値(例えば、0から255の間のグレースケール値)を有することができる。
第1の発光体画像400は、一般観察光源228が非作動にされ、第2の発光体212が非作動にされ、第1の発光体211が作動された状態で取り込むことができる。図4は、図2の着脱可能なチップ230から50mmに配置された平坦で白色の対象物206の画素化された第1の発光体画像400の1行を示し、第1の発光体画像400は、図2の着脱可能なチップ230を使用して、第1の発光体211が作動し、一般観察光源228および第2の発光体212が非作動である間に取り込まれる。多数の第1の発光体画像400をさらに取り込むことができ、それぞれの第1の発光体画像400から得られた値は平均化することができる。各画素は関連する輝度値(例えば0から255の間のグレースケール値)を有することができる。投影された影パターン201中の各影の中心は、行R1の画像画素C17、C37、およびC57に取り込まれる。各影は各影の中心から外に移ると次第に弱まり、そのため、各画素中の明度値は、各影の中心から左または右に移ると増大する。
画像取り込みシーケンスをさらに継続するために、第2の発光体画像500は、一般観察光源228が非作動にされ、第1の発光体211が非作動にされ、第2の発光体212が作動された状態で取り込むことができる。図5は、図2の着脱可能なチップ230から50mmに配置された平坦で白色の対象物206の画素化された第2の発光体画像500の1行を示し、第2の発光体画像500は、図2の着脱可能なチップ230を使用して、第2の発光体212が作動し、一般観察光源228および第1の発光体211が非作動である間に取り込まれる。多数の第2の発光体画像500をさらに取り込むことができ、それぞれの第2の発光体画像500から得られた値は平均化することができる。各画素は関連する輝度値(例えば0から255の間のグレースケール値)を有することができる。投影された影パターン202中の各影の中心は、行R1の画像画素C7、C27、およびC47に取り込まれる。各影は各影の中心から外に移ると次第に弱まり、そのため、各画素中の明度値は、各影の中心から左または右に移ると増大する。
画像取り込みの間の着脱可能なチップ230の移動を低減し、かつ同一の視野の画像を取り込む能力を向上させるために、画像取り込みシーケンスを発生させた後、一般観察光源228および/または発光体211、212はたて続けにおよび/または自動的に作動および/または非作動にすることができる。さらに、追加の発光体が使用される場合、各追加の発光体を単独で作動させて追加の画像を取り込むことができる。
一実施形態では、第1の発光体211は別個の発光体画像400、500を取り込むようにある位置から第2の位置に移動することができるので、第1の発光体211は、着脱可能なチップ230および映像検査デバイス100が第1の発光体画像400および第2の発光体画像500を取り込むように作動することができる。
別の実施形態では、第2の発光体212は、影を投影する影形成要素289、290、291なしで光を投影することができる。この場合、発光体212は、影形成要素289、290、291が発光体212から投影された光の経路中にないように配置することができる。代替として、影形成要素289、290、291は移動可能とすることができ、その結果、それらは、投影された影パターン201、202なしで画像が発光体211、212の一方から取り込まれることが望ましい場合、発光体211、212の経路から外に移動することができる。
別の実施形態では、着脱可能なチップ230および映像検査デバイス100が画像を取り込むために、第1の発光体211および一般観察光源228だけが作動される。
図6は、図4の第1の発光体画像400の明度プロファイル611および図5の第2の発光体画像500の明度プロファイル612を示し、両方は、視野内でX次元距離を示す画素の1行にわたる。明度は0から1の目盛で図化され、ここで、1は最も明るい。明度プロファイル611は、第1の発光体211の作動の間に取り込まれた第1の発光体画像400の行R1の輝度値を示す。明度プロファイル612は、第2の発光体212の作動の間に取り込まれた第2の発光体画像500の行R1の輝度値を示す。したがって、明度プロファイルの谷621、631、および641は、第1の発光体211の作動の間に取り込まれた第1の発光体画像400の影になった区域を示し、明度プロファイルの谷622、632、および642は、第2の発光体212の作動の間に取り込まれた第2の発光体画像500の影になった区域を示す。それぞれの明度プロファイルの谷621、631、および641の底部は、第1の発光体211が作動されている間の最も暗いポイントを示す。それぞれの明度プロファイルの谷622、632、および642の底部は、第2の発光体212が作動されている間の最も暗いポイントを示す。着脱可能なチップ230から50mmの物距離で、視野は、約−40mmから約40mmまでの約80mm幅である。明度プロファイルの谷622、632、および642の底部はそれぞれ約−38mm、−8mm、および21mmである。明度プロファイルの谷621、631、および641の底部はそれぞれ約−21mm、8mm、および38mmである。
各投影された影パターン201、202の明度は周辺光に対して較正することができる。周辺光の影響を低減または抑制するために、周辺光画像は、発光体211、212を作動させず、および一般観察光源228を作動させずに取り込むことができ、そのため、周辺光明度を決定し差し引くことができる。
図7は、図2に示した本発明の一実施形態において、観察対象物206が着脱可能なチップ230から50mmにあるときの画素の1行での2つの投影された影パターン201、202の明度比率曲線711、712を示す。明度比率曲線711は、図5の第2の発光体画像500の明度値に対する図4の第1の発光体画像400の明度値の比率を示し、明度比率曲線712は、図4の第1の発光体画像400の明度値に対する図5の第2の発光体画像500の明度値の比率を示し、それぞれは画素の1行にわたる。明度比率曲線711、712は、影の中のよりよく画定されたポイントを得るために決定することができる。明度比率は、視野内の投影された影パターン201、202の全幅にわたる明度プロファイル611、612のそれぞれを、明度プロファイル611、612の他方で除算することによって決定することができる。各明度比率ピーク721、731、および741で局所最大明度比率極値を有する明度比率曲線711は、第2の発光体212が作動されるとき取り込まれた第2の発光体画像500の行R1の各画素に対して得られた輝度値を、第1の発光体211が作動されるとき取り込まれた第1の発光体画像400の行R1の各画素に対して得られた輝度値で除算することによって得ることができる。各明度比率ピーク722、732、および742で局所最大明度比率極値を有する第2の明度比率曲線712は、逆の除算によって得ることができる。各曲線711、712は、各影が最も暗い各影の中心で鋭い明度比率ピークを示す。例えば、明度比率ピーク742は、50mmでの図6の明度プロファイルの谷642および図2の線232に対応する。明度比率曲線711、712の明度比率ピーク721、731、741、722、732、742は、一般に、放物線となることがあり、一方、明度プロファイル611、612の明度プロファイルの谷621、631、641、622、632、642は、一般に、直線になることがある。
第1の発光体画像400だけが影パターン201により取り込まれる場合、画像400の明度値と、影パターン201、202が投影されない場合の一般観察画像300または第2の発光体画像500のいずれかの明度値とを使用して、同じ除算を計算して明度比率値を得ることができる。影パターン201、202がない画像の明度値は高くなることができ、明度プロファイルの谷621、631、641の底部の低い値で除算された高い値は高い結果をもたらすことができるので、鋭いピーク721、731、741が依然として生じることができる。
例示的な例では、図6のv形状の明度プロファイルの谷621、631、641、622、632、642は、容易に識別できる。しかし、非平坦、非平滑、および/または不規則な表面では、光は、一般に、表面の輪郭と光吸収の変化とに起因して不均一に反射され、画像明度の大きい変化がもたらされる。画像に暗い線を生成する線または亀裂などの表面フィーチャは、影と区別することが困難であることがあり、影の谷の見掛けの位置を変えることがある。影は、さらに、表面の輪郭によって変形されることがある。これらの場合には、図6のv形状の明度プロファイルの谷621、631、641、622、632、642は直接識別することが困難であることがある。明度比率を決定することによって得られる図7の各放物線曲線は、より容易にかつ詳細に識別可能になり得るより十分に画定されたポイントを提供する。より鋭い明度比率ピーク721、731、741、722、732、および742は、それらの尖鋭度のために一層容易に認識可能となり得る。
物距離は、局所最小明度比率極値を使用して決定することもできる。例えば、明度比率ピーク721、731、741間の局所最小明度比率極値である明度比率の谷751、761を認識および使用して、物距離を決定することができる。明度比率の谷751、761は、明度比率ピーク732、742のそれぞれのものと相互に関連することができる。例えば、明度比率の谷751、761は、明度比率ピーク732、742を決定するのに使用される除算の逆によって得ることができる。同様に、明度比率ピーク721、731のそれぞれのものと相互に関連することができる各明度比率の谷752、762(例えば、各明度比率ピーク722、732、742間の局所最小比極値)を認識および使用して、物距離を決定することもできる。これらの明度比率の谷751、761、752、762は、明度比率の谷751、761、752、762および/または明度比率ピーク721、731、741、722、732、742がより高密度にグループ化され、それにより、谷751、761、752、762によって鋭くより狭い曲線が生成されたとき、より容易に識別可能なものとなり得る。
明度比率を決定する際に、観察表面の反射率の変化は、上述のように、影パターン201、202が等しく影響を受けるので、得られる明度比率711、712への影響は少ない。例えば、観察表面上の1つのポイントが入射光の20%を反射する場合、入射強度I201を有する影パターン201中の光の20%が反射され、0.2×I201の反射強度がもたらされる。入射強度I202を有する影パターン202中の光の20%が同様に反射され、0.2×I202の反射強度がもたらされる。これらの反射強度の比率は、0.2×I201/(0.2×I202)、すなわちI201/I202である。したがって、表面の反射率は明度比率に実質的に影響を与えない。
映像検査デバイス100を使用して検査される大部分の区域に周辺光はほとんどないが、用途によっては若干の周辺光がある場合がある。周辺光の強度が影区域の投影パターンと比べてかなり大きい場合、周辺光は投影された影の暗さを低減することがある。そのような状況では、明度比率ピーク721、731、741、722、732、および742の値が低減され、それにより、低減のレベルに応じて、明度比率ピークの場所を検出する信頼性および/または精度が低下することがある。この影響を打ち消すために、一実施形態では、発光体211、212および一般観察光源228が無効にされた、または非作動にされた状態で、1つまたは複数の周囲画像が取り込まれる。次に、周囲画像の画素明度値が発光体画像400、500の画素明度値から差し引かれて、明度比率が決定される。周辺照明が、画像400、500を取り込む時間の間に大きく変化しない限り、周辺光の影響は大幅に低減され、より大きい明度比率ピークがもたらされる。一実施形態では、一定の閾ピーク値(例えば、5)未満の明度比率ピークはすべてフィルタ除去して、入射光および/または暗さによってもたらされることがあるあらゆるピークを取り除くことができる。
各局所明度比率極値画素(例えば、明度比率ピークまたは明度比率の谷を含む各画素)は識別することができる。図8は、本発明の一実施形態による、画素の単一の行R1の明度比率ピーク721、731、741、722、732、742に対応する明度比率ピーク画素802の識別を示す概略図である。各画素を解析することができる。行R1は、明度比率ピーク721、731、741、722、732、742が図7に例示したように生じる明度比率ピーク画素802を示す。明度比率ピーク721、731、741、722、732、742を含む明度比率ピーク画素802は、行R1および列C7、C17、C27、C37、C47、およびC57の塗り潰しボックスによって識別される。例示的実施形態では、表面が平滑で平坦であるので、影形成要素289、290、291が、図示の視野全体にわたってY次元に影を投影するように十分に長いと仮定すると、図示の塗り潰しボックスは、残りの行を通って真っ直ぐな列を延び続けることになる。これらの列はX−Y平面における投影された影パターン201、202を示す。
非平坦および/または非平滑な表面では追加のZ次元が加えられ、そのZ次元は、X−Y表示では曲線、破線、または他の形で非直線に見える線で表すことができる。X−Y平面は、観察対象物206によって占められる3次元空間から潰された2次元平面と見なすことができる。3次元空間は、レンズ234の観察方向に画素のX−Y平面へと潰すことができる。この場合、対象物206は平坦であるので、X−Y平面は忠実に2次元平面だけとなる。対象物206のいかなるZ次元の変化も投影された影の経路に沿って影のX次元の変化として取り込むことができるように、着脱可能なチップ230から影を投影することができる。影のX次元の変化は、図8に示した塗り潰しの明度比率ピーク画素802から左または右に明度比率ピークをシフトすることによって示すことができる。
したがって、X−Y平面における影位置を使用して、影位置でのZ次元の物距離を決定することができる。着脱可能なチップ230から各影のZ次元の物距離は、画素のX−Y平面における明度比率ピーク値の位置に基づき、発光体211、212、影形成要素289、290、291、および/またはレンズ234などの他のチップ観察光学系の既知の幾何学的形状に基づいて(例えば、要素の既知の位置および角度からの三角測量を使用して)予測することができる。例えば、チップ観察光学系の既知の幾何学的形状を使用して、画素の行R1、列C7によって示された実際の場所での観察対象物206が着脱可能なチップ230からの50mmにあるとき、行R1、列C7の明度比率ピーク画素802が、影軌跡222に関連する明度比率ピーク値を含むことになることが分かっている場合、その上、投影された影パターン201、202が、行R1、列C7に配置された画素で明度比率ピークを有する明度比率で画像を生成し、かつそのピークが影軌跡222に関連すると決定される場合、行R1、列C7によって示される対象物206上の場所が着脱可能なチップ230から50mmの物距離にあることを決定することができる。
各発光体211、212により取り込まれた発光体画像400、500は、一般観察光源228を使用して取り込まれた一般観察画像300と関連づけることができる。したがって、発光体211、212を使用して取り込まれた発光体画像400、500中の特定の画素に対して決定されたZ次元物距離は、さらに、一般観察光源228の作動中に取り込まれた一般観察画像300中の対応する画素と関連づけることができる。図8の例を継続すると、行R1、列C7での明度比率ピーク画素802および影軌跡222によって示された対象物206の場所の物距離は50mmであると分かっているので、一般観察画像300の行R1、列C7の同じ画素は50mmの物距離を有することになる。オペレータは、対象物206の一般観察画像300を使用して、着脱可能なチップ230から観察対象物206までの物距離、または対象物206上の特定の場所の観察対象物206の空間特性を決定することができる。
構造化光投影光学系は高密度にグループ化される明度比率ピークを生成するように構成することができる。この高密度なグループ化は、対象物206のより良好な表示を達成するためにより多くのデータポイントを得るのに役立つ。明度比率ピーク間に間隙がある対象物の場所での物距離は、明度比率ピークをもつ画素に隣接する画素の画素データに基づいて推定することができ、および/またはデータがほとんどないかまたは全くない区域の空間特性は、得られたデータに基づき、または得られたデータから補間して推定することができる。例えば、各明度比率ピークの場所または各明度比率ピーク画素802に対してX、Y、およびZ座標、または行、列、Z座標が分かった後、曲線当てはめを使用して、関数Z=f(X,Y)、またはZ=f(行,列)を決定することができる。列C7、C17、C27、C37、C47、およびC57の影ピーク線の直線性は、列C7、C17、C27、C37、C47、およびC57の線間の規則的な間隔と組み合わせて、列C7、C17、C27、C37、C47、およびC57の明度比率ピーク画素802と関連づけられた場所のそれぞれで一様な物距離を示す。これらの場所のこの均一性は平坦で平滑な表面を示す。一様な隆起が、例えば列C17によって示された空間の全長に沿って示された場合、隆起は列C7およびC27で得られた物距離まで一様に軽減されたと想定することができる。
Z次元における対象物206の距離が変化するとき、異なる影が特定の画素に現れることがある。影区域の間を見分けるのは、物距離を決定するときにどの影区域を使用するかを識別するのに重要となることがある。一実施形態では、影区域を識別するのは、他のものと異なるある影区域を投影することによって達成することができる。例えば、図2に示したように影形成要素289、290、291をすべて同じ幅とするのではなく、1つの影形成要素289、290、291を他のものよりも広くまたは狭くし、それによって、他のものと異なる1つの影を投影することができる。図9では、例えば、中央の影形成要素290は2つの周辺の影形成要素289、291よりも狭い。影形成要素289、290、291はすべて開口292に配置される。
図10は、2つの発光体211、212と、中央の影形成要素290が周辺の影形成要素289、291よりも狭い3つの影形成要素289、290、291とを使用する本発明の一実施形態における着脱可能なチップ230から50mmにある平坦で白色の対象物206の取り込まれた画像の画素の1行の明度プロファイル911、912を示し、1つの画像は第1の発光体211の作動中に取り込まれ、1つの画像は第2の発光体212の作動中に取り込まれる。図10は、図10に示されたより狭い中央の影形成要素290の効果を除いて50mmでの図6と同様である。2つの得られた中央の影、すなわち第1の発光体211の作動中に生成され画像化された一方と、第2の発光体212の作動中に生成され画像化された他方とは、より狭くなり、他の影ほど中央で暗くならないことがある。明度プロファイルの谷931および932はこの特有の特質を示す。明度プロファイルの谷931および932は明度プロファイルの谷921、922、941、および942ほど深くなく、または広くなく、それは、明度プロファイルの谷931および932に関連した影はそれほど暗くなく(例えば、より多くの輝度を有し)、より狭いことを示している。この特有の影の特質は、図11に示した対応する明度比率で一層強調することができる。
図11は、図10に示した明度プロファイル911、912の比である明度比率曲線1011、1012を示す。それぞれ明度プロファイルの谷931、932での明度プロファイル911、912の明度値に対応する2つの明度比率ピーク1031、1032は、他の明度比率ピーク1021、1022、1041、1042よりも著しく短く、したがって、どの影軌跡が各明度比率ピークに関連するかを決めるのに使用することができる。識別可能な明度比率ピークを使用して、着脱可能なチップ230から観察対象物206までの物距離を決定することができる。
影区域の間を区別する他の方法を同様に利用することができる。例えば、一実施形態では、画像明度、カメラ利得、カメラ露光、および発光体駆動パラメータを使用して、想定される表面反射率に基づいて物距離を推定することができる。次に、この推定した物距離を既知の投射幾何学的形状とともにさらに使用して、着脱可能なチップ230から観察対象物206の表面位置までの正確な距離を決定するために、幾何学的形状の中でどの影区域を使用するかを決定することができる。
別の実施形態では、着脱可能なチップ230の異なる位置から別の投影される影パターンを投影することができる。投影された影パターン201、202の相対位置を使用して、図8に示したものなどの明度比率ピーク線を区別することができる。
本明細書は例を使用して、最良の形態を含む本発明を開示し、かつ任意のデバイスまたはシステムを製作し使用すること、ならびに任意の組み込んだ方法を実行することを含めて本発明を当業者が実施できるようにしている。本発明の特許の範囲は特許請求の範囲によって規定され、当業者が思いつく他の例を含むことができる。他のそのような例は、特許請求の範囲の文字どおりの意味と異ならない構造要素を有する場合、または特許請求の範囲の文字どおりの意味と実質的に差のない均等構造要素を含む場合、特許請求の範囲の範囲内にあるものである。
100 映像検査デバイス
102 細長いプローブ
110 挿入管
112 撮像装置ハーネス
120、220 プローブヘッドアセンブリ
122 プローブ光学系
124 撮像装置
126 撮像装置ハイブリッド
128、228 一般観察光源
132 チップ観察光学系
130、230 着脱可能なチップ
138、238 光通過要素
140 プローブエレクトロニクス
142 撮像装置インタフェースエレクトロニクス
144 較正メモリ
146 マイクロコントローラ
150 CPU
152 プログラムメモリ
154 揮発性メモリ
156 不揮発性メモリ
158 コンピュータI/Oインタフェース
160 映像プロセッサ(複数可)
162 映像メモリ
170 一体化表示器
172 外部モニタ
180 ジョイスティック
182 ボタン
184 キーパッド
186 マイクロホン
201、202 投影された影パターン
206 対象物
211 第1の発光体
212 第2の発光体
221、222、231、232、241、242 影軌跡を示す線
234 レンズ
236 プリズム
240 電線
250 接触部
286 ダイ
289、291 周辺の影形成要素
290 中央の影形成要素
292 開口
300 一般観察画像
313、314 視野の端を示す線
611、612 明度プロファイル
621、622、631、632、641、642 明度プロファイルの谷
711、712 明度比率曲線
721、722、731、732、741、742 明度比率ピーク
751、752、761、762 明度比率の谷
802 明度比率ピーク画素
911、912 明度プロファイル
921、922、931、932、941、942 明度プロファイルの谷
1011、1012 明度比率曲線
1021、1022、1031、1032、1041、1042 明度比率ピーク

Claims (15)

  1. 映像検査デバイス(100)のプローブ(102)から対象物(206)までの距離を決定するための構造化光ベースの測定の方法であって、前記映像検査デバイス(100)は、発光体(211、212)が作動されるとき、少なくとも1つの影形成要素(289、290、291)をもつ開口(292)を通して前記対象物(206)上に光を放出し、前記対象物(206)上に複数の影を形成するための第1の発光体(211)および第2の発光体(212)を有する、方法において、
    前記第1の発光体(211)が作動され、前記第2の発光体(212)が非作動にされた状態で前記対象物(206)の少なくとも1つの第1の発光体画像(400)を取り込むステップであり、前記第1の発光体画像(400)が前記少なくとも1つの影形成要素(289、290、291)によって形成された第1の影を有する、ステップと、
    前記第2の発光体(212)が作動され、前記第1の発光体(211)が非作動にされた状態で前記対象物(206)の少なくとも1つの第2の発光体画像(500)を取り込むステップであり、前記第2の発光体画像(500)が前記少なくとも1つの影形成要素(289、290、291)によって形成された第2の影を有する、ステップと、
    前記少なくとも1つの第1の発光体画像(400)中の画素の第1の複数の輝度値を決定するステップと、
    前記少なくとも1つの第2の発光体画像(500)中の画素の第2の複数の輝度値を決定するステップと、
    前記少なくとも1つの第2の発光体画像(500)中の前記画素の前記第2の複数の輝度値に対する前記少なくとも1つの第1の発光体画像(400)中の前記画素の前記第1の複数の輝度値の明度比率を決定するステップと、
    前記明度比率を使用して物距離を決定するステップと
    を含む方法。
  2. 前記明度比率を使用して前記物距離を決定するステップが、前記少なくとも1つの第1の発光体画像(400)中の少なくとも1つの明度比率極値画素を識別するステップであり、前記第1の影に対応する少なくとも1つの明度比率極値が発生する、ステップと、前記物距離を決定するために前記少なくとも1つの明度比率極値画素の座標を利用するステップとをさらに含む、請求項1記載の方法。
  3. 前記少なくとも1つの明度比率極値が明度比率ピーク(721、722、731、732、741、742、1021、1022、1031、1032、1041、1042)であり、前記少なくとも1つの明度比率極値画素が明度比率ピーク画素(802)である、請求項2記載の方法。
  4. 前記少なくとも1つの明度比率極値が明度比率の谷(751、752、761、762)であり、前記少なくとも1つの明度比率極値画素が明度比率の谷の画素である、請求項2記載の方法。
  5. 前記少なくとも1つの第1の発光体画像(400)中の前記画素の前記第1の複数の輝度値に対する前記少なくとも1つの第2の発光体画像(500)中の前記画素の前記第2の複数の輝度値の明度比率を決定するステップと、
    前記少なくとも1つの第2の発光体画像(500)中の前記明度比率極値画素を識別するステップであり、前記第2の影に対応する前記明度比率極値が発生する、ステップと、
    前記明度比率極値画素の少なくとも1つに対して前記物距離を識別および決定するステップと
    をさらに含む、請求項2記載の方法。
  6. 一般観察光源(128、228)が作動され、前記第1の発光体(211)および前記第2の発光体(212)が非作動にされた状態で前記対象物(206)の少なくとも1つの一般観察画像(300)を取り込むステップであり、前記一般観察画像(300)が、前記少なくとも1つの影形成要素(289、290、291)によって形成される前記複数の影のいずれも有しておらず、測定が前記物距離を利用して行われている間、前記一般観察画像(300)が表示される、ステップをさらに含む、請求項1記載の方法。
  7. 前記少なくとも1つの第1の発光体画像(400)中の前記画素の第1の複数の輝度値を決定する前記ステップが、複数の第1の発光体画像(400)の平均に基づいて行われる、請求項1記載の方法。
  8. 前記少なくとも1つの第2の発光体画像(500)中の前記画素の第2の複数の輝度値を決定する前記ステップが、複数の第2の発光体画像(500)の平均に基づいて行われる、請求項1記載の方法。
  9. 前記少なくとも1つの第1の発光体画像(400)中の前記画素の前記第1の複数の輝度値が、前記少なくとも1つの第1の発光体画像(400)中の1行の画素の輝度値を含む、請求項1記載の方法。
  10. 前記少なくとも1つの第1の発光体画像(400)中の前記少なくとも1つの明度比率ピーク画素を識別するステップであり、前記第1の影に対応する少なくとも1つの明度比率ピーク(721、722、731、732、741、742、1021、1022、1031、1032、1041、1042)が発生する、ステップが、
    閾値ピーク値を決定するステップと、
    前記閾値ピーク値未満の明度比率をもつ明度比率ピーク(721、722、731、732、741、742、1021、1022、1031、1032、1041、1042)があればそれを除去するステップと
    を含む、請求項3記載の方法。
  11. 前記少なくとも1つの第1の発光体画像(400)中の前記明度比率極値画素に対応する前記少なくとも1つの一般観察画像(300)中の前記画素に対する前記物距離を決定するステップが、少なくとも前記第1の発光体(211)および前記影形成要素(289、290、291)の既知の幾何学的形状に基づく、請求項6記載の方法。
  12. 前記第1の発光体(211)が非作動にされ、前記第2の発光体(212)が非作動にされた状態で前記対象物(206)の少なくとも1つの周囲画像を取り込むステップと、
    前記少なくとも1つの周囲画像中の前記画素の第3の複数の輝度値を決定するステップと、
    前記少なくとも1つの第1の発光体画像(400)中の前記画素の前記第1の複数の輝度値から前記少なくとも1つの周囲画像中の前記画素の前記第3の複数の輝度値を差し引くステップと、
    前記少なくとも1つの第2の発光体画像(500)中の前記画素の前記第2の複数の輝度値から前記少なくとも1つの周囲画像中の前記画素の前記第3の複数の輝度値を差し引くステップと、
    をさらに含む、請求項1記載の方法。
  13. 前記少なくとも1つの第1の発光体画像(400)中の前記明度比率極値画素に対応する前記少なくとも1つの一般観察画像(300)中の近隣の画素の前記物距離間を補間することによって前記第1の発光体画像(400)の画素の物距離を決定するステップをさらに含む、請求項6記載の方法。
  14. 前記物距離を決定するステップが、前記明度比率極値画素を使用して多数の物距離を決定するステップと、明度比率極値画素以外の場所の物距離を推定するために前記多数の物距離を利用するステップとをさらに含む、請求項2記載の方法。
  15. 前記利用するステップが前記多数の物距離を使用して曲線当てはめを行うステップを含む、請求項14記載の方法。
JP2011154365A 2010-07-19 2011-07-13 構造化光ベースの測定の方法 Pending JP2012027017A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/838,742 2010-07-19
US12/838,742 US8165351B2 (en) 2010-07-19 2010-07-19 Method of structured light-based measurement

Publications (2)

Publication Number Publication Date
JP2012027017A true JP2012027017A (ja) 2012-02-09
JP2012027017A5 JP2012027017A5 (ja) 2014-08-28

Family

ID=44510741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011154365A Pending JP2012027017A (ja) 2010-07-19 2011-07-13 構造化光ベースの測定の方法

Country Status (5)

Country Link
US (1) US8165351B2 (ja)
EP (1) EP2410488A1 (ja)
JP (1) JP2012027017A (ja)
CN (1) CN102401646B (ja)
RU (1) RU2560996C2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014181907A (ja) * 2013-03-15 2014-09-29 Ricoh Co Ltd 撮像ユニット、測色装置、画像形成装置、測色システムおよび距離測定方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019812B2 (en) 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US9984474B2 (en) 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US10157495B2 (en) 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US10586341B2 (en) 2011-03-04 2020-03-10 General Electric Company Method and device for measuring features on or near an object
US9875574B2 (en) 2013-12-17 2018-01-23 General Electric Company Method and device for automatically identifying the deepest point on the surface of an anomaly
CN102692207B (zh) * 2011-03-25 2014-07-30 财团法人工业技术研究院 量测方法与量测装置
KR20120117165A (ko) * 2011-04-14 2012-10-24 삼성전자주식회사 3차원 영상의 생성 방법 및 이를 이용하는 내시경 장치
KR102012810B1 (ko) 2011-05-12 2019-08-21 디퍼이 신테스 프로덕츠, 인코포레이티드 이미징 센서 및 이미징 센서에 대한 데이터를 액세스하는 방법
JP5918984B2 (ja) * 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
KR102143807B1 (ko) 2012-07-26 2020-08-31 디퍼이 신테스 프로덕츠, 인코포레이티드 최소 영역 모노리식 cmos 이미지 센서를 가진 카메라 시스템
US9516239B2 (en) 2012-07-26 2016-12-06 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
BR112015001555A2 (pt) 2012-07-26 2017-07-04 Olive Medical Corp vídeo contínuo em ambiente com deficiência de luz
WO2014067000A1 (en) 2012-10-29 2014-05-08 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
BR112015023206A2 (pt) 2013-03-15 2017-08-22 Olive Medical Corp Sincronização de sensor de imagem sem temporizador de entrada e temporizador de transmissão de dados
CA2906821A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
WO2014144947A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Super resolution and color motion artifact correction in a pulsed color imaging system
JP6404318B2 (ja) 2013-03-15 2018-10-10 デピュイ・シンセス・プロダクツ・インコーポレイテッド レーザーパルスの積算光エネルギー制御
CN105228503B (zh) 2013-03-15 2017-11-07 德普伊新特斯产品公司 最小化内窥镜应用中图像传感器输入/输出和导体的数量
FR3012231B1 (fr) * 2013-10-18 2016-01-01 Univ Aix Marseille Dispositif et procede de reperage de terrain en vol pour microdrone
US9818039B2 (en) 2013-12-17 2017-11-14 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9842430B2 (en) 2013-12-17 2017-12-12 General Electric Company Method and device for automatically identifying a point of interest on a viewed object
WO2015124159A1 (en) * 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
DE102014204243A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
DE102014204244A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
JP6573960B2 (ja) 2014-03-21 2019-09-11 デピュイ・シンセス・プロダクツ・インコーポレイテッド イメージングセンサ用のカードエッジコネクタ
CN106662433B (zh) * 2014-06-27 2019-09-06 新加坡恒立私人有限公司 结构化光成像系统及方法
JP6736257B2 (ja) 2015-04-02 2020-08-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN108024806B (zh) 2015-07-21 2022-07-01 3D集成公司 套管组装套件、套管针组装套件、套筒组件、微创手术系统及其方法
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US10704904B2 (en) * 2018-03-20 2020-07-07 Pixart Imaging Inc. Distance detection device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07136101A (ja) * 1993-11-16 1995-05-30 Sony Corp 計測機能付き内視鏡
JP2003004425A (ja) * 2001-03-21 2003-01-08 Ricoh Co Ltd 光学的形状測定装置
JP2003050112A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 三次元形状入力装置及び投影装置
US6587183B1 (en) * 1998-05-25 2003-07-01 Matsushita Electric Industrial Co., Ltd. Range finder and camera
JP2004037272A (ja) * 2002-07-03 2004-02-05 Ricoh Co Ltd 光学的形状測定装置
JP2006267123A (ja) * 1998-05-25 2006-10-05 Matsushita Electric Ind Co Ltd カメラ

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5618711A (en) * 1979-07-23 1981-02-21 Canon Inc Device for measuring distance
JPS587515A (ja) * 1981-07-08 1983-01-17 Canon Inc 測距装置
CA1266562A (en) * 1986-09-24 1990-03-13 Donald Stewart Distance measuring apparatus
SU1682766A1 (ru) * 1988-09-05 1991-10-07 Тернопольский Филиал Львовского Политехнического Института Им.Ленинского Комсомола Способ бесконтактного измерени рассто ний
US4980763A (en) * 1989-06-12 1990-12-25 Welch Allyn, Inc. System for measuring objects viewed through a borescope
US5633675A (en) * 1993-02-16 1997-05-27 Welch Allyn, Inc, Shadow probe
US5822066A (en) * 1997-02-26 1998-10-13 Ultratech Stepper, Inc. Point diffraction interferometer and pin mirror for use therewith
US6438272B1 (en) * 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
JP2002500369A (ja) * 1997-12-31 2002-01-08 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク デジタル・ビデオ投影システムを使用して三次元表面輪郭描画を行う方法および装置
US20020163573A1 (en) * 2001-04-11 2002-11-07 Bieman Leonard H. Imaging system
GB2389914B (en) * 2002-06-18 2004-05-26 Keymed Dual capability borescope
US7286246B2 (en) * 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
SE526735C2 (sv) * 2003-06-13 2005-11-01 Atos Medical Ab Anordning för mätning av fysiska egenskaper hos trumhinnan
CA2569798C (en) * 2005-12-01 2014-07-29 The University Of Ottawa Full-field three-dimensional measurement method
CA2528791A1 (en) * 2005-12-01 2007-06-01 Peirong Jia Full-field three-dimensional measurement method
EP1971820B1 (de) * 2006-01-08 2012-10-17 Hermann Tropf Erstellung eines abstandsbildes
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US7969583B2 (en) 2008-03-05 2011-06-28 General Electric Company System and method to determine an object distance from a reference point to a point on the object surface
US7821649B2 (en) 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07136101A (ja) * 1993-11-16 1995-05-30 Sony Corp 計測機能付き内視鏡
US6587183B1 (en) * 1998-05-25 2003-07-01 Matsushita Electric Industrial Co., Ltd. Range finder and camera
JP2006267123A (ja) * 1998-05-25 2006-10-05 Matsushita Electric Ind Co Ltd カメラ
JP2003004425A (ja) * 2001-03-21 2003-01-08 Ricoh Co Ltd 光学的形状測定装置
JP2003050112A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 三次元形状入力装置及び投影装置
JP2004037272A (ja) * 2002-07-03 2004-02-05 Ricoh Co Ltd 光学的形状測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014181907A (ja) * 2013-03-15 2014-09-29 Ricoh Co Ltd 撮像ユニット、測色装置、画像形成装置、測色システムおよび距離測定方法

Also Published As

Publication number Publication date
US20120014563A1 (en) 2012-01-19
RU2560996C2 (ru) 2015-08-20
RU2011129424A (ru) 2013-01-27
CN102401646B (zh) 2014-07-16
EP2410488A1 (en) 2012-01-25
US8165351B2 (en) 2012-04-24
CN102401646A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
JP2012027017A (ja) 構造化光ベースの測定の方法
CN110352346B (zh) 用于检查资产的方法和装置
US8411083B2 (en) Method and device for displaying an indication of the quality of the three-dimensional data for a surface of a viewed object
US10699149B2 (en) Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
EP2175231B1 (en) System aspects for a probe system that utilizes structured-light
US10157495B2 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
CN111982023B (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
JP5432864B2 (ja) 検査装置及び検査方法
JP6442344B2 (ja) 内視鏡診断装置、プログラムおよび記録媒体
US20190365200A1 (en) Measurement support device, endoscope system, and processor
CN114569047B (zh) 胶囊内窥镜、摄像系统的测距方法和装置
JP5266952B2 (ja) 光学式計測装置および計測方法
JP2003185412A (ja) 画像取得装置および画像取得方法
US20220330850A1 (en) Endoscope apparatus, method of operating the same, and non-transitory computer readable medium
JP7265594B2 (ja) 自動化されたタービンブレードとシュラウドとの間の間隙測定
CN116490744A (zh) 自动涡轮叶片与护罩间隙测量
JP2010025805A (ja) 深さ測定装置及び深さ測定方法
JP5924577B2 (ja) 位置検出装置
JP2014014656A (ja) 内視鏡システム
JP2020005745A (ja) 内視鏡装置
JP2017227473A (ja) 画像検査装置、及び、プログラム
JPH10240927A (ja) 画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160809