JP2015104136A - 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法 - Google Patents

拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法 Download PDF

Info

Publication number
JP2015104136A
JP2015104136A JP2014240411A JP2014240411A JP2015104136A JP 2015104136 A JP2015104136 A JP 2015104136A JP 2014240411 A JP2014240411 A JP 2014240411A JP 2014240411 A JP2014240411 A JP 2014240411A JP 2015104136 A JP2015104136 A JP 2015104136A
Authority
JP
Japan
Prior art keywords
image
imaging system
focus
focus position
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014240411A
Other languages
English (en)
Other versions
JP6502071B2 (ja
Inventor
カーミル ブリル ロバート
Robert Kamil Bryll
カーミル ブリル ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Publication of JP2015104136A publication Critical patent/JP2015104136A/ja
Application granted granted Critical
Publication of JP6502071B2 publication Critical patent/JP6502071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法を提供する。
【解決手段】 マシンビジョン検査システムの撮像システムを動作させて、拡張被写界深度(EDOF)画像を提供する方法。この方法は、(a)視野内にワークピースを配置することと、(b)撮像システム内の要素間の間隔を巨視的に調整せずに、ワークピースの表面高さを含む合焦範囲内で、合焦軸方向に沿った複数の合焦位置にわたって撮像システムの合焦位置を周期的に変調することと、(c)合焦範囲内で合焦位置を変調しながら、画像積分時間中に第1の予備画像を露光することと、(d)第1の予備画像を処理することにより、画像積分時間中に合焦範囲内で生じる劣化画像寄与を除去し、単一の焦点位置で撮像システムが提供するよりも被写界深度の深いEDOF画像を提供することとを含む。
【選択図】図2

Description

分野
本発明は、一般的にはマシンビジョン検査システムに関し、より詳細には拡張被写界深度画像の撮像動作に関する。
背景
精密なマシンビジョン検査システム(又は略して「ビジョンシステム」)は、物体の精密な寸法測定を取得し、様々な他の物体要素を検査するために利用することができる。そのようなシステムは、コンピュータと、カメラ及び光学系と、ワークピースを横切って検査可能にするように移動する精密ステージとを含み得る。汎用「オフライン」精密ビジョンシステムとして特徴付けることができる1つの例示的な従来技術によるシステムは、イリノイ州オーロラ(Aurora)に所在のMitutoyo America Corporation (MAC)から入手可能な市販のQUICK VISION(登録商標)シリーズのPCベースのビジョンシステム及びQVPAK(登録商標)ソフトウェアである。QUICK VISION(登録商標)シリーズのビジョンシステム及びQVPAK(登録商標)ソフトウェアの機能及び動作は一般に、例えば、2003年1月に公開されたQVPAK 3D CNC Vision Measuring Machine User's Guide及び1996年9月に公開されたQVPAK 3D CNC Vision Measuring Machine Operation Guideに説明されている。この種のシステムは、顕微鏡型光学系を使用可能であり、小さいワークピース及び比較的大きなワークピースのいずれについても、様々な倍率で検査画像を提供するようにステージを移動させることが可能である。
汎用精密マシンビジョン検査システムは一般に、自動ビデオ検査を提供するようにプログラム可能である。そのようなシステムは通常、動作及びプログラムを「非専門家」オペレータによって実行可能なように、GUI及び予め定義される画像解析「ビデオツール」を含む。例えば、米国特許第6,542,180号では、様々なビデオツールの使用を含む自動ビデオ検査を使用するビジョンシステムが教示されている。
特定の検査イベントシーケンス(すなわち、各画像を取得する方法及び各取得画像を解析/検査する方法)を含むマシン制御命令は一般に、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶される。例えば、パートプログラムは、ワークピースに対してカメラを位置決めする方法、照明レベル、倍率レベル等の各画像を取得する方法を定義する。さらに、パートプログラムは、例えば、オートフォーカスビデオツール等の1つ又は複数のビデオツールを使用することにより、取得画像を解析/検査する方法を定義する。
ビデオツール(又は略して「ツール」)及び他のグラフィカルユーザインタフェース機能は、手動検査及び/又はマシン制御動作を達成するために手動で使用し得る(手動モードで)。それらのセットアップパラメータ及び動作も、自動検査プログラム又は「パートプログラム」を作成するために、学習モード中に記録することができる。ビデオツールは、例えば、エッジ/境界検出ツール、オートフォーカスツール、形状又はパターン照合ツール、寸法測定ツール等を含み得る。
いくつかの用途では、被写界深度が、単一の合焦位置で光学撮像システムによって提供されるよりも深い拡張被写界深度(EDOF)を有する画像を収集するように、マシンビジョン検査システムの撮像システムを動作させることが望ましい。拡張被写界深度を有する画像を収集する様々な方法が知られている。そのような一方法は、ある合焦範囲にわたる異なる距離で合焦された同一視野、又は位置合わせされた複数の画像からなる画像「スタック」を収集することである。視野のモザイク画像が画像スタックから構築され、視野の各部分は、最良合焦で当該部分を映している画像から抽出される。しかし、この方法は比較的遅い。別の例として、Nagaharaら(「柔軟な被写界深度写真撮影法(Flexible Depth of Field Photography)」Proceedings of the European Conference on Computer Vision, October 2008)は、単一の画像を当該画像の露光時間中に、複数の焦点距離に沿って露光する方法を開示している。この画像は比較的ぼやけているが、複数の焦点距離にわたって取得された画像情報を含む。既知又は所定のブラーカーネルを使用してデコンボリューションされて、拡張被写界深度を有する比較的鮮明な画像が得られる。Nagaharaに記載の方法では、焦点距離は、撮像システムの光軸に沿って画像検出器を並進移動させることによって変更される。その結果、検出器では、露光中の異なる時間で異なる焦点面に焦点が合わせられる。しかし、そのような方法は比較的遅く、機械的に複雑である。さらに、精密測定(例えば、数μmのオーダの精度)には焦点を固定して取得した検査画像を使用しなければならないが、そのような検査画像の取得に使用される場合、検出器の位置の変更は再現性及び/又は精度に悪影響を有するおそれがある。光学構成要素の機械的な並進移動に頼らずに、高速で実行し得る、拡張被写界深度(EDOF)画像を提供する改良された方法が望ましい。
本発明の上記態様及び多くの付随する利点は、添付図面と併せて解釈される場合、以下の詳細な説明を参照することによってよりよく理解されるため、より容易に理解されるだろう。
汎用精密マシンビジョン検査システムの典型的な様々な構成要素を示す図である。 図1のマシンビジョン検査システムと同様であり、本明細書に開示される機能を含むマシンビジョン検査システムの制御システム部と、ビジョン構成要素部とのブロック図である。 マシンビジョン検査システムに適合し、本明細書に開示される原理に従って動作し得るEDOF撮像システムの第1の実施形態の概略図を示す。 本明細書に開示される原理により、EDOF撮像システム(例えば、図3の撮像システム)の一実施形態において使用し得る画像露光中の合焦高さの例示的なタイミング図を示す。 マシンビジョン検査システムに適合し、本明細書に開示される原理に従って動作し得るEDOF撮像システムの第2の実施形態の概略図を示す。 EDOF撮像システムからの画像の光学デコンボリューションを実行し、比較的鮮明なEDOF画像をリアルタイムで提供するために、撮像システムのフーリエ面で使用し得る光学フィルタの第1の実施形態を特徴付けるグラフである。 撮像システムのフーリエ面で使用し得る光学フィルタの第2の実施形態を特徴付けるグラフである。 EDOF撮像システムからの予備画像の計算的デコンボリューションを実行し、比較的鮮明なEDOF画像を概ねリアルタイムで提供するために、マシンビジョン検査システムの撮像システムを動作させる方法の一実施形態を示す流れ図である。
詳細な説明
図1は、本明細書に記載される方法により使用可能な例示的な1つのマシンビジョン検査システム10のブロック図である。マシンビジョン検査システム10はビジョン測定機12を含み、ビジョン測定機12は、制御コンピュータシステム14とデータ及び制御信号を交換可能に接続される。制御コンピュータシステム14は、さらに、モニタ又はディスプレイ16、プリンタ18、ジョイスティック22、キーボード24、及びマウス26とデータ及び制御信号を交換可能に接続される。モニタ又はディスプレイ16は、マシンビジョン検査システム10の動作の制御及び/又はプログラミングに適するユーザインタフェースを表示し得る。様々な実施形態では、タッチスクリーンタブレット等を、コンピュータシステム14、ディスプレイ16、ジョイスティック22、キーボード24、及びマウス26のうちの任意又は全ての代替としてもよく、且つ/又はそれ(ら)の機能を冗長的に提供してもよいことが理解されるだろう。
制御コンピュータシステム14が一般に、任意の計算システム又は装置からなり得ることを当業者は理解するだろう。適する計算システム又は装置は、パーソナルコンピュータ、サーバコンピュータ、ミニコンピュータ、メインフレームコンピュータ、上記のうちの何れか含む分散計算環境等を含み得る。そのような計算システム又は装置は、本明細書に記載の機能を実行するソフトウェアを実行する1つ又は複数のプロセッサを含み得る。プロセッサは、プログラマブル汎用又は専用マイクロプロセッサ、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、プログラマブル論理装置(PLD)等、又はそのような装置の組み合わせを含む。ソフトウェアは、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、フラッシュメモリ等、又はそのような構成要素の組み合わせ等のメモリに記憶し得る。ソフトウェアは、光学に基づくディスク、フラッシュメモリデバイス、又はデータを記憶する任意の他のタイプの不揮発性記憶媒体等の1つ又は複数の記憶装置に記憶してもよい。ソフトウェアは、特定のタスクを実行するか、又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む1つ又は複数のプログラムモジュールを含み得る。分散計算環境では、プログラムモジュールの機能は、有線又は無線の構成で、結合してもよく、又は複数の計算システム若しくは装置に分散し、サービス呼び出しを介してアクセスしてもよい。
ビジョン測定機12は、可動式ワークピースステージ32と、ズームレンズ又は交換式レンズを含み得る光学撮像システム34とを含む。ズームレンズ又は交換式レンズは一般に、光学撮像システム34によって提供される画像に様々な倍率を提供する。マシンビジョン検査システム10は、本願と同じ譲受人に譲渡された米国特許第7,454,053号、同第7,324,682号、同第8,111,905号、及び同第8,111,938号にも記載されている。
図2は、図1のマシンビジョン検査システムと同様であり、本明細書に記載される機能を含むマシンビジョン検査システム100の制御システム部120と、ビジョン構成要素部200とのブロック図である。より詳細に後述するように、制御システム部120は、ビジョン構成要素部200の制御に利用される。ビジョン構成要素部200は、光学アセンブリ部205と、光源220、230、及び240と、中央透明部212を有するワークピースステージ210とを含む。ワークピースステージ210は、ワークピース20を位置決めし得るステージ表面に略平行する平面内にあるX軸及びY軸に沿って移動制御可能である。光学アセンブリ部205は、カメラ系260と、交換式対物レンズ250とを含み、レンズ286及び288を有するターレットレンズアセンブリ280を含み得る。ターレットレンズアセンブリに対する代替として、固定レンズ、又は交換式の倍率変更レンズ、又はズームレンズ構成等を含み得る。
光学アセンブリ部205は、制御可能なモータ294を使用することにより、X軸及びY軸に略直交するZ軸に沿って移動制御可能であり、モータは、アクチュエータを駆動して、光学アセンブリ部205をZ軸に沿って移動させて、ワークピース20の画像のフォーカスを変更する。制御可能なモータ294は、信号線296を介して入出力インタフェース130に接続される。
マシンビジョン検査システム100を使用して撮像すべきワークピース20又は複数のワークピース20を保持するトレイ若しくは固定具は、ワークピースステージ210に配置される。ワークピースステージ210は、交換式対物レンズ250がワークピース20上の位置間及び/又は複数のワークピース20の間で移動するよう、光学アセンブリ部205に相対して移動するように制御し得る。透過照明光源220、落斜照明光源230、及び斜め照明光源240(例えば、リング光源)のうちの1つ又は複数は、光源光222、232、及び/又は242のそれぞれを発して、1つ又は複数のワークピース20を照明し得る。光源230は、ミラー290を含む経路に沿って光232を発し得る。この光源光は、ワークピース光255として反射又は透過し、ワークピース光は、撮像に使用するために、交換式対物レンズ250及びターレットレンズアセンブリ280を通過し、カメラ系260に集められる。カメラ系260により取得されたワークピース20の画像は、制御システム部120に向けて信号線262に出力される。光源220、230、及び240は、信号線又はバス221、231、及び241のそれぞれを通して制御システム部120に接続し得る。画像の倍率を変更するには、制御システム部120は、信号線又はバス281を通して、軸284に沿ってターレットレンズアセンブリ280を回転させて、ターレットレンズを選択し得る。
図2に示されるように、様々な例示的な実施形態では、制御システム部120は、コントローラ125と、入出力インタフェース130と、メモリ140と、ワークピースプログラム生成・実行器170と、電源部190とを含む。これらの構成要素のそれぞれ並びに後述する追加の構成要素は、1つ又は複数のデータ/制御バス及び/又はアプリケーションプログラミングインタフェースにより、或いは様々な要素間の直接接続により相互接続し得る。
入出力インタフェース130は、撮像制御インタフェース131と、移動制御インタフェース132と、照明制御インタフェース133と、レンズ制御インタフェース134とを含む。撮像制御インタフェース131は、拡張被写界深度(EDOF)モード131eを含み得、ユーザはこのモードを選択して、単一の合焦位置で合焦させたときにビジョン構成要素部200によって提供される画像よりも被写界深度の深いワークピース画像を少なくとも1つ収集し得る。レンズ制御インタフェース134は、レンズ合焦駆動回路及び/又はルーチン等を含むEDOFレンズコントローラを含み得る。拡張被写界深度モード及びEDOFレンズ制御インタフェース及び/又はコントローラに関連付けられた動作及び構成要素については、図3〜図7を参照してさらに後述する。移動制御インタフェース132は、位置制御要素132aと、速度/加速度制御要素132bとを含み得るが、そのような要素は統合且つ/又は区別不可能であってもよい。照明制御インタフェース133は、例えば、マシンビジョン検査システム100の様々な対応する光源の選択、電力、オン/オフ切り替え、及び該当する場合にはストローブパルスタイミングを制御する照明制御要素133a、133n、及び133flを含む。
メモリ140は、画像ファイルメモリ部141と、エッジ検出メモリ部140edと、1つ又は複数のパートプログラム等を含み得るワークピースプログラムメモリ部142と、ビデオツール部143とを含み得る。ビデオツール部143は、対応する各ビデオツールのGUI、画像処理動作等を決定するビデオツール部143a及び他のビデオツール部(例えば、143n)と、ビデオツール部143に含まれる様々なビデオツールで動作可能な様々な関心領域(ROI)を定義する自動、半自動、及び/又は手動の動作をサポートする関心領域(ROI)生成器143roiとを含む。ビデオツール部は、合焦高さ測定動作のGUI、画像処理動作等を決定するオートフォーカスビデオツール143afも含む。本開示の文脈の中では、当業者に既知であるように、ビデオツールという用語は一般に、ビデオツールに含まれるステップごとの動作シーケンスを作成せずに、又は一般化されたテキストベースのプログラミング言語等を用いずに、比較的単純なインタフェース(例えば、グラフィカルユーザインタフェース、編集可能パラメータウィンドウ、メニュー等)を通してマシンビジョンユーザが実施することができる、自動又はプログラムされた比較的複雑な動作セットを指す。例えば、ビデオツールは、動作及び計算を管理する少数の変数又はパラメータを調整することにより、特定のインスタンスで適用されカスタマイズされた画像処理動作及び計算の複雑な事前にプログラムされたセットを含み得る。基本となる動作及び計算に加えて、ビデオツールは、ユーザがビデオツールの特定のインスタンスのパラメータを調整できるようにするユーザインタフェースを含む。例えば、多くのマシンビジョンビデオツールでは、ユーザは、マウスを使用しての単純な「ハンドルドラッグ」動作を通して、グラフィカル関心領域(ROI)インジケータを構成し、ビデオツールの特定のインスタンスの画像処理動作によって解析すべき画像のサブセットのロケーションパラメータを定義することができる。可視のユーザインタフェース機能がビデオツールと呼ばれることもあり、基本となる動作が暗黙的に含まれることに留意されたい。
透過照明光源220、落斜照明光源230’、及び斜め照明光源240のそれぞれの信号線又はバス221、231、及び241はすべて、入出力インタフェース130に接続される。カメラ系260からの信号線262及び制御可能なモータ294からの信号線296は、入出力インタフェース130に接続される。画像データの伝送に加えて、信号線262は、画像取得を開始するコントローラ125から信号を伝送し得る。
1つ又は複数のディスプレイ装置136(例えば、図1のディスプレイ16)及び1つ又は複数の入力装置138(例えば、図1のジョイスティック22、キーボード24、及びマウス26)も、入出力インタフェース130に接続することができる。ディスプレイ装置136及び入力装置138を使用して、ユーザインタフェースを表示することができ、ユーザインタフェースは様々なグラフィカルユーザインタフェース(GUI)機能を含み得、これらの機能は、検査動作の実行、パートプログラムの作成及び/又は変更、カメラ系260によって取得された画像の閲覧、及び/又はビジョンシステム構成要素部200の直接制御に使用可能である。ディスプレイ装置136は、ビデオツール143afに関連付けられたユーザインタフェース機能を表示し得る。
例示的な様々な実施形態では、ユーザがマシンビジョン検査システム100を利用して、ワークピース20のパートプログラムを作成する場合、ユーザは、学習モードでマシンビジョン検査システム100を動作させて、所望の画像取得トレーニングシーケンスを提供することにより、パートプログラム命令を生成する。例えば、トレーニングシーケンスは、代表的なワークピースの特定のワークピース要素を視野(FOV)内に位置決めすること、照明レベルを設定すること、フォーカス又はオートフォーカスすること、画像を取得すること、及び画像に適用される検査トレーニングシーケンスを提供すること(例えば、ワークピース要素上にビデオツールの1つのインスタンスを使用して)を含み得る。学習モードは、シーケンスを取得し、対応するパートプログラム命令に変換するように動作する。これらの命令は、パートプログラムが実行される場合、マシンビジョン検査システムにトレーニングされた画像取得・検査動作を再現させ、パートプログラム作成時に使用された代表的なワークピースに一致する1つ又は複数の実行モードワークピース上の特定のワークピース要素(対応するロケーションでの対応する要素)を検査動作に自動的に検査させる。本明細書に開示されるシステム及び方法は、ユーザが、視覚的検査及び/又はワークピースプログラム作成のためにワークピースをナビゲートしている間、EDOFビデオ画像をリアルタイムで見ることができるという点で、そのような学習モード及び/又は手動動作中に特に有用である。ユーザは、特に高倍率で面倒であり、時間がかかり得るワークピースでの様々な顕微鏡的要素の高さに応じて高倍率画像を常に再合焦する必要がない。
図3は、マシンビジョン検査システムに適合され、本明細書に開示される原理により動作し得るEDOF撮像システム300の第1の実施形態の概略図を示す。撮像システム300は、単一の合焦位置での撮像システムよりも深い(例えば、様々な実施形態では10〜20倍、又はそれ以上)被写界深度を有するワークピースの少なくとも1つの画像を提供するように構成可能である。撮像システム300は、撮像システム300の視野内のワークピースを照明するように構成可能な光源330と、対物レンズ350と、リレーレンズ351と、リレーレンズ352と、可変焦点距離レンズ370と、チューブレンズ386と、カメラ系360とを含む。
動作に際して、光源330は、ミラー390を含む経路に沿ってワークピース320の表面に光源光332を発するように構成可能であり、対物レンズ350は、ワークピース320の近傍の合焦位置FPで合焦するワークピース光を含むワークピース光355を受け取り、ワークピース光355をリレーレンズ351に出力する。リレーレンズ351は、ワークピース光355を受け取り、リレーレンズ352に出力する。リレーレンズ352は、ワークピース光355を受け取り、可変焦点距離レンズ370に出力する。リレーレンズ351とリレーレンズ352とで、対物レンズ350と可変焦点距離レンズ370との間に4fリレー光学系を構成し、ワークピース320の各Z高さ及び/又は合焦位置FPに一定の倍率を提供する。可変焦点距離レンズ370は、ワークピース光355を受け取り、チューブレンズ386に出力する。可変焦点距離レンズ370は、1つ又は複数の画像露光中に撮像システムの合焦位置FPを変更するように電子的に制御可能である。合焦位置FPは、合焦位置FP1及び合焦位置FP2によって区切られる範囲R内で移動し得る。いくつかの実施形態では、ユーザが、例えば、撮像制御インタフェース131のEDOFモード131eにおいて範囲Rを選択し得ることを理解されたい。
様々な実施形態では、マシンビジョン検査システムは制御システム(例えば、制御システム120)を含み、この制御システムは、撮像システム300の合焦位置を周期的に変調するよう可変焦点距離レンズ370を制御するように構成可能である。いくつかの実施形態では、可変焦点距離レンズ370は、合焦位置を非常に高速に調整又は変調し得る(例えば、少なくとも300Hz、3kHz、又はそれよりもはるかに高いレートで周期的に)。いくつかの実施形態では、範囲Rは10mmの大きさとし得る(例えば、1倍の対物レンズ350の場合)。様々な実施形態では、可変焦点距離レンズ370は、有利なことに、合焦位置FPを変更するために、いかなる巨視的機械的調整撮像システム及び/又は対物レンズ350とワークピース320との距離の調整を必要としないように選ばれる。そのような場合、EDOF画像を高速で提供し得、さらに、同じ撮像システムが、精密測定(例えば、数μmのオーダの精度)で使用しなければならない固定合焦検査画像の取得等に使用される場合、正確性を低下させる巨視的調整要素もなければ、関連付けられる位置決め非再現性がない。例えば、いくつかの実施形態では、EDOF画像をユーザの表示画像として使用し、後に、合焦位置の周期的な変調を終了して(例えば、上述したEDOFモード制御要素131e又は能動的測定動作に基づく自動終了等を使用して)、撮像システムに固定合焦位置を提供することが望ましい。次に、システムを使用して、固定合焦位置で撮像システムを使用して特定の要素の測定画像を露光させ得、その安定した高分解能測定画像を処理して、ワークピースの正確な測定を提供し得る。
いくつかの実施形態では、可変焦点距離レンズ370は、可変音響式屈折率分布型レンズ(tunable acoustic gradient index of refraction lens)である。可変音響式屈折率分布型レンズは、流体媒体内で音波を使用して、合焦位置を周期的に変調し、数百kHzの周波数である範囲の焦点距離を周期的に掃引し得る高速可変焦点距離レンズである。そのようなレンズは、記事「High-speed varifocal imaging with a tunable acoustic gradient index of refraction lens(可変音響式屈折率分布型レンズを使用する高速可変焦点撮像)」(Optics Letters, Vol. 33, No. 18, September 15, 2008)の教示によって理解し得る。可変音響式屈折率分布型レンズ及び関連する制御可能信号生成器は、例えば、ニュージャージー州プリンストン(Princeton)に所在のTAG Optics, Inc.から入手可能である。例えば、SR38シリーズのレンズは、最高で1.0MHzまでの変調が可能である。
可変焦点距離レンズ370は、EDOFレンズコントローラ374によって駆動し得、このコントローラは、可変焦点距離レンズ370を制御する信号を生成し得る。一実施形態では、EDOFレンズコントローラ374は、上記で参照したような市販の制御可能信号生成器であり得る。いくつかの実施形態では、EDOFレンズコントローラ374は、図2を参照して上述した撮像制御インタフェース131、EDOFモード131eのユーザインタフェース、及び/又はレンズ制御インタフェース134を通して、ユーザ及び/又はオペレーティングプログラムによって構成又は制御し得る。いくつかの実施形態では、可変焦点距離レンズ370は、合焦位置FPが高周波数で、時間の経過に伴って正弦波的に変調されるように、周期信号を使用して駆動し得る。例えば、いくつかの例示的な実施形態では、可変音響式屈折率分布型レンズを、400kHzという高速焦点スキャン用に構成し得るが、様々な実施形態及び/又は用途では、より遅い合焦位置調整及び/又は変調周波数が望ましいことがあることを理解されたい。例えば、様々な実施形態では、300Hz又は3kHz等の周期的変調を使用し得る。そのようなより遅い合焦位置調整が使用される実施形態では、可変焦点距離レンズ370は制御可能流体レンズ等を含み得る。
図3に示されるEDOF撮像システムの実施形態は、EDOF撮像システム及び関連付けられた信号処理が、EDOF撮像システムからの予備画像の計算的なデコンボリューションを実行し、比較的鮮明なEDOF画像を概ねリアルタイムで提供するように構成される場合に使用可能である。例えば、制御システム(例えば、図2に示される制御システム部120)は、画像露光中にEDOF合焦範囲にわたり合焦位置を変調する少なくとも1回の掃引の過程中に第1の予備画像を収集し、ピンぼけであり得る第1の予備画像を処理して、比較的鮮明な画像を決定するように構成される。一実施形態では、予備画像は、予備画像の合焦範囲に対応する既知又は所定の点拡散関数(PSF:Point spread function)を使用して処理又はデコンボリューションし得る。点拡散関数(PSF)は、錯乱円、すなわち、撮像システムから所与の距離にある点光源の円形画像を、錯乱円の半径r及び合焦位置FPの関数として特徴付ける。点拡散関数は、撮像システム(例えば、撮像システム300)に関して経験的に決定することができ、ピルボックス(pill box)又はガウス曲線等の関数にモデル化された点拡散関数を使用して推定してもよく、又は既知の方法により基本回折原理、例えば、フーリエ光学を使用して推測してもよい。合焦範囲内の様々な合焦距離でのそのような点拡散関数は、予期される露光寄与又は妥当性に従って加重(重み付け)し得る。例えば、露光中に焦点距離が移動する場合、各焦点距離は、その露光内の対応する時間期間中の画像露光に寄与し、その距離に対応する点拡散関数をそれに従って加重し得る。そのような加重点拡散関数寄与は、予期される合焦範囲Rにわたって合算又は積分し得る。代替的には、焦点距離変化が時間の既知の関数である場合、そのような点拡散関数寄与は、以下の図3を参照して示される手法と同様に、予期される合焦範囲Rの掃引に対応する時間期間にわたって積分し得る。
変調合焦位置を有する撮像システムでは、積分点拡散関数hは、次式の関係になる。
Figure 2015104136
式中、P(FP(t))は点拡散関数であり、FP(t)は時間依存合焦位置である。マシンビジョン検査システムの撮像システムの合焦位置は、第1の予備画像の画像露光又は積分時間に対応する合計積分時間Tにわたり、時間tの関数として変調し得る。
第1の予備画像のデコンボリューションは、いくつかの用途では「ブラー関数」と呼び得る積分点拡散関数hから、露光で各持続時間を有するある範囲の合焦位置にわたって露光される高被写界深度画像をデコンボリューションする逆演算として理解し得る。第1の予備画像は、次式の2次元関数g(x,y)として表すことができ、積分点拡散関数hを用いた拡張被写界深度画像f(x,y)(寸法m×nを有する画像アレイに対応する)のコンボリューションとなる。
g(x,y)=f*h=ΣmΣnf(m,n)h(x−m,y−n) 式2
周波数領域では、このコンボリューションは、F及びHとして表されるf及びhのフーリエ変換の積で表し得る。
G=F・H 式3
f及びhのフーリエ変換は、高速フーリエ変換(FFT)アルゴリズムを使用して効率的に特定し得る。EDOF画像(周波数領域での)は、ここではHrとして示されるHの逆行列で画像Gを処理する(すなわち、乗算する)ことによって特定し得る。逆行列Hrは、いくつかの既知の方法で計算し得る。例えば、Hの単純な疑似逆行列は、式
Figure 2015104136
によって特定し得る。式中、H*はHの複素共役であり、kは、撮像システム300の機能に経験的に基づいて選ばれる実数である。例示的な一実施形態では、kは0.0001である。最後に、拡張被写界深度画像fを、
Figure 2015104136
として計算し得る。疑似逆行列に対するよりロバストな代替は、Kenneth R. CastlemanによるDigital Image Processing(Rentice-Hall, Inc., 1996)に記載されるウィナーデコンボリューション(Wiener Deconvolution)又はルーシーリチャードソン反復アルゴリズム(Lucy-Richardson iterative algorithm)に従って計算し得る。さらに、画像の処理はブロックに基づくノイズ除去を含み得る。
異なる実施形態では、図5及び図6に関してさらに詳細に後述するように、フーリエ光学系の基本方法によりEDOF撮像システムのフーリエ面に配置される受動的光学フィルタを使用して、デコンボリューションを光学的に実行して、比較的鮮明なEDOF画像をリアルタイムで提供し得る。
例示的な実施形態では、撮像システム300は第1の予備画像を提供し得、この画像は、露光中に所望の合焦範囲にわたって取得された情報を含むピンぼけ画像である。そして、第1の予備画像は、上述したように計算的に処理され、撮像システム300が単一の合焦位置で提供し得るよりも深い(例えば、100倍深い)被写界深度の拡張被写界深度画像を提供し得る。例えば、単一の合焦位置では、被写界深度は90μmであり得、撮像システム300の同じ実施形態を使用して提供される拡張被写界深度画像は、9mmと大きくなり得る。
図4は、本明細書に開示される原理によりEDOF撮像システム(例えば、撮像システム300)の一実施形態において使用し得る、画像露光中の合焦高さ(合焦位置)の例示的なタイミング図400を示す。タイミング図400はさらに、撮像システムのカメラの露光時間を示す。一般的に言えば、以下の説明ではフレーム露光とも呼ばれるEDOF画像露光は、露光中に撮像システムの合焦高さを所望の合焦範囲にわたって変調する少なくとも1回の掃引にわたり撮像システムによって実行し得る。タイミング図400に示される特定の例では、所望の合焦範囲にわたる撮像システムの合焦高さの周期的な変調の少なくとも1つのサイクルに対応するフレーム露光が実行される。高速周期的変調は従来通り、調整可能音響勾配屈折率レンズを使用して実行される。より具体的には、一実施形態では、図4において反映される以下のステップが少なくとも1回繰り返されて、撮像システムが単一の合焦位置で提供するよりも深い被写界深度にわたり実質的に合焦されたEDOF画像を提供する。
・撮像システム内の要素の間隔を巨視的に調整せずに、合焦軸方向に沿った複数の合焦位置にわたる撮像システムの合焦位置(焦点面)を周期的に変調し、合焦位置は、少なくとも300Hzの周波数でワークピースの表面高さを含む合焦範囲で周期的に変調され、
・合焦範囲内で合焦位置を変調しながら、画像積分時間中に第1の予備画像を露光させ、
・第1の予備画像を処理して、画像積分時間中に生じた劣化画像の寄与を除去して、撮像システムが単一の合焦位置で提供するよりも深い被写界深度にわたって実質的に合焦されたEDOF画像を提供する。
上記の説明から、劣化画像の寄与が計算的に除去されるとき、第1の予備画像が、最初は劣化画像の寄与を含むピンぼけ画像であり得ることが理解されるだろう。この場合、第1の予備画像は、検出され、且つ/又は記録された画像データを含む。第1の予備画像を処理して、劣化画像の寄与を除去することは、第1の予備画像データを計算的に処理して、撮像システムが単一の合焦位置で提供するよいも深い被写界深度にわたって実質的に合焦されたEDOF画像(第2の画像又は変更画像)を提供することを含む。したがって、第1の予備画像及び提供されるEDOF画像は、この実施形態では、異なる画像及び/又は画像データを含む。
逆に、劣化画像の寄与が、光学フィルタ及び受動的フーリエ画像処理法を使用して除去される場合、第1の予備画像及びEDOF画像は同時に生じ、第1の予備画像は、検出された画像又は記録された画像である必要はない。劣化画像の寄与を除去する第1の予備画像の処理は、EDOF撮像システムの出力又は検出器において、撮像システムが単一の合焦位置で提供されるよりも深い被写界深度にわたって実質的に合焦されるEDOF画像を提供するために、EDOF撮像システムに入力される第1の予備画像光への受動的光学処理を含む。したがって、そのような実施形態では、EDOF撮像システムを通過する間、EDOF撮像システムのカメラ又は検出器で検出される前に、提供されるEDOF画像がそのような実施形態で検出され記録された唯一の画像であるように、第1の予備画像が光学的に処理されることが考え得る。
本明細書に概説され、且つ/又は図4に示される方法のうちの任意の方法による合焦位置変調の制御は、図2に示されるEDOFモード要素131e及びレンズ制御インタフェース134、及び/又は図3及び図5に示されるEDOFレンズコントローラ374及び574のそれぞれを参照して概説したように達成し得る。
本明細書に開示される原理により構成されるEDOF撮像システムは、高速拡張被写界深度撮像を提供するため、そのような撮像システムを利用して、高速で拡張被写界深度画像を繰り返し収集し得、例えば、毎秒30フレーム以上のフレームレートでのビデオ撮像では、複数の拡張被写界深度画像をリアルタイムビデオフレームとして表示し得る。
いくつかの実施形態では、周期的変調が範囲Rの所望の公称中心前後で行われるように、ユーザ入力(例えば、EDOFモード要素131eのユーザインタフェース機能を使用して)に応答して、周期的変調の範囲Rの公称中心に関連する制御信号構成要素への調整を行うことが可能である。いくつかの実施形態では、そのような調整は、画像露光中に自動的に変更し、例えば、単一の周期的変調によって達成される合焦範囲を超えて合焦範囲をさらに拡張するように制御することさえも可能である。
タイミング図は、例示のために、各フレーム露光に7周期分の合焦高さ変調を含ませて示すが、様々な実施形態では、本明細書に開示される原理により構成されるマシンビジョン検査システムが、1フレーム露光につき、はるかに多い周期の合焦高さ変調を行う撮像システムを含み得ることを理解されたい。例えば、例示的な撮像システムは、毎秒30フレームでビデオ画像を収集し得、30kHzのレートで合焦高さを変調し得、したがって、1フレーム露光につき1000周期の合焦高さ変調を提供する。そのような構成の一利点は、周期的変調内のフレーム露光間のタイミング関係があまり重要ではないことである。例えば、式1は、劣化画像の寄与の除去に使用される積分点拡散関数が、画像露光を通しての時間の関数としての合焦位置に依存することを示す。仮定される積分点拡散関数が、画像露光を通しての時間の関数としての実際の合焦位置に一致しない場合、劣化画像の寄与は理想的には扱われない。積分点拡散関数が、合焦範囲全体にわたる完全な1周期の合焦変調に基づいて仮定されており、且つ周期的合焦変調の1周期(又は数周期)のみが画像露光中に使用される場合、露光が変調周期の非整数倍の期間後に終了してしまうと、実際に積分される実際の合焦位置は、仮定される積分点拡散関数と比較してかなり「アンバランス」であり得る。逆に、画像露光中の累積周期数が大きい、例えば、少なくとも5周期、又は好ましくはそれ以上である場合(すなわち、変調周期の5倍以上の場合)であれば、露光が周期の非整数倍で終了しても、不完全な周期によるアンバランスな寄与は比較的小さくすることができ、仮定した積分点拡散関数は、略理想的に動作する。
いくつかの実施形態では、周期的に変調される合焦位置の少なくとも1周期中に第1の画像を収集することは、変調周期の整数倍の期間に画像を露光することを含み得る。上記考察に基づいて、これが、EDOF画像露光が比較的少数の周期的合焦変調周期(例えば、5周期未満)の場合に特に有効であり得ることが理解されるだろう。例えば、これは、過剰露光及び/又は動きのフリーズ等を回避するために、露光時間を比較的短くしなければならない場合に生じ得る。
タイミング図400に示される例では、合焦位置は正弦波変調される。いくつかの実施形態では、画像積分時間は、所望の合焦範囲の全体(例えば、図4に示されるように、周期的に変調される合焦位置のうちの少なくとも1つの期間)にわたる合焦変化を含む。いくつかの実施形態では、正弦波変調のより線形部分中のみで画像を露光することが望ましいことがある。これにより、合焦位置変調内の各高さでよりバランスのとれた露光時間が可能になる(例えば、正弦波合焦変調の両極での比較的長い合焦位置滞留時間をなくし得る)。したがって、いくつかの実施形態では、画像積分時間中の画像の露光は、周期的に変調された合焦位置の範囲内の異なる合焦位置のそれぞれで露光寄与の影響がそれぞれ異なるように、周期的変調合焦位置と同期した強度変動(例えば、オン/オフサイクル又はより漸次的な強度変動)を有する照明を提供することを含む。ストローブ照明がオフの場合、フレーム露光が実質的に画像寄与を受けないことが理解されるだろう。タイミング図400は、画像の露光に使用し得る2つの例示的な積分期間IPA及びIPBを示す。例示的な積分期間IPA及びIPBは、正弦波変調の両極端近傍の領域を除外する。すなわち、両方とも、正弦波変調の極端部から、周期長の少なくとも15パーセント離れている。積分期間IPA及びIPBは、既知の方法に従って、フレーム露光中に対応するストローブ照明を提供することによって制御し得る。
図5は、マシンビジョン検査システムに適合し、本明細書に開示される原理により動作し得るEDOF撮像システム500の第2の実施形態の概略図を示す。撮像システム500は図3の撮像システム300と同様である。図3において3XX及び図5において5XXと記される同様に付番される要素は、同様又は同一であるものとして理解し得、大きな違いについてのみ、図5に関して説明する。図5に示されるEDOF撮像システムの実施形態は、EDOF撮像システムが、EDOF撮像システムにおいて予備画像光の受動的光学デコンボリューションを実行し、比較的鮮明なEDOF画像を撮像システムのカメラ及び/又は検出器にリアルタイムで出力するように構成される場合に使用可能である。図5に示される実施形態では、撮像システム500はさらに、第1のフィルタリングレンズ553と、第2のフィルタリングレンズ554と、光学デコンボリューションフィルタ556とを含む。第1のフィルタリングレンズ553及び第2のフィルタリングレンズ554は、フーリエ面に配置される光学デコンボリューションフィルタ556を用いて4fリレー光学系を提供する。光学デコンボリューションフィルタ556は、図6を参照してさらに詳細に後述するように、撮像システム500に対して決定される積分点拡散関数から導出し得る。動作に際して、光学デコンボリューションフィルタ556は、可変焦点距離レンズ570から予備画像光が入力され、この画像光を光学的にフィルタリングする処理をして、出力EDOF画像をカメラ560に提供するように構成され、出力EDOF画像は、カメラ560にリアルタイムで出力される比較的鮮明なEDOF画像である。
図6Aは、第1の例示的な光学フィルタを特徴付けるグラフ600Aであり、この光学フィルタは、EDOF撮像システムのフーリエ面に配置して(例えば、図5の光学デコンボリューションフィルタ556の実施形態として)、EDOF撮像システムからの画像の光学デコンボリューションを実行し、比較的鮮明なEDOF画像をリアルタイムで提供し得る。グラフは、光学伝達曲線610Aを示す。光学伝達曲線610Aは、光学フィルタの中心で最小である線形光学伝達プロファイルを含む。瞳径の縁部近傍の光学フィルタの周辺において、光学伝達値は100%である。瞳径を超えると、光学伝達はゼロである。グラフ600Aを特徴とする光学フィルタは、デコンボリューションプロセスでハイパス空間フィルタとして動作する。
図6Bは、第2の例示的な光学フィルタを特徴付けるグラフ600Bであり、この光学フィルタをEDOF撮像システムのフーリエ面に使用して(例えば、図5の光学デコンボリューションフィルタ556の実施形態として)、EDOF画像システムからの画像の光学デコンボリューションを実行し、比較的鮮明なEDOF画像をリアルタイムで提供し得る。グラフは光学伝達曲線610Bを示す。光学伝達曲線610Bは、光学フィルタの中心で最小である二次光学伝達プロファイルを含む。瞳径の縁部近傍の光学フィルタの周辺において、光学伝達値は100%である。瞳径を超えると、光学伝達はゼロである。グラフ600Bを特徴とする光学フィルタも、デコンボリューションプロセスでハイパス空間フィルタとして動作する。グラフ600A及びグラフ600Bを特徴とする光学フィルタは例示的なものであって、これらに限定するものではない。他の伝達プロファイルを有する光学フィルタ、例えば、位相変更フィルタを使用してもよいことを理解されたい。
図7は、EDOF撮像システムからの予備画像の計算的デコンボリューションを実行し、比較的鮮明なEDOF画像を概ねリアルタイムで提供するために、マシンビジョン検査システムの撮像システムの動作及び関連付けられた信号処理の方法の一実施形態を示す。
ブロック710において、ワークピースは、マシンビジョン検査システムの視野に配置される。
ブロック720において、撮像システムの合焦位置は、撮像システム内の要素間の間隔を巨視的に調整せずに、合焦軸方向に沿った複数の合焦位置にわたり周期的に変調される。合焦位置は、少なくとも300Hzの周波数(又はいくつかの実施形態では、さらに高い周波数)でワークピースの表面高さを含む合焦範囲内で周期的に変調される。
ブロック730において、第1の予備画像は、合焦範囲内で合焦位置を変調しながら、画像積分時間中に露光される。
ブロック740において、第1の予備画像からのデータが処理されて、画像積分時間中に合焦範囲内で生じる劣化画像の寄与を除去し、撮像システムが単一の合焦位置で提供するよりも深い被写界深度にわたり実質的に合焦された画像を提供する。
本発明の様々な実施形態を示し説明したが、機能及び動作の順序の図示の構成及び記載の構成の多くの変更が、本開示に基づいて当業者には明らかであろう。したがって、本発明の趣旨及び範囲から逸脱せずに、様々な変更を行い得ることが理解されるだろう。
10、100 マシンビジョン検査システム
12 ビジョン測定機
14 制御コンピュータシステム
16 ディスプレイ
18 プリンタ
20、320 ワークピース
22 ジョイスティック
24 キーボード
26 マウス
32、210 ワークピースステージ
34 光学撮像システム
120 制御システム部
125 コントローラ
130 入出力インタフェース
131 撮像制御インタフェース
131e 拡張被写界深度モード
132 移動制御インタフェース
132a 位置制御要素
132b 速度/加速度制御要素
133 照明制御インタフェース
133a、133n、133fl 照明制御要素
134 レンズ制御インタフェース
136 ディスプレイ装置
138 入力装置
140 メモリ
140ed エッジ検出メモリ部
141 画像ファイルメモリ部
142 ワークピースプログラムメモリ部
143、143a、143n ビデオツール部
143af オートフォーカスツール
143roi 関心領域生成器
170 ワークピースプログラム生成・実行器
190 電源部
200 ビジョン構成要素部
205 光学アセンブリ部
212 中央透明部
220、230、230’、240、330 光源
221、231、241、262、281、296 信号線
222、232、242 光源光
250、350 対物レンズ
255、355 ワークピース光
260、360 カメラ系
280 ターレットレンズアセンブリ
286、288 レンズ
284 軸
290 ミラー
294 モータ
300、500 EDOF撮像システム
351、352 リレーレンズ
370 可変焦点距離レンズ
374 EDOFレンズコントローラ
386 チューブレンズ
390 ミラー
400 タイミング図
553 第1のフィルタリングレンズ
554 第2のフィルタリングレンズ
556 光学デコンボリューションフィルタ
560 カメラ
600A、600B グラフ

Claims (18)

  1. マシンビジョン検査システムの撮像システムを動作させて、単一の焦点位置において前記撮像システムが提供する被写界深度よりも深い被写界深度を有する少なくとも1つの画像を提供する方法であって、
    (a)前記マシンビジョン検査システムの視野内にワークピースを配置することと、
    (b)前記撮像システムの合焦位置を、前記撮像システム内の要素間の間隔を巨視的に調整せずに、前記ワークピースの表面高さを含む合焦範囲内で合焦軸方向に沿った複数の合焦位置にわたって、少なくとも300Hzの周波数で合焦位置を周期的に変調することと、
    (c)前記合焦範囲内で前記合焦位置を変調しながら、画像積分時間中に第1の予備画像を露光することと、
    (d)前記画像積分時間中に前記合焦範囲内で生じた劣化画像寄与を除去し、単一の焦点位置で前記撮像システムが提供するよりも広い範囲にわたって実質的に合焦された被写界深度の深い拡張被写界深度(EDOF)画像を提供するように、前記第1の予備画像を処理することと、
    を含む、方法。
  2. 前記撮像システムは可変焦点距離レンズを含み、前記撮像システムの合焦位置を周期的に変調することは、前記可変焦点距離レンズの合焦位置を変調することを含む、請求項1に記載の方法。
  3. 前記可変焦点距離レンズは、少なくとも3kHzの周波数で前記合焦位置を周期的に変調するように動作可能なレンズ及び可変音響式屈折率分布型レンズのうちの少なくとも一方を含む、請求項2に記載の方法。
  4. 前記第1の予備画像を処理することは、前記撮像システムを特徴付ける所定の関数を使用して、前記第1の予備画像に対応する画像データをデコンボリューションして、前記EDOF画像を提供することを含む、請求項1に記載の方法。
  5. 前記撮像システムは、可変焦点距離レンズを含み、前記撮像システムの合焦位置を周期的に変調することは、前記可変長焦点距離レンズの合焦位置を変調することを含み、
    前記撮像システムは、前記可変焦点距離レンズから予備画像を受け取り、空間的にフィルタリングするように配置された光学フィルタをさらに含み、
    ステップ(d)において、前記第1の予備画像を処理することは、前記光学フィルタを使用して前記予備画像光を空間的にフィルタリングし、前記光学フィルタによって出力される光に基づいて、前記EDOF画像を提供することを含む、請求項1に記載の方法。
  6. ステップ(c)及び(d)を少なくとも1回繰り返して、複数のEDOF画像を提供することをさらに含む、請求項1に記載の方法。
  7. 前記複数のEDOF画像のうちの少なくとも1つを前記マシンビジョン検査システムのディスプレイに表示することをさらに含む、請求項6に記載の方法。
  8. 前記複数のEDOF画像のうちの少なくともいくつかを、前記マシンビジョン検査システムの前記ディスプレイにビデオフレームとして表示することをさらに含む、請求項6に記載の方法。
  9. 前記複数のEDOF画像のうちの少なくとも2つが、異なる合焦範囲にわたって合焦されるように、ユーザ入力に基づいて前記周期的変調の公称中心に関連する制御信号成分に対する調整を行うことをさらに含む、請求項6に記載の方法。
  10. (e)前記合焦位置の前記周期的な変調を終了して、前記撮像システムに固定合焦位置を提供することと、
    (f)前記固定合焦位置で前記撮像システムを使用して、測定画像を露光することと、
    (g)前記測定画像を処理して、前記ワークピースの測定を提供することと、
    をさらに含む、請求項1に記載の方法。
  11. 画像積分時間中に第1の予備画像を露光することは、(1)前記合焦位置の変調周期の5倍以上の露光持続時間にわたり、前記第1の予備画像を露光すること、及び(2)前記合焦位置の変調周期の整数倍に対応する露光持続時間にわたり、前記第1の予備画像を露光することのうちの少なくとも一方を含む、請求項1に記載の方法。
  12. 画像積分時間中に第1の予備画像を露光することは、前記周期的に変調される合焦位置の前記合焦範囲内の異なるそれぞれの合焦位置で、露光寄与の影響がそれぞれ異なるように、前記周期的に変調される合焦位置と同期された強度変動を有する照明を提供することを含む、請求項1に記載の方法。
  13. 単一の合焦位置においてマシンビジョン検査システムの撮像システムが提供する被写界深度よりも深い被写界深度を有するワークピースの少なくとも1つの画像を提供するように構成されるマシンビジョン検査システムであって、
    前記撮像システム内の要素間の間隔を巨視的に調整せずに、前記ワークピースの表面高さを含む合焦範囲内の合焦軸方向に沿った複数の合焦位置にわたり、少なくとも300Hzの周波数で合焦位置を周期的に変調し得るように構成される撮像システムと、
    前記合焦範囲内で前記合焦位置を変調しながら、画像積分時間中に第1の予備画像を露光するように構成されるコントローラと、
    前記第1の予備画像を処理して、前記画像積分時間中に前記合焦範囲内で生じる劣化画像寄与を除去し、前記撮像システムが単一の合焦位置において提供するよりも広い範囲にわたって実質的に合焦された被写界深度の深い拡張被写界深度(EDOF)画像を提供するように構成される処理要素と、
    を含む、マシンビジョン検査システム。
  14. 前記撮像システムは可変焦点距離レンズを含み、前記可変焦点距離レンズは、少なくとも3kHzの周波数で前記合焦位置を周期的に変調するように動作可能なレンズ及び可変音響式屈折率分布型レンズのうちの少なくとも一方を含む、請求項13に記載のマシンビジョン検査システム。
  15. 前記第1の予備画像を処理して、劣化画像寄与を除去するように構成される前記処理要素は信号プロセッサを含み、前記信号プロセッサは、前記撮像システムを特徴付ける所定の関数を使用して前記第1の予備画像に対応する画像データをデコンボリューションして、前記EDOF画像を提供するように構成される、請求項13に記載のマシンビジョン検査システム。
  16. 前記撮像システムは、可変焦点距離レンズ及び光学フィルタを含み、
    前記光学フィルタは、前記可変焦点距離レンズから予備画像光を受け取り、空間的にフィルタリングするように配置され、
    前記第1の予備画像を処理するように構成される前記処理要素は、前記光学フィルタを含み、前記光学フィルタは、前記EDOF画像を提供するために、前記可変焦点距離レンズからの前記予備画像光を受け取り、空間的にフィルタリングし、結果として生成されるフィルタリング画像光を出力するように構成される、請求項13に記載のマシンビジョン検査システム。
  17. 前記マシンビジョン検査システムは、ディスプレイをさらに含み、前記提供されるEDOF画像を前記マシンビジョン検査システムの前記ディスプレイに表示するように構成される、請求項13に記載のマシンビジョン検査システム。
  18. 前記撮像システムは、合焦位置を固定し得るように構成され、前記マシンビジョン検査システムは、コントローラ構成を含むようにさらに構成され、
    前記コントローラ構成は、固定合焦位置を提供するように前記撮像システムを制御し、
    前記コントローラ構成は、前記固定合焦位置で前記撮像システムを使用して測定画像を露光するように、前記マシンビジョン検査システムを制御し、
    前記コントローラ構成は、前記ワークピースの測定を提供するために、前記測定画像の処理を制御する、請求項13に記載のマシンビジョン検査システム。
JP2014240411A 2013-11-27 2014-11-27 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法 Active JP6502071B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/092,862 2013-11-27
US14/092,862 US9726876B2 (en) 2013-11-27 2013-11-27 Machine vision inspection system and method for obtaining an image with an extended depth of field

Publications (2)

Publication Number Publication Date
JP2015104136A true JP2015104136A (ja) 2015-06-04
JP6502071B2 JP6502071B2 (ja) 2019-04-17

Family

ID=53045699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014240411A Active JP6502071B2 (ja) 2013-11-27 2014-11-27 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法

Country Status (3)

Country Link
US (1) US9726876B2 (ja)
JP (1) JP6502071B2 (ja)
DE (1) DE102014223387A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021025A (ja) * 2015-07-09 2017-01-26 株式会社ミツトヨ 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP2017049249A (ja) * 2015-08-31 2017-03-09 株式会社ミツトヨ マシンビジョン検査システムにおける調節可能レンズを用いた多焦点画像
JP2017090441A (ja) * 2015-09-15 2017-05-25 株式会社ミツトヨ 可変焦点距離レンズを含む撮像システムにおける色収差補正
DE102017001982A1 (de) 2016-04-01 2017-10-05 Mitutoyo Corporation Abbildungssystem und Abbildungsverfahren
JP2017223651A (ja) * 2016-05-03 2017-12-21 株式会社ミツトヨ 高速で周期的に変更される可変焦点距離レンズシステムのための自動合焦システム
JP2018022127A (ja) * 2016-05-02 2018-02-08 株式会社ミツトヨ 可変焦点距離撮像システム
JP2018081099A (ja) * 2016-11-15 2018-05-24 株式会社ミツトヨ 高速可変焦点距離レンズを含む撮像システムにおける焦点探索範囲の拡大
JP2018084821A (ja) * 2016-11-23 2018-05-31 株式会社ミツトヨ 拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法
JP2018084820A (ja) * 2016-11-23 2018-05-31 株式会社ミツトヨ マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
JP2018159704A (ja) * 2017-03-22 2018-10-11 株式会社ミツトヨ 高速で周期的に合焦位置が変調される可変焦点距離レンズを含む撮像システムと共に用いられる変調監視システム
JP2019066851A (ja) * 2017-09-29 2019-04-25 株式会社ミツトヨ 屈折力の監視を行う可変焦点距離レンズシステム
JP2019203928A (ja) * 2018-05-21 2019-11-28 株式会社ミツトヨ 焦点距離可変レンズの校正方法および焦点距離可変レンズ装置
JP2020020682A (ja) * 2018-08-01 2020-02-06 株式会社ミツトヨ 非接触式変位計
JP2020095039A (ja) * 2018-12-13 2020-06-18 株式会社ミツトヨ 高速tagレンズ支援3d計測及び拡張被写界深度撮像
JP2021118414A (ja) * 2020-01-24 2021-08-10 株式会社ミツトヨ 拡張焦点深度画像検出装置および拡張焦点深度画像検出方法
US11644304B2 (en) 2019-12-03 2023-05-09 Mitutoyo Corporation Height measurement method and height measurement device

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015002614A1 (en) * 2013-07-02 2015-01-08 Nanyang Technological University Methods and systems for transport-of-intensity imaging
US9379781B1 (en) * 2015-03-10 2016-06-28 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Server inventory of non-electronic components
DE102015118154A1 (de) 2015-10-23 2017-04-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop, insbesondere Operationsmikroskop
US9736355B1 (en) 2016-05-03 2017-08-15 Mitutoyo Corporation Phase difference calibration in a variable focal length lens system
US10324300B2 (en) * 2016-06-07 2019-06-18 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing depth of field
US10151962B2 (en) 2016-09-29 2018-12-11 Mitutoyo Corporation Variable focal length lens system with focus monitoring and control
US10832023B2 (en) 2017-12-15 2020-11-10 Cognex Corporation Dual-imaging vision system camera and method for using the same
US11301655B2 (en) 2017-12-15 2022-04-12 Cognex Corporation Vision imaging system having a camera and dual aimer assemblies
EP4113993A1 (en) 2018-01-24 2023-01-04 Cyberoptics Corporation Structured light projection for specular surfaces
US10578827B2 (en) * 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
JP7169092B2 (ja) * 2018-05-21 2022-11-10 株式会社ミツトヨ 焦点距離可変レンズ装置および焦点距離可変レンズ制御方法
US10761398B2 (en) * 2018-06-29 2020-09-01 Mitutoyo Corporation Imaging ellipsometer system utilizing a tunable acoustic gradient lens
JP7098474B2 (ja) * 2018-08-07 2022-07-11 株式会社ミツトヨ 非接触式変位計
CN109254382B (zh) * 2018-10-12 2021-11-26 南通大学 基于机器视觉的螺纹检测自动对焦方法
US10890693B2 (en) 2018-12-20 2021-01-12 Mitutoyo Corporation Tunable acoustic gradient lens with axial compliance portion
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
DE102019108696B3 (de) * 2019-04-03 2020-08-27 Abberior Instruments Gmbh Verfahren zum Erfassen von Verlagerungen einer Probe gegenüber einem Objektiv
CN114271031B (zh) * 2019-08-30 2024-06-18 株式会社三丰 用于高速计量成像的快速高功率脉冲式光源系统
US10809378B1 (en) 2019-09-06 2020-10-20 Mitutoyo Corporation Triangulation sensing system and method with triangulation light extended focus range using variable focus lens
US11119214B2 (en) * 2019-09-06 2021-09-14 Mitutoyo Corporation Triangulation sensing system and method with triangulation light extended focus range using variable focus lens
JP7343376B2 (ja) * 2019-12-04 2023-09-12 株式会社ミツトヨ レーザ加工装置
US11112541B2 (en) 2019-12-20 2021-09-07 Mitutoyo Corporation Tunable acoustic gradient lens system with reflective configuration and increased power
US11249225B2 (en) * 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US10944915B1 (en) * 2020-01-05 2021-03-09 Ningbo Sunny Opotech Co., Ltd. Multi-aperture imaging system and application thereof
DE102020201097B4 (de) 2020-01-30 2023-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung und Verfahren zur optischen Objektkoordinatenermittlung
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
DE102021118429B4 (de) 2021-07-16 2023-06-01 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Gerät zur 3D-Koordinatenmessung nach dem Autofokusverfahren
EP4137866A1 (en) * 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digital microscope and method for capturing and displaying microscopic images
US11714051B2 (en) 2021-11-30 2023-08-01 Mitutoyo Corporation Metrology system configured to measure apertures of workpieces
JP2023120969A (ja) * 2022-02-18 2023-08-30 株式会社東京精密 画像処理装置、画像処理方法及び三次元形状測定装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177873A (ja) * 1997-12-16 1999-07-02 Denso Corp 高速合焦電子カメラ
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
JP2001298755A (ja) * 2000-04-11 2001-10-26 Denso Corp 全焦点撮像方法および立体表示方法
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
JP2012049760A (ja) * 2010-08-26 2012-03-08 Fujifilm Corp 撮像モジュールおよび画像信号処理方法
JP2013141192A (ja) * 2011-12-07 2013-07-18 Fujitsu Ltd 被写界深度拡張システム及び被写界深度拡張方法
WO2013171954A1 (ja) * 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02103852A (ja) * 1988-10-08 1990-04-16 Nichidenshi Tekunikusu:Kk 走査型電子顕微鏡の歪補正方式
JPH02167513A (ja) * 1988-12-21 1990-06-27 Matsushita Electric Ind Co Ltd 光学系自動焦点調節装置
US5770847A (en) * 1994-12-23 1998-06-23 Spectra-Physics Scanning Systems, Inc. Bar code reader with multi-focus lens
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP4189798B2 (ja) * 2002-06-23 2008-12-03 明 石井 可変焦点レンズを用いた定倍率結像方法と装置
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
US7224540B2 (en) * 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
JP4560745B2 (ja) * 2008-08-06 2010-10-13 ソニー株式会社 可変焦点距離レンズ系
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
JP5638890B2 (ja) * 2010-09-15 2014-12-10 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US9213175B2 (en) * 2011-10-28 2015-12-15 Craig B. Arnold Microscope with tunable acoustic gradient index of refraction lens enabling multiple focal plan imaging
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177873A (ja) * 1997-12-16 1999-07-02 Denso Corp 高速合焦電子カメラ
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
JP2001298755A (ja) * 2000-04-11 2001-10-26 Denso Corp 全焦点撮像方法および立体表示方法
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
JP2012049760A (ja) * 2010-08-26 2012-03-08 Fujifilm Corp 撮像モジュールおよび画像信号処理方法
JP2013141192A (ja) * 2011-12-07 2013-07-18 Fujitsu Ltd 被写界深度拡張システム及び被写界深度拡張方法
WO2013171954A1 (ja) * 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021025A (ja) * 2015-07-09 2017-01-26 株式会社ミツトヨ 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP2017049249A (ja) * 2015-08-31 2017-03-09 株式会社ミツトヨ マシンビジョン検査システムにおける調節可能レンズを用いた多焦点画像
JP2017090441A (ja) * 2015-09-15 2017-05-25 株式会社ミツトヨ 可変焦点距離レンズを含む撮像システムにおける色収差補正
US10642017B2 (en) 2016-04-01 2020-05-05 Mitutoyo Corporation Imaging system and imaging method
DE102017001982A1 (de) 2016-04-01 2017-10-05 Mitutoyo Corporation Abbildungssystem und Abbildungsverfahren
JP2017188731A (ja) * 2016-04-01 2017-10-12 株式会社ミツトヨ 撮像システム及び撮像方法
JP2018022127A (ja) * 2016-05-02 2018-02-08 株式会社ミツトヨ 可変焦点距離撮像システム
JP2017223651A (ja) * 2016-05-03 2017-12-21 株式会社ミツトヨ 高速で周期的に変更される可変焦点距離レンズシステムのための自動合焦システム
JP2018081099A (ja) * 2016-11-15 2018-05-24 株式会社ミツトヨ 高速可変焦点距離レンズを含む撮像システムにおける焦点探索範囲の拡大
JP7149700B2 (ja) 2016-11-15 2022-10-07 株式会社ミツトヨ 高速可変焦点距離レンズを含む撮像システムにおける焦点探索範囲の拡大
JP7075743B2 (ja) 2016-11-23 2022-05-26 株式会社ミツトヨ マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
JP2018084820A (ja) * 2016-11-23 2018-05-31 株式会社ミツトヨ マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
JP2018084821A (ja) * 2016-11-23 2018-05-31 株式会社ミツトヨ 拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法
JP7075744B2 (ja) 2016-11-23 2022-05-26 株式会社ミツトヨ 拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法
JP7143097B2 (ja) 2017-03-22 2022-09-28 株式会社ミツトヨ 高速で周期的に合焦位置が変調される可変焦点距離レンズを含む撮像システムと共に用いられる変調監視システム
JP2018159704A (ja) * 2017-03-22 2018-10-11 株式会社ミツトヨ 高速で周期的に合焦位置が変調される可変焦点距離レンズを含む撮像システムと共に用いられる変調監視システム
JP2019066851A (ja) * 2017-09-29 2019-04-25 株式会社ミツトヨ 屈折力の監視を行う可変焦点距離レンズシステム
JP7203552B2 (ja) 2017-09-29 2023-01-13 株式会社ミツトヨ 屈折力の監視を行う可変焦点距離レンズシステム
JP7057217B2 (ja) 2018-05-21 2022-04-19 株式会社ミツトヨ 焦点距離可変レンズの校正方法および焦点距離可変レンズ装置
JP2019203928A (ja) * 2018-05-21 2019-11-28 株式会社ミツトヨ 焦点距離可変レンズの校正方法および焦点距離可変レンズ装置
JP2020020682A (ja) * 2018-08-01 2020-02-06 株式会社ミツトヨ 非接触式変位計
JP7224804B2 (ja) 2018-08-01 2023-02-20 株式会社ミツトヨ 非接触式変位計
JP2020095039A (ja) * 2018-12-13 2020-06-18 株式会社ミツトヨ 高速tagレンズ支援3d計測及び拡張被写界深度撮像
JP7319903B2 (ja) 2018-12-13 2023-08-02 株式会社ミツトヨ 高速tagレンズ支援3d計測及び拡張被写界深度撮像
US11644304B2 (en) 2019-12-03 2023-05-09 Mitutoyo Corporation Height measurement method and height measurement device
JP2021118414A (ja) * 2020-01-24 2021-08-10 株式会社ミツトヨ 拡張焦点深度画像検出装置および拡張焦点深度画像検出方法

Also Published As

Publication number Publication date
DE102014223387A1 (de) 2015-05-28
US20150145980A1 (en) 2015-05-28
US9726876B2 (en) 2017-08-08
JP6502071B2 (ja) 2019-04-17

Similar Documents

Publication Publication Date Title
JP6502071B2 (ja) 拡張被写界深度を有する画像を得るマシンビジョン検査システム及び方法
US10178321B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
CN108088424B (zh) 机器视觉检查系统和用于获得具有扩展景深的图像的方法
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
US9830694B2 (en) Multi-level image focus using a tunable lens in a machine vision inspection system
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
JP6717692B2 (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP6850648B2 (ja) 可変焦点距離撮像システム
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
JP2017223650A (ja) 可変焦点距離レンズシステムにおける位相差較正
JP7319903B2 (ja) 高速tagレンズ支援3d計測及び拡張被写界深度撮像
CN110411417B (zh) 具有准正弦周期性强度调制光的可变焦距透镜系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190320

R150 Certificate of patent or registration of utility model

Ref document number: 6502071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250