JP2013134255A - 高性能エッジフォーカスツール - Google Patents

高性能エッジフォーカスツール Download PDF

Info

Publication number
JP2013134255A
JP2013134255A JP2012278850A JP2012278850A JP2013134255A JP 2013134255 A JP2013134255 A JP 2013134255A JP 2012278850 A JP2012278850 A JP 2012278850A JP 2012278850 A JP2012278850 A JP 2012278850A JP 2013134255 A JP2013134255 A JP 2013134255A
Authority
JP
Japan
Prior art keywords
edge
point cloud
subset
roi
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012278850A
Other languages
English (en)
Other versions
JP6239232B2 (ja
Inventor
Yuhua Ding
ディング ユーファ
R Campbell Shannon
アール キャンベル シャノン
L Delaney Mark
エル デレイニー マーク
Robert Kamil Bryll
カーミル ブリル ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Publication of JP2013134255A publication Critical patent/JP2013134255A/ja
Application granted granted Critical
Publication of JP6239232B2 publication Critical patent/JP6239232B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges

Abstract

【課題】高性能エッジフォーカスツールを提供する。
【解決手段】マシンビジョン検査システムの光学系の焦点を傾斜面要素に隣接したエッジ近くに合わせるエッジフォーカスツールを操作する方法を提供する。本方法は、マシンビジョン検査システムの視野内のエッジを含む関心領域(ROI)を定義する工程と、エッジを含むZ範囲全体にわたってROIの画像スタックを取得する工程と、複数の点の最良焦点Z高さ測定値の判断に基づきROI内の複数の点のZ高さを含むポイントクラウドを生成する工程と、傾斜面要素に近接し傾斜面要素の形状に対応する点を含む、ポイントクラウドの近接サブセットを定義する工程と、ポイントクラウドの最も近いサブセットのZ極値サブセットを定義する工程と、光学系の焦点をZ極値サブセットに対応するZ高さに合わせる工程とを含む。
【選択図】図2

Description

発明の分野
本発明は一般的にはマシンビジョン検査システム(machine vision inspection system)に関し、特にはマシンビジョン検査システムの焦点を傾斜面に隣接したエッジに合わせる方法に関する。
発明の背景
高精度マシンビジョン検査システム(又は、略して「ビジョンシステム」)は、検査対象の正確な寸法測定値を得るとともに様々な他の対象物の特徴を検査するために利用することができる。このようなシステムは、コンピュータと、カメラ及び光学系と、ワークピース検査を可能にする複数の方向に移動可能な精密ステージとを含んでもよい。汎用「オフライン」高精度ビジョンシステムと特徴付けられる1つの例示的な従来技術のシステムは、Mitutoyo America Corporation (MAC), Aurora, ILから入手可能なPCベースビジョンシステムとQVPAK(登録商標)ソフトウェアの市販QUICK VISION(登録商標)シリーズである。ビジョンシステムのQUICK VISION(登録商標)シリーズとQVPAK(登録商標)ソフトウェアの特徴と動作は、例えば、2003年1月出版のQVPAK 3D CNC Vision Measuring Machine User's Guideと1996年9月出版のQVPAK 3D CNC Vision Measuring Machine Operation Guideに通常概説される。このタイプのシステムは、顕微鏡タイプ光学系を使用して、様々な倍率で小さい又は比較的大きいかのいずれかのワークピースの検査画像を提供するようにステージを移動することができる。
QUICK VISION(商標)システムのような汎用高精度マシンビジョン検査システムはまた、自動ビデオ検査を提供するように通常はプログラム可能である。このようなシステムは通常、操作とプログラミングが「非熟練」オペレータにより実行できるようにGUI機能と所定の画像解析「ビデオツール」を含む。米国特許第6,542,180号は様々なビデオツールの使用を含む自動ビデオ検査を使用するビジョンシステムを教示する。
マシンビジョンシステムの焦点合わせを支援するオートフォーカス方法とオートフォーカスビデオツール(略してツール)を使用することが知られている。例えば、先に引用したQVPAK(登録商標)ソフトウェアはオートフォーカスビデオツールのような方法を含む。オートフォーカスについては、"Robust Autofocusing in Microscopy," by Jan-Mark Geusebroek and Arnold Smeulders in ISIS Technical Report Series, Vol. 17, November 2000、米国特許第5,790,710号、同一出願人による米国特許第7,030,351号、同一出願人による米国特許出願公開第20100158343号においても検討されている。オートフォーカスの1つの既知の方法では、カメラがZ軸に沿った位置又は撮像高さの或る範囲全体を移動し、各位置で像を捕捉する(画像スタック(image stack)と呼ばれる)。各捕捉画像内の関心のある所望領域について、合焦尺度(例えばコントラスト尺度)が計算され、画像が捕捉された時のZ軸に沿ったカメラの対応する位置に関連付けられる。画像の合焦尺度は実時間で決定されてもよく、次に画像は必要に応じシステムメモリから廃棄されてもよい。このデータに基づく焦点曲線、即ち、Z高さの関数としてコントラスト尺度の値をプロットする曲線は、最良焦点高さ(簡単に、焦点高さと呼ぶ)においてピークを示す。データ点のZ高さ間の間隔より良い分解能を有する焦点高さを推定するために、焦点曲線をこのデータにフィッティングさせてもよい。既知の様々な自動フォーカスツールにおいて使用されるこのタイプのオートフォーカス方法は傾斜面要素(beveled surface feature)に隣接した位置のエッジ上に焦点を合わせるためには好適ではない。というのは傾斜の異なる部分は画像スタック上の異なる画像においては焦点が合ったり合わなかったりするためである。この結果、焦点曲線は幅広いピーク又は不明瞭なピークを有し、このような状況下のオートフォーカス精度と再現性が問題となる。
ワークピース像のエッジ要素上に焦点を合わせるための様々な方法が知られている。例えば先に引用したQVPAK(登録商標)ソフトウェアは、ワークピースのエッジ要素を横切る方向の勾配を最大化する画像スタック内の焦点高さを捜すエッジフォーカスツール(edge focus tool)を含む。しかしながらこのエッジフォーカスツールは、傾斜面に隣接したエッジ要素上に確実に焦点を合わせるのには適さない。上記のように、傾斜の異なる部分は画像スタック上の異なる画像においては焦点が合ったり合わなかったりする。様々なワークピースの形状では、これは様々な像において勾配に予測できないほどの影響を及ぼす。さらに、ワークピースは傾斜面要素に隣接したエッジの向こう側に材料を含まない、すなわちエッジはワークピースの終端であり得る、あるいは当該側のワークピース表面は実用的な画像スタックの範囲から外れ、勾配がエッジフォーカスツールを失敗させる、予測不能の要素を有し得る。したがって、傾斜面要素の近くに位置したエッジ要素は既知のオートフォーカス実施態様では困難であるということが証明されており、したがって新しい手法が必要である。本明細書で使用されるように、用語「傾斜面要素」はマシンビジョン検査システムの撮像面に平行でない表面を指す。傾斜面はしばしば、マシンビジョン検査システムの焦点深度を越えて延伸することがある。傾斜面要素は、撮像面に対し傾斜された単純な平面形状、又はより複雑な曲線形状を有し得る。1つのタイプの傾斜面要素は通常、面取り部(chamfer)と呼ばれることがある。このような要素のエッジ近くのフォーカス操作は、上に概説したように、しばしば信頼性が低く、したがって失敗することがある。マシンビジョンシステムの画像面にほぼ平行な平坦面上のオートフォーカス操作は単一の明瞭な焦点ピークを与える傾向がある。しかしながら、表面が画像面に対し(例えば、ワークピースの面取りされたエッジに沿って)傾斜又は湾曲すると、信頼できるフォーカス操作には好適でない、低品質のブロードな焦点曲線が提供され得る。さらに、傾斜に隣接したエッジに沿って反射される照明効果により、このようなエッジ近くの従来のオートフォーカス測定値(例えば、コントラスト又は勾配測定値)は、予測できない振る舞いをすることがある。マシンビジョン検査システムの光学系を傾斜面に隣接したエッジに焦点合わせするための改良方法が望まれる。
発明の概要
本概要は、以下の詳細な記載においてさらに説明される概念のうちの選択されたものを単純化された形式で導入するために提供される。本概要は、請求主題の重要な特徴を特定することを目的としておらず、また、請求主題の範囲の判断おいて補助として使用されることも目的としていない。
マシンビジョン検査システムの光学系の焦点を傾斜面要素に隣接した位置のエッジ近くに合わせるようにマシンビジョン検査システムに含まれるエッジフォーカスツールを操作する方法が提供される。場合によっては、エッジは傾斜面要素のエッジ又は境界であってもよい。本方法は、マシンビジョン検査システムの視野内の傾斜面要素に隣接したエッジを含む関心領域(ROI: region of interest)を定義する工程と、エッジを含むZ範囲全体にわたってROIの画像スタックを取得する工程と、複数の点の最良焦点Z高さ測定値の判断に基づきROI内の複数の点のZ高さを含むポイントクラウド(点群:point cloud)を生成する工程と、傾斜面要素に近接し、かつ、傾斜面要素の形状に対応する点を含む、ポイントクラウドの近接サブセットを定義する工程と、ポイントクラウドの近接サブセットのZ極値サブセットを定義する工程と、光学系の焦点をZ極値サブセットに対応するZ高さに合わせる工程とを含む。
いくつかの実施形態では、ポイントクラウドの近接サブセットを定義する工程は、ポイントクラウドから、傾斜面要素の形状に対応する表面形状モデルを推定する工程と、表面形状モデルから関係パラメータより大きく逸脱するポイントクラウドの点を排除する工程とを含む。いくつかの実施形態では、ポイントクラウドから表面形状モデルを推定する工程及びポイントクラウドの点を排除する工程は、RANSAC及びLMS(最小2乗メディアン:least median of squares)アルゴリズムのうちの1つをポイントクラウドに適用する工程を含んでもよい。任意の他のロバストな異常値検出と排除アルゴリズムもポイントクラウドに適用されてもよいということを理解されたい。いくつかの実施形態では、エッジツールは、ユーザがエッジフォーカスツールの操作中にどのタイプの表面形状モデルをポイントクラウドから推定するかを選択してもよい形状選択ウィジェットを含むグラフィックユーザインターフェース(GUI)を含んでもよい。いくつかの実施形態では、表面形状モデルは面、円錐、円柱及び球のうちの1つを含んでもよい。いくつかの実施形態では、ユーザは操作の学習モード中に表面形状モデルを選択する。
いくつかの実施形態では、ポイントクラウドの近接サブセットを定義する工程は、傾斜面要素の形状に対応する表面フィッティングモデルをポイントクラウドにフィッティングする工程と、表面フィッティングモデルから極小面形状パラメータ(minimum surface shape parameter)より大きく逸脱するポイントクラウドの点を排除する工程とを含んでもよい。
いくつかの実施形態では、本方法はさらに、マシンビジョン検査システムのユーザインターフェースにおいてエッジフォーカスツールのグラフィックユーザインターフェース(GUI)を表示する工程と、エッジフォーカスツールの操作を開始するROIを選択するようにGUIを操作する工程とを含んでもよい。
いくつかの実施形態では、ROIはZ範囲外にあるワークピースの一部を含んでもよい。
いくつかの実施形態では、ポイントクラウドのZ極値サブセットはポイントクラウドの最低Z高さを含んでもよい。
いくつかの実施形態では、光学系の焦点をZ極値に対応するZ高さに合わせる工程は、ワークピースが当該Z高さになるようにマシンビジョン検査システムのステージを移動する工程を含んでもよい。
いくつかの実施形態では、光学系の焦点をZ極値サブセットに対応するZ高さに合わせる工程は、光学系の焦点を、ポイントクラウドのZ極値サブセットの中央値、平均値、及び最頻値のうちの1つであるZ高さを有する点のZ高さに合わせる工程を含んでもよい。
いくつかの実施形態では、ポイントクラウドを生成する工程は、ROI内のそれぞれがROIの画素のサブセットを含む複数のサブROIのオートフォーカス操作を行う工程を含んでもよい。
上述の態様と本発明の付随する利点の多くは、添付図面と併せると、以下の詳細説明を参照することによりさらに良く理解されるので、容易に理解される。
汎用高精度マシンビジョン検査システムの様々な典型的要素を示す図である。 図1と同様のマシンビジョン検査システムの制御システム部とビジョン構成要素部のブロック図であり、本発明による機能を含む。 エッジフォーカスツールに関連した関心領域指示子を含むマシンビジョン検査システムのユーザインターフェースにおける視野を示す。 ワークピースの傾斜エッジ要素の断面図を示す。 図4に示す傾斜エッジ要素の断面図の拡大図を示す。 マシンビジョン検査システムの光学系の焦点を傾斜面に隣接したエッジ近くに合わせるようにエッジフォーカスツールを操作するための汎用ルーチンの一実施形態を示すフローチャートである。
好ましい実施形態の詳細説明
図1は、本明細書に記載の方法に従って使用可能な1つの例示的なマシンビジョン検査システム10のブロック図である。マシンビジョン検査システム10は、データと制御信号を制御コンピュータシステム14と交換するように動作可能に接続されたビジョン測定機(vision measuring machine)12を含む。制御コンピュータシステム14はさらに、データと制御信号を、モニタ又はディスプレイ16、プリンタ18、ジョイスティック22、キーボード24、及びマウス26と交換するように動作可能に接続される。モニタ又はディスプレイ16は、マシンビジョン検査システム10の動作を制御及び/又はプログラムするのに好適なユーザインターフェースを表示してもよい。
ビジョン測定機12は、可動ワークピース載置台32と、ズームレンズ又は交換レンズを含んでもよい光学結像システム34とを含む。ズームレンズ又は交換レンズは通常、光学撮像系34により提供される像に様々な倍率を与える。マシンビジョン検査システム10は通常、上に検討されたビジョンシステムのQUICK VISION(登録商標)シリーズとQVPAK(登録商標)ソフトウェア及び、同様の最先端技術市販高精度マシンビジョン検査システムと同等である。マシンビジョン検査システム10はまた、同一出願人による米国特許第7,454,053号、米国特許第7,324,682号、米国特許出願公開第20100158343号、米国特許出願公開第20110103679号に記載されている。
図2は、図1のマシンビジョン検査システムと同様のマシンビジョン検査システム100の制御システム部120とビジョン構成要素部200のブロック図であり、本発明による機能を含む。以下にさらに詳細に説明するように、制御システム部120はビジョン構成要素部200を制御するために利用される。ビジョン構成要素部200は、光学アセンブリ205と、光源220、230及び240と、中央透明部212を有するワークピース載置台210とを含む。ワークピース載置台210は、ワークピース20が配置され得るステージの表面にほぼ平行な面内のX軸及びY軸に沿って制御可能に移動可能である。光学アセンブリ205はカメラシステム260及び交換可能対物レンズ250を含み、レンズ286及び288を有するタレットレンズアセンブリ280を含んでもよい。タレットレンズアセンブリの代わりに、固定レンズ又は手動交換可能倍率可変レンズ、あるいはズームレンズ構成等が含まれてもよい。
光学アセンブリ205は、ワークピース20の像の焦点を変更するためにZ軸に沿って光学アセンブリ205を移動するようにアクチュエータを駆動する制御可能モータ294を使用して、X及びY軸にほぼ直角のZ軸に沿って制御可能に移動可能である。制御可能モータ294は、信号線296を介して入出力インターフェース130に接続される。
マシンビジョン検査システム100を使用して撮像されるワークピース20又は複数のワークピース20を保持するトレー若しくは取り付け具は、ワークピース載置台210上に置かれる。ワークピース載置台210は、交換可能対物レンズ250がワークピース20上の撮像位置の間及び/又は複数のワークピース20の間で移動するように、光学アセンブリ205に対し移動するように制御されてもよい。透過照明光220、落射照明光230、斜め照明光240(例えばリングライト)のうちの1つ又は複数は、ワークピースまたワークピース群20を照明するために光源光222、232及び/又は242をそれぞれ放射できる。光源230はミラー290を含む経路に沿って光232を放射してもよい。光源光はワークピース光255として反射又は透過され、撮像用ワークピース光は、交換可能対物レンズ250とタレットレンズアセンブリ280を通過し、カメラシステム260により集められる。カメラシステム260により捕捉されたワークピース20の像は信号線262上で制御システム部120に出力される。光源220、230、240は信号線又はバス221、231、241を介し制御システム部120にそれぞれ接続されてもよい。像倍率を変更するために、制御システム部120は信号線又はバス281を介しタレットレンズを選択するように軸284に沿ってタレットレンズアセンブリ280を回転してもよい。
図2に示すように、様々な例示的実施形態では、制御システム部120は制御装置125、入出力インターフェース130、メモリ140、ワークピースプログラム発生器及び実行器170、電源部190を含む。以下に述べられる追加要素だけでなく、これらの要素のそれぞれは、1つ又は複数のデータ/制御バス及び/又は応用プログラミングインターフェースにより、あるいは諸要素間の直接接続により、相互に連結されてもよい。
入出力インターフェース130は、撮像制御インターフェース131、モーション制御インターフェース132、調光制御インターフェース133、レンズ制御インターフェース134を含む。モーション制御インターフェース132は、位置制御要素132aと速度/加速制御要素132bを含んでもよいが、このような要素は併合され及び/又は区別できなくてもよい。調光制御インターフェース133は、適用可能ならばマシンビジョン検査システム100の様々な対応する光源について、例えば選択、電力供給、オン/オフ切り替え、ストローブパルスタイミングを制御する調光制御要素133a〜133n、133flを含む。
メモリ140は、画像ファイル記憶部141と、以下にさらに詳細に説明されるエッジフォーカス記憶部140efと、1つ又は複数のパートプログラム等を含み得るワークピースプログラム記憶部142と、ビデオツール部143とを含んでもよい。ビデオツール部143は、対応するビデオツールのそれぞれのGUI、画像処理操作等を決定するビデオツール部143a及び他のビデオツール部(例えば143n)と、ビデオツール部143に含まれる様々なビデオツールにおいて操作可能な様々なROIを定義する自動、半自動及び/又は手動操作を支援する関心領域(ROI)生成器143roiとを含む。
この開示の文脈では、そして当業者により知られているように、用語「ビデオツール」は通常、マシンビジョンシステムユーザがビデオツールに含まれる操作又は一般化テキストベースプログラミング言語等に頼る操作のステップバイステップシーケンスを生成することなく比較的単純なユーザインターフェース(例えば、グラフィックユーザインターフェース、編集可能パラメータウィンドウ、メニュー等)を介し実施することができる、自動又はプログラム操作の比較的複雑なセットを指す。例えば、ビデオツールは、操作及び計算を管理するいくつかの変数又はパラメータを調整することにより特定のインスタンスにおいて適用されカスタマイズされる複雑かつ事前にプログラムされた画像処理操作と計算のセットを含んでもよい。基礎をなす操作及び計算に加え、ビデオツールは、ユーザがビデオツールの特定インスタンスのそれらのパラメータを調整できるようにするユーザインターフェースを含む。例えば、多くのマシンビジョンビデオツールは、ビデオツールの特定インスタンスの画像処理操作により解析される像のサブセットの位置パラメータを定義するために、ユーザがマウスを使用する単純な「ドラッグ処理」操作を介しグラフィック関心領域(ROI)指標を構成できるようにする。可視ユーザインターフェース機能は時にビデオツール(基礎をなす操作が暗黙に含まれる)と呼ばれることに注意すべきである。
多くのビデオツールと同様に、本開示のエッジフォーカスの主題は、ユーザインターフェース機能及び基礎をなす画像処理操作の両方等を含み、したがって関連機能はビデオツール部143に含まれる3Dエッジフォーカスツール143ef3Dの機能として特徴付けられてもよい。3Dエッジフォーカスツール143ef3Dは、マシンビジョン検査システム100の撮像部200の焦点を傾斜面に隣接したエッジ要素近くに合わせるために使用され得る操作を提供する。特に、3Dエッジフォーカスツール143ef3Dは、傾斜面要素に隣接したエッジの位置を判断するためにエッジ検出操作を行なうように、Z高さを決定し、マシンビジョン検査システム100の光学系の焦点を合わせるために使用されてもよい。一実施形態では、3Dエッジフォーカスツール143ef3Dは、特定形状(例えば、面、円錐、球、円柱)による傾斜面要素に関連したデータから推定するために或るタイプの表面形状モデルの選択肢を与える表面形状選択部143efssを含んでもよい。3Dエッジフォーカスツールパラメータは、以下にさらに詳細に説明されるように、学習モード操作中に決定されパートプログラム内に格納されてもよい。3Dエッジフォーカスツール143ef3Dにより決定された焦点Z高さ及び/又はエッジに隣接した傾斜面に関係する形状データは、いくつかの実施形態では、将来の使用のためにエッジフォーカス記憶部140efに格納されてもよい。ビデオツール部143はまた、エッジ全体の最強勾配を与える焦点高さを見出す、既知のオートフォーカス方法に従って動作する勾配エッジフォーカスツール143efGRADを含んでもよい。端的に言えば、エッジ勾配フォーカスツール143efGRADは、次の動作、すなわち、マシンビジョン検査システムの視野内のエッジ要素を含む関心領域(ROI)を定義する工程と、エッジを含むZ範囲全体にわたってROIの画像スタックを取得する工程と、画像スタックのエッジ全体にわたる一組の像強度勾配を判断する工程と、光学部品の焦点を像内の最強勾配を与えるZ高さに合わせる工程とを含んでもよい。ビデオツール部143はまた、例えばビジョンシステムの画像面にほぼ平行な平面のオートフォーカス操作を提供してもよい従来の表面オートフォーカスビデオツール143afを含んでもよい。一実施形態では、3Dエッジフォーカスツール143ef3Dは、ある既知の自動フォーカスツール(例えば、勾配エッジフォーカスツール又は表面自動フォーカスツール)あるいは動作(例えば、関心領域、コントラスト計算、焦点曲線データ決定及び格納、焦点曲線ピーク発見など)と関連付けられてもよく、あるいは、それらとともに機能してもよい。例えば、一実施形態では、本明細書で開示された3Dエッジフォーカスツール操作は、勾配エッジフォーカスツール又は表面自動フォーカスツールと同等のモードを含むマルチモード自動フォーカスツール内のフォーカスモードとして含まれてもよい。いくつかの実施形態では、3Dエッジフォーカスツール143ef3Dと勾配エッジフォーカスツール143efGRADは別のツールであってもよいが、いくつかの実施形態では単一エッジフォーカスツールの2つのモードであってもよい。3Dエッジフォーカスツール143ef3Dと勾配エッジフォーカスツール143efGRADが単一エッジフォーカスツールの2つのモードであるいくつかの実施形態では、特定のモードは、以下にさらに説明される学習モード操作に基づきエッジツールにより、自動的に選択されてもよい。
透過照明光220、落射照明光230及び230’、並びに斜め照明光240の信号線又はバス221、231、241はすべて入出力インターフェース130にそれぞれ接続される。カメラシステム260からの信号線262と制御可能モータ294からの信号線296は入出力インターフェース130に接続される。画像データを搬送することに加え、信号線262は、画像取得を開始する制御装置125からの信号を搬送してもよい。
1つ又は複数のディスプレイ装置136(例えば、図1のディスプレイ16)と1つ又は複数の入力装置138(例えば、図1のジョイスティック22、キーボード24とマウス26)もまた入出力インターフェース130に接続することができる。ディスプレイ装置136と入力装置138は、検査操作を行なうために使用可能な様々なグラフィックユーザインターフェース(GUI)機能を含み得るユーザインターフェースを表示するために、及び/又はパートプログラムを生成及び/又は変更するために、カメラシステム260により捕捉された像を見るために、及び/又はビジョンシステム構成要素部200を直接制御するために、使用することができる。ディスプレイ装置136は、以下にさらに詳細に説明される3Dエッジフォーカスツール143ef3Dに関連したユーザインターフェース機能を表示してもよい。
様々な例示的実施形態では、ユーザがワークピース20のパートプログラムを生成するためにマシンビジョン検査システム100を利用する場合、ユーザは、所望の画像取得トレーニングシーケンスを提供する学習モードにおいでマシンビジョン検査システム100を操作することによりパートプログラム命令を生成する。例えば、トレーニングシーケンスは、視野(FOV:field of view)内に代表的なワークピースの特定のワークピース要素を配置する工程、照明レベルを設定する工程、焦点合わせ又はオートフォーカス合わせを行う工程、画像を取得する工程、画像に適用される検査トレーニングシーケンスを提供する工程(例えば、当該ワークピース要素上でビデオツールの1つのインスタンスを使用する工程)を含んでもよい。学習モードは、シーケンスが捕捉又は記録され当該部分プログラム命令に変換されるように動作する。これらの命令は、パートプログラムが実行されると、マシンビジョン検査システムに、当該パートプログラムを生成する際に使用される代表的ワークピースと一致する実行モードワークピース又はワークピース群上の当該特定ワークピース要素(すなわち、対応位置における対応要素)を自動的に検査するように訓練済み画像取得及び検査操作を再生させる。
図3は、3Dエッジフォーカスビデオツール143ef3Dに関連した関心領域指示子ROIinを含むマシンビジョン検査システム100のユーザインターフェースにおいて撮像された視野300を示す。ワークピース20の傾斜面要素BSF(beveled surface feature)のエッジ25の位置を判断するための操作の様々な実施形態では、ワークピース20の傾斜面要素BSFはマシンビジョン検査システム100の視野300内に配置される。エッジ25は図3に示すように表面SurfAと表面SurfB間のエッジである。いくつかの応用又は実施態様では、表面SurfBは空虚(例えば、ワークピース20の範囲外)でもよい。表面SurfAは、図4と図5に関してさらに詳細に示されるように表面SurfBより高いZ高さを有する。3Dエッジフォーカスツール143ef3Dは、関心領域生成器143roiと併せて3Dエッジフォーカスビデオツール143ef3Dに関連するとともに関心領域指示子ROIinとともに表示されるユーザインターフェースを使用することにより関心領域ROIを定義するように構成される。関心領域ROIは、ユーザインターフェースにおいて関心領域指示子ROIinにより示されてもよい。関心領域ROIは通常、ユーザがユーザインターフェースのツールバー上の3Dエッジフォーカスツール143ef3Dを表すアイコンを選択することによりビジョンシステムの学習モード中に構成されアライメントされてもよい。関心領域指示子ROIinはユーザインターフェース内のワークピース像を覆って現われる。次に、ユーザは、関心領域ツールが最初に実行されると現われる(例えば、既知の市販マシンビジョン検査システムビデオツールで発生するように)寸法決め及び/又は回転ハンドル(図示せず)をドラッグしてもよい。あるいはユーザは数値的サイズ及び位置パラメータを編集してもよい。ユーザは、関心領域指示子ROIinがエッジ25を含むように所望の位置に存在するように関心領域指示子ROIinを構成し、寸法決めなどを利用して傾斜面要素BSFの一部を含むように関心領域指示子ROIinを寸法決めする。説明のために、エッジ25にほぼ平行に延伸するエッジ方向(図3ではEDと標記する)を定義する。また、エッジ方向EDに垂直な法線方向NDを定義する。多くの応用では、傾斜面要素BSFは法線方向NDにほぼ沿って表面SurfBに向かって下方に傾斜する。様々な実施形態では、3Dエッジフォーカスツールは関心領域指示子ROIin内に配置されるスキャン方向指示子SDIを含んでもよい。いくつかのこのような実施形態では、学習モード中、ユーザは、スキャン方向指示子SDIが方向NDにほぼ沿って延伸しエッジ25と交差するように関心領域指示子ROIinのアラインメントを調整してもよい。いくつかの実施形態では、3Dエッジフォーカスツール143ef3Dは、以下にさらに説明される表面形状モデル推定及びエッジ選択操作を最適化するために、このようなアラインメント構成から導出される関連パラメータを利用してもよく、あるいはオートフォーカスの実行結果等のロバスト性の保証のために使用される範囲を設定してもよい。
3Dエッジフォーカスツール143ef3Dの動作は、それぞれがROIの画素のサブセットを含むROI内のサブROIの複数のオートフォーカス操作を行なうことにより、定義された座標(Xi、Yi、Zi)を有する点群iを含むポイントクラウドを生成する。点群は、図3に示す実施形態では、関心領域指示子ROIinの領域内に表示されても表示されなくてもよい関心領域ROI(図3では破線により定義される)内の複数のサブROI SROInに対応する。より具体的には、このような操作は、同一出願人による米国特許第7,570,795号「Multi-Region Autofocus Tool and Mode」及び/又はCampbellに付された米国特許出願公開第2011/0133054号に記載された操作に従って行なわれてもよい。
図3に示すように、エッジ25は名目上直線であり、傾斜面要素BSFは名目上平面である。しかしながら、3Dエッジフォーカスビデオツール143ef3Dはまたエッジが湾曲する傾斜面要素(例えば、円錐、球、又は筒形状を有する傾斜面要素)に隣接したエッジ上に焦点を合わせる目的のために使用されてもよいということを理解すべきである。一般的に、3Dエッジフォーカスツール143ef3Dの操作は、本明細書で概要を述べられ特許請求される原理に従って傾斜面要素の共通形状に適用されてもよい。いくつかの実施形態では、ユーザは、操作の学習モード中に表面形状のタイプを選択してもよい。図3に示す実施形態では、エッジフォーカスツールのユーザインターフェースは、3Dエッジフォーカスモード又はツールが選択される及び/又は操作されると現われ得る形状選択ウィジェットSHAPESWを含む。ユーザは、どの表面形状モデルがエッジフォーカスツールの操作中にポイントクラウドから(例えば、形状選択ウィジェット部分PLANE、CYLINDER又はCONEをクリックすることにより)推定されるかを選択するために、学習モード中に形状選択ウィジェットSHAPESWを操作してもよい。これらの形状選択オプションは単に例示的であり限定しないということが理解される。他の実施形態では、形状選択は、テキストベースのメニュー選択項目であってもよく、あるいは様々な表面に順応することができる一般的な高位形状がディフォルト又は単にオプションとして利用されてもよいということが理解されるであろう。
先に概要を述べたように、いくつかの実施形態では、3Dエッジフォーカスツール143ef3Dと勾配エッジフォーカスツール143efGRADは、単一エッジフォーカスツール(例えば、ツールバー上の単一のアイコンにより選択されるエッジツール)の2つのモードであってもよい。図3に示す実施形態では、ビデオツールのユーザインターフェースは、ビデオツールがユーザインターフェースにおいて最初に実行されると現われてもよい選択ウィジェットSWを含む。ユーザは、どの動作モードがエッジツールにより使用されるかを選択するために、学習モード中に例えば3D選択ウィジェット部SW3D又は勾配選択ウィジェット部SWGRADをクリックすることによりモード選択ウィジェットSWを操作してもよい。
図4は、エッジ方向EDに垂直な(方向NDに沿った)傾斜面要素BSF(図3に先に示した)の断面図400を示す。関心領域ROIが定義された後、3Dエッジフォーカスツール143ef3Dはエッジ25と傾斜面要素BSFの少なくとも1つの部分とを含むZ範囲ZR上のROIの画像スタックを取得するように構成される。図4に示すように、表面SurfBに沿った点はこの範囲外に存在する。しかしながら場合によっては、ワークピースはエッジ25と同様なエッジを越えたSurfBなどの表面を有しないかもしれなく、このようなワークピースもまた3Dエッジフォーカスツール143ef3Dにより対処されてもよい。3Dエッジフォーカスツール143ef3Dは、図5に関してさらに詳細に示されるように、複数の点に対する最良の焦点Z高さ測定値を判断することに基づき、ROI内の複数の点に対するZ高さを含むポイントクラウドを生成するように構成される。ポイントクラウドは、コントラスト尺度を利用するオートフォーカス方法等の技術において知られた方法に従って生成されてもよい。表面SurfBを含むROI内の点に関しては、このような点の座標を生成することは失敗するか、あるいは表面SurfBがZ範囲ZR外に存在するので誤った結果を提供し、したがって表面SurfBはZ範囲ZR上の画像スタック内に合焦画像を提供しない、ということが理解される。既に知られている自動フォーカスツールはそのような場合に、しばしば失敗し得る。しかしながら本明細書に開示された3Dエッジフォーカスツール方法はそのような場合にロバストに動作する。これは特に比較的未熟練のユーザがこのような場合にロバストなパートプログラムを書くのを特に支援するためのそれらの利点の1つである。
図5に、図4に示したワークピース20のエッジ25と傾斜面要素BSFとの断面図の拡大図を示す。特に、図5は、3Dエッジフォーカスツール143ef3Dにより生成されたポイントクラウドPC(point cloud)の代表的点を示す。図5は、ED−ND面に垂直な面において観測されたポイントクラウドPC内の点の1つのサブセットを示す。いくつかのこのようなサブセットの点がROI内のエッジ方向EDに沿った異なる位置で生成されるということが理解される。いくつかの実施形態では、3Dエッジフォーカスツール143ef 3Dは、ポイントクラウドPCから傾斜面要素BSFの形状に対応する表面形状モデルSSを推定するように構成された操作を含む。図5に示す実施形態では、表面形状モデルSSは面である。別の実施態様では、表面形状モデルSSは円錐、円柱又は球の形状に対応する幾何学的形状を有してもよい。表面の曲率が小さい円錐、円柱又は球などのいくつかの実施形態では、平面は、マシンビジョン検査システムの光学系の焦点を合わせるようにZ高さを決定するために十分な1次オーダー近似としてもよい。このようなポイントクラウドから形状を推定する様々な方法は当業者に知られており、したがって本明細書で詳細に説明する必要はない。本明細書に開示されたポイントクラウドPCから表面形状モデルを推定する方法は単に例示的であって限定しない。
3Dエッジフォーカスツール143ef3Dの動作は、傾斜面要素に近接し傾斜面要素の形状に対応する複数の点を含む、ポイントクラウドの近接サブセットを定義するとともにポイントクラウドPCの近接サブセットのZ極値サブセットZESを定義するように構成される。図5は、Z極値サブセットZESの1つのこのような点ZESnを示し、これはこの場合図5に示す点PCのサブセット内の最小Z高さを有する点である。ROI内のエッジ方向EDに沿った異なる位置で生成される他のサブセットの点はZ極値サブセットZESの類似「最小Z高さ」点ZESnを提供するということが理解される。いくつかの実施形態では、ポイントクラウドのZ極値サブセットZESはポイントクラウドPCの最低Z高さを含んでもよい。例えば、Z極値サブセットZESは、5又は10個の最低Z高さあるいは単一の最も低いZ高さを有する点を含んでもよい。他の実施形態では、ポイントクラウドのZ極値サブセットZESは、ポイントクラウドPCの最も高いZ高さを含んでもよい。例えば、「内側」傾斜面要素は孔の底に位置してもよく、下面は焦点範囲内にあってもよく、ユーザは、3Dエッジフォーカスツール143ef3Dを使用して上部面に焦点を合わせることを望んでもよい。3Dエッジフォーカスツール143ef3Dは、撮像部200の焦点をZ極値サブセットZESに対応するZ高さZzesに合わせるように構成される。いくつかの実施形態では、Z高さZzesはZ極値サブセットZESの中央値あるいは他の実施形態では平均値であってもよい。いくつかの実施形態では撮像部200の焦点をZ高さZzesに合わせる工程は、Z高さZzesにおいてワークピースを撮像するようにマシンビジョン検査システムのステージを移動する工程を含む。撮像部200の焦点がZ高さZzesに合わせられると、マシンビジョン検査システム100は、エッジ25の位置を判断するために効果的かつ確実にエッジ検出操作を、あるいは最適性能のためのエッジ25に対応する焦点高さを必要とする任意の他の検査操作を、行なってもよい。
いくつかの実施形態では、ポイントクラウドの近接サブセットを定義する工程は、表面形状モデルが傾斜面要素の形状に対応するようにポイントクラウドPCから表面形状モデルSSを推定する工程と、3Dエッジフォーカスツール143ef3D用に設定された関係パラメータより大きく逸脱するポイントクラウドの点を表面形状モデルから排除する工程とを含む。このような点(通常は異常点と見なされる)を排除することでZ極値サブセットの品質を改善する。いくつかの実施形態では、関係パラメータはユーザにより規定されてもよく、あるいは他の実施形態ではランタイムスクリプト(パートプログラム)の中で規定されてもよい。いくつかの実施形態では、関係パラメータは撮像に使用される光学系の被写界深度の所定数倍であってもよい。他の実施形態では、関係パラメータは、例えば当初推定された表面形状モデルに対するポイントクラウド点(point cloud point)又はポイントクラウド点のサブセットの標準偏差又は中央偏差に基づき自動的に決定されてもよい。例えば、点PCOL1は、ポイントクラウドPCの近接サブセットから点PCOL1を廃棄するのに十分大きいZ方向に沿った距離DEVだけ表面形状モデルSSから逸脱する。点PCOL2は、Z範囲ZRの外側の表面ワークピースの一部を含むエッジ25に極近接したZ高さを測定する際に予測され得るように表面形状モデルSSから著しく逸脱する。点PCOL3は表面SurfA上に位置するので表面形状モデルSSから著しく逸脱する。点PCOL3は正確に測定されたが傾斜面要素BSFに対応しない。しかしポイントクラウドPCは表面SurfAの一部を含んだ関心領域が選択されたのでこの点を当初含む。周知のRANSAC又はLMSアルゴリズムなどの様々なロバストな異常値排除方法が、ポイントクラウドPCの異常値として処理されてもよくかつポイントクラウドPCの近接サブセットから排除されなければならないPCOL1、PCOL2、PCOL3などの点を廃棄するために使用されてもよい。異常値の除去は、エッジ25におけるZ高さに最も近い焦点Z高さZzesを推定することのロバスト性を改善する。
先に概説されたように、いくつかの実施形態では、3Dエッジフォーカスツール143ef3Dと勾配エッジフォーカスツール143efGRADは単一エッジフォーカスツールの2つのモードであってもよい。いくつかの実施形態では、モード選択はエッジフォーカスツールにより自動的に選択されてもよい。例えば、1つのこのような実施形態では、学習モード中に、ポイントクラウドは傾斜面を含むかどうかを考慮することなくエッジフォーカスツールROI用に生成されてもよく、表面形状モデルはポイントクラウドから推定されてもよい。表面形状モデル(又は上記方向に沿った表面形状モデルの正接)が、X−Y面に平行な基準面に対して最小の所定角度(例えば5度)より大きく傾斜すれば、3Dエッジフォーカスツール143ef3Dに対応するモードがマルチモードエッジフォーカスツールの当該インスタンスの動作パラメータとして選択され記録されてもよい。表面形状モデル又は傾斜エッジ要素に隣接したエッジ近くの表面形状モデルの正接が最低角度θ未満で傾斜すれば、勾配エッジフォーカスツール143efGRADを使用してもよい。自動エッジフォーカスモード選択の他の方法が使用されてもよく、本例は単に例示的であり限定しないことということが本開示に基づき認識されるだろう。
図6は、マシンビジョン検査システムの光学系の焦点を傾斜面要素(例えば、傾斜面要素BSF)に隣接したエッジ(例えば、エッジ25)近くに合わせるエッジフォーカスツール(例えば、3Dエッジフォーカスツール143ef3D)を操作するための汎用ルーチンの一実施形態を示すフローチャートである。
ブロック610では、関心領域がマシンビジョン検査システムの視野内の傾斜面要素に隣接したエッジを含んで定義される(ROI)。いくつかの実施形態は、マシンビジョン検査システムのユーザインターフェースにおけるエッジフォーカスツールのグラフィックユーザインターフェース(GUI)を表示する工程と、エッジフォーカスツールの操作を開始するためにROIを選択するようにGUIを操作する工程とをさらに含んでもよい。
ブロック620では、ROIの画像スタックがエッジを含むZ範囲(例えばZ範囲ZR)全体にわたって取得される。
ブロック630では、ポイントクラウド(例えば、ポイントクラウドPC)が複数の点の最良の焦点Z高さ測定値の判断に基づきROI内の複数の点のZ高さを含んで生成される。いくつかの実施形態では、ポイントクラウドを生成する工程は、ROI内のそれぞれがROIの画素のサブセットを含む複数のサブROIのオートフォーカス操作を行う工程を含む。
ブロック640では、ポイントクラウドの近接サブセットは、傾斜面要素に近接した複数の点を含み、傾斜面要素の形状に対応して定義される。いくつかの実施形態では、ポイントクラウドの近接サブセットを定義する工程はポイントクラウドから表面形状モデルを推定する工程を含み、表面形状モデルは、傾斜面要素の形状に対応しており、表面形状モデルから極小面形状パラメータより大きく逸脱するポイントクラウドの点を排除する。いくつかの実施形態では、ポイントクラウドから表面形状モデルを推定する工程及びポイントクラウドの点を排除する工程は、RANSAC及びLMSアルゴリズムのうちの1つをポイントクラウドに適用する工程を含む。いくつかの実施形態では、エッジツールは、ユーザがどのタイプの表面形状モデルをエッジフォーカスツールの操作中にポイントクラウドから推定するかを選択してもよい形状選択ウィジェットを含むグラフィックユーザインターフェース(GUI)を含む。いくつかの実施形態では、表面形状モデルは、面、円錐、円柱、球のうちの1つを含む。いくつかの実施形態では、ユーザは操作の学習モード中に表面形状モデル、より具体的に表面形状モデルのタイプを選択する。
ブロック650では、ポイントクラウドの近接サブセットのZ極値サブセット(例えば、Z極値サブセットZES)が定義される。
ブロック660では、光学系の焦点はZ極値サブセットに対応するZ高さ(例えばZ高さZzes)に合わせられる。
本発明の様々な好ましい実施形態について図示し説明してきたが、図示され説明された特徴の配置と操作の順序の多くの変形が本開示に基づき当業者には明らかであろう。したがって本発明の精神と範囲から逸脱することなく様々な変更をなすことができるということが理解される。
10・・・マシンビジョン検査システム、12・・・ビジョン測定機、14・・・制御コンピュータシステム、20・・・ワークピース、25・・・エッジ、32・・・可動ワークピース載置台、34・・・光学撮像系、100・・・マシンビジョン検査システム、120・・・制御システム部、125・・・制御装置、130・・・入出力インターフェース、131・・・撮像制御インターフェース、132・・・モーション制御インターフェース、132a・・・位置制御要素、132b・・・スピード、加速制御要素、133・・・調光制御インターフェース、133n・・・光源n−選択、電力供給、オン/オフ切り替え、パルスタイミング、133fl・・・励起光−選択、電力供給、オン/オフ切り替え、パルスタイミング、134・・・レンズ制御インターフェース、136・・・ディスプレイ装置、138・・・入力装置、140・・・メモリ、140ef・・・エッジフォーカス記憶部、141・・・画像ファイル記憶部、142・・・ワークピースプログラム記憶部、143・・・ビデオツール部、143roi・・・関心領域生成器、143n・・・ツールn−GUI、画像処理操作、143efGRAD・・・勾配エッジフォーカスツール、143ef3D・・・3Dエッジフォーカスツール、143efss・・・表面形状選択部、143af・・・オートフォーカスビデオツールGUI、画像処理操作、170・・・ワークピースプログラム発生器及び実行器、200・・・ビジョンシステム構成要素部、205・・・光学アセンブリ、210・・・ワークピース載置台、212・・・中央透明部、220・・・透過照明光、230、230’・・・落射照明光、240・・・斜め照明光、250・・・交換可能対物レンズ、255・・・ワークピース光、260・・・カメラシステム、280・・・タレットレンズアセンブリ、300・・・視野、400・・・傾斜面要素の断面図、BSF・・・傾斜面要素、DEV・・・距離、ED・・・エッジ方向、ND・・・エッジ方向に垂直な方向、PC・・・ポイントクラウド、PCOL1、PCOL2、PCOL3・・・点、ROIin・・・関心領域指示子、SDI・・・スキャン方向指示子、SS・・・表面形状モデル、SurfA・・・表面A、SurfB・・・表面B、SW・・・モード選択ウィジェット、SWGRAD・・・勾配選択ウィジェット部、SW3D・・・3D選択ウィジェット部、SHAPESW・・・形状選択ウィジェット、ZES・・・Z極値サブセット、ZESn・・・最小Z高さ点、ZZES・・・Z高さ、θ・・・最小所定角、

Claims (18)

  1. マシンビジョン検査システムの光学系の焦点をワークピースの傾斜面要素に隣接した位置のエッジ近くに合わせるためにマシンビジョン検査システムに含まれるエッジフォーカスツールを操作する方法であって、
    前記マシンビジョン検査システムの視野内の前記傾斜面要素に隣接したエッジを含む関心領域(ROI)を定義する工程と、
    前記エッジを含むZ範囲全体にわたって前記ROIの画像スタックを取得する工程と、
    複数の点の最良焦点Z高さ測定値の判断に基づき前記ROI内の複数の点のZ高さを含むポイントクラウドを生成する工程と、
    前記傾斜面要素に近接し前記傾斜面要素の形状に対応する点を含む、前記ポイントクラウドの近接サブセットを定義する工程と、
    前記ポイントクラウドの前記近接サブセットのZ極値サブセットを定義する工程と、
    前記光学系の焦点を前記Z極値サブセットに対応するZ高さに合わせる工程と
    を含む方法。
  2. 前記ポイントクラウドの近接サブセットを定義する工程は、
    前記ポイントクラウドから、前記傾斜面要素の前記形状に対応する表面形状モデルを推定する工程と、
    前記表面形状モデルから関係パラメータより大きく逸脱する前記ポイントクラウドの点を排除する工程と
    を含む、請求項1に記載の方法。
  3. 前記ポイントクラウドから表面形状モデルを推定する工程及び前記ポイントクラウドの点を排除する工程は、RANSAC及びLMSアルゴリズムのうちの1つを前記ポイントクラウドに適用する工程を含む、請求項2に記載の方法。
  4. 前記エッジツールは、前記エッジフォーカスツールの操作中にユーザが前記ポイントクラウドからどのタイプの表面形状モデルを推定するかを選択してもよい形状選択ウィジェットを含むグラフィックユーザインターフェース(GUI)を含む、請求項2に記載の方法。
  5. 前記表面形状モデルは面、円錐、円柱、球のうちの1つを含む、請求項2に記載の方法。
  6. ユーザは操作の学習モード中に前記表面形状モデルを選択する、請求項5に記載の方法。
  7. 前記ポイントクラウドの近接サブセットを定義する工程は、
    前記傾斜面要素の前記形状に対応する表面フィッティングモデルを前記ポイントクラウドにフィッティングする工程と、
    前記表面フィッティングモデルから極小面形状パラメータより大きく逸脱する前記ポイントクラウドの点を排除する工程と、
    を含む請求項1に記載の方法。
  8. 前記マシンビジョン検査システムのユーザインターフェースにおいて前記エッジフォーカスツールのグラフィックユーザインターフェース(GUI)を表示する工程と、
    前記エッジフォーカスツールの操作を開始するために前記ROIを選択するようにGUIを操作する工程と
    をさらに含む請求項1に記載の方法。
  9. 前記ROIの一部は前記Z範囲外の前記ワークピースの一部を含む、請求項1に記載の方法。
  10. 前記ポイントクラウドの前記Z極値サブセットは前記ポイントクラウドの最低Z高さを含む、請求項1に記載の方法。
  11. 前記光学系の焦点を前記Z極値に対応する前記Z高さに合わせる工程は、前記ワークピースが当該Z高さになるように前記マシンビジョン検査システムのステージを移動する工程を含む、請求項1に記載の方法。
  12. 前記光学系の焦点を前記Z極値サブセットに対応するZ高さに合わせる工程は、前記光学系の焦点を、前記ポイントクラウドの前記Z極値サブセットの中央値、平均値、及び最頻値のうちの1つであるZ高さを有する点のZ高さに合わせる工程を含む、請求項1に記載の方法。
  13. 前記ポイントクラウドを生成する工程は前記ROI内のそれぞれが前記ROIの画素のサブセットを含む複数のサブROIのオートフォーカス操作を行う工程を含む、請求項1に記載の方法。
  14. マシンビジョン検査システムの光学系の焦点を傾斜面要素に隣接したエッジ近くに合わせるエッジフォーカスツールを操作する方法であって、
    前記マシンビジョン検査システムのユーザインターフェースにおいて前記エッジフォーカスツールのグラフィックユーザインターフェース(GUI)を表示する工程と;
    前記エッジフォーカスツールの操作を開始するために前記マシンビジョン検査システムの視野内の前記傾斜面要素に隣接した前記エッジを含む関心領域(ROI)を選択するように前記GUIを操作する工程と;
    以下の工程:
    前記エッジを含むZ範囲全体にわたって前記ROIの画像スタックを取得する工程であって、前記ROIは前記ワークピースの一部が前記Z範囲外にある視野の一部を含む工程と、
    複数の点の最良焦点Z高さ測定値の判断に基づき前記ROI内の複数の点のZ高さを含むポイントクラウドを生成する工程と、
    前記傾斜面要素に近接し前記傾斜面要素の形状に対応する点を含むポイントクラウドの近接サブセットを定義する工程と、
    前記ポイントクラウドの前記近接サブセットのZ極値サブセットを定義する工程と、
    前記光学系の焦点を前記Z極値サブセットに対応するZ高さに合わせる工程と
    を行なうために前記エッジフォーカスツールを操作する工程と
    を含む方法。
  15. マシンビジョン検査システムに含まれ、前記マシンビジョン検査システムの光学系の焦点を傾斜面要素に隣接したエッジ近くに合わせる動作を含むエッジフォーカスツールであって、
    前記マシンビジョン検査システムの視野内の前記傾斜面要素に隣接したエッジを含む関心領域(ROI)を定義する工程と、
    前記エッジを含むZ範囲全体にわたって前記ROIの画像スタックを取得する工程と、
    複数の点の最良焦点Z高さ測定値の判断に基づき前記ROI内の複数の点のZ高さを含むポイントクラウドを生成する工程と、
    前記傾斜面要素に近接し前記傾斜面要素の形状に対応する点を含む、ポイントクラウドの近接サブセットを定義する工程と、
    前記ポイントクラウドの前記近接サブセットのZ極値サブセットを定義する工程と、
    前記光学系の焦点を前記Z極値サブセットに対応するZ高さに合わせる工程と
    を含む第1の動作モードを含む、エッジフォーカスツール。
  16. 前記マシンビジョン検査システムの視野内にエッジを含む関心領域(ROI)を定義する工程と、
    前記エッジを含むZ範囲全体にわたって前記ROIの画像スタックを取得する工程と、
    前記画像スタックの前記エッジ全体にわたる一組の像強度勾配を判断する工程と、
    前記光学部品の焦点を前記画像スタック内の最高勾配を与えるZ高さに合わせる工程と
    を含む第2の動作モードをさらに含む、請求項15に記載のエッジフォーカスツール。
  17. 前記エッジフォーカスツールは、前記第1と第2の動作モードのいずれが前記エッジフォーカスツールのインスタンスにより行なわれるかを選択するために、前記マシンビジョン検査システムの学習モード中に使用されてもよい前記エッジフォーカスツールのユーザインターフェースに含まれるウィジェットを含む、請求項16に記載のエッジフォーカスツール。
  18. 前記エッジフォーカスツールは、前記第1と第2の動作モードのいずれが前記エッジフォーカスツールのインスタンスにより行なわれるかを選択するために、前記マシンビジョン検査システムの学習モード中に行なわれる自動動作を含む、請求項16に記載のエッジフォーカスツール。
JP2012278850A 2011-12-23 2012-12-21 高性能エッジフォーカスツール Active JP6239232B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/336,938 US20130162806A1 (en) 2011-12-23 2011-12-23 Enhanced edge focus tool
US13/336,938 2011-12-23

Publications (2)

Publication Number Publication Date
JP2013134255A true JP2013134255A (ja) 2013-07-08
JP6239232B2 JP6239232B2 (ja) 2017-11-29

Family

ID=48575883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012278850A Active JP6239232B2 (ja) 2011-12-23 2012-12-21 高性能エッジフォーカスツール

Country Status (4)

Country Link
US (1) US20130162806A1 (ja)
JP (1) JP6239232B2 (ja)
CN (1) CN103175469B (ja)
DE (1) DE102012224320A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016050857A (ja) * 2014-08-29 2016-04-11 日本電信電話株式会社 測長装置および測長方法
JP2017032556A (ja) * 2015-07-31 2017-02-09 カール・ツアイス・インダストリーエレ・メステクニク・ゲーエムベーハー 測定対象物の寸法特性を特定する方法及び測定機器
CN106482637A (zh) * 2016-09-23 2017-03-08 大连理工大学 一种旋转标记点旋转中心的提取方法
US10510148B2 (en) 2017-12-18 2019-12-17 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for block based edgel detection with false edge elimination

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9350921B2 (en) 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
US9508186B2 (en) * 2013-11-07 2016-11-29 Autodesk, Inc. Pre-segment point cloud data to run real-time shape extraction faster
US9740190B2 (en) * 2014-10-09 2017-08-22 Mitutoyo Corporation Method for programming a three-dimensional workpiece scan path for a metrology system
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US9449248B1 (en) * 2015-03-12 2016-09-20 Adobe Systems Incorporated Generation of salient contours using live video
US9602715B2 (en) 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
US9774765B2 (en) 2015-09-15 2017-09-26 Mitutoyo Corporation Chromatic aberration correction in imaging system including variable focal length lens
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
DE102016225484B3 (de) * 2016-12-19 2018-06-07 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und optischer Sensor zur Bestimmung mindestens einer Koordinate mindestens eines Messobjekts
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
EP3450909A1 (en) * 2017-09-05 2019-03-06 Renishaw PLC Non-contact optical tool setting apparatus and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
CN111147732B (zh) * 2018-11-06 2021-07-20 浙江宇视科技有限公司 对焦曲线建立方法及装置
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US10520301B1 (en) * 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
DE102019206797B4 (de) * 2019-05-10 2022-03-10 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung einer Faseneigenschaft einer Werkstückfase sowie Programm
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
CN110197455B (zh) * 2019-06-03 2023-06-16 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248208A (ja) * 2006-03-15 2007-09-27 Omron Corp 形状特定装置及び形状特定方法
US20090088999A1 (en) * 2005-10-31 2009-04-02 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
WO2009133847A1 (ja) * 2008-04-30 2009-11-05 株式会社ニコン 観察装置および観察方法
JP2011153905A (ja) * 2010-01-27 2011-08-11 Mitsutoyo Corp マシンビジョン検査システム用の光学収差補正

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
JP3462006B2 (ja) * 1996-05-20 2003-11-05 株式会社ミツトヨ オートフォーカス装置
EP0935134B1 (en) * 1998-02-05 2000-09-27 Wacker Siltronic Gesellschaft für Halbleitermaterialien Aktiengesellschaft Apparatus and method for inspecting the edge micro-texture of a semiconductor wafer
US6825480B1 (en) * 1999-06-23 2004-11-30 Hitachi, Ltd. Charged particle beam apparatus and automatic astigmatism adjustment method
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US7187630B2 (en) * 2001-06-11 2007-03-06 Mitutoyo Corporation Focusing servo device and focusing servo method
US7340087B2 (en) * 2003-07-14 2008-03-04 Rudolph Technologies, Inc. Edge inspection
KR101060428B1 (ko) * 2003-07-14 2011-08-29 어거스트 테크놀로지 코포레이션 반도체와 같은 기판을 위한 에지부 검사 방법
US7030351B2 (en) 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US20060194129A1 (en) * 2005-02-25 2006-08-31 Horn Douglas M Substrate edge focus compensation
JP4909548B2 (ja) * 2005-09-01 2012-04-04 株式会社ミツトヨ 表面形状測定装置
TWI323615B (en) * 2006-05-30 2010-04-11 Realtek Semiconductor Corp Phase detector and related phase detecting method
US7570795B2 (en) * 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
JP2009187967A (ja) * 2008-02-01 2009-08-20 Panasonic Corp フォーカス測定方法および半導体装置の製造方法
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US20130083232A1 (en) * 2009-04-23 2013-04-04 Hiok Nam Tay Auto-focus image system
JP5269698B2 (ja) * 2009-06-10 2013-08-21 株式会社ミツトヨ 真円度測定装置
US9200896B2 (en) * 2009-10-27 2015-12-01 Hitachi High-Technologies Corporation Pattern dimension measurement method and charged particle beam microscope used in same
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
AU2010329533A1 (en) * 2009-12-07 2012-07-26 Hiok Nam Tay Auto-focus image system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090088999A1 (en) * 2005-10-31 2009-04-02 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
JP2007248208A (ja) * 2006-03-15 2007-09-27 Omron Corp 形状特定装置及び形状特定方法
WO2009133847A1 (ja) * 2008-04-30 2009-11-05 株式会社ニコン 観察装置および観察方法
JP2011153905A (ja) * 2010-01-27 2011-08-11 Mitsutoyo Corp マシンビジョン検査システム用の光学収差補正

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016050857A (ja) * 2014-08-29 2016-04-11 日本電信電話株式会社 測長装置および測長方法
JP2017032556A (ja) * 2015-07-31 2017-02-09 カール・ツアイス・インダストリーエレ・メステクニク・ゲーエムベーハー 測定対象物の寸法特性を特定する方法及び測定機器
CN106482637A (zh) * 2016-09-23 2017-03-08 大连理工大学 一种旋转标记点旋转中心的提取方法
CN106482637B (zh) * 2016-09-23 2018-06-08 大连理工大学 一种旋转标记点旋转中心的提取方法
US10510148B2 (en) 2017-12-18 2019-12-17 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for block based edgel detection with false edge elimination

Also Published As

Publication number Publication date
CN103175469A (zh) 2013-06-26
JP6239232B2 (ja) 2017-11-29
US20130162806A1 (en) 2013-06-27
CN103175469B (zh) 2017-09-08
DE102012224320A1 (de) 2013-06-27

Similar Documents

Publication Publication Date Title
JP6239232B2 (ja) 高性能エッジフォーカスツール
JP6282508B2 (ja) 凸凹表面のエッジに向けて強化されたエッジ検出ツール
JP6101706B2 (ja) マシンビジョンシステムにおいて複数の照明設定を使用する合焦点動作
JP6792980B2 (ja) マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
JP7075743B2 (ja) マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
US8111938B2 (en) System and method for fast approximate focus
JP5570945B2 (ja) 正確な寸法検査用の自動焦点ビデオツールおよび方法
JP6071452B2 (ja) マシンビジョンシステムのパートプログラム編集環境内で編集初期化ブロックを利用するシステム及び方法
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
US7499584B2 (en) Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection
US20110133054A1 (en) Weighting surface fit points based on focus peak uncertainty
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
US20130027538A1 (en) Multi-region focus navigation interface
US9444995B2 (en) System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
JP2005156554A (ja) 画像測定検査システムの推定最良焦点位置決定制御方法、画像測定検査システムの訓練モード動作の制御方法
JP6053119B2 (ja) マシンビジョン検査システムおよびその位置測定結果の決定方法
JP7319903B2 (ja) 高速tagレンズ支援3d計測及び拡張被写界深度撮像
JP2014041128A (ja) 回転オフセットを有する2つのカメラを備えたマシンビジョン検査システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171101

R150 Certificate of patent or registration of utility model

Ref document number: 6239232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250