JP2021119338A - 透明ワークピース表面モードを有する計測システム - Google Patents

透明ワークピース表面モードを有する計測システム Download PDF

Info

Publication number
JP2021119338A
JP2021119338A JP2020210552A JP2020210552A JP2021119338A JP 2021119338 A JP2021119338 A JP 2021119338A JP 2020210552 A JP2020210552 A JP 2020210552A JP 2020210552 A JP2020210552 A JP 2020210552A JP 2021119338 A JP2021119338 A JP 2021119338A
Authority
JP
Japan
Prior art keywords
image
focus
local
peak
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020210552A
Other languages
English (en)
Inventor
カーミル ブリル ロバート
Robert Kamil Bryll
カーミル ブリル ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Publication of JP2021119338A publication Critical patent/JP2021119338A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181Memory or computer-assisted visual determination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 多種多様なワークピース表面の撮像及び測定に対応できる改良されたシステムを提供する。【解決手段】 透明ワークピース表面モードを備えた計測システムを提供する。システムは、ワークピースに近接したZ高さ方向に沿った複数の位置で合焦位置を変動させるように構成されている。画像スタックを取得する。この画像スタックの各画像は、透明又は半透明である第1の表面(例えばワークピースの上面)と、第1の表面を通して少なくとも部分的に透けて見える少なくとも第2の表面と、を含む。画像スタックに基づいて複数の合焦曲線を決定する(例えばコントラスト向上のためにパターン投射を利用する)。各合焦曲線から、第1、第2等の表面にそれぞれ対応する第1、第2等の局所合焦ピークを決定することができる。選択された表面を含む画像(例えば拡張被写界深度、3D)を表示し、選択された/表示された表面の要素を測定することができる。【選択図】 図1

Description

本開示は精密計測に関し、更に具体的には、ワークピース表面を検査及び測定するためポイントフロムフォーカス及び同様の動作を利用した計測システムに関する。
マシンビジョン検査システム(又は略して「ビジョンシステム」)のような精密計測システムは、物体の精密測定のため及び他の物体の特徴を検査するために使用することができる。このようなシステムは、コンピュータと、カメラと、光学システムと、ワークピースの走査(traversal)を可能とするために移動するステージと、を含み得る。汎用の「オフライン」精密ビジョンシステムとして特徴付けられる1つの例示的なシステムは、イリノイ州オーロラに位置するMitutoyo America Corporation(MAC)から入手可能なQUICK VISION(登録商標)シリーズのPCベースのビジョンシステム及びQVPAK(登録商標)ソフトウェアである。QUICK VISION(登録商標)シリーズのビジョンシステム及びQVPAK(登録商標)ソフトウェアの機能及び動作については、概ね、例えば2003年1月に発表されたQVPAK 3D CNC画像測定機ユーザガイドに記載されている。このタイプのシステムは、顕微鏡型の光学システムを利用し、小型又は大型のワークピースの検査画像を様々な倍率で提供するようにステージを移動させる。
このようなマシンビジョン検査システムは一般に、自動化検査を行うようにプログラム可能である。具体的な検査イベントシーケンス、すなわち、逐次的な画像取得設定(例えば位置、照明、倍率等)及び各画像の解析/検査方法(例えば1つ以上のビデオツールを用いる)を含むマシン制御命令は、特定のワークピース形状に固有の「パートプログラム」又は「ワークピースプログラム」として記憶されている。
ビデオツール(又は短縮して「ツール」)及びその他のグラフィカルユーザインタフェース(GUI)機能は、「非専門家」のオペレータによる動作及びプログラミングを可能とする。このようなツールは「手動モード」において手動で用いることができ、及び/又は、パートプログラムを生成するため、それらのパラメータ及び動作を学習モード中に記録することも可能である。ビデオツールには、例えばエッジ/境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。米国特許第6,542,180号及び第7,627,162号は、検査プログラミングのためのビデオツールの使用を含むビジョンシステムを教示している。
ビデオツールの1つの既知のタイプは、「マルチポイントツール」又は「マルチポイント自動合焦ツール」ビデオツールである。このようなツール(及び/又は同様の技法を利用した様々な他のプロセス)は、自動合焦法によって決定されるように、ツールの関心領域内で規定されたX−Y座標にある複数のサブ領域について、「ベストフォーカス」位置から導出される(カメラシステムの光軸及び合焦軸(focusing axis)に沿った)Z高さ測定値又は座標を提供できる。このようなX、Y、Z座標のセットを、ポイントクラウドデータ、又は略してポイントクラウドと称することができる。一般に、従来技術の自動合焦法及び/又はツールによれば、カメラはz軸(合焦軸)に沿ってある範囲内の位置を移動し、各位置で画像をキャプチャする(画像スタックと称される)。キャプチャされた各画像で、画像に基づいて、また、画像がキャプチャされた時点でのZ軸に沿ったカメラの対応位置に関連付けて、各サブ領域(すなわち所与のX及びY座標を有する)の合焦尺度を計算する。この結果、各XYサブ領域の合焦曲線データが得られる。これは単に「合焦曲線」又は「自動合焦曲線」と称することができる。合焦曲線データに曲線をフィッティングし、フィッティングされた曲線のピークを推定することにより、z軸に沿ったベストフォーカス位置に対応する合焦曲線のピークを見出すことができる。
このような技法から得られたデータを利用して、ワークピースの多種多様な画像を表示することができる。例えば、上述のようなポイントクラウドデータを用いてワークピースの3次元(3D)画像を表示できる。別の例として、いくつかの用途では、光学撮像システムによって単一の合焦位置で提供されるよりも大きい拡張被写界深度(EDOF:extended depth of field)を有する画像を表示することが望ましい場合がある。EDOF画像を構築するための1つの方法は、上述したもののいくつかと同様の技法を含み、合焦範囲内の様々な距離で合焦された複数の同一視野の画像又は位置合わせされた画像から構成された画像スタックを収集することを含む。視野の各部分がその部分をベストフォーカスで示す特定の画像(すなわち合焦曲線のピークに従って決定される)から抽出されている複合画像が構築される。
表面を撮像し測定するためのこのような技法は、一般的に、特定のタイプのワークピース表面(例えば透明な表面等)では様々な課題に直面している。多種多様なワークピース表面の撮像及び測定に対応できる改良されたシステムがあれば望ましい。
この概要は、以下で「発明を実施するための形態」において更に記載するいくつかの概念を簡略化した形態で紹介するために提示する。この概要は、特許請求される主題の重要な特徴(features)を識別することを意図しておらず、特許請求される主題の範囲の決定に役立てるため用いることも意図していない。
透明ワークピース表面モードを備えた計測システムを提供する。計測システムは、光源、レンズ(例えば対物レンズ)、カメラ、1つ以上のプロセッサ、及びメモリを含む。レンズは、光源によって照明されるワークピースの表面から生じる結像光を入力し、結像光を撮像光路に沿って伝送する。カメラは、撮像光路に沿って伝送された撮像光を受光し、ワークピースの画像を提供する。システムの合焦位置は、ワークピースに近接したZ高さ方向に沿った合焦範囲内の複数の位置で可変であるように構成されている。
メモリは、1つ以上のプロセッサに結合され、プログラム命令を記憶する。プログラム命令は、1つ以上のプロセッサによって実行された場合、以下のような様々なステップ/プロセスを1つ以上のプロセッサに実行させる。複数の画像を含む画像スタックを取得する。画像スタックの各画像は合焦範囲内の異なる対応するZ高さで取得される。画像スタックの各画像は、透明又は半透明のうち少なくとも一方である第1の表面と、第1の表面を通して少なくとも部分的に透けて見える第2の表面と、を含む。画像スタックの画像に基づいて複数の合焦曲線を決定する。第1の表面に対応する各合焦曲線からの第1の局所合焦ピークを決定し、第2の表面に対応する各合焦曲線からの第2の局所合焦ピークを決定する。第1の表示画像は、第1の表面又は第2の表面のいずれかを選択するためのオプションに従ってユーザにより選択された第1の選択表面を含む。第1の選択表面は、第1の表面であり、この場合、第1の表示画像は、第1の局所合焦ピークに基づき、かつ第2の局所合焦ピークに基づかず、第1の表面を含み、かつ第2の表面を含まず、又は、第1の表面を通して少なくとも部分的に透けて見える第2の表面であり、この場合、第1の表示画像は、第2の局所合焦ピークに基づき、かつ第1の局所合焦ピークに基づかず、第2の表面を含み、かつ第1の表面を含まない。
様々な実施例において、ユーザが第1の表面及び第2の表面の間で選択を行うためのオプションをユーザインタフェースに提示することができる。様々な実施例において、システムは、第1及び第2の表面にそれぞれ対応する第1及び第2の局所合焦ピークのみを決定するように構成され、追加の表面に対応し得る合焦曲線の追加の局所合焦ピークを決定するように構成されていない。
様々な実施例において、第1の表示画像及び/又は追加の表示画像は、第1の選択表面を含む第1の表示2次元(2D)拡張被写界深度(EDOF)画像及び/又は第1の表示3次元(3D)画像とすることができる。3D画像は、選択表面を含み、第1の表示2D EDOF画像が基づくものと同じ局所合焦ピークに基づくことができる。更に、異なる時点で、ユーザは、第1の表面又は第2の表面のいずれかを選択するためのオプションに従ってユーザにより選択された第2の選択表面の第2の表示画像を表示することを選択できる(例えば、第2の選択表面は第1の選択表面とは異なり、異なる局所合焦ピークに基づく)。第1及び第2の表示画像は、第1及び第2の表示2D EDOF画像とすることができ、及び/又は、対応する第1及び第2の表示3D画像とすること、もしくは対応する第1及び第2の表示3D画像を用いて表示することができる。
様々な実施例では、第1の表示画像における第1の選択表面に適用された1つ以上のビデオツールの動作に基づいて、第1の選択表面上の2つの要素間の測定値を決定することができる。様々な実施例において、1つ以上のビデオツールは、寸法測定ツール、ポイントツール、ボックスツール、円ツール、又は円弧ツールのうち少なくとも1つを含み得る。
様々な実施例において、第1の表面に対応する第1の局所合焦ピークは、合焦曲線の各々において同じ1番目の番号の付いた位置を有する全ての第1の局所合焦ピークに基づいて決定することができる。第2の表面に対応する第2の局所合焦ピークは、合焦曲線の各々において同じ2番目の番号の付いた位置を有する全ての第2の局所合焦ピークに基づいて決定することができる。様々な実施例では、第2の表面に対応するが各合焦曲線において同じ2番目の番号の付いた位置を持たない合焦曲線からの局所合焦ピークを決定することができる。この局所合焦ピークは、ユーザにより設定されたZフィルタリング範囲内に該当することに基づいて決定される。
様々な実施例において、第1及び第2の表面にそれぞれ対応する第1及び第2の局所合焦ピークの決定は、少なくとも1つの指定された品質基準を満たさない合焦曲線の1つ以上の局所合焦ピークを検討から外すことを含む。様々な実施例では、表面に対応する局所合焦ピークを含まない合焦曲線について、表面に対応する他の合焦曲線の少なくとも2つの局所合焦ピーク間の内挿に基づいて、少なくとも1つの内挿された局所合焦ピークを決定することができる。
様々な実施例において、画像スタックの取得は、第1及び第2の表面にパターンを投射することを含み、その結果として、同一の画像取得プロセス及び条件であるが投射パターンなしの場合に得られるよりも高い局所合焦ピークが合焦曲線において少なくともいくつか生じる。パターン投射なしで第2の画像スタックを取得することができる。第1の局所合焦ピークを使用して、第2の画像スタックからのどの画像データが第1の表面に対応するかを決定する。第1の選択表面は第1の表面であり、第1の表面を含む第1の表示画像の表示のために第1の表面に対応する第2の画像スタックからの画像データが使用される。
様々な実施例において、計測システムを動作させるためのコンピュータにより実施される方法を提供することができる。このような実施例では、実行可能命令によって構成された1つ以上のコンピューティングシステムの制御のもとで、上述したステップ/プロセスを実行することができる。
汎用の精密マシンビジョン計測システムの種々の典型的なコンポーネントを示す図である。 図1のものと同様の、本明細書に開示されるいくつかの特徴を含むマシンビジョン計測システムの制御システム部及びビジョン構成要素部のブロック図である。 本明細書に開示されるいくつかの特徴を含む、マシンビジョン計測システムのような精密非接触計測システムに適合することができる撮像システムの概略図である。 透明又は半透明の上面と、この上面を通して少なくとも部分的に透けて見える下面と、を含む表面に対応する局所合焦ピークを有する第1のセットの合焦曲線を示す図である。 選択された表面の画像を表示するため及び測定を実行するための例示的なプロセスを示すフロー図である。 表面に対応する合焦曲線の局所合焦ピークを決定するための例示的なサブプロセスを示すフロー図である。 パターン投射を利用するための例示的なサブプロセスを示すフロー図である。 図4の表面のようなワークピース表面の2次元拡張被写界深度画像及び3次元画像を見るためのユーザインタフェースの第1の例示的な実施例を示す図である。 図4の表面のようなワークピース表面の2次元拡張被写界深度画像及び3次元画像を見るためのユーザインタフェースの第1の例示的な実施例を示す図である。 少なくとも、透明又は半透明の上面と、この上面を通して少なくとも部分的に透けて見える下面と、を含む表面に対応する局所合焦ピークを有する第2のセットの合焦曲線を示す図である。 図9の表面のようなワークピース表面の2次元拡張被写界深度画像及び3次元画像を見るためのユーザインタフェースの第2の例示的な実施例を示す図である。 図9の表面のようなワークピース表面の2次元拡張被写界深度画像及び3次元画像を見るためのユーザインタフェースの第2の例示的な実施例を示す図である。
図1は、本明細書に記載されるような撮像システムとして使用可能であるか又はこの撮像システムを含む1つの例示的なマシンビジョン計測システム10のブロック図である。マシンビジョン計測システム10は画像測定機12を含み、これは、制御コンピュータシステム14とデータ及び制御信号をやり取りするように動作可能に接続されている。制御コンピュータシステム14は更に、モニタ又はディスプレイ16、プリンタ18、ジョイスティック22、キーボード24、及びマウス26と、データ及び制御信号をやり取りするように動作可能に接続されている。モニタ又はディスプレイ16は、マシンビジョン計測システム10の動作の制御及び/又はプログラミングに適したユーザインタフェースを表示することができる。様々な実施例では、タッチスクリーンタブレット等によって、要素14、16、22、24、及び26のいずれか又は全ての機能を代用すること及び/又はこれらの機能を冗長的に与えることが可能であることは認められよう。
制御コンピュータシステム14は一般に、分散型又はネットワーク型のコンピューティング環境等を含む任意の適切なコンピューティングシステム又はデバイスを用いて実施され得ることは、当業者には認められよう。このようなコンピューティングシステム又はデバイスは、本明細書に記載する機能を実現するためにソフトウェアを実行する1つ以上の汎用又は特殊用途プロセッサ(例えば非カスタムデバイス又はカスタムデバイス)を含み得る。ソフトウェアは、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュメモリ等のメモリ、又はそのようなコンポーネントの組み合わせに記憶することができる。また、ソフトウェアは、光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他のいずれかのタイプの不揮発性記憶媒体のような1つ以上の記憶デバイスに記憶することができる。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実施するプロセス、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む1つ以上のプログラムモジュールを含み得る。分散型コンピューティング環境では、プログラムモジュールの機能性は、有線又は無線のいずれかの構成において、複数のコンピューティングシステム又はデバイスにまたがるように組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。
画像測定機12は、可動ワークピースステージ32と、ズームレンズ又は交換可能対物レンズを含み得る光学撮像システム34と、を含む。ズームレンズ又は交換可能対物レンズは一般に、光学撮像システム34によって得られる画像に様々な倍率を与える。マシンビジョン計測システム10の様々な実施例は、本発明の譲受人に譲渡された米国特許第7,454,053号、第7,324,682号、第8,111,905号、及び8,111,938号にも記載されている。
図2は、図1のマシンビジョン計測システム100と同様の、本明細書に開示されるいくつかの特徴を含むマシンビジョン計測システム100の制御システム部120及びビジョン構成要素部200のブロック図である。以下で更に詳しく記載されるように、制御システム部120を用いてビジョン構成要素部200を制御する。ビジョン構成要素部200は、光学アセンブリ部205と、光源220、230、及び240と、中央の透明部212を有するワークピースステージ210と、を含む。ワークピースステージ210は、ワークピース20を配置することができるステージの表面に対して概ね平行な面内にあるX軸及びY軸に沿って制御可能に移動できる。
光学アセンブリ部205は、カメラシステム260及び交換可能対物レンズ250を含み、更に、可変焦点距離(VFL:variable focal length)レンズ270(例えば、様々な例示的な実施例における可変音響式屈折率分布型(TAG:tunable acoustic gradient)レンズ)を含み得る。様々な実施例において、光学アセンブリ部205は更に、レンズ226と228を有するターレットレンズアセンブリ223も含む場合がある。ターレットレンズアセンブリの代わりに、様々な実施例では、固定もしくは手作業で交換可能な倍率可変レンズ(magnification−altering lens)、又はズームレンズの配置等を含んでもよい。様々な実施例において、交換可能対物レンズ250は、可変倍率レンズ部の一部として含まれる固定倍率対物レンズのセット(例えば、0.5倍、1倍、2倍又は2.5倍、5倍、7.5倍、10倍、20倍又は25倍、50倍、100倍等の倍率に対応した対物レンズのセット)から選択することができる。
光学アセンブリ部205は、制御可能モータ294を用いることで、X軸及びY軸に概ね直交したZ軸に沿って制御可能に移動できる。制御可能モータ294はアクチュエータを駆動して、光学アセンブリ部205をZ軸(例えば光学アセンブリ部205を含む光学系の光軸)に沿って動かすことで、合焦位置を変動させ、従ってワークピース20の画像の焦点を変化させる。制御可能モータ294は、信号ライン296を介して入出力インタフェース130に接続されている。以下で更に詳しく記載されるように、より小さい範囲にわたって画像の焦点を変化させるため、又は光学アセンブリ部205を移動させることの代わりに、VFL(例えばTAG)レンズ270を、信号ライン234’を介してレンズ制御インタフェース134によって制御して、VFLレンズ270の屈折力を周期的に変調し、これによって光学アセンブリ部205の有効合焦位置を変調することも可能である。レンズ制御インタフェース134は、以下で更に詳しく記載されるように、VFLレンズ制御部180を含むことができる。ワークピース20はワークピースステージ210上に配置することができる。ワークピースステージ210は、光学アセンブリ部205に対して移動する(例えばXY面内で移動する)ように制御され、交換可能対物レンズ250の視野がワークピース20上の複数の位置間で及び/又は複数のワークピース20間で移動できるようになっている。
以下で更に詳しく記載されるように、様々な実施例において、ワークピース20は、透明又は半透明のうちの少なくとも一方である上面SRF−1と、上面SRF−1を通して少なくとも部分的に透けて見える下面SRF−2と、を含み得る。例えば様々な用途において、ワークピース20は、ガラス、レンズ、薄膜等の材料、及び/又は透明もしくは半透明であり得る他の材料であるか、又はそういった材料を含むことができる(例えば、上面SRF−1がワークピースの上面に対応し、下面SRF−2が、ワークピースの下面等の別の面、又はワークピースの異なる材料、部分、層等の一部に対応することができる)。
透過照明光源220、落射照明光源230、及び斜め照明光源240(例えばリングライト)のうち1つ以上が、それぞれ光源光222、232、及び/又は242を発して、1又は複数のワークピース20を照明することができる。例えば画像露光中に、落射照明光源230は、ビームスプリッタ290(例えば部分ミラー(partial mirror))を含む経路に沿って光源光232を発することができる。光源光232は、結像光255として反射又は透過され、撮像に用いられる結像光として、交換可能対物レンズ250、ターレットレンズアセンブリ223、及びVFLレンズ270を通過して、カメラシステム260により集光される。1もしくは複数のワークピース20の画像を含むワークピース画像露光は、カメラシステム260によってキャプチャされ、制御システム部120への信号ライン262上に出力される。
様々な光源(例えば光源220、230、及び240)は、関連付けられた信号ライン(例えばそれぞれバス221、231、及び241)を介して制御システム部120の照明制御インタフェース133に接続することができる。制御システム部120は、画像の倍率を変更するため、ターレットレンズアセンブリ223を軸224に沿って回転させることで、信号ライン又はバス223’を介してターレットレンズを1つ選択するよう制御できる。
更に図2に示されているように、種々の例示的な実施例において制御システム部120は、制御部125、入出力インタフェース130、メモリ140、ワークピースプログラム生成器及び実行器170、及び電源部190を含む。これらのコンポーネント及び以下で説明する追加のコンポーネントの各々は、1つ以上のデータ/制御バス及び/又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。入出力インタフェース130は、撮像制御インタフェース131、移動制御インタフェース132、照明制御インタフェース133、及びレンズ制御インタフェース134を含む。レンズ制御インタフェース134は、VFLレンズ制御部180を含むか又はこれに接続することができる。VFLレンズ制御部180は、VFLレンズ270によって行われる周期的な合焦位置変調と同期した様々な画像露光を制御するための回路及び/又はルーチンを含む。いくつかの実施例において、レンズ制御インタフェース134及びVFLレンズ制御部180はマージされる及び/又は区別できない場合がある。
照明制御インタフェース133は照明制御要素133a〜133nを含むことができ、これらは、マシンビジョン計測システム100の様々な対応する光源について、例えば選択、パワー、オン/オフ切り替え、及びストロボパルスタイミングを適用可能な場合に制御する。いくつかの実施例では、図3に示されているような露光(ストロボ)時間制御部333esが、照明制御要素133a〜133nのうち1つ以上にストロボタイミング信号を与えることで、これらの要素が(例えば特定の記憶されている較正データに従って)VFLレンズ合焦位置変調の所望の位相時間と同期した画像露光ストロボタイミングを提供できるようになっている。これについては以下で更に詳しく記載する。いくつかの実施例において、露光(ストロボ)時間制御部333es及び照明制御要素133a〜133nのうち1つ以上はマージされる及び/又は区別できない場合がある。
メモリ140は、画像ファイルメモリ部141、エッジ検出メモリ部140ed、1つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部142、標準ワークピース表面(WS)モード部140ss、透明ワークピース表面(WS)モード部140ts、及びビデオツール部143を含むことができる。ビデオツール部143は、対応する各ビデオツールのためのGUIや画像処理動作等を決定するビデオツール143a及び他のビデオツール(例えば143n)、並びに関心領域(ROI:region of interest)発生器143roiを含む。関心領域発生器143roiは、ビデオツール部143内に含まれる様々なビデオツールにおいて及び/又は他の動作の一部として動作可能である様々なROIを規定する自動、半自動、及び/又は手動の動作をサポートする。エッジ要素を位置特定すると共に他のワークピース要素検査動作を実行するためのビデオツールの動作の例については、上述のように本願に含まれる引例のいくつか、及び上述のように本願に含まれる米国特許第7,627,162号に更に詳しく記載されている。
ビデオツール部143は、合焦高さ(すなわち有効合焦位置(Z高さ))測定動作のためのGUIや画像処理動作等を決定する自動合焦ビデオツール143afも含む。様々な実施例において、自動合焦ビデオツール143afは更に、図3に記載されたハードウェアを用いて高速で合焦高さを測定するために利用できる高速合焦高さツールも含むことができる。これについては、米国特許第9,143,674号に更に詳しく記載されている。様々な実施例において、高速合焦高さツールは、これ以外の場合には自動合焦ビデオツールのための従来の方法に従って動作する自動合焦ビデオツール143afの特別モードとしてもよく、又は、自動合焦ビデオツール143afの動作は高速合焦高さツールの動作のみを含んでもよい。1又は複数の画像関心領域のための高速自動合焦及び/又は合焦位置決定は、既知の方法に従って画像を解析して様々な領域の対応する合焦特性値(例えば定量的コントラスト尺度値及び/又は定量的合焦尺度値)を決定することに基づき得る。例えばそのような方法は、米国特許第8,111,905号、第7,570,795号、及び第7,030,351号に開示されている。
本開示の文脈では、当業者に既知であるように、「ビデオツール」という言葉は概ね、マシンビジョンユーザが比較的シンプルなユーザインタフェースを介して実施可能である比較的複雑な自動化又はプログラミングされた動作セットのことである。例えばビデオツールは、あらかじめプログラミングされた複雑な画像処理動作及び計算セットを含み、これらの動作及び計算を規定するいくつかの変数又はパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。ビデオツールは、基礎にある動作及び計算の他に、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。
一般に、精密マシンビジョン計測システム(例えば図1及び図2のもの等)は、自動化ビデオ検査を行うようにプログラム可能である。このようなシステムは通常、「非専門家」のオペレータが動作及びプログラミングを実行できるように、選択可能な動作モードを含み、更にGUI機能及び既定の画像解析ビデオツールも含む。このようなビデオツールは「手動モード」において手動で用いることができ、及び/又は、パートプログラムを生成するため、それらのパラメータ及び動作を学習モード中に記録することも可能である。様々な実施例において、ビデオツールには、例えばエッジ/境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。上述のように本願に含まれる米国特許第6,542,180号及び第7,627,162号は、検査プログラミングのためのビデオツールの使用を含むビジョンシステムを教示している。
様々な実施例において、標準ワークピース表面モード部140ssは、標準的な(例えば非透明等の)ワークピース表面に対して既知の方法と同様に動作することができる(例えば、ユーザにより動作モードとして選択可能である、及び/又はビデオツールの形態で提供できる、及び/又はいくつかのビデオツールや自動合焦ツール等の一部として利用できる)。例えば、そのような以前から既知の方法に従って、ワークピース表面の複数の画像を含む画像スタックを取得/キャプチャし、この以前から既知の方法に従って(例えば本願に含まれる引例に記載されているように)、関心領域の各合焦曲線において単一の合焦ピークを決定することができる。以下で更に詳しく記載されるように、透明ワークピース表面モード部140tsは、本明細書に開示される特定のモードに基づいて動作することができ、同様に、ユーザにより動作モードとして選択可能である、及び/又はビデオツールの形態で提供できる、及び/又はいくつかのビデオツールや自動合焦ツール等の一部として利用できる)。例えばそのような方法に従って、画像スタックを取得し、各合焦曲線において2つ以上の局所合焦ピーク(例えば2つの局所合焦ピーク)を決定することができる(例えば、第1の局所合焦ピークがワークピース20の透明又は半透明の上面SRF−1に対応し、第2の局所合焦ピークが、上面SRF−1を通して少なくとも部分的に透けて見えるワークピース20の下面SRF−2に対応し得る。これについては以下で更に詳しく記載する)。
1つ以上のディスプレイデバイス136(例えば図1のディスプレイ16)及び1つ以上の入力デバイス138(例えば図1のジョイスティック22、キーボード24、及びマウス26)は、入出力インタフェース130に接続することができる。ディスプレイデバイス136及び入力デバイス138を用いて、様々なグラフィカルユーザインタフェース(GUI)機能を含み得るユーザインタフェース(例えば図8A、図8B、及び図10Aに示されている)を表示することができる。それらの機能は、検査動作の実行、及び/又はパートプログラムの生成及び/又は修正、カメラシステム260によってキャプチャされた画像の閲覧、及び/又はビジョン構成要素部200の直接制御のために使用可能である。
種々の例示的な実施例において、ユーザがマシンビジョン計測システム100を用いてワークピース20のためのパートプログラムを生成する場合、ユーザは、マシンビジョン計測システム100を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによって、パートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野(FOV)内に配置し、照明レベルを設定し、合焦又は自動合焦を行い、画像を取得し、(例えばそのワークピース要素に対してビデオツールのうち1つのインスタンスを用いて)画像に適用される検査訓練シーケンスを提供することを含み得る。学習モードは、この1又は複数のシーケンスがキャプチャ又は記録されて、対応するパートプログラム命令に変換されるように動作する。パートプログラムが実行された場合、これらの命令はマシンビジョン計測システムに訓練した画像取得を再現させると共に、検査動作を行って、パートプログラムの生成時に用いた代表的ワークピースに合致する実行モードの1又は複数のワークピース上の特定のワークピース要素(すなわち対応位置における対応する要素)を自動的に検査させる。
図3は、マシンビジョン計測システムに適合させるか又はスタンドアロンのシステムとして構成することができ、更に、本明細書に開示される原理に従って動作することができる撮像システム300の概略図である。図3の3XXと番号を付けたいくつかのコンポーネントは、図2における同様の2XXと番号を付けたコンポーネントと同様の動作もしくは機能に対応する及び/又は同様の動作もしくは機能を提供し、他の指示がない限り同様に理解され得ることは認められよう。
以下で更に詳しく記載されるように、撮像光路OPATH(本明細書ではワークピース撮像光路とも呼ばれる)は、ワークピース320からカメラ360まで結像光355を伝達する経路に沿って配置された様々な光学コンポーネントを含む(例えば撮像システム300の光学システムの一部として)。結像光は概ねそれらの光軸OAの方向に沿って伝達される。図3に示されている実施例では、全ての光軸OAは位置合わせされている。しかしながら、この実施例は単なる例示を意図しており、限定でないことは認められよう。より一般的には、撮像光路OPATHはミラー及び/又は他の光学要素を含み、既知の原理に従ってカメラ(例えばカメラ360)を用いてワークピース320を撮像するために動作する任意の形態をとることができる。図示されている実施例において、撮像光路OPATHは、VFLレンズ370(これは4f撮像配置に含めることができる)を含み、少なくとも部分的に、光学システムの光軸OAに沿ってワークピース画像露光中にワークピース320の表面を撮像するために利用される。
図3に示されているように、撮像システム300は、光源330、パターン投射部330’、露光(ストロボ)時間制御部333es、標準ワークピース表面モード340ss、透明ワークピース表面モード340ts、対物レンズ350、チューブレンズ351、リレーレンズ352、VFL(TAG)レンズ370、リレーレンズ356、レンズ制御部380、カメラ360、有効合焦位置(Z高さ)較正部373、及びワークピース合焦信号処理部375(任意選択的)を含む。様々な実施例における様々なコンポーネントは、直接接続によって、又は1つ以上のデータ/制御バス(例えばシステム信号及び制御バス395)及び/又はアプリケーションプログラミングインタフェース等によって相互接続することができる。
以下で更に詳しく記載されるように、様々な実施例において、VFLレンズ制御部380は、VFLレンズ370の屈折力をある範囲の屈折力にわたって周期的に変調するようVFLレンズ370の駆動信号を制御することができ、これらの屈折力は周期的変調内の各位相タイミングで発生する。カメラ360(例えば撮像検出器を含む)は、画像露光中にVFLレンズ370を介して撮像光路OPATHに沿って伝送された光を受光し、対応するカメラ画像を提供する。対物レンズ350は、画像露光中にワークピース320から生じる結像光を入力し、この画像露光中に結像光を撮像光路OPATHに沿ってVFLレンズ370を介してカメラ360へ伝送して、対応するカメラ画像内でワークピース画像を提供する。画像露光中の対物レンズ350の前方の有効合焦位置EFPは、その画像露光中のVFLレンズ370の屈折力に対応する。露光時間制御部333esは、カメラ画像のために使用される画像露光タイミングを制御するよう構成されている。
図3に示されている一般的な構成に関して、光源330は「落射照明光源(coaxial light source)」又は他の光源であり、ビームスプリッタ390(例えばビームスプリッタの一部としての部分反射ミラー)を含む経路に沿って対物レンズ350を介してワークピース320の表面へと光源光332を発する(例えばストロボ照明又は連続照明で)ように構成されている。対物レンズ350は、ワークピース320に近接した有効合焦位置EFPで集束する結像光355(例えばワークピース光)を受光し、結像光355をチューブレンズ351に出力する。チューブレンズ351は結像光355を受光し、これをリレーレンズ352に出力する。他の実施例では、同様の光源によって視野を非同軸に照明することができる。例えば、リング光源が視野を照明することができる。
様々な実施例において、対物レンズ350は交換可能対物レンズとすることができ、チューブレンズ351はターレットレンズアセンブリの一部として含めることができる(例えば図2の交換可能対物レンズ250及びターレットレンズアセンブリ223と同様)。図3に示されている実施例において、対物レンズ350の設計上の焦点面から発する結像光355はチューブレンズ351によって合焦され、設計上の中間像面IIPnomにおいて中間像を形成する。VFL(TAG)レンズ370がレンズ効果を与えない(屈折力が無い)状態である場合、対物レンズ350の設計上の焦点面、設計上の中間像面IIPnom、及びカメラ360の像面は、既知の顕微鏡撮像原理に従って共役面のセットを形成する。様々な実施例において、本明細書で言及される他のレンズはいずれも、個別レンズや複合レンズ等から形成するか、又はそれらのレンズと連携して動作することができる。
リレーレンズ352は、チューブレンズ351から(又は、様々な代替的な顕微鏡配置において、より一般的には中間像面から)結像光355を受光し、これをVFL(TAG)レンズ370に出力する。VFL(TAG)レンズ370は結像光355を受光し、これをリレーレンズ356に出力する。リレーレンズ356は結像光355を受光し、これをカメラ360に出力する。様々な実施例において、カメラ360は、画像露光期間とも呼ばれる画像露光中に(例えばカメラ360の積分時間中に)カメラ画像をキャプチャし、対応する画像データを制御システム部に提供することができる。いくつかのカメラ画像は、ワークピース画像露光中に与えられた(例えばワークピース320の領域の)ワークピース画像を含み得る。いくつかの実施例において、画像露光(例えばワークピース画像露光)は、カメラ360の画像積分時間内である光源330のストロボタイミングによって制限又は制御され得る。様々な実施例において、カメラ360は、1メガピクセルよりも大きいピクセルアレイを有し得る(例えば1.3メガピクセル、1280×1024画素アレイ、1画素当たり5.3ミクロン)。
図3の例では、リレーレンズ352及び356並びにVFL(TAG)レンズ370は4f光学配置に含まれるものとして示され、リレーレンズ352及びチューブレンズ351はケプラー式望遠鏡配置に含まれるものとして示され、チューブレンズ351及び対物レンズ350は顕微鏡配置に含まれるものとして示されている。ここに示す構成は全て単なる例示であって、本開示に対する限定ではないことは理解されよう。様々な実施例において、図示されている4f光学配置は、VFL(TAG)レンズ370(例えば開口数(NA)が小さいデバイスであり得る)を、対物レンズ350のフーリエ面に配置することを可能とする。この構成は、ワークピース320におけるテレセントリシティを維持すると共に、スケール変化及び画像歪みを最小限に抑えることができる(例えば、ワークピース320の各有効合焦位置(Z高さ)で一定の倍率を与えることを含む)。ケプラー式望遠鏡配置(例えばチューブレンズ351及びリレーレンズ352を含む)は、顕微鏡配置と4f光学配置との間に含めることができ、画像収差等を最小限に抑えるように、VFL(TAG)レンズ370の位置において対物レンズ開口(clear aperture)の望ましいサイズの投射を与えるように構成可能である。
様々な実施例において、レンズ制御部380は、駆動信号発生部381、タイミングクロック381’、及び撮像回路/ルーチン382を含むことができる。駆動信号発生部381は、(例えばタイミングクロック381’と連携して)動作して、信号ライン380’を介して高速VFL(TAG)レンズ370に周期的な駆動信号を与えることができる。様々な実施例において、撮像システム300は、協調した動作のためレンズ制御部380と連携して動作するよう構成できる制御システム(例えば図2の制御システム部120)を備えることができる。
様々な実施例において、レンズ制御部380は概して、VFLレンズ370の所望の位相タイミングと同期するようにワークピース320を撮像すること、並びにVFLレンズ370の駆動及び応答を制御、監視、及び調整することに関連した、様々な機能を実行できる。様々な実施例において、撮像回路/ルーチン382は、(例えばVFLレンズ370の位相タイミングと同期し得る)光学システムの撮像動作を実行する。
様々な例において、望ましくない温度変動に起因してVFLレンズの動作特性にドリフトが発生する可能性がある。図3に示されているように、様々な実施例において撮像システム300は、VFLレンズ370に関連付けられたヒータ/クーラ337を任意選択的に含み得る。レンズヒータ/クーラ337は、いくつかの実施例及び/又は動作条件に従って、ある熱エネルギ量をVFLレンズ370に入力すること及び/又は冷却機能を実行することで、VFLレンズ370の加熱及び/又は冷却を容易にするように構成できる。更に、様々な実施例では、VFLレンズ370に関連付けられた温度センサ336によってVFLレンズ監視信号を提供して、VFLレンズ370の動作温度を監視することができる。
VFLレンズ370の全体的な動作に関して、上述したように様々な実施例では、レンズ制御部380が周期的にVFLレンズ370の屈折力を迅速に調整又は変調して、250kHz、又は70kHz、又は30kHz等の(すなわちVFLレンズ共振周波数の)周期的変調が可能である高速VFLレンズを実現することができる。図3に示されているように、VFLレンズ370を駆動する信号の周期的変調を用いることにより、撮像システム300の有効合焦位置EFP(すなわち対物レンズ350の前方の合焦位置)を、範囲Refp(例えば自動合焦サーチ範囲又は合焦範囲等)内で迅速に移動させることができる。範囲Refpは、対物レンズ350と組み合わせたVFLレンズ370の最大屈折力に対応する有効合焦位置EFP1(又はEFPmax)と、対物レンズ350と組み合わせたVFLレンズ370の最大負屈折力に対応する有効合焦位置EFP2(又はEFPmin)とによって画定できる。様々な実施例において、有効合焦位置EFP1及びEFP2は、それぞれ90度及び270度の位相タイミングにほぼ対応することができる。様々な実施例において、範囲Refpの中央をEFPnomとして示すことができ、これは対物レンズ350の設計上の屈折力と組み合わせたVFLレンズ370のゼロ屈折力に対応し得る。この記載によるとEFPnomは、いくつかの実施例では、対物レンズ350の設計上の焦点距離にほぼ対応することができる(これは対物レンズ350の作動距離WD(working distance)に相当し得る)。
様々な実施例では、VFLレンズ370の変調を用いて、米国特許第9,143,674号及び第9,830,694号に記載されているような画像スタックを取得することができる。これらの本願に含まれる引例に記載されているように、図3の撮像システムの合焦位置の周期的に変調されるZ高さは、上記で概説したように撮像システム内のVFLレンズ(例えばTAGレンズ370)の焦点距離を周期的に変調することによって制御できる。様々な実施例では、ストロボ照明(例えば露光時間制御部333esにより制御される光源330からの)をタイミング調整して、周期的に変調される合焦位置の各位相タイミングに対応させて、各Z高さで合焦される画像を露光する。すなわち、デジタルカメラ(例えばカメラ360)が積分時間中に画像を取得している間に、位相タイミングφ0で短いストロボパルスが与えられた場合、合焦位置は高さzφ0となり、得られる画像内では高さzφ0に位置するワークピース表面にピントが合っている。同様の原理が、合焦範囲全体を通して他の例示的な位相タイミング及びZ高さにも当てはまる。
様々な実施例において、このようなプロセスは画像スタックを取得するために利用できる。例えば、TAGレンズ及び対応するシステムの合焦位置全体が正弦曲線状に変調される際、様々な位相タイミング及び様々な対応するZ高さに対応して、ワークピース表面の様々な画像がキャプチャされる。簡略化された例として、合焦範囲が100mmであり、画像が1mmごとにキャプチャされる場合、画像スタックは100の画像を含むことができ、キャプチャされた各画像は100mm合焦範囲全体を通して1mmずつ異なるZ高さに対応する。様々な実施例において、画像スタックは、VFLレンズを備えているか又は備えていないシステムで取得され得る(例えば、制御可能モータ294を利用してアクチュエータを駆動し、光学アセンブリ部205をZ軸に沿って動かして、撮像システムの合焦位置をワークピース20/320に対して変化させて、様々な有効合焦位置で画像スタックの様々な画像を取得することで、モータ294の制御に従って合焦範囲内の様々な対応する既知のZ高さで画像スタックの各画像を取得する)。米国特許第8,581,162号は、画像スタックを取得及び利用するための様々な技法を記載されている。
1つの実施例において、任意選択的な合焦信号処理部375は、カメラ360からデータを入力し、(例えばワークピース320の)撮像された表面領域が有効合焦位置にある時を決定するために使用されるデータ又は信号を提供することができる。例えば、様々な有効合焦位置(Z高さ)でカメラ360によって取得された、画像スタックの一部のような画像グループを、既知の「最大コントラスト」又は「ベストフォーカス画像」解析を用いて解析して、ワークピース320の撮像された表面領域が対応する有効合焦位置(Z高さ)にある時を決定できる。しかしながら、より一般的には、他の適切ないずれかの既知の画像合焦検出構成を使用することができる。いずれにせよ、ワークピース合焦信号処理部375等は、(例えばVFLレンズ370又はモータ294等を利用して)撮像システムの有効合焦位置の周期的な変調(複数の有効合焦位置のスイープ)中に取得された1又は複数の画像を入力し、(例えばワークピースの)ターゲット要素がベストフォーカスである画像及び/又は画像タイミングを決定することができる。
いくつかの実施例において、合焦信号処理部375は、(例えばワークピース要素の)ベストフォーカスに対応するVFLレンズ370の位相タイミングを決定し、この「ベストフォーカス」位相タイミング値を、有効合焦位置較正部373に出力することができる。有効合焦位置較正部373は、VFLレンズ370の標準的な撮像共振周波数の周期内の各「ベストフォーカス」位相タイミングに各有効合焦位置(Z高さ)を関連付ける有効合焦位置(Z高さ)較正データを与えることができる。場合によっては、この較正データは、標準的な撮像駆動制御構成又は参照状態に従ったVFLレンズ370の動作に概ね対応し得る。例えば、様々な実施例において、カメラ360からの信号データは、カメラによって(例えば画像スタックの一部として)取得された1以上の画像に対応し得る。ポイントフロムフォーカス動作又は他の解析の一部としてコントラスト又は他の合焦尺度決定を実行して、ワークピース320の撮像された表面領域が「ベストフォーカス」位置にある時を決定できる。画像スタック及び合焦曲線の決定及び解析、並びにポイントフロムフォーカス動作のための例示的な技法は、上述のように本願に含まれる米国特許第6,542,180号、第8,581,162号、及び第9,060,117号に教示されている。
一般的に言えば、有効合焦位置較正部373は、記録された有効合焦位置(Z高さ)較正データ(例えば本願に含まれる引例に開示されているような較正プロセスによって決定される)を含む。そのため、別々の要素としての図3の表現は限定ではなく、単に概略的な表現を意図している。様々な実施例において、関連した記録されている有効合焦位置(Z高さ)較正データは、レンズ制御部380、ワークピース合焦信号処理部375、又はシステム信号及び制御バス395に接続されたホストコンピュータシステム等と、マージされる及び/又は区別できない場合がある。
様々な実施例において、露光(ストロボ)時間制御部333esは、撮像システム300の画像露光時間を(例えば、周期的に変調される有効合焦位置の位相タイミングに対して)制御する。より具体的には、いくつかの実施例において、画像露光中に露光(ストロボ)時間制御部333esは、(例えば、有効合焦位置較正部373で得られる有効合焦位置(Z高さ)較正データを用いて)光源330を制御して、制御された各時点でストロボ発光させることができる(例えば、合焦範囲内の様々な対応する既知のZ高さで画像スタックの各画像が取得されるように)。例えば、露光(ストロボ)時間制御部333esは、VFLレンズ370の標準的な撮像共振周波数の周期内の各位相タイミングでストロボ発光するようにストロボ光源を制御して、VFLレンズ370のスイープ(周期的な変調)範囲内で特定の有効合焦位置(例えば対応する既知のZ高さの)を有する画像を取得可能とする。他の実施例では、露光時間制御部333esは、カメラ360の高速電子カメラシャッタを制御して、制御された各時点及び/又はそれに関連付けられた有効合焦位置(Z高さ)で画像を取得可能とする。いくつかの実施例において、露光(ストロボ)時間制御部333esは、カメラ360とマージされる及び/又は区別できない場合がある。露光時間制御部333es並びに上述した他の機能及び要素の動作を実施してワークピース画像取得を管理できることは認められよう。
様々な実施例において、標準ワークピース表面モード340ss又は透明ワークピース表面モード340ts(例えば別個のモードとして、及び/又はビデオツールとしてもしくはビデオツールの部分として、又はシステムの他の部分として実施される)は、検査されているワークピースの特徴に応じて(例えばユーザにより)選択可能とすることができる。例えば、ワークピース320が(例えば非透明といった)特定の特徴を備えた上面SRF−1を有する場合、標準ワークピース表面モード340ssを選択して利用すればよい。このような標準的な動作に従って、様々な実施例では、画像スタックを取得し、標準的なポイントフロムフォーカス又は他の解析動作を実行できる。この動作には、各関心領域において、決定された各合焦曲線で単一の合焦ピーク(例えば表面SRF−1上の各関心領域の有効合焦位置EFPを示す)を決定することが含まれる。
あるいは、ワークピース320が透明又は半透明である上面SRF−1を有する場合(すなわち、上面SRF−1を通して下面SRF−2が少なくとも部分的に透けて見える)、透明ワークピース表面モード340tsを選択して利用すればよい。以下で図4〜図10Bを参照して更に詳しく記載されるように、透明ワークピース表面モード340tsの一部として、様々な実施例では、画像スタックを取得し、各関心領域において、決定された各合焦曲線で第1及び第2の局所合焦ピーク(例えば、各表面SRF−1及びSRF−2上の各関心領域の有効合焦位置EFPを示す)を決定することを含む動作を実行できる。様々な実施例において、パターン投射部330’は、透明ワークピース表面モード340tsと組み合わせて又はこのモードの一部として使用され得る。これについては以下で図5を参照して更に詳しく記載する。
標準ワークピース表面モード部140ss、透明ワークピース表面モード部140ts、標準ワークピース表面モード340ss、及び透明ワークピース表面モード340tsの、図2及び図3における別個の要素としての表現は、限定でなく単に概略的な表現を意図していることは認められよう。様々な実施例において、これらの関連する部分及びモードは、別個の部分とすることができるか、又は、例えばビデオツール部143の1つ以上のビデオツール、又は画像回路/ルーチン382、又はシステム信号及び制御バス395に接続されたホストコンピュータシステム等、システムの様々な他の部分の一部とする及び/又はそのような部分とマージされる及び/又は区別できない場合がある。
図4は、透明又は半透明の上面SRF−Aと、この上面を通して少なくとも部分的に透けて見える下面SRF−Bと、を含むワークピース表面に対応する局所合焦ピークを有する合焦曲線FC1〜FC6の第1のセット400を示す図である。番号を付けた合焦曲線が、x軸方向に沿って配置されて、x軸方向に沿った曲線の形状に従って合焦尺度値を示すように図示されている。z軸方向に沿ってZ高さ(例えば深さ)位置が示されている。概して、本願に含まれる引例に記載されている通り、合焦曲線は典型的に、1つの軸(例えば図4の例示ではz軸)に沿ってZ高さ位置が、第2の軸(例えば図4の例示ではx軸)に沿って合焦尺度値がプロットされている。図4に示されているように、連番を付けた例示的な合焦曲線FC1〜FC6はx軸方向に沿って順番に図示されている(例えば、各合焦曲線は対応するワークピース表面上の関心領域のx軸位置を示す)。
一般に、本願に含まれる引例に記載されている通り、通常、合焦曲線を決定するために様々な技法が用いられている。画像スタック及び合焦曲線の決定及び分析、並びにポイントフロムフォーカス動作のための例示的な従来技術の技法は、前述のように本願に含まれる米国特許第6,542,180号、第8,581,162号、及び第9,060,117号に教示されている。本願に含まれる引例に記載されている通り、ポイントフロムフォーカス及び他の技法では、合焦位置はz軸(合焦軸)に沿ってある範囲のZ軸位置Z(i)を移動することができ、カメラ(例えばカメラ360)を含むシステムは各位置で画像(i)をキャプチャすることができる。図4の例に関して、右側のスケールは取得されている約30の画像を示すが、これは単なる例示の目的で与えられており、様々な実施例ではより少ないか又はより多い画像(例えば100以上)を使用してもよいことは認められよう。
一般に、キャプチャされた各画像(i)で、画像内の関心領域又は関心サブ領域ROI(k)(例えば画素のセット)に基づいて、また、画像がキャプチャされた時点でのZ軸に沿ったカメラの対応位置Z(i)に関連付けて、合焦尺度fm(k,i)を計算することができる。この結果、合焦曲線データ(例えば位置Z(i)における合焦尺度fm(k,i)であり、合焦ピーク決定データセットの1つのタイプである)が得られる。これは単に「合焦曲線」又は「自動合焦曲線」と称することができる。様々な実施例において、合焦尺度値は、画像内の関心領域のコントラスト又はシャープネスの計算値を含み得る。このような合焦曲線に対して、従来のポイントフロムフォーカス及び同様の動作は典型的に、Z軸に沿ったベストフォーカス位置に対応すると共に合焦曲線の決定に用いられる関心領域のZ高さに対応する合焦曲線の1つだけのピークを決定するように構成されている。
このような(例えばポイントフロムフォーカス及び同様の決定等のための)現在既知の従来のアルゴリズムは、関心領域(すなわち画像位置)当たり1つだけの合焦最大値が存在し、各zスキャン(すなわち画像スタックキャプチャ)に対して決定されるということを含む仮定セットのもとで動作することは認められよう。上述のように本願に含まれる第8,581,162号及び第9,060,117号特許に記載されている通り、いくつかの実施例では、合焦最大値の決定は比較的複雑なプロセスを含むことがあり(例えば、合焦曲線のいくつかの決定に固有である雑音の多い信号等に起因して)、以前の標準的なプロセスは、合焦曲線当たり2つ以上の合焦最大値(すなわち合焦ピーク)の決定を対象としていなかった。場合によっては、本明細書に開示されている原理によれば、合焦曲線当たり2つの局所合焦最大値の決定もそのような複雑さを伴い、この複雑さを増大させる可能性もあることは認められよう。様々な実施例では、一つにはそのような決定の複雑さが増大するという理由から(例えば、追加の合焦最大値の決定は複雑さを更に増大させ得る)、システムは、各合焦曲線について最大で2つの局所合焦ピークだけを決定することが望ましい場合がある(例えば、ガラス、レンズ、薄膜等を含むいくつかのワークピース等、主に第1及び第2の表面を有する特定のタイプのワークピースでは一般的な用途であり得る)。このような実施例では、システムは、合焦曲線の追加の局所合焦ピーク(例えば、第1の表面を通して少なくとも部分的に透けて見える追加の表面に対応し得る)を決定するように構成されない場合がある。本明細書で用いる場合、「局所合焦ピーク」という用語は合焦曲線の局所最大値に関連し得る。標準的な定義によれば、局所最大値は、そのドメイン内の特定ポイントにおける関数の値であって、そのポイントのごく近傍にある他の全てのポイントにおける値以上の値である。様々な実施例において、局所最大値の「粒度」又は感度は、前述の定義において「ごく近傍」と定義された距離を拡大又は縮小することによって調整できる。
図4の例において、合焦曲線FC4〜FC6の各々は単一の合焦最大値(すなわち単一の表面に対応する)を含み、以前から既知のPFF及び他のアルゴリズムは、各合焦曲線の単一の合焦最大値及びz軸方向に沿った対応する表面位置を決定するため正確に動作できる(例えば、標準ワークピース表面モード部140ss/340ssの一部として)。しかしながら、このような以前から既知のアルゴリズム/技法を合焦曲線FC1〜FC3に適用すると、従来の動作によれば、1つだけの合焦ピークが決定される(これは例えば合焦曲線の大域的最大値(global maximum)に対応し、標準的な定義によれば、曲線全体(ドメイン)における関数の最大値であり得る)。図4の例に関して、このような技法は、合焦曲線FC1〜FC3の各々の大域的最大値(例えば、表面SRF−A又はSRF−Bのうち大きい方の局所合焦ピークを生成した方に対応する)を識別し、小さい方の局所合焦ピーク(例えば他方の表面に対応する)は無視される/フィルタリングされる(例えば、このようなプロセスの典型的な大域的最大値フィルタリングの一部として)。従って、以前から既知の技法を合焦曲線FC1〜FC3に適用した場合、表面SRF−A又は表面SRF−Bの位置だけが決定される。以下で更に詳しく記載されるように、異なるモードの一部として(例えば透明ワークピース表面モード部140ts/340tsの一部として)、2つ以上の合焦ピークの決定(例えば2つの最上位の局所合焦ピークの決定)を可能とすることにより、様々なタイプのワークピースの検査及び測定に対応できる(例えば、透明な上面及びこの上面を通して少なくとも部分的に透けて見える下面を有するワークピースのいっそう正確な撮像/測定等を行うため)。
図4に示されているように、本明細書に開示されている技法に従って、局所合焦ピークP1A〜P3A、P1B〜P3B、及びP4AB〜P6ABを決定することができる。図示されている例では、局所合焦ピークP1A〜P3Aは、第1の表面SRF−A(例えば透明又は半透明の上面)に対応して決定され、局所合焦ピークP1B〜P3Bは、第2の表面SRF−B(例えば上面SRF−Aを通して少なくとも部分的に透けて見える/視認できる下面)に対応して決定される。様々な実施例において、局所合焦ピークP4AB〜P6ABは、最初は表面SRF−A又は表面SRF−Bのどちらかに対応するか曖昧であると指定するか又は他の方法で曖昧であると見なすことができる。以下で更に詳しく記載されるように、局所合焦ピークP4AB〜P6ABが表面SRF−A又は表面SRF−Bのどちらに対応するかを決定するために様々な技法を使用できる。1つの実施例では、局所合焦ピークP4AB〜P6ABは表面SRF−Bに対応することが決定される。以下で図9及び図10Aを参照して更に詳しく記載されるように、様々な実施例において、いくつかの合焦曲線は、1つの表面に対応する1つの局所合焦ピークを持たない及び/又は局所合焦ピークを全く持たない場合がある。このような結果は、場合によっては2D EDOF画像内で対応したマークを付けることができ(例えば指定された色、パターン、他のインジケータ等でデータなしを示す)、また、3D画像内でマークを付けることができる(例えばNaN(not a number)としてマークを付けるか、又は他の方法によって3D画像内に未定義もしくは未表現(unrepresentable)の値を示す)。
以下で更に詳しく記載されるように、表面解析プロセスの一部において、図4の表面SRF−A及び表面SRF−Bを最初に候補表面として指定することができる(例えば、局所合焦ピークP4AB〜P6ABが第1又は第2の表面のどちらの一部であるか曖昧であるため、局所合焦ピークP1A〜P3A及びP4AB〜P6ABを含む第3の候補表面も存在し得る)。これらの候補表面を評価したら、第1の候補表面(例えば候補表面SRF−A)を表示対象の第1の表面SRF−1として指定し、第2の候補表面(例えば候補表面SRF−B)を表示対象の第2の表面SRF−2として指定することができる(例えば、図8A、図8B、図10A、及び図10Bに関して以下で更に詳しく記載するように)。
様々な実施例において、表示対象の第1の表面SRF−1(例えば候補表面SRF−Aに対応し得る)に対応する第1の局所合焦ピークは、合焦曲線FC1、FC2、及びFC3の各々において同じ1番目の番号の付いた位置を有する第1の局所合焦ピーク(例えば、有意であるか又は充分に「強い」、すなわち既定のピーク有意性尺度(peak significance metric)を超えている第1の局所合焦ピーク)の全て(例えば局所合焦ピークP1A、P2A、及びP3A)に基づいて決定できる。様々な実施例において、ピーク有意性尺度は、ピークの隆起(prominence)や他のピークからの距離等のファクタを含み得る。一般に、合焦曲線の局所合焦ピークを識別するための最初のステップとして、局所ピークを計算するロバストな方法を使用できる。
第1の局所合焦ピークに加えて、表示対象の第2の表面SRF−2(例えば候補表面SRF−Bに対応し得る)に対応する第2の局所合焦ピークも同様に、合焦曲線FC1、FC2、及びFC3の各々において同じ2番目の番号の付いた位置を有する第2の局所合焦ピーク(例えば第2の有意な局所合焦ピーク)の全て(例えば局所合焦ピークP1B、P2B、及びP3B)に基づいて決定できる。様々な実施例では、局所合焦ピークP4AB、P5AB、及びP6ABも、合焦曲線FC4、FC5、及びFC6の1番目かつ唯一の局所合焦ピークであることに基づいて、表示対象の第1の表面SRF−1(例えば候補表面SRF−Aに対応し得る)に関する検討に含めてもよい。追加の技法を用いて、表面SRF−1/SRF−Aに利用/指定した局所合焦ピークから、局所合焦ピークP4AB、P5AB、及びP6ABをフィルタリングしてもよい(例えば、指定された品質又は強度の基準を満たしていない場合、又は指定された表面に対してユーザが設定したZフィルタリング範囲に該当しない場合、又は平滑度の制約もしくは誤差尺度最小化等に基づいて)。
別の例として、表示対象の表面SRF−2(例えば候補表面SRF−Bに対応し得る)に対応する局所合焦ピークを、合焦曲線の各々において同じ番号の付いた位置を有する局所合焦ピークの全て(例えば局所合焦ピークP1B、P2B、P3B、P4AB、P5AB、及びP6AB)に基づいて決定することができる。例えば、これに加えて又はこの代わりに、局所合焦ピークは下から上へカウントする/番号を付けることも可能であり、このような順序では、局所合焦ピークP1B、P2B、P3B、P4AB、P5AB、及びP6ABの各々が1番目にカウントされる/番号を付けられる局所合焦ピークであり、表示対象のワークピースの下面SRF−2に対応する(例えば候補表面SRF−Bに対応し得る)。こういったカウント順序のこのような実施例では、局所合焦ピークP1A、P2A、及びP3Aは、合焦曲線FC1、FC2、及びFC3の各々において第2のカウントされる/番号を付けられる局所合焦ピークであり(すなわち、各局所合焦ピークが同じ番号の付いた位置を有する)、表示対象の表面SRF−1に対応する(例えば候補表面SRF−Aに対応し得る)。様々な実施例において、このプロセスは、複数の順序で(例えば上から下への第1の繰り返しで、更に下から上への第2の繰り返しで)局所合焦ピークに番号を付ける/カウントすることを含み、得られた結果を比較する及び/又は他の方法で使用することで、ワークピースの表面(例えば上面及び下面)に対応する局所合焦ピークの最良の/好適な/最も一貫した決定を行うことができる。
図4の例は2次元データに関して示されており、ワークピースの断面「スライス」を表すことは認められよう(例えば、ワークピース表面の中央に置かれるか、又はワークピース表面に沿った特定のy軸位置に配置された対応する関心領域に従って)。更に具体的には、上記のように、合焦曲線FC1〜FC6の各々のx軸位置は概ね、各合焦曲線が対応しているワークピース表面上の関心領域のx軸位置を表し得る。局所合焦ピークP1A〜P3A、P1B〜P3B、及びP4AB〜P6ABの各々のz軸位置は一般に、各合焦曲線が対応しているワークピース表面上のベストフォーカスの関心領域のZ高さを表し得る。これらの値は、各表面の2次元データ(例えばXZスライス)を表すと考えることができる。表面に沿った他のy軸位置(例えば他の関心領域のy軸位置に対応する)の関心領域について、このような合焦曲線及び対応する局所合焦ピークを決定するための同様のプロセスを更に利用することにより、各ワークピース表面(例えば表面SRF−A及びSRF−B)の代表的な3次元データを決定できる。
以下で図8A及び図8Bを参照して更に詳しく記載されるように、簡略化された例として、1つの実施例において表面のZ高さがy軸に沿ってほぼ同様である(例えば、y軸方向に沿って一定のZ高さを有するか又は一定の勾配を有する)場合、図8A及び図8Bの例は、図4の2次元データを含む表面を表し得る。更に具体的には、上記のように、表面の所与のy軸次元に沿った追加のy軸位置に対して3次元データを決定することができる。このような例は例示のみを目的として与えられており、様々なワークピース表面がより複雑な3次元データを有し得ることは認められよう(例えば、x軸及びy軸の双方の方向においてZ高さのばらつきがある)。
以下で更に詳しく記載されるように、図5〜図7は、(例えば表面の画像を表示するため及び測定を実行するための)種々の例示的なプロセスを示すフロー図であり、図8A〜図8Bは、(例えば図4の表面SRF−A及びSRF−Bの画像を表示するため及び測定を実行するための)様々なユーザインタフェース機能を示す図であり、図9〜図10Bは、合焦曲線及び様々なユーザインタフェース機能の追加の例を示す図である。
図5は、表面の画像を測定するため及び測定を実行するための例示的なプロセス500を示すフロー図である。様々な実施例において、プロセス500は少なくとも部分的に、図2の透明ワークピース表面モード部140ts又は図3の透明ワークピース表面モード340tsによって、別個の選択可能モード及び/又はビデオツールの一部として、及び/又はシステムの他のコンポーネント/部分によって、実施することができる。決定ブロック505では、パターン投射を使用するか否かについて判定を行う。パターン投射を使用する場合、プロセスはブロック507に進み、第1の画像スタックを取得するためパターン投射をオンに切り替える。第1の画像スタックの取得については以下でブロック510を参照して更に詳しく記載する。
様々な実施例において、特定のタイプの表面(例えば、透明又は半透明の上面及び/又は特定の下面等)の信頼性の高い再構築は、(例えば撮像システム又は他のもので観察できる表面のテクスチャが存在しないために)妨げられる可能性があることは認められよう。(例えばEDOF又は3D画像等のために)このような表面の正確な再構築/撮像/表示を可能とする目的で、共焦点パターン投射を利用して(例えば、規則的な又は不規則な(ランダムな)パターンに分散した小さい四角形、三角形、円形、ライン等の幾何学的形状パターンを投射し、撮像又は他のためにワークピースを照明する際に使用される光源からの光と組み合わせることを含む)、表面をいっそう検出可能とすることができる(例えば、表面上に投射されたパターンを有する画像データから決定された局所合焦ピークに従って表面のZ高さ位置を決定する)。様々な実施例において、パターン投射は、パターン投射部(例えばパターン投射部330’)によって提供できる。パターン投射のオンへの切り替えは、パターン投射部のパターン要素(例えば、ガラス又はクロムオンガラス(chrome on glass)のような他の基板上のパターンを含む)をオンに切り替えることもしくは配置すること、及び/又は関連付けられた光源(例えば、光源330又はパターン投射部330’の他の光源であり、様々な実施例では、共焦点パターン投射等の一部として1つ以上のレンズ等を含むか又は1つ以上のレンズ等と組み合わせて使用できる)をオンに切り替えることを含み得る。様々な実施例では、パターン投射を使用した結果、同一の画像取得プロセス及び条件(例えば同一の照明を含む)であるがパターン投射を行わない場合に得られるよりも高い局所合焦ピークが合焦曲線において少なくともいくつか生じる。従って、様々な実施例では、パターン投射を用いてコントラスト曲線及び強い合焦ピークを取得することが好適な実施形態であり得る。
ブロック507でパターン投射をオンに切り替えたら、又は、パターン投射を使用しない場合、プロセスはブロック510に進む。ブロック510では、(図1〜図3に示されているような)光軸を有する光学システムを用いて、画像スタックを取得する(例えば、パターン投射をオンに切り替えた場合これを用いる)。画像スタックの複数の画像の各画像は、透明又は半透明のうち少なくとも一方である第1の表面と、第1の表面を通して少なくとも部分的に透けて見える/視認できる第2の表面と、を含む。様々な実施例において、画像スタックの取得は、ワークピース上の(例えばXY面内の)複数の(通常は重複している)関心領域(例えば、撮像対象の第1及び第2の表面の部分を含む、及び/又はZ高さ及びZ高さ品質メタデータを決定することができる関心領域等)を最初に決定することを含み得る。次いで、関心領域を含む画像スタックの画像を取得することができる。画像スタックは、合焦範囲内の対応するZ高さ(例えば既知のZ高さであり得る)で取得されたメンバ画像を含む。ブロック520では、画像スタックの画像に基づいて、関心領域に対する複数の合焦曲線を決定する。ブロック530では、少なくとも、第1の表面に対応する各合焦曲線からの第1の局所合焦ピーク及び第2の表面に対応する各合焦曲線からの第2の局所合焦ピークを決定するため、サブプロセスを実行する。これについては以下で図6を参照して更に詳しく記載する。
ブロック540では、第1の画像スタックにおける(例えば各画素の)局所合焦ピークの画像インデックスのデータ(例えばアレイ、リスト等)を決定し、記憶する。決定ブロック550では、EDOF画像を表示のため利用可能とするか否かについて判定を行う。EDOF画像を利用可能とする場合、プロセスは決定ブロック560に進み、第1の画像スタックを取得するためにパターン投射を使用したか否かについて判定を行う。第1の画像スタックを取得するためにパターン投射を使用した場合、プロセスはブロック570に進み、画像の各々について、第1の画像スタックの取得に使用したものと同一の各画像のキャプチャパラメータ(例えばXY位置、Z範囲、Zピッチ)を用いて第2の画像スタックを取得するが、第2の画像スタックはパターン投射を行わずに取得される。
上記のように、第2の画像スタックはパターン投射なしでキャプチャすることができる(例えば、表面にパターンを投射しない表面の画像/画像データの「クリーンな」バージョン)。以下で更に詳しく記載されるように、様々な実施例では、第1の画像スタックから決定された局所合焦ピークを用いて、第2の画像スタックからのどの画像データが特定の表面に対応し、その表面の表示に使用されるかを決定する。更に具体的には、第2の画像スタックからの「クリーンな」画像データは、特定の表面の画像(例えばEDOF画像)の再構築及び/又は表示のために利用される(すなわち、第2の「クリーンな」画像スタックからどの画像データを利用するかの決定は、第1の画像スタックから決定された局所合焦ピークのインデックスに従って行われる)。
ブロック570で第2の画像スタックを取得したら、又はブロック550でEDOF画像を利用可能としないことを判定した場合、又はブロック560で第1の画像スタックの取得にパターン投射を使用しなかったことを判定した場合、プロセスはブロック580に進む。ブロック580では、サブプロセスを実行して、表面を表示すると共に測定を実行する。これについては以下で図7を参照して更に詳しく記載する。
図6は、第1及び第2の表面にそれぞれ対応する各合焦曲線から第1及び第2の局所合焦ピークを決定するための例示的なサブプロセス530を示すフロー図である。様々な実施例において、本明細書に記載されるプロセス及び/又はサブプロセスはいずれも、方法、ルーチン、サブルーチン等の一部であり得るか、又はそれらの一部として実施され得る。ブロック610では、合焦曲線の局所合焦ピークを決定する。様々な実施例において、局所合焦ピークの決定は、画像スタックセットに基づいて各関心領域の(例えば合焦曲線の)合焦ピーク決定データセットを決定することを含み得る。合焦ピーク決定データセットは、メンバ画像における(通常は重複している)関心領域に基づく合焦尺度を含む。様々な実施例において、局所合焦ピークは、関心領域の合焦ピーク決定データセット(例えば関心領域の合焦曲線に対応する)に基づいて決定できる(例えば、第1及び第2の表面に対応する第1及び第2の局所合焦ピークを含む合焦曲線及び/又は関心領域の少なくとも一部について)。上記のように様々な実施例では、解析の一部として、合焦曲線は、異なる部分を含むように分割されるか又は他の方法で異なる部分を含むように決定され、各部分について異なる局所合焦ピークを決定することができる。
ブロック620では、品質基準を満たさない局所合焦ピークを排除する。例えば、既知のポイントフロムフォーカスアルゴリズムで使用される品質尺度(quality measures)と同様の特定の基準を使用すればよい。様々な実施例において、品質基準を満たさない局所合焦ピークの排除は、ブロック610の動作と共に実行することができる。ブロック610及び620の動作に関して、様々な実施例では、最上位の局所合焦ピークを維持するために特定のタイプの品質基準を利用し調整することができる。例えば、合焦曲線を平滑化すること、ピーク最大値(大きさ)、形状、及び/又は局所隆起(prominence)に基づいて局所合焦ピークをフィルタリングすること、異なる局所合焦ピーク間の最小許容可能Z距離に基づいてフィルタリングを実行すること、局所合焦ピークの予想数に基づいてフィルタリングを実行すること(例えば、特定の実施例では最も高い2つの局所合焦ピークだけが維持される)等が可能である。
決定ブロック630では、局所合焦ピークを内挿するか否かについて判定を行う。局所合焦ピークを内挿する場合、サブプロセスはブロック640に進み、局所合焦ピークに対して内挿を実行する。様々な実施例において、このようなプロセスは、決定される表面位置に関するZ精度の向上を達成するために実行され得る。例えば、以下で図9を参照して更に詳しく記載されるように、合焦曲線において局所合焦ピークを内挿し、内挿した局所合焦ピークに対応するデータにマークを付けるか又は他の方法で示すことができる(例えば、所与の合焦曲線に内挿されたデータに基づいて、対応する2D EDOF又は3D画像等内で内挿された局所合焦ピークを示すため)。様々な実施例において、表面の2D EDOF画像のみが提供される(例えば表面の3D画像は提供されない)場合、局所合焦ピークの内挿は使用しない/必要でないことがある。更に具体的には、2D EDOF画像の見せ方により、局所合焦ピークに偶発的欠落(missing)があっても画像内の表面の全体的な見え方に視覚上の大きな差は生じない場合があるが、3D画像では、このような差は表面の表現においてより目立つ/明らかである/顕著である可能性がある。
決定ブロック650では、残りの局所合焦ピークをソートするか否かについて判定を行う。残りの局所合焦ピークをソートする場合、サブプロセスはブロック660に進み、残りの局所合焦ピークをソートする。例えば、残りの局所合焦ピークは、各合焦曲線における各局所合焦ピークのZ位置に従って、構造又は順序のタイプ(例えば降順、昇順等)に従ってソートされ得る。様々な実施例では、合焦曲線における局所合焦ピークの各々に、各合焦曲線におけるZ位置に対して昇順及び/又は降順等の番号を付けることができる。例えば、各合焦曲線における第1の局所合焦ピークの各々に同一の番号又は名称(例えば局所合焦ピーク1)を与え/割り当て、同様に、各合焦曲線における第2の局所合焦ピークの各々に同一の番号又は名称(例えば局所合焦ピーク2)を与える/割り当てることができる。このような手順の後、局所合焦ピークの全てをソートすることができる(例えば、各合焦曲線からの第1の局所合焦ピークの全てが第1の表面に対応するものとして共に決定/指定/グループ化され、第2の局所合焦ピークの全てが第2の表面に対応するものとして共に決定/指定/グループ化されるようにする)。
決定ブロック670では、Z範囲フィルタリングを使用するか否かについて判定を行う。Z範囲フィルタリングを使用する場合、サブプロセスはブロック680に進み、Z範囲フィルタリングのためのZパラメータ(例えばユーザによって設定される)を決定し、指定されたZ範囲に該当するか又は該当しないかに従って局所合焦ピークをフィルタリングするため使用する。Z範囲フィルタリングのZパラメータを設定するためのオプションをユーザに提供するユーザインタフェースについては、以下で図10A及び図10Bを参照して更に詳しく記載する。Z範囲フィルタリングが完了したら、又はZ範囲フィルタリングを実行しない場合、サブプロセスは完了し、決定された局所合焦ピークを戻す。
図7は、表面を表示するため及び測定を実行するための例示的なサブプロセス580のフロー図である。決定ブロック710では、(例えばユーザによって)第1の表面が表示のために選択されたか否かについて判定を行う。第1の表面が表示のために選択された場合、サブプロセスはブロック720に進み、第1の画像スタックの記憶された局所合焦ピークインデックスを用いて、(例えば、第2の画像スタックが取得された場合はここから、又は他の場合は第1の画像スタックから)どの画像データが第1及び第2の表面等に対応するかを決定する。EDOF画像を表示/再構築する場合、パターン投射を使用すると共に第2の画像スタックを取得した実施例では、各XY画素位置について、第1の画像スタックからの局所合焦ピークのインデックスで示された第2の画像スタック内の画像からのグレースケール値を用いて、各表面に対応する第2の画像スタック内の画像からのグレースケール値を決定できる。同様に、パターン投射を使用しておらず共に第1の画像スタックのみを取得した実施例では、各XY画素位置について、第1の画像スタックからの局所合焦ピークのインデックスで示された第1の画像スタック内の画像からのグレースケール値を用いて、各表面に対応する第1の画像スタック内の画像からのグレースケール値を決定できる。
第1及び第2の表面に対応する画像データを決定したら、サブプロセスはブロック730に進み、合焦曲線の第1の局所合焦ピークに基づいて、かつ第2の局所合焦ピークに基づかずに、第1の表面を含み、かつ第2の表面を含まない1又は複数の第1の画像(例えば第1の2D EDOF画像、第1の3D画像)を表示する。1又は複数の第1の画像を表示したら、又は第1の表面が表示のため選択されなかった場合、サブプロセスは決定ブロック740に進む。
決定ブロック740では、(例えばユーザによって)第2の表面が表示のために選択されたか否かについて判定を行う。第2の表面が表示のために選択された場合、サブプロセスはブロック750に進み、第1の画像スタックの記憶された局所合焦ピークインデックスを用いて、(例えば、第2の画像スタックが取得された場合はここから、又は他の場合は第1の画像スタックから)どの画像データが第1及び第2の表面等に対応するかを決定する(例えばブロック720に関して上述した動作と同様に)。第1及び第2の表面に対応する画像データを決定したら、サブプロセスはブロック760に進み、合焦曲線の第2の局所合焦ピークに基づいて、かつ第1の局所合焦ピークに基づかずに、第2の表面を含み、かつ第1の表面を含まない1又は複数の第2の画像(例えば第2のEDOF画像、第2の3D画像)を表示する。
1又は複数の第2の画像を表示したら、又は第2の表面が表示のために選択されなかった場合、サブプロセスは決定ブロック770に進み、表示された表面(例えばブロック730又は760の動作の一部として表示されている)のいずれかに対して測定を実行するか否かについて判定を行う。測定を実行する場合、サブプロセスはブロック780に進み、表示されたワークピース表面に対して測定を実行する(例えばビデオツール等を用いて)。測定を実行したら、又は測定を実行しない場合、サブプロセスは完了する(例えば、決定された測定データ等を戻す)。
図8A及び図8Bは、表面(例えば図4の表面SRF−A及びSRF−B等)の2D EDOF画像及び3D画像を見るための例示的なユーザインタフェース800の第1の実施例を示す図である。様々な実施例において、ユーザインタフェース800は、ディスプレイ(例えば、図1のディスプレイ16、図2のディスプレイデバイス136等)上に提供することができる。図8Aに示されているように、ユーザインタフェース800A(すなわちユーザインタフェース800の第1の構成)は、EDOF画像エリア810、3D画像エリア820、表面選択エリア830、及び上/下選択エリア840を含む。
図8Aの例では、ユーザインタフェース800Aにおいて、ユーザは表面選択エリア830で「表面1」の選択オプション831を選択している(例えば、図8Aの図では選択されたオプション831内のドットパターン/強調で示されている)。様々な実施例において、ユーザは、選択オプション831でクリックするか、もしくは(例えばマウスもしくはポインタもしくは他の選択機構を用いて)別のアクションを実行することによって、又は、選択オプション831に対応するよう選択インジケータ830Sを移動させること等によって、この選択を実行できる。
選択エリア830は、以下で図8Bを参照して更に詳しく記載されるように、「表面2」を選択するための選択オプション832も含むことができる。いくつかの実施例では、選択エリア830は更に、以下で図10Aを参照して更に詳しく記載されるように、「表面3」を選択するための選択オプション833も含むことができる。特定の実施例では、選択オプション833がユーザインタフェース800に含まれない場合があることは理解されよう(例えば、システムがワークピースの2つの表面のみを決定するように構成されている、及び/又はシステムによってワークピースが2つの表面のみを有することが決定されている実施例)。あるいは、特定の実施例では、第3の表面「表面3」に加えて、追加の表面(例えば最大でN個の表面であり、Nは3よりも大きい等)を決定するよう構成されたシステムに従って、追加の表面(例えば「表面4」、「表面5」等)を選択するための選択オプションを提供してもよい。
様々な実施例において、選択オプション831の「表面1」は図4の表面SRF−Aに対応し得る。上述のように、表面を決定するためのプロセスの一部において、表面SRF−Aを最初に候補表面とすることができる(例えば、この候補表面は局所合焦ピークP1A〜P3Aを含むが局所合焦ピークP4AB〜P6ABは含まない。これに対して、ワークピースの別の候補上面は局所合焦ピークP1A〜P3A及びP4AB〜P6ABを含むものとして指定され得る)。候補表面を評価したら、(例えば選択オプション831の「表面1」に対応する)表示対象のワークピースの第1の表面SRF−1(例えば上面)として、候補表面(例えば候補表面SRF−A)を指定することができる。以下で更に詳しく記載されるように、様々な実施例では、表示画像内の選択された表面に適用される1つ以上のビデオツール(例えば寸法測定ツール、ポイントツール、ボックスツール、円ツール、円弧ツール等)の動作に基づいて、表示するよう選択されたワークピース表面上の要素間で1つ以上の測定値を決定することができる。
種々の代替的な実施例では、合焦曲線FC4〜FC6の局所合焦ピークP4AB〜P6ABが第1の表面SRF−A又は第2の表面SRF−Bのどちらに対応するか曖昧であるので、「表面1」が選択された場合及び/又は「表面2」が選択された場合、EDOF画像エリア810及び/又は3Dビュー画像エリア820に、局所合焦ピークP4AB〜P6ABに対応する表面の部分の表現を表示させることができる。様々な実施例において、局所合焦ピークP4AB〜P6ABに対応する表面の部分は、画像内で特別にマークを付けるか又は他の方法で示すことができる(例えば、どの表面が局所合焦ピークP4AB〜P6ABに対応するかに関する不確定性を示すように)。
ユーザインタフェース800Aに更に示されている通り、上/下選択エリア840は、(例えば、表示するよう決定されるワークピース表面を上又は下にスクロールさせるための)「上」選択オプション841及び「下」選択オプション842を含む。様々な実施例において、図8Aの例では、「上」選択オプションがマークされて(例えば灰色の表示等)、ワークピースの上部面/上面(すなわち「表面1」)がすでに選択されていることを示す。ワークピースの「表面1」よりも上にある表面に対する更に上方の表面選択は利用可能でない。これに対して、「下」選択オプション842は、図8Aの例においてユーザによって選択可能であるように示され得る。これについては以下で図8Bを参照して更に詳しく記載する。すでに選択されている選択オプション831(すなわち「表面1」)に従って、EDOF画像エリア810及び3Dビュー画像エリア820は双方とも、図4の表面SRF−A(すなわち、表面SRF−1としても指定される)の対応する表現を提供する。
更に具体的には、EDOF画像エリア810はEDOF画像811を含むように示され、3D画像エリア820は3D画像821を含むように示され、各画像は表面SRF−1/SRF−Aを含む(例えば、図4の第1の局所合焦ピークP1A〜P3A及びこの表面の追加3Dデータに対応する)。図8Aに図示されている例において(更に、図8B及び図10Aに適用されている同様の原理を用いて)、図示の簡略化のため、図4の表面の2Dデータと同様の3Dデータ(例えば図4の局所合焦ピークP1A〜P3Aに対応する)を、表面に沿った他のy軸位置に対して決定することができ、その結果、表面SRF−Aについて決定された他の局所合焦ピークが得られる(すなわち3Dデータの一部として)。一般に、図8A、図8B、及び図10Aの具体例では、表面のZ高さはy軸に沿ってほぼ線形であると決定することができ(例えば、y軸方向に沿って一定のZ高さ又は一定の勾配を有する)、その結果、図示のように対応する表面の3Dデータが得られる。このような例は簡略化された図示のみを目的として与えられるものであり、様々なタイプの表面がより複雑な3Dデータを有し得ることは認められよう(例えば、x軸及びy軸の双方の方向に沿ってZ高さ値が勾配/曲線等の一部として変動する)。
EDOF画像811に関して、本明細書に開示されている技法によれば、表面の局所合焦ピーク(例えば、図4の局所合焦ピークP1A〜P3A及び表面のy軸方向に沿った3Dデータに対応する他の局所合焦ピーク)の各々に対応する画像スタックの部分(例えば関心領域及び/又は関心領域の中央又はその他の部分の画素に対応する)から、画像が再構築される。更に具体的には、表面SRF−A/SRF−1の局所合焦ピークP1A〜P3A及び他の局所合焦ピークは、これらの局所合焦ピークに対応するZ高さで「ベストフォーカスである」と判定された関心領域/画素に対応する。「ベストフォーカスである」関心領域/画素の各々は、画像スタックの対応する画像から抽出され、2D EDOF画像811を再構築/形成するために使用される(例えば共に接合される(stitch)等)。
更に具体的な例として、EDOF画像811は、局所合焦ピークP1Aに対応する表面SRF−Aの第1の部分を含み得る。この部分のために使用される画像スタックからの画像の部分は、局所合焦ピークP1Aに対応するシステムの合焦位置で取得された画像からのものである。同様に、EDOF画像811は、局所合焦ピークP2A及びP3Aにそれぞれ対応する表面SRF−Aの第2及び第3の部分を含み得る。これらの部分のために使用される画像スタックからの画像の部分は、それぞれ局所合焦ピークP2A及びP3Aに対応するシステムの合焦位置で取得された画像からのものである。EDOF画像811の追加の部分を決定するため、追加の局所合焦ピークを使用することができる。このようなプロセスによって、表面SRF−Aの様々な部分の各々の焦点が合っているEDOF画像811が生成される(すなわち、これら様々な部分がシステムから異なる合焦距離にあるにもかかわらず)。3D画像821に関しては、既知の「ポイントクラウド」又は3D画像向けの他の技法に従って画像を形成することができる(例えば、表面SRF−Aに沿った様々なy軸位置に対応する第1の局所合焦ピークP1A、P2A、及びP3A、並びに他の第1の局所合焦ピークに対応する。3D画像に使用される局所合焦ピークは2D EDOF画像に使用されるものと同一の局所合焦ピークである)。
様々な実施例において、ワークピース表面(例えば2D EDOF画像811及び/又は3D画像821内のワークピース表面SRF−1/SRF−A)上の様々な要素の位置特定、検査、及び/又は測定を行うため、ビデオツールを提供できる。例えば、表面のいくつかの要素を位置特定する、及び/又は表面の寸法を測定することができる(例えば、表面に含まれるいくつかの部分は、寸法測定の対象である、及び/又は公差外である、及び/又は不具合(flaw)もしくは欠陥(imperfection)を含むことがあり、公差外の量及び/又は不具合もしくは欠陥の程度もしくは大きさを測定することが望ましい場合がある)。様々な実施例において、このような動作に使用されるビデオツール(例えば、図2のビデオツール143a、143nのようなビデオツール部143のビデオツール)は、寸法測定ツール、ポイントツール、ボックスツール、円ツール、円弧ツール等のうちいずれかを含み得る。ワークピース要素の検査及び測定動作を実行するためのこのようなビデオツールの動作は、特に、上述のように本願に含まれる米国特許第7,627,162号及び第9,830,694号を含む、上述のように本願に含まれる引例で更に詳しく記載されている。
図8Aの例では、EDOF画像811内の表面SRF−1/SRF−Aは、(例えば1つ以上のビデオツールの動作等に従って)決定された表面ポイントSA11〜SA15を有するように図示され、3D画像821は、決定された表面ポイントSA21〜SA25を有する。いくつかの実施例では、表面ポイントSA11〜SA15は、3Dビューの表面ポイントSA21〜SA25のz軸に沿った2D上面図に対応し得る。一例として、2D EDOF画像811及び3D画像812の表面SRF−1/SRF−Aのエッジにおける表面ポイントSA11、SA12、SA14、SA15及び/又は表面ポイントSA21、SA22、SA24、SA25をそれぞれ決定するため、エッジ検出ビデオツール(例えばポイントツール)を選択して使用することができる。(例えば表面SRF−1/SRF−Aの中央部の)表面ポイントSA13及び/又はSA23も、(例えばビデオツール又は他のものを用いて)指定又は決定することができる。様々な実施例において、ビデオツールは、ユーザインタフェースのビデオツール選択エリア(例えば選択バー又はビデオツールバー等)から選択できる(例えば、上述のように本願に含まれる米国特許第7,627,162号及び第9,830,694号に示されている)。
これに加えて又はこの代わりに、ワークピース表面SRF−1/SRF−Aの寸法を決定するために様々なビデオツールを使用することも可能である。例えば、ワークピース表面SRF−1/SRF−A上の様々な寸法を測定するため、寸法測定ツール811A、812A、821A、822A、823Aを、(例えばビデオツール選択エリアから)選択して使用することができる。更に具体的には、2D EDOF画像811において、寸法測定ツール811Aを用いて表面ポイントSA13とSA14との間の寸法DA11を測定し、寸法測定ツール812Aを用いて表面ポイントSA13とSA15との間の寸法DA12を測定する。3D画像821において、寸法測定ツール821Aを用いて表面ポイントSA23とSA24との間の寸法DA21を測定し、寸法測定ツール822Aを用いて表面ポイントSA23とSA25との間の寸法DA22を測定し、寸法測定ツール823Aを用いて表面ポイントSA22のZ高さと表面ポイントSA21のz高さとの間のz軸方向に沿った寸法DA23を測定する。
様々な実施例では、これに加えて又はこの代わりに図4のような画像をユーザインタフェースに提供することができ、及び/又は寸法の決定等のためにビデオツール又は他のプロセスを使用することができる。例えば図4において、局所合焦ピークP1AのZ高さと局所合焦ピークP2AのZ高さとの間のz軸方向に沿ったz軸寸法/距離に対応する寸法D1を決定/測定できる(例えば、これと同様に、3D画像821の表面SRF−A上の対応する表面ポイントの測定を実行できる)。別の例として、表面SRF−A及びSRF−B上の位置間で寸法D2を決定/測定できる(例えば、局所合焦ピークP1A及びP1Bの位置間の距離にそれぞれ対応し、異なるZ高さにおける同一の関心領域に対応しえ、同一のxy座標におけるz軸方向となる)。一般に、(例えば図4及び図8Aに関して上述したように)ワークピースのこのような測定/決定はいずれも、ワークピース表面の寸法の測定に関連し得る(例えば、ワークピース又は表面の全体的な寸法に関する、又はワークピース及び/又は表面の公差外の量及び/又は不具合もしくは欠陥の程度もしくは大きさ等の測定に関する)。
図8Bに示されているように、ユーザインタフェース800B(すなわちユーザインタフェース800の第2の状態)では、ユーザは選択を行ったか、又は選択インジケータ830Sを選択オプション832に対応するように(すなわち「表面2」に対応するように)移動させている。これは、図8Bの図において選択されたオプション832内のドットパターン/強調で示されている。図示されている画像を形成するための原理及びユーザインタフェース800Bの動作は、上述したユーザインタフェース800Aのものと同様であると理解される。様々な実施例において、ユーザは、(例えば、ワークピースの上方の「表面1」から下方の「表面2」へビュー/画像を移動させるため)「下」選択オプション842を選択する(例えばクリックする)ことによって、選択インジケータ830Sを選択オプション831から選択オプション832へ移動させることができる(すなわち、「表面1」の画像から「表面2」の画像へ遷移する)。
図8Bに示されている通り、オプション832(すなわち「表面2」)のユーザ選択によって、EDOF画像エリア810はEDOF画像812を表示し、3Dビュー画像エリア820は3D画像822を表示する。各画像は第2のワークピース表面SRF−2/SRF−Bを含む(すなわち、各画像は、局所合焦ピークP1B〜P3B及びP4AB〜P6AB、並びに図4の表面SRF−Bの3Dデータに対応した他の局所合焦ピークに対応する)。上述のように、表面を決定するための処理の一部において、表面SRF−Bを最初に候補表面とすることができる(例えば、この候補表面は局所合焦ピークP1B〜P3B及びP4AB〜P6ABを含むのに対して、ワークピースの別の候補下面は局所合焦ピークP1B〜P3Bだけを含み局所合焦ピークP4AB〜P6ABを含まないものとして指定され得る)。候補表面を評価したら、(例えば選択オプション832の「表面2」に対応する)表示対象のワークピースの第2の表面SRF−2(例えば下面)として、候補表面(例えば候補表面SRF−B)を指定することができる。
図8Bの例において、EDOF画像811内の表面SRF−1/SRF−Bは、(例えば1つ以上のビデオツールの動作等に従って)決定された表面ポイントSB11〜SB16を有するように図示され、3D画像821は、決定された表面ポイントSB21〜SB26を有する。これに加えて又はこの代わりに、ワークピース表面SRF−2/SRF−Bの寸法を決定するために様々なビデオツールを使用することも可能である。例えば、画像内のワークピース表面SRF−2/SRF−B上の様々な寸法を測定するため、寸法測定ツール811B、821B、及び823Bを選択して使用することができる。更に具体的には、2D EDOF画像812において、寸法測定ツール811Bを用いて表面ポイントSB11とSB13との間の寸法DB11を測定する。3D画像822において、寸法測定ツール821Bを用いて表面ポイントSB21とSB23との間の寸法DB21を測定し、寸法測定ツール823Bを用いて表面ポイントSB22のZ高さと表面ポイントSB23のZ高さとの間のz軸方向に沿った寸法DB23を測定する。
様々な実施例において、いくつかの用途では、ワークピースの(例えば透明又は半透明の)上面(例えば表面SRF−A)は、ワークピースの下面(例えば表面SRF−B)の表示ビュー(viewing)に特定の量の歪みを発生させ得る特定の特徴を有することがある。このような事例では、歪みのいくつかの特徴(例えば、モデリング及び/又は測定により決定される歪みの種類及び/又は量)を決定して、調整及び/又は較正を実行することで、下面(例えば表面SRF−B)の表示及び/又は測定の精度向上を促進できる。一般に、上面を通して見る下面の表示ビューに特定の量の歪みが存在する場合であっても、決定された下面の3Dデータは所望の測定のために充分な精度を有し得ることは認められよう。更に、上面(例えばワークピースの上面としての表面SRF−A)の表示ビューにはそのような表示ビュー歪みが存在しない場合があり、これに応じて上面(例えば表面SRF−A)の表示及び/又は測定は高レベルの精度を有し得る。
図9は、少なくとも、透明又は半透明の上面SRF−A’と、この上面を通して少なくとも部分的に透けて見える下面SRF−C2’と、を含む表面に対応する局所合焦ピークを有する合焦曲線FC1’〜FC7’の第2のセット900を示す図である。各画素に2つ以上の局所合焦ピークが存在する可能性があり、かつ、局所合焦ピークの数が画像スタック全体を通して一定していない特定の実施例では、いくつかの表面再構築は比較的曖昧になり得る。これは、様々な例示の候補表面SRFA’、SRFB1’、SRFB2’、SRFC1’、及びSRFC2’によって示されている。
図9の例では、合焦曲線FC1’及びFC6’の各々は、潜在的に3つの局所合焦ピーク(すなわち、それぞれP1A’〜P1C’及びP6A’〜P6C’)を有するように図示されている。合焦曲線FC2’、FC5’、及びFC7’は、それぞれ2つの局所合焦ピークを有するように図示されている。更に具体的には、合焦曲線FC2’は局所合焦ピークP2AB’及びP2BC’を有し、合焦曲線FC5’は局所合焦ピークP5AB’及びP5BC’を有し、合焦曲線FC7’は局所合焦ピークP7AB’及びP7BC’を有する。合焦曲線FC3’及びFC4’の各々は、1つのみの局所合焦ピークを有するように図示されている(すなわち、それぞれ局所合焦ピークP3ABC’及びP4ABC’)。
異なる局所合焦ピークに対応する異なる表面を決定するため使用される異なる技法に応じて、異なる候補表面を決定できる。例えば、局所合焦ピークP1A’、P2AB’、P3ABC’、P5AB’、P6A’、及びP7AB’に対応して、候補表面SRF−A’を決定できる。局所合焦ピークP1B’、P2BC’、P4ABC’、P5BC’、P6B’、及びP7ABC’に対応して、候補表面SRF−B1’を決定できる。局所合焦ピークP1B’、P2AB’、P3ABC’、P4ABC’、P5AB’、P6A’、及びP7AB’に対応して、候補表面SRF−B2’を決定できる。局所合焦ピークP1C’、P2BC’、P4ABC’、P5BC’、P6B’に対応して、候補表面SRF−C1’を決定できる。局所合焦ピークP1C’、P2BC’、P4ABC’、P5BC’、P6C’、及びP7BC’に対応して、候補表面SRF−C2’を決定できる。
様々な実施例では、このような潜在的な候補表面に関して、曖昧さに対処するため、及び/又はどの候補表面を表示のために表面SRF−1、SRF−2(例えば、更にいくつかの実施例では表面SRF−3等)として選択するかを決定するため、様々な平滑度の制約及び/又は誤差尺度最小化(例えば正規化した最適化等)を更に用いて、より高い信頼度で複数の表面を決定/再構築してもよい(例えば、これによって候補表面のいくつかを検討から外し得る等)。更に、様々な実施例では、局所合焦ピークの全てを3Dポイントとして扱い、3Dデータに含めることも可能である(例えばポイントクラウドフォーマットで表示する)。しかしながら、このような手法は、本明細書で開示されているような(例えば非専門家のオペレータのため動作を簡略化し得る)、(例えばPFFに基づく)EDOF画像及び/又は3D画像で表示するためのワークピース表面の容易な/複雑でない選択を行う機能を持たない場合がある。それにもかかわらず、いくつかの実施例では、このような手法(例えば合焦ピークの全てを3Dポイントとして扱い、3Dデータに含める)を、オプションの機能として提供することができる(例えば、本明細書に開示される技法と組み合わせて及び/又はそれらの技法に加えて使用され、3Dデータの追加の可視化及び/又は使用等を提供し得る)。
様々な実施例では、(例えば候補表面SRF−A’に対応し得る)表示対象の第1の表面SRF−1’に対応する第1の局所合焦ピークを、各合焦曲線において同じ1番目の番号の付いた位置を有する(例えば1番目の局所合焦ピーク)第1の局所合焦ピークの全て(例えばP1A’、P2AB’、P3ABC’、P5AB’、P6A’,及びP7AB’)に基づいて決定することができる。このような実施例では、最初に局所合焦ピークP4ABC’(すなわち合焦曲線FC4’の1番目かつ唯一の局所合焦ピークに対応する)を含めてもよい。追加の技法を用いて、表面SRF−1’/SRF−A’に利用/指定した局所合焦ピークから、局所合焦ピークP4ABC’をフィルタリングしてもよい(例えば、指定された品質基準を満たしていない場合、又は指定された表面に対してユーザが設定したZフィルタリング範囲内に該当しない場合、又は表面平滑度の制約もしくは誤差尺度最小化等に基づいて)。
別の例として、(例えば候補表面SRF−C2’に対応し得る)表示対象の表面SRF−3’(又は、いくつかの実施例ではSRF−2’)に対応する局所合焦ピークを、各合焦曲線において同じ番号の付いた位置を有する局所合焦ピークの全て(例えばP1C’、P2BC’、P4ABC’、P5BC’、P6C’、及びP7BC’)に基づいて決定することができる。例えば、これに加えて又はこの代わりに、局所合焦ピークは下から上へカウント/番号を付けることが可能であり、このような順序では、局所合焦ピークP1C’、P2BC’、P4ABC’、P5BC’、P6C’、及びP7BC’の各々が1番目のカウントされる/番号を付けられる局所合焦ピークである。このような実施例では、最初に局所合焦ピークP3ABC’(すなわち合焦曲線FC3’の1番目かつ唯一の局所合焦ピークに対応する)を含めてもよい。追加の技法を用いて、表面SRF−C2’/SRF−3’(又は、いくつかの実施例ではSRF−2’)に利用/指定した局所合焦ピークから、局所合焦ピークP3ABC’をフィルタリングしてもよい(例えば、指定された品質の基準を満たしていない場合、又は指定された表面に対してユーザが設定したZフィルタリング範囲内に該当しない場合、又は表面平滑度の制約もしくは誤差尺度最小化等に基づいて)。上述のように、様々な実施例では、決定する表面の数を2つの表面に限定することが望ましい場合がある。このような実施例では、表面SRF−C2’は、表示/閲覧/測定等を行う第2の表面SRF−2’に対応し得る。
様々な実施例では、これに加えて又はこの代わりに図9のような画像をユーザインタフェースに提供することができ、及び/又は特定の寸法の決定/測定等のためにビデオツール又は他のプロセスを使用することができる。例えば、局所合焦ピークP6C’のZ高さと局所合焦ピークP7BC’のZ高さとの間のz軸方向に沿ったz軸寸法/距離に対応する寸法D1’を決定/測定できる(例えば、これと同様に、図10Aの3D画像823の表面SRF−C2’上の対応する表面ポイントの測定を実行できる。これについては以下で更に詳しく記載する)。別の例として、候補表面SRF−A’及びSRF−C2’上の位置間で寸法D2’を決定/測定できる(例えば、局所合焦ピークP7AB’及びP7BC’の位置間の距離/寸法に対応し、様々なZ高さにおける、従ってz軸方向に沿った、従って同一のxy座標/位置における同一の関心領域に対応し得る)。
図10A及び図10Bは、表面(例えば図9の表面等)の2D EDOF画像及び3D画像を見るためのユーザインタフェース1000の第2の例示的な実施例を示す図である。ユーザインタフェース1000は、上述した図8A及び図8Bのユーザインタフェース800と同様であり、以下で記載される点を除いて同様に動作すると理解される。図10Aに示されているように、ユーザインタフェース1000において、ユーザは選択オプション833(すなわち「表面3」に対応する)を選択しており、これは図10Aの図において選択されたオプション833内のドットパターン/強調で示されている。様々な実施例において、ユーザは、(例えばワークピースの上面から下方の「表面3」に選択を移動させるため)「下」選択オプション842を選択する(例えばクリックする)ことにより、選択を選択オプション833に移動させることができる。上述のように、様々な実施例では、決定する表面の数を2つの表面に限定することが望ましい場合がある。このような実施例では、表面SRF−C2’が第2の表面SRF−2’に対応することができ、ユーザインタフェース1000に提示される選択オプションは選択オプション831及び832だけであり、ユーザインタフェース1000は下面SRF−C2’の閲覧/測定等のための選択オプション832の選択を示す。
ユーザインタフェース800に対するユーザインタフェース1000の1つの違いは、ユーザインタフェース1000がZ範囲選択エリア1050及び局所合焦ピークフィルタリング選択エリア1060も含むことである。局所合焦ピークフィルタリング選択エリア1060は、(例えば本明細書で記載されているように各合焦曲線において同じ番号の付いた位置を有する局所合焦ピークに従った)「番号の付いた位置」によるフィルタリングのための選択オプション1061(例えばラジオボタン)と、(例えばZ範囲選択エリア1050に関して以下で更に詳しく記載するような)「Z範囲」によるフィルタリングのための選択オプション1062(例えばラジオボタン)と、を含む。様々な実施例において、選択オプション1061及び選択オプション1062は、排他的な選択を表す(例えば、ユーザは一方又は他方に基づいて局所合焦ピークのフィルタリングを選択できる)か、又は、このようなフィルタリング機能の組み合わせを利用するためのオプションが存在し(例えば、ユーザインタフェースはユーザが選択オプション1061及び1062の双方を選択できるように構成されている)、このようなフィルタリング機能の特定の組み合わせを適用することも可能である。
Z範囲選択エリア1050(例えば選択オプション1062の選択に従って表示及び/又はイネーブルが可能となる)は、第1のスライダ1051(すなわちZ範囲上限値を設定する)及び第2のスライダ1052(すなわちZ範囲下限値を設定する)を含む。第1のスライダ1051は、Z範囲のZ上限値を設定するために(例えばユーザによって)移動可能/調節可能な可動ポインタ1051Sを含む。第2のスライダ1052は、Z範囲のZ下限値を設定するために(例えばユーザによって)移動可能/調節可能な可動ポインタ1052Sを含む。以下で図10Bを参照して更に詳しく記載される通り、図10Aに示されているようにZ範囲のZ上限値及び下限値を設定することによって、候補表面SRF−C2’に対応するいくつかの局所合焦ピークをフィルタリング及び/又は選択/決定することができる。
Z範囲、及び、候補表面SRF−C2’に対応する局所合焦ピークのフィルタリング/選択/決定の例示に関して、様々な技法を利用することができる。例えば、様々な実施例では、各合焦曲線においてある表面に対応する他の局所合焦ピークと同じ番号の付いた位置を持たないその表面に対応する局所合焦ピークを合焦曲線から決定できる。局所合焦ピークは代わりに、ユーザによって設定されるZフィルタリング範囲内に該当することに基づいて決定され得る。図10Bの表面SRF−C2’に関して、1つの用途では、局所合焦ピークP2BC’、P5BC’、及びP7BC’の各々は、合焦曲線FC2’、FC5’,及びFC7’の各々において同じ番号の付いた位置(例えば上から下へのカウント/番号付けの順序で2番目の番号の付いた位置)を有するので、表面SRF−C2’に対応するものとして決定できる。この後、追加の局所合焦ピークP1C’及びP6C’も、表面SRF−C2’に対応するものとして決定することができる(例えば、Z範囲上限値1151S及びZ範囲下限値1152Sで示されるZフィルタリング範囲内に該当することに基づく。これは、これらの追加の局所合焦ピークが各合焦曲線において3番目の番号の付いた位置にあり、従って他の局所合焦ピークP2BC’、P5BC’、及びP7BC’と同じ番号の付いた位置を持たない場合であっても当てはまる)。
別の例として、局所合焦ピークP1C’及びP6C’の各々は、合焦曲線FC1及びFC6’の各々において同じ番号の付いた位置(例えば上から下へのカウント/番号付けの順序で3番目の番号の付いた位置)を有することに基づいて、表面SRF−C2’に対応するものとして決定できる。追加の局所合焦ピークP2BC’、P5BC’、及びP7BC’も、表面SRF−C2’に対応するものとして決定することができる(例えば、Z範囲上限値1151S及びZ範囲下限値1152Sで示されるZフィルタリング範囲内に該当することに基づく。これは、これらの追加の局所合焦ピークが各合焦曲線において2番目の番号の付いた位置にあり、従って他の局所合焦ピークP1C’及びP6C’と同じ番号の付いた位置を持たない場合であっても当てはまる)。
一般に、Zフィルタリング範囲を用いて表面に対応する局所合焦ピークの決定を支援する用途においても、本明細書に開示されている技法によれば、追加の表面(例えば図9の候補表面SRF−A’)は、対応する局所合焦ピークを決定するためにZフィルタリングの利用を必要としない場合がある。例えば上記のように、様々な実施例では、表面に対応する合焦ピークは最初に、これらの局所合焦ピークが各合焦曲線において同じ番号の付いた位置を有することに基づいて決定できる。また、上記のように、表示対象の第1の表面SRF−1’(例えば候補表面SRF−A’に対応し得る)は、各合焦曲線において同じ番号の付いた位置を有する第1の局所合焦ピーク(例えば上から下へのカウントにおける1番目の局所合焦ピーク)の全て(例えばP1A’、P2AB’、P3ABC’、P5AB’、P6A’、及びP7AB’)に基づいて決定できる。このようなプロセスに関して、Zフィルタリングを用いて追加の表面(例えば表面SRF−C2’)の対応する局所合焦ピークの決定を支援する場合であっても、他の表面(例えば表面SRF−1’/SRF−A’のような第1の上面)の局所合焦ピークの決定は、Zフィルタリング範囲の利用を含まないことがある。
様々な実施例では、表面に対応する局所合焦ピークを含まない合焦曲線について、この表面に対応する他の合焦曲線の少なくとも2つの局所合焦ピーク間の内挿に基づいて、内挿された局所合焦ピークを決定することができる。例えば図10Bに示されているように、合焦曲線FC3’は局所合焦ピークP3ABC’を含み得る(例えば図9に示されているように候補表面SRF−A’に対応して決定される)が、候補表面SRF−C2’に対応して決定される局所合焦ピークを含まない。合焦曲線FC2’の局所合焦ピークP2BC’及び合焦曲線FC4’の局所合焦ピークP4ABC’に関して、表面SRF−C2’に対応する局所合焦ピークP2BC’とP4ABC’との間の内挿に基づき、合焦曲線FC3’の「内挿された」局所合焦ピークを表面SRF−C2’に対応するものとして決定できる(例えばエリア1122に該当する)。
図10Aの例において、EDOF画像813内の表面SRF−3/SRF−C2’は、(例えば1つ以上のビデオツールの動作等に従って)決定された表面ポイントSC11〜SC16を有するように図示され、3D画像823は、決定された表面ポイントSC21〜SC26を有する。これに加えて又はこの代わりに、ワークピース表面SRF−2/SRF−C2’の寸法を決定するために様々なビデオツールを使用できる。例えば、ワークピース表面SRF−2/SRF−C2’上の様々な寸法を決定する(例えば測定する)ため、寸法測定ツール1011C、1012C、1021C、1022C、及び1023Cを選択して使用することができる。更に具体的には、2D EDOF画像813において、寸法測定ツール1011Cを用いて表面ポイントSC14とSC15との間の寸法DC11を決定(測定)し、寸法測定ツール1012Cを用いて表面ポイントSA14とSA16との間の寸法DC12を測定する。3D画像823において、寸法測定ツール1021Cを用いて表面ポイントSC24とSC25との間の寸法DC21を測定し、寸法測定ツール1022Cを用いて表面ポイントSC24とSC26との間の寸法DC22を測定し、寸法測定ツール1023Cを用いて表面ポイントSC22のZ高さと表面ポイントSC23のZ高さとの間のz軸方向に沿った寸法DC23を測定する。
図10Aの例において、EDOF画像813内の表面SRF−3/SRF−C2’は、決定され表示されたインジケータエリア1015C及び1016Cも有するように図示され、3D画像823は、決定され表示されたインジケータエリア1025C及び1026Cを有する。様々な実施例において、いくつかの合焦曲線(例えば合焦曲線FC3’)は、表面(例えば表面SRF−C2’)に対応する局所合焦ピークを持たない及び/又は局所合焦ピークを全く持たない場合がある。このような結果は、場合によっては2D EDOF画像内で対応したマークを付けることができる(例えば、2D EDOF画像813内でインジケータエリア1015Cによって示されるように、指定された色、パターン、又はインジケータエリアの一部として、データなしを示す)。このような結果は、場合によっては、これに加えて又はこの代わりに3D画像内でマークを付けることも可能である(例えば、3D画像823内でインジケータエリア1025Cによって示されるように、NaNを示すか、又は3D画像823内で未定義もしくは未表現の値を示すためインジケータエリアの一部として示す)。
様々な実施例において、2D EDOF画像813及び3D画像823におけるインジケータエリア1016C及び1026Cは、表面SRF−3/SRF−C2’の特定の部分又は要素(例えば、公差外にある及び/又は不具合もしくは欠陥を示す)を示すことができる。例えば局所合焦ピークPC6’及び/又は対応する表面ポイントSC22は、他の局所合焦ピーク/表面ポイントに対する表面SRF−3/SRF−C2’の降下又はくぼみに対応するが、これは表面内に存在するべきでないものであり、表面の不具合もしくは欠陥を示す及び/又は不具合もしくは欠陥に相当する可能性がある。様々な実施例において、インジケータエリア1016C及び1026Cの寸法は、公差外にある表面部分の寸法及び/又は不具合もしくは欠陥の寸法に対応し得る(例えば、問題のある表面部分の大きさをユーザに示す、及び/又は問題のある表面部分の大きさの測定/決定を支援することができる)。
様々な実施例では、これに加えて又はこの代わりに図10Bのような画像をユーザインタフェースに提供することができ、及び/又は、寸法/測定の決定等のためにビデオツール又は他のプロセスを使用することができる。例えば、表面SRF−C2’に関して、表面SRF−C2’の局所合焦ピークP6C’のZ高さと局所合焦ピークP7BC’のZ高さとの間のz軸方向に沿ったz軸寸法/距離に対応する寸法D1’を決定/測定できる(例えば、これと同様に、図10Aの3D画像823内の表面SRF−C2’上の対応する表面ポイントの測定を実行できる)。
本開示の好適な実施例について図示及び記載したが、本開示に基づいて、図示及び記載した要素の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。種々の代替的な形態を用いて本明細書に開示された原理を実施することができる。
これらの様々な特許及び出願の概念を用いて更に別の実施例を提供するために必要な場合、上述の実施例の態様は変更可能である。上記に詳述した記載に照らして、実施例にこれら及び他の変更を行うことができる。一般に、以下の特許請求の範囲において、使用される用語は本明細書及び特許請求の範囲に開示される特定の実施例に特許請求の範囲を限定するものとして解釈されず、そのような特許請求の範囲の権利が与えられる(entitled)均等物の全範囲に加えて全ての可能な実施例を包含するものとして解釈されるべきである。

Claims (23)

  1. 計測システムであって、
    光源と、
    前記光源によって照明されるワークピースの表面から生じる結像光を入力し、前記結像光を撮像光路に沿って伝送するレンズと、
    前記撮像光路に沿って伝送された撮像光を受光し、前記ワークピースの画像を提供するカメラであって、前記計測システムの合焦位置は、前記ワークピースに近接したZ高さ方向に沿った合焦範囲内の複数の位置で可変であるように構成されている、カメラと、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサに結合され、プログラム命令を記憶するメモリであって、前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、
    複数の画像を含む画像スタックの各画像は、合焦範囲内の異なる対応するZ高さで取得され、透明又は半透明のうち少なくとも一方である前記ワークピースの第1の表面と、前記第1の表面を通して少なくとも部分的に透けて見える前記ワークピースの第2の表面と、を含む各画像を含む前記画像スタックを取得することと、
    前記画像スタックの前記画像に基づいて複数の合焦曲線を決定することと、
    前記第1の表面に対応する各合焦曲線からの第1の局所合焦ピークと、前記第2の表面に対応する各合焦曲線からの第2の局所合焦ピークと、を決定することと、
    前記第1の表面又は前記第2の表面のいずれかを選択するためのオプションに従ってユーザにより選択された第1の選択表面を含む第1の表示画像を表示することと、
    を前記1つ以上のプロセッサに実行させる、メモリと、
    を備え、
    前記第1の選択表面が前記第1の表面である場合、前記第1の表示画像は、前記第1の局所合焦ピークに基づき、かつ前記第2の局所合焦ピークに基づかず、前記第1の表面を含み、かつ前記第1の表面を通して少なくとも部分的に透けて見える前記第2の表面を含まず、
    又は、前記第1の選択表面が前記第1の表面を通して少なくとも部分的に透けて見える前記第2の表面である場合、前記第1の表示画像は、前記第2の局所合焦ピークに基づき、かつ前記第1の局所合焦ピークに基づかず、前記第2の表面を含み、かつ前記第1の表面を含まない、計測システム。
  2. 前記画像スタックを取得することは、前記第1及び第2の表面にパターン投射することを含み、投射した結果、同一の画像取得プロセス及び条件であるが、前記パターン投射しない場合に得られるよりも高い局所合焦ピークが前記合焦曲線において少なくともいくつか生じる、請求項1に記載の計測システム。
  3. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記パターン投射なしで第2の画像スタックを取得することを前記1つ以上のプロセッサに実行させ、前記第2の画像スタックにおけるどの画像データが前記第1の表面に対応するかを決定するために前記第1の局所合焦ピークが使用され、前記第1の選択表面は前記第1の表面であり、前記第1の表面を含む前記第1の表示画像を表示するために前記第1の表面に対応する前記第2の画像スタックにおける前記画像データが使用される、請求項2に記載の計測システム。
  4. 前記第1の表示画像は、前記第1の選択表面を含む第1の表示2次元拡張被写界深度画像である、請求項1に記載の計測システム。
  5. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記第1の表示2次元拡張被写界深度画像に対応する局所合焦ピークに基づいて、前記第1の選択表面を含む第1の表示3次元画像も表示することを前記1つ以上のプロセッサに実行させる、請求項4に記載の計測システム。
  6. 前記第1の表示画像は、前記第1の選択表面を含む第1の表示3次元画像である、請求項1に記載の計測システム。
  7. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記第1の表示画像における前記第1の選択表面に適用された1つ以上のビデオツールの動作に基づいて、前記第1の選択表面上の2つの要素間の寸法を決定することを前記1つ以上のプロセッサに実行させる、請求項1に記載の計測システム。
  8. 前記1つ以上のビデオツールは、寸法測定ツール、ポイントツール、ボックスツール、円ツール、又は円弧ツールのうち少なくとも1つを含む、請求項7に記載の計測システム。
  9. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記第1の表面又は前記第2の表面のいずれかを選択するためのオプションに従ってユーザにより選択された第2の選択表面の第2の表示画像を前記第1の表示画像とは異なる時点で表示することを前記1つ以上のプロセッサに実行させ、
    前記第2の選択表面は、
    前記第1の選択表面が前記第1の表面である場合は前記第2の表面であり、この場合、前記第2の表示画像は、前記第2の局所合焦ピークに基づき、かつ前記第1の局所合焦ピークに基づかず、第2の表面を含み、かつ前記第1の表面を含まず、
    又は、前記第1の選択表面が前記第2の表面である場合は前記第1の表面であり、この場合、前記第2の表示画像は、前記第1の局所合焦ピークに基づき、かつ前記第2の局所合焦ピークに基づかず、前記第1の表面を含み、かつ前記第2の表面を含まない、請求項1に記載の計測システム。
  10. 前記第1の表示画像及び前記第2の表示画像はそれぞれ第1及び第2の表示2次元拡張被写界深度画像である、請求項9に記載の計測システム。
  11. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、
    前記第1の表示2次元拡張被写界深度画像に対応する局所合焦ピークに基づいて、前記第1の選択表面を含む第1の表示3次元画像を前記第1の表示2次元拡張被写界深度画像と同時に表示することと、
    前記第2の表示2次元拡張被写界深度画像に対応する局所合焦ピークに基づいて、前記第2の選択表面を含む第2の表示3次元画像を前記第2の表示2次元拡張被写界深度画像と同時に表示することと、
    を前記1つ以上のプロセッサに実行させる、請求項10に記載の計測システム。
  12. 前記第1の表面に対応する前記第1の局所合焦ピークは、前記合焦曲線の各々において同じ第1の番号の付いた位置を有する前記第1の局所合焦ピークに基づいて決定され、
    前記第2の表面に対応する前記第2の局所合焦ピークは、前記合焦曲線の各々において同じ第2の番号の付いた位置を有する前記第2の局所合焦ピークに基づいて決定される、請求項1に記載の計測システム。
  13. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記第2の表面に対応するが前記各合焦曲線において同じ前記第2の番号の付いた位置を持たない合焦曲線からの局所合焦ピークを決定することを前記1つ以上のプロセッサに実行させ、前記局所合焦ピークはユーザにより設定されたZフィルタリング範囲内に該当することに基づいて決定される、請求項12に記載の計測システム。
  14. 前記第1及び第2の表面にそれぞれ対応する前記第1及び第2の局所合焦ピークの決定においては、少なくとも1つの指定された品質基準を満たさない前記合焦曲線の1つ以上の局所合焦ピークを含めず決定される、請求項1に記載の計測システム。
  15. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記表面に対応する局所合焦ピークを含まない合焦曲線において、前記表面に対応する他の合焦曲線の少なくとも2つの局所合焦ピーク間を内挿することによって、少なくとも1つの内挿された局所合焦ピークを決定することを前記1つ以上のプロセッサに実行させる、請求項1に記載の計測システム。
  16. 前記ワークピースの表面から生じる前記結像光を入力する前記レンズは対物レンズであり、前記計測システムは更に、
    可変音響式屈折率分布型レンズであって、前記対物レンズは前記可変音響式屈折率分布型レンズを通過する前記撮像光路に沿って、前記結像光を伝送する、TAGレンズと、
    前記計測システムの前記合焦位置を、前記ワークピースに近接したZ高さ方向に沿った合焦範囲内の複数の位置で変動させるように、前記TAGレンズの屈折力をある屈折力範囲にわたって動作周波数で周期的に変調させるよう前記TAGレンズを制御するTAGレンズ制御部と、
    を備える、請求項1に記載の計測システム。
  17. 前記プログラム命令は、前記1つ以上のプロセッサによって実行された場合、更に、前記第1の表面及び前記第2の表面の間で選択を行うための前記オプションをユーザインタフェースに提示することを前記1つ以上のプロセッサに実行させる、請求項1に記載の計測システム。
  18. 前記計測システムは、前記第1及び第2の表面にそれぞれ対応する前記第1及び第2の局所合焦ピークのみを決定するように構成され、前記第1の表面を通して少なくとも部分的に透けて見える前記ワークピースの追加の表面に対応し得るような前記合焦曲線の追加の局所合焦ピークを決定するように構成されていない、請求項1に記載の計測システム。
  19. 計測システムを動作させるためのコンピュータにより実施される方法であって、前記計測システムは、光源と、前記光源によって照明されるワークピースの表面から生じる結像光を入力し、前記結像光を撮像光路に沿って伝送するレンズと、前記撮像光路に沿って伝送された撮像光を受光し、前記ワークピースの画像を提供するカメラであって、前記計測システムの合焦位置は、前記ワークピースに近接したZ高さ方向に沿った合焦範囲内の複数の位置で可変であるように構成されている、カメラと、を備え、前記コンピュータにより実施される方法は、
    実行可能命令によって構成された1つ以上のコンピューティングシステムの制御のもとで、
    複数の画像を含む画像スタックの各画像は、合焦範囲内の異なる対応するZ高さで取得され、透明又は半透明のうち少なくとも一方である第1の表面と、前記第1の表面を通して少なくとも部分的に透けて見える前記ワークピースの第2の表面と、を含む各画像を含む前記画像スタックを取得することと、
    前記画像スタックの前記画像に基づいて複数の合焦曲線を決定することと、
    前記第1の表面に対応する各合焦曲線からの第1の局所合焦ピークと、前記第2の表面に対応する各合焦曲線からの第2の局所合焦ピークと、を決定することと、
    前記第1の表面又は前記第2の表面のいずれかを選択するためのオプションに従ってユーザにより選択された第1の選択表面を含む第1の表示画像を表示することと、
    を含み、
    前記第1の選択表面が前記第1の表面である場合、前記第1の表示画像は、前記第1の局所合焦ピークに基づき、かつ前記第2の局所合焦ピークに基づかず、第1の表面を含み、かつ前記第1の表面を通して少なくとも部分的に透けて見える前記第2の表面を含まず、
    又は、前記第1の選択表面が前記第1の表面を通して少なくとも部分的に透けて見える前記第2の表面である場合、前記第1の表示画像は、前記第2の局所合焦ピークに基づき、かつ前記第1の局所合焦ピークに基づかず、前記第2の表面を含み、かつ前記第1の表面を含まない、方法。
  20. 前記画像スタックを取得することは、前記第1の表面及び前記第2の表面にパターン投射することを含む、請求項19に記載の方法。
  21. 前記第1の表示画像における前記第1の選択表面に適用された1つ以上のビデオツールの動作に基づいて、前記第1の選択表面上の2つの要素間の測定値を決定することを更に含む、請求項19に記載の方法。
  22. 複数の追加の各表面に対応する各合焦曲線からの複数の追加の局所合焦ピークを決定することを更に含む、請求項19に記載の方法。
  23. 表面に対応する局所合焦ピークは、
    前記局所合焦ピークの少なくともいくつかが前記合焦曲線の各々において同じ番号の付いた位置を有すること、
    前記局所合焦ピークの少なくともいくつかが選択されたZ範囲内に該当すること、又は
    前記局所合焦ピークの少なくともいくつかが選択されたZ範囲内で同じ番号の付いた位置を有すること、のうち少なくとも1つに基づいて決定される、請求項19に記載の方法。
JP2020210552A 2019-12-19 2020-12-18 透明ワークピース表面モードを有する計測システム Pending JP2021119338A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/720432 2019-12-19
US16/720,432 US10880468B1 (en) 2019-12-19 2019-12-19 Metrology system with transparent workpiece surface mode

Publications (1)

Publication Number Publication Date
JP2021119338A true JP2021119338A (ja) 2021-08-12

Family

ID=73598668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020210552A Pending JP2021119338A (ja) 2019-12-19 2020-12-18 透明ワークピース表面モードを有する計測システム

Country Status (4)

Country Link
US (1) US10880468B1 (ja)
EP (1) EP3839599A1 (ja)
JP (1) JP2021119338A (ja)
CN (1) CN113008789B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430105B2 (en) * 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
US11714051B2 (en) 2021-11-30 2023-08-01 Mitutoyo Corporation Metrology system configured to measure apertures of workpieces

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
US7030351B2 (en) 2003-11-24 2006-04-18 Mitutoyo Corporation Systems and methods for rapidly automatically focusing a machine vision inspection system
US7324682B2 (en) 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7627162B2 (en) 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
US7570795B2 (en) 2006-07-18 2009-08-04 Mitutoyo Corporation Multi-region autofocus tool and mode
US8111938B2 (en) 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8111905B2 (en) 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8581162B2 (en) 2009-12-08 2013-11-12 Mitutoyo Corporation Weighting surface fit points based on focus peak uncertainty
US8318094B1 (en) * 2010-06-18 2012-11-27 Pacific Biosciences Of California, Inc. Substrate analysis systems
US10001622B2 (en) * 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
DE112012005389T5 (de) 2011-12-23 2014-09-11 Mitutoyo Corp. "Points-from-Focus"-Operationen, die mehrere Beleuchtungseinstellungen in einem maschinell sehenden System verwenden
US8928874B2 (en) 2012-02-24 2015-01-06 Mitutoyo Corporation Method for identifying abnormal spectral profiles measured by a chromatic confocal range sensor
US9143674B2 (en) 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
US9830694B2 (en) 2015-08-31 2017-11-28 Mitutoyo Corporation Multi-level image focus using a tunable lens in a machine vision inspection system
DE102017220101A1 (de) * 2016-11-23 2018-05-24 Mitutoyo Corporation Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
US10281700B1 (en) * 2017-12-21 2019-05-07 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem

Also Published As

Publication number Publication date
CN113008789A (zh) 2021-06-22
CN113008789B (zh) 2022-05-10
US10880468B1 (en) 2020-12-29
EP3839599A1 (en) 2021-06-23

Similar Documents

Publication Publication Date Title
JP6792980B2 (ja) マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
JP6717692B2 (ja) 倍率調整可能光学システムにおける可変焦点距離レンズの適応的な動作周波数の調整方法
JP6850648B2 (ja) 可変焦点距離撮像システム
JP6839578B2 (ja) 可変焦点距離レンズシステムにおける位相差較正
JP2021119338A (ja) 透明ワークピース表面モードを有する計測システム
JP6469368B2 (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
CN111380470B (zh) 利用机器视觉检查系统测量工件表面的z高度值的方法
JP5972563B2 (ja) 構造化照明を用いるエッジ検出
JP5982144B2 (ja) 落射照明画像用のエッジ位置測定値補正
US20130027538A1 (en) Multi-region focus navigation interface
JP2021196363A (ja) 訓練用の欠陥画像の数を示すワークピース検査及び欠陥検出システム
JP6001305B2 (ja) マシンビジョンシステムにおける潜在的な干渉要素の検査
US8885945B2 (en) Method for improving repeatability in edge location results of a machine vision inspection system
US10142550B2 (en) Extending a focus search range in an imaging system including a high speed variable focal length lens
US11119382B2 (en) Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
WO2018160326A1 (en) Automatic alignment of a 3d model to a test object
JP2021196362A (ja) ワークピース画像の監視を含むワークピース検査及び欠陥検出システム
JP6293453B2 (ja) エッジ測定ビデオツールパラメータ設定ユーザインタフェース
US11249225B2 (en) Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US6944326B1 (en) Video microscopy method
JP2024086618A (ja) 測定マーキング装置を利用したマシンビジョンシステム
JP2022074065A (ja) ポイントフロムフォーカスタイプのプロセスのための投射パターンを用いた計測システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240529

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240813