JP2019194670A - 光学撮像システムのオートフォーカス用レンジ弁別化装置 - Google Patents

光学撮像システムのオートフォーカス用レンジ弁別化装置 Download PDF

Info

Publication number
JP2019194670A
JP2019194670A JP2019030025A JP2019030025A JP2019194670A JP 2019194670 A JP2019194670 A JP 2019194670A JP 2019030025 A JP2019030025 A JP 2019030025A JP 2019030025 A JP2019030025 A JP 2019030025A JP 2019194670 A JP2019194670 A JP 2019194670A
Authority
JP
Japan
Prior art keywords
image
depth
range
feature
illuminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019030025A
Other languages
English (en)
Inventor
ウィセマン シャイ
Wiseman Shai
ウィセマン シャイ
カッツィール イガル
Katzir Yigal
カッツィール イガル
シュニト オフィール
Shnit Ofir
シュニト オフィール
ルツケル イリア
Lutsker Ilia
ルツケル イリア
ゴールデンバーグ チャイ
Goldenberg Chay
ゴールデンバーグ チャイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbotech Ltd
Original Assignee
Orbotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbotech Ltd filed Critical Orbotech Ltd
Publication of JP2019194670A publication Critical patent/JP2019194670A/ja
Priority to JP2023203097A priority Critical patent/JP2024022625A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】光学撮像システムのオートフォーカスにおいて用いる深度レンジ弁別に関するシステム。【解決手段】オートフォーカスに有用なレンジ弁別化装置120であって,上記レンジ弁別化装置は,様々な物理的深度のシーンの画像を提供する画像生成器,所定閾値未満の深度の上記画像の部分を,上記部分の形状に関係なく区別し,深度弁別化画像を提供する深度弁別化装置,および上記深度弁別化画像に基づいて、焦点距離を確認する焦点距離確認装置を含む。また閾値以上の深度の画像の部分に基づいて、焦点スコアを提供するように動作する。【選択図】図2

Description

関連出願の相互参照
本書において,2018年2月25日に出願された発明の名称「光学撮像システムのオートフォーカス用レンジ弁別化装置」(RANGE DIFFERENTIATORS FOR AUTO-FOCUSING IN OPTICAL IMAGING SYSTEMS)の米国仮特許出願第62/634,870を参照し,この米国仮出願の開示は引用によって本書に組み込まれ,37CFR1.78(a)(4)および(5)(i)にしたがってここにその優先権を主張する。
この発明は概略的には光学撮像システムに関するもので,より詳細には光学撮像システムのオートフォーカス(自動合焦,自動焦点合わせ)に有用なシステムおよび方法に関する。
光学撮像システムに用いる様々なタイプのオートフォーカス・システムが従来技術において知られている。
この発明は,光学撮像システムのオートフォーカスにおいて用いる深度レンジ弁別(深度範囲差別化)(depth range differentiation)に関するシステムおよび方法を提供するものである。
すなわち,この発明の好ましい実施態様では,オートフォーカスに有用なレンジ弁別化装置(a range differentiator)が提供され,上記レンジ弁別化装置は,様々な物理的深度のシーン(a scene)(場面,光景)の画像を提供する画像生成器,所定閾値未満の深度の上記画像の部分を,上記部分の形状(a shape)と関係なく区別(区分)して(distinguishing),深度弁別化画像(a depth differenciated image)を提供する深度弁別化装置,および上記深度弁別化画像に基づいて焦点距離を確認する焦点距離確認装置(a focus distance ascertainer)を含む。
この発明の好ましい実施態様では,上記画像生成器が,上記画像の取得中に上記シーンを照明する特徴特定照明器(a feature specific illuminator)を含む。さらに,上記深度弁別化装置は,上記特徴特定照明器による照明の下,上記所定閾値未満の深度の上記画像の部分と上記所定閾値以上の深度の上記画像の部分を,それらの間の光学特性差(differences in optical properties)に基づいて区別するように動作する。
この発明の好ましい実施態様では,上記特徴特定照明器はUV照明源を含み,上記深度弁別化装置が,上記画像の上記部分をそれらの間の蛍光差(differences in fluorescenence)に基づいて区別するように動作する。他の例では,上記特徴特定照明器は,暗視野照明源および明視野照明源を備え,上記深度弁別化装置が,上記画像の上記部分をそれらの間の反射率差(differences in reflectance)に基づいて区別するように動作する。
好ましくは,上記焦点距離確認装置が,上記所定閾値未満の深度の上記画像の上記部分および上記所定閾値以上の深度の上記画像の上記部分の一方に基づいて上記焦点距離を確認するように動作する。
この発明の好ましい実施態様では,上記レンジ弁別化装置は上記所定閾値以上の深度の上記画像の部分に基づいて焦点スコア(a focus score)を提供するように動作する画像焦点分析装置をさらに含み,上記焦点距離確認装置が上記焦点スコアに基づいて上記焦点距離を確認するように動作する。さらに,上記画像焦点分析装置は,上記所定閾値以上の深度の上記画像の上記部分の撮像テクスチャ(an imaged texture)(撮像質感)を強調する照明を用いて上記シーンを照明する照明器を含む。これに加えて,上記照明器は暗視野照明器を含む。これに代えてまたは加えて,上記焦点スコアは上記部分の形状に関係なく割り当てられる。この発明の好ましい実施態様では,上記焦点スコアが,上記所定閾値以上の深度の上記画像の上記部分に対応する各画素に個々に割り当てられる。
好ましくは,上記閾値以上の深度の上記画像の上記部分が機械識別可能(machine identifiable)である。
この発明の好ましい実施態様では,上記画像生成器がカメラを含み,上記深度弁別化画像が上記シーンの2次元画像を含む。これに加えてまたは代えて,上記画像生成器がプレノプティック・カメラ(a plenoptic camera)を備え,上記深度弁別化画像が上記シーンの3次元画像を含む。この発明の好ましい実施態様では,上記特徴特定照明器が暗視野照明器を含む。
この発明の好ましい実施態様では,上記画像生成器が上記シーン上に繰り返しパターンを投影するプロジェクタ(投影機)を含み,上記深度弁別化装置が,上記繰り返しパターンの位相シフトを分析し,上記位相シフトに基づいて上記物理的深度のマップを導出するように動作する位相分析装置を含み,上記マップが上記深度弁別化画像を形成する。これに加えて,上記焦点距離確認装置が,少なくとも一つの上記物理的深度に基づいて上記焦点距離を確認するように動作する。
この発明の好ましい実施態様では,上記繰り返しパターンが正弦波繰り返しパターン(a sinusoidal repeating pattern)および二値繰り返しパターン(a binary repeating pattern)の少なくとも一方を含む。さらに,上記繰り返しパターンが十分に低い空間周波数を有しており,上記位相分析装置が上記位相シフトを上記物理的深度に一意に相関させるように動作する。これに加えてまたは代えて,上記物理的深度の上記マップが2次元マップおよび3次元マップの一方である。
また,この発明の他の好ましい実施態様によって提供されるオートフォーカスに有用なレンジ弁別化装置は,様々な物理的深度のシーンの画像(an image of a scene at various physical depths)を提供する画像生成器,所定閾値未満の深度の上記画像の部分を区別する深度弁別化装置,上記所定閾値以上の深度の上記画像の部分に基づいて焦点スコアを提供するように動作する画像焦点分析装置,および上記焦点スコアに基づいて上記焦点距離を確認する焦点距離確認装置を含む。
この発明の好ましい実施態様では,上記画像生成器は上記画像の取得中に上記シーンを照明する特徴特定照明器を含む。さらに,上記深度弁別化装置はUV照明源を含み,上記深度弁別化装置がそれらの間の蛍光差(differences in fluorescence therebetween)に基づいて上記画像の上記部分を区別する。他の態様では,上記特徴特定照明器が暗視野および明視野結合照明器(a combined dark field and bright field illuminator)を含み,上記深度弁別化装置がそれらの間の反射率差に基づいて上記画像の部分を区別する。
この発明の好ましい実施態様では,上記画像焦点分析装置が,上記所定閾値以上の深度の上記画像の上記部分の撮像テクスチャを強調する照明を用いて上記シーンを照明する照明器を含む。さらに,上記照明器は暗視野照明器を含む。これに加えてまたは代えて,上記照明器および上記特徴特定照明器が少なくとも一つの共通照明構成要素を共有している。
この発明の好ましい実施態様では,上記焦点スコアが上記部分の形状に関係なく割り当てられる。これに加えてまたは代えて,上記焦点スコアが,上記所定閾値以上の深度の上記画像の上記部分に対応する各画素に個々に割り当てられる。
好ましくは,上記閾値以上の深度の上記画像の上記部分が機械識別可能である。
この発明のさらに他の好ましい実施態様によってさらに提供されるオートフォーカスに有用なレンジ弁別化装置は,画像中の対象物の機械識別可能な特徴をユーザが特定する(identify)ことができるようにするユーザ・インターフェースを含むターゲット特定装置(a target identifier),上記特徴の形状に関係なく,上記画像中の少なくとも一つの上記機械識別可能な特徴の発生を特定する(to identify at least one occurrence of the machine identifiable feature in an image)ように動作する特徴検出器,および上記機械識別可能な特徴に対する焦点距離を確認する焦点距離確認装置を含む。
好ましくは,上記レンジ弁別化装置は上記画像の取得中に上記対象物を照明する特徴特定照明器をさらに含む。
この発明の好ましい実施態様では,上記特徴特定照明器はUV照明源を含み,上記特徴識別装置はその蛍光に基づいて上記機械識別可能特徴を識別する。他の態様では,上記特徴特定照明器は暗視野および明視野結合照明器を含み,上記特徴識別装置がその反射に基づいて上記機械識別可能特徴を識別する。
この発明の好ましい実施態様では,レンジ確認装置(range ascertainer)が,上記画像中の上記対象物の上記特徴の撮像テクスチャを強調する照明を用いて上記対象物を照明する照明器を含む。さらに,上記照明器は暗視野照明器を含む。
好ましくは,上記照明器および上記特徴特定照明器は少なくとも一つの共通照明構成要素を共有している。
この発明の好ましい実施態様では,上記対象物の上記特徴は導電性特徴(a conductive feature)を含む。さらに,上記対象物の上記特徴は上記導電性特徴中のインデントを含む。
この発明のさらに他の好ましい実施態様によりさらに提供されるオートフォーカスに有用なレンジ弁別化装置は,第1の撮像モダリティ(a first imaging modality)を含み,様々な物理的深度のシーンの第1の画像を提供する第1の画像生成器,所定閾値未満の深度の上記第1の画像の部分を区別して深度弁別化画像を提供する深度弁別化装置,上記深度弁別化画像に基づいて焦点距離を確認する焦点距離確認装置,および第2の撮像モダリティ(a second imaging modality)を含み,上記焦点距離に自動的に焦点合わせされた上記シーンの第2の画像を提供する第2の画像生成器を含む。
この発明の好ましい実施態様では,上記第1の撮像モダリティが明視野および暗視野結合照明を含み,上記第2の撮像モダリティが暗視野照明を含む。さらに,上記第2の画像生成器がプレノプティック・カメラを含む。
この発明の好ましい実施態様では,上記第1の撮像モダリティが暗視野照明を含み,上記第2の撮像モダリティが明視野および暗視野結合照明を含む。さらに,上記第1の画像生成器がプレノプティック・カメラを含む。
この発明のさらに他の好ましい実施態様によりさらに提供されるオートフォーカスに有用なレンジ弁別化装置は,様々な物理的深度の特徴を含む対象物上に繰り返しパターンを投影するプロジェクタ,上記対象物上に上記繰り返しパターンが投影されている上記対象物の画像を取得するセンサ,上記繰り返しパターンの位相シフトを分析し,上記位相シフトに基づいて上記特徴の上記物理的深度のマップを導出する位相分析装置,および少なくとも一つの上記特徴に対する焦点距離を確認する焦点分析装置を含む。
この発明の好ましい実施態様では,上記繰り返しパターンが,正弦波繰り返しパターンおよび二値繰り返しパターンの少なくとも一方を含む。これに加えてまたは代えて,上記繰り返しパターンが十分に低い空間周波数を有しており,上記位相分析装置が上記位相シフトを上記物理的深度に一意に相関させるように動作する。
好ましくは,上記物理的深度のマップが2次元マップまたは3次元マップの一方である。
この発明は,図面に関連する以下の詳細な記載から充分に理解されかつ認識されよう。
この発明の好ましい実施態様によって構成されかつ動作する,オートフォーカス機能を含む光学撮像システムの概略図である。 図1に示すタイプのシステムの構成要素の簡略ブロック図である。 (A),(B)および(C)は,図1および図2に示すタイプのシステムによって提供される簡略画像であり,それぞれ,特徴特定照明の下で取得された対象物の初期画像,上記初期画像に基づくオートフォーカスに有用な上記対象物のセグメント画像,および上記セグメント画像に基づく上記対象物の自動合焦画像を示す。 図3(C)に示すタイプの自動合焦画像を生成するのに有用な変数の傾向を示す簡略化グラフである。 この発明の他の好ましい実施態様によって構成されかつ動作する,オートフォーカス機能を含む光学撮像システムの概略図である。 図5に示すタイプのシステムの構成要素の簡略化ブロック図である。 (A),(B)および(C)は,図5および図6に示すタイプのシステムによって生成される簡略画像であり,それぞれ,特徴特定照明条件下で取得された対象物の初期画像,上記初期画像に基づくオートフォーカスに有用な上記対象物のセグメント画像,および上記セグメント画像に基づく上記対象物の自動合焦画像を示す。 (A),(B)および(C)は,図1−2および5−6のいずれかのシステムによって生成される簡略画像であり,それぞれ,特徴特定照明条件の下で取得された追加特徴の初期画像,上記初期画像に基づくオートフォーカスに有用な深度弁別化画像,および上記深度弁別化画像に基づく自動合焦画像を示す。 図8(C)に示すタイプの自動合焦画像を生成するのに有用な変数の傾向を示す簡略化グラフである。 この発明のさらに好ましい実施態様によって構成されかつ動作する,オートフォーカス機能を含む光学処理システムの概略図である。 (A),(B),(C)および(D)は,図10に示すタイプのシステムによって生成される簡略画像であり,それぞれ,特徴特定照明条件下で取得された対象物の初期画像,初期画像に基づくオートフォーカスに有用な深度弁別化画像,上記深度弁別化画像に基づく2次元自動合焦画像,および3次元画像を示す。 (A),(B),(C)および(D)は,図10に示すタイプのシステムによって追加的にまたは代替的に生成される簡略画像であり,それぞれ,特徴焦点合わせ照明条件の下で取得された対象物の初期3次元画像,対応する2次元画像,上記初期画像に基づく深度弁別化3次元画像,および深度弁別化3次元画像に基づく2次元自動合焦画像を示す。 この発明のさらなる好ましい実施態様にしたがって構成されかつ動作する,オートフォーカス機能を含む光学処理システムの概略図である。 (A),(B)および(C)は,図13に示すタイプのシステムによって生成される簡略画像であり,それぞれ,第1の照明条件下で取得された対象物の初期画像,上記初期画像に基づくオートフォーカスに有用な2次元高さマップ画像および3次元高さマップ画像を示す。
図1を参照して,図1はこの発明の好ましい実施態様において構成されかつ動作する,オートフォーカス(自動合焦,自動焦点合わせ)機能を含む光学撮像システムの簡略図であり,図2を参照して,図2は図1に示すタイプのシステムの要素の簡略ブロック図である。
図1および図2に示すように,シャーシ104上に取り付けられる光学撮像ヘッド102を好ましくは含む光学撮像システム100が提供される。シャーシ104は好ましくはテーブル106を含み,テーブル上に撮像される対象物108が配置される。たとえば対象物108の検査または処理を目的にして,光学撮像システム100は好ましくは対象物108の画像を提供するように動作する。
対象物108は好ましくは非平面物であり,複数の物理的深度(more than one physical depth)の物理的特徴(造作)(physical features)を備えている。ここでは,一例として,対象物108は上面に形成された金属トレース110を有する非導電性基板109を含むPCBとして具体化されて示されている。金属トレース110は埋め込まれていても,基板109の表面から突出していてもよい。なお,光学撮像ヘッド102は,限定はされないが,PCB,ウェハ・ダイ,アセンブルPCB,フラット・パネル・ディスプレイおよび太陽エネルギー・ウェハを含む,複数の物理的高さまたは深度の物理的特徴を持つ任意の適切なターゲットまたはシーンの画像を取得するために使用することができることを理解されたい。
いくつかのケースでは,対象物108に含まれる関心特徴(注目特徴)(a feature of interest)の合焦画像(焦点合わせされた画像)(focused image)を生成することが望ましい場合があり,この関心特徴が対象物108の他の特徴に対して異なる物理的高さまたは深度を持つ。たとえば,対象物108の場合,その検査目的のために金属トレース110に焦点が合っている(in focus)画像を生成することが望ましいことがある。この発明の好ましい実施態様の特定の特徴は,光学撮像システム100が深度弁別化画像(depth differentiated images)を提供し,関心特徴と基板109のような他の特徴との間に物理的な深度の違いがあるとしても,金属トレース110のような関心特徴上にオートフォーカスできるようするレンジ弁別化装置(a range differentiator)120を含むことである。さらに,このオートフォーカスを,関心特徴の形状(a shape)にかかわらずにレンジ弁別化装置120によって達成することができる。
図2に明確に示すように,レンジ弁別化装置120は,好ましくは様々な物理的深度のシーンの画像(an image of a scene at various physical depths)を提供するように動作する画像生成器を含み,ここでは,たとえば対象物108を照明する照明モジュール122を含むものとして具現化されている。照明モジュール122によって提供される照明は,好ましくは可動レンズ部124を介して対象物108に向けられ,この可動レンズ部124は,好ましくはコントローラ128によって制御される並進ステージ126上に取り付けられる。対象物108から発する光は,好ましくは可動レンズ部124を介してカメラ・センサ130に向かい,このカメラ・センサ130は好ましくはプロセッサ132に結合される。
レンジ弁別化装置120は好ましくは2つのモードで動作する。レンジ弁別化装置120の第1の動作モードでは,好ましくは,対象物108は,関心特徴が,関心特徴と異なる物理的深度を有する対象物108の他の特徴と明確に区別(区分)可能な照明条件下で,カメラ・センサ130によって撮像される。この撮像は,好ましくは,対象物108上のカメラ・センサ130の初期粗焦点合わせ(an initial coarse focusing)に続いて実行され,これによって取得される画像が後続の処理のために十分良好に焦点が合うものになる。
関心特徴を,関心特徴と異なる物理的深度を有する対象物108の他の特徴と明確に区別することができる照明は特徴特定照明(feature specific illumination)と呼ばれ,照明モジュール122に含まれる特徴特定照明器140によって提供することができる。ここでは,一例ではあるが,特徴特定照明器140はUV光源として具現化されるように示されており,好ましくは約420nm以下の波長を有する非常に短い波長の照明を提供する。
特徴特定照明器140によって提供されるUV照明の下では,非導電性基板109は蛍光を放つが,金属トレース110は蛍光を放たない。図3(A)は,UV特徴特定照明条件下での基板109およびその上の金属トレース110の例示画像を示す。図3(A)に示すように,非導電性基板109はその蛍光に起因して明るく現れ,他方,金属トレース110は暗く現れる。このように,図3(A)の画像において,非導電性基板109を金属トレース110から明確に区別することができる。さらに,基板109の蛍光の結果として,基板109の表面下にある可能性がある対象物108の追加特徴がマスクされ,これによって図3(A)の画像には現れず,したがってその後の画像処理が簡単になる。
図3(A)に示す初期特徴特定画像の生成に続いて,好ましくはタグまたはセグメント画像(a tagged or segmented image)が生成され,このセグメント画像は初期特徴特定画像に基づく。図3(B)は図3(A)の特徴特定画像に基づくセグメント画像の例を示す。図3(B)のセグメント画像において,暗い金属トレース110に対応する画素は灰色でマークされてこれらの画素が関心領域に対応するものとして識別され,明るい基板領域109に対応する画素は白色でマークされてこれらの画素は非関心領域に対応するものとして識別される。非関心領域は後続の画像処理ステップにおいて無視されるべきものである。不明確な識別領域に対応する領域112中の画素は黒色でマークされ,この画素は疑義関心領域(regions of questionable interest)に対応するものとして識別され,この領域もまた後続の画像処理ステップにおいて無視されるべきものである。好ましくは,図3(A)における画素の明るさのレベルについて所定の閾値が適用され,金属トレース110に対応する暗い画素と背景基板109に対応する明るい画素とが区別される。
したがって,図3(B)のセグメント画像は深度弁別化マスク画像(a depth differentiated mask image)を効果的に形成し,所与の深度以下にある図3(A)の特徴特定画像の部分,一例として基板109を含む部分が,所与の深度よりも上の図3(A)の特徴特定画像の部分,一例として金属トレース110を含む部分と区別されることが理解される。異なる物理的深度における図3(A)の特徴特定画像の部分間の区別は,それらの間の光学特性の差,より具体的にはそれらの間のUV照射下での蛍光差に基づくものであり,特徴の物理的形状に依存しないまたは無関係であることが理解される。
図3(B)のセグメントマスク画像の生成は,単なる例であるが,プロセッサ132として具現化されるシステム100に含まれる計算機能によって自動的に実行することができ,プロセッサ132はコンピュータ114に含められる。すなわち,プロセッサ132は,好ましくは,部分の形状に関係なく,図3(A)の画像のように,所定の閾値を下回る深度(at depths below a predetermined threshold)の初期特徴特定画像の部分を区別するように動作する深度弁別化装置(深さ分別器)として動作し,図3(B)の深度弁別化画像のような深度弁別化画像を提供することが理解される。
さらには,センサ130およびプロセッサ132と組み合わされた特徴特定UV照明器140は,基板109および金属トレース110を含む対象物108の画像を提供する画像生成器の特に好ましい実施形態を構成することがさらに理解される。なお,レンジ弁別化装置120の画像生成機能は本書に記載の特定のカメラおよび照明構成要素に限定されず,むしろ様々な物理的深度を有する特徴をその形状とは無関係にその光学特性に基づいて区別することができる,様々な物理的深度のシーンの画像(an image of a scene at various physical depths)を生成する機能を有する任意の適切な構成要素を備えてもよいことを理解されたい。
コンピュータ144は,図3(A)における金属トレース110のような特徴特定画像における関心特徴(feature of interest)をユーザが特定(識別)する(identify)ことができるユーザ・インターフェースを備えてもよい。関心特徴は,ユーザによって特定(識別)可能であって,かつ好ましくは機械識別可能な特徴であり,上記特徴特定画像中の機械識別可能な特徴の存在が,その形状の特徴に関係なく,その外観(appearance)に基づいて,コンピュータ144によって検出することができることを理解されたい。したがって,コンピュータ144は,機械識別可能な特徴をユーザが特定することができるようにするターゲット特定装置(target identifier)としても,好ましくは機械識別可能な特徴を自動的に識別する特徴検出器(feature detector)としても,動作することができることを理解されたい。
レンジ弁別化装置120の第2の動作モードでは,図3(B)に示すようなセグメント画像の生成に続いて,好ましくは,対象物108が,ここでは金属トレース110として具現化される関心特徴の撮像テクスチャ(質感)(imaged texture)を高めるのに最も適する照明条件下において,カメラ・センサ130によって撮像される。このような照明は特徴フォーカス照明(feature focusing illumination)と呼ばれ,好ましくは照明モジュール122に含まれる特徴フォーカス照明器150によって提供される。ここでは,単なる一例であるが,特徴フォーカス照明器150が明視野照明器(bright field illuminator)として具体化されて示されている。
特徴特定照明器140および特徴フォーカス照明器150は,ここでは照明モジュール122に含まれる2つの個別の照明器として具現化されるように示されているが,これに代えて,特徴特定照明器140および特徴フォーカス照明器150を,図6を参照して以下に例示するように,特徴特定照明および特徴フォーカス照明の両方を提供する,少なくとも部分的にオーバーラップする機能を有する少なくとも部分的に共通の照明要素によって提供することができることを理解されたい。
特徴フォーカス照明器150によって提供される照明の下で対象物108を撮像しているとき,対象物108に対するレンズ124の垂直位置が好ましくは段階的にシフトされ(incrementally shifted),対象物108に対するレンズ124の焦点高さ(focal height)がこれに対応して調整される。レンズ124の調整はコントローラ128によって制御することができ,コントローラ128は,好ましくは対象物108に対してステージ126を,これによってレンズ124を,段階的に移動させるように動作可能である。これに加えてまたは代えて,対象物108に対するレンズ124の焦点高さを,テーブル106の高さの調整および/または光学ヘッド102の全体の調整によって調整してもよい。
好ましくはレンズ124の各位置について対象物108の画像がセンサ130によって取得される。すなわち,好ましくは対象物108の上方のレンズ124の焦点高さ範囲(a range of focal heights)において一連の画像(series of images)が生成される。 好ましくはプロセッサ132として具現化される画像焦点分析装置(an image focus analyzer)が,好ましくは,一連の画像に対して画像焦点分析を実行するように動作し,所定の深度以上の深度の各画像の部分に基づいて焦点スコアを提供し,上記焦点スコアに基づいて焦点距離を確認する。すなわち,プロセッサ132は,さらに好ましくは,図3(B)の画像のような深度弁別化画像に基づいて焦点距離を確認する焦点距離確認装置(focus distance ascertainer)として動作することを理解されたい。
上記焦点スコアは,好ましくは特徴フォーカス照明器150によって提供される照明条件下(under lighting conditions)で取得される各画像について算出され,焦点スコアは,図3(B)の画像のようなセグメント深度弁別化画像において関心領域に対応するものとして識別(特定)される画素のみに基づくものとされる。基板109上の金属トレース110の場合,一例として,図3(B)の画像のような深度弁別化画像において金属トレース110のような関心領域に対応するものとして識別された各画素には,局所的テクスチャに基づく焦点尺度(焦点測定値)(a focus measure based on the local texture)が割り当てられる。この焦点尺度は,一例として,画素近傍における勾配の大きさ(the gradient magnitude at the pixel neighborhood),または当該技術分野で知られている他の任意の焦点尺度とすることができる。
図3(B)の画像のような深度弁別化画像において,基板109のような非関心領域に対応するものとして識別された画素は,好ましくはゼロの焦点尺度が割り当てられる。特徴フォーカス照明器150によって提供される照明条件下において取得された各画像の総合焦点スコアは,好ましくは,金属トレース110のような関心領域に対応する画像中の個々の画素のすべての焦点尺度の合計によって与えられる。基板109のような非関心領域に対応する画素の焦点尺度がゼロに設定されるので,非関心領域に対応する画素は上記画像の総合焦点スコアに貢献せず,焦点スコア算出において効果的に無視される。
上述した実施態様において,各画像の焦点スコアは,好ましくは,所定深度以上の深度,ここでは金属トレース110の深度に対応する深度の画像の部分のみに基づき,所定深度未満,ここでは基板109に対応する画像の部分は考慮されないことを理解されたい。これに代えて,たとえば関心特徴が基板内に埋め込まれている場合には,上記焦点スコアを,所定深度未満の深度の深度弁別化画像の部分のみに基づいて算出してもよい。
図4に示すように,各画像について得られる焦点スコアを,レンズ124の高さの関数としてプロットすることができる。関心特徴が最適焦点にあるレンズ位置は,最も高い焦点スコアを有する画像に対応するレンズ位置として識別される。図4に表されるデータの場合,80の最も高い焦点スコアが約6487μmの焦点高さに対応していることが分かる。図3(C)は,金属トレース110に最も焦点が合っている,最も高い焦点スコアを有する代表画像を示す。図3(C)の焦点画像を考慮することから理解されるように,金属トレース110のテクスチャ(質感)が非常によく見え(highly visible),他方,基板109が滑らかに見えており,これは図3(C)の画像が,金属トレース110と異なる物理的高さにある基板109が考慮されずに,金属トレース110上に焦点が最適に合う焦点高さにおいて取得されているからである。
最も高い焦点スコアを有する画像の焦点高さに対応する最適焦点高さは,好ましくは,連続する画像間の高さ段階(the height step between consecutive images)よりも高い精度で見出されることを理解されたい。これは,単なる一例であるが,最大値に近い領域内のデータを放物関数に適合させることなど,関数の最大値を見つけるのに適する任意の方法によって達成することができる。
好ましくは特徴特定照明器140によって提供される特徴特定照明は,UV照明に限定されず,様々な物理的深度の目標特徴が対応して異なる光学応答を示し,したがって画像中でそれを区別することができる任意の種類の照明下とすることができることをさらに理解されたい。一例として,UV特徴特定照明器140を,図5および図6の実施態様において示すような別の照明器によって置き換えることができる。
次に図5および図6を参照して,光学撮像システム500は,その関連態様において光学撮像システム100に概略類似して提供されるものであるが,レンジ弁別化装置120の照明器122のUV特徴特定照明器140が,図6に示すように,明視野および暗視野結合照明器(a combined bright and dark field illuminator)または広角照明器(broad angle illuminator)540に置き換えられている点が異なる。特徴特定照明器540は,2015年7月17日出願の中国特許出願201510423283.5に概略的に記載のタイプのもの,または当該技術分野において知られている他の照明器とすることができる。
ここでは,単なる一例であるが,対象物108がラミネート領域509を含むPCB508として具現化されて示されており,ラミネート領域上に銅トレース510が形成され,かつそこから突出している。たとえば,PCB508の場合,その検査の目的のために,銅トレース510に焦点が合っている画像を生成することが望ましいことがある。
特徴特定照明器540によって提供される明視野および暗視野結合照明または広角照明の下において,ラミネート領域509は銅トレース510よりもかなり反射率が低い。図7(A)は,特徴特定照明器540によって提供される特徴特定反射照明条件の下でのラミネート領域509および銅トレース510の画像例を示す。図7(A)に示すように,ラミネート領域509はその低い反射率のために暗く現れ,他方,銅トレース510は明るく現れる。このように図7(A)の画像において,ラミネート領域509を銅トレース510から明確に区別することができる。さらに,ラミネート509の不透明外観のために,ラミネート509の下にあることがある対象物508の追加特徴がマスクされ,これによって図7(A)の画像に現れず,したがってその後の画像処理が簡単になる。
図7(B)は,図7(A)の初期特徴特定画像に基づく深度弁別化画像またはセグメント画像を示す。図7(B)のセグメント画像において,明るい銅トレース510に対応する画素は白色でマークされてこれらの画素が関心領域に対応するものとして識別され,かつ暗いラミネート領域509に対応する画素は黒色でマークされてこれらの画素が非関心領域に対応するものとして識別され,非関心領域は後続の画像処理ステップにおいて無視される。好ましくは,画素明るさのレベルの所定閾値が与えられ,銅トレース510に対応する白色画素とラミネート509に対応する黒色画素とが区別される。
図7(B)のセグメント画像は,このように効果的に深度弁別化画像を形成し,所与の閾値未満の深度の図7(A)の特徴特定画像の部分,ここでは一例としてラミネート509を構成する部分が,所与の閾値以上の深さの図7(A)の特徴特定画像の部分,ここでは一例として銅トレース510を構成する部分から区別されることが理解される。様々な物理的深度の図7(A)の特徴特定画像の部分間の弁別は,それらの間の光学的特性の相違に基づくもの,より具体的には明視野および暗視野結合照明または広角照明の下におけるそれらの間の反射率差に基づくものであって,特徴の物理的形状に依存しないことを理解されたい。
図7(B)のセグメントマスク画像の生成は,単なる一例であるが,プロセッサ132として具現化されるシステム500に含まれる計算機能によって自動的に実行することができ,プロセッサ132はコンピュータ144に含めることができる。すなわち,プロセッサ132は,好ましくは,部分の形状に関係なく,所定の閾値を下回る深度の,図7(A)の画像のような初期特徴特定画像の部分を区別するように動作する,システム500内の深度弁別化装置として動作し,これに基づいて図7(B)の深度弁別化画像のような深度弁別化画像を提供することを理解されたい。
特徴フォーカス照明150によって提供される照明条件下の一連の画像の取得,およびこれに続く,好ましくは図7(B)の画像のようなセグメント化された深度弁別化画像において識別される銅トレース510に対応する画素のみに割り当てられる焦点スコアの比較に基づく,最適焦点距離において最も銅トレース510に焦点が合っている画像の自動的な選択は,概略的には図3(B)−図4を参照して上述した通りである。概略図4を参照して上述したように,システム500内のプロセッサ132は,好ましくは,図7(B)の画像のような深度弁別化画像に基づいて,焦点距離を確認する焦点距離確認装置として追加的に動作する。
図7(C)は,金属トレース510に最適に焦点が合っている,最も高い焦点スコアが割り当てられる対象物508の画像である。焦点スコアは,好ましくは,ここでは突出する銅トレース510に対応する,所定の深度閾値以上の深度の図7(B)の画像のような深度弁別化画像の部分のみに基づいて算出されることを理解されたい。これに代えて,たとえば関心特徴が基板内に埋め込まれている場合には,焦点スコアを,所定の深度閾値を下回る深度の深度弁別化画像の部分のみに基づいて算出してもよい。
図3(C)および図7(C)に示す画像のような図1−図2および図5−図6のシステムによって生成される自動合焦画像(automatically focused images)は,特定の関心特徴と他の特徴との間の物理的な高さまたは深度の違いが撮像される対象物の一部を形成するにもかかわらず,撮像される対象物の特定の関心特徴に最良に焦点合わせされる,そのような焦点距離において得られる画像に対応することを理解されたい。
なお,この発明のシステムは,代替的に,撮像される対象物またはシーンの特定の関心特徴の深度プロファイル(a depth profile)を取得するために,対象物またはシーンのレンジ画像(a range image)を自動的に生成するように動作させることができ,関心特徴は,好ましくは,撮像される対象物またはシーンの一部を形成する他の特徴の深度または高さと異なる物理的な深さまたは高さを持つ。
対象物1108のレンジ画像の生成に関連して,図5および図6に示すタイプのシステムの動作を以下に記載する。対象物1108は非導電性基板1109を含み,その上に形成された銅領域1110を有するもので,図8(A)−図8(C)は対象物1108の画像を示す。図5および図6のシステムは,好ましくは,銅領域1110のレンジ画像を自動的に生成するように動作可能なもので,ここで銅領域1110は基板1109に対して突出しているまたは凹んでいる。レンジ画像は,たとえば,銅領域1110中のインデントの深さ(刻み深さ)の存在を検出しかつ測定するのに有用である。図5および図6のシステムを参照してレンジ画像の生成を以下に記載するが,これに代えて,上述のシステムのいずれかを,当業者に明らかな適切な修正を加えて,関心特徴のレンジ画像を提供するように構成してもよいことを理解されたい。
システム500のレンジ弁別化装置120の動作の第1モードでは,対象物1108は,好ましくは,関心特徴が,関心特徴と異なる物理的深さを持つ対象物1108の他の特徴から明確に区別することができる照明条件の下,カメラ・センサ130によって撮像される。図8(A)は,特徴特定照明条件下の基板1109および基板上の銅領域1110の画像例を示している。図8(A)に示すように,非導電基板1109はその低反射のために暗く現れ,他方,銅領域1110は明るく現れる。このように,図8(A)の画像において,非導電基板1109は銅領域1110から明確に区別可能である。さらに,基板1109の不透明外観のために,基板1109の下にあることがある対象物1108の追加特徴がマスクされ,これによって図8(A)の画像には現れず,したがってその後の画像処理が簡単になる。
図8(A)に示すような初期特徴特定画像の生成に続いて,好ましくは深度弁別化画像またはセグメント画像が生成され,このセグメント画像は初期特徴特定画像に基づく。図8(B)は,図8(A)の特徴特定画像に基づくセグメント画像例を示す。図8(B)のセグメント画像において,明るい銅領域1110に対応する画素は白色でマークされて,これらの画素は関心領域に対応するものとして識別され,暗い基板領域1109に対応する画素は黒色でマークされて,これらの画素は非関心領域に対応するものとして識別され,非関心領域は後続の画像処理ステップにおいて無視される。好ましくは,画素明るさのレベルの所定閾値が適用され,銅領域1110に対応する明るい画素と背景基板1109に対応する暗い画素とが区別される。
図8(B)のセグメント画像は,このように効果的に深度弁別化画像を形成し,所与の閾値未満の深度の図8(A)の特徴特定画像の部分,ここでは一例として基板1109を構成する部分が,所与の閾値以上の図8(A)の特徴特定画像の部分,ここでは一例として銅領域1110を構成する部分から区別されることが理解される。
様々な物理的深度の図8(A)の特徴特定画像の部分間の弁別は,それらの間の光学特性の差,より具体的にはそれらの間の適切な照明下における反射率差に基づくものであり,特徴の物理的形状に依存しないことを理解されたい。
図8(B)のセグメントマスク画像の生成は,コンピュータ114に含まれるプロセッサ132によって自動的に実行することができる。したがってプロセッサ132は,好ましくは,所定閾値未満の深度の図8(A)の画像のような初期特徴特定画像の部分を,上記部分の形状と無関係に,区別するように動作する深度弁別化装置として動作し,これに基づいて図8(B)の深度弁別化画像のような深度弁別化画像を提供することを理解されたい。
センサ130およびプロセッサ132と組み合わされる特徴特定照明器540は,したがって基板1109および銅領域1110を含む対象物1108の画像を提供する画像生成器の好ましい実施態様を構成することをさらに理解されたい。
コンピュータ144は,図8(A)における銅領域1110のような特徴特定画像における関心特徴をユーザが特定することができるインターフェースを備えてもよい。関心特徴は,ユーザによって特定可能であってかつ好ましくは機械識別可能な特徴であり,上記特徴特定画像中の機械識別可能特徴の存在が,その形状の特徴に関係なく,その外観に基づいて検出することができることを理解されたい。したがってコンピュータ144は,機械識別可能な特徴をユーザが特定することができるようにするターゲット特定装置としても,好ましくは機械識別可能な特徴を自動的に識別する特徴検出器としても,動作することができることを理解されたい。
レンジ弁別化装置の動作の第2のモードにおいて,図8(B)に示すセグメント深度弁別化画像の生成に続いて,好ましくは,対象物1108が,ここでは銅領域1110として具現化される関心特徴の深度プロファイルを生成するのに最も適する照明条件下において,カメラ・センサ130によって撮像される。
特徴フォーカス照明器150によって提供される照明下で対象物1108を撮像しているとき,対象物1108に対するレンズ124の垂直位置が好ましくは段階的にシフトされ,対象物1108に対するレンズ124の焦点高さがこれに対応して調整される。レンズ124の調整はコントローラ128によって制御することができ,コントローラ128は好ましくはステージ126を,これによってレンズ124を,対象物1108に対して段階的に移動させるように動作可能である。これに加えてまたは代えて,対象物1108に対するレンズ124の焦点高さを,テーブル106の高さ調整および/または光学ヘッド102の全体の調整によって調整してもよい。
レンズ124の各位置について,好ましくは対象物1108の画像がセンサ130によって取得される。すなわち,好ましくは対象物108の上方のレンズ124の焦点高さ範囲において一連の画像が生成される。好ましくは,プロセッサ132として具現化される画像焦点分析装置が一連の画像に画像焦点分析を実行するように動作し,各画像の部分に基づいて焦点スコアを提供し,焦点スコアに基づいて焦点距離を確認する。すなわち,プロセッサ132は,好ましくは,図8(B)の画像のような弁別化画像に基づいて焦点距離を確認する,焦点距離確認装置として動作することが理解される。
突出する銅領域1110の場合,上記焦点スコアは,図8(B)の画像のような深度弁別化画像において,所定の深度閾値以上の部分のみにもとづいて算出することができることを理解されたい。これに代えて,たとえば,基板1109中に埋め込まれた銅領域1110の場合,所定の深度閾値未満の深度の深度弁別化画像の部分のみに基づいて焦点スコアを算出してもよい。
この場合,好ましくは,焦点スコアは,特徴フォーカス照明器150によって提供される照明条件下で取得される画像のそれぞれにおいて画素ごとに算出され,焦点スコアは,関心領域に対応する,図8(B)の画像のようなセグメント深度弁別化画像において識別される画素に対してのみ算出される。レンジ画像を生成するために,好ましくは画素ごとに焦点スコアが算出され,その画素内の最大測定特徴テクスチャ(maximum measured feature texture in that pixel)に対応する最適焦点高さが確認されることを理解されたい。システム100について上述した焦点スコア算出とは対照的に,各画像の関心領域中の全ての画素の焦点スコアの合計に基づく全体焦点スコアは,この実施形態において好ましくは算出されないことに留意されたい。
基板1109上の銅領域1110の場合,一例として,銅領域1110に対応するものとして図8(B)の画像のような深度弁別化画像において識別された各画素に,勾配の大きさまたは何らかの当技術分野で知られている他の適切な焦点尺度のような適切な局所的テクスチャ尺度に基づく焦点スコアが割り当てられる。図示する実施形態における基板1109に対応する,非関心領域として識別される図8(B)の画像のような深度弁別化画像中の画素には,ゼロの焦点スコアが割り当てられる。基板1109に対応する部分である所定の明るさ閾値未満の各画像の部分について焦点スコアは算出されないことを理解されたい。
図9に示すように,各画素について取得される焦点スコアを,レンズ124の焦点高さの関数としてプロットすることができる。図9を参照して,第1のトレース1202は,図8(A)に見られる第1のインデント1204に対応する画素の場合の焦点高さによる焦点スコアの変動を表しており,最も高い100の焦点スコアが約6486μmの絶対焦点高さに対応するように示されている。さらに図9を参照して,第2のトレース1206は,第2のインデント1208に対応する別の画素の場合の焦点高さによる焦点スコアの変動を表している。この例では,第2のインデント1208は第1のトレース1202によって表される第1のインデント1204ほど深くはない。第1および第2のトレース1202および1206を対比することで分かるように,第2のインデント1208について最大焦点スコアを生じさせる高さは,それらの間の深度差のために,第1のインデント1204の最大焦点スコアに対してシフトされている。
図9に示すような関数に基づいて,各画素に対してその画素が最も高い焦点スコアを有することが分かった焦点高さに等しい値が割り当てられた,高さ画像(a hight image)を作成することができる。図8(C)はこの高さ画像を示しており,グレースケールがミクロン単位の画素高さに対応する。図8(C)を参照して,領域1110中のグレー画素がより高い領域を表し,かつ領域1204および1208中の白色の画素はより低い領域を表している。領域1109中の黒色画素は焦点スコアが算出されなかった画素に対応し,これは図8(B)の画像のようなセグメント深度弁別化画像に基づいて,これらの画素が非関心領域に属すると識別されたためである。
図8(C)の高さまたはレンジ画像をさらに分析して,銅領域1110の大部分に対するインデント1204および1208の深度を見つけてもよいことを理解されたい。
上述した手法においてオートフォーカスが達成されることに基づく焦点測距(focal metric)は関心特徴のみに適用され,好ましくは関心特徴の境界内に限定されることが理解される。これは,焦点測距が典型的にはカメラの全視野にわたって導出され,したがって本願発明のように深度のみではなく,形状およびサイズの様々な特徴が大きく影響する従来のオートフォーカス方法とは対照的である。
ここで図10を参照して,図10は,この発明のさらに好ましい実施態様にしたがって構成されかつ動作する,深度弁別機能を含む光学処理システムの概略図である。
図10を参照して,シャーシ1304上に取り付けられる光学撮像ヘッド1302を好ましくは含む光学撮像システム1300が提供される。好ましくは,シャーシ1304はテーブル1306を含み,その上に撮像される対象物1308が配置される。光学撮像システム1300は好ましくは対象物1308の深度プロファイル画像を提供するように動作し,これがたとえば対象物1308の検査または処理の目的に用いられる。
対象物1308は好ましくは非平面物であり,複数の物理的深度の物理的特徴を備えている。ここでは,一例として,対象物1308はPCBとして具現化されて示されており,非導電性基板1309およびその上面に形成された金属トレース1310を有する。金属トレース1310は基板1309の表面に埋め込まれていても突出していてもよい。なお,限定はされないが,光学撮像ヘッド1302は,PCB,ウェハ・ダイ,アセンブルPCB,フラット・パネル・ディスプレイおよび太陽エネルギー・ウェハを含む,複数の物理的高さまたは深度の物理的特徴を有する任意の適切なターゲットまたはシーンの画像を取得するために用いることができることを理解されたい。
検査目的において,多くの場合に対象物1308の二次元画像を生成することが望ましく,これによって金属トレース1310と基板1309とが,それらの間の光学的性質の違いに基づいて明確に区別される。
いくつかのケースでは,対象物1308に含まれる関心特徴の三次元深度プロファイルを生成することが望まれることもあり,この関心特徴が,対象物1308の他の特徴に対して異なる物理的高さまたは深度を持つ。たとえば,基板1309の場合,その検査目的のために金属トレース1310の深度プロファイル画像を生成することが望ましいことがある。
この発明の好ましい実施態様の特有の特徴は,光学撮像システム1300が,関心特徴と基板1309のような他の特徴との間の物理的深度の違いにかかわらず,金属トレース1310のような関心領域の空間セグメント画像および深度弁別化画像の両方を提供する2D空間および3Dレンジ結合弁別化装置(combined 2D spatial and 3D range differentiator)1320を含むことにある。特に好ましくは,レンジ弁別化装置1320は,関心特徴の深度プロファイル画像を生成するための3Dプレノプティック・カメラ(3D plenoptic camera)1321を含む。
レンジ弁別化装置1320は好ましくは様々な物理的深度におけるシーンの画像を提供するように動作する画像生成器を含み,ここでは一例として,対象物1308を照明する照明モジュール1322を含むように具体化されている。照明モジュール1322によって提供される照明は好ましくはレンズ部1324を介して対象物1308に向けられる。対象物1308から発する光は,好ましくは,ビーム・スプリッタ1332を介して,二次元撮像カメラ1330とプレノプティック・カメラ1321とに向けられる。
照明モジュール1322は好ましくは2Dモードと3Dモードの2つのモードにおいて動作する。2Dモードの動作では,対象物1308は,好ましくは,関心特徴が関心特徴と異なる物理的深度を有する対象物1308の他の特徴から明確に区別可能な照明条件の下,二次元撮像カメラ1330によって撮像される。この照明は特徴特定照明と呼ばれるもので,一例にすぎないが,照明モジュール1322に含まれる明視野照明器1340および暗視野照明器1342によって提供することができる。照明モジュール1322の明視野照明器1340と照明モジュール1322の暗視野照明器1342の組み合わせは,結合明視野および暗視野照明モダリティを伝達する(delivering combined bright field and dark field illumination modalities),画像生成器の第1の部分を構成すると考えることができる。
明視野照明器1342および暗視野照明器1342によって提供される明視野照明および暗視野照明の組合せの下では,非導電性基板1309は,金属トレース1310によって示される反射率と比較して低い反射率を示す。図11(A)は,特徴特定暗視野および明視野照明条件下の,基板1309および基板上の金属トレース1310の画像例である。図11(A)に示すように,その低い反射率のために非導電性基板1309は金属トレース1310に対して暗く表れ,他方,金属トレース1310は基板1309に対して明るく表れる。このように図11(A)の画像において非導電性基板1309を金属トレース1310から明確に区別することができる。さらに,基板1309の不透明性の結果として,基板1309の下に位置する可能性があるPCB1308の追加レイヤは不明瞭になり,これによって図11(A)の画像に現れず,したがってその後の画像処理が簡単になる。
図11(A)に示す初期特徴特定画像の生成に続いて,好ましくは深度弁別またはセグメント画像が生成され,このセグメント画像は初期特徴特定画像に基づく。図11(A)の特徴特定画像に基づくセグメント画像の例を図11(B)に示す。図11(B)のセグメント画像において,明るい金属トレース1310に対応する画素が白色にマークされ,この画素が,黒色にマークされる暗い基板領域1309に対応する画素から区別される。好ましくは,画素明るさのレベルの所定の閾値が適用され,金属トレース1310に対応する明るい画素と背景基板1309に対応する暗い画素とが区別される。
このように,図11(B)のセグメント画像は深度弁別化画像を効果的に形成し,所与の閾値未満の深度の図11(A)の特徴特定画像の部分,ここでは一例として基板1309に対応する部分が,所与の閾値を超える深度の図11(A)の特徴特定画像の部分,ここでは一例として金属トレース1310に対応する部分から区別されることが理解される。異なる物理的深さにおける図11(A)の特徴特定画像の部分間の弁別は,それらの間の光学特性の差,より具体的にはそれらの間の暗視野および明視野照明下の反射率差に基づくものであり,物理的形状の特徴に依存しないことが理解される。
図11(B)のセグメントマスク画像の生成は,システム1300の一部を形成するプロセッサ(図示略)中に含まれる計算機能によって自動的に実行することができる。すなわちプロセッサは,第1の撮像モダリティによる照明の下で取得される図11(A)の画像のような初期特徴特定画像の部分を,上記部分の形状に関係なく,所定閾値未満の深度において区別するように動作する深度弁別化装置として動作し,図11(B)の深度弁別化画像のような深度弁別化画像を提供することが理解される。
関心特徴は,図11(A)および図11(B)の特徴特定画像においてユーザによって識別(特定)可能であってもよく,かつ好ましくは機械識別可能な特徴であり,特徴特定画像中の機械識別可能な特徴の存在を,特徴の形状に関係なく,その外観に基づいて検出できることを理解されたい。
システム1300の3Dモードの動作においては,図11(B)に示すようなセグメント画像の生成に続いて,好ましくは対象物1308が,ここでは金属トレース1310として具現化されている関心特徴の撮像テクスチャ(imaged texture)を強調するのに最も適する照明条件下において,プレノプティック・カメラ1321によって撮像される。この照明は特徴フォーカス照明(feature focusing illumination)と呼ばれ,ここでは好ましくは暗視野照明器1342によって提供される。暗視野照明器1342は,対象物1308に暗視野照明モダリティ(a dark field illumination modality)を伝達する,画像生成器の第2の部分を構成すると考えることができる。
図11(C)は,暗視野照明のみの下での金属トレース1310の外観を示す画像例であり,金属トレース1310の高められたテクスチャ(質感)が視認される。
ここでは暗視野照明器1342が特徴特定照明および特徴フォーカス照明の両方に寄与するものとして説明されているが,これに代えて,特徴特定照明および特徴フォーカス照明を,重複する機能を持たない異なる照明要素によって提供できることを理解されたい。
さらに,レンジ弁別化装置1320の画像生成機能は,本書に記載の特定のカメラおよび照明構成要素に限定されず,むしろ様々な物理的深度の特徴をその形状に関係なくその光学特性に基づいて区別することができる,様々な物理的深度のシーンの画像を生成するように機能する任意の適切な構成要素を備えることができることを理解されたい。
一実施態様では,好ましくは,プレノプティック・カメラ1321は,図11(B)の画像のような2Dセグメント画像に基づいて,疑欠陥(suspected defects)として識別される部分の深度プロファイル画像を提供する。疑欠陥の真の性質および重要性は,しばしばその3Dプロファイルを識別するときにだけ明らかにされるので,図11(B)に示すタイプの2Dセグメント画像において識別可能な特定の疑欠陥の性質を,深度プロファイル画像によって良好に確認することができることを理解されたい。効率的な2Dセグメンテーションは,典型的には,基板1309と金属トレース1310との間に輝度差を生成することに加えて,金属トレースのテクスチャを抑制することを必要とする。これが,明視野および暗視野照明の両方の適切な組み合わせおよび注意深いバランスによって達成される。対照的に,プレノプティック・カメラ1321による3Dプロファイリングは,たとえば隣接するマイクロ画像間のステレオ視差を導出するときに表面質感に強く依存する。暗視野照明のみを使用することによって,金属トレース1310と基板1309の両方の表面テクスチャのコントラストが最大になり,プレノプティック・カメラ1321による正確な深度レンダリングがもたらされる。
図11(D)は,暗視野照明器1342によって提供される暗視野照明の下,プレノプティック・カメラ1321によって取得された金属トレース1310の深度プロファイルを示す画像例である。図11(D)の深度プロファイルが取得される視野は,図11(A),11(B)および11(C)の初期画像およびセグメント画像のものよりも大きいが,これに代えて,金属トレース1310の深度プロファイルを疑欠陥の領域のような金属トレース1310のより小さい部分に限定してもよく,これによって欠陥の性質が確認されかつ欠陥が分類されることを理解されたい。この場合,プロセッサは,図11(B)の画像のような深度弁別化画像に基づいて,疑欠陥が存在する領域の深度プロファイリングのために各点で焦点距離を確認する焦点距離確認装置として動作することができる。
2D空間および3D深度レンジ弁別化装置1320の別の好ましい動作モードでは,プレノプティック・カメラ1321を使用して,2D画像の取得の前に2Dカメラ1330を自動焦点合わせするために用いることができる。
このオートフォーカス・モードでは,好ましくは,最初に被検査対象物1308が好ましくは暗視野照明器1342によって提供される暗視野照明条件のような特徴フォーカス照明条件の下でプレノプティック・カメラ1321の粗焦点(coarse focus)にもたらされる。この予備的粗焦点はシステム最適化および工学的パラメータに基づくものであってもよく,当業者には既知のシステム1300の事前較正を含んでもよい。図12(A)は,プレノプティック・カメラ1321によって取得された基板1410の粗焦点画像例を示している。例示する実施態様では,基板1410はシリコン・ウェハであり,その上にレーザ刻印ピット(laser inscribed pits)1430を持つ急激な高さ段差(abrupt height step)1420を含む。図12(B)は,2Dカメラ1330によって受けられた対応する焦点の合っていない2D画像を示す。
プレノプティック・カメラ1321によって取得された粗焦点画像は,次にシステム1300のプロセッサに含まれる計算機能によって処理されて,基板141の初期視野(the instant field of view)の深度プロファイルが導出される。図12(C)は,図12(A)の粗焦点画像に基づく深度弁別プロファイル画像の例を示す。図11(A)〜11(D)に例示するものと対照的に,レンジ弁別化装置1320のこの動作モードでは,明視野照明器1340によって提供される明視野照明モダリティが好ましくは第1の画像化照明モダリティを構成し,この照明の下で深度弁別可能画像が好ましくは取得されることを理解されたい。
図12(C)の深度プロファイル画像に基づいて,2Dカメラ1330が最適に焦点合わせされるべき特徴深さを選択することができる。一例として,基板1410の場合,2Dカメラ1330の最適焦点深度を,図12(C)の画像におけるシリコン・ウェハ内の段差の上側1440の高さに対応する深さとすることができる。当業者に理解されるように,プレノプティック・カメラ1321の焦点深度は,典型的には2Dカメラ1330の被写界深度をまたぎ(straddle),2〜4倍大きい範囲とすることができ,その結果,図12(A)のプレノプティック画像に基づく深度プロファイル分析の精度は,レンズ1324上の焦点深さに基づいて達成される精度と少なくとも同じ程度に良好である。
2Dカメラ1330は次に,図12(C)の深度プロファイル画像に基づいて特定された最適焦点深さにおいてシリコン段差の上側1440上に自動的に焦点合わせされ,これに応じて特徴特定明視野照明条件の下で焦点が合わされた基板1410の合焦2D画像が取得される。この例ではフォーカス特定照明は特徴特定照明と同じであることに留意されたい。これは,シリコン・ウェハとその表面のレーザ形成ピットの両方の光学反射特性の結果である。図12(D)は特徴特定明視野照明条件下で取得された自動合焦2D画像(automatically focused 2D image)の例である。
たとえば,図11(C)および11(D)を参照して既述したように,2Dオートフォーカス画像中に存在する疑欠陥の性質をよりよく分類するために,自動合焦2D撮像に続いて,必要に応じて対象物1308の追加の3Dプレノプティック撮像を実行してもよい。
ここで図13を参照して,図13は,この発明のさらに好ましい実施態様によって構成されかつ動作する,オートフォーカス機能を含む光学処理システムを概略的に示しており,図14(A)−図14(C)は図13に示すタイプのシステムによって生成された画像の簡略例である。
図13に示すように,対象物1508上にパターンを投影するように動作するプロジェクタ・モジュール1502を含む光学撮像システム1500が提供される。撮像システム1500はさらに,好ましくは,パターンがプロジェクタ・モジュール1502によって対象物上に投影されたときに対象物1508の画像を取得するように動作するカメラセンサ・モジュール1510を含む。好ましくは,プロジェクタ・モジュール1502およびカメラ・モジュール1510は,対象物1508に対して規定される長手軸1512に対して角度が付けられている(傾けられている)。カメラ・モジュール1510と組み合わされたプロジェクタ・モジュール1502を,対象物1508の画像を生成するように動作する画像生成器を形成するものとして考えることができる。
対象物1508は好ましくは非平面対象物であり,2つ以上の物理的深度の物理的特徴を含むもので,限定はされないが,PCB,ウェハ・ダイ,アセンブルPCB,フラット・パネル・ディスプレイおよび太陽エネルギー・ウェアを含む。これに代えて,対象物1508をある物理的深さ範囲にある特徴を含む任意の対象物またはシーンとして具現化してもよい。
いくつかのケースでは,対象物1508に含まれる,対象物1508の他の特徴に対して異なる物理的な高さまたは深さにある関心特徴の合焦画像を生成することが望ましい場合がある。これは,以下に詳述するように,正弦波または二値モアレ縞パターンなどの規則的な反復パターン(regularly repeating pattern, such as a sinusoidal or binary moire fringe patterrn)を対象物1508の表面上に投影し,投影された縞の位相シフトを分析することによって,システム1500において自動的に達成することができる。
システム1500の動作は,それによって生成される画像を参照することにより最もよく理解することができ,その画像例を図14(A)〜図14(C)に示す。
図14(A)を参照して,好ましくはプロジェクタ・モジュール1502によって対象物1508の表面上に投影される縞パターン(a fringe pattern)1600の画像を示す。図14(A)に示すように,縞パターン1600は対象物1508上の特徴の表面トポロジーに応じて可変位相シフトを受け,その上に縞パターンが落ち込む(upon which the fringe pattern falls)。システム1500の一部を形成するプロセッサ1516に含まれる計算機能は,好ましくはリアルタイムで縞パターン1600の位相シフトを算出し,縞パターンが投影される物理的特徴の少なくとも高さを導出するように動作する。プロセッサ1516は,その形状とは無関係に,カメラ・モジュール1510によって取得される画像部分を様々な物理的高さで区別するための深度弁別化装置として動作する。プロセッサ1516に含まれる計算機能によって実行される縞位相シフト分析は,たとえば窓フーリエ変換(a windowed Fourier transform)を含む。これに加えて,プロセッサ1516がプロジェクタ・モジュール1502によって投影される縞パターンの生成を制御してもよい。
物理的特徴の高さは,好ましくはシステム1500に組み込まれる基準ターゲット(a reference target)の高さに対して算出される。上記基準ターゲットの高さは,対象物1508に対して焦点が合った状態に維持されているシステム1500の追加撮像機能(図示略)に対して較正することができる,またはカメラ・センサ1510に対して較正することができる。
図14(B)および図14(C)は,図14(A)の投影縞マップ(projected fringe map)に基づく対象物1508の2次元高さマップおよび3次元高さマップをそれぞれ示す。図14(B)および図14(C)に示すように,投影縞パターンの位相シフトを,位相パターンにおける対応するシフトを生じさせる原因となる物理的特徴の相対的な高さにしたがって対象物1508をセグメント化するための基礎として使用することができる。すなわち,所与の特徴高さをそれに基づく最適フォーカシングのために選択することができ,他方,選択高さ以外の高さの特徴はその後の画像の焦点合わせにおいて効果的に無視される。このように図14(B)および図14(C)の高さマップはセグメント化されたまたは深度弁別化画像を構成し,それに基づいて,その上に最適に焦点が合うように選択された特徴深度を確かめることができることを理解されたい。したがって,高さ選択のみに基づいて,その特徴の形状とは無関係に,カメラ1510のオートフォーカスが所与の高さレベルの特徴に対して実行される。最適焦点距離は,図14(B)および図14(C)の深度弁別化画像に基づいてプロセッサ1516によって確かめることができる。
好ましくは,プロジェクタ・モジュール1502によって投影される縞パターンの最適空間周波数は,いくつかの相反する要件を考慮しかつバランスをとることによって設定されることを理解されたい。好ましくは縞パターンの空間周波数は十分に低くされて良好なコントラストの投影およびその撮像を可能とするように選択される。さらに好ましくは,縞パターンの空間周波数は十分に高くされて充分に高解像度の高さ弁別を可能にするように選択される。さらに,縞パターン中の縞間隔は,好ましくは,位相のあいまいさなしに,対象物1508の全予想深度を包含するために十分に大きくなるように選択される。好ましくは,縞パターンは充分に低い空間周波数を持ち,これによってその位相シフトが,位相のあいまいさなしに,そのようなシフトを生じさせる物理的深さと一意に相関させることができる。
好ましくは少なくともこれらの様々な要因のバランスがとられて,特定の撮像アプリケーションのための縞パターンの最適空間周波数が導出される。
システム1500は,閉ループ追跡オートフォーカス・モード(a closed-loop tracking autofocus mode)における使用に特に好適なものであり,このモードでは対象物1508好ましくは連続的に走査される。連続走査モードにおいて,プロジェクタ・モジュール1502は好ましくはストロボ制御され,好ましくはカメラ・モジュール1510の動作と同期してパルス・モードにおいて動作する。これに代えて,プロジェクタ・モジュール1502を,好ましくはグローバルシャッタカメラ・モジュール1510と連携させて連続的に動作させてもよい。
連続閉ループ・オートフォーカス動作のシステム1500の使用において,好ましくはシステム1500の様々な動作パラメータが最適化される。縞パターン1600の投影によって対象物1508の高さがサンプリングされるテンポラル・レート(temporal rate)およびこれに続くその位相シフトの分析は,好ましくは対象物1508の走査速度およびその高さのばらつきのレートに適するよう十分に高くなるように選択される。カメラ・モジュール1510の動作フレーム・レートは好ましくは高さサンプリング・レートにしたがって設定される。
これに加えて,カメラ・モジュール1510による縞画像取得と分析高さマップの取得との間の経過時間(この時間遅延はシステム待ち時間(system latency)と呼ばれることがある)が,好ましくは最適化される。システム待ち時間は主にはシステム1500のシステム・コントローラの計算能力に依存する。好ましくは上記システム待ち時間は充分に短くされて,縞画像取得後のオートフォーカス機能の動作における,撮像機能の焦点合わせエラーにつながる過度の遅れが回避される。
この発明の特定の実施形態では,カメラ・モジュール1510の画素解像度を,システム1500の性能を最適化するように設定することができる。カメラ1510の撮像画素が少なければ少ないほど,カメラフレーム・レートが高められかつ処理時間が短くなる。これに加えてまたは代えて,カメラ・モジュール1510によって取得される画像の全体にわたる位相シフトを算出するのではなく,カメラ・モジュール1510によって出力される画像フレーム内でまばらに選択される領域内でのみ位相シフトを算出してもよく,これによって処理時間を加速することができる。位相シフトが算出される上記領域の数,寸法,アスペクト比および間隔は,対象物1508の物理的特性または他の特性を考慮することによって選択される。
当業者であれば,この発明は以下において特にクレームされるものに限定されないことを理解しよう。むしろ,この発明の範囲は,上述した特徴の組み合わせおよび部分組み合わせを含み,かつ,図面を参照して上記記載を読むことによって当業者が想起することができかつ従来技術にはない修正および変形を含む。

Claims (48)

  1. オートフォーカスに有用なレンジ弁別化装置であって,
    様々な物理的深度のシーンの画像を提供する画像生成器,
    所定閾値未満の深度の上記画像の部分を,上記部分の形状と関係なく,区別して,深度弁別化画像を提供する深度弁別化装置,および
    上記深度弁別化画像に基づいて焦点距離を確認する焦点距離確認装置を備えている,
    レンジ弁別化装置。
  2. 上記画像生成器が,上記画像の取得中に上記シーンを照明する特徴特定照明器を備えている,請求項1に記載のレンジ弁別化装置。
  3. 上記深度弁別化装置が,上記特徴特定照明器による照明の下,上記所定閾値未満の深度における上記画像の部分と上記所定閾値以上の深度の上記画像の部分を,それらの間の光学特性差に基づいて区別するように動作する,請求項2に記載のレンジ弁別化装置。
  4. 上記特徴特定照明器がUV照明源を備え,上記深度弁別化装置が,上記画像の上記部分をそれらの間の蛍光差に基づいて区別するように動作する,請求項2または3に記載のレンジ弁別化装置。
  5. 上記特徴特定照明器が暗視野照明源および明視野照明源を備え,上記深度弁別化装置が,上記画像の上記部分をそれらの間の反射率差に基づいて区別するように動作する,請求項2または3に記載のレンジ弁別化装置。
  6. 上記焦点距離確認装置が,
    上記所定閾値未満の深度の上記画像の上記部分,および
    上記所定閾値以上の深度の上記画像の上記部分,
    の一方に基づいて上記焦点距離を確認するように動作する,請求項3に記載のレンジ弁別化装置。
  7. 上記所定閾値以上の深度の上記画像の部分に基づいて焦点スコアを提供するように動作する画像焦点分析装置をさらに備え,上記焦点距離確認装置が上記焦点スコアに基づいて上記焦点距離を確認するように動作する,請求項1から6のいずれか一項に記載のレンジ弁別化装置。
  8. 上記画像焦点分析装置が,上記所定閾値以上の深度の上記画像の上記部分の撮像テクスチャを強調する照明を用いて上記シーンを照明する照明器を備えている,請求項7に記載のレンジ弁別化装置。
  9. 上記照明器が暗視野照明器を備えている,請求項8に記載のレンジ弁別化装置。
  10. 上記焦点スコアが上記部分の形状に関係なく割り当てられる,請求項7から9のいずれかに記載のレンジ弁別化装置。
  11. 上記焦点スコアが,上記所定閾値以上の深度の上記画像の上記部分に対応する各画素に個々に割り当てられる,請求項7から10のいずれかに記載のレンジ弁別化装置。
  12. 上記閾値以上の深度の上記画像の上記部分が機械識別可能である,請求項1から11のいずれかに記載のレンジ弁別化装置。
  13. 上記画像生成器がカメラを備え,上記深度弁別化画像が上記シーンの2次元画像を含む,請求項5に記載のレンジ弁別化装置。
  14. 上記画像生成器がプレノプティック・カメラを備え,上記深度弁別化画像が上記シーンの3次元画像を含む,請求項2または請求項3に記載のレンジ弁別化装置。
  15. 上記特徴特定照明器が暗視野照明器を備えている,請求項14に記載のレンジ弁別化装置。
  16. 上記画像生成器が上記シーン上に繰り返しパターンを投影するプロジェクタを備え,上記深度弁別化装置が,上記繰り返しパターンの位相シフトを分析し,上記位相シフトに基づいて上記物理的深度のマップを導出するように動作する位相分析装置を備え,上記マップが上記深度弁別化画像を形成する,請求項1に記載のレンジ弁別化装置。
  17. 上記焦点距離確認装置が,少なくとも一つの上記物理的深度に基づいて上記焦点距離を確認するように動作する,請求項16に記載のレンジ弁別化装置。
  18. 上記繰り返しパターンが,正弦波繰り返しパターンおよび二値繰り返しパターンの少なくとも一方を含む,請求項16または請求項17に記載のレンジ弁別化装置。
  19. 上記繰り返しパターンが十分に低い空間周波数を有しており,上記位相分析装置が上記位相シフトを上記物理的深度に一意に相関させるように動作する,請求項18に記載のレンジ弁別化装置。
  20. 上記物理的深度の上記マップが,2次元マップおよび3次元マップの一方である,請求項18または19に記載のレンジ弁別化装置。
  21. オートフォーカスに有用なレンジ弁別化装置であって,
    様々な物理的深度のシーンの画像を提供する画像生成器,
    所定閾値未満の深度の上記画像の部分を区別する深度弁別化装置,
    上記所定閾値以上の深度の上記画像の部分に基づいて焦点スコアを提供するように動作する画像焦点分析装置,および
    上記焦点スコアに基づいて上記焦点距離を確認する焦点距離確認装置を備えている,
    レンジ弁別化装置。
  22. 上記画像生成器が,上記画像の取得中に上記シーンを照明する特徴特定照明器を備えている,請求項21に記載のレンジ弁別化装置。
  23. 上記深度弁別化装置がUV照明源を備え,上記深度弁別化装置が,上記画像の上記部分をそれらの間の蛍光差に基づいて区別する,請求項22に記載のレンジ弁別化装置。
  24. 上記特徴特定照明器が暗視野および明視野結合照明器を備え,上記深度弁別化装置が,上記画像の部分をそれらの間の反射率差に基づいて区別する,請求項22に記載のレンジ弁別化装置。
  25. 上記画像焦点分析装置が,上記所定閾値以上の深度の上記画像の上記部分の撮像テクスチャを強調する照明を用いて上記シーンを照明する照明器を備えている,請求項21から24のいずれかに記載のレンジ弁別化装置。
  26. 上記照明器が暗視野照明器を備えている,請求項25に記載のレンジ弁別化装置。
  27. 上記照明器および上記特徴特定照明器が少なくとも一つの共通照明構成要素を共有している,請求項25または請求項26に記載のレンジ弁別化装置。
  28. 上記焦点スコアが上記部分の形状に関係なく割り当てられる,請求項21から27のいずれかに記載のレンジ弁別化装置。
  29. 上記焦点スコアが,上記所定閾値以上の深度の上記画像の上記部分に対応する各画素に個々に割り当てられる,請求項21から28のいずれかに記載のレンジ弁別化装置。
  30. 上記閾値以上の深度の上記画像の上記部分が機械識別可能である,請求項21から29のいずれかに記載のレンジ弁別化装置。
  31. オートフォーカスに有用なレンジ弁別化装置であって,
    画像中の対象物の機械識別可能な特徴をユーザが特定することができるようにするユーザ・インターフェースを含むターゲット特定装置,
    上記特徴の形状に関係なく,上記画像中の少なくとも一つの上記機械識別可能な特徴の発生を特定するように動作する特徴検出器,および
    上記機械識別可能な特徴に対する焦点距離を確認する焦点距離確認装置を備えている,
    レンジ弁別化装置。
  32. 上記画像の取得中に上記対象物を照明する特徴特定照明器をさらに備えている,請求項31に記載のレンジ弁別化装置。
  33. 上記特徴特定弁別化装置がUV照明源を備え,上記特徴識別装置が上記機械識別可能特徴をその蛍光に基づいて識別する,請求項32に記載のレンジ弁別化装置。
  34. 上記特徴特定照明器が暗視野および明視野結合照明器を備え,上記特徴識別装置が上記機械識別可能特徴をその反射に基づいて識別する,請求項32に記載のレンジ弁別化装置。
  35. レンジ確認装置が,上記画像中の上記対象物の上記特徴の撮像テクスチャを強調する照明を用いて上記対象物を照明する照明器を備えている,請求項32から34のいずれかに記載のレンジ弁別化装置。
  36. 上記照明器が暗視野照明器を備えている,請求項35に記載のレンジ弁別化装置。
  37. 上記照明器および上記特徴特定照明器が少なくとも一つの共通照明構成要素を共有している,請求項35または請求項36に記載のレンジ弁別化装置。
  38. 上記対象物の上記特徴が導電性特徴を含む,請求項31から37のいずれかに記載のレンジ弁別化装置。
  39. 上記対象物の上記特徴が上記導電性特徴中のインデントを含む,請求項38に記載のレンジ弁別化装置。
  40. オートフォーカスに有用なレンジ弁別化装置であって,
    第1の撮像モダリティを備え,様々な物理的深度のシーンの第1の画像を提供する第1の画像生成器,
    所定閾値未満の深度の上記第1の画像の部分を区別して深度弁別化画像を提供する深度弁別化装置,
    上記深度弁別化画像に基づいて焦点距離を確認する焦点距離確認装置,および
    第2の撮像モダリティを備え,上記焦点距離に自動的に焦点合わせされた上記シーンの第2の画像を提供する第2の画像生成器を備えている,
    レンジ弁別化装置。
  41. 上記第1の撮像モダリティが明視野および暗視野結合照明を含み,上記第2の撮像モダリティが暗視野照明を含む,請求項40に記載のレンジ弁別化装置。
  42. 上記第2の画像生成器がプレノプティック・カメラを備えている,請求項41に記載のレンジ弁別化装置。
  43. 上記第1の撮像モダリティが暗視野照明を含み,上記第2の撮像モダリティが明視野および暗視野結合照明を含む,請求項40に記載のレンジ弁別化装置。
  44. 上記第1の画像生成器がプレノプティック・カメラを備えている,請求項43に記載のレンジ弁別化装置。
  45. オートフォーカスに有用なレンジ弁別化装置であって,
    様々な物理的深度の特徴を備える対象物上に繰り返しパターンを投影するプロジェクタ,
    上記対象物上に上記繰り返しパターンが投影されている上記対象物の画像を取得するセンサ,
    上記繰り返しパターンの位相シフトを分析し,上記位相シフトに基づいて上記特徴の上記物理的深度のマップを導出する位相分析装置,および
    少なくとも一つの上記特徴に対する焦点距離を確認する焦点分析装置を備えている,
    レンジ弁別化装置。
  46. 上記繰り返しパターンが,正弦波繰り返しパターンおよび二値繰り返しパターンの少なくとも一方を含む,請求項45に記載のレンジ弁別化装置。
  47. 上記繰り返しパターンが十分に低い空間周波数を有しており,上記位相分析装置が上記位相シフトを上記物理的深度に一意に相関させるように動作する,請求項45または請求項46に記載のレンジ弁別化装置。
  48. 上記物理的深度の上記機械識別可能特徴をマップが2次元マップまたは3次元マップの一方である,請求項45から47のいずれかに記載のレンジ弁別化装置。
JP2019030025A 2018-02-25 2019-02-22 光学撮像システムのオートフォーカス用レンジ弁別化装置 Pending JP2019194670A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023203097A JP2024022625A (ja) 2018-02-25 2023-11-30 光学撮像システムのオートフォーカス用レンジ弁別化装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862634870P 2018-02-25 2018-02-25
US62/634,870 2018-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023203097A Division JP2024022625A (ja) 2018-02-25 2023-11-30 光学撮像システムのオートフォーカス用レンジ弁別化装置

Publications (1)

Publication Number Publication Date
JP2019194670A true JP2019194670A (ja) 2019-11-07

Family

ID=65657223

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019030025A Pending JP2019194670A (ja) 2018-02-25 2019-02-22 光学撮像システムのオートフォーカス用レンジ弁別化装置
JP2023203097A Pending JP2024022625A (ja) 2018-02-25 2023-11-30 光学撮像システムのオートフォーカス用レンジ弁別化装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023203097A Pending JP2024022625A (ja) 2018-02-25 2023-11-30 光学撮像システムのオートフォーカス用レンジ弁別化装置

Country Status (7)

Country Link
US (1) US11159712B2 (ja)
EP (1) EP3531688A3 (ja)
JP (2) JP2019194670A (ja)
KR (1) KR20200068540A (ja)
CN (1) CN110198395B (ja)
IL (1) IL264937B (ja)
TW (1) TWI809043B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL264937B (en) * 2018-02-25 2022-09-01 Orbotech Ltd Range differences for self-focusing in optical imaging systems
US11570342B2 (en) * 2020-02-18 2023-01-31 Microsoft Technology Licensing, Llc Selective power efficient three-dimensional imaging
US11523043B2 (en) 2020-10-12 2022-12-06 Apple Inc. Camera autofocus using time-of-flight assistance
CN112995521B (zh) * 2021-04-21 2021-07-30 征图新视(江苏)科技股份有限公司 基于正弦条纹的线阵相机高精度自动调焦方法
CN115166934B (zh) * 2022-06-09 2023-11-24 杭州海康威视数字技术股份有限公司 一种摄像机设备及图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518357A (ja) * 2004-01-16 2007-07-05 株式会社ソニー・コンピュータエンタテインメント キャプチャ装置の設定を深度情報によって最適化する方法及び装置
JP2007199633A (ja) * 2006-01-30 2007-08-09 Olympus Corp 合焦検出装置
JP2017142188A (ja) * 2016-02-12 2017-08-17 Ckd株式会社 三次元計測装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001332595A (ja) * 2000-05-25 2001-11-30 Sony Corp 焦点合わせ制御機構及びこれを用いた検査装置
JP2003149169A (ja) 2001-11-16 2003-05-21 Tokyo Seimitsu Co Ltd ウエハ欠陥検査装置
US7064880B2 (en) * 2003-09-25 2006-06-20 Matsushita Electric Industrial Co., Ltd. Projector and projection method
DE102004029212B4 (de) * 2004-06-16 2006-07-13 Leica Microsystems Semiconductor Gmbh Vorrichtung und Verfahren zur optischen Auf- und/oder Durchlichtinspektion von Mikrostrukturen im IR
EP3764085A3 (en) * 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US9398205B2 (en) * 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
CA2826372C (en) * 2011-02-01 2020-03-31 Constitution Medical, Inc. Fast auto-focus in microscopic imaging
US9097900B2 (en) * 2012-06-14 2015-08-04 General Electric Company Quantitative phase microscopy for high-contrast cell imaging using frequency domain phase shift
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9106784B2 (en) * 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US10317347B2 (en) 2013-11-01 2019-06-11 Kla-Tencor Corp. Determining information for defects on wafers
US9554031B2 (en) * 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
TWI515470B (zh) * 2014-04-30 2016-01-01 聚晶半導體股份有限公司 使用多鏡頭的自動對焦系統及其方法
US20150381965A1 (en) 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
KR20160115682A (ko) * 2015-03-25 2016-10-06 삼성전자주식회사 대상에 대하여 공간적으로 가변하는 오토 포커싱을 가능하게 하는 방법 및 이를 이용하는 촬상 시스템
KR20180028787A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 디펙 검사 시스템과 방법, 및 그 검사 방법을 이용한 반도체 소자 제조방법
US10332810B2 (en) * 2016-10-24 2019-06-25 Kla-Tencor Corp. Process modules integrated into a metrology and/or inspection tool
EP3577416B1 (en) * 2017-02-06 2022-03-30 Riven, Inc. System and method for 3d scanning
IL264937B (en) * 2018-02-25 2022-09-01 Orbotech Ltd Range differences for self-focusing in optical imaging systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518357A (ja) * 2004-01-16 2007-07-05 株式会社ソニー・コンピュータエンタテインメント キャプチャ装置の設定を深度情報によって最適化する方法及び装置
JP2007199633A (ja) * 2006-01-30 2007-08-09 Olympus Corp 合焦検出装置
JP2017142188A (ja) * 2016-02-12 2017-08-17 Ckd株式会社 三次元計測装置

Also Published As

Publication number Publication date
US11159712B2 (en) 2021-10-26
JP2024022625A (ja) 2024-02-16
EP3531688A3 (en) 2019-12-04
TWI809043B (zh) 2023-07-21
IL264937B (en) 2022-09-01
CN110198395B (zh) 2022-07-15
IL264937A (en) 2019-05-30
KR20200068540A (ko) 2020-06-15
US20190266693A1 (en) 2019-08-29
EP3531688A2 (en) 2019-08-28
TW201937225A (zh) 2019-09-16
CN110198395A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
JP2019194670A (ja) 光学撮像システムのオートフォーカス用レンジ弁別化装置
CN109716495B (zh) 用于晶片中开口尺寸的光学测量的方法和系统
WO2013061976A1 (ja) 形状検査方法およびその装置
JP6522181B2 (ja) 画像測定器
KR101624120B1 (ko) 3차원 형상 계측용 구조광의 국소 영역별 패턴 광원 조사 시스템 및 방법
CN106895793B (zh) 双模式深度测量的方法与装置
US9638908B2 (en) Image measurement device
JP5647084B2 (ja) 面法線計測装置、面法線計測システム及び面法線計測プログラム
JP2019100753A (ja) プリント基板検査装置及びプリント基板検査方法
US20170069110A1 (en) Shape measuring method
TWI385361B (zh) 多種物距組合檢測裝置及檢測方法
JP5251189B2 (ja) 線形状物検出装置、及び該線形状物検出装置に用いられる線形状物検出方法
KR101178055B1 (ko) 높이차 측정 장치 및 방법
JP2010085165A (ja) 表面検査装置および表面検査方法
TW201809592A (zh) 自動化三維量測
JP2005098970A (ja) 異物識別方法及び異物識別装置
JP6542173B2 (ja) 角度測定装置およびその作動方法並びに角度測定プログラム
JP2010117253A (ja) 画像不変光斑点の捕獲装置と方法
JP7279882B2 (ja) 画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体
JP5458755B2 (ja) 線形状物高さ計測装置、該装置に用いられる線形状物高さ計測方法及び線形状物高さ計測制御プログラム
KR102015384B1 (ko) 투명면 및 반사면 검사 방법 및 장치
JP7093569B2 (ja) 測定装置及び測定方法
JP2018146496A (ja) 表面形状測定方法
TWI769172B (zh) 使用一光學顯微鏡產生一樣本之三維(3-d)資訊之方法
JP2021050948A (ja) 測定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190327

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20201009

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230801