JP2022543072A - 反射標本のマクロ検査のためのシステム、方法および装置 - Google Patents

反射標本のマクロ検査のためのシステム、方法および装置 Download PDF

Info

Publication number
JP2022543072A
JP2022543072A JP2022506529A JP2022506529A JP2022543072A JP 2022543072 A JP2022543072 A JP 2022543072A JP 2022506529 A JP2022506529 A JP 2022506529A JP 2022506529 A JP2022506529 A JP 2022506529A JP 2022543072 A JP2022543072 A JP 2022543072A
Authority
JP
Japan
Prior art keywords
image
specimen
imaging
reference point
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022506529A
Other languages
English (en)
Other versions
JP7320882B2 (ja
Inventor
シー プットマン,マシュー
ビー プットマン,ジョン
モフィット,ジョン
モスキー,マイケル
アンダーセン,ジェフリー
ポジ-ロヨーラ,スコット
オーランド,ジュリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanotronics Imaging Inc
Original Assignee
Nanotronics Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanotronics Imaging Inc filed Critical Nanotronics Imaging Inc
Publication of JP2022543072A publication Critical patent/JP2022543072A/ja
Priority to JP2023116989A priority Critical patent/JP2023134712A/ja
Application granted granted Critical
Publication of JP7320882B2 publication Critical patent/JP7320882B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8812Diffuse illumination, e.g. "sky"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/10Scanning
    • G01N2201/104Mechano-optical scan, i.e. object and beam moving
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

検査装置は、標本ステージ、1つまたは複数の画像化デバイス、およびライトのセットを含み、これらはすべて制御システムによって制御可能である。1つまたは複数の画像化デバイスまたは標本ステージを並進または回転させることにより、検査装置は、基準点の第1の側に第1の画像化アーチファクトを含む標本の第1の画像をキャプチャし、次に、基準点の第2の側に第2の画像化アーチファクトを含む標本の第2の画像をキャプチャすることができる。第1および第2の画像化アーチファクトは、第1の画像および第2の画像からそれぞれトリミングすることができ、第1の画像および第2の画像をデジタルでつなぎ合わせて、第1および第2の画像化アーチファクトがない標本の合成画像を生成することができる。

Description

関連出願への相互参照
本出願は、2019年12月6日に出願された「反射標本のマクロ検査のためのシステム、方法および装置」と題された16/705,674に優先権を主張し、これは、2019年8月7日に出願された「大規模な反射標本を画像化するための方法」と題された米国仮出願第62/883,931号の利益を主張し、その内容は参照によりその全体が組み込まれている。本出願は、2019年1月30日に出願された「マクロ検査システム、装置および方法」と題された米国特許出願第16/262,017号にさらに関連しており、その内容は参照によりその全体が組み込まれる。
本開示は、一般に、反射標本を画像化するためのマクロ検査システム、装置、および方法に関する。
反射性材料(例えば、ガラス、ミラー、光学レンズ、半導体ウェーハなど)でできている標本のマクロ検査(すなわち、単一の視野、標本、または標本の200mm以上の領域での画像化)を実行する場合、(1)標本の上に配置された画像化デバイスの反射は、標本で反射し、画像化デバイスによってキャプチャされた画像に現れ得、(2)標本に向けられた照明は、標本で反射し、キャプチャされた画像にホットスポットとして現れ得る。これらの画像化アーチファクト(すなわち、画像デバイスの反射および/または照明ホットスポット)は望ましくない。
図1Aは、標本Sを照明する照明空間18を提供する照明源16を示す。画像化デバイス10および集束レンズ12は、画像化アセンブリ13を形成し、画像化アセンブリ13によってキャプチャされる画像化空間14を規定する。図1Bは、画像化アセンブリ13によってキャプチャされた画像タイル22を示す。画像タイル22内には、中央に標本24およびダークスポット26の画像がある。ダークスポットは、画像内の画像化アセンブリ13の反射または照明16からの影の結果であり得る。
したがって、これらの望ましくない画像化アーチファクトを排除し、明視野、暗視野または斜め照明、偏光、交差偏光、微分干渉コントラスト(DIC)、位相差を含むがこれらに限定されない複数の照明モードを提供することができる、標本のマクロ検査のための新規の機構を提供することが望ましい。標本の特徴を検出するために、本明細書で説明されるように、照明の各モードが可変の照明風景を提供することも望ましい。この明細書では、マクロとは、単一の視野で約5cm2以上の領域を指す。当業者によって理解される標本は、検査品(例えば、半導体ウェーハまたは生物学的摺動)を指し、特徴は、標本の既知の特性、ならびに異常および/または欠陥を指す。特徴には、回路、回路基板構成要素、生体細胞、組織、欠陥(例えば、引っかき傷、ほこり、指紋)が含まれるが、これらに限定されない。
一例では、検査装置は、標本を保持するように構成された標本ステージと、標本の画像をキャプチャするために標本ステージの上方に配置された1つまたは複数の画像化デバイスと、標本ステージと1つまたは複数の画像化デバイスとの間のプラットフォーム上のライトのセットと、標本ステージ、1つまたは複数の画像化デバイス、およびプラットフォームに結合された制御システムと、を含み、制御システムは、1つまたは複数のプロセッサとメモリとを含み、メモリは、1つまたは複数のプロセッサによって実行された結果として、制御システムに、標本の第1の画像をキャプチャするために1つまたは複数の画像化デバイスに第1の命令を提供することであって、第1の画像は、基準点の第1の側に第1の画像化アーチファクトを含む、ことと、標本の第2の画像をキャプチャするために、1つまたは複数の画像化デバイスに第2の命令を提供することであって、第2の画像は、基準点の第2の側に第2の画像化アーチファクトを含む、ことと、第1の画像と第2の画像から画像化アーチファクトをトリミングし、第1の画像と第2の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第1の画像化アーチファクトと第2の画像化アーチファクトがない、こととを、行わせる実行可能命令を記憶する。
いくつかの例では、実行可能命令はさらに、制御システムに、1つまたは複数の画像化デバイスを第1の方向に、基準点の第1の側の上方かつ第1の側の第1の位置に並進させて、第1の画像をキャプチャすることと、1つまたは複数の画像化デバイスを第2の方向に、1つまたは複数の画像化デバイスが第2の画像をキャプチャすることを可能にするために、基準点の第2の側の上方かつ第2の側の第2の位置に並進させることと、を行わせる。
いくつかの例では、実行可能命令は、制御システムに、標本ステージを第1の方向に、基準点の第1の側の下方かつ第1の側の第1の位置に並進させて、標本の第1の画像をキャプチャすることと、標本ステージを第2の方向に、基準点の第2の側の下方かつ第2の側の第2の位置に並進させて、標本の第2の画像をキャプチャすることと、を行わせる。
いくつかの例では、基準点は、標本の中心線に沿って配置される。
いくつかの例では、標本ステージまたは1つもしくは複数の画像化デバイスは、回転軸に沿って移動可能である。
いくつかの例では、1つまたは複数の画像化デバイスは、基準点の第1の側の上方かつ第1の側に配置された第1の画像化デバイスと、基準点の第2の側の上方かつ第2の側に配置された第2の画像化デバイスと、を含み、検査装置は、第1の画像化デバイスおよび第2の画像化デバイスの下に配置されたアパーチャスライダーを含み、アパーチャスライダーは、第1の画像化デバイスまたは第2の画像化デバイスのいずれかを使用して標本の画像のキャプチャを可能にするアパーチャを備える。
いくつかの例では、実行可能命令は制御システムに、第1の画像をキャプチャするためにアパーチャが第1の画像装置と位置合わせされるように、アパーチャスライダーを第1の位置に並進させることと、第2の画像をキャプチャするためにアパーチャが第2の画像装置と位置合わせされるように、アパーチャスライダーを第2の位置に並進させることと、を行わせる。
いくつかの例では、実行可能命令は、制御システムに、プラットフォームを並進させることと、ライトのセットの1つまたは複数の組み合わせをアクティブ化して、照明プロファイルを決定することと、標本の第1の画像を分析して標本分類を識別することと、標本分類に基づいて照明プロファイルを選択することと、照明プロファイルに従って、プラットフォームとライトのセットを調整することと、を行わせる。
いくつかの例では、検査装置は、標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すように構成されたバリアを含む。
いくつかの例では、実行可能命令は、制御システムに、第1の画像の第1の重複領域を第2の画像の第2の重複領域と比較させて、第1の画像と第2の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定する。
一例では、方法は、検査装置の標本ステージで標本を受信することと、標本の基準点を識別することと、基準点の第1の側に第1の画像化アーチファクトを含む標本の第1の画像をキャプチャすることと、基準点の第2の側に第2の画像化アーチファクトを含む標本の第2の画像をキャプチャすることと、標本の第2の画像を評価して、第2の画像を第1の画像と一緒に使用できるかどうかを決定することと、第1の画像から第1の画像化アーチファクトをトリミングし、第2の画像から第2の画像化アーチファクトをトリミングすることと、第1の画像と第2の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第1の画像化アーチファクトと第2の画像化アーチファクトがない、ことと、を含む。
いくつかの例では、この方法は、検査装置の画像化デバイスを第1の方向に、基準点の第1の側の上方かつ第1の側の第1の位置に並進させて、第1の画像をキャプチャすることと、検査装置の画像化デバイスを第2の方向に、基準点の第2の側の上方かつ第2の側の第2の位置に並進させて、第2の画像をキャプチャすることと、をさらに含む。
いくつかの例では、この方法は、標本ステージを第1の方向に、基準点の第1の側の下方かつ第1の側の第1の位置に並進させて、第1の画像をキャプチャすることと、標本ステージを第2の方向の第2の位置まで、基準点の第2の側の下方かつ第2の側の位置へと並進させて、第2の画像をキャプチャすることと、をさらに含む。
いくつかの例では、この方法は、第1の画像をキャプチャするために、標本ステージを第1の位置に回転させることと、第1の画像をトリミングして、第1の画像化アーチファクトを含む第1の画像の第1の部分を除去することと、標本ステージを第2の位置に回転させて、第2の画像をキャプチャすることと、第2の画像をトリミングして、第2の画像化アーチファクトを含む第2の画像の第2の部分を除去することと、第2の画像をデジタル回転させて、第2の画像の評価を開始することと、をさらに含む。
いくつかの例では、この方法は、検査装置のアパーチャスライダーを第1の方向に並進させて、検査装置の第1の画像化デバイスの下にアパーチャを配置して、第1の画像をキャプチャすることであって、第1の画像化デバイスは、基準点の第1の側の上方かつ第1の側に配置される、ことと、検査装置のアパーチャスライダーを第2の方向に並進させて、アパーチャを検査装置の第2の画像化デバイスの下に配置して、第2の画像をキャプチャすることであって、第2の画像化デバイスは、基準点の第2の側の上方かつ第2の側に配置されている、ことと、をさらに含む。
いくつかの例では、この方法は、検査システムのプラットフォームを並進させることであって、ライトのセットがプラットフォーム上に配置される、ことと、照明プロファイルを決定するために、ライトのセットの1つまたは複数の組み合わせをアクティブ化することと、標本の第1の画像を分析して標本分類を識別することと、標本分類に基づいて、照明プロファイルを選択することと、照明プロファイルに従ってプラットフォームとライトのセットを調整することと、をさらに含む。
いくつかの例では、この方法は、検査装置の画像化デバイスを第1の方向に回転させて、画像化デバイスを基準点の第1の側に配置して第1の画像をキャプチャすることと、検査装置の画像化デバイスを第2の方向に回転させて、画像化デバイスを基準点の第2の側に配置して、第2の画像をキャプチャすることと、をさらに含む。
いくつかの例では、この方法は、標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すことをさらに含む。
いくつかの例では、この方法は、第1の画像の第1の重複領域を第2の画像の第2の重複領域と比較して、第1の画像および第2の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定することをさらに含む。
いくつかの例では、標本ステージは、X軸、Y軸、Z軸、および回転軸に沿って移動可能である。
本開示の上記ならびに他の利点および特徴を得ることができる方法を説明するために、上で簡単に説明した原理のより具体的な説明は、添付の図面に示されているその特定の実施形態を参照することによって提供される。これらの図面は本開示の例示的な実施形態のみを描写し、したがってそれらの範囲を限定すると見なされるべきではないことを理解して、本明細書の原理は、以下の添付の図面を使用することにより、追加の特異性および詳細とともに記載および説明される。
標本を照明する照明空間を提供する照明源を示す図である。
画像化アセンブリによってキャプチャされた画像タイルを示す図である。
開示された主題のいくつかの実施形態によるマクロ(マクロ)検査システムの例を示す図である。
開示された主題のいくつかの実施形態によるライトリングアセンブリの上面図を示す図である。
開示された主題のいくつかの実施形態によるライトリングアセンブリの側面図を示す図である。
開示された主題のいくつかの実施形態による、標本を照明するための最大の無制限の照明ビームから生じる照明の円錐を示す図である。
開示された主題のいくつかの実施形態による、光偏向器の第1の位置への移動から生じる照明の円錐の最小化を示す図である。
開示された主題のいくつかの実施形態による、光偏向器の第2の位置への移動から生じる照明の円錐の最小化を示す図である。
開示された主題のいくつかの実施形態による、標本の第1の画像をキャプチャするための第1の位置にある画像化並進プラットフォームを含むマクロ検査システムを示す図である。
開示された主題のいくつかの実施形態による、標本の第2の画像をキャプチャして標本のアーチファクトのない画像を作成するために第2の位置に並進された画像化並進プラットフォームを含むマクロ検査システムを示す図である。
開示された主題のいくつかの実施形態による、ステージ並進、画像化アセンブリプラットフォーム並進、またはアパーチャ並進を使用して、第1の位置でキャプチャされた標本の第1の画像を示す図である。
開示された主題のいくつかの実施形態による、ステージ並進、画像化アセンブリプラットフォーム並進、またはアパーチャ並進を使用して、第2の位置でキャプチャされた標本の第2の画像を示す図である。
開示された主題のいくつかの実施形態による、標本の第1の画像および標本の第2の画像をつなぎ合わせることによって作成された標本のアーチファクトのない画像を示す図である。
開示された主題のいくつかの実施形態による画像化アセンブリを並進させることによって、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法を示す図である。
開示された主題のいくつかの実施形態による、標本ステージを並進させることによって、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法を示す図である。
開示された主題のいくつかの実施形態による、第1の位置で標本の第1の画像をキャプチャするための2つの画像化アセンブリおよび並進可能なアパーチャスライダーを含むマクロ検査システムを示す図である。
開示された主題のいくつかの実施形態による、第2の位置で標本の第2の画像をキャプチャするための2つの画像化アセンブリおよび並進可能なアパーチャスライダーを含むマクロ検査システムを示す図である。
開示された主題のいくつかの実施形態による、2つの画像化アセンブリおよび並進可能なアパーチャスライダーを使用して、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法を示す図である。
開示された主題のいくつかの実施形態による、アーチファクトのない画像を作成するために一方または両方を回転させることができる標本ステージおよび画像化アセンブリを含むマクロ検査システムを示す図である。
開示された主題のいくつかの実施形態による、マクロ検査システムの標本ステージを回転させることによって、標本の複合アーチファクトのない画像を作成するための方法を示す図である。
開示された主題のいくつかの実施形態による、標本ステージの初期位置でキャプチャされた例示的な画像を示す図である。
開示された主題のいくつかの実施形態による、画像化アーチファクトを含む画像の一部が画像からトリミングされる例示的な画像を示す図である。
開示された主題のいくつかの実施形態による、マクロ検査システムの標本ステージの回転を介して第2の位置でキャプチャされた例示的な画像を示す図である。
開示された主題のいくつかの実施形態による、画像化アーチファクトを含む画像の一部が画像からトリミングされる例示的な画像を示す図である。
開示された主題のいくつかの実施形態による、元の位置にデジタルで回転されているトリミングされた画像の例を示す図である。
開示された主題のいくつかの実施形態による、元の位置にデジタルで回転されたトリミングされた画像の例を示す図である。
開示された主題のいくつかの実施形態による、2つのトリミングされた画像をつなぎ合わせることによって生成された標本の合成アーチファクトのない画像を示す図である。
開示された主題のいくつかの実施形態による、異なる照明風景を達成するためにマクロ検査システムを較正するための例示的な較正方法を示す図である。
開示された主題のいくつかの実施形態による、所望の照明風景を達成するためにマクロシステムを使用して標本を照明するための例示的な方法を示す図である。
開示された主題のいくつかの実施形態による、標本分類を識別し、マクロ検査システムの照明風景を自動的に調整するための例示的な方法を示す図である。
開示された主題のいくつかの実施形態によるコンピュータ分析システムの実施形態の一般的な構成を示す図である。
開示された主題のいくつかの実施形態による、トレーニングデータを使用して、受信した標本走査で使用できる1つまたは複数の人工知能アルゴリズムをトレーニングして、受信した標本画像ごとに1つまたは複数の照明プロファイルを作成する例を示す図である。
開示された主題のいくつかの実施形態によれば、反射標本のマクロ検査のための機構(システム、方法、デバイス、装置などを含むことができる)が提供される。マクロ検査(検査と呼ばれることもある)とは、開示されたマクロ検査機構を使用した、標本の走査、画像化、分析、測定、およびその他の適切なレビューを指す。開示されたマクロ検査機構は、本明細書で説明されるように、それぞれが可変の照明風景を提供することができる1つまたは複数の照明モードを含む。以下の説明は、マクロ検査機構で実装される構成要素および方法に言及しているが、本明細書で説明される構成要素および方法は、顕微鏡検査システムでも実装することができる。
図2は、開示された主題のいくつかの実施形態によるマクロ(マクロ)検査システム100の例を示す。高レベルでは、マクロ検査システム100の基本的な構成要素は、いくつかの実施形態によれば、標本Sにライトを提供するための照明アセンブリ(例えば、ライトリングアセンブリ80)、集束レンズ34、画像化デバイス32、標本ステージ50、ハードウェア(例えば、本明細書に記載の動作を実行するように構成された1つまたは複数のプロセッサなど)、ソフトウェア、および/またはファームウェア、ならびにコンピュータ分析システム75を含む制御システム70を含む。マクロ検査システム100は、透過光または反射光を使用する光学検査システムの一部として実装することができる。
いくつかの実施形態では、図2、3Aおよび3Bに示されるように、ライトリングアセンブリ80は、(照明空間90によって表されるように)標本にライトを提供するためのマクロ検査システム100のための照明アセンブリとして使用され得る。1つまたは複数の個別のライト(例えば、LEDライトL1からLn)をライトリングアセンブリ80に取り付けることができる。個別のライトL1からLnは、任意のタイプの適切な照明技術に基づくことができ、以下を含むがこれらに限定されず、発光ダイオード(LED)、有機発光ダイオード(OLED)、蛍光、ハロゲン、白熱、光ファイバ、ガスプラズマ、ブラウン管(CRT)、液晶ディスプレイ(LCD)、レーザーなどである。各ライトは個別にアドレス指定できる。さらなる実施形態では、個々のライトをセクションに分割することができ(例えば、前部、後部、右、左などのライトリングアセンブリ上の位置によって)、各セクションをアドレス指定することができる。ソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)は、そのアドレスによって、各ライトまたはセクションのアクティブ化、強度、および/または色を制御することができる。例えば、制御システム70は、1つまたは複数のプロセッサおよび1つまたは複数のプロセッサによって実行された結果として、制御システム70に本明細書に記載の動作を実行させる命令を記憶するメモリを備える。場合によっては、制御システム70は、アプリケーションとして、または本明細書で説明される動作を実行するスタンドアロンコンピュータシステムとして実装される。アクティブ化とは、ライトのオンを指し、強度とは、ライトエネルギーが表面のユニットに供給される速度を指し、色とは、例えば、RGB(赤、緑、青)の色値を指す。ここで、各色の値は、例えば8ビットの色に基づいて0~255の整数として指定される。強度は、露出計、画像センサ、および/または他の適切な強度測定デバイスによって決定することができる。複数のライトL1からLnは、単色、多色、および/またはそれらの任意の組み合わせを投射するライトから構成することができる。
開示された主題のいくつかの実施形態によれば、各ライトL1からLnは、複数の方向から、異なる入射角で斜めの照明を提供することができる。本明細書に記載されているように、照明の角度を変えるための3つの方法は、(1)ライトリングアセンブリ80に取り付けられたライトの角度を変更することと、(2)ライトリングアセンブリ80をz方向に上下させることと、および/または(3)ライトからの照明ビームの一部が遮断されるように光偏向器を配置することと、を含む。
一実施形態では、各ライトは、標本ステージ50に保持されたときに、標本の標本面に対して所望の角度でライトリングアセンブリ80に取り付けることができる。さらなる実施形態では、各ライトの角度は、手動またはソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)により自動で制御することができる。ライトの角度は、個別に、または1つもしくは複数の他のライトと同時に制御できる。各ライトは、同じまたは異なる量の角度を付けることができる。
いくつかの実施形態では、ライトリングアセンブリ80は、マクロ検査システム100のガイドレール48に沿って移動可能であるように構成することができる。一例では、ライトリングアセンブリ80は、支持ロッド81aおよび81bならびにベアリング82aおよび82b(図3Aに示されるように)を備えたガイドレール48に取り付けることができる。照明アセンブリはリング形成に限定されないことに留意されたい。例えば、「マクロ検査システム、装置および方法」と題された米国特許出願第16/262,017号に記載されているように、他のタイプのライト形成が可能であり、これは参照によりその全体が本明細書に組み込まれる。さらに、ガイドレール48の高さに沿った異なる位置へのライトリングアセンブリ80の移動は、手動で、またはソフトウェア、ハードウェア、および/もしくはファームウェア(例えば、制御システム70)によって自動的に制御することができる。標本ステージ50に対するその高さに応じて、ライトリングアセンブリ80を使用して、標本ステージ50に保持されたときに標本に斜めまたは暗視野照明を提供することができる。例えば、可変角度の斜め照明を提供するために、ライトリングアセンブリ80は、そのライトが標本面(すなわち、標本ステージ50に配置されたときの標本の上面平面)の上の異なる高さに投射できるように配置することができる。いくつかの実施形態では、標本面は、マクロ検査システム100の焦点面(すなわち、標本が焦点を合わせている面)に対応する。さらなる例では、暗視野照明を提供するために、ライトリングアセンブリ80は、そのライトが、標本ステージ50上の標本の標本面と同じ、または実質的に同じレベルで投射され得るように配置され得、標本ステージ50に保持されたときに標本に暗視野照明を提供する。
本明細書で使用される場合:斜め照明は、90度未満および0度を超える、通常は1度を超える入射角で標本に向かって投射されるライトを指す。暗視野照明とは、1度未満、通常は0度の入射角で標本に向かって投射されるライトを指す。明視野照明とは、標本の平面に垂直な入射角(90度)で標本に向かって投射されるライトを指す。明視野照明は、レンズ34を通して照明を提供する光源を指すことができる。
標本ステージ50に対するその距離(d)に応じて、ライトリングアセンブリ80を使用して、標本ステージ50に保持されたときに標本に斜めまたは暗視野照明を提供することができる。斜めおよび暗視野照明を提供することは、「マクロ検査システム、装置および方法」と題された米国特許出願第16/262,017号に記載されており、これは参照によりその全体が本明細書に組み込まれる。いくつかの実施形態では、ライトリングアセンブリ80は、アセンブリからの照明が標本面に実質的に平行になるように配置され、標本ステージ50に保持されたときに標本に暗視野照明を提供することができる。実質的に平行であるとは、-1°から+1°の入射角を有し、位置合わせの欠陥を許容するものとして理解されるが、いくつかの実施形態では、照明は平面上、すなわち、0のadであり、それによって照明は標本の完全に平らな平面から伸びる特徴がある場合にのみ反射される。標本が完全に平坦で特徴がない場合、それはレンズ34に対して実質的に平行な照明のいずれも反射せず、レンズ34によって見られるそのような標本は照明されないであろう。突出した欠陥または他の特徴がある場合、ライトリングアセンブリ80からの照明は、そのような欠陥および/または特徴で反射し、レンズ34を介して画像化デバイス32によってキャプチャされる。標本ステージ50からの距離が0より大きい場合、ライトリングアセンブリ80を使用して、標本ステージ50に保持されたときに標本に斜めの照明を提供することができる。
図4A~4Cに示されるように、光偏向器83を使用して、各ライトLiの照明の円錐を調整することができる。各ライトLiは、ライトリングアセンブリ80から角度αで取り付けることができる。ライトリングアセンブリ80は、標本ステージ50に対して垂直に配置することができ、ライトは、0から90度、通常は0から60度(例えば、10度)の間の角度αで取り付けることができる。典型的なLEDライトは、約120度の円錐形の照明を有することができる。照明の円錐は、任意の2つのベクトルa、b、c、d、e、f、およびgで表される。ベクトルaおよびgは、図4Aに見られるように、最大の制限されていない照明ビームを表す。無制限のライトの照明の円錐はθ1で表される。例えば、図4Bおよび4Cに示される、光偏向器83は、照明の円錐を最小化するために、ライトの上に配置することができる。図4Bは、ベクトルa(点線で表される)を遮断し、ライトベクトルbからgが継続することを可能にするために第1の位置に移動された光偏向器83を示す。この制限されたライトの照明の円錐はθ2で表され、θ1よりも小さい円錐を有している。図4Cは、光偏向器83が第2の位置に移動し、ベクトルa、bおよびc(点線で表される)を遮断し、ベクトルd、e、fおよびgが継続することを可能にすることを示す。この制限されたライトの照明の円錐はθ3であり、その照明の円錐はθ1とθ2の両方よりも小さくなっている。αとθは、特定の標本の特徴を示すために標本を照らす照明角度を提供するように調整できる。例えば、一般に、エッジを規定するには照明の角度を大きくする方が適切であるが、バンプを規定するには照明の角度を低くする方が一般的に適している。いくつかの実施形態では、単一の光偏向器を使用して、すべてのライトの照明の円錐を制御し、他の実施形態では、個々の光偏向器を使用して、各ライトの照明の円錐を制御することができる。各ライトの照明の円錐は、同じでも異なっていてもかまわない。
偏向器83は、図4A~4Cに示されるように、上から下に下げられ、下から上へ、または両方向に移動するように構成することもできる。検査されている特徴に関係なく、偏向器83は、ライトが画像化デバイスに向けられて、キャプチャされた画像に画像化アーチファクト(imaging artifact)を引き起こすのを防ぐように配置することができる。いくつかの実施形態では、偏向器83は、ライトを標本にのみ向けるように配置することができる。ドームがマクロ検査システム100に含まれる実施形態では、偏向器83は、ライトをドーム、標本、ならびに/またはドームおよび標本に偏向させるように調整することができる。単一または個別の光偏向器83は、手動で、またはソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)によって自動的に制御することができる。図4A~4Cに示されるように、調整ねじ86は、光偏向器83を調整するために使用することができる機構の一例である。
いくつかの実施形態では、XYZθ並進ステージを標本ステージ50に使用することができる。標本ステージ50は、ステッピングモーター、サーバーモーター、リニアモーター、ピエゾモーター、および/または手動機構を含む他の任意の適切な機構によって駆動することができる。標本ステージ50は、物体をX軸、Y軸、Z軸および/またはθ方向に手動でおよび/または任意の適切なコントローラ(例えば、制御システム70)の制御下で移動させるように構成することができる。アクチュエータ(例えば、アクチュエータ39)を使用して、例えば、0から5mm、0から10mm、0から30mm、および/または他の任意の適切な距離範囲の粗い焦点調整を行うことができる。アクチュエータはまた、いくつかの実施形態において、例えば、0から50μm、0から100μm、0から200μm、および/または任意の他の適切な距離範囲の微細な焦点を提供するために使用され得る。当業者は、XYZθ並進ステージが単なる一例であり、他の適切なステージ(例えば、XYZ並進ステージ、θ並進ステージ、Z並進ステージ)を使用できることを理解するであろう。
いくつかの実施形態では、一緒に画像化アセンブリ33を形成するレンズ34および画像化デバイス32は、標本ステージ50の上の並進アセンブリ上で支持され得る。並進アセンブリは、画像化並進プラットフォーム44を含み、これは、画像化アセンブリ33をX軸、Y軸、および/またはθ方向に手動で、および/または任意の適切なコントローラ(例えば、制御システム70)の制御下で移動するように構成することができる。上部支持フレーム46はまた、制限(例えば、左右の制限43aおよび43b)および/または画像化並進プラットフォーム44を位置合わせするためのエンコーダ45を含むことができる。制限は、画像化並進プラットフォーム44の適切な位置合わせを示すための物理的停止またはスイッチ(光学的、機械的、電子的または他のもの)であり得る。スイッチは、制御システム70によって制御され得て、画像化並進プラットフォーム44が特定の位置合わせにあるときにのみ画像を撮影できるようにするか、またはリミットスイッチがアクティブ化されたときに画像を自動的にキャプチャする(例えば、画像化並進プラットフォーム44を制限43aおよび43b内に配置することによって)。エンコーダ45は、プラットフォーム44の位置をより正確に示すために使用することができ、プラットフォーム44が特定の位置にあるときにのみ画像化を可能にするか、または画像化を自動的にトリガーするために使用することができる。いくつかの実施形態では、上部支持フレーム46は、ガイドレール48に沿ってZ軸方向に移動可能であるように構成することができる。焦点を調整するために、上部支持フレーム46を上下させることができ、支持フレーム46に結合された画像化アセンブリ33を、標本ステージ50に近づけるか、または遠ざける。さらに、ガイドレール48の高さに沿った異なる位置への上部支持フレーム46の移動は、手動で、またはソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)によって自動的に制御することができる。他の実施形態では、画像化デバイスは、上部支持フレーム46に直接取り付けられ得、同様の方法で、X軸、Y軸、Z軸、および/またはθ方向に並進可能である。
レンズ34は、異なる倍率を有することができ、および/または明視野、暗視野または斜め照明、偏光、交差偏光、微分干渉コントラスト(DIC)、位相差および/または照明の他の任意の適切な形態で動作するように構成することができる。マクロ検査システム100に使用されるレンズのタイプは、例えば、視野、アパーチャ数などの所望の特性に基づくことができる。いくつかの実施形態では、レンズ34は、単一の視野内で標本を観察するために使用することができるマクロレンズであり得る。当業者によって理解される視野という用語は、画像センサによって一度にキャプチャされる検査領域を指すことに留意されたい。
標本ステージ50上の標本の照明は、画像化デバイス32(例えば、カメラ)に取り付けられたレンズ34まで反射し、画像化デバイス32は、画像化空間92内の標本の画像および/またはビデオをキャプチャすることができる。いくつかの実施形態では、画像化デバイス32は、カメラが標本、ステージ、および/または標本上の特徴に位置合わせされることを可能にするように構成された、画像センサを含む回転可能なカメラであり得る。画像センサは、例えば、電荷結合デバイス(CCD)、相補型金属酸化膜半導体(CMOS)画像センサ、および/またはライトを1つまたは複数の電気信号に変換する他の任意の適切な電子デバイスであり得る。そのような電気信号は、物体の画像および/またはビデオを形成するために使用することができる。いくつかの実施形態では、そのような電気信号は、マクロ検査システム100に接続された表示画面に表示するために送信される。マクロ検査システム100によって使用することができるカメラを回転させるためのいくつかの例示的な方法は、「顕微鏡検査における大面積画像化を容易にするためのカメラおよび物体の位置合わせ」と題する米国特許第10,048,477号に記載されており、これは参照によりその全体が本明細書に組み込まれる。
いくつかの実施形態では、マクロ検査システム100は、図2に示されるように、バリア、例えば、ドーム42を含むことができる。それは、標本から反射されて標本に向かって戻るライトを反射するように構成されている。ドーム42は、反射したライトを拡散して標本に戻し、より均一な照明フィールドを提供する。ドーム型のバリアが示されているが、球、円錐、立方体、または菱面体などの任意の3次元の多面体形状を含む他の形状のバリアを使用して、様々な拡散角度を提供できる。いくつかの実施形態では、光拡散器は、ドームまたは他の形状のバリアの形状で形成され、他の実施形態では、ドームまたは他のバリアは、任意の材料であることができるが、光拡散塗料で塗装される。ドーム42は、画像化アセンブリ33に結合することができるので、画像化アセンブリ33が動かされると、ドーム42はそれに沿って動く。
単一のライトまたは複数のライトをアクティブ化して、標本面の視野の一部または全体を照らすことができる。検査される標本のタイプ、検査される特徴のタイプ、標本上の関心領域、および/または他の適切な基準は、どのライトがどの色および/または強度でアクティブ化されるかを決定することができる。さらに、ソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)は、個々のライトの角度を、または1つもしくは複数の他のライトと同時に制御することができる。いくつかの実施形態では、角度を手動で変更することができる。各ライトは、同じまたは異なる量の角度を付けることができる。いくつかの実施形態では、ライトはドーム42に向けられるのではなく、標本に向けられ、ドーム42から反射されて、より拡散して標本に戻る。
個々のライトは、個別にまたは一緒にライトのベクトルを放出して、標本平面上の特定の領域)「照明領域」(を照明することができる。この照明領域の大きさは、標本の一部を照明することから、標本平面全体を包含することまで変化し得る。照明の面積は、ベクトルで表される光線に沿った標本平面の上、下、または上の様々な軸方向の位置(例えば、標本ステージ50の上部、標本平面の上部、焦点面など)で計算できる。各ライトのベクトルによってカバーされる領域は、隣接するライトバーから放出されるライトのベクトルによってカバーされる領域と部分的に重複するか、まったく重複しない可能性がある。いくつかの実施形態では、1つまたは複数の集束レンズおよび/またはコリメートレンズを使用して、各ライトベクトルの領域を、標本ステージ50上の標本に適した領域に集束させることができる。
いくつかの実施形態では、単一の照明ベクトルは、1度以上から180度以下(60以上から10,800分以下のアーク)の範囲である。他の実施形態では、単一の照明ベクトルは、45度以上から120度以下(2,700以上から7,200分以下のアーク)の範囲であり、他の実施形態では、30度以上から45度以下(1,800以上から2,700分以下のアーク)、他の実施形態では、10度以上から30度以下(600以上から1,800分以下のアーク)、他の実施形態では、5度以上から10度以下(300以上から600分以下のアーク)、他の実施形態では、2度以上から5度以下(120以上から300分以下のアーク)である。ベクトルは、標本の位置に対するライトアセンブリリング80のアクティブ化されたライトの数および位置に依存する。
ライトリングアセンブリ80は、ライトの数、個々のライトのサイズ、個々のライトの円錐角、ライト間のピッチ(p)、およびライトとライトが投影される領域との間の距離に関して変化し得る。いくつかの実施形態では、標本ステージ50のサイズ、レンズ34の仕様、検査されている標本のサイズおよび/もしくはタイプ、ならびに/または検査されている標本の特徴は、例えば、ライトの配置(リング内であろうと他の配置であろうと)、ライトの総数、距離、および/またはピッチ(p)を含む、ライトアセンブリリング80上のライトの構成を決定することができる。
図4A~4Cの照明の例から一般的に理解されるべきであるように、本発明の様々な実施形態は、暗視野照明、可変斜角での照明、および明視野照明を可能にする。
いくつかの実施形態では、制御システム70は、コントローラおよびコントローラインターフェースを含み、マクロ検査システム100(例えば、ライトの強度、ライトの色、1つまたは複数のライトのオンとオフの切り替え、1つまたは複数のライトの枢動またはその他の移動(例えば、ライトの角度の変更)、ライトリングアセンブリ80の移動(例えば、z方向)、画像化プラットフォーム44の移動、標本ステージ50または150の移動(x、y、θ、および/またはz方向)、レンズ34の移動(x、y、θ、および/またはz方向)、画像化並進プラットフォーム44の移動、画像化アセンブリ33による画像データの記録、画像化アセンブリ33の回転または移動、照明データの処理、画像データの処理)の任意の設定を制御できる。本明細書に記載の制御システム70および適用可能なコンピューティングシステムおよび構成要素は、例えば、コンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)およびデジタルシグナルプロセッサ(DSP)(いずれもハードウェアプロセッサと呼ぶことができる)、エンコーダ、エンコーダを読み取るための回路、メモリデバイス(1つまたは複数のEPROM、1つまたは複数のEEPROM、ダイナミックランダムアクセスメモリを含む)、「DRAM」(、スタティックランダムアクセスメモリ)「SRAM」(、および/またはフラッシュメモリ)、および/またはその他の適切なハードウェア要素などの任意の適切なハードウェア(いくつかの実施形態ではソフトウェアを実行できる)を含むことができる。いくつかの実施形態では、マクロ検査システム100内の個々の構成要素は、個々の構成要素を制御し、マクロ検査システム100内の他の構成要素と通信するための独自のソフトウェア、ファームウェア、および/またはハードウェアを含むことができる。
いくつかの実施形態では、制御システム(例えば、コントローラおよびコントローラインターフェース)とマクロ検査システム100の構成要素との間の通信は、任意の適切な通信技術を使用でき、例えば、アナログ技術(例えば、リレーロジック)、デジタル技術(例えば、RS232、イーサネット、またはワイヤレス)、ネットワーク技術(例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、Bluetooth技術、近距離通信技術、セキュアRF技術、および/またはその他の適切な通信技術である。
いくつかの実施形態では、オペレータ入力は、任意の適切な入力デバイス(例えば、キーボード、マウス、ジョイスティック、タッチ)を使用して、制御システム70に通信することができる。
いくつかの実施形態では、制御システム70は、複数のライトのうちの1つまたは複数のアクティブ化、強度、および/または色、ならびにライトL1からLnおよび/またはライトリングアセンブリ80の位置を制御(例えば、ライトリングアセンブリの高さを調整するか、ライトを枢動させることにより)し、標本ステージ50に配置されたときに、標本に可変照明風景を提供する。照明風景とは、標本に向けられた複数のライトのうちの1つまたは複数からのライトのアクティブ化および分布の結果としての、標本の関心領域におけるライトの色および/または強度を指す。照明風景は、レンズ34を通して見られる画像および/または画像化デバイス32によってキャプチャされた画像に影響を与え得る。制御システム70は、複数のライトのうちの1つまたは複数の強度を制御して、標本面および/または標本ステージ50上に所望の照明風景を提供することができる。例えば、制御システム70は、複数のライトのうちの1つまたは複数の強度を制御して、標本面および/または標本ステージ50上に均一な強度の照明風景を提供することができる。提供される照明風景のタイプは、標本のタイプ、標本の機械的および/または物理的特性(例えば、標本のサイズ、標本の反射率)、検査される標本の特徴、製造および/または検査プロセスの特定のステージ、またはいくつかのその他の適切な変数により、個別に、またはそれらの任意の組み合わせで決定できる。
いくつかの実施形態では、コンピュータ分析システム75は、任意の適切な通信技術を使用して、任意の適切な方法でマクロ検査システム100に結合または含まれ得、例えば、アナログ技術(例えば、リレーロジック)、デジタル技術(例えば、RS232、イーサネット、またはワイヤレス)、ネットワーク技術(例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット)Bluetooth技術、近距離通信技術、セキュアRF技術、および/またはその他の適切な通信技術である。コンピュータ分析システム75、およびコンピュータ分析システム75内のモジュールは、マクロ検査システム100によって出力され、および/またはコンピュータ可読媒体によって記憶された画像を使用して、本明細書でさらに説明されるいくつかの機能を実行するように構成することができる。
コンピュータ分析システム75は、任意の適切なハードウェア(いくつかの実施形態ではソフトウェアを実行することができる)を含むことができ、例えば、コンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、およびデジタル信号プロセッサ(DSP)(いずれもハードウェアプロセッサと呼ぶことができる)、エンコーダ、エンコーダを読み取るための回路、メモリデバイス(1つまたは複数のEPROM、1つまたは複数のEEPROM、ダイナミックランダムアクセスメモリ(「DRAM」)、スタティックランダムアクセスメモリ(「SRAM」)、および/またはフラッシュメモリを含む)、および/またはその他の適切なハードウェア要素などである。
制御システム70およびコンピュータ分析システム75がマクロ検査システム100の別個の構成要素として図2に示されているが、制御システム70およびコンピュータ分析システム75の他の実装は、本開示の範囲内にあることに留意されたい。例えば、一実施形態では、コンピュータ分析システム75は、制御システム70のアプリケーションまたは他の実行可能プロセスとして実装される。さらに、コンピュータ分析システム75は、マクロ検査システム100の構成要素として示されているが、コンピュータ分析システム75は、インターネットまたは他のネットワークなどの通信ネットワークを介してアクセスされる別個のシステムとして実装することができる。
コンピュータ可読媒体は、コンピュータによってアクセスすることができる任意の非一時的媒体であり得、揮発性および不揮発性媒体、取り外し可能および取り外し不可能な媒体の両方を含む。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含むことができる。コンピュータストレージ媒体は、以下を含むが、これに限定されず、RAM、ROM、EEPROM、フラッシュメモリまたはその他のメモリ技術、CD-ROM、デジタルビデオディスク(DVD)またはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、または、所望の情報を記憶するために使用でき、コンピュータからアクセスできるその他の媒体である。
図5Aおよび5B、ならびに図6A~6Cは、ステージ50に配置されたときに、画像化並進プラットフォーム44を標本中心線A2の左右に並進させることによって標本のアーチファクトのない画像を作成するためのマクロ検査システム100および画像化方法の実施形態を示す。画像化並進プラットフォーム44を並進させることにより、画像化アセンブリ33の光学的中心線A1は、ステージ50上に配置された標本A2の中心線からオフセットされ得る。オフセット量は十分でなければならず、そのため、画像化アーチファクト全体、または画像化アーチファクト全体といくつかの追加の空間が、標本の中心線A2の片側のキャプチャされた画像に表示される(例えば、図6Aおよび6Bに示されるように)。中心線A2からの画像化アセンブリのA1のオフセットのサイズ(少なくともアーチファクト全体が中心線A2の片側に表示されるように)は、通常、キャプチャされた画像に表示されるアーチファクトのサイズと同じであることに留意されたい。
本出願における画像化アセンブリ33の移動または並進へのすべての言及は、並進機構(例えば、画像化並進プラットフォーム44)を介した画像化アセンブリ33の移動または並進を指す。また、本明細書の図は、中心線A1またはA2を使用することを指しており、基準点の例があり、他の基準点を使用して、物品のない画像をキャプチャすることができる。
図6A、6B、および6Cは、3つの異なるモード、すなわちステージ並進、画像化アセンブリプラットフォーム並進、またはアパーチャスライダ並進の下でキャプチャできる画像を示す。
本明細書で使用されるアーチファクトのないことは、画像化アセンブリおよび/または照明ホットスポットの反射を含まない画像を指す。図5Aおよび5Bに示されるようなマクロ検査システム100の実施形態は、画像化空間92または照明空間90を示さないが、図2に示されるような画像化および照明空間の概念は、すべての実施形態に適用されることに留意されたい。
図5Aおよび5Bに示されるように、画像化並進プラットフォームは、2つの位置の間で並進させることができる:標本中心線A2の右および左。図5Aにおいて、画像化並進プラットフォーム44は、中心線A2の左側に配置され、その結果、画像化アセンブリ33がその位置で標本の画像をキャプチャするとき、画像化アセンブリ33の反射からの画像化アーチファクトは、中心線A2の右側に現れない。図6Aは、画像化アセンブリが中心線A2の左側に配置されたときにキャプチャされ得る例示的な画像105を示す(図5Aに示されるように)。画像105でキャプチャされたように、標本の特徴X1とX2は中心線A2の左側と右側に表示される。画像にキャプチャされた画像化アセンブリの反射を表す画像化アーチファクト26は、左側(すなわち、画像がキャプチャされたときに画像化アセンブリ33が配置されたのと同じ側)に表示される。アーチファクトのない画像の部分は、境界ボックス114で示される(右側の線R1と左側の線R2と一致する)。
図5Bにおいて、画像化並進プラットフォーム44は、中心線A2の右側の反対側に配置され、そのため、画像化アセンブリ33がその位置で標本の画像をキャプチャするとき、画像化アセンブリ33の反射からの画像化アーチファクトは、中心線A2の左側に現れない。図6Bは、画像化アセンブリが中心線A2の右側に配置されたときにキャプチャされ得る例示的な画像106を示す(図5Bに示されるように)。画像化アーチファクト26は、画像106の右側に表示される(すなわち、画像がキャプチャされたときに画像化アセンブリ33が配置されたのと同じ側)。アーチファクトのない画像の部分は、境界ボックス114で示される(右側の線R3と左側の線R4と一致する)。
図7は、図5Aおよび5Bに示されるように、マクロ検査システム100の実施形態を使用して、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法700を示す。
710において、マクロ検査システム100は、検査される標本ではなく、マクロ検査ツールに固有のパラメータを調整することによって初期化することができる。このようなパラメータには、焦点、倍率、DICプリズム、視野が含まれ得るが、これらに限定されない。検査システム100の焦点は、サンプル標本を使用して画像化アセンブリ33と標本ステージ50との間の適切な距離を決定し、画像化アセンブリ33または標本ステージ50、あるいは所望の焦点が達成されるまでその両方をさらに離してまたは互いに近づけることによって較正することができる。焦点は、手動で、またはソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)によって自動的に制御することができる。画像化アセンブリ33およびステージ50の位置、ならびに初期化時に使用されるそれらの間の距離は、ローカルまたはリモートメモリに記憶することができる。標本または標本分類グループを表す参照標本を使用して、検査される標本に固有のパラメータを設定することもできる。標本は、標本のタイプによって、類似の機械的および/または物理的な標本の特性(例えば、類似の反射特性、類似のサイズ寸法)によって、特徴タイプによって、製造プロセスおよび/または検査ステップによって、関心領域および/またはその他の適切な分類グループによりグループ化できる。検査される標本に固有のパラメータは、倍率、焦点、露光量の調整、照明の調整を含み得る(例えば、選択されたライトをアクティブ化し、ライトの強度レベル、選択された各ライトの色および/または入射角を調整する)。焦点は、例えば、ステージ50をz方向に動かす機構39によって、または画像化アセンブリ33をz方向に上下させることによって、標本と画像化アセンブリ33との間の距離を変えることによって調整することができることに留意されたい。露出時間、ゲイン、オフセットなど、カメラの設定を調整することで露出を設定できる。標本の初期パラメータは、ローカルまたはリモートメモリに記憶できる。画像処理を含む照明を調整するための例示的な方法は、「マクロ検査システム、装置および方法」と題された米国特許出願第16/262,017号に記載されており、これは参照によりその全体が本明細書に組み込まれる。
720で、画像化アセンブリ33は、中心線A2の右または左のいずれかに、キャプチャされた画像に表示されるアーチファクトのサイズ以上の範囲を並進され得、参照画像はキャプチャされ得る。図6Aおよび6Bに示されるように、画像化アーチファクト26は、中心線A2の、参照画像をキャプチャしたときの画像化アセンブリ33の位置と同じ側の参照画像に表示される。中心線A2の画像化アセンブリ33の反対側にある参照画像の部分には、アーチファクトがない。いくつかの実施形態では、画像化アセンブリ33は、中心線A2の右に十分遠く、または左に十分遠くに配置することができる。そのため、キャプチャされた画像では、画像化アーチファクト26は中心線A2に正確に表示されないが、画像化アーチファクトと中心線A2の間に追加の空間(図6Aおよび6Bに示すように、重複118のそれぞれLおよびR)がある。参照画像をキャプチャする前に、標本をステージ50に位置合わせし、画像化アセンブリ33をステージ50に対して配置することができる。標本の画像が画像化アセンブリ33によってキャプチャされたときに、標本の所定のエッジまたは標本の特定の特徴(個別にまたは集合的に、「標本重複特徴」)が画像重複領域118内に入るようにする。重複領域は、中心線A2のいずれかの側に配置されたときに、画像化アセンブリ33によってキャプチャされた画像の同じx、y位置における所定の数のピクセル(例えば、1~10ピクセル)を指す。画像105の境界ボックス114(図6Aに示される)および画像106の境界ボックス115(図6Bに示される)の影付き領域は、中心線A2の右または左に配置された場合の画像化アセンブリにより、キャプチャされた画像において同じ(または重複する)アーチファクトのない領域を表す。参照画像と第2の画像の重複領域を使用して、2つの画像を比較し、倍率、焦点、および/または露出に関して参照画像に最も類似している第2の画像を選択することができる。参照画像と最も類似するように選択された画像は、デジタルでつなぎ合わせて(「つなぎ合わせられた」または「つなぎ合わせ」とも呼ばれる)、標本の複合アーチファクトのない画像(例えば、図6Cに示す画像120)を形成することができる。図6Cに示すように、A3は、重複領域で選択された線である。
730で、画像化アセンブリ33は、ステップ720でのその位置とは反対に、中心線A2の反対側に並進される。いくつかの実施形態では、画像化アセンブリ33は、画像化アーチファクト26と中心線A2との間に追加の空間を作り出すために十分に遠くに配置される(例えば、画像重複領域118のRまたはL)。
740で、画像化アセンブリ33が適切に位置合わせされると、画像化アセンブリ33は、画像をキャプチャするときの画像化アセンブリ33の位置と同じ側の中心線A2に画像化アーチファクトを含む標本の画像をキャプチャする。中心線の反対側の画像にはアーチファクトがない。キャプチャされた画像の重複領域118は、参照画像の重複領域と比較することができ、焦点、露出、照明、および/または他のパラメータに変更を加えることができる。参照画像とキャプチャされた画像の焦点、露出、照明、および/または他のパラメータが同じであるか、または実質的に類似しているようにする。重複領域118の比較は、手動またはソフトウェア、ハードウェア、および/またはファームウェアによって(例えば、制御システム70および/またはコンピュータ分析システム75によって)自動で実行することができる。画像化アセンブリ33は、キャプチャされた画像が参照画像(「一致する画像」)の焦点、露出、照明、および/または他のパラメータと一致すると決定されるまで、標本の画像のキャプチャを続行することができる。画像化アーチファクトを含む参照画像および一致する画像の部分は、画像からトリミング(cropped)することができ、その結果、残りの部分には、アーチファクトがない(例えば、図6AのR1およびR2によって境界が定められた領域、ならびに図6BのR3およびR4によって境界が定められた領域)。
750で、一致する画像のアーチファクトのない部分を、参照画像のアーチファクトのない部分と一緒につなぎ合わせて、標本の複合アーチファクトのない画像(例えば、図6Cに示されるような画像120)を形成することができる。つなぎ合わせは、参照画像の重複領域118に表示される標本の重複特徴を、一致する画像の重複領域118に表示される標本の重複特徴と位置合わせすることによって実行することができる。制御システム70および/またはコンピュータ分析システム75は、各画像の重複領域を比較し、標本の重複特徴が位置合わせするように画像の位置をデジタルで調整することができる。他の実施形態では、標本と画像化アセンブリ33は、キャプチャされた画像の重複領域が同じ特徴を含むように正確に位置合わせされており、つなぎ合わせは、重複領域の正確な位置(例えば、x/y座標)に基づくことができる。いくつかの実施形態では、参照画像と一致する画像のアーチファクトのない部分は、位置合わせのために任意の重複領域を使用せずに、直接つなぎ合わせる(stitched)ことができる。
別の実施形態では、画像化アセンブリ33は固定されたままであり得、標本ステージ(すなわち、中心線A2)は、上記のように、アーチファクトのサイズ以上のオフセット量で、画像化アセンブリ33(すなわち、光学中心線Al)の左または右に並進させることができる。図8は、標本ステージ50を並進させることによって標本のアーチファクトのない画像を作成するための例示的な画像化方法800を示す。
図7に関連して説明した方法と同様に、同じプロセスを繰り返すことができ、(例えば、ステップ810(マクロ検査ツールおよび検査される標本のパラメータを初期化する)、ステップ840(参照画像と第2の画像を比較する、画像が一致しない場合、一致する画像がキャプチャされるまでマクロ検査システム100に適切な調整を行う)および850(画像化アーチファクトを含む一致する画像と参照画像の部分をトリミングし、アーチファクトのない画像をつなぎ合わせる))、画像化アセンブリ33が固定されたままであることを除いて、ステージ50は、光学中心線Alの右または左に移動されて、光学中心線の両側の標本の画像をキャプチャする(ステップ820および830)。さらに、図7に関連して説明した方法と同様に、ステップ840および850は、制御システム70および/またはコンピュータ分析システム75によって実行することができる。
図10とともに図9Aおよび9Bは、マクロ検査システム100の実施形態と、2つの画像化アセンブリ68および69ならびに並進可能なアパーチャスライダー65を使用することによって、標本のアーチファクトのない画像を作成するための画像化方法とを示す。
図9Aおよび9Bに示されるように、マクロ検査システム100は、以下を含むことができ、(i)それらの光学的中心線B1およびB2がそれぞれ中心線A2からおよびその反対側にオフセットされるように配置された2つの画像化アセンブリ68および69、(ii)単一の開口、アパーチャ(開口部)66を有する並進可能なアパーチャスライダー65である。オフセット量は十分でなければならないため、画像化アーチファクト全体、または画像化アーチファクト全体といくつかの追加の空間が、標本の中心線A2の片側(つまり、画像を撮影する画像化アセンブリと同じ側)のキャプチャされた画像に表示される。
この構成では、画像化アセンブリおよび標本ステージは固定されたままであり、一方、アパーチャスライダー65は、一度に1つの画像化アセンブリ(68または69)の下にアパーチャ66を配置するために線形運動で並進(translated)することができる。図9Aにおいて、アパーチャスライダー65は、アパーチャスライダーガイドレール67に沿って並進される。そのため、アパーチャ66は画像化アセンブリ68の下(A2の左側)に配置され、残りのアパーチャスライダー65の一部は、画像化アセンブリ69が画像化アセンブリ68によってキャプチャされた標本の画像に反射されるのを阻止する。同様に、アパーチャスライダー65が並進されるため、アパーチャ66がA2の右側の画像化アセンブリ69の下に配置される場合(図9Bに示されるように)、アパーチャスライダー65の残りの部分は、画像化アセンブリ68を遮断する。そのため、画像化アセンブリ68は、画像化アセンブリ69によってキャプチャされた画像に反射されない。アパーチャスライダー65は、手動で、またはソフトウェア、ハードウェア、および/またはファームウェア(例えば、制御システム70)によって自動的に制御することができる。さらに、アパーチャスライダー65は、いずれかの画像化アセンブリの画像化フィールドを妨害することなく、可能な限り最小の直径を有するように設計することができる。追加の実施形態では、ドーム42をアパーチャスライダー65に結合し、アパーチャ66で配置して、標本から反射されたライトを拡散させることができる。
アパーチャスライダー65は、その形状を維持する金属、プラスチック、または他の材料で作ることができることに留意されたい。いくつかの実施形態では、スライダー65は、画像化空間92に干渉しないように、可能な限り薄い(通常、1から5ミリメートル)。ドームが取り付けられていない場合、スライダー65は、ライトが反射されるのを防ぐために、反射材料または光吸収材料のいずれかであり得る。アパーチャ66は、遮るもののない開口にすることも、レンズを取り付けることもできる。
図6Aに示されるような画像105は、アパーチャ66が、中心線A2の左側に位置する画像化アセンブリ68の下に配置されるときにキャプチャされ得る(図9Aに示されるように)。画像化アーチファクト26が左側に表示される(つまり、画像がキャプチャされたときにアパーチャ66が配置されたのと同じ側)。対照的に、図6Bに示されるような画像106は、アパーチャ66が、中心線A2の右側に位置する画像化アセンブリ69の下に配置されるときにキャプチャされ得る(図9Bに示されるように)。画像化アーチファクト26が右側に表示される(つまり、画像がキャプチャされたときにアパーチャ66が配置されたのと同じ側)。
図10は、図9Aおよび9Bに示されるマクロ検査100の実施形態を使用してアパーチャスライダーを並進させることによって標本のアーチファクトのない画像を作成するための例示的な画像化方法1000を示す。
図7に関連して説明した方法と同様に、同じプロセスを繰り返すことができる(例えば、ステップ1010(マクロ検査ツールと検査される標本のパラメータを初期化する)、ステップ1040(参照画像と第2の画像を比較し、一致する画像が見つかるまでマクロ検査システム100を調整する)および1050(画像化アーチファクトを含む一致する画像と参照画像の一部をトリミングし、一致する画像をつなぎ合わせる))、しかし、画像化アセンブリまたは標本ステージを中心線A2の反対側に移動する代わりに、次に、スライダーのアパーチャが各画像化アセンブリの下に配置され(例えば、ステップ1020および1030)、標本の画像をキャプチャし、それらをつなぎ合わせて、標本のアーチファクトのない複合画像にする。さらに、図7に関連して説明した方法と同様に、ステップ1040および1050は、制御システム70および/またはコンピュータ分析システム75によって実行することができる。
図12とともに、図11は、マクロ検査システム100の標本ステージ150および/または画像化並進プラットフォーム151を回転させることによってマクロ検査システム100の実施形態と、標本のアーチファクトのない画像を作成するための画像化方法とを示す。
図11に示されるように、画像化アセンブリ33およびドーム42(含まれる場合)は、ステージ150(θステージとしても知られる)からオフセットすることができ、ステージ上に配置されたときの標本の中心線が光学中心線A1の右側(または左側)になるようにする。オフセット量は、画像化アーチファクト全体、または画像化アーチファクト全体といくつかの追加の空間が標本の中心線A2の片側のキャプチャされた画像に表示されるように十分でなければならない(つまり、画像を撮影する画像化アセンブリと同じ側にある)。(図5Aおよび5Bに示されるように)画像化アセンブリ33またはステージ150を横方向に並進させる代わりに、標本ステージ150または画像化並進プラットフォーム151のいずれかを、A2に位置する回転中心を中心に回転させることができる。回転中心は、標本の中心線と一致している必要はないことに留意されたい。
図12は、図11に示されるマクロ検査100の実施形態を使用して標本ステージを回転させることによって、標本のアーチファクトのない画像を作成するための例示的な画像化方法1200を示す。
1210において、図7に関連して記載された方法と同様に、マクロ検査システム100のパラメータおよび標本固有のパラメータが初期化される。
1220で、画像は、回転する標本ステージ150の初期位置でキャプチャされる。図13Aは、標本ステージ150(図11に示される)が初期位置にあるときにキャプチャされ得る例示的な画像160を示す。画像160は、右上に特徴X1、左下に特徴X2を有する標本を示す。アーチファクト26は画像の左手部分に表示される。境界ボックス162は、画像化アーチファクト26を含まない画像の部分を示す。線A2は、標本の中心線を示す。線A2を使用して、つなぎ合わせる標本のアーチファクトのない画像を垂直方向に位置合わせすることもできる。
1230で、画像化アーチファクト26を含む画像の部分は、画像からトリミングすることができ(図13Bに示されるように)、標本の右側を表す境界ボックス162内に画像の一部のみを残す。特徴X2を含む標本の部分は境界ボックス162内にあり、境界ボックス162はまた、標本の中心線A2の両側に領域を組み込んで、画像全体を位置合わせおよびつなぎ合わせるために使用できる重複領域を作成することに留意されたい。ステップ1230は、いくつかの例では、制御システム70および/またはコンピュータ分析システム75によって実行される。
1240において、ステージは、時計回りまたは反時計回りの方向に、第1の位置から第2の位置まで、180°または他の適切な量だけ回転させることができる。標本の画像は、この第2の位置でキャプチャできる。例示的な画像が図13Cに示されている。標本が回転されたので、特徴X1およびX2は、図13Aに示される画像160にキャプチャされたように、それらの元の位置とは反対側に表示されることに留意されたい。境界ボックス164は、画像内の標本のうち、画像化アーチファクト26を示さない部分を示す。特徴X1を含む標本の位置は境界ボックス内にあり、境界ボックスには標本の中心線A2の両側に領域が組み込まれて重複領域が作成されていることに留意されたい。標本ステージ150は、回転が2つの画像をキャプチャするのに十分であり、一緒につなぎ合わされたときに画像化アーチファクト26を含まずに標本を再現する限り、180°以外の量で回転させることができることに留意されたい。
1250で、画像化アーチファクト26を含む画像の部分は、画像からトリミングされ(図13Dに示されるように)、標本の左手部分を表す境界ボックス164内の画像の部分、または特徴X1を含む標本の部分のみを残す。
図13E~13Fに示されるように、1260で、トリミングされた画像164は、特徴X1が元の位置(左下)に表示されるようにデジタルで回転させることができる。図7に関連して説明したように、2つの画像の重複領域を比較することができる。画像が一致しない場合、マクロ検査システム100の焦点、露出、照明、および/または他のパラメータを調整し、一致する画像のペアが見つかるまで新しい画像をキャプチャすることができる。
一致する画像が見つけられたら、図13Gに示すように、トリミングされた画像164をトリミングされた画像162と一緒につなぎ合わせることができ、画像化アーチファクト26なしで標本の合成画像を作成する(ステップ1270)。いくつかの例では、ステップ1250、1260、および1270は、制御システム70および/またはコンピュータ分析システム75によって実行される。
しかし、図12は、標本ステージを回転させることによって標本のアーチファクトのない画像を作成する方法を説明し、標本のアーチファクトのない画像は、同様のプロセスを実行するが、標本ステージの代わりに画像化アセンブリを回転させることによって作成することもできる。
反射標本の検査のために本明細書に記載される方法は、マクロスコープ検査システムに限定されず、顕微鏡検査システムにおいても実装され得ることに留意されたい。
図14は、開示された主題のいくつかの実施形態による、異なる照明風景を達成するためにマクロ検査システムを較正するための例示的な較正方法1400を高レベルで示す。照明風景とは、標本に向けられた複数のライトL1からLnのうちの1つまたは複数からのライトのアクティブ化および分布の結果としての、標本の関心領域におけるライトの色および/または強度を指す。照明風景は、画像化アセンブリ33によってキャプチャされた画像に影響を与えることができる。制御システム70は、複数のライトL1からLnのうちの1つまたは複数の強度を制御して、標本面および/または標本ステージ上に所望の照明風景を提供することができる。例えば、制御システム70は、複数のライトL1からLnのうちの1つまたは複数の強度を制御して、標本面および/または標本ステージ上に均一な強度の照明風景を提供することができる。提供される照明風景のタイプは、標本のタイプ、標本の機械的および/または物理的特性(例えば、標本のサイズ、標本の反射率)、検査される標本の特徴、製造および/または検査プロセスの特定のステージ、またはいくつかのその他の適切な変数により、個別に、またはそれらの任意の組み合わせによって決定できる。いくつかの実施形態では、較正方法1300は、マクロ検査システム100を使用することができる。
1401において、制御システム70は、マクロ検査システム100を初期化することができる。いくつかの実施形態では、初期化は、光源からライトが投射される領域(総称して「構成情報」(までのマクロ検査システム100(例えば、ライトL1からLnの総数、各ライトのアドレスと位置、ライト偏向器の位置、各可能な位置での各ライトの投影面積(高さと角度を含む))のライトL1からLnの構成を決定することと、構成情報をローカルまたはリモートメモリに記憶することと、を含むことができる。
各ライトL1からLnによって投射される照明の領域を規定する方法は、「マクロ検査システム、装置および方法」と題された米国特許出願第16/262,017号に記載されており、これは参照によりその全体が本明細書に組み込まれる。
1402において、既知の特徴および/または機械的/物理的特性(例えば、サイズ、反射率)を有する参照標本を標本ステージ上に配置することができる。ライトL1からLnの異なる組み合わせは、異なる可能な距離および角度(総称して「ライト位置」(で参照標本の所望の照明風景を決定するために(1403)光源からライトが投射される領域まで、異なる色および/または強度でアクティブ化することができる。いくつかの実施形態では、所望の照明風景は、画像化アセンブリ33によってキャプチャされた画像の品質に基づいて、画像化アセンブリ33の個々のピクセルまたはピクセルグループ全体にわたって標本Sから反射されたライトの測定された強度に基づいて、表示画面に表示される画像の品質および/またはその他の適切なメトリックに基づいて、決定することができる。いくつかの実施形態では、照明風景は、所望の照明風景が達成されるまで、異なる色および/または強度ならびに異なる可能な位置で、ライトL1からLnの異なる組み合わせを手動でアクティブ化させることによって調整することができる。他の実施形態では、照明風景は、条件のセットをプログラムして(例えば、制御システム70および1401の構成情報を使用して)、所望の照明風景が達成されるまで異なる色および/または強度ならびに異なるライト位置でライトL1からLnの異なる組み合わせをオンにすることによって調整することができる。参照標本に所望の照明風景が達成されると、アクティブ化されたライトのアドレス(または他の識別情報)、選択された各ライトの強度レベルと色、および選択された各ライトの位置情報、ステージとレンズ34および画像化アセンブリ33の位置および標本ステージの間の距離(例えば、x、y、z軸に沿った)は、相互に関係し(総称して「照明プロファイル」(、将来の使用のために制御システム70によって(1404で)記憶することができる。
適切な照明プロファイルを見つけて記憶するためのこのプロセスは、例えば、標本のタイプにより、類似の機械的および/または物理的な標本の特性(例えば、類似の反射特性、類似のサイズ寸法)により、特徴タイプにより、製造プロセスおよび/または検査ステージにより、関心領域および/またはその他の適切な分類グループにより異なる分類グループを表す異なる参照標本に対して繰り返すことができる。このプロセスを同じ参照標本に対して繰り返して、標本の様々な属性(例えば、標本の機械的または物理的特性によって決定される)に適した様々な照明プロファイル、検査中の様々な標本の特徴、標本および/または検査中の製造/検査プロセスの様々な関心領域を見つけることもできる。いくつかの実施形態では、照明プロファイルが計算される前に、最初に参照標本に焦点が合わせられる。さらなる実施形態では、標本ステージとレンズ34との間の距離は、異なるプリセット距離に調整され、照明プロファイルは、各プリセット距離での参照標本について計算される。
均一な照明風景が所望される実施形態では、反射率の標準的な測定によって決定されるように、均一な反射背景を示す反射標本を使用して、マクロ検査システム100を較正して、均一な照明風景を提供することができる。反射率(例えば、画像化アセンブリ33の個々のピクセルまたはピクセルグループ全体で測定)が、標本ステージで見たときに標本の視野全体で5%を超えて、できれば2%未満で変化しない場合、背景は均一であると見なすことができる。いくつかの実施形態では、均一な反射背景のない参照標本を使用して、マクロ検査システム100を較正して、均一な照明風景を提供することができる。このような標本を使用する場合、レンズ34を使用して、標本の焦点をぼかして異物や標本上の表面の凹凸をぼかして、より均一な反射背景を作成することにより、均一な反射背景を作成することができる。照明風景は、均一な照明風景が達成されるまで、様々な色および/または強度で、様々な可能な位置でライトL1からLnの様々な組み合わせをアクティブ化することによって調整できる。均一な照明風景が達成されると、アクティブ化されたライトの距離のアドレス(または他の識別情報)、選択された各ライトの強度および色レベル、ならびに選択された各ライトのライト位置情報、および標本ステージとレンズ34との間は、照明プロファイルとして制御システム70によって記憶され得、マクロ検査システム100、特定の標本、標本クラス、関心領域、製造または検査プロセスの特定のステージ、および/または他の任意の適切な分類グループに均一な照明を提供する。
本明細書に記載の較正方法1400の部分の少なくともいくつかは、いくつかの実施形態で、図14に示され、それに関連して説明される順序およびシーケンスに限定されない任意の順序またはシーケンスで実行できることを理解されたい。また、本明細書に記載のプロセス1400のいくつかの部分は、適切な場合には実質的に同時に、またはいくつかの実施形態では並行して実行することができる。さらに、または代わりに、プロセス1400のいくつかの部分は、いくつかの実施形態では省略され得る。較正プロセス1400は、任意の適切なハードウェアおよび/またはソフトウェアで実装することができる。例えば、いくつかの実施形態では、較正プロセス1400は、マクロ検査システム100で実装することができる。較正プロセス1400は、マクロスコープ検査システムに限定されず、顕微鏡検査システムでも実装できることに留意されたい。
図15Aは、開示された主題のいくつかの実施形態による、所望の照明風景)「照明風景方法1500」(を達成するためにマクロシステムを使用して標本を照明するための例示的な方法1500を高レベルで示す。いくつかの実施形態では、照明風景方法1500は、マクロ検査システム100を使用することができる。
1501において、検査される標本は、標本ステージ上に配置することができる。いくつかの実施形態では、マクロ検査システム100によって提供される照明風景が調整される前に、標本に焦点が合わせられる。
1502において、いくつかの実施形態によれば、制御システム70は、標本のために選択された記憶された照明プロファイルに従って、ライトL1からLnの強度、色および/もしくはピッチ、ならびに/または標本ステージとレンズ34との間の距離をアクティブ化および調整することができる。照明プロファイルは、標本の様々な属性(例えば、標本の1つまたは複数の物理的および/または機械的特性によって決定される)および/または検査の様々な目標を評価し、適切な照明プロファイルを見つけるコンピュータルゴリズムに基づいて、手動または自動で選択できる。適切な照明プロファイルを選択するための方法は、図14に関連してさらに説明される。
いくつかの実施形態では、選択した照明プロファイルに応じて、選択されたライトL1からLnが異なる色および/または強度でアクティブ化された後、選択されたライトは、強度、色および/もしくはライトの位置、ならびに/または標本ステージとレンズ34間の距離に対して調整が行われる。さらに調整することで、選択した照明プロファイルを変更して、所望の照明風景を実現できる。いくつかの実施形態では、1つまたは複数のライトL1からLnをアクティブ化することができ、ライトの強度、色および/もしくは位置、ならびに/または任意の照明プロファイルを参照せずに標本ステージとレンズ34との間の距離を調整することができる。アクティブ化および/または調整は、手動または自動で実行できる。
1つまたは複数のライトL1からLnがアクティブ化され、それらの強度、色および/またはライト位置、ならびに標本ステージとレンズ34との間の距離に対して調整が行われると、1503のように、標本の1つまたは複数の画像をキャプチャして分析用に記憶できる。いくつかの実施形態では、キャプチャされた標本画像は、コンピュータ分析システム75に送信される。
1505において、1つまたは複数のライトL1からLnへの適用されたアクティブ化、ならびにそれらの強度、色および/またはライト位置などへの調整が所望の照明風景を生成するのに十分であるかどうかに関して、コンピュータ分析システム75によって決定が行われる。そのような決定は、1503の画像キャプチャステップ中に受信された画像データのピクセル強度値の分析に基づいて行うことができる。照明風景プロファイルが最適ではないと決定された場合、プロセス1500はステップ1502に戻ることができ、照明風景にさらなる調整を行うことができる。ステップ1502~1505は、最適な照明プロファイルが達成されるまで繰り返すことができる。例として、特定の標本タイプに対して均一なライト強度プロファイルを備えた照明風景が所望されるが、キャプチャされた1つまたは複数の標本画像に関連付けられた画像データが一部の領域が不十分に照明されていることを示す場合、次に、ステップ1505は、ステップ1502に戻ることができる。ステップ1502において、ライトのアクティブ化、強度、位置(仰角および/または枢動/回転)などに追加の変更を加えることができる。照明風景に変更が適用されると、ステップ1503が繰り返され、画像データが、例えば、画像キャプチャデバイスによって、新しい条件下で標本から収集される。この場合も、ステップ1505で、新しい照明風景が分析されて、最適な照明条件が達成されたかどうかが決定される。
異なる照明プロファイルを標本に対して選択することができ、選択された照明プロファイルごとに、制御システム70は、選択されたプロファイルに従って、ライトL1からLnの強度、色、および/もしくは位置、ならびに/または標本ステージとレンズ34との間の距離をアクティブ化および調整し、標本の1つまたは複数の画像をキャプチャおよび記憶することができる。したがって、ステップ1502~1505の反復プロセスは、ステップ1502で適用される最初に適用される照明風景は、標本のタイプ、関心領域、製造もしくは検査プロセスの特定のステージ、および/またはその他の適切な分類グループによって変化し得るとき、標本のタイプによって異なる可能性がある。いくつかの実施形態では、照明が選択された照明プロファイルに従って構成されると、ステップ1507で、標本ステージおよび/または画像化アセンブリ33は、互いに対して異なる位置に調整され得、標本の1つまたは複数の画像は、各位置でキャプチャされ得る。
図15Bは、開示された技術のいくつかの態様による、標本分類を識別し、マクロ検査装置の照明風景を自動的に調整するための例示的なプロセス1510のステップを示す。プロセス1510は、例えば、上記で論じた画像処理システム1634などの画像処理システムによって画像データが受信されるステップ1512から始まる。いくつかのアプローチでは、画像データは、マクロ検査システム100の一部として、画像化デバイスによって撮影された標本の受信画像に含まれ得る。画像データは、マクロ検査システム100のステージ上に配置された標本の全部または一部を含むことができる。場合によっては、その画像データは、標本表面の異なる部分から反射されたライトの強度を示すピクセル強度値のみを含むことができる。
ステップ1514において、画像データは、標本の分類を識別するために分析される。場合によっては、画像分析を実行して、特定の領域や特徴などの標本のサブセットを識別することができる。以下で説明するように、機械学習分類器、コンピュータビジョン、および/または人工知能を使用して、標本を識別/分類できる。
続いて、照明プロファイルは、標本(もしくは特徴)の分類および/または製造もしくは検査プロセスの特定のステージに基づいて自動的に選択することができる。標本/特徴分類を使用して、標本および/または標本特徴タイプに関連付けられた1つまたは複数の照明プロファイルを含む照明プロファイルデータベースを照会できる。ステップ1514で決定された標本分類を参照することにより、一致する照明プロファイルを自動的に識別して検索することができる。上で論じたように、照明プロファイルは、観察されている標本または特徴に最適な照明風景を達成するために使用できるマクロ検査システム100の構成を説明する様々な設定データを含むことができる。
本明細書に記載の照明風景方法1500の部分の少なくともいくつかは、いくつかの実施形態では、図15Aおよび15Bに示され、図15Aおよび15Bに関連して説明される順序およびシーケンスに限定されない任意の順序またはシーケンスで実行できることを理解されたい。また、本明細書に記載のプロセス1300のいくつかの部分は、適切な場合には実質的に同時に、またはいくつかの実施形態では並行して実行することができる。さらに、または代わりに、プロセス1500のいくつかの部分は、いくつかの実施形態において省略され得る。照明風景方法1500は、任意の適切なハードウェアおよび/またはソフトウェアで実装することができる。例えば、いくつかの実施形態では、照明風景方法1500は、マクロ検査システム100に実装することができる。照明風景方法1500は、マクロスコープ検査システムに限定されず、顕微鏡検査システムにも実装できることに留意されたい。
図16は、開示された主題のいくつかの実施形態による、コンピュータ分析システム75の実施形態の一般的な構成を示す。コンピュータ分析システム75は、様々な構成要素がバス1605を介して結合される局所化された計算システムとして示されているが、様々な構成要素および機能的計算ユニット(モジュール)は、別個の物理的または仮想的システムとして実装され得ることが理解される。例えば、1つまたは複数の構成要素および/またはモジュールは、クラウド環境でインスタンス化された仮想プロセス(例えば、仮想マシンやコンテナ)を使用するなど、物理的に分離されたリモートデバイスに実装できる。
コンピュータ分析システム75は、処理ユニット(例えば、CPU/秒および/またはプロセッサ/秒)1610およびバス1605を含み、読み取り専用メモリ(ROM)1620やランダムアクセスメモリ(RAM)1625などのシステムメモリ1615を含む様々なシステム構成要素をプロセッサ1610に結合する。
メモリ1615は、異なる性能特性を有する様々なメモリタイプを含むことができる。プロセッサ1610は、プロファイル生成モジュール1632、照明プロファイルデータベース1636、および画像処理モジュール1634などの1つもしくは複数の機能モジュールおよび/またはデータベースシステムを実装するために必要なソフトウェアおよび命令を記憶するように構成される記憶デバイス1630に結合される。これらの各モジュールは、プロセッサ1610、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサを制御するように構成することができる。したがって、プロセッサ1610と、プロファイル生成モジュール1632、照明プロファイルデータベース1636、および画像処理モジュール1634のうちの1つまたは複数は、完全に自己完結型のシステムであり得る。例えば、画像処理モジュール1634が、開示された技術の範囲から逸脱することなく、離散画像処理システムとして実装され得る。
コンピュータ分析システム75とのユーザ相互作用を可能にするために、入力デバイス1645は、スピーチ用のマイクロフォン、ジェスチャまたはグラフィック入力用のタッチセンシティブ画面、キーボード、マウス、モーション入力などの任意の数の入力機構を表すことができる。出力デバイス1635はまた、当業者に知られているいくつかの出力機構のうちの1つまたは複数であり得る。場合によっては、マルチモーダルシステムは、例えば、標本のタイプ/分類、または他の特性に関連する標本情報を伝達するために、ユーザがコンピュータ分析システム75と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース1640は、一般に、ユーザ入力およびシステム出力を統治および管理することができる。特定のハードウェア構成での動作に制限はない。したがって、ここでの基本機能は、開発時に改善されたハードウェアまたはファームウェア構成に簡単に置き換えることができる。
記憶デバイス1630は、非一時的メモリであり、コンピュータによってアクセス可能なデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得、例えば、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ(RAM)1525、読み取り専用メモリ(ROM)1520、およびそれらのハイブリッドなどである。
実際には、照明プロファイル生成モジュール1632は、マクロ検査システム100から、標本または標本の一部(総称して「標本画像」(の走査および/または任意の適切なコンピュータ可読媒体を受信するように構成することができる。場合によっては、マクロ検査システム100の様々なマクロ構成要素の構成に関連付けられた好ましい照明風景を関連付けて、例えば、照明プロファイルを形成することができる。これは、標本のタイプまたは分類に関連付けられている。照明風景設定を標本分類タイプに関連付ける照明プロファイルは、照明プロファイルデータベース1636に記憶することができる。
照明プロファイルデータベース1636に記憶された照明プロファイルは、以下のような特定のコンテキストデータを含むことができ、例えば、マクロ検査システム100のライトL1からLnの構成(例えば、ライトL1からLnの総数、各ライトのアドレスおよび位置、光偏向器83の位置、光源からライトが投射される領域まで配置(高さと角度を含む)できる各可能な位置での各ライトの投影面積)、標本ステージとレンズ34との間の可能な距離の範囲、標本ステージおよび画像化アセンブリ33の相互の異なる位置の範囲、特定のタイプの標本の関心領域、検査中の製造または検査プロセスの特定のステージ、検査中の特徴である。
画像処理システム1634は、プロファイル生成モジュール1632および照明プロファイルデータベース1636と組み合わせて使用して、標本画像で受信された画像データおよび/または他の受信された標本特性に基づいて標本を分類することができ、例えば、入力デバイス1645を介してユーザによって手動で提供されるものなどである。さらに、画像処理システムは、特定の標本の特徴を分類し、他の物理的および/または機械的な標本の特性(例えば、標本の反射率、標本の寸法)を決定するように構成することができる。標本タイプの分類、および標本の特徴/特性は、照明プロファイルの一部として記憶できる。したがって、照明プロファイルデータベース1636に記憶された様々な照明プロファイルは、試料タイプおよび/または特定の特徴もしくは特性に基づいて参照し、試料に一致させることができる最適な照明風景を生成するために使用される設定およびパラメータを含むことができる。
いくつかの態様では、標本のタイプおよび/または標本の特徴の分類は、コンピュータビジョン、1つもしくは複数の人工知能アルゴリズム、および/またはコンピュータルゴリズムを含むことができる画像処理アルゴリズムを使用して実行することができる。標本分類、または標本の特徴は、例えば、標本のコンピュータ支援設計(CAD)ファイルおよび/または標本の特徴、既知の標本および/または特徴の画像、および/または既知の標本に関する情報を識別する標本レイアウトマップ(例えば、標本の寸法、標本の機械的および/または物理的特性)に基づくこともできる。
場合によっては、機械学習モデルを使用して、標本、標本の特徴、および/または他の標本の特性の分類を実行できる。いくつかの態様では、標本画像からの画像データは、例えば、画像処理システム1634によって、機械学習分類システムへの入力として提供することができる。分類器の出力は、照明プロファイルデータベース1636に記憶された照明プロファイルを参照するために使用することができる試料または特徴分類を指定することができる。正しい照明プロファイルを正しい試料分類または特徴タイプと一致させることにより、ライト強度、ライトの色、照明角度、および標本からの高さなどの自動較正を通じて、正しい照明風景を実現できる。
当業者によって理解されるように、機械学習ベースの分類技術は、開示された技術から逸脱することなく、所望の実装に応じて変化する可能性がある。例えば、機械学習分類スキームでは、次の1つまたは複数を単独で、または組み合わせて利用でき、隠れマルコフモデル、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンシンボリックメソッド、一般的な敵対的ネットワーク、サポートベクターマシン、画像レジストレーション方法、該当するルールベースのシステムである。回帰アルゴリズムが使用される場合、それらには、確率的勾配降下法回帰法、および/または受動的攻撃性回帰法などが含まれるが、これらに限定されない。
機械学習分類モデルは、クラスタリングアルゴリズム(例えば、ミニバッチK-手段クラスタリングアルゴリズム)、推奨アルゴリズム(例えば、Miniwise Hashingアルゴリズム、またはEuclidean LSHアルゴリズム)、および/または局所外れ値因子などの異常検出アルゴリズムに基づくこともできる。さらに、機械学習モデルは、ミニバッチ辞書学習アルゴリズム、インクリメンタル主成分分析(PCA)アルゴリズム、潜在的ディリクレ割り当てアルゴリズム、および/またはミニバッチK-手段アルゴリズムなどの1つまたは複数など、次元削減アプローチを採用できる。
そのようなアルゴリズム、ネットワーク、機械およびシステムは、任意の「人工知能を使用して標本の照明プロファイルを決定するための手段」に関して使用される構造の例を提供する。
いくつかの実施形態では、機械学習は、照明プロファイルの作成に展開することができる。例えば、プロファイル生成モジュール1632は、標本画像または標本画像から決定されたデータ)「標本データ」(とともに、トレーニングされた人工知能アルゴリズムにコンテキストデータを入力して、標本を照明するのに適用される1つまたは複数の適切な照明プロファイルを作成することができる。他の実施形態では、画像処理システム1634は、機械学習モデルまたは他のコンピュータルゴリズムを使用して、上記のように、標本画像、標本データ、および/またはコンテキストデータに基づいて事前規定された照明プロファイルを選択することができる。
例えば、照明プロファイルデータベース1636から所望の照明プロファイルが選択されると、照明プロファイルデータを制御システム70に送信することができる。制御システム70は、プロセス1400に関連してこの情報を使用して、検査されている標本を照明するために照明プロファイルを適用することができる。
照明プロファイル生成モジュール1632によって使用することができる人工知能ベースの画像処理アルゴリズムの例は、Barbara Zitova、「画像レジストレーション方法:調査」、画像およびビジョンコンピューティング、2003年10月11日、第21巻、11号、977~1000ページによって説明されるような画像レジストレーションである。これは、参照によりその全体が本明細書に組み込まれる。開示された方法は単なる例であり、限定することを意図するものではない。
いくつかの実施形態では、照明プロファイル生成モジュール1632、いくつかの実施形態では、画像処理アルゴリズムを含む画像処理システム1634によって使用される機械学習アルゴリズムは、最初にトレーニングデータでトレーニングされ、その結果、照明プロファイル生成モジュール1632が標本に適切な照明プロファイルを作成できる。
図17に示されるように、トレーニングデータ1701は、開示された対象の実施形態による、マクロ検査システムによってキャプチャされた既知の標本および特徴のラベル付けされた画像を含むことができる。トレーニング用に選択されたラベル付き画像は、キャプチャされた画像の検査目的に基づいて適切な詳細を示す、所望の品質の画像にすることができる。いくつかの実施形態では、トレーニングデータ1701は、検査されている標本および/または特徴のタイプを識別する非画像ファイルを含むことができる。トレーニングデータには、各画像についてさらに以下を含めることができ、(i)ライトL1からLnのアクティブ化、強度、色、位置データ、(ii)標本ステージとレンズ34との間の距離(x、y、z軸に沿った)、(iii)互いに関連する標本ステージおよび画像化アセンブリ33の位置、検査される標本の特徴、検査される標本の関心領域、検査される製造または検査プロセスの特定のステージを説明するデータを含む。いくつかの実施形態では、トレーニングデータは、標本の物理的/機械的特性、および/または適切な照明プロファイルを作成するために使用される任意の他の適切な特性を含むことができる。いくつかの実施形態では、トレーニングデータはまた、ラベルのないデータを含むことができる。
照明プロファイル生成モジュール1632によって使用される人工知能アルゴリズムがトレーニングされると、それは、照明プロファイル生成モジュール1632によって、受信された標本走査に適用されて、受信された標本画像ごとに1つまたは複数の照明プロファイル(出力データ1702)を作成することができる。上記のように、照明プロファイルデータは、どのライトL1からLnをアクティブ化するか、ならびにどの強度、色、およびライト位置であるかを識別するデータを含むことができる。照明プロファイルデータはまた、標本ステージとレンズ34との間の距離(例えば、x、y、およびz軸に沿った)、ならびに互いに対する標本ステージおよび画像化アセンブリ33の位置を含むことができる。
マクロ検査システム100は、示されていない他の適切な構成要素を含むことができることに留意されたい。追加的または代替的に、マクロ検査システム100に含まれる構成要素のいくつかは省略され得る。
いくつかの実施形態では、任意の適切なコンピュータ可読媒体を使用して、本明細書に記載の機能および/またはプロセスを実行するための命令を記憶することができる。例えば、いくつかの実施形態では、コンピュータ可読媒体は、一時的または非一時的であり得る。例えば、非一時的なコンピュータ可読媒体は、非一時的な磁気媒体(ハードディスク、フロッピーディスクなど)、非一時的な光媒体(コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスクなど)、非一時的な半導体媒体(フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ(EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)など)、送信中に一時的または永続性の任意の類似性を欠いていない適切な媒体、および/または適切な有形媒体などの媒体を含むことができる。別の例として、一時的なコンピュータ可読媒体は、ネットワーク上、ワイヤ、導体、光ファイバ、回路内の信号、および送信中の一時的で永続性の任意の類似性を欠く任意の適切な媒体、および/または任意の適切な無形媒体を含むことができる。
様々な実施形態の論理演算は、以下のように実装され、(1)汎用コンピュータ内のプログラマブル回路上で実行される一連のコンピュータ実装ステップ、動作、または手順、(2)特定用途のプログラマブル回路上で実行される一連のコンピュータ実装のステップ、動作、または手順、および/または(3)プログラマブル回路内の相互接続されたマシンモジュールまたはプログラムエンジンである。本発明のマクロ検査システムは、記載された方法の全部または一部を実施することができ、記載されたシステムの一部であり得、および/または記載された非一時的なコンピュータ可読記憶媒体の命令に従って動作することができる。このような論理演算は、モジュールのプログラミングに従って特定の機能を実行するようにプロセッサを制御するように構成されたモジュールとして実装できる。
本明細書で説明される様々なシステム、方法、およびコンピュータ可読媒体は、クラウドネットワーク環境の一部として実装することができる。この文書で使用されているように、クラウドベースのコンピューティングシステムは、仮想化されたコンピューティングリソース、ソフトウェア、および/または情報をクライアントデバイスに提供するシステムである。コンピューティングリソース、ソフトウェア、および/または情報は、エッジデバイスがネットワークなどの通信インターフェースを介してアクセスできる一元化されたサービスとリソースを維持することによって仮想化できる。クラウドは、クラウド要素を介して様々なクラウドコンピューティングサービスを提供でき、例えば、サービスとしてのソフトウェア(SaaS)(コラボレーションサービス、電子メールサービス、エンタープライズリソースプランニングサービス、コンテンツサービス、通信サービスなど)、サービスとしてのインフラストラクチャ(IaaS)(セキュリティサービス、ネットワーキングサービス、システム管理サービスなど)、サービスとしてのプラットフォーム(PaaS)(Webサービス、ストリーミングサービス、アプリケーション開発サービスなど)、およびサービスとしてのデスクトップ(DaaS)、サービスとしての情報技術管理(ITaaS)、サービスとしての管理対象ソフトウェア(MSaaS)、サービスとしてのモバイルバックエンド(MBaaS)などの他のタイプのサービスである。
本明細書に記載された例(および「など」、「例えば」、「含む」などと表現された節)の提供は、請求された主題を特定の例に限定するものとして解釈されるべきではない。むしろ、これらの例は、考えられる多くの態様の一部のみを説明することを目的としている。当業者は、機構という用語が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の適切な組み合わせを包含することができることを理解するであろう。
上記の説明から明らかなように特に明記しない限り、説明全体を通して、「決定する」、「提供する」、「識別する」、「比較する」などの用語を利用する説明は、コンピュータシステム、または同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことが理解され、コンピュータシステムのメモリまたはレジスタまたは他のそのような情報ストレージ、送信、または表示デバイス内の物理的(電子的)量として表されるデータを動作および変換する。本開示の特定の態様は、アルゴリズムの形で本明細書に記載されているプロセスステップおよび命令を含む。本開示のプロセスステップおよび命令は、ソフトウェア、ファームウェア、またはハードウェアで具体化することができ、ソフトウェアで具体化する場合、リアルタイムネットワークオペレーティングシステムによって使用される異なるプラットフォーム上に常駐し、そこから動作するためにダウンロードできることに留意されたい。
本開示はまた、本明細書の動作を実行するための装置に関する。この装置は、必要な目的のために特別に構築され得るか、またはコンピュータによってアクセスされ得るコンピュータ可読媒体に記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを含み得る。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶され得、フロッピーディスク、光ディスク、CD-ROM、磁気光学ディスク、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カードまたは光学カード、特定用途向け集積回路(ASIC)を含む任意のタイプのディスク、または電子命令を記憶するのに適した任意のタイプの非一時的なコンピュータ可読記憶媒体などであるが、これらに限定されない。さらに、本明細書で言及されるコンピュータは、単一のプロセッサを含み得るか、またはコンピューティング能力を向上させるために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本明細書に提示されるアルゴリズムおよび動作は、任意の特定のコンピュータまたは他の装置に本質的に関連していない。様々な汎用システムもまた、本明細書の教示に従ったプログラムと共に使用され得るか、または必要な方法ステップおよびシステム関連のアクションを実行するためのより特殊な装置を構築することが便利であることが証明され得る。これらの様々なシステムに必要な構造は、同等のバリエーションとともに、当業者には明らかであろう。さらに、本開示は、任意の特定のプログラミング言語を参照して説明されていない。本明細書に記載されるように、本開示の教示を実装するために様々なプログラミング言語を使用することができ、本開示の可能性および最良の様式の開示のために特定の言語への任意の参照が提供されることが理解される。
開示されたプロセスにおけるステップの任意の特定の順序または階層は、例示的なアプローチの例示であることが理解される。設計の好みに基づいて、プロセス内のステップの特定の順序または階層が再配置され得ること、または図示されたステップの一部のみが実行され得ることが理解される。一部の手順は同時に実行できる。例えば、特定の状況では、マルチタスクと並列処理が有利な場合がある。さらに、上記の実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではない。また、説明されているプログラム構成要素およびシステムは、通常、単一のソフトウェア製品に統合することも、複数のソフトウェア製品にパッケージ化することもできることを理解する必要がある。
反射標本のマクロ検査のためのシステム、方法、および装置は、これらの図示された実施形態を特に参照して詳細に説明されてきた。しかしながら、前述の明細書に記載されているように、開示の趣旨および範囲内で様々な修正および変更を行うことができることは明らかであり、そのような修正および変更は、本開示の同等物および一部と見なされるべきである。本開示の範囲は、以下の特許請求の範囲によってのみ制限される。
本開示のステートメントは以下を含む。
ステートメント1.標本を保持するように構成された標本ステージと、標本ステージから標本の1つまたは複数の画像をキャプチャするために標本ステージの上方に配置された1つまたは複数の画像化デバイスと、標本ステージと画像化デバイスの間のプラットフォームに配置されたライトのセットと、標本ステージ、1つまたは複数の画像化デバイス、およびプラットフォームに結合された制御システムと、を含む検査装置であって、制御システムは、1つまたは複数のプロセッサと、メモリと、を含み、メモリは、1つまたは複数のプロセッサによって実行された結果として、制御システムに、標本の第1の画像をキャプチャするために1つまたは複数の画像化デバイスに第1の命令を提供することであって、第1の画像は、基準点の第1の側に第1の画像化アーチファクトを含む、ことと、標本の第2の画像をキャプチャするために、1つまたは複数の画像化デバイスに第2の命令を提供することであって、第2の画像は、基準点の第2の側に第2の画像化アーチファクトを含む、ことと、第1の画像から第1の画像化アーチファクトをトリミングし、第2の画像から第2の画像化アーチファクトをトリミングすることと、第1の画像と第2の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第1の画像化アーチファクトと第2の画像化アーチファクトがない、こととを、行わせる実行可能命令を記憶する、検査装置。
ステートメント2.実行可能命令はさらに、制御システムに、1つまたは複数の画像化デバイスを第1の方向に、基準点の第1の側の上方かつ第1の側の第1の位置に並進させて、標本の第1の画像をキャプチャすることと、1つまたは複数の画像化デバイスを第2の方向に、基準点の第2の側の上方かつ第2の側の第2の位置に並進させて、標本の第2の画像をキャプチャすることと、を行わせる、ステートメント1に記載の検査装置。
ステートメント3.実行可能命令はさらに、制御システムに、標本ステージを基準点の第1の側の下方かつ第1の側の第1の位置に並進させて、標本の第1の画像をキャプチャすることと、標本ステージを基準点の第2の側の下方かつ第2の側に第2の方向に並進させ、標本の第2の画像をキャプチャすることと、を行わせる、ステートメント1および2のいずれかに記載の検査装置。
ステートメント4.基準点が、標本の中心線に沿って配置される、ステートメント1から3のいずれかに記載の検査装置。
ステートメント5.画像化デバイスが回転軸に沿って移動可能である、ステートメント1から4のいずれかに記載の検査装置。
ステートメント6.1つまたは複数の画像化デバイスは、基準点の第1の側の上方かつ第1の側に配置された第1の画像化デバイスと、基準点の第2の側の上方かつ第1の側に配置された第2の画像化デバイスと、を含み、検査装置は、第1の画像化デバイスおよび第2の画像化デバイスの下に配置されたアパーチャスライダーをさらに備え、アパーチャスライダーは、第1の画像化デバイスまたは第2の画像化デバイスのいずれかを使用して標本の画像のキャプチャを可能にするアパーチャを含む、ステートメント1から5のいずれかに記載の検査装置。
ステートメント7.制御システムは、アパーチャが第1の画像をキャプチャするために第1の画像化デバイスと位置合わせされるように、アパーチャスライダーを第1の位置に並進させ、制御システムは、アパーチャが第2の画像をキャプチャするために第2の画像化デバイスと位置合わせされるように、アパーチャスライダーを第2の位置に並進させる、ステートメント6に記載の検査装置。
ステートメント8.実行可能命令はさらに、制御システムに、プラットフォームを並進させることと、ライトのセットの1つまたは複数の組み合わせをアクティブ化して、照明プロファイルを決定することと、標本の第1の画像を分析して、標本分類を識別することと、標本分類に基づいて、照明プロファイルを選択することと、照明プロファイルに従って、プラットフォームとライトのセットを調整することと、を行わせる、ステートメント1から7のいずれかに記載の検査装置。
ステートメント9.標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すように構成されたバリアをさらに備える、ステートメント1から8のいずれかに記載の検査装置。
ステートメント10.実行可能命令はさらに、制御システムに、第1の画像の第1の重複領域を第2の画像の第2の重複領域と比較させて、第1の画像および第2の画像のデジタルのつなぎ合わせを可能にする一致する画像が識別されたことを決定する、ステートメント1から9のいずれかに記載の検査装置。
ステートメント11.検査装置の標本ステージで標本を受信することと、検査システムの基準点を識別することと、標本の第1の画像をキャプチャすることであって、第1の画像は、基準点の第1の側に第1の画像化アーチファクトを含む、ことと、標本の第2の画像をキャプチャすることであって、第2の画像は、基準点の第2の側に第2の画像化アーチファクトを含む、ことと、標本の第2の画像を評価して、標本の合成画像を生成するために第2の画像が第1の画像とともに使用可能であることを決定することと、第1の画像から第1の画像化アーチファクトをトリミングし、第2の画像から第2の画像化アーチファクトをトリミングすることと、第1の画像と第2の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第1の画像化アーチファクトと第2の画像化アーチファクトがない、ことと、を含む、方法。
ステートメント12.検査装置の画像化デバイスを第1の方向に、基準点の第1の側の上方かつ第1の側の第1の位置に並進させて、第1の画像をキャプチャすることと、画像化デバイスを第2の方向に、基準点の第2の側の上方かつ第2の側の第2の位置に並進させて、第2の画像をキャプチャすることと、をさらに含む、ステートメント11による方法。
ステートメント13.標本ステージを第1の方向に、基準点の第1の側の下方かつ第1の側の第1の位置に並進させて、第1の画像をキャプチャすることと、標本ステージを基準点の第2の側の下方かつ第2の側の第2の位置に並進させて、第2の画像をキャプチャすることと、をさらに含む、ステートメント11および12のいずれかに記載の方法。
ステートメント14.第1の画像をキャプチャするために、標本ステージを第1の位置に回転させることと、第1の画像をトリミングして第1の画像の第1の部分を除去することであって、第1の部分は、第1の画像化アーチファクトを含む、ことと、標本ステージを第2の位置に回転させて、第2の画像をキャプチャすることと、第2の画像をトリミングして第2の画像の第2の部分を除去することであって、第2の部分は、第2の画像化アーチファクトを含む、ことと、第2の画像をデジタル回転させて、第2の画像の評価を開始することと、をさらに含む、ステートメント11から13のいずれかに記載の方法。
ステートメント15.検査装置のアパーチャスライダーを第1の方向に並進させて、アパーチャを検査装置の第1の画像化デバイスの下に配置して、第1の画像をキャプチャすることであって、第1の画像化デバイスは、基準点の第1の側の上方かつ第1の側に配置される、ことと、検査装置のアパーチャスライダーを第2の方向に並進させて、アパーチャを検査装置の第2の画像化デバイスの下に配置して、第2の画像をキャプチャすることであって、第2の画像化デバイスは、基準点の第2の側の上方かつ第2の側に配置されている、ことと、をさらに含む、ステートメント11から14のいずれかに記載の方法。
ステートメント16.検査システムのプラットフォームを並進させることであって、ライトのセットがプラットフォーム上に配置されている、ことと、照明プロファイルを決定するために、ライトのセットの1つまたは複数の組み合わせをアクティブ化することと、標本の第1の画像を分析して、標本分類を識別することと、標本分類に基づいて、照明プロファイルを選択することと、照明プロファイルに従ってプラットフォームとライトのセットを調整することと、をさらに含む、ステートメント11から15のいずれかに記載の方法。
ステートメント17.検査装置の画像化デバイスを第1の方向に回転させて、画像化デバイスを基準点の第1の側に配置して、第1の画像をキャプチャすることと、検査装置の画像化デバイスを第2の方向に回転させて、画像化デバイスを基準点の第2の側に配置して、第2の画像をキャプチャすることと、をさらに含む、ステートメント11から16のいずれかに記載の方法。
ステートメント18.標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すことをさらに含む、ステートメント11から17のいずれかに記載の方法。
ステートメント19.第1の画像の第1の重複領域を第2の画像の第2の重複領域と比較して、第1の画像および第2の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定することをさらに含む、ステートメント11から18のいずれかに記載の方法。
ステートメント20.標本ステージは、X軸、Y軸、Z軸、および回転軸に沿って移動可能である、ステートメント11から19のいずれかに記載の方法。

Claims (20)

  1. 標本を保持するように構成された標本ステージと、
    前記標本ステージから前記標本の1つまたは複数の画像をキャプチャするために前記標本ステージの上方に配置された1つまたは複数の画像化デバイスと、
    前記標本ステージと前記1つまたは複数の画像化デバイスの間のプラットフォームに配置されたライトのセットと、
    前記標本ステージ、前記1つまたは複数の画像化デバイス、および前記プラットフォームに結合された制御システムと、を含む検査装置であって、前記制御システムは、
    1つまたは複数のプロセッサと、
    メモリと、を含み、前記メモリは、
    前記1つまたは複数のプロセッサによって実行された結果として、前記制御システムに、
    前記標本の第1の画像をキャプチャするために前記1つまたは複数の画像化デバイスに第1の命令を提供することであって、前記第1の画像は、基準点の第1の側に第1の画像化アーチファクトを含む、ことと、
    前記標本の第2の画像をキャプチャするために、前記1つまたは複数の画像化デバイスに第2の命令を提供することであって、前記第2の画像は、前記基準点の第2の側に第2の画像化アーチファクトを含む、ことと、
    前記第1の画像から前記第1の画像化アーチファクトをトリミングし、前記第2の画像から前記第2の画像化アーチファクトをトリミングすることと、
    前記第1の画像と前記第2の画像をデジタルでつなぎ合わせて、前記標本の合成画像を生成することであって、前記合成画像には、前記第1の画像化アーチファクトと前記第2の画像化アーチファクトがない、こととを、行わせる実行可能命令を記憶する、検査装置。
  2. 前記実行可能命令はさらに、前記制御システムに、
    前記1つまたは複数の画像化デバイスを第1の方向に、前記基準点の前記第1の側の上方かつ前記第1の側の第1の位置に並進させて、前記標本の前記第1の画像をキャプチャすることと、
    前記1つまたは複数の画像化デバイスを第2の方向に、前記基準点の前記第2の側の上方かつ前記第2の側の第2の位置に並進させて、前記標本の前記第2の画像をキャプチャすることと、を行わせる、請求項1に記載の検査装置。
  3. 前記実行可能命令はさらに、前記制御システムに、
    前記標本ステージを第1の方向に、前記基準点の前記第1の側の下方かつ前記第1の側の第1の位置に並進させて、前記標本の前記第1の画像をキャプチャすることと、
    前記標本ステージを第2の方向に、前記基準点の前記第2の側の下方かつ前記第2の側に並進させ、前記標本の前記第2の画像をキャプチャすることと、を行わせる、請求項1に記載の検査装置。
  4. 前記基準点が、前記標本の中心線に沿って配置される、請求項1に記載の検査装置。
  5. 前記標本ステージおよび前記1つまたは複数の画像化デバイスの少なくとも一方が回転軸に沿って移動可能である、請求項1に記載の検査装置。
  6. 前記1つまたは複数の画像化デバイスは、
    前記基準点の前記第1の側の上方かつ前記第1の側に配置された第1の画像化デバイスと、
    前記基準点の前記第2の側の上方かつ前記第2の側に配置された第2の画像化デバイスと、を含み、
    前記検査装置は、前記第1の画像化デバイスおよび前記第2の画像化デバイスの下に配置されたアパーチャスライダーをさらに含み、前記アパーチャスライダーは、前記第1の画像化デバイスまたは前記第2の画像化デバイスのいずれかを使用して前記標本の画像のキャプチャを可能にする開口部を含む、請求項1に記載の検査装置。
  7. 前記実行可能命令はさらに、前記制御システムに、
    前記第1の画像をキャプチャするために前記開口部が前記第1の画像化デバイスと位置合わせされるように、前記アパーチャスライダーを第1の位置に並進させることと、
    前記第2の画像をキャプチャするために前記開口部が前記第2の画像化デバイスと位置合わせされるように、前記アパーチャスライダーを第2の位置に並進させることと、を行わせる、請求項6に記載の検査装置。
  8. 前記実行可能命令はさらに、前記制御システムに、
    前記プラットフォームを並進させることと、
    前記ライトのセットの1つまたは複数の組み合わせをアクティブ化して、照明プロファイルを決定することと、
    前記標本の前記第1の画像を分析して、標本分類を識別することと、
    前記標本分類に基づいて、前記照明プロファイルを選択することと、
    前記照明プロファイルに従って、前記プラットフォームと前記ライトのセットを調整することと、を行わせる、請求項1に記載の検査装置。
  9. 前記標本ステージ上に保持された前記標本から反射されたライトを拡散して前記標本に戻すように構成されたバリアをさらに含む、請求項1に記載の検査装置。
  10. 前記実行可能命令はさらに、前記制御システムに、前記第1の画像の第1の重複領域を前記第2の画像の第2の重複領域と比較させて、前記第1の画像および前記第2の画像のデジタルのつなぎ合わせを可能にする一致する画像が識別されたことを決定する、請求項1に記載の検査装置。
  11. 検査装置の標本ステージで標本を受信することと、
    前記検査装置の基準点を識別することと、
    前記標本の第1の画像をキャプチャすることであって、前記第1の画像は、前記基準点の第1の側に第1の画像化アーチファクトを含む、ことと、
    前記標本の第2の画像をキャプチャすることであって、前記第2の画像は、前記基準点の第2の側に第2の画像化アーチファクトを含む、ことと、
    前記標本の前記第2の画像を評価して、前記標本の合成画像を生成するために前記第2の画像が前記第1の画像とともに使用可能であることを決定することと、
    前記第1の画像から前記第1の画像化アーチファクトをトリミングし、前記第2の画像から前記第2の画像化アーチファクトをトリミングすることと、
    前記第1の画像と前記第2の画像をデジタルでつなぎ合わせて、前記標本の前記合成画像を生成することであって、前記合成画像には、前記第1の画像化アーチファクトと前記第2の画像化アーチファクトがない、ことと、を含む、方法。
  12. 前記検査装置の画像化デバイスを第1の方向に、前記基準点の前記第1の側の上方かつ前記第1の側の第1の位置に並進させて、前記第1の画像をキャプチャすることと、
    前記検査装置の前記画像化デバイスを第2の方向に、前記基準点の前記第2の側の上方かつ前記第2の側の第2の位置に並進させて、前記標本の前記第2の画像をキャプチャすることと、をさらに含む、請求項11に記載の方法。
  13. 前記標本ステージを第1の方向に、前記基準点の前記第1の側の下方かつ前記第1の側の第1の位置に並進させて、前記第1の画像をキャプチャすることと、
    前記標本ステージを、前記基準点の前記第2の側の下方かつ前記第2の側の第2の位置に並進させ、前記第2の画像をキャプチャすることと、をさらに含む、請求項11に記載の方法。
  14. 前記第1の画像をキャプチャするために、前記標本ステージを第1の位置に回転させることと、
    前記第1の画像をトリミングして前記第1の画像の第1の部分を除去することであって、前記第1の部分は前記第1の画像化アーチファクトを含む、ことと、
    前記標本ステージを第2の位置に回転させて、前記第2の画像をキャプチャすることと、
    前記第2の画像をトリミングして前記第2の画像の第2の部分を除去することであって、前記第2の部分は、前記第2の画像化アーチファクトを含む、ことと、
    前記第2の画像をデジタル回転させて、前記第2の画像の評価を開始することと、をさらに含む、請求項11に記載の方法。
  15. 前記検査装置のアパーチャスライダーを第1の方向に並進させて、開口部を前記検査装置の第1の画像化デバイスの下に配置して、前記第1の画像をキャプチャすることであって、前記第1の画像化デバイスは、前記基準点の前記第1の側の上方かつ前記第1の側に配置される、ことと、
    前記検査装置の前記アパーチャスライダーを第2の方向に並進させて、前記開口部を前記検査装置の第2の画像化デバイスの下に配置して、前記第2の画像をキャプチャすることであって、前記第2の画像化デバイスは、前記基準点の前記第2の側の上方かつ前記第2の側に配置される、ことと、をさらに含む、請求項11に記載の方法。
  16. 前記検査装置のプラットフォームを並進させることであって、ライトのセットが前記プラットフォーム上に配置される、ことと、
    照明プロファイルを決定するために、前記ライトのセットの1つまたは複数の組み合わせをアクティブ化することと、
    前記標本の前記第1の画像を分析して、標本分類を識別することと、
    前記標本分類に基づいて、前記照明プロファイルを選択することと、
    前記照明プロファイルに従って前記プラットフォームと前記ライトのセットを調整することと、をさらに含む、請求項11に記載の方法。
  17. 前記検査装置の画像化デバイスを第1の方向に回転させて、前記画像化デバイスを前記基準点の前記第1の側に配置して、前記第1の画像をキャプチャすることと、
    前記検査装置の前記画像化デバイスを第2の方向に回転させて、前記画像化デバイスを前記基準点の前記第2の側に配置して、前記第2の画像をキャプチャすることと、をさらに含む、請求項11に記載の方法。
  18. 前記標本ステージ上に保持された前記標本から反射されたライトを拡散して前記標本に戻すことをさらに含む、請求項11に記載の方法。
  19. 前記第1の画像の第1の重複領域を前記第2の画像の第2の重複領域と比較して、前記第1の画像および前記第2の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定することをさらに含む、請求項11に記載の方法。
  20. 前記標本ステージが、X軸、Y軸、Z軸、および回転軸に沿って移動可能である、請求項11に記載の方法。
JP2022506529A 2019-08-07 2020-06-30 反射標本のマクロ検査のためのシステム、方法および装置 Active JP7320882B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023116989A JP2023134712A (ja) 2019-08-07 2023-07-18 反射標本のマクロ検査のためのシステム、方法および装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962883931P 2019-08-07 2019-08-07
US62/883,931 2019-08-07
US16/705,674 US10915992B1 (en) 2019-08-07 2019-12-06 System, method and apparatus for macroscopic inspection of reflective specimens
US16/705,674 2019-12-06
PCT/US2020/040255 WO2021025811A1 (en) 2019-08-07 2020-06-30 System, method and apparatus for macroscopic inspection of reflective specimens

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023116989A Division JP2023134712A (ja) 2019-08-07 2023-07-18 反射標本のマクロ検査のためのシステム、方法および装置

Publications (2)

Publication Number Publication Date
JP2022543072A true JP2022543072A (ja) 2022-10-07
JP7320882B2 JP7320882B2 (ja) 2023-08-04

Family

ID=74501893

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022506529A Active JP7320882B2 (ja) 2019-08-07 2020-06-30 反射標本のマクロ検査のためのシステム、方法および装置
JP2023116989A Pending JP2023134712A (ja) 2019-08-07 2023-07-18 反射標本のマクロ検査のためのシステム、方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023116989A Pending JP2023134712A (ja) 2019-08-07 2023-07-18 反射標本のマクロ検査のためのシステム、方法および装置

Country Status (6)

Country Link
US (4) US10915992B1 (ja)
EP (1) EP4010683A4 (ja)
JP (2) JP7320882B2 (ja)
KR (1) KR20220042210A (ja)
CN (1) CN114207417A (ja)
WO (1) WO2021025811A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545096B1 (en) 2018-10-11 2020-01-28 Nanotronics Imaging, Inc. Marco inspection systems, apparatus and methods
US10915992B1 (en) 2019-08-07 2021-02-09 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
US11593919B2 (en) 2019-08-07 2023-02-28 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
CN117501306A (zh) * 2021-07-14 2024-02-02 纳米电子成像有限公司 用于反射样品的宏观检查的系统、方法和设备
CN113642612B (zh) * 2021-07-19 2022-11-18 北京百度网讯科技有限公司 样本图像生成方法、装置、电子设备及存储介质
CN114287963A (zh) * 2021-12-30 2022-04-08 重庆海扶医疗科技股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN117428782A (zh) * 2023-12-04 2024-01-23 南开大学 一种微纳目标声波操纵方法及声波操纵平台

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3215858B2 (ja) * 1998-12-25 2001-10-09 ライオンエンジニアリング株式会社 物品外観検査装置
JP2005010042A (ja) * 2003-06-19 2005-01-13 Olympus Corp 検査装置
JP2007192759A (ja) * 2006-01-23 2007-08-02 Hitachi High-Technologies Corp 欠陥検査装置およびその方法
JP2011510289A (ja) * 2008-01-16 2011-03-31 オルボテック リミテッド 複数のカメラを使用した基板検査
JP2011156035A (ja) * 2010-01-29 2011-08-18 Canon Inc 光画像撮像装置及びその制御方法、そのプログラム、記憶媒体
JP2012083282A (ja) * 2010-10-14 2012-04-26 Ail Kk 検査装置用照明システム
US9769392B1 (en) * 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection
US20170299370A1 (en) * 2012-12-05 2017-10-19 Perimeter Medical Imaging, Inc. System and method for tissue differentiation in imaging
WO2019011678A1 (en) * 2017-07-12 2019-01-17 Mycronic AB METHOD AND SYSTEM FOR DETERMINING COMPONENT ILLUMINATION SETTINGS

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647764A (en) 1984-02-22 1987-03-03 Kla Instruments Corporation Rotational and focusing apparatus for turret mounted lenses
EP0459489B1 (en) 1990-05-30 1997-01-22 Dainippon Screen Mfg. Co., Ltd. Method of reading optical image of inspected surface and image reading system employable therein
US5172005A (en) 1991-02-20 1992-12-15 Pressco Technology, Inc. Engineered lighting system for tdi inspection comprising means for controlling lighting elements in accordance with specimen displacement
JPH06109660A (ja) 1992-09-30 1994-04-22 Fujikura Ltd 異物検査方法
US5544256A (en) 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US6487307B1 (en) 1994-11-30 2002-11-26 Isoa, Inc. System and method of optically inspecting structures on an object
US5689620A (en) 1995-04-28 1997-11-18 Xerox Corporation Automatic training of character templates using a transcription and a two-dimensional image source model
US6021380A (en) 1996-07-09 2000-02-01 Scanis, Inc. Automatic semiconductor wafer sorter/prober with extended optical inspection
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US5829698A (en) 1996-09-04 1998-11-03 Svedala New Zealand Ltd. Rotor design
US5917588A (en) 1996-11-04 1999-06-29 Kla-Tencor Corporation Automated specimen inspection system for and method of distinguishing features or anomalies under either bright field or dark field illumination
US6201892B1 (en) 1997-02-26 2001-03-13 Acuity Imaging, Llc System and method for arithmetic operations for electronic package inspection
US5952657A (en) * 1997-08-22 1999-09-14 Thermo Microscopes, Corp. Atomic force microscope with integrated optics for attachment to optical microscope
WO1999027498A1 (fr) 1997-11-25 1999-06-03 Sega Enterprises, Ltd. Generateur d'image
JP2000011153A (ja) 1998-06-24 2000-01-14 Dainippon Screen Mfg Co Ltd 画像処理装置
DE69800756T2 (de) 1998-10-15 2001-08-09 Wacker Siltronic Halbleitermat Verfahren und Vorrichtung zum Detektieren, Überwachung und Charakterisierung von Kantendefekten in Halbleiterscheiben
US6788411B1 (en) 1999-07-08 2004-09-07 Ppt Vision, Inc. Method and apparatus for adjusting illumination angle
JP4507325B2 (ja) 2000-01-21 2010-07-21 パナソニック株式会社 X線撮影装置
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
AU2002219847A1 (en) 2000-11-15 2002-05-27 Real Time Metrology, Inc. Optical method and apparatus for inspecting large area planar objects
US6547409B2 (en) 2001-01-12 2003-04-15 Electroglas, Inc. Method and apparatus for illuminating projecting features on the surface of a semiconductor wafer
CA2439307A1 (en) 2001-02-23 2002-09-06 Genicon Sciences Corporation Methods for providing extended dynamic range in analyte assays
JP3629244B2 (ja) 2002-02-19 2005-03-16 本多エレクトロン株式会社 ウエーハ用検査装置
CA2496091A1 (en) 2002-09-16 2004-03-25 Rensselaer Polytechnic Institute Microscope with extended field of vision
US6775004B1 (en) 2002-10-08 2004-08-10 John B. Putman Measuring surface roughness to calculate filler dispersion in a polymer sample
US7227628B1 (en) 2003-10-10 2007-06-05 Kla-Tencor Technologies Corp. Wafer inspection systems and methods for analyzing inspection data
DE10355529A1 (de) 2003-11-21 2005-07-07 Carl Zeiss Jena Gmbh Stereomikroskop
JP3867724B2 (ja) 2004-02-27 2007-01-10 オムロン株式会社 表面状態検査方法およびその方法を用いた表面状態検査装置ならびに基板検査装置
US7176433B1 (en) 2004-05-07 2007-02-13 Kla-Teacor Technologies Corporation Resolution enhancement for macro wafer inspection
US7539583B2 (en) 2005-03-04 2009-05-26 Rudolph Technologies, Inc. Method and system for defect detection
JP2006294969A (ja) 2005-04-13 2006-10-26 Reitetsukusu:Kk ウエハ検査装置及びウエハの検査方法
US7724362B1 (en) 2006-03-14 2010-05-25 Kla-Tencor Corporation Oblique incidence macro wafer inspection
US7508504B2 (en) 2006-05-02 2009-03-24 Accretech Usa, Inc. Automatic wafer edge inspection and review system
US9633426B2 (en) 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
BRPI0808665B1 (pt) 2007-03-09 2022-05-10 Monsanto Technology Llc Métodos e construções para produção de plantas de soja, algodão ou canola transgênicas usando seleção de espectinomicina
WO2009081498A1 (ja) 2007-12-26 2009-07-02 Shimadzu Corporation 生体画像取得装置
US20100039818A1 (en) 2008-08-18 2010-02-18 Coinsecure, Inc. Numismatic storage container to prevent counterfeiting of coinage
GB0900526D0 (en) * 2009-01-14 2009-02-11 Perkinelmer Ltd Fluorescence microscopy methods and apparatus
US20130038727A1 (en) 2010-01-20 2013-02-14 Phillip Clark Cell Image Capturing and Remote Monitoring Systems
SG177786A1 (en) 2010-07-13 2012-02-28 Semiconductor Tech & Instr Inc System and method for capturing illumination reflected in multiple directions
US10430981B2 (en) * 2010-10-27 2019-10-01 Koninklike Philips N.V. Image artifact identification and mitigation
JP5694759B2 (ja) 2010-12-28 2015-04-01 ミサワホーム株式会社 インナーバルコニーを有する住宅
US9671345B2 (en) 2011-02-24 2017-06-06 Reametrix, Inc. Mapping volumes of interest in selected planes in liquid samples
JP2012215394A (ja) 2011-03-31 2012-11-08 Dainippon Screen Mfg Co Ltd 三次元計測装置および三次元計測方法
US9575013B2 (en) 2011-05-17 2017-02-21 Gii Acquisition, Llc Non-contact method and system for inspecting a manufactured part at an inspection station having a measurement axis
TWI648532B (zh) 2011-08-29 2019-01-21 美商安美基公司 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
JP5893316B2 (ja) * 2011-09-27 2016-03-23 オリンパス株式会社 顕微鏡システムおよびカメラヘッド
US20130077892A1 (en) 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
US8971605B2 (en) 2012-08-23 2015-03-03 General Electric Company System and method for correcting for metal artifacts using multi-energy computed tomography
US9488819B2 (en) 2012-08-31 2016-11-08 Nanotronics Imaging, Inc. Automatic microscopic focus system and method for analysis of transparent or low contrast specimens
US9503709B2 (en) 2013-02-19 2016-11-22 Intel Corporation Modular camera array
CN103197599A (zh) 2013-03-25 2013-07-10 东华大学 基于机器视觉的数控工作台误差自校正系统及方法
US20150062320A1 (en) * 2013-09-05 2015-03-05 Board Of Regents, The University Of Texas System Diffuse reflectance hyperspectral imaging system
JP6158668B2 (ja) 2013-09-30 2017-07-05 株式会社Pfu 画像読取装置
CN203480189U (zh) 2013-10-16 2014-03-12 浙江欧威科技有限公司 修板台光源结构
US20150133778A1 (en) 2013-11-04 2015-05-14 Medlumics S.L. Diagnostic Device for Dermatology with Merged OCT and Epiluminescence Dermoscopy
CN103631011B (zh) 2013-12-17 2015-09-09 吉林大学 一种显微镜快速调焦载物台装置
JP6470506B2 (ja) 2014-06-09 2019-02-13 株式会社キーエンス 検査装置
JP6369860B2 (ja) 2014-07-15 2018-08-08 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
JP1524346S (ja) 2014-10-14 2015-05-25
JP2016115331A (ja) 2014-12-12 2016-06-23 キヤノン株式会社 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム
JP6451344B2 (ja) 2015-01-23 2019-01-16 株式会社リコー 画像読取装置、画像処理装置及び画像読取方法
US10058256B2 (en) * 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
US10023895B2 (en) 2015-03-30 2018-07-17 Accelerate Diagnostics, Inc. Instrument and system for rapid microogranism identification and antimicrobial agent susceptibility testing
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
KR101894683B1 (ko) 2015-05-29 2018-09-04 신닛테츠스미킨 카부시키카이샤 금속체의 형상 검사 장치 및 금속체의 형상 검사 방법
KR20170001223A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
JP6685041B2 (ja) 2015-12-24 2020-04-22 カムイ・イノベーション株式会社 ゴースト低減装置およびこれを備えた撮像装置、ゴースト低減方法、ならびに撮像光学系
US11650197B2 (en) 2016-01-28 2023-05-16 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
US10068326B2 (en) 2016-03-18 2018-09-04 Siemens Energy, Inc. System and method for enhancing visual inspection of an object
WO2017196885A1 (en) 2016-05-10 2017-11-16 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
CN105869179A (zh) 2016-06-06 2016-08-17 青岛晶维科创医药工程有限公司 一种晶体颗粒三维成像系统及方法
US10223615B2 (en) 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
JP6735645B2 (ja) * 2016-09-28 2020-08-05 日本電子株式会社 観察方法および試料観察装置
US10887580B2 (en) 2016-10-07 2021-01-05 Kla-Tencor Corporation Three-dimensional imaging for semiconductor wafer inspection
CN109891319B (zh) 2016-10-24 2023-11-10 Asml荷兰有限公司 用于优化图案化装置图案的方法
CN110291438A (zh) 2017-02-10 2019-09-27 毫微光电子影像股份有限公司 用以在显微镜术中促进大区域成像的相机与试样对准
US11392970B2 (en) 2017-02-15 2022-07-19 Qualtrics, Llc Administering a digital survey over voice-capable devices
CN110709779B (zh) 2017-06-06 2022-02-22 Asml荷兰有限公司 测量方法和设备
US10742894B2 (en) 2017-08-11 2020-08-11 Ut-Battelle, Llc Optical array for high-quality imaging in harsh environments
DE102017125799A1 (de) * 2017-11-06 2019-05-09 Carl Zeiss Industrielle Messtechnik Gmbh Reduktion von Bildstörungen in Bildern
US11030458B2 (en) * 2018-09-14 2021-06-08 Microsoft Technology Licensing, Llc Generating synthetic digital assets for a virtual scene including a model of a real-world object
US10545096B1 (en) 2018-10-11 2020-01-28 Nanotronics Imaging, Inc. Marco inspection systems, apparatus and methods
US11984199B2 (en) * 2019-08-02 2024-05-14 Kpn Innovations, Llc Methods and systems for generating compatible substance instruction sets using artificial intelligence
US10915992B1 (en) 2019-08-07 2021-02-09 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
CN112033971A (zh) 2020-08-05 2020-12-04 同济大学 一种视觉瑕疵检测系统及方法
CN117501306A (zh) 2021-07-14 2024-02-02 纳米电子成像有限公司 用于反射样品的宏观检查的系统、方法和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3215858B2 (ja) * 1998-12-25 2001-10-09 ライオンエンジニアリング株式会社 物品外観検査装置
JP2005010042A (ja) * 2003-06-19 2005-01-13 Olympus Corp 検査装置
JP2007192759A (ja) * 2006-01-23 2007-08-02 Hitachi High-Technologies Corp 欠陥検査装置およびその方法
JP2011510289A (ja) * 2008-01-16 2011-03-31 オルボテック リミテッド 複数のカメラを使用した基板検査
JP2011156035A (ja) * 2010-01-29 2011-08-18 Canon Inc 光画像撮像装置及びその制御方法、そのプログラム、記憶媒体
JP2012083282A (ja) * 2010-10-14 2012-04-26 Ail Kk 検査装置用照明システム
US20170299370A1 (en) * 2012-12-05 2017-10-19 Perimeter Medical Imaging, Inc. System and method for tissue differentiation in imaging
US9769392B1 (en) * 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection
WO2019011678A1 (en) * 2017-07-12 2019-01-17 Mycronic AB METHOD AND SYSTEM FOR DETERMINING COMPONENT ILLUMINATION SETTINGS

Also Published As

Publication number Publication date
JP7320882B2 (ja) 2023-08-04
EP4010683A1 (en) 2022-06-15
US11663703B2 (en) 2023-05-30
CN114207417A (zh) 2022-03-18
US11341617B2 (en) 2022-05-24
TW202123168A (zh) 2021-06-16
KR20220042210A (ko) 2022-04-04
US20230316465A1 (en) 2023-10-05
US11995802B2 (en) 2024-05-28
US10915992B1 (en) 2021-02-09
US20210166355A1 (en) 2021-06-03
WO2021025811A1 (en) 2021-02-11
US20210042884A1 (en) 2021-02-11
EP4010683A4 (en) 2023-08-09
US20220284549A1 (en) 2022-09-08
JP2023134712A (ja) 2023-09-27

Similar Documents

Publication Publication Date Title
JP7320882B2 (ja) 反射標本のマクロ検査のためのシステム、方法および装置
US10914686B2 (en) Macro inspection systems, apparatus and methods
TWI833822B (zh) 用於自動映射流動體物體在基板上之方法及系統
CN117501306A (zh) 用于反射样品的宏观检查的系统、方法和设备
US11961210B2 (en) System, method and apparatus for macroscopic inspection of reflective specimens
TWI839547B (zh) 用於反射性樣本之目視檢驗之系統、方法及設備
TWI839774B (zh) 反光樣件之宏觀檢查的系統、方法及裝置
TWI837190B (zh) 巨觀檢查系統、裝置及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230718

R150 Certificate of patent or registration of utility model

Ref document number: 7320882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150