JP2020076743A - 対象物の特性を判断するための方法及び装置 - Google Patents

対象物の特性を判断するための方法及び装置 Download PDF

Info

Publication number
JP2020076743A
JP2020076743A JP2019169044A JP2019169044A JP2020076743A JP 2020076743 A JP2020076743 A JP 2020076743A JP 2019169044 A JP2019169044 A JP 2019169044A JP 2019169044 A JP2019169044 A JP 2019169044A JP 2020076743 A JP2020076743 A JP 2020076743A
Authority
JP
Japan
Prior art keywords
image
light
wavelength range
location
intensity value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019169044A
Other languages
English (en)
Inventor
マルコ・ヴィルツバッハ
Wilzbach Marco
クリストフ・ハウガー
Christoph Hauger
シュテファン・ザウアー
Saur Stefan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of JP2020076743A publication Critical patent/JP2020076743A/ja
Priority to JP2022036364A priority Critical patent/JP7312873B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0291Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】 対象物の特性を判断するための方法及び装置を提供する。【解決手段】 本発明は対象物の特性を判断するための方法に関し、本方法は:第1の方向から対象物の第1の画像を記録する工程と;第2の方向から対象物の第2の画像を記録する工程と;対象物の複数の位置に関して、第1の画像内の第1の位置であって対象物の位置を表す第1の位置と、第2の画像内の第2の位置であって対象物の同じ場所を表す第2の位置とを判断する工程と;対象物の複数の場所のそれぞれの場所の対象物特性の値を計算する工程とを含み、対象物の複数の場所のうちの1つの場所へ割り当てられる値は、前記場所を表す、第1の画像内の第1の位置における強度値と、前記場所を表す、第2の画像内の第2の位置における強度値とを使用することにより計算される。【選択図】図1

Description

本発明は、対象物の特性を判断するための方法及び装置に関し、特に、対象物内の物質の濃度の空間分解分布を判断するための方法及び装置に関する。
対象物内の物質の濃度の空間分解分布を判断するための1つの従来方法によると、最初に、前記対象物の2つの画像が、相異なる波長範囲の光により記録される。一例として、可視及び赤外光を空間分解的やり方で検出するのに好適な光像検出器上へ対象物を撮像するビーム経路が提供される。第1の波長範囲の光により画像を記録するために、第1の光学フィルタがビーム経路中に導入され、前記フィルタは第1の波長範囲外に位置する波長を有する光を抑制する。この場合、第1の波長範囲の光だけが光像検出器へ通され、光像検出器は次に、第1の波長範囲の光により第1の画像を記録し得る。第2の画像を検出するために、異なる光学フィルタがビーム経路中に導入され、前記フィルタは、第2の波長範囲の光だけが光像検出器上へ撮像されるように第2の波長範囲外の波長を有する光を抑制する。次に、光像検出器は第2の波長範囲の光により第2の画像を記録し得る。したがって、第1の画像と第2の画像は、同じ光像検出器により時間的に逐次的に記録され、次に、対象物内の物質の濃度の空間分解分布を計算するために使用され得る。この方法は、光学フィルタがビーム経路中に導入されビーム経路から除去される必要があり、画像は逐次的に記録され、この結果、本方法を行うことは比較的長い時間かかるという不都合を有する。
複数の異なる光学フィルタをビーム経路中に逐次的に導入する代わりに、対象物が撮像される多スペクトル画像センサを使用し得る。多スペクトル画像センサは、様々な波長範囲の画像を同時に検出し得るように、その上流側に配置された様々な光学的マイクロフィルタを有する複数の感光性画素を有する。しかし、このような多スペクトル画像センサの使用は、光学的マイクロフィルタは通常、その透過率を変更されることができないので、単一用途のためだけに利用可能である、という不都合を有する。
最後に、ビーム経路を空間的に分離し、分離されたビーム経路を個々にフィルタリングし、フィルタリングされたビーム経路を様々な光像検出器へ供給するカメラシステムが、多スペクトル画像センサの代わりに使用され得る。したがって、このようなカメラシステムは同様に、様々なスペクトル範囲の画像を同時に検出し得る。しかし、このようなカメラシステムの不都合はシステムの高複雑性及び多数の光像検出器から生じる費用である。
独国特許出願公開第10 2017 221 187.3号明細書 独国特許出願公開第10 2017 215 158.7号明細書
したがって、本発明が対処する課題は、対象物の特性の空間分解分布(特に、対象物内に存在する物質の濃度の空間分解分布)が判断され得、且つ上述の不都合がそれにもかかわらず克服される装置及び方法を提供するという課題である。
本発明の一態様は対象物の特性を判断するための方法に関する。本方法は、対象物が第1の波長範囲の光により第1の光像検出器の検出面上へ撮像されることにより第1の方向から対象物の第1の画像を記録する工程であって、前記光は顕微鏡光学ユニットにより対象物から発する、工程と、対象物が第2の波長範囲の光により第2の光像検出器の検出面上へ撮像されることにより第2の方向から対象物の第2の画像を記録する工程であって、前記光は顕微鏡光学ユニットにより対象物から発する、工程とを含む。
本方法はさらに、対象物の複数の位置に関して、第1の画像内の第1の位置であって対象物の位置を表す第1の位置と、第2の画像内の第2の位置であって対象物の同じ場所を表す第2の位置とを判断する工程を含む。
本方法はさらに、対象物の複数の場所のそれぞれの場所の対象物特性の値を計算する工程を含み、対象物の複数の場所のうちの1つの場所へ割り当てられる値は第1の画像内の第1の位置(前記場所を表す)における強度値と、第2の画像内の第2の位置(前記場所を表す)における強度値とを使用することにより計算される。
第1の画像と第2の画像は2つの異なる方向から記録される。一例として、第1の画像と第2の画像は、ステレオ顕微鏡の2つの異なるステレオ分岐内で記録され、したがってステレオ像のステレオスコープ1/2像である。ステレオ顕微鏡は、2つの異なる方向から2つの別々の画像面(第1の画像と第2の画像面)上へ対象物を撮像し得る顕微鏡である。この目的のため、第1の光像検出器の検出面は第1の画像面内に配置され得る。第2の光像検出器の第2の検出面は第2の画像面内に配置され得る。第1の方向と第2の方向は例えば少なくとも1°又は少なくとも2°だけ異なる。
顕微鏡光学ユニットは対象物を第1の光像検出器の検出面上へ撮像し、これは対象物から発する第1の波長範囲の光により行われる。第1の光像検出器は、第1の光像検出器の検出面に衝突する光の強度を空間分解的やり方で検出するように構成される。類似したやり方で、顕微鏡光学ユニットは対象物を第2の光像検出器の検出面上へ撮像し、これは対象物から発する第2の波長範囲の光により行われる。第2の光像検出器は、第2の光像検出器の検出面に衝突する光の強度を空間分解的やり方で検出するように構成される。
第1の波長範囲と第2の波長範囲は互いに異なる。特に、2つの波長範囲は(せいぜい)部分的に重畳する又は重畳しない。
第1の画像と第2の画像は両方とも対象物の領域を表す。しかし、第1の画像と第2の画像は異なる方向から異なる光像検出器により記録される。したがって、第1の画像と第2の画像は異なる観点からの対象物を表すので、対象物の同じ場所を表す第1の画像と第2の画像内のそれらの位置を検出することは些細なことではない。対象物の同じ場所を表す第1の画像内の位置と第2の画像内の位置は対象物のこの場所に関係する対応位置と呼ばれる。対応位置は、複数の要因、例えば異なる光像検出器上への対象物の透視撮像、顕微鏡光学ユニットと光像検出器との互いの位置合わせ、及び対象物の高さプロファイルに依存する。
本方法は、第1の画像と第2の画像との両方に含まれる対象物の複数の場所の第1の画像と第2の画像内の対応位置を判断する工程を含む。換言すると、対象物の複数の場所のそれぞれに関して、前記多数の場所のうちの判断された場所を表す第1の画像内の第1の位置が判断され、第2の画像内の同じ場所を表すそれに対応する第2の位置が判断される。これにより、第1の画像と第2の画像内の対応位置(具体的には対象物の複数の場所)を示す割り当てが判断される。
一例として、第1の画像と第2の画像はそれぞれ複数の画素で構成され、本方法は、第1の画像のどの画素及び第2の画像のどの画素がそれぞれ対象物の同じ場所を表すかを判断する工程を含み、この割り当ては対象物の複数の場所に関し判断される。
本方法は、対象物の複数の場所のそれぞれに関し、第1の画像と第2の画像を使用するとともに、第1の画像と第2の画像内の対応位置を示す割り当てを使用することにより対象物の特性の値を計算する工程を含む。この場合、対象物の複数の場所のうちの1つの場所へ割り当てられる対象物特性の値は、第1の画像内の第1の位置における強度値と、第2の画像内の第2の位置における強度値とを使用して計算され、第1及び第2の位置は複数の場所のうちのこの場所を表す。
したがって、対象物の対象物特性の空間分解分布は、異なる波長範囲の光により記録された2つの画像から判断され得る。画像は、2つの別々の光像検出器がこの目的のために設けられるので同時に記録され得る。第1及び第2の波長を規定する可能なフィルタは、本方法中に移動される必要はないだろう。本方法は、それに応じて適応化される第1及び第2の波長範囲のおかげで多様なアプリケーションを可能にする。本方法は、適応化された制御により従来のステレオ顕微鏡を使用して行われ得る。
一実施形態によると、第1の画像の第1の位置は第1の光像検出器の検出面上の第1の場所に対応し、第1の位置により表される対象物の場所は、顕微鏡光学ユニットにより第1の光像検出器の検出面の第1の場所上へ撮像され、第2の画像の第2の位置は第2の光像検出器の検出面上の第2の場所に対応し、第2の位置により表される対象物の場所は、顕微鏡光学ユニットにより第2の光像検出器の検出面の第2の場所上へ撮像される。
顕微鏡光学ユニットは、対象物を第1の方向に沿って第1の光像検出器の検出面上へ撮像し、対象物を第2の方向に沿って第2の光像検出器の検出面上へ撮像する。したがって、対象物の複数の場所の各場所に関して、顕微鏡光学ユニットによる撮像の結果として、第1の光像検出器の検出面上の第1の場所上に、そして第2の光像検出器の検出面上の第2の場所上に対象物の前記場所が撮像される。したがって、第1の光像検出器の検出面上の第1の場所と第2の光像検出器の検出面上の第2の場所とは、対象物の同じ場所がそれらの上へ撮像され、したがって第1及び第2の場所は対象物の同じ場所を表すので、対応する場所である。したがって、第1の画像内の第1の位置と第1の光像検出器の検出面上の第1の場所は対象物の同じ場所を表す。同様に、第2の画像内の第2の位置と第2の光像検出器の検出面上の第2の場所とは対象物のこの同じ場所を表す。
一実施形態によると、第1の画像は複数の第1の画素を有し、強度値は各第1の画素へ割り当てられ、第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画素の強度値を基準に判断される。
この実施形態では、第1の画像内のある位置における強度値はこの位置を含む画素の強度値を基準に判断されるということが明確にされる。その代わりに又は追加的に、第1の位置における強度値は、第1の位置を含む画素に隣接する第1の画素のうちの少なくとも1つの画素の強度値を基準に判断され得る。この変形形態は、第1の位置を含む画素を直接取り囲む第1の画像のこれら画素の強度値を(も)考慮する工程を含む。したがって、第1の画像内の第1の位置における強度値は、例えば、第1の位置を含む又はそれを直接取り囲む第1の画像のこれらの画素の強度値の線形結合として計算され得、様々な振幅の重みが、前記画素に関する第1の位置の状況に依存して線形結合に影響する。
第1の画像内の第1の位置における強度値はさらに又は代替的に、第1の位置を含む画素の強度値及び前記画素を取り囲む画素の強度値に対する非線形演算により判断される。一例として、これらの画素の最小、最大、又は中間強度値が第1の位置における強度値として判断される。
一実施形態によると、第2の画像は複数の第2の画素を有し、強度値は各第2の画素へ割り当てられ、第2の画像内の第2の位置における強度値は、第2の位置を含む第2の画素の強度値を基準に判断される。
この実施形態では、第2の画像内のある位置における強度値はこの位置を含む画素の強度値を基準に判断されるということが明確にされる。その代わりに又は追加的に、第2の位置における強度値は、第2の位置を含む画素に隣接する第2の画素のうちの少なくとも1つの画素の強度値を基準に判断され得る。この変形形態は、第2の位置を含む画素を直接取り囲む第2の画像のこれら画素の強度値を(も)考慮する工程を含む。したがって、第2の画像内の第2の位置における強度値は、例えば、第2の位置を含む又はそれを直接取り囲む第2の画像のこれらの画素の強度値の線形結合として計算され得、様々な振幅の重みが、前記画素に関する第2の位置の状況に依存して線形結合に影響する。
第2の画像内の第2の位置における強度値はさらに又は代替的に、第2の位置を含む画素の強度値及び前記画素を取り囲む画素の強度値に対する非線形演算により判断される。一例として、これらの画素の最小、最大、中間強度値が第2の位置における強度値として判断される。
一実施形態によると、対象物の複数の場所の各場所の第1の位置及び第2の位置は、対象物の画像の解析を元に判断され、対象物のうちの少なくとも1つの対象物の構造の形状は画像内で解析され、画像は第1及び第2の方向からの対象物の記録である。対象物の少なくとも1つの構造の形状が対象物の複数の場所の各場所の第1の位置及び第2の位置を判断するために解析される画像は、例えば第1の画像及び第2の画像であってもよいが、それらとは異なる画像であってもよい。
この実施形態では、対応位置は対象物内に存在する構造の解析により判断される。一例として、高コントラスト形状が、対象物内にあり、画像内で画像解析方法により認識され、したがって、画像内の対応位置が判断される。このような画像処理方法は、例えば画像間の相関を判断し、対応位置を判断するためにこれを使用し得る。このようにして画像内で判断された対応位置は、画像が第1の画像と第2の画像として同じ観点(すなわち第1及び第2の方向)から記録されたので、第1の画像と第2の画像へ簡単なやり方で転送され得る。
一実施形態によると、本方法はさらに、第1の画像の第1の座標空間の座標の第2の画像の第2の座標空間内への遷移を規定する座標変換を判断する工程を含み、対象物の複数の場所の各場所の第1の位置及び第2の位置は座標変換を元に判断される。
この実施形態は、例えば射影変換、アフィン変換、相似変換又はユークリッド変換であり得る座標変換を判断する工程を含む。座標変換は、どのように第1の座標空間の座標(すなわち第1の画像の座標空間の座標)が第2の座標空間の座標(すなわち第2の画像の座標空間の座標)に変換/マッピングされるかの規定を示す。座標変換により互いに変換/マッピングされる第1の画像と第2の画像の座標は、対象物の同じ場所を表す第1の画像と第2の画像内の位置を示す。第1及び第2の座標空間は例えば2次元座標空間である。
座標変換は、一群のパラメータからの1つ又は複数のパラメータによりパラメータ化され得、一群のパラメータは次のものを含む:第1の座標空間と第2の座標空間との間の変位、第2の座標空間に対する第1の座標空間の回転、第1及び/又は第2の画像を記録する過程における顕微鏡光学ユニットの倍率、第1及び/又は第2の方向、顕微鏡光学ユニットの撮像収差、及び対象物の高さプロファイル。
座標変換の一例では、座標変換は、第1の座標空間と第2の座標空間との間の変位だけによりパラメータ化される。変位は例えば、光像検出器の相対的配置の結果として及び顕微鏡光学ユニットによるステレオスコープ撮像の結果として生じる第1の画像と第2の画像との間の変換オフセットを示す。したがって、座標変換は、対象物の同じ場所を表す第1及び第2の座標系の座標間の変換を表す。
他の及び/又は別のパラメータが座標変換をパラメータ化し得る。したがって、光像検出器の相対的配置の別の効果及び顕微鏡光学ユニットによるステレオスコープ撮像の別の効果は座標変換により表され得る。特に、その2つのステレオチャネル内の顕微鏡光学ユニットの光学的撮像の恐らく個々に設定可能な倍率を考慮することが可能であり、この情報は例えばコントローラにより提供され得る。さらに、座標変換において先験的に知られた顕微鏡光学ユニットの撮像収差を表すことが可能である。
第1の画像結果及び第2の画像結果のステレオスコープ記録は原理的に対象物の光像検出器上への透視光学的撮像となる。顕微鏡光学ユニットの光学的撮像のこれらの特性はまた、座標変換で表され得る。
座標変換を規定するパラメータの数とこれらのパラメータの値により達成される品質とに依存して、第1の画像と第2の画像の画素の総数と比較して第1の画像及び第2の画像内の少ない数の対応位置だけが座標変換を判断するために判断される必要がある。したがって、座標変換は比較的迅速に判断され得る。
座標変換のいくつかのパラメータはまた、第1の画像及び第2の画像が記録される前に基準測定により判断され得る。したがって、顕微鏡光学ユニットの現在のセッティングに依存するパラメータのそれらの値だけが本方法中に判断される必要がある。しかし、これら(例えば顕微鏡光学ユニットの倍率)はコントローラにより提供され得る。したがって、座標変換を規定するパラメータのすべての値は第1の画像と第2の画像が記録される前に既に判断され得る。
完全に規定された座標変換により、対象物の複数の場所の各場所の第1の位置及び第2の位置を簡単なやり方で判断することが可能である。
一実施形態によると、本方法はさらに、高さ方向に対し垂直に配向された少なくとも1つの横断方向に応じて、高さ方向に沿って測定される対象物の広がりを示す対象物の高さプロファイルを判断する工程を含み、対象物の複数の場所の各場所の第1の位置及び第2の位置は高さプロファイルを基準に判断される。高さプロファイルは座標変換のパラメータであり得る。
第1の画像と第2の画像内の対応位置は、第1の画像と第2の画像が異なる方向から記録されるので対象物の高さプロファイルに依存する。顕微鏡光学ユニットの撮像特性及び対象物の高さプロファイルの知識により、第1の画像と第2の画像内の対応位置を計算することが可能である。顕微鏡光学ユニットの撮像特性は、例えばその高さプロファイルが知られている基準対象物により判断され得る。対象物の高さプロファイルは様々な方法により、例えば三角測量又はステレオスコープにより判断され得る。
一実施形態によると、本方法はさらに、対象物から発する光が第1の波長範囲の光及び第2の波長範囲の光を含むように対象物を照明光により晒す工程を含み、対象物特性は対象物内に存在する複数の物質のうちの1つの物質の濃度であり、物質のそれぞれは照明光による露出の結果として対象物から発する光の生成に寄与する。
この実施形態では、対象物は複数の異なる物質を含み、前記物質のうちの1つの物質の濃度の空間分解分布が判断される。この方法の前提条件は、対象物に含まれる物質が照明のために対象物から発する光の生成に様々なやり方で寄与するということである。一例として、対象物から発する第1及び第2の波長範囲の光は、対象物内に存在する2つの物質により引き起こされる2つの寄与(ほぼ2つの寄与だけ)からなる。物質は、第1及び第2の波長範囲内で既知の放射挙動を有し、2つの物質の放射挙動は第1及び第2の波長範囲内で互いに異なる。照明光並びに第1の画像及び第2の画像の既知のスペクトル強度分布のこの既知の放射特性に基づき、第1の画像と第2の画像内の対応位置における強度値を使用することにより対象物の複数の場所の前記物質のうちの1つ又は複数の物質の濃度を判断することが可能である。このようにして、対応位置の各対に関し、前記物質のうちの1つ又は複数の物質の濃度の値が判断され得、したがって濃度の空間分解分布が判断され得る。
放射挙動は、様々な相互作用(例えば散乱/消滅、蛍光など)に基づき得る。
対象物内に存在する複数の物質のうちの1つの物質の濃度の空間分解分布を計算する仕様の詳細説明は、その開示が参照により本明細書に援用される、例えば本出願人の特許出願(特許文献1)及び(特許文献2)に記載される。
一実施形態によると、本方法はさらに、対象物を第1の波長範囲の光及び第2の波長範囲の光により晒す工程を含み、第1の画像は対象物から発する第1の波長範囲の光により(ほぼ排他的に)記録され、第2の画像は対象物から発する第2の波長範囲の光により(ほぼ排他的に)記録され、対象物特性は血行動態変数の濃度であり、その結果、前記血行動態変数の濃度の空間分解分布が計算されるようにする。「ほぼ排他的に」は例えば、第1の光像検出器へ供給される第1の波長範囲の波長を有する光の強度が、第1の光像検出器へ供給される第1の波長範囲外の任意の波長を有する光の強度より少なくとも100倍だけ又は少なくとも1000倍だけ大きいということを意味する。さらに、「ほぼ排他的に」は例えば、第2の光像検出器へ供給される第2の波長範囲の波長を有する光の強度が、第2の光像検出器へ供給される第2の波長範囲外の任意の波長を有する光の強度より少なくとも100倍だけ又は少なくとも1000倍だけ大きいということを意味する。
この実施形態では、血行動態変数の濃度、例えば含酸素又は脱酸素ヘモグロビンの濃度が計算される。本方法は、対象物内の血行動態変数において後方散乱される又は血行動態変数により吸収される光の検出に基づく。したがって、照明光と対象物から発し光像検出器により検出される光との両方はいずれの場合も、第1及び第2の波長範囲の光を含む。
第1の波長範囲は、例えば410nmから430nmまで又は440nmから460nmまで広がる。第2の波長範囲は、例えば640nmから660nmまで広がる。これらの波長範囲において、含酸素ヘモグロビンの消滅挙動及び脱酸素ヘモグロビンの消滅挙動は互いに著しく異なるので、含酸素及び脱酸素ヘモグロビンの濃度はうまく判断され得る。
一実施形態によると、本方法はさらに、対象物内に分散された複数の異なる蛍光発光体を、対象物から発する光が複数の蛍光発光体からの蛍光を含むように励起する工程を含み、第1の画像は第1の波長範囲の光により(ほぼ排他的に)記録され、第2の画像は第2の波長範囲の光により(ほぼ排他的に)記録され、第1及び第2の波長範囲は合わせて、複数の蛍光発光体の放射波長範囲のそれぞれを少なくとも部分的に含み、対象物特性は複数の蛍光発光体のうちの1つの蛍光発光体の濃度であり、その結果、前記蛍光発光体の濃度の空間分解分布が計算されるようにする。
この実施形態によると、対象物は複数の異なる蛍光発光体を含む。蛍光発光体は、例えば蛍光染料など対象物へ人為的に加えられる蛍光発光体であり得る。一例として、プロトポルフィリンIX、フルオレセイン、インドシアニングリーン又はいくつかの他の蛍光染料が対象物内の特定物質を標識付けするために対象物へ加えられ得る。さらに又は代替的に、蛍光発光体は自然蛍光発光体(すなわち対象物へ人為的に加えられないが、それにもかかわらず蛍光性である物質)を含み得る。
一例として、本方法の目的は対象物内のプロトポルフィリンIXの空間分解分布を判断することであり、プロトポルフィリンIXの放射波長範囲内で発生する対象物の自己蛍光は消去されるように意図されている。
対象物はプロトポルフィリンIXを励起するために好適な照明光に晒される。照明光はまた、自己発光物質の励起を不可避的にもたらし、その結果、対象物内に分散された複数の異なる蛍光発光体が励起されることになる。
プロトポルフィリンIX及び自己発光物質は異なる波長依存放射特性を有する。第1及び第2の波長範囲は、2つの波長範囲のうちの少なくとも1つがプロトポルフィリンIXの放射波長範囲の少なくとも一部分を含み、他の2つの波長範囲のうちの少なくとも1つが自己発光物質の放射波長範囲の少なくとも一部分を含むように選択される。これは、異なる蛍光発光体の寄与に従って対象物から発する同じ波長を有する光の割合を分離するために必要である。
第1の画像と第2の画像、その中の対応位置の知識、対象物に含まれる蛍光発光体の放射挙動、及び照明光のスペクトル強度分布を使用することにより、対象物に含まれる1つ又は複数の蛍光発光体の濃度を計算することが可能である。
一実施形態によると、本方法はさらに、対象物から発する光を、(ほぼ排他的に)第1の波長範囲の光が第1の光像検出器へ供給され、したがって第1の画像が対象物から発する第1の波長範囲の光により(ほぼ排他的に)記録されるようにフィルタリングする工程と、対象物から発する光を、(ほぼ排他的に)第2の波長範囲の光が第2の光像検出器へ供給され、したがって第2の画像が対象物から発する第2の波長範囲の光により(ほぼ排他的に)記録されるようにフィルタリングする工程とを含む。
アプリケーションに依存して、光像検出器に衝突する光を第1及び第2の波長範囲の光にそれぞれ制約することが必要であり得る。この目的のため、第1の波長範囲外の波長範囲の対象物から発して第1の光像検出器へ供給される光は、例えば少なくとも100倍又は少なくとも1000倍だけその強度が抑制される。さらに、この目的のために、第2の波長範囲外の波長範囲の対象物から発して第2の光像検出器へ供給される光は、例えば少なくとも100倍又は少なくとも1000倍だけその強度が抑制される。
一実施形態によると、本方法はさらに、対象物特性の値を表す第3の画像を生成し表す工程を含む。さらに又は代替的に、第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を含むステレオ像を生成し表すことが可能であり、第1の1/2像は特に第1の画像との重ね合わせにおける対象物特性の値を表し、第2の1/2像は特に第2の画像との重ね合わせにおける対象物特性の値を表す。
本発明の別の態様は本明細書で説明される方法を行うように構成された装置(特に顕微鏡システム)に関する。
本発明の実施形態は添付図面を参照し以下にさらに詳細に説明される。
本明細書で説明される方法を行うように構成された1つの例示的顕微鏡システムを示す。 対象物の特性を判断するための方法の一実施形態を示す。 対象物内の構造の表現と第1の画像及び第2の画像における撮像後の前記構造の表現とを示す。 対象物の第1の画像の複数の画素からの抜粋を示す。 対象物が撮像される第2の画像検出器の検出面上の場所の位置への影響を示し、前記影響は対象物の高さプロファイルにより引き起こされる。 対象物の特性を判断するための方法の別の実施形態を示す。 対象物に含まれる物質の波長依存変換率を示す。
図1は、一実施形態による顕微鏡システム1の概略図を示す。顕微鏡システム1は、照明光5を生成するとともに、それを対象物8が配置される対象物領域7上へ向けるように構成された照明装置3を含む。
顕微鏡システム1は、対象物8を第1の方向から第1の光像検出器13の検出面14上へ撮像するように構成された顕微鏡光学ユニット11を含む。この目的のため、顕微鏡光学ユニット11は、顕微鏡光学ユニット11の対物レンズ21と顕微鏡光学ユニット11の第1のレンズ系25とにより生成される第1のビーム経路に23を提供する。
さらに、顕微鏡光学ユニットは対象物8を第2の方向から第2の光像検出器15の検出面16上へ撮像するように構成される。この目的のため、顕微鏡光学ユニット11は、顕微鏡光学ユニット11の対物レンズ21と第2のレンズ系29とにより生成される第2のビーム経路27を提供する。
対象物8と対物レンズ21との間の第1のビーム経路23の中心光線31及び第2のビーム経路27の中心光線33は第1及び第2の方向を規定する。第1の方向と第2の方向との間のステレオ角35は原理的に少なくとも1°であり、ほぼ40°までの値を有し得る。
第1の光像検出器13は、検出面14に衝突する光の強度の空間分解分布を表す第1の画像を生成する。第2の光像検出器15は、検出面16に衝突する光の強度の空間分解分布を表す第2の画像を生成する。
第1の光像検出器13及び第2の光像検出器15は顕微鏡システム1のコントローラ37へ接続される。コントローラ37は第1の画像を表す信号を第1の光像検出器13から受信する。さらに、コントローラ37は第2の画像を表す信号を第2の光像検出器15から受信する。コントローラ37は本発明による方法の工程を行うように構成される。
顕微鏡システム1はさらに、コントローラ37へ接続される表示システム39であってコントローラ37により生成されるモノスコープ像又はステレオスコープ像を表すように構成される表示システム39を含む。
顕微鏡システム1はさらに、第1のビーム経路23内に配置されるとともに、ほぼ第1の波長範囲の光だけを透過する第1の光学フィルタ41を含む。顕微鏡システム1はさらに、第2のビーム経路27内に配置されるとともに、ほぼ第2の波長範囲の光だけを透過する第2の光学フィルタ43を含む。
この結果、第1の画像はほぼ第1の波長範囲の光だけにより記録され、第2の画像はほぼ第2の波長範囲の光だけにより記録される。
顕微鏡システム1はさらに、第1のカラー画像検出器45及び第1のビームスプリッタ47を含む。第1のビームスプリッタ47は、第1のビーム経路23の一部を第1のカラー画像検出器45上へ向けるために第1のビーム経路23内に配置される。したがって、顕微鏡光学ユニット11は、対象物8を、対象物8のカラー画像を記録するように構成された第1のカラー画像検出器45上へ撮像する。第1のカラー画像検出器45はコントローラ37へ接続され、コントローラ37は第1のカラー画像検出器45により記録された画像を表す信号を第1のカラー画像検出器45から受信する。
顕微鏡システム1はさらに、第2のカラー画像検出器49及び第2のビームスプリッタ51を含む。第2のビームスプリッタ51は、第2のビーム経路27の一部を第2のカラー画像検出器49上へ向けるために第2のビーム経路27内に配置される。したがって、顕微鏡光学ユニット11は対象物8を第2のカラー画像検出器49上へ撮像する。カラー画像検出器49は対象物8のカラー画像を記録するように構成される。第2のカラー画像検出器49はコントローラ37へ接続され、コントローラ37は、第2のカラー画像検出器49により記録された画像を表す信号を第2のカラー画像検出器49から受信する。
図2は、対象物8の特性を判断するための方法の概略図を示す。
工程S1は対象物8の第1の画像を第1の方向から記録する工程を含む。これは、例えば、顕微鏡光学ユニット11により第1の光像検出器13の検出面14上へ撮像される対象物8から発する第1の波長範囲の光により行われる。
その後又は同時に、工程S2に従って、対象物8の第2の画像が第2の方向から記録される。これは、例えば、顕微鏡光学ユニット11により第2の光像検出器15の検出面16上へ撮像される対象物8から発する第2の波長範囲の光により行われる。
工程S3は、対象物8の複数の場所の各場所の第1の画像内の第1の位置及び第2の画像内の第2の位置を判断する工程を含み、第1及び第2の位置は対象物の複数の場所の同じ場所を表す。いずれの場合も対象物の同じ場所を表す第1の画像内の第1の位置及び第2の画像内の第2の位置は対応位置と呼ばれる。工程S3はコントローラ37により行われる。
対応位置を判断するための1つの例示的方法が図3を参照してより詳細に説明される。図3は、第1の画像と第2の画像内の対応位置を判断する方法を解明するために役立つ。図3は3つの図表61、63及び65を含む。図表61は、図1に示すz軸に対して垂直に配向されるx−y面内の対象物8からの抜粋を示す。説明目的のために、抜粋は対象物8の2つの構造67を含む。
図表63は第1の画像B1を示し、図表65は第2の画像B2を示す。第1の画像B1及び第2の画像B2はそれぞれ、破線により識別される四角として表される複数の画素で構成される。第1の画像B1の画素は個々の座標i及びjによりインデックスを付けられ、第2の画像B2の画素は個々の座標k及びlによりインデックスを付けられる。第1の画像B1及び第2の画像B2は対象物8に対して異なる方向から記録されたので、第1の画像B1及び第2の画像B2は対象物8を異なる観点から示す。異なる観点からの2つの画像の記録は、第1の画像B1と第2の画像B2とが合同でない第1の理由であり、これは、第1の画像と第2の画像とが構造67を異なる場所に含むということにより図3に示される。第1の画像B1と第2の画像B2とが概して合同でない別の理由は、顕微鏡光学ユニット11と光像検出器13、15とが互いに位置合わせされる精度の限界である。図4に関連して後で説明する別の理由は対象物8の高さプロファイルである。これらの様々な理由は、図表61に図示される対象物8の場所Aが顕微鏡光学ユニット11により第1の画像B1内の第1の位置B1−A上へ撮像され、第2の画像B2内の第2の位置B2−A上へ撮像されるという影響を有する。したがって、位置B1−Aを含む画像B1内の画素の座標i、jは、位置B2−Aを含む第2の画像B2の画素の座標k、lとは異なる。第1の位置B1−A及び第2の位置B2−Aはいずれの場合も対象物8の場所Aを表す対応位置である。
図2に示す工程S3は、対象物8の複数の場所の第1の画像B1及び第2の画像B2内の対応位置を判断する工程を含む。これは、例えば対象物8の構造67のうちの少なくとも1つの構造の形状/形式をこのようにして解析して対応位置を判断する方法により実現される。一例として、構造67の形状/形式は第1の画像B1及び第2の画像B2において解析され、対応位置は相関により判断される。第1の画像B1及び第2の画像B2はこの目的のために使用され得る。しかし、その代わりに、第1及び第2の方向から記録される他の画像であって、その第1の画像及び第2の画像へ割り当てがそれぞれ知らされる又は判断される他の画像を使用することも可能である。
一例として、対象物8のそれぞれのカラー画像は図1に示すカラー画像検出器45及び49により記録され、これらの2つのカラー画像は対応位置を判断するために使用される。このための前提条件は、第1のカラー画像検出器45により記録される画像と第1の光像検出器13により記録される第1の画像との間の対応位置を示す割り当てが知られていることと、第2のカラー画像検出器49により記録される画像と第2の光像検出器15により記録される第2の画像との間の対応位置を示す別の割り当てが知られていることとである。
しかし、第1のカラー画像検出器45により記録される画像と第1の画像との間の割り当ての判断は、これらの画像が対象物8に対して同じビーム経路から又は同じ方向から記録されるので比較的簡単である。第2のカラー画像検出器49により記録される画像と第2の画像との間の割り当ての判断は、これらの画像もまた対象物8に対して同じビーム経路から又は同じ方向から記録されるので同様に比較的簡単である。
もう一度図2を参照すると、本方法は、第1の画像及び第2の画像並びに対応位置に基づき対象物8の特性の空間分解分布を判断することに関与する工程S4を含む。これは、対象物特性の値が対象物の複数の場所に関して判断されるということを意味し、対象物8の複数の場所のうちの1つの場所へ割り当てられる値は、第1の画像内の第1の位置(前記場所を表す)における強度値と第2の画像内の第2の位置(前記場所を表す)における強度値とを使用して計算される。これは図3を参照してさらに詳細に説明される。
工程S4において、対象物特性の値は、例えば場所Aの対象物8の複数の場所に関して計算される。場所Aへ割り当てられる対象物特性の値は、第1の位置B1−Aにおける第1の画像B1の強度値を使用して計算される。この値はさらに、第2の位置B2−Aにおける第2の画像B2の強度値に基づき計算される。したがって、対応位置における第1の画像及び第2の画像の強度値は、対応位置により表される対象物8の場所の対象物特性の値を判断するために使用される。
第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画像の画素の強度値に基づき判断される。さらに又は代替的に、第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画像の画素に隣接する第1の画像の画素の少なくとも1つの強度値に基づき判断され得る。これについて図4を参照して説明する。
図4は第1の画像B1の複数の画素のうちの9つの画素71〜79を示す。強度値が判断されるようにされた例示的第1の位置B1−Aが画素71内の十字記号により表される。画素71は第1の位置B1−Aを含む。したがって、画素71の強度値は第1の位置B1−Aの強度値として判断され得る。画素72〜79は第1の位置B1−Aを含む画素71に直接隣接する。したがって、画素72〜79の強度値は同様に、第1の位置B1−Aの強度値を判断するために使用され得る。一例として、第1の位置B1−Aの強度値は画素71〜79の個々に重み付けされた強度値の線形結合として判断される。第2の画像B2内の第2の位置B2−Aにおける強度値もまた類似したやり方で判断され得、前記第2の位置B2−Aは(第1の位置B1−Aのように)対象物8の同じ場所Aを表する。
もう一度図2を参照すると、工程S4において計算された対象物特性の空間分解分布が工程S5において表される。一例として、コントローラ37は、対象物特性の計算値(すなわち対象物特性の空間分解分布)を表す第3の画像を生成する。次に、このモノスコープ像は表示システム39により表される。対象物特性の空間分解分布は対象物の画像(特にカラー画像)との重ね合わせで表され得る。
さらに又は代替的に、コントローラ37は、第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を有するステレオ像を生成し得、第1の1/2像は、特に第1の画像との重ね合わせにおける対象物特性の値を表し、第2の1/2像は特に第2の画像との重ね合わせにおける対象物特性の値を表す。次に、ステレオ像は表示システム39により表され得る。
本方法の別の実施形態が図5及び図6を参照して説明される。この実施形態は、図2を参照して上に説明された実施形態に可能な最大限度まで対応する。実質的に、逸脱する特徴だけが以下に説明される。
図5は、図1に示す顕微鏡システム1の一部分、主として対物レンズ21、第1のレンズ系25、第2のレンズ系29、第1の光像検出器13及び第2の光像検出器15を示す。対象物8はプロファイルで(すなわちx−z面における対象物8の断面で)示される。対象物8は、x方向に応じて変動するz方向(高さプロファイル80)に沿った広がりを有する。この場合、z方向は対象物の高さ方向に対応し、x方向は(及び、x−z面に垂直に配向されたy方向も)高さ方向に対し垂直に配向された横断方向に対応する。
顕微鏡光学ユニット11は、ビーム経路23を介し第1の光像検出器13の検出面14上の場所81上へ対象物8の場所Aを撮像する。顕微鏡光学ユニット11は追加的に、第2のビーム経路27を介し第2の光像検出器15の検出面16上の場所83上へ場所Aを撮像する。
対象物8の別の場所Nは、顕微鏡光学ユニット11により第1のビーム経路23を介し第1の光像検出器13の検出面14上の場所85上へ撮像される。場所Nは追加的に、顕微鏡光学ユニット11により第2のビーム経路27を介し第2の光像検出器15の検出面16上の場所87上へ撮像される。
場所81と85との間の距離は場所83と87との間の距離より大きい。これは、対象物8の高さプロファイル80は対象物の場所が撮像される光像検出器の検出面上の場所に影響を及ぼす、という事実を示す。したがって、いずれの場合も対象物の同じ場所を表す第1の画像内の第1の位置及び第2の画像内の第2の位置もまた対象物の高さプロファイルに依存する。
顕微鏡光学ユニット11の撮像特性の知識を所与として、対象物8の高さプロファイル80を使用することにより、第1の画像と第2の画像内の対応位置がコントローラ37により計算され得る。
図6は、この実施形態による方法の図式的概要を示す。工程S1、S2、S4及びS5は図2を参照して説明した工程に対応する。図2を参照して説明した実施形態と比較すると、この実施形態による方法は別の工程S6と工程S3に対して修正された工程S7とを含む。
工程S7の前に行われる工程S6は対象物8の高さプロファイル80を判断する工程を含む。高さプロファイル80は、様々な方法により(例えばステレオスコープにより)判断され得る。代替的に、特定の高さプロファイルセンサが、例えばこのセンサにより発射されるとともに、対象物8おける反射後にセンサにより受信される信号の飛行時間測定(三角測量)などに基づき使用され得る。
工程S4の前に行われる工程S7は、図2を参照して説明した実施形態の工程S3と同様に、第1の画像と第2の画像内の対応位置を判断する工程を含み、工程S3とは対照的に、対応位置の判断は、工程S6において判断された高さプロファイル80に基づき行われる。したがって、いずれの場合も対象物の複数の場所の同じ場所を表す第1の画像内の第1の位置及び第2の画像内の第2の位置は、高さプロファイル80に基づき判断される。顕微鏡光学ユニット11の撮像特性がさらに、この判断中に考慮され得る。
図3に関連して説明した工程S3に従って第1の画像及び第2の画像内の対応位置を判断するための方法とは対照的に、工程S7による対応位置の判断のために、対象物8が高コントラスト構造(図3の構造67を参照)を有する必要は無い。
上記方法は対象物の様々な特性を判断するために使用され得る。いくつかの応用例が以下に説明される。
一実施形態によると、対象物内に存在する物質の濃度を判断するための方法が使用される。この目的のため、対象物は、対象物から発する光が第1の波長範囲の光及び第2の波長範囲の光を含むように照明光に晒される。
図7は、照明光と対象物から発する光との波長依存変換率を示す。曲線91は対象物8内に存在する第1の物質の変換率を規定し、曲線93は対象物内に存在する第2の物質の変換率を規定する。2つの物質の波長依存変換率(曲線91、93)は互いに異なる。
第1の波長範囲95及び第2の波長範囲97は一般的には2つの異なる波長範囲である。特に、第1の波長範囲95及び第2の波長範囲97はせいぜい部分的に重畳し得る又はそうでなければ重畳しない。図7に示す例では、2つの波長範囲は重畳しない。
対象物上へ向けられた照明光は、曲線91及び93に従って、対象物8に含まれる2つの物質により変換され、したがって、対象物8から発する光に寄与する。したがって、対象物8から発する光は第1の波長範囲95の光及び第2の波長範囲97の光を含む。
照明光の波長依存強度分布、記録された第1の画像、記録された第2の画像、並びに第1の画像及び第2の画像内の対応位置の対象物8に含まれる物質の変換率(曲線91及び93)の知識により、対象物に含まれる物質の濃度の空間分解分布を計算することが可能である。計算に関する詳細は、例えばその本開示が参照により本明細書に援用される(特許文献1)及び(特許文献2)から収集され得る。
1 顕微鏡システム
3 照明装置
5 照明光
7 対象物領域
8 対象物
11 顕微鏡光学ユニット
13 第1の光像検出器
14、16 検出面
15 第2の光像検出器
21 対物レンズ
23 第1のビーム経路
25 第1のレンズ系
27 第2のビーム経路
29 第2のレンズ系
31、33 中心光線
35 ステレオ角
37 コントローラ
39 表示システム
41 第1の光学フィルタ
43 第2の光学フィルタ
45 第1のカラー画像検出器
47 第1のビームスプリッタ
49 第2のカラー画像検出器
51 第2のビームスプリッタ
61、63、65 図表
67 構造
71〜79 画素
80 高さプロファイル
81、83、85、87、A、N 場所
95 第1の波長範囲
97 第2の波長範囲
B1 第1の画像
B1−A 第1の位置
B2 第2の画像
B2−A 第2の位置
S1〜S7 工程

Claims (19)

  1. 対象物(8)の特性を判断するための方法であって、
    前記対象物(8)が第1の波長範囲(95)の光により第1の光像検出器(13)の検出面(14)上へ撮像されることにより第1の方向から前記対象物(8)の第1の画像(B1)を記録する工程であって、前記光は顕微鏡光学ユニット(11)により前記対象物(8)から発する、工程と;
    前記対象物(8)が第2の波長範囲(97)の光により第2の光像検出器(15)の検出面(16)上へ撮像されることにより第2の方向から前記対象物(8)の第2の画像(B2)を記録する工程であって、前記光は前記顕微鏡光学ユニット(11)により前記対象物(8)から発する、工程と;
    前記対象物(8)の複数の位置(A、N)に関して、前記第1の画像(B1)内の第1の位置(B1−A)であって前記対象物(8)の位置(A)を表す第1の位置(B1−A)と、前記第2の画像(B2)内の第2の位置(B2−A)であって前記対象物(8)の同じ位置(A)を表す第2の位置(B2−A)とを判断する工程と、
    前記対象物(8)の前記複数の位置(A、N)のそれぞれの位置の対象物特性の値を計算する工程であって、前記対象物(8)の前記複数の場所のうちの1つの場所(A)へ割り当てられる値は、前記場所(A)を表す、前記第1の画像(B1)内の前記第1の位置(B1−A)における強度値と、前記場所(A)を表す、前記第2の画像(B2)内の前記第2の位置(B2−A)における強度値とを使用して計算される、工程と、を含む方法。
  2. 前記第1の画像(B1)内の前記第1の位置(B1−A)は前記第1の光像検出器(13)の前記検出面(14)上の第1の場所(81)に対応し、前記第1の位置(B1−A)により表される前記対象物(8)の前記場所(A)は、前記顕微鏡光学ユニット(11)により前記第1の光像検出器(13)の前記検出面(14)の前記第1の場所(81)上へ撮像され;
    前記第2の画像(B2)内の前記第2の位置(B2−A)は前記第2の光像検出器(15)の前記検出面(16)上の第2の場所(83)に対応し、前記第2の位置(B2−A)により表される前記対象物(8)の前記場所(A)は、前記顕微鏡光学ユニット(11)により前記第2の光像検出器(15)の前記検出面(16)の前記第2の場所(83)上へ撮像される、請求項1に記載の方法。
  3. 前記第1の画像(B1)は複数の第1の画素を有し、強度値が各第1の画素へ割り当てられ;
    前記第1の位置(B1−A)における前記強度値は、前記第1の位置(B1−A)を含む前記第1の画素(71)の強度値に基づき判断され、及び/又は
    前記第1の位置(B1−A)における前記強度値は、前記第1の位置(B1−A)を含む前記画素(71)に隣接する前記第1の画素(72〜79)のうちの少なくとも1つの画素の強度値に基づき判断される、請求項1又は2に記載の方法。
  4. 前記第2の画像(B2)は複数の第2の画素を有し、強度値が各第2の画素へ割り当てられ;
    前記第2の位置(B2−A)における前記強度値は前記第2の位置(B2−A)を含む前記第2の画素の強度値に基づき判断され、及び/又は
    前記第2の位置(B2−A)における前記強度値は、前記第2の位置(B2−A)を含む前記画素に隣接する前記第2の画素のうちの少なくとも1つの画素の強度値に基づき判断される、請求項1〜3のいずれか一項に記載の方法。
  5. 前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1−A)及び前記第2の位置(B2−A)は、前記対象物(8)の画像の解析に基づき、特に前記第1の画像及び第2の画像(B1、B2)の解析に基づき判断され、
    前記対象物(8)の少なくとも1つの構造(67)の形状は前記画像において解析される、請求項1〜4のいずれか一項に記載の方法。
  6. 前記第1の画像の第1の座標空間の座標の前記第2の画像の第2の座標空間内への遷移を規定する座標変換を判断する工程をさらに含み、
    前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1−A)及び前記第2の位置(B2−A)は前記座標変換に基づき判断される、請求項1〜5のいずれか一項に記載の方法。
  7. 前記座標変換は一群のパラメータからの1つ又は複数のパラメータによりパラメータ化され、前記一群のパラメータは、前記第1の座標空間と前記第2の座標空間との間の変位、前記第2の座標空間に対する前記第1の座標空間の回転、前記第1及び/又は第2の画像を記録する過程における前記顕微鏡光学ユニットの倍率、前記第1及び/又は第2の方向、前記顕微鏡光学ユニットの撮像収差、及び前記対象物の高さプロファイルを含む、請求項6に記載の方法。
  8. 前記座標変換は射影変換、アフィン変換、相似変換又はユークリッド変換である、請求項6又は7に記載の方法。
  9. 高さ方向に対し垂直に配向された少なくとも1つの横断方向に応じて前記高さ方向に沿って測定される前記対象物(8)の広がりを示す前記対象物(8)の高さプロファイル(80)を判断する工程をさらに含み、
    前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1−A)及び前記第2の位置(B2−A)は前記高さプロファイル(80)に基づき判断される、請求項1〜8のいずれか一項に記載の方法。
  10. 前記対象物(8)の前記高さプロファイル(80)は三角測量又はステレオスコープにより判断される、請求項9に記載の方法。
  11. 前記第1の波長範囲(95)及び前記第2の波長範囲(97)はせいぜい部分的に重畳するが、特には重畳しない、請求項1〜10のいずれか一項に記載の方法。
  12. 前記対象物(8)から発する光が前記第1の波長範囲(95)の光及び前記第2の波長範囲(97)の光を含むように前記対象物(8)を照明光(5)により晒す工程をさらに含み、
    前記対象物特性は、前記対象物(8)内に存在する複数の物質のうちの1つの物質の濃度であり、前記物質のそれぞれは、前記照明光による露出の結果として前記対象物(8)から発する前記光の生成に寄与する、請求項1〜11のいずれか一項に記載の方法。
  13. 前記第1の波長範囲(95)の光及び前記第2の波長範囲(97)の光による前記対象物(8)を晒す工程をさらに含み、
    前記第1の画像(B1)は前記対象物(8)から発する前記第1の波長範囲(95)の光によりほぼ排他的に記録され;
    前記第2の画像(B2)は前記対象物(8)から発する前記第2の波長範囲(97)の光によりほぼ排他的に記録され;
    前記対象物特性は血行動態変数の濃度であり、その結果、前記血行動態変数の前記濃度の空間分解分布が計算されるようにする、請求項1〜12のいずれか一項に記載の方法。
  14. 前記対象物(8)中に分散された複数の異なる蛍光発光体を、前記対象物(8)から発する前記光が前記複数の蛍光発光体からの蛍光を含むように励起する工程をさらに含み、
    前記第1の画像(B1)は前記第1の波長範囲(95)の光によりほぼ排他的に記録され;
    前記第2の画像(B2)は前記第2の波長範囲(97)の光によりほぼ排他的に記録され;
    前記第1及び第2の波長範囲(95、97)は合わせて、前記複数の蛍光発光体の放射波長範囲のそれぞれを少なくとも部分的に含み;
    前記対象物特性は前記複数の蛍光発光体のうちの1つの蛍光発光体の濃度であり、その結果、前記蛍光発光体の前記濃度の空間分解分布が計算されるようにする、請求項1〜12のいずれか一項に記載の方法。
  15. 前記複数の蛍光発光体のうちの1つは前記対象物(8)へ加えられる蛍光染料、特にプロトポルフィリンIXであり、及び/又は
    前記複数の蛍光発光体のうちの1つは前記対象物(8)へ加えられる蛍光染料ではない、請求項14に記載の方法。
  16. 前記対象物(8)から発する前記光を、ほぼ排他的に前記第1の波長範囲(95)の光が前記第1の光像検出器(13)へ供給され、したがって前記第1の画像(B1)が前記対象物(8)から発する前記第1の波長範囲(95)の光によりほぼ排他的に記録されるように、フィルタリングする工程と;
    前記対象物(8)から発する前記光を、ほぼ排他的に前記第2の波長範囲(97)の光が前記第2の光像検出器(15)へ供給され、したがって前記第2の画像(B2)が前記対象物(8)から発する前記第2の波長範囲(97)の光によりほぼ排他的に記録されるように、フィルタリングする工程と、をさらに含む、請求項1〜15のいずれか一項に記載の方法。
  17. 前記対象物特性の前記値を表す第3の画像を生成し表す工程をさらに含む、請求項1〜16のいずれか一項に記載の方法。
  18. 第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を有するステレオ像を生成し表す工程をさらに含み、前記第1の1/2像は特に前記第1の画像(B1)との重ね合わせにおける前記対象物特性の前記値を表し、前記第2の1/2像は特に前記第2の画像(B2)との重ね合わせにおける前記対象物特性の前記値を表す、請求項1〜17のいずれか一項に記載の方法。
  19. 請求項1〜18のいずれか一項に記載の方法を行うように構成された装置(1)。
JP2019169044A 2018-09-18 2019-09-18 対象物の特性を判断するための方法及び装置 Pending JP2020076743A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022036364A JP7312873B2 (ja) 2018-09-18 2022-03-09 対象物の特性を判断するための方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018122816.3A DE102018122816B9 (de) 2018-09-18 2018-09-18 Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
DE102018122816.3 2018-09-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022036364A Division JP7312873B2 (ja) 2018-09-18 2022-03-09 対象物の特性を判断するための方法及び装置

Publications (1)

Publication Number Publication Date
JP2020076743A true JP2020076743A (ja) 2020-05-21

Family

ID=69646548

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019169044A Pending JP2020076743A (ja) 2018-09-18 2019-09-18 対象物の特性を判断するための方法及び装置
JP2022036364A Active JP7312873B2 (ja) 2018-09-18 2022-03-09 対象物の特性を判断するための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022036364A Active JP7312873B2 (ja) 2018-09-18 2022-03-09 対象物の特性を判断するための方法及び装置

Country Status (3)

Country Link
US (1) US11391937B2 (ja)
JP (2) JP2020076743A (ja)
DE (1) DE102018122816B9 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004825A1 (ja) * 2020-06-30 2022-01-06 株式会社香味醗酵 計測装置及びプログラム
JP2022069531A (ja) * 2018-09-18 2022-05-11 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163413A (ja) * 2002-08-28 2004-06-10 Carl-Zeiss-Stiftung Trading As Carl Zeiss 顕微鏡システムおよび顕微鏡検査方法
JP2009525495A (ja) * 2006-01-30 2009-07-09 カール ツァイス サージカル ゲーエムベーハー 顕微鏡システム
JP2017148503A (ja) * 2016-02-15 2017-08-31 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
WO2017217180A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 情報処理装置、観察システム、観察方法及びプログラム
US20180024341A1 (en) * 2015-02-09 2018-01-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンThe University of Akron 光学撮像システムおよびその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4634304B2 (ja) 2003-10-10 2011-02-16 浜松ホトニクス株式会社 蛍光色素の濃度を定量する方法およびシステム
JP2005308553A (ja) 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
JP4796295B2 (ja) 2004-11-12 2011-10-19 財団法人電力中央研究所 カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
DE102009031231A1 (de) 2009-06-26 2010-12-30 Carl Zeiss Microlmaging Gmbh Verfahren und Anordnungen für die Fluoreszenzmikroskopie
KR102079689B1 (ko) 2011-08-12 2020-02-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술기기 내의 이미지 캡쳐 장치
JP2016070698A (ja) 2014-09-26 2016-05-09 富士フイルム株式会社 有核赤血球の選別方法
GB2559090B (en) * 2015-11-03 2020-10-07 Synaptive Medical Barbados Inc Dual zoom and dual field-of-view microscope
DE102017215158B4 (de) 2017-08-30 2020-10-15 Carl Zeiss Meditec Ag Detektionssystem
DE102017221187B4 (de) 2017-11-27 2020-08-13 Carl Zeiss Meditec Ag Verfahren zur Bestimmung der Konzentration von verschiedenen, in einem Objekt enthaltenen Fluoreszenzemittern und Mikroskopiesystem
DE102018122816B9 (de) * 2018-09-18 2024-07-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163413A (ja) * 2002-08-28 2004-06-10 Carl-Zeiss-Stiftung Trading As Carl Zeiss 顕微鏡システムおよび顕微鏡検査方法
JP2009525495A (ja) * 2006-01-30 2009-07-09 カール ツァイス サージカル ゲーエムベーハー 顕微鏡システム
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンThe University of Akron 光学撮像システムおよびその方法
US20180024341A1 (en) * 2015-02-09 2018-01-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
JP2017148503A (ja) * 2016-02-15 2017-08-31 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
WO2017217180A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 情報処理装置、観察システム、観察方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022069531A (ja) * 2018-09-18 2022-05-11 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置
WO2022004825A1 (ja) * 2020-06-30 2022-01-06 株式会社香味醗酵 計測装置及びプログラム

Also Published As

Publication number Publication date
DE102018122816B4 (de) 2024-01-04
JP2022069531A (ja) 2022-05-11
JP7312873B2 (ja) 2023-07-21
US20200088983A1 (en) 2020-03-19
US11391937B2 (en) 2022-07-19
DE102018122816A1 (de) 2020-03-19
DE102018122816B9 (de) 2024-07-04

Similar Documents

Publication Publication Date Title
JP6661221B2 (ja) 3d輪郭データ収集及びう蝕検出のシステム、方法、並びにコンピュータプログラム
JP7312873B2 (ja) 対象物の特性を判断するための方法及び装置
CN104780830B (zh) 测量荧光的3d口内扫描器
EP2378955B1 (en) Method and apparatus for detection of caries
US7873407B2 (en) Systems and methods for in-vivo optical imaging and measurement
JP5934180B2 (ja) オブジェクトの材料特性を決定するための方法
JP7209469B2 (ja) 蛍光を定量化する顕微鏡検査システムおよび顕微鏡検査方法
US11231576B2 (en) Method and microscope for determining a fluorescence intensity
JP6482773B2 (ja) 3d高解像度局在顕微鏡法のための方法
US20200267305A1 (en) Imaging apparatus, imaging method, and imaging system
US20080200818A1 (en) Surface measurement apparatus and method using parallax views
US10009593B2 (en) Device and method for obtaining densitometric images of objects by a combination of radiological systems and depth-sensing cameras
JP7189344B2 (ja) 入射角に基づいて干渉フィルタ補正を行うためのシステム、方法、及び装置
JP6346032B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10883940B2 (en) Fluctuation-based fluorescence microscopy
JP2018109568A (ja) 分光測定方法および分光測定装置
JP2012168088A (ja) 蛍光反応検出装置
JP2012168085A (ja) 特定生物成分検出方法
JP2023539435A (ja) 蛍光顕微鏡における照明調整方法および対応する蛍光顕微鏡
US20240085326A1 (en) Method, computer program and data processing unit for preparing observation of fluorescence intensity, method for observing fluorescence intensity, and optical observation system
US20240233158A9 (en) Method and device for light field microscopy
US20240135565A1 (en) Method and device for light field microscopy
US20240069316A1 (en) Microscope and imaging method for a microscope
CN117958729A (zh) 荧光强度计算方法、装置、系统、计算机设备和存储介质
JP2012052869A (ja) 撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211109