JP2022069531A - 対象物の特性を判断するための方法及び装置 - Google Patents

対象物の特性を判断するための方法及び装置 Download PDF

Info

Publication number
JP2022069531A
JP2022069531A JP2022036364A JP2022036364A JP2022069531A JP 2022069531 A JP2022069531 A JP 2022069531A JP 2022036364 A JP2022036364 A JP 2022036364A JP 2022036364 A JP2022036364 A JP 2022036364A JP 2022069531 A JP2022069531 A JP 2022069531A
Authority
JP
Japan
Prior art keywords
image
light
wavelength range
intensity value
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022036364A
Other languages
English (en)
Other versions
JP7312873B2 (ja
Inventor
マルコ・ヴィルツバッハ
Wilzbach Marco
クリストフ・ハウガー
Christoph Hauger
シュテファン・ザウアー
Saur Stefan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of JP2022069531A publication Critical patent/JP2022069531A/ja
Application granted granted Critical
Publication of JP7312873B2 publication Critical patent/JP7312873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0291Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】 対象物の特性を判断するための方法及び装置を提供する。【解決手段】 本発明は対象物の特性を判断するための方法に関し、本方法は:第1の方向から対象物の第1の画像を記録する工程と;第2の方向から対象物の第2の画像を記録する工程と;対象物の複数の位置に関して、第1の画像内の第1の位置であって対象物の位置を表す第1の位置と、第2の画像内の第2の位置であって対象物の同じ場所を表す第2の位置とを判断する工程と;対象物の複数の場所のそれぞれの場所の対象物特性の値を計算する工程とを含み、対象物の複数の場所のうちの1つの場所へ割り当てられる値は、前記場所を表す、第1の画像内の第1の位置における強度値と、前記場所を表す、第2の画像内の第2の位置における強度値とを使用することにより計算される。【選択図】図1

Description

本発明は、対象物の特性を判断するための方法及び装置に関し、特に、対象物内の物質の濃度の空間分解分布を判断するための方法及び装置に関する。
対象物内の物質の濃度の空間分解分布を判断するための1つの従来方法によると、最初に、前記対象物の2つの画像が、相異なる波長範囲の光により記録される。一例として、可視及び赤外光を空間分解的やり方で検出するのに好適な光像検出器上へ対象物を撮像するビーム経路が提供される。第1の波長範囲の光により画像を記録するために、第1の光学フィルタがビーム経路中に導入され、前記フィルタは第1の波長範囲外に位置する波長を有する光を抑制する。この場合、第1の波長範囲の光だけが光像検出器へ通され、光像検出器は次に、第1の波長範囲の光により第1の画像を記録し得る。第2の画像を検出するために、異なる光学フィルタがビーム経路中に導入され、前記フィルタは、第2の波長範囲の光だけが光像検出器上へ撮像されるように第2の波長範囲外の波長を有する光を抑制する。次に、光像検出器は第2の波長範囲の光により第2の画像を記録し得る。したがって、第1の画像と第2の画像は、同じ光像検出器により時間的に逐次的に記録され、次に、対象物内の物質の濃度の空間分解分布を計算するために使用され得る。この方法は、光学フィルタがビーム経路中に導入されビーム経路から除去される必要があり、画像は逐次的に記録され、この結果、本方法を行うことは比較的長い時間かかるという不都合を有する。
複数の異なる光学フィルタをビーム経路中に逐次的に導入する代わりに、対象物が撮像される多スペクトル画像センサを使用し得る。多スペクトル画像センサは、様々な波長範囲の画像を同時に検出し得るように、その上流側に配置された様々な光学的マイクロフィルタを有する複数の感光性画素を有する。しかし、このような多スペクトル画像センサの使用は、光学的マイクロフィルタは通常、その透過率を変更されることができないので、単一用途のためだけに利用可能である、という不都合を有する。
最後に、ビーム経路を空間的に分離し、分離されたビーム経路を個々にフィルタリングし、フィルタリングされたビーム経路を様々な光像検出器へ供給するカメラシステムが、多スペクトル画像センサの代わりに使用され得る。したがって、このようなカメラシステムは同様に、様々なスペクトル範囲の画像を同時に検出し得る。しかし、このようなカメラシステムの不都合はシステムの高複雑性及び多数の光像検出器から生じる費用である。
独国特許出願公開第10 2017 221 187.3号明細書 独国特許出願公開第10 2017 215 158.7号明細書
したがって、本発明が対処する課題は、対象物の特性の空間分解分布(特に、対象物内に存在する物質の濃度の空間分解分布)が判断され得、且つ上述の不都合がそれにもかかわらず克服される装置及び方法を提供するという課題である。
本発明の一態様は対象物の特性を判断するための方法に関する。本方法は、対象物が第1の波長範囲の光により第1の光像検出器の検出面上へ撮像されることにより第1の方向から対象物の第1の画像を記録する工程であって、前記光は顕微鏡光学ユニットにより対象物から発する、工程と、対象物が第2の波長範囲の光により第2の光像検出器の検出面上へ撮像されることにより第2の方向から対象物の第2の画像を記録する工程であって、前記光は顕微鏡光学ユニットにより対象物から発する、工程とを含む。
本方法はさらに、対象物の複数の位置に関して、第1の画像内の第1の位置であって対象物の位置を表す第1の位置と、第2の画像内の第2の位置であって対象物の同じ場所を表す第2の位置とを判断する工程を含む。
本方法はさらに、対象物の複数の場所のそれぞれの場所の対象物特性の値を計算する工程を含み、対象物の複数の場所のうちの1つの場所へ割り当てられる値は第1の画像内の第1の位置(前記場所を表す)における強度値と、第2の画像内の第2の位置(前記場所を表す)における強度値とを使用することにより計算される。
第1の画像と第2の画像は2つの異なる方向から記録される。一例として、第1の画像と第2の画像は、ステレオ顕微鏡の2つの異なるステレオ分岐内で記録され、したがってステレオ像のステレオスコープ1/2像である。ステレオ顕微鏡は、2つの異なる方向から2つの別々の画像面(第1の画像と第2の画像面)上へ対象物を撮像し得る顕微鏡である。この目的のため、第1の光像検出器の検出面は第1の画像面内に配置され得る。第2の光像検出器の第2の検出面は第2の画像面内に配置され得る。第1の方向と第2の方向は例えば少なくとも1°又は少なくとも2°だけ異なる。
顕微鏡光学ユニットは対象物を第1の光像検出器の検出面上へ撮像し、これは対象物から発する第1の波長範囲の光により行われる。第1の光像検出器は、第1の光像検出器の検出面に衝突する光の強度を空間分解的やり方で検出するように構成される。類似したやり方で、顕微鏡光学ユニットは対象物を第2の光像検出器の検出面上へ撮像し、これは対象物から発する第2の波長範囲の光により行われる。第2の光像検出器は、第2の光像検出器の検出面に衝突する光の強度を空間分解的やり方で検出するように構成される。
第1の波長範囲と第2の波長範囲は互いに異なる。特に、2つの波長範囲は(せいぜい)部分的に重畳する又は重畳しない。
第1の画像と第2の画像は両方とも対象物の領域を表す。しかし、第1の画像と第2の画像は異なる方向から異なる光像検出器により記録される。したがって、第1の画像と第2の画像は異なる観点からの対象物を表すので、対象物の同じ場所を表す第1の画像と第2の画像内のそれらの位置を検出することは些細なことではない。対象物の同じ場所を表す第1の画像内の位置と第2の画像内の位置は対象物のこの場所に関係する対応位置と呼ばれる。対応位置は、複数の要因、例えば異なる光像検出器上への対象物の透視撮像、顕微鏡光学ユニットと光像検出器との互いの位置合わせ、及び対象物の高さプロファイルに依存する。
本方法は、第1の画像と第2の画像との両方に含まれる対象物の複数の場所の第1の画像と第2の画像内の対応位置を判断する工程を含む。換言すると、対象物の複数の場所のそれぞれに関して、前記多数の場所のうちの判断された場所を表す第1の画像内の第1の位置が判断され、第2の画像内の同じ場所を表すそれに対応する第2の位置が判断される。これにより、第1の画像と第2の画像内の対応位置(具体的には対象物の複数の場所)を示す割り当てが判断される。
一例として、第1の画像と第2の画像はそれぞれ複数の画素で構成され、本方法は、第1の画像のどの画素及び第2の画像のどの画素がそれぞれ対象物の同じ場所を表すかを判断する工程を含み、この割り当ては対象物の複数の場所に関し判断される。
本方法は、対象物の複数の場所のそれぞれに関し、第1の画像と第2の画像を使用するとともに、第1の画像と第2の画像内の対応位置を示す割り当てを使用することにより対象物の特性の値を計算する工程を含む。この場合、対象物の複数の場所のうちの1つの場所へ割り当てられる対象物特性の値は、第1の画像内の第1の位置における強度値と、第2の画像内の第2の位置における強度値とを使用して計算され、第1及び第2の位置は複数の場所のうちのこの場所を表す。
したがって、対象物の対象物特性の空間分解分布は、異なる波長範囲の光により記録された2つの画像から判断され得る。画像は、2つの別々の光像検出器がこの目的のために設けられるので同時に記録され得る。第1及び第2の波長を規定する可能なフィルタは、本方法中に移動される必要はないだろう。本方法は、それに応じて適応化される第1及び第2の波長範囲のおかげで多様なアプリケーションを可能にする。本方法は、適応化された制御により従来のステレオ顕微鏡を使用して行われ得る。
一実施形態によると、第1の画像の第1の位置は第1の光像検出器の検出面上の第1の場所に対応し、第1の位置により表される対象物の場所は、顕微鏡光学ユニットにより第1の光像検出器の検出面の第1の場所上へ撮像され、第2の画像の第2の位置は第2の光像検出器の検出面上の第2の場所に対応し、第2の位置により表される対象物の場所は、顕微鏡光学ユニットにより第2の光像検出器の検出面の第2の場所上へ撮像される。
顕微鏡光学ユニットは、対象物を第1の方向に沿って第1の光像検出器の検出面上へ撮像し、対象物を第2の方向に沿って第2の光像検出器の検出面上へ撮像する。したがって、対象物の複数の場所の各場所に関して、顕微鏡光学ユニットによる撮像の結果として、第1の光像検出器の検出面上の第1の場所上に、そして第2の光像検出器の検出面上の第2の場所上に対象物の前記場所が撮像される。したがって、第1の光像検出器の検出面上の第1の場所と第2の光像検出器の検出面上の第2の場所とは、対象物の同じ場所がそれらの上へ撮像され、したがって第1及び第2の場所は対象物の同じ場所を表すので、対応する場所である。したがって、第1の画像内の第1の位置と第1の光像検出器の検出面上の第1の場所は対象物の同じ場所を表す。同様に、第2の画像内の第2の位置と第2の光像検出器の検出面上の第2の場所とは対象物のこの同じ場所を表す。
一実施形態によると、第1の画像は複数の第1の画素を有し、強度値は各第1の画素へ割り当てられ、第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画素の強度値を基準に判断される。
この実施形態では、第1の画像内のある位置における強度値はこの位置を含む画素の強度値を基準に判断されるということが明確にされる。その代わりに又は追加的に、第1の位置における強度値は、第1の位置を含む画素に隣接する第1の画素のうちの少なくとも1つの画素の強度値を基準に判断され得る。この変形形態は、第1の位置を含む画素を直接取り囲む第1の画像のこれら画素の強度値を(も)考慮する工程を含む。したがって、第1の画像内の第1の位置における強度値は、例えば、第1の位置を含む又はそれを直接取り囲む第1の画像のこれらの画素の強度値の線形結合として計算され得、様々な振幅の重みが、前記画素に関する第1の位置の状況に依存して線形結合に影響する。
第1の画像内の第1の位置における強度値はさらに又は代替的に、第1の位置を含む画素の強度値及び前記画素を取り囲む画素の強度値に対する非線形演算により判断される。一例として、これらの画素の最小、最大、又は中間強度値が第1の位置における強度値として判断される。
一実施形態によると、第2の画像は複数の第2の画素を有し、強度値は各第2の画素へ割り当てられ、第2の画像内の第2の位置における強度値は、第2の位置を含む第2の画素の強度値を基準に判断される。
この実施形態では、第2の画像内のある位置における強度値はこの位置を含む画素の強度値を基準に判断されるということが明確にされる。その代わりに又は追加的に、第2の位置における強度値は、第2の位置を含む画素に隣接する第2の画素のうちの少なくとも1つの画素の強度値を基準に判断され得る。この変形形態は、第2の位置を含む画素を直接取り囲む第2の画像のこれら画素の強度値を(も)考慮する工程を含む。したがって、第2の画像内の第2の位置における強度値は、例えば、第2の位置を含む又はそれを直接取り囲む第2の画像のこれらの画素の強度値の線形結合として計算され得、様々な振幅の重みが、前記画素に関する第2の位置の状況に依存して線形結合に影響する。
第2の画像内の第2の位置における強度値はさらに又は代替的に、第2の位置を含む画素の強度値及び前記画素を取り囲む画素の強度値に対する非線形演算により判断される。一例として、これらの画素の最小、最大、中間強度値が第2の位置における強度値として判断される。
一実施形態によると、対象物の複数の場所の各場所の第1の位置及び第2の位置は、対象物の画像の解析を元に判断され、対象物のうちの少なくとも1つの対象物の構造の形状は画像内で解析され、画像は第1及び第2の方向からの対象物の記録である。対象物の少なくとも1つの構造の形状が対象物の複数の場所の各場所の第1の位置及び第2の位置を判断するために解析される画像は、例えば第1の画像及び第2の画像であってもよいが、それらとは異なる画像であってもよい。
この実施形態では、対応位置は対象物内に存在する構造の解析により判断される。一例として、高コントラスト形状が、対象物内にあり、画像内で画像解析方法により認識され、したがって、画像内の対応位置が判断される。このような画像処理方法は、例えば画像間の相関を判断し、対応位置を判断するためにこれを使用し得る。このようにして画像内で判断された対応位置は、画像が第1の画像と第2の画像として同じ観点(すなわち第1及び第2の方向)から記録されたので、第1の画像と第2の画像へ簡単なやり方で転送され得る。
一実施形態によると、本方法はさらに、第1の画像の第1の座標空間の座標の第2の画像の第2の座標空間内への遷移を規定する座標変換を判断する工程を含み、対象物の複数の場所の各場所の第1の位置及び第2の位置は座標変換を元に判断される。
この実施形態は、例えば射影変換、アフィン変換、相似変換又はユークリッド変換であり得る座標変換を判断する工程を含む。座標変換は、どのように第1の座標空間の座標(すなわち第1の画像の座標空間の座標)が第2の座標空間の座標(すなわち第2の画像の座標空間の座標)に変換/マッピングされるかの規定を示す。座標変換により互いに変換/マッピングされる第1の画像と第2の画像の座標は、対象物の同じ場所を表す第1の画像と第2の画像内の位置を示す。第1及び第2の座標空間は例えば2次元座標空間である。
座標変換は、一群のパラメータからの1つ又は複数のパラメータによりパラメータ化され得、一群のパラメータは次のものを含む:第1の座標空間と第2の座標空間との間の変位、第2の座標空間に対する第1の座標空間の回転、第1及び/又は第2の画像を記録する過程における顕微鏡光学ユニットの倍率、第1及び/又は第2の方向、顕微鏡光学ユニットの撮像収差、及び対象物の高さプロファイル。
座標変換の一例では、座標変換は、第1の座標空間と第2の座標空間との間の変位だけによりパラメータ化される。変位は例えば、光像検出器の相対的配置の結果として及び顕微鏡光学ユニットによるステレオスコープ撮像の結果として生じる第1の画像と第2の画像との間の変換オフセットを示す。したがって、座標変換は、対象物の同じ場所を表す第1及び第2の座標系の座標間の変換を表す。
他の及び/又は別のパラメータが座標変換をパラメータ化し得る。したがって、光像検出器の相対的配置の別の効果及び顕微鏡光学ユニットによるステレオスコープ撮像の別の効果は座標変換により表され得る。特に、その2つのステレオチャネル内の顕微鏡光学ユニットの光学的撮像の恐らく個々に設定可能な倍率を考慮することが可能であり、この情報は例えばコントローラにより提供され得る。さらに、座標変換において先験的に知られた顕微鏡光学ユニットの撮像収差を表すことが可能である。
第1の画像結果及び第2の画像結果のステレオスコープ記録は原理的に対象物の光像検出器上への透視光学的撮像となる。顕微鏡光学ユニットの光学的撮像のこれらの特性はまた、座標変換で表され得る。
座標変換を規定するパラメータの数とこれらのパラメータの値により達成される品質とに依存して、第1の画像と第2の画像の画素の総数と比較して第1の画像及び第2の画像内の少ない数の対応位置だけが座標変換を判断するために判断される必要がある。したがって、座標変換は比較的迅速に判断され得る。
座標変換のいくつかのパラメータはまた、第1の画像及び第2の画像が記録される前に基準測定により判断され得る。したがって、顕微鏡光学ユニットの現在のセッティングに依存するパラメータのそれらの値だけが本方法中に判断される必要がある。しかし、これら(例えば顕微鏡光学ユニットの倍率)はコントローラにより提供され得る。したがって、座標変換を規定するパラメータのすべての値は第1の画像と第2の画像が記録される前に既に判断され得る。
完全に規定された座標変換により、対象物の複数の場所の各場所の第1の位置及び第2の位置を簡単なやり方で判断することが可能である。
一実施形態によると、本方法はさらに、高さ方向に対し垂直に配向された少なくとも1つの横断方向に応じて、高さ方向に沿って測定される対象物の広がりを示す対象物の高さプロファイルを判断する工程を含み、対象物の複数の場所の各場所の第1の位置及び第2の位置は高さプロファイルを基準に判断される。高さプロファイルは座標変換のパラメータであり得る。
第1の画像と第2の画像内の対応位置は、第1の画像と第2の画像が異なる方向から記録されるので対象物の高さプロファイルに依存する。顕微鏡光学ユニットの撮像特性及び対象物の高さプロファイルの知識により、第1の画像と第2の画像内の対応位置を計算することが可能である。顕微鏡光学ユニットの撮像特性は、例えばその高さプロファイルが知られている基準対象物により判断され得る。対象物の高さプロファイルは様々な方法により、例えば三角測量又はステレオスコープにより判断され得る。
一実施形態によると、本方法はさらに、対象物から発する光が第1の波長範囲の光及び第2の波長範囲の光を含むように対象物を照明光により晒す工程を含み、対象物特性は対象物内に存在する複数の物質のうちの1つの物質の濃度であり、物質のそれぞれは照明光による露出の結果として対象物から発する光の生成に寄与する。
この実施形態では、対象物は複数の異なる物質を含み、前記物質のうちの1つの物質の濃度の空間分解分布が判断される。この方法の前提条件は、対象物に含まれる物質が照明のために対象物から発する光の生成に様々なやり方で寄与するということである。一例として、対象物から発する第1及び第2の波長範囲の光は、対象物内に存在する2つの物質により引き起こされる2つの寄与(ほぼ2つの寄与だけ)からなる。物質は、第1及び第2の波長範囲内で既知の放射挙動を有し、2つの物質の放射挙動は第1及び第2の波長範囲内で互いに異なる。照明光並びに第1の画像及び第2の画像の既知のスペクトル強度分布のこの既知の放射特性に基づき、第1の画像と第2の画像内の対応位置における強度値を使用することにより対象物の複数の場所の前記物質のうちの1つ又は複数の物質の濃度を判断することが可能である。このようにして、対応位置の各対に関し、前記物質のうちの1つ又は複数の物質の濃度の値が判断され得、したがって濃度の空間分解分布が判断され得る。
放射挙動は、様々な相互作用(例えば散乱/消滅、蛍光など)に基づき得る。
対象物内に存在する複数の物質のうちの1つの物質の濃度の空間分解分布を計算する仕様の詳細説明は、その開示が参照により本明細書に援用される、例えば本出願人の特許出願(特許文献1)及び(特許文献2)に記載される。
一実施形態によると、本方法はさらに、対象物を第1の波長範囲の光及び第2の波長範囲の光により晒す工程を含み、第1の画像は対象物から発する第1の波長範囲の光により(ほぼ排他的に)記録され、第2の画像は対象物から発する第2の波長範囲の光により(ほぼ排他的に)記録され、対象物特性は血行動態変数の濃度であり、その結果、前記血行動態変数の濃度の空間分解分布が計算されるようにする。「ほぼ排他的に」は例えば、第1の光像検出器へ供給される第1の波長範囲の波長を有する光の強度が、第1の光像検出器へ供給される第1の波長範囲外の任意の波長を有する光の強度より少なくとも100倍だけ又は少なくとも1000倍だけ大きいということを意味する。さらに、「ほぼ排他的に」は例えば、第2の光像検出器へ供給される第2の波長範囲の波長を有する光の強度が、第2の光像検出器へ供給される第2の波長範囲外の任意の波長を有する光の強度より少なくとも100倍だけ又は少なくとも1000倍だけ大きいということを意味する。
この実施形態では、血行動態変数の濃度、例えば含酸素又は脱酸素ヘモグロビンの濃度が計算される。本方法は、対象物内の血行動態変数において後方散乱される又は血行動態変数により吸収される光の検出に基づく。したがって、照明光と対象物から発し光像検出器により検出される光との両方はいずれの場合も、第1及び第2の波長範囲の光を含む。
第1の波長範囲は、例えば410nmから430nmまで又は440nmから460nmまで広がる。第2の波長範囲は、例えば640nmから660nmまで広がる。これらの波長範囲において、含酸素ヘモグロビンの消滅挙動及び脱酸素ヘモグロビンの消滅挙動は互いに著しく異なるので、含酸素及び脱酸素ヘモグロビンの濃度はうまく判断され得る。
一実施形態によると、本方法はさらに、対象物内に分散された複数の異なる蛍光発光体を、対象物から発する光が複数の蛍光発光体からの蛍光を含むように励起する工程を含み、第1の画像は第1の波長範囲の光により(ほぼ排他的に)記録され、第2の画像は第2の波長範囲の光により(ほぼ排他的に)記録され、第1及び第2の波長範囲は合わせて、複数の蛍光発光体の放射波長範囲のそれぞれを少なくとも部分的に含み、対象物特性は複数の蛍光発光体のうちの1つの蛍光発光体の濃度であり、その結果、前記蛍光発光体の濃度の空間分解分布が計算されるようにする。
この実施形態によると、対象物は複数の異なる蛍光発光体を含む。蛍光発光体は、例えば蛍光染料など対象物へ人為的に加えられる蛍光発光体であり得る。一例として、プロトポルフィリンIX、フルオレセイン、インドシアニングリーン又はいくつかの他の蛍光染料が対象物内の特定物質を標識付けするために対象物へ加えられ得る。さらに又は代替的に、蛍光発光体は自然蛍光発光体(すなわち対象物へ人為的に加えられないが、それにもかかわらず蛍光性である物質)を含み得る。
一例として、本方法の目的は対象物内のプロトポルフィリンIXの空間分解分布を判断することであり、プロトポルフィリンIXの放射波長範囲内で発生する対象物の自己蛍光は消去されるように意図されている。
対象物はプロトポルフィリンIXを励起するために好適な照明光に晒される。照明光はまた、自己発光物質の励起を不可避的にもたらし、その結果、対象物内に分散された複数の異なる蛍光発光体が励起されることになる。
プロトポルフィリンIX及び自己発光物質は異なる波長依存放射特性を有する。第1及び第2の波長範囲は、2つの波長範囲のうちの少なくとも1つがプロトポルフィリンIXの放射波長範囲の少なくとも一部分を含み、他の2つの波長範囲のうちの少なくとも1つが自己発光物質の放射波長範囲の少なくとも一部分を含むように選択される。これは、異なる蛍光発光体の寄与に従って対象物から発する同じ波長を有する光の割合を分離するために必要である。
第1の画像と第2の画像、その中の対応位置の知識、対象物に含まれる蛍光発光体の放射挙動、及び照明光のスペクトル強度分布を使用することにより、対象物に含まれる1つ又は複数の蛍光発光体の濃度を計算することが可能である。
一実施形態によると、本方法はさらに、対象物から発する光を、(ほぼ排他的に)第1の波長範囲の光が第1の光像検出器へ供給され、したがって第1の画像が対象物から発する第1の波長範囲の光により(ほぼ排他的に)記録されるようにフィルタリングする工程と、対象物から発する光を、(ほぼ排他的に)第2の波長範囲の光が第2の光像検出器へ供給され、したがって第2の画像が対象物から発する第2の波長範囲の光により(ほぼ排他的に)記録されるようにフィルタリングする工程とを含む。
アプリケーションに依存して、光像検出器に衝突する光を第1及び第2の波長範囲の光にそれぞれ制約することが必要であり得る。この目的のため、第1の波長範囲外の波長範囲の対象物から発して第1の光像検出器へ供給される光は、例えば少なくとも100倍又は少なくとも1000倍だけその強度が抑制される。さらに、この目的のために、第2の波長範囲外の波長範囲の対象物から発して第2の光像検出器へ供給される光は、例えば少なくとも100倍又は少なくとも1000倍だけその強度が抑制される。
一実施形態によると、本方法はさらに、対象物特性の値を表す第3の画像を生成し表す工程を含む。さらに又は代替的に、第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を含むステレオ像を生成し表すことが可能であり、第1の1/2像は特に第1の画像との重ね合わせにおける対象物特性の値を表し、第2の1/2像は特に第2の画像との重ね合わせにおける対象物特性の値を表す。
本発明の別の態様は本明細書で説明される方法を行うように構成された装置(特に顕微鏡システム)に関する。
本発明の実施形態は添付図面を参照し以下にさらに詳細に説明される。
本明細書で説明される方法を行うように構成された1つの例示的顕微鏡システムを示す。 対象物の特性を判断するための方法の一実施形態を示す。 対象物内の構造の表現と第1の画像及び第2の画像における撮像後の前記構造の表現とを示す。 対象物の第1の画像の複数の画素からの抜粋を示す。 対象物が撮像される第2の画像検出器の検出面上の場所の位置への影響を示し、前記影響は対象物の高さプロファイルにより引き起こされる。 対象物の特性を判断するための方法の別の実施形態を示す。 対象物に含まれる物質の波長依存変換率を示す。
図1は、一実施形態による顕微鏡システム1の概略図を示す。顕微鏡システム1は、照明光5を生成するとともに、それを対象物8が配置される対象物領域7上へ向けるように構成された照明装置3を含む。
顕微鏡システム1は、対象物8を第1の方向から第1の光像検出器13の検出面14上へ撮像するように構成された顕微鏡光学ユニット11を含む。この目的のため、顕微鏡光学ユニット11は、顕微鏡光学ユニット11の対物レンズ21と顕微鏡光学ユニット11の第1のレンズ系25とにより生成される第1のビーム経路に23を提供する。
さらに、顕微鏡光学ユニットは対象物8を第2の方向から第2の光像検出器15の検出面16上へ撮像するように構成される。この目的のため、顕微鏡光学ユニット11は、顕微鏡光学ユニット11の対物レンズ21と第2のレンズ系29とにより生成される第2のビーム経路27を提供する。
対象物8と対物レンズ21との間の第1のビーム経路23の中心光線31及び第2のビーム経路27の中心光線33は第1及び第2の方向を規定する。第1の方向と第2の方向との間のステレオ角35は原理的に少なくとも1°であり、ほぼ40°までの値を有し得る。
第1の光像検出器13は、検出面14に衝突する光の強度の空間分解分布を表す第1の画像を生成する。第2の光像検出器15は、検出面16に衝突する光の強度の空間分解分布を表す第2の画像を生成する。
第1の光像検出器13及び第2の光像検出器15は顕微鏡システム1のコントローラ37へ接続される。コントローラ37は第1の画像を表す信号を第1の光像検出器13から受信する。さらに、コントローラ37は第2の画像を表す信号を第2の光像検出器15から受信する。コントローラ37は本発明による方法の工程を行うように構成される。
顕微鏡システム1はさらに、コントローラ37へ接続される表示システム39であってコントローラ37により生成されるモノスコープ像又はステレオスコープ像を表すように構成される表示システム39を含む。
顕微鏡システム1はさらに、第1のビーム経路23内に配置されるとともに、ほぼ第1の波長範囲の光だけを透過する第1の光学フィルタ41を含む。顕微鏡システム1はさらに、第2のビーム経路27内に配置されるとともに、ほぼ第2の波長範囲の光だけを透過する第2の光学フィルタ43を含む。
この結果、第1の画像はほぼ第1の波長範囲の光だけにより記録され、第2の画像はほぼ第2の波長範囲の光だけにより記録される。
顕微鏡システム1はさらに、第1のカラー画像検出器45及び第1のビームスプリッタ47を含む。第1のビームスプリッタ47は、第1のビーム経路23の一部を第1のカラー画像検出器45上へ向けるために第1のビーム経路23内に配置される。したがって、顕微鏡光学ユニット11は、対象物8を、対象物8のカラー画像を記録するように構成された第1のカラー画像検出器45上へ撮像する。第1のカラー画像検出器45はコントローラ37へ接続され、コントローラ37は第1のカラー画像検出器45により記録された画像を表す信号を第1のカラー画像検出器45から受信する。
顕微鏡システム1はさらに、第2のカラー画像検出器49及び第2のビームスプリッタ51を含む。第2のビームスプリッタ51は、第2のビーム経路27の一部を第2のカラー画像検出器49上へ向けるために第2のビーム経路27内に配置される。したがって、顕微鏡光学ユニット11は対象物8を第2のカラー画像検出器49上へ撮像する。カラー画像検出器49は対象物8のカラー画像を記録するように構成される。第2のカラー画像検出器49はコントローラ37へ接続され、コントローラ37は、第2のカラー画像検出器49により記録された画像を表す信号を第2のカラー画像検出器49から受信する。
図2は、対象物8の特性を判断するための方法の概略図を示す。
工程S1は対象物8の第1の画像を第1の方向から記録する工程を含む。これは、例えば、顕微鏡光学ユニット11により第1の光像検出器13の検出面14上へ撮像される対象物8から発する第1の波長範囲の光により行われる。
その後又は同時に、工程S2に従って、対象物8の第2の画像が第2の方向から記録される。これは、例えば、顕微鏡光学ユニット11により第2の光像検出器15の検出面16上へ撮像される対象物8から発する第2の波長範囲の光により行われる。
工程S3は、対象物8の複数の場所の各場所の第1の画像内の第1の位置及び第2の画像内の第2の位置を判断する工程を含み、第1及び第2の位置は対象物の複数の場所の同じ場所を表す。いずれの場合も対象物の同じ場所を表す第1の画像内の第1の位置及び第2の画像内の第2の位置は対応位置と呼ばれる。工程S3はコントローラ37により行われる。
対応位置を判断するための1つの例示的方法が図3を参照してより詳細に説明される。図3は、第1の画像と第2の画像内の対応位置を判断する方法を解明するために役立つ。図3は3つの図表61、63及び65を含む。図表61は、図1に示すz軸に対して垂直に配向されるx-y面内の対象物8からの抜粋を示す。説明目的のために、抜粋は対象物8の2つの構造67を含む。
図表63は第1の画像B1を示し、図表65は第2の画像B2を示す。第1の画像B1及び第2の画像B2はそれぞれ、破線により識別される四角として表される複数の画素で構成される。第1の画像B1の画素は個々の座標i及びjによりインデックスを付けられ、第2の画像B2の画素は個々の座標k及びlによりインデックスを付けられる。第1の画像B1及び第2の画像B2は対象物8に対して異なる方向から記録されたので、第1の画像B1及び第2の画像B2は対象物8を異なる観点から示す。異なる観点からの2つの画像の記録は、第1の画像B1と第2の画像B2とが合同でない第1の理由であり、これは、第1の画像と第2の画像とが構造67を異なる場所に含むということにより図3に示される。第1の画像B1と第2の画像B2とが概して合同でない別の理由は、顕微鏡光学ユニット11と光像検出器13、15とが互いに位置合わせされる精度の限界である。図4に関連して後で説明する別の理由は対象物8の高さプロファイルである。これらの様々な理由は、図表61に図示される対象物8の場所Aが顕微鏡光学ユニット11により第1の画像B1内の第1の位置B1-A上へ撮像され、第2の画像B2内の第2の位置B2-A上へ撮像されるという影響を有する。したがって、位置B1-Aを含む画像B1内の画素の座標i、jは、位置B2-Aを含む第2の画像B2の画素の座標k、lとは異なる。第1の位置B1-A及び第2の位置B2-Aはいずれの場合も対象物8の場所Aを表す対応位置である。
図2に示す工程S3は、対象物8の複数の場所の第1の画像B1及び第2の画像B2内の対応位置を判断する工程を含む。これは、例えば対象物8の構造67のうちの少なくとも1つの構造の形状/形式をこのようにして解析して対応位置を判断する方法により実現される。一例として、構造67の形状/形式は第1の画像B1及び第2の画像B2において解析され、対応位置は相関により判断される。第1の画像B1及び第2の画像B2はこの目的のために使用され得る。しかし、その代わりに、第1及び第2の方向から記録される他の画像であって、その第1の画像及び第2の画像へ割り当てがそれぞれ知らされる又は判断される他の画像を使用することも可能である。
一例として、対象物8のそれぞれのカラー画像は図1に示すカラー画像検出器45及び49により記録され、これらの2つのカラー画像は対応位置を判断するために使用される。このための前提条件は、第1のカラー画像検出器45により記録される画像と第1の光像検出器13により記録される第1の画像との間の対応位置を示す割り当てが知られていることと、第2のカラー画像検出器49により記録される画像と第2の光像検出器15により記録される第2の画像との間の対応位置を示す別の割り当てが知られていることとである。
しかし、第1のカラー画像検出器45により記録される画像と第1の画像との間の割り当ての判断は、これらの画像が対象物8に対して同じビーム経路から又は同じ方向から記録されるので比較的簡単である。第2のカラー画像検出器49により記録される画像と第2の画像との間の割り当ての判断は、これらの画像もまた対象物8に対して同じビーム経路から又は同じ方向から記録されるので同様に比較的簡単である。
もう一度図2を参照すると、本方法は、第1の画像及び第2の画像並びに対応位置に基づき対象物8の特性の空間分解分布を判断することに関与する工程S4を含む。これは、対象物特性の値が対象物の複数の場所に関して判断されるということを意味し、対象物8の複数の場所のうちの1つの場所へ割り当てられる値は、第1の画像内の第1の位置(前記場所を表す)における強度値と第2の画像内の第2の位置(前記場所を表す)における強度値とを使用して計算される。これは図3を参照してさらに詳細に説明される。
工程S4において、対象物特性の値は、例えば場所Aの対象物8の複数の場所に関して計算される。場所Aへ割り当てられる対象物特性の値は、第1の位置B1-Aにおける第1の画像B1の強度値を使用して計算される。この値はさらに、第2の位置B2-Aにおける第2の画像B2の強度値に基づき計算される。したがって、対応位置における第1の画像及び第2の画像の強度値は、対応位置により表される対象物8の場所の対象物特性の値を判断するために使用される。
第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画像の画素の強度値に基づき判断される。さらに又は代替的に、第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画像の画素に隣接する第1の画像の画素の少なくとも1つの強度値に基づき判断され得る。これについて図4を参照して説明する。
図4は第1の画像B1の複数の画素のうちの9つの画素71~79を示す。強度値が判断されるようにされた例示的第1の位置B1-Aが画素71内の十字記号により表される。画素71は第1の位置B1-Aを含む。したがって、画素71の強度値は第1の位置B1-Aの強度値として判断され得る。画素72~79は第1の位置B1-Aを含む画素71に直接隣接する。したがって、画素72~79の強度値は同様に、第1の位置B1-Aの強度値を判断するために使用され得る。一例として、第1の位置B1-Aの強度値は画素71~79の個々に重み付けされた強度値の線形結合として判断される。第2の画像B2内の第2の位置B2-Aにおける強度値もまた類似したやり方で判断され得、前記第2の位置B2-Aは(第1の位置B1-Aのように)対象物8の同じ場所Aを表する。
もう一度図2を参照すると、工程S4において計算された対象物特性の空間分解分布が工程S5において表される。一例として、コントローラ37は、対象物特性の計算値(すなわち対象物特性の空間分解分布)を表す第3の画像を生成する。次に、このモノスコープ像は表示システム39により表される。対象物特性の空間分解分布は対象物の画像(特にカラー画像)との重ね合わせで表され得る。
さらに又は代替的に、コントローラ37は、第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を有するステレオ像を生成し得、第1の1/2像は、特に第1の画像との重ね合わせにおける対象物特性の値を表し、第2の1/2像は特に第2の画像との重ね合わせにおける対象物特性の値を表す。次に、ステレオ像は表示システム39により表され得る。
本方法の別の実施形態が図5及び図6を参照して説明される。この実施形態は、図2を参照して上に説明された実施形態に可能な最大限度まで対応する。実質的に、逸脱する特徴だけが以下に説明される。
図5は、図1に示す顕微鏡システム1の一部分、主として対物レンズ21、第1のレンズ系25、第2のレンズ系29、第1の光像検出器13及び第2の光像検出器15を示す。対象物8はプロファイルで(すなわちx-z面における対象物8の断面で)示される。対象物8は、x方向に応じて変動するz方向(高さプロファイル80)に沿った広がりを有する。この場合、z方向は対象物の高さ方向に対応し、x方向は(及び、x-z面に垂直に配向されたy方向も)高さ方向に対し垂直に配向された横断方向に対応する。
顕微鏡光学ユニット11は、ビーム経路23を介し第1の光像検出器13の検出面14上の場所81上へ対象物8の場所Aを撮像する。顕微鏡光学ユニット11は追加的に、第2のビーム経路27を介し第2の光像検出器15の検出面16上の場所83上へ場所Aを撮像する。
対象物8の別の場所Nは、顕微鏡光学ユニット11により第1のビーム経路23を介し第1の光像検出器13の検出面14上の場所85上へ撮像される。場所Nは追加的に、顕微鏡光学ユニット11により第2のビーム経路27を介し第2の光像検出器15の検出面16上の場所87上へ撮像される。
場所81と85との間の距離は場所83と87との間の距離より大きい。これは、対象物8の高さプロファイル80は対象物の場所が撮像される光像検出器の検出面上の場所に影響を及ぼす、という事実を示す。したがって、いずれの場合も対象物の同じ場所を表す第1の画像内の第1の位置及び第2の画像内の第2の位置もまた対象物の高さプロファイルに依存する。
顕微鏡光学ユニット11の撮像特性の知識を所与として、対象物8の高さプロファイル80を使用することにより、第1の画像と第2の画像内の対応位置がコントローラ37により計算され得る。
図6は、この実施形態による方法の図式的概要を示す。工程S1、S2、S4及びS5は図2を参照して説明した工程に対応する。図2を参照して説明した実施形態と比較すると、この実施形態による方法は別の工程S6と工程S3に対して修正された工程S7とを含む。
工程S7の前に行われる工程S6は対象物8の高さプロファイル80を判断する工程を含む。高さプロファイル80は、様々な方法により(例えばステレオスコープにより)判断され得る。代替的に、特定の高さプロファイルセンサが、例えばこのセンサにより発射されるとともに、対象物8おける反射後にセンサにより受信される信号の飛行時間測定(三角測量)などに基づき使用され得る。
工程S4の前に行われる工程S7は、図2を参照して説明した実施形態の工程S3と同様に、第1の画像と第2の画像内の対応位置を判断する工程を含み、工程S3とは対照的に、対応位置の判断は、工程S6において判断された高さプロファイル80に基づき行われる。したがって、いずれの場合も対象物の複数の場所の同じ場所を表す第1の画像内の第1の位置及び第2の画像内の第2の位置は、高さプロファイル80に基づき判断される。顕微鏡光学ユニット11の撮像特性がさらに、この判断中に考慮され得る。
図3に関連して説明した工程S3に従って第1の画像及び第2の画像内の対応位置を判断するための方法とは対照的に、工程S7による対応位置の判断のために、対象物8が高コントラスト構造(図3の構造67を参照)を有する必要は無い。
上記方法は対象物の様々な特性を判断するために使用され得る。いくつかの応用例が以下に説明される。
一実施形態によると、対象物内に存在する物質の濃度を判断するための方法が使用される。この目的のため、対象物は、対象物から発する光が第1の波長範囲の光及び第2の波長範囲の光を含むように照明光に晒される。
図7は、照明光と対象物から発する光との波長依存変換率を示す。曲線91は対象物8内に存在する第1の物質の変換率を規定し、曲線93は対象物内に存在する第2の物質の変換率を規定する。2つの物質の波長依存変換率(曲線91、93)は互いに異なる。
第1の波長範囲95及び第2の波長範囲97は一般的には2つの異なる波長範囲である。特に、第1の波長範囲95及び第2の波長範囲97はせいぜい部分的に重畳し得る又はそうでなければ重畳しない。図7に示す例では、2つの波長範囲は重畳しない。
対象物上へ向けられた照明光は、曲線91及び93に従って、対象物8に含まれる2つの物質により変換され、したがって、対象物8から発する光に寄与する。したがって、対象物8から発する光は第1の波長範囲95の光及び第2の波長範囲97の光を含む。
照明光の波長依存強度分布、記録された第1の画像、記録された第2の画像、並びに第1の画像及び第2の画像内の対応位置の対象物8に含まれる物質の変換率(曲線91及び93)の知識により、対象物に含まれる物質の濃度の空間分解分布を計算することが可能である。計算に関する詳細は、例えばその本開示が参照により本明細書に援用される(特許文献1)及び(特許文献2)から収集され得る。
1 顕微鏡システム
3 照明装置
5 照明光
7 対象物領域
8 対象物
11 顕微鏡光学ユニット
13 第1の光像検出器
14、16 検出面
15 第2の光像検出器
21 対物レンズ
23 第1のビーム経路
25 第1のレンズ系
27 第2のビーム経路
29 第2のレンズ系
31、33 中心光線
35 ステレオ角
37 コントローラ
39 表示システム
41 第1の光学フィルタ
43 第2の光学フィルタ
45 第1のカラー画像検出器
47 第1のビームスプリッタ
49 第2のカラー画像検出器
51 第2のビームスプリッタ
61、63、65 図表
67 構造
71~79 画素
80 高さプロファイル
81、83、85、87、A、N 場所
95 第1の波長範囲
97 第2の波長範囲
B1 第1の画像
B1-A 第1の位置
B2 第2の画像
B2-A 第2の位置
S1~S7 工程
本発明は、対象物の特性を判断するための方法及び装置に関し、特に、対象物内の物質
の濃度の空間分解分布を判断するための方法及び装置に関する。
対象物内の物質の濃度の空間分解分布を判断するための1つの従来方法によると、最初
に、前記対象物の2つの画像が、相異なる波長範囲の光により記録される。一例として、
可視及び赤外光を空間分解的やり方で検出するのに好適な光像検出器上へ対象物を撮像するビーム経路が提供される。第1の波長範囲の光により画像を記録するために、第1の光
学フィルタがビーム経路中に導入され、前記フィルタは第1の波長範囲外に位置する波長
を有する光を抑制する。この場合、第1の波長範囲の光だけが光像検出器へ通され、光像
検出器は次に、第1の波長範囲の光により第1の画像を記録し得る。第2の画像を検出す
るために、異なる光学フィルタがビーム経路中に導入され、前記フィルタは、第2の波長
範囲の光だけが光像検出器上へ撮像されるように第2の波長範囲外の波長を有する光を抑
制する。次に、光像検出器は第2の波長範囲の光により第2の画像を記録し得る。したが
って、第1の画像と第2の画像は、同じ光像検出器により時間的に逐次的に記録され、次
に、対象物内の物質の濃度の空間分解分布を計算するために使用され得る。この方法は、
光学フィルタがビーム経路中に導入されビーム経路から除去される必要があり、画像は逐
次的に記録され、この結果、本方法を行うことは比較的長い時間かかるという不都合を有
する。
複数の異なる光学フィルタをビーム経路中に逐次的に導入する代わりに、対象物が撮像
される多スペクトル画像センサを使用し得る。多スペクトル画像センサは、様々な波長範
囲の画像を同時に検出し得るように、その上流側に配置された様々な光学的マイクロフィ
ルタを有する複数の感光性画素を有する。しかし、このような多スペクトル画像センサの
使用は、光学的マイクロフィルタは通常、その透過率を変更されることができないので、
単一用途のためだけに利用可能である、という不都合を有する。
最後に、ビーム経路を空間的に分離し、分離されたビーム経路を個々にフィルタリング
し、フィルタリングされたビーム経路を様々な光像検出器へ供給するカメラシステムが、
多スペクトル画像センサの代わりに使用され得る。したがって、このようなカメラシステ
ムは同様に、様々なスペクトル範囲の画像を同時に検出し得る。しかし、このようなカメ
ラシステムの不都合はシステムの高複雑性及び多数の光像検出器から生じる費用である。
独国特許出願公開第10 2017 221 187.3号明細書 独国特許出願公開第10 2017 215 158.7号明細書
したがって、本発明が対処する課題は、対象物の特性の空間分解分布(特に、対象物内
に存在する物質の濃度の空間分解分布)が判断され得、且つ上述の不都合がそれにもかかわらず克服される装置及び方法を提供するという課題である。
本発明の一態様は対象物の特性を判断するための方法に関する。本方法は、対象物が第
1の波長範囲の光により第1の光像検出器の検出面上へ撮像されることにより第1の方向
から対象物の第1の画像を記録する工程であって、前記光は顕微鏡光学ユニットにより対
象物から発する、工程と、対象物が第2の波長範囲の光により第2の光像検出器の検出面
上へ撮像されることにより第2の方向から対象物の第2の画像を記録する工程であって、
前記光は顕微鏡光学ユニットにより対象物から発する、工程とを含む。
本方法はさらに、対象物の複数の位置に関して、第1の画像内の第1の位置であって対
象物の位置を表す第1の位置と、第2の画像内の第2の位置であって対象物の同じ場所を
表す第2の位置とを判断する工程を含む。
本方法はさらに、対象物の複数の場所のそれぞれの場所の対象物特性の値を計算する工
程を含み、対象物の複数の場所のうちの1つの場所へ割り当てられる値は第1の画像内の
第1の位置(前記場所を表す)における強度値と、第2の画像内の第2の位置(前記場所
を表す)における強度値とを使用することにより計算される。
第1の画像と第2の画像は2つの異なる方向から記録される。一例として、第1の画像
と第2の画像は、ステレオ顕微鏡の2つの異なるステレオ分岐内で記録され、したがって
ステレオ像のステレオスコープ1/2像である。ステレオ顕微鏡は、2つの異なる方向か
ら2つの別々の画像面(第1の画像と第2の画像面)上へ対象物を撮像し得る顕微鏡である。この目的のため、第1の光像検出器の検出面は第1の画像面内に配置され得る。第2
の光像検出器の第2の検出面は第2の画像面内に配置され得る。第1の方向と第2の方向
は例えば少なくとも1°又は少なくとも2°だけ異なる。
顕微鏡光学ユニットは対象物を第1の光像検出器の検出面上へ撮像し、これは対象物か
ら発する第1の波長範囲の光により行われる。第1の光像検出器は、第1の光像検出器の
検出面に衝突する光の強度を空間分解的やり方で検出するように構成される。類似したやり方で、顕微鏡光学ユニットは対象物を第2の光像検出器の検出面上へ撮像し、これは対
象物から発する第2の波長範囲の光により行われる。第2の光像検出器は、第2の光像検
出器の検出面に衝突する光の強度を空間分解的やり方で検出するように構成される。
第1の波長範囲と第2の波長範囲は互いに異なる。特に、2つの波長範囲は(せいぜい
)部分的に重畳する又は重畳しない。
第1の画像と第2の画像は両方とも対象物の領域を表す。しかし、第1の画像と第2の
画像は異なる方向から異なる光像検出器により記録される。したがって、第1の画像と第
2の画像は異なる観点からの対象物を表すので、対象物の同じ場所を表す第1の画像と第
2の画像内のそれらの位置を検出することは些細なことではない。対象物の同じ場所を表
す第1の画像内の位置と第2の画像内の位置は対象物のこの場所に関係する対応位置と呼
ばれる。対応位置は、複数の要因、例えば異なる光像検出器上への対象物の透視撮像、顕
微鏡光学ユニットと光像検出器との互いの位置合わせ、及び対象物の高さプロファイルに
依存する。
本方法は、第1の画像と第2の画像との両方に含まれる対象物の複数の場所の第1の画
像と第2の画像内の対応位置を判断する工程を含む。換言すると、対象物の複数の場所の
それぞれに関して、前記多数の場所のうちの判断された場所を表す第1の画像内の第1の
位置が判断され、第2の画像内の同じ場所を表すそれに対応する第2の位置が判断される。これにより、第1の画像と第2の画像内の対応位置(具体的には対象物の複数の場所)
を示す割り当てが判断される。
一例として、第1の画像と第2の画像はそれぞれ複数の画素で構成され、本方法は、第
1の画像のどの画素及び第2の画像のどの画素がそれぞれ対象物の同じ場所を表すかを判
断する工程を含み、この割り当ては対象物の複数の場所に関し判断される。
本方法は、対象物の複数の場所のそれぞれに関し、第1の画像と第2の画像を使用する
とともに、第1の画像と第2の画像内の対応位置を示す割り当てを使用することにより対
象物の特性の値を計算する工程を含む。この場合、対象物の複数の場所のうちの1つの場
所へ割り当てられる対象物特性の値は、第1の画像内の第1の位置における強度値と、第
2の画像内の第2の位置における強度値とを使用して計算され、第1及び第2の位置は複
数の場所のうちのこの場所を表す。
したがって、対象物の対象物特性の空間分解分布は、異なる波長範囲の光により記録された2つの画像から判断され得る。画像は、2つの別々の光像検出器がこの目的のために
設けられるので同時に記録され得る。第1及び第2の波長を規定する可能なフィルタは、
本方法中に移動される必要はないだろう。本方法は、それに応じて適応化される第1及び
第2の波長範囲のおかげで多様なアプリケーションを可能にする。本方法は、適応化され
た制御により従来のステレオ顕微鏡を使用して行われ得る。
一実施形態によると、第1の画像の第1の位置は第1の光像検出器の検出面上の第1の
場所に対応し、第1の位置により表される対象物の場所は、顕微鏡光学ユニットにより第
1の光像検出器の検出面の第1の場所上へ撮像され、第2の画像の第2の位置は第2の光
像検出器の検出面上の第2の場所に対応し、第2の位置により表される対象物の場所は、
顕微鏡光学ユニットにより第2の光像検出器の検出面の第2の場所上へ撮像される。
顕微鏡光学ユニットは、対象物を第1の方向に沿って第1の光像検出器の検出面上へ撮
像し、対象物を第2の方向に沿って第2の光像検出器の検出面上へ撮像する。したがって、対象物の複数の場所の各場所に関して、顕微鏡光学ユニットによる撮像の結果として、
第1の光像検出器の検出面上の第1の場所上に、そして第2の光像検出器の検出面上の第
2の場所上に対象物の前記場所が撮像される。したがって、第1の光像検出器の検出面上
の第1の場所と第2の光像検出器の検出面上の第2の場所とは、対象物の同じ場所がそれらの上へ撮像され、したがって第1及び第2の場所は対象物の同じ場所を表すので、対応
する場所である。したがって、第1の画像内の第1の位置と第1の光像検出器の検出面上
の第1の場所は対象物の同じ場所を表す。同様に、第2の画像内の第2の位置と第2の光
像検出器の検出面上の第2の場所とは対象物のこの同じ場所を表す。
一実施形態によると、第1の画像は複数の第1の画素を有し、強度値は各第1の画素へ
割り当てられ、第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画
素の強度値を基準に判断される。
この実施形態では、第1の画像内のある位置における強度値はこの位置を含む画素の強
度値を基準に判断されるということが明確にされる。その代わりに又は追加的に、第1の
位置における強度値は、第1の位置を含む画素に隣接する第1の画素のうちの少なくとも
1つの画素の強度値を基準に判断され得る。この変形形態は、第1の位置を含む画素を直
接取り囲む第1の画像のこれら画素の強度値を(も)考慮する工程を含む。したがって、
第1の画像内の第1の位置における強度値は、例えば、第1の位置を含む又はそれを直接
取り囲む第1の画像のこれらの画素の強度値の線形結合として計算され得、様々な振幅の
重みが、前記画素に関する第1の位置の状況に依存して線形結合に影響する。
第1の画像内の第1の位置における強度値はさらに又は代替的に、第1の位置を含む画
素の強度値及び前記画素を取り囲む画素の強度値に対する非線形演算により判断される。
一例として、これらの画素の最小、最大、又は中間強度値が第1の位置における強度値と
して判断される。
一実施形態によると、第2の画像は複数の第2の画素を有し、強度値は各第2の画素へ
割り当てられ、第2の画像内の第2の位置における強度値は、第2の位置を含む第2の画
素の強度値を基準に判断される。
この実施形態では、第2の画像内のある位置における強度値はこの位置を含む画素の強
度値を基準に判断されるということが明確にされる。その代わりに又は追加的に、第2の
位置における強度値は、第2の位置を含む画素に隣接する第2の画素のうちの少なくとも
1つの画素の強度値を基準に判断され得る。この変形形態は、第2の位置を含む画素を直
接取り囲む第2の画像のこれら画素の強度値を(も)考慮する工程を含む。したがって、
第2の画像内の第2の位置における強度値は、例えば、第2の位置を含む又はそれを直接
取り囲む第2の画像のこれらの画素の強度値の線形結合として計算され得、様々な振幅の
重みが、前記画素に関する第2の位置の状況に依存して線形結合に影響する。
第2の画像内の第2の位置における強度値はさらに又は代替的に、第2の位置を含む画
素の強度値及び前記画素を取り囲む画素の強度値に対する非線形演算により判断される。
一例として、これらの画素の最小、最大、中間強度値が第2の位置における強度値として
判断される。
一実施形態によると、対象物の複数の場所の各場所の第1の位置及び第2の位置は、対
象物の画像の解析を元に判断され、対象物のうちの少なくとも1つの対象物の構造の形状
は画像内で解析され、画像は第1及び第2の方向からの対象物の記録である。対象物の少
なくとも1つの構造の形状が対象物の複数の場所の各場所の第1の位置及び第2の位置を
判断するために解析される画像は、例えば第1の画像及び第2の画像であってもよいが、
それらとは異なる画像であってもよい。
この実施形態では、対応位置は対象物内に存在する構造の解析により判断される。一例
として、高コントラスト形状が、対象物内にあり、画像内で画像解析方法により認識され、したがって、画像内の対応位置が判断される。このような画像処理方法は、例えば画像
間の相関を判断し、対応位置を判断するためにこれを使用し得る。このようにして画像内
で判断された対応位置は、画像が第1の画像と第2の画像として同じ観点(すなわち第1
及び第2の方向)から記録されたので、第1の画像と第2の画像へ簡単なやり方で転送さ
れ得る。
一実施形態によると、本方法はさらに、第1の画像の第1の座標空間の座標の第2の画
像の第2の座標空間内への遷移を規定する座標変換を判断する工程を含み、対象物の複数
の場所の各場所の第1の位置及び第2の位置は座標変換を元に判断される。
この実施形態は、例えば射影変換、アフィン変換、相似変換又はユークリッド変換であり得る座標変換を判断する工程を含む。座標変換は、どのように第1の座標空間の座標(
すなわち第1の画像の座標空間の座標)が第2の座標空間の座標(すなわち第2の画像の
座標空間の座標)に変換/マッピングされるかの規定を示す。座標変換により互いに変換
/マッピングされる第1の画像と第2の画像の座標は、対象物の同じ場所を表す第1の画
像と第2の画像内の位置を示す。第1及び第2の座標空間は例えば2次元座標空間である。
座標変換は、一群のパラメータからの1つ又は複数のパラメータによりパラメータ化さ
れ得、一群のパラメータは次のものを含む:第1の座標空間と第2の座標空間との間の変
位、第2の座標空間に対する第1の座標空間の回転、第1及び/又は第2の画像を記録す
る過程における顕微鏡光学ユニットの倍率、第1及び/又は第2の方向、顕微鏡光学ユニ
ットの撮像収差、及び対象物の高さプロファイル。
座標変換の一例では、座標変換は、第1の座標空間と第2の座標空間との間の変位だけ
によりパラメータ化される。変位は例えば、光像検出器の相対的配置の結果として及び顕
微鏡光学ユニットによるステレオスコープ撮像の結果として生じる第1の画像と第2の画
像との間の変換オフセットを示す。したがって、座標変換は、対象物の同じ場所を表す第
1及び第2の座標系の座標間の変換を表す。
他の及び/又は別のパラメータが座標変換をパラメータ化し得る。したがって、光像検
出器の相対的配置の別の効果及び顕微鏡光学ユニットによるステレオスコープ撮像の別の
効果は座標変換により表され得る。特に、その2つのステレオチャネル内の顕微鏡光学ユ
ニットの光学的撮像の恐らく個々に設定可能な倍率を考慮することが可能であり、この情
報は例えばコントローラにより提供され得る。さらに、座標変換において先験的に知られ
た顕微鏡光学ユニットの撮像収差を表すことが可能である。
第1の画像結果及び第2の画像結果のステレオスコープ記録は原理的に対象物の光像検
出器上への透視光学的撮像となる。顕微鏡光学ユニットの光学的撮像のこれらの特性はまた、座標変換で表され得る。
座標変換を規定するパラメータの数とこれらのパラメータの値により達成される品質とに依存して、第1の画像と第2の画像の画素の総数と比較して第1の画像及び第2の画像
内の少ない数の対応位置だけが座標変換を判断するために判断される必要がある。したが
って、座標変換は比較的迅速に判断され得る。
座標変換のいくつかのパラメータはまた、第1の画像及び第2の画像が記録される前に
基準測定により判断され得る。したがって、顕微鏡光学ユニットの現在のセッティングに
依存するパラメータのそれらの値だけが本方法中に判断される必要がある。しかし、これ
ら(例えば顕微鏡光学ユニットの倍率)はコントローラにより提供され得る。したがって、座標変換を規定するパラメータのすべての値は第1の画像と第2の画像が記録される前
に既に判断され得る。
完全に規定された座標変換により、対象物の複数の場所の各場所の第1の位置及び第2
の位置を簡単なやり方で判断することが可能である。
一実施形態によると、本方法はさらに、高さ方向に対し垂直に配向された少なくとも1つの横断方向に応じて、高さ方向に沿って測定される対象物の広がりを示す対象物の高さ
プロファイルを判断する工程を含み、対象物の複数の場所の各場所の第1の位置及び第2
の位置は高さプロファイルを基準に判断される。高さプロファイルは座標変換のパラメー
タであり得る。
第1の画像と第2の画像内の対応位置は、第1の画像と第2の画像が異なる方向から記
録されるので対象物の高さプロファイルに依存する。顕微鏡光学ユニットの撮像特性及び
対象物の高さプロファイルの知識により、第1の画像と第2の画像内の対応位置を計算す
ることが可能である。顕微鏡光学ユニットの撮像特性は、例えばその高さプロファイルが
知られている基準対象物により判断され得る。対象物の高さプロファイルは様々な方法に
より、例えば三角測量又はステレオスコープにより判断され得る。
一実施形態によると、本方法はさらに、対象物から発する光が第1の波長範囲の光及び
第2の波長範囲の光を含むように対象物を照明光により晒す工程を含み、対象物特性は対
象物内に存在する複数の物質のうちの1つの物質の濃度であり、物質のそれぞれは照明光
による露出の結果として対象物から発する光の生成に寄与する。
この実施形態では、対象物は複数の異なる物質を含み、前記物質のうちの1つの物質の
濃度の空間分解分布が判断される。この方法の前提条件は、対象物に含まれる物質が照明
のために対象物から発する光の生成に様々なやり方で寄与するということである。一例と
して、対象物から発する第1及び第2の波長範囲の光は、対象物内に存在する2つの物質
により引き起こされる2つの寄与(ほぼ2つの寄与だけ)からなる。物質は、第1及び第
2の波長範囲内で既知の放射挙動を有し、2つの物質の放射挙動は第1及び第2の波長範
囲内で互いに異なる。照明光並びに第1の画像及び第2の画像の既知のスペクトル強度分
布のこの既知の放射特性に基づき、第1の画像と第2の画像内の対応位置における強度値
を使用することにより対象物の複数の場所の前記物質のうちの1つ又は複数の物質の濃度
を判断することが可能である。このようにして、対応位置の各対に関し、前記物質のうち
の1つ又は複数の物質の濃度の値が判断され得、したがって濃度の空間分解分布が判断さ
れ得る。
放射挙動は、様々な相互作用(例えば散乱/消滅、蛍光など)に基づき得る。
対象物内に存在する複数の物質のうちの1つの物質の濃度の空間分解分布を計算する仕
様の詳細説明は、その開示が参照により本明細書に援用される、例えば本出願人の特許出
願(特許文献1)及び(特許文献2)に記載される。
一実施形態によると、本方法はさらに、対象物を第1の波長範囲の光及び第2の波長範
囲の光により晒す工程を含み、第1の画像は対象物から発する第1の波長範囲の光により
(ほぼ排他的に)記録され、第2の画像は対象物から発する第2の波長範囲の光により(
ほぼ排他的に)記録され、対象物特性は血行動態変数の濃度であり、その結果、前記血行
動態変数の濃度の空間分解分布が計算されるようにする。「ほぼ排他的に」は例えば、第
1の光像検出器へ供給される第1の波長範囲の波長を有する光の強度が、第1の光像検出
器へ供給される第1の波長範囲外の任意の波長を有する光の強度より少なくとも100倍だけ又は少なくとも1000倍だけ大きいということを意味する。さらに、「ほぼ排他的
に」は例えば、第2の光像検出器へ供給される第2の波長範囲の波長を有する光の強度が、第2の光像検出器へ供給される第2の波長範囲外の任意の波長を有する光の強度より少
なくとも100倍だけ又は少なくとも1000倍だけ大きいということを意味する。
この実施形態では、血行動態変数の濃度、例えば含酸素又は脱酸素ヘモグロビンの濃度
が計算される。本方法は、対象物内の血行動態変数において後方散乱される又は血行動態
変数により吸収される光の検出に基づく。したがって、照明光と対象物から発し光像検出
器により検出される光との両方はいずれの場合も、第1及び第2の波長範囲の光を含む。
第1の波長範囲は、例えば410nmから430nmまで又は440nmから460nmまで広がる。第2の波長範囲は、例えば640nmから660nmまで広がる。これら
の波長範囲において、含酸素ヘモグロビンの消滅挙動及び脱酸素ヘモグロビンの消滅挙動
は互いに著しく異なるので、含酸素及び脱酸素ヘモグロビンの濃度はうまく判断され得る。
一実施形態によると、本方法はさらに、対象物内に分散された複数の異なる蛍光発光体
を、対象物から発する光が複数の蛍光発光体からの蛍光を含むように励起する工程を含み、第1の画像は第1の波長範囲の光により(ほぼ排他的に)記録され、第2の画像は第2
の波長範囲の光により(ほぼ排他的に)記録され、第1及び第2の波長範囲は合わせて、
複数の蛍光発光体の放射波長範囲のそれぞれを少なくとも部分的に含み、対象物特性は複
数の蛍光発光体のうちの1つの蛍光発光体の濃度であり、その結果、前記蛍光発光体の濃
度の空間分解分布が計算されるようにする。
この実施形態によると、対象物は複数の異なる蛍光発光体を含む。蛍光発光体は、例え
ば蛍光染料など対象物へ人為的に加えられる蛍光発光体であり得る。一例として、プロト
ポルフィリンIX、フルオレセイン、インドシアニングリーン又はいくつかの他の蛍光染
料が対象物内の特定物質を標識付けするために対象物へ加えられ得る。さらに又は代替的
に、蛍光発光体は自然蛍光発光体(すなわち対象物へ人為的に加えられないが、それにも
かかわらず蛍光性である物質)を含み得る。
一例として、本方法の目的は対象物内のプロトポルフィリンIXの空間分解分布を判断
することであり、プロトポルフィリンIXの放射波長範囲内で発生する対象物の自己蛍光
は消去されるように意図されている。
対象物はプロトポルフィリンIXを励起するために好適な照明光に晒される。照明光は
また、自己発光物質の励起を不可避的にもたらし、その結果、対象物内に分散された複数
の異なる蛍光発光体が励起されることになる。
プロトポルフィリンIX及び自己発光物質は異なる波長依存放射特性を有する。第1及
び第2の波長範囲は、2つの波長範囲のうちの少なくとも1つがプロトポルフィリンIX
の放射波長範囲の少なくとも一部分を含み、他の2つの波長範囲のうちの少なくとも1つ
が自己発光物質の放射波長範囲の少なくとも一部分を含むように選択される。これは、異
なる蛍光発光体の寄与に従って対象物から発する同じ波長を有する光の割合を分離するために必要である。
第1の画像と第2の画像、その中の対応位置の知識、対象物に含まれる蛍光発光体の放
射挙動、及び照明光のスペクトル強度分布を使用することにより、対象物に含まれる1つ
又は複数の蛍光発光体の濃度を計算することが可能である。
一実施形態によると、本方法はさらに、対象物から発する光を、(ほぼ排他的に)第1
の波長範囲の光が第1の光像検出器へ供給され、したがって第1の画像が対象物から発す
る第1の波長範囲の光により(ほぼ排他的に)記録されるようにフィルタリングする工程
と、対象物から発する光を、(ほぼ排他的に)第2の波長範囲の光が第2の光像検出器へ
供給され、したがって第2の画像が対象物から発する第2の波長範囲の光により(ほぼ排
他的に)記録されるようにフィルタリングする工程とを含む。
アプリケーションに依存して、光像検出器に衝突する光を第1及び第2の波長範囲の光
にそれぞれ制約することが必要であり得る。この目的のため、第1の波長範囲外の波長範
囲の対象物から発して第1の光像検出器へ供給される光は、例えば少なくとも100倍又
は少なくとも1000倍だけその強度が抑制される。さらに、この目的のために、第2の
波長範囲外の波長範囲の対象物から発して第2の光像検出器へ供給される光は、例えば少
なくとも100倍又は少なくとも1000倍だけその強度が抑制される。
一実施形態によると、本方法はさらに、対象物特性の値を表す第3の画像を生成し表す
工程を含む。さらに又は代替的に、第1のステレオスコープ1/2像及び第2のステレオ
スコープ1/2像を含むステレオ像を生成し表すことが可能であり、第1の1/2像は特
に第1の画像との重ね合わせにおける対象物特性の値を表し、第2の1/2像は特に第2
の画像との重ね合わせにおける対象物特性の値を表す。
本発明の別の態様は本明細書で説明される方法を行うように構成された装置(特に顕微
鏡システム)に関する。
本発明の実施形態は添付図面を参照し以下にさらに詳細に説明される。
本明細書で説明される方法を行うように構成された1つの例示的顕微鏡システムを示す。 対象物の特性を判断するための方法の一実施形態を示す。 対象物内の構造の表現と第1の画像及び第2の画像における撮像後の前記構造の表現とを示す。 対象物の第1の画像の複数の画素からの抜粋を示す。 対象物が撮像される第2の画像検出器の検出面上の場所の位置への影響を示し、前記影響は対象物の高さプロファイルにより引き起こされる。 対象物の特性を判断するための方法の別の実施形態を示す。 対象物に含まれる物質の波長依存変換率を示す。
図1は、一実施形態による顕微鏡システム1の概略図を示す。顕微鏡システム1は、照
明光5を生成するとともに、それを対象物8が配置される対象物領域7上へ向けるように
構成された照明装置3を含む。
顕微鏡システム1は、対象物8を第1の方向から第1の光像検出器13の検出面14上へ撮像するように構成された顕微鏡光学ユニット11を含む。この目的のため、顕微鏡光
学ユニット11は、顕微鏡光学ユニット11の対物レンズ21と顕微鏡光学ユニット11
の第1のレンズ系25とにより生成される第1のビーム経路に23を提供する。
さらに、顕微鏡光学ユニットは対象物8を第2の方向から第2の光像検出器15の検出
面16上へ撮像するように構成される。この目的のため、顕微鏡光学ユニット11は、顕
微鏡光学ユニット11の対物レンズ21と第2のレンズ系29とにより生成される第2の
ビーム経路27を提供する。
対象物8と対物レンズ21との間の第1のビーム経路23の中心光線31及び第2のビーム経路27の中心光線33は第1及び第2の方向を規定する。第1の方向と第2の方向
との間のステレオ角35は原理的に少なくとも1°であり、ほぼ40°までの値を有し得
る。
第1の光像検出器13は、検出面14に衝突する光の強度の空間分解分布を表す第1の
画像を生成する。第2の光像検出器15は、検出面16に衝突する光の強度の空間分解分
布を表す第2の画像を生成する。
第1の光像検出器13及び第2の光像検出器15は顕微鏡システム1のコントローラ3
7へ接続される。コントローラ37は第1の画像を表す信号を第1の光像検出器13から
受信する。さらに、コントローラ37は第2の画像を表す信号を第2の光像検出器15か
ら受信する。コントローラ37は本発明による方法の工程を行うように構成される。
顕微鏡システム1はさらに、コントローラ37へ接続される表示システム39であって
コントローラ37により生成されるモノスコープ像又はステレオスコープ像を表すように
構成される表示システム39を含む。
顕微鏡システム1はさらに、第1のビーム経路23内に配置されるとともに、ほぼ第1
の波長範囲の光だけを透過する第1の光学フィルタ41を含む。顕微鏡システム1はさら
に、第2のビーム経路27内に配置されるとともに、ほぼ第2の波長範囲の光だけを透過
する第2の光学フィルタ43を含む。
この結果、第1の画像はほぼ第1の波長範囲の光だけにより記録され、第2の画像はほ
ぼ第2の波長範囲の光だけにより記録される。
顕微鏡システム1はさらに、第1のカラー画像検出器45及び第1のビームスプリッタ
47を含む。第1のビームスプリッタ47は、第1のビーム経路23の一部を第1のカラー画像検出器45上へ向けるために第1のビーム経路23内に配置される。したがって、
顕微鏡光学ユニット11は、対象物8を、対象物8のカラー画像を記録するように構成された第1のカラー画像検出器45上へ撮像する。第1のカラー画像検出器45はコントローラ37へ接続され、コントローラ37は第1のカラー画像検出器45により記録された
画像を表す信号を第1のカラー画像検出器45から受信する。
顕微鏡システム1はさらに、第2のカラー画像検出器49及び第2のビームスプリッタ
51を含む。第2のビームスプリッタ51は、第2のビーム経路27の一部を第2のカラー画像検出器49上へ向けるために第2のビーム経路27内に配置される。したがって、
顕微鏡光学ユニット11は対象物8を第2のカラー画像検出器49上へ撮像する。カラー
画像検出器49は対象物8のカラー画像を記録するように構成される。第2のカラー画像
検出器49はコントローラ37へ接続され、コントローラ37は、第2のカラー画像検出
器49により記録された画像を表す信号を第2のカラー画像検出器49から受信する。
図2は、対象物8の特性を判断するための方法の概略図を示す。
工程S1は対象物8の第1の画像を第1の方向から記録する工程を含む。これは、例え
ば、顕微鏡光学ユニット11により第1の光像検出器13の検出面14上へ撮像される対
象物8から発する第1の波長範囲の光により行われる。
その後又は同時に、工程S2に従って、対象物8の第2の画像が第2の方向から記録さ
れる。これは、例えば、顕微鏡光学ユニット11により第2の光像検出器15の検出面1
6上へ撮像される対象物8から発する第2の波長範囲の光により行われる。
工程S3は、対象物8の複数の場所の各場所の第1の画像内の第1の位置及び第2の画
像内の第2の位置を判断する工程を含み、第1及び第2の位置は対象物の複数の場所の同
じ場所を表す。いずれの場合も対象物の同じ場所を表す第1の画像内の第1の位置及び第
2の画像内の第2の位置は対応位置と呼ばれる。工程S3はコントローラ37により行われる。
対応位置を判断するための1つの例示的方法が図3を参照してより詳細に説明される。
図3は、第1の画像と第2の画像内の対応位置を判断する方法を解明するために役立つ。
図3は3つの図表61、63及び65を含む。図表61は、図1に示すz軸に対して垂直に配向されるx-y面内の対象物8からの抜粋を示す。説明目的のために、抜粋は対象物
8の2つの構造67を含む。
図表63は第1の画像B1を示し、図表65は第2の画像B2を示す。第1の画像B1
及び第2の画像B2はそれぞれ、破線により識別される四角として表される複数の画素で
構成される。第1の画像B1の画素は個々の座標i及びjによりインデックスを付けられ、第2の画像B2の画素は個々の座標k及びlによりインデックスを付けられる。第1の
画像B1及び第2の画像B2は対象物8に対して異なる方向から記録されたので、第1の
画像B1及び第2の画像B2は対象物8を異なる観点から示す。異なる観点からの2つの
画像の記録は、第1の画像B1と第2の画像B2とが合同でない第1の理由であり、これ
は、第1の画像と第2の画像とが構造67を異なる場所に含むということにより図3に示
される。第1の画像B1と第2の画像B2とが概して合同でない別の理由は、顕微鏡光学
ユニット11と光像検出器13、15とが互いに位置合わせされる精度の限界である。図
4に関連して後で説明する別の理由は対象物8の高さプロファイルである。これらの様々
な理由は、図表61に図示される対象物8の場所Aが顕微鏡光学ユニット11により第1
の画像B1内の第1の位置B1-A上へ撮像され、第2の画像B2内の第2の位置B2-
A上へ撮像されるという影響を有する。したがって、位置B1-Aを含む画像B1内の画
素の座標i、jは、位置B2-Aを含む第2の画像B2の画素の座標k、lとは異なる。
第1の位置B1-A及び第2の位置B2-Aはいずれの場合も対象物8の場所Aを表す対
応位置である。
図2に示す工程S3は、対象物8の複数の場所の第1の画像B1及び第2の画像B2内
の対応位置を判断する工程を含む。これは、例えば対象物8の構造67のうちの少なくと
も1つの構造の形状/形式をこのようにして解析して対応位置を判断する方法により実現
される。一例として、構造67の形状/形式は第1の画像B1及び第2の画像B2におい
て解析され、対応位置は相関により判断される。第1の画像B1及び第2の画像B2はこの目的のために使用され得る。しかし、その代わりに、第1及び第2の方向から記録され
る他の画像であって、その第1の画像及び第2の画像へ割り当てがそれぞれ知らされる又
は判断される他の画像を使用することも可能である。
一例として、対象物8のそれぞれのカラー画像は図1に示すカラー画像検出器45及び
49により記録され、これらの2つのカラー画像は対応位置を判断するために使用される。このための前提条件は、第1のカラー画像検出器45により記録される画像と第1の光
像検出器13により記録される第1の画像との間の対応位置を示す割り当てが知られていることと、第2のカラー画像検出器49により記録される画像と第2の光像検出器15に
より記録される第2の画像との間の対応位置を示す別の割り当てが知られていることとで
ある。
しかし、第1のカラー画像検出器45により記録される画像と第1の画像との間の割り
当ての判断は、これらの画像が対象物8に対して同じビーム経路から又は同じ方向から記
録されるので比較的簡単である。第2のカラー画像検出器49により記録される画像と第
2の画像との間の割り当ての判断は、これらの画像もまた対象物8に対して同じビーム経
路から又は同じ方向から記録されるので同様に比較的簡単である。
もう一度図2を参照すると、本方法は、第1の画像及び第2の画像並びに対応位置に基づき対象物8の特性の空間分解分布を判断することに関与する工程S4を含む。これは、
対象物特性の値が対象物の複数の場所に関して判断されるということを意味し、対象物8
の複数の場所のうちの1つの場所へ割り当てられる値は、第1の画像内の第1の位置(前
記場所を表す)における強度値と第2の画像内の第2の位置(前記場所を表す)における
強度値とを使用して計算される。これは図3を参照してさらに詳細に説明される。
工程S4において、対象物特性の値は、例えば場所Aの対象物8の複数の場所に関して
計算される。場所Aへ割り当てられる対象物特性の値は、第1の位置B1-Aにおける第
1の画像B1の強度値を使用して計算される。この値はさらに、第2の位置B2-Aにお
ける第2の画像B2の強度値に基づき計算される。したがって、対応位置における第1の
画像及び第2の画像の強度値は、対応位置により表される対象物8の場所の対象物特性の
値を判断するために使用される。
第1の画像内の第1の位置における強度値は、第1の位置を含む第1の画像の画素の強
度値に基づき判断される。さらに又は代替的に、第1の画像内の第1の位置における強度
値は、第1の位置を含む第1の画像の画素に隣接する第1の画像の画素の少なくとも1つ
の強度値に基づき判断され得る。これについて図4を参照して説明する。
図4は第1の画像B1の複数の画素のうちの9つの画素71~79を示す。強度値が判
断されるようにされた例示的第1の位置B1-Aが画素71内の十字記号により表される。画素71は第1の位置B1-Aを含む。したがって、画素71の強度値は第1の位置B
1-Aの強度値として判断され得る。画素72~79は第1の位置B1-Aを含む画素7
1に直接隣接する。したがって、画素72~79の強度値は同様に、第1の位置B1-A
の強度値を判断するために使用され得る。一例として、第1の位置B1-Aの強度値は画
素71~79の個々に重み付けされた強度値の線形結合として判断される。第2の画像B
2内の第2の位置B2-Aにおける強度値もまた類似したやり方で判断され得、前記第2
の位置B2-Aは(第1の位置B1-Aのように)対象物8の同じ場所Aを表する。
もう一度図2を参照すると、工程S4において計算された対象物特性の空間分解分布が
工程S5において表される。一例として、コントローラ37は、対象物特性の計算値(すなわち対象物特性の空間分解分布)を表す第3の画像を生成する。次に、このモノスコー
プ像は表示システム39により表される。対象物特性の空間分解分布は対象物の画像(特
にカラー画像)との重ね合わせで表され得る。
さらに又は代替的に、コントローラ37は、第1のステレオスコープ1/2像及び第2
のステレオスコープ1/2像を有するステレオ像を生成し得、第1の1/2像は、特に第
1の画像との重ね合わせにおける対象物特性の値を表し、第2の1/2像は特に第2の画
像との重ね合わせにおける対象物特性の値を表す。次に、ステレオ像は表示システム39
により表され得る。
本方法の別の実施形態が図5及び図6を参照して説明される。この実施形態は、図2を
参照して上に説明された実施形態に可能な最大限度まで対応する。実質的に、逸脱する特
徴だけが以下に説明される。
図5は、図1に示す顕微鏡システム1の一部分、主として対物レンズ21、第1のレン
ズ系25、第2のレンズ系29、第1の光像検出器13及び第2の光像検出器15を示す。対象物8はプロファイルで(すなわちx-z面における対象物8の断面で)示される。
対象物8は、x方向に応じて変動するz方向(高さプロファイル80)に沿った広がりを
有する。この場合、z方向は対象物の高さ方向に対応し、x方向は(及び、x-z面に垂
直に配向されたy方向も)高さ方向に対し垂直に配向された横断方向に対応する。
顕微鏡光学ユニット11は、ビーム経路23を介し第1の光像検出器13の検出面14
上の場所81上へ対象物8の場所Aを撮像する。顕微鏡光学ユニット11は追加的に、第
2のビーム経路27を介し第2の光像検出器15の検出面16上の場所83上へ場所Aを
撮像する。
対象物8の別の場所Nは、顕微鏡光学ユニット11により第1のビーム経路23を介し
第1の光像検出器13の検出面14上の場所85上へ撮像される。場所Nは追加的に、顕
微鏡光学ユニット11により第2のビーム経路27を介し第2の光像検出器15の検出面
16上の場所87上へ撮像される。
場所81と85との間の距離は場所83と87との間の距離より大きい。これは、対象
物8の高さプロファイル80は対象物の場所が撮像される光像検出器の検出面上の場所に
影響を及ぼす、という事実を示す。したがって、いずれの場合も対象物の同じ場所を表す
第1の画像内の第1の位置及び第2の画像内の第2の位置もまた対象物の高さプロファイ
ルに依存する。
顕微鏡光学ユニット11の撮像特性の知識を所与として、対象物8の高さプロファイル
80を使用することにより、第1の画像と第2の画像内の対応位置がコントローラ37に
より計算され得る。
図6は、この実施形態による方法の図式的概要を示す。工程S1、S2、S4及びS5
は図2を参照して説明した工程に対応する。図2を参照して説明した実施形態と比較する
と、この実施形態による方法は別の工程S6と工程S3に対して修正された工程S7とを
含む。
工程S7の前に行われる工程S6は対象物8の高さプロファイル80を判断する工程を
含む。高さプロファイル80は、様々な方法により(例えばステレオスコープにより)判
断され得る。代替的に、特定の高さプロファイルセンサが、例えばこのセンサにより発射
されるとともに、対象物8おける反射後にセンサにより受信される信号の飛行時間測定(
三角測量)などに基づき使用され得る。
工程S4の前に行われる工程S7は、図2を参照して説明した実施形態の工程S3と同
様に、第1の画像と第2の画像内の対応位置を判断する工程を含み、工程S3とは対照的
に、対応位置の判断は、工程S6において判断された高さプロファイル80に基づき行われる。したがって、いずれの場合も対象物の複数の場所の同じ場所を表す第1の画像内の
第1の位置及び第2の画像内の第2の位置は、高さプロファイル80に基づき判断される。顕微鏡光学ユニット11の撮像特性がさらに、この判断中に考慮され得る。
図3に関連して説明した工程S3に従って第1の画像及び第2の画像内の対応位置を判
断するための方法とは対照的に、工程S7による対応位置の判断のために、対象物8が高
コントラスト構造(図3の構造67を参照)を有する必要は無い。
上記方法は対象物の様々な特性を判断するために使用され得る。いくつかの応用例が以
下に説明される。
一実施形態によると、対象物内に存在する物質の濃度を判断するための方法が使用され
る。この目的のため、対象物は、対象物から発する光が第1の波長範囲の光及び第2の波
長範囲の光を含むように照明光に晒される。
図7は、照明光と対象物から発する光との波長依存変換率を示す。曲線91は対象物8
内に存在する第1の物質の変換率を規定し、曲線93は対象物内に存在する第2の物質の
変換率を規定する。2つの物質の波長依存変換率(曲線91、93)は互いに異なる。
第1の波長範囲95及び第2の波長範囲97は一般的には2つの異なる波長範囲である。特に、第1の波長範囲95及び第2の波長範囲97はせいぜい部分的に重畳し得る又は
そうでなければ重畳しない。図7に示す例では、2つの波長範囲は重畳しない。
対象物上へ向けられた照明光は、曲線91及び93に従って、対象物8に含まれる2つ
の物質により変換され、したがって、対象物8から発する光に寄与する。したがって、対
象物8から発する光は第1の波長範囲95の光及び第2の波長範囲97の光を含む。
照明光の波長依存強度分布、記録された第1の画像、記録された第2の画像、並びに第
1の画像及び第2の画像内の対応位置の対象物8に含まれる物質の変換率(曲線91及び
93)の知識により、対象物に含まれる物質の濃度の空間分解分布を計算することが可能
である。計算に関する詳細は、例えばその本開示が参照により本明細書に援用される(特
許文献1)及び(特許文献2)から収集され得る。
〔付記1〕
対象物(8)の特性を判断するための方法であって、
前記対象物(8)が第1の波長範囲(95)の光により第1の光像検出器(13)の検出面(14)上へ撮像されることにより第1の方向から前記対象物(8)の第1の画像(B1)を記録する工程であって、前記光は顕微鏡光学ユニット(11)により前記対象物(8)から発する、工程と;
前記対象物(8)が第2の波長範囲(97)の光により第2の光像検出器(15)の検出面(16)上へ撮像されることにより第2の方向から前記対象物(8)の第2の画像(B2)を記録する工程であって、前記光は前記顕微鏡光学ユニット(11)により前記対象物(8)から発する、工程と;
前記対象物(8)の複数の位置(A、N)に関して、前記第1の画像(B1)内の第1の位置(B1-A)であって前記対象物(8)の位置(A)を表す第1の位置(B1-A)と、前記第2の画像(B2)内の第2の位置(B2-A)であって前記対象物(8)の同じ位置(A)を表す第2の位置(B2-A)とを判断する工程と、
前記対象物(8)の前記複数の位置(A、N)のそれぞれの位置の対象物特性の値を計算する工程であって、前記対象物(8)の前記複数の場所のうちの1つの場所(A)へ割り当てられる値は、前記場所(A)を表す、前記第1の画像(B1)内の前記第1の位置(B1-A)における強度値と、前記場所(A)を表す、前記第2の画像(B2)内の前記第2の位置(B2-A)における強度値とを使用して計算される、工程と、を含む方法。
〔付記2〕
前記第1の画像(B1)内の前記第1の位置(B1-A)は前記第1の光像検出器(13)の前記検出面(14)上の第1の場所(81)に対応し、前記第1の位置(B1-A)により表される前記対象物(8)の前記場所(A)は、前記顕微鏡光学ユニット(11)により前記第1の光像検出器(13)の前記検出面(14)の前記第1の場所(81)上へ撮像され;
前記第2の画像(B2)内の前記第2の位置(B2-A)は前記第2の光像検出器(15)の前記検出面(16)上の第2の場所(83)に対応し、前記第2の位置(B2-A)により表される前記対象物(8)の前記場所(A)は、前記顕微鏡光学ユニット(11)により前記第2の光像検出器(15)の前記検出面(16)の前記第2の場所(83)上へ撮像される、付記1に記載の方法。
〔付記3〕
前記第1の画像(B1)は複数の第1の画素を有し、強度値が各第1の画素へ割り当てられ;
前記第1の位置(B1-A)における前記強度値は、前記第1の位置(B1-A)を含む前記第1の画素(71)の強度値に基づき判断され、及び/又は
前記第1の位置(B1-A)における前記強度値は、前記第1の位置(B1-A)を含む前記画素(71)に隣接する前記第1の画素(72~79)のうちの少なくとも1つの画素の強度値に基づき判断される、付記1又は2に記載の方法。
〔付記4〕
前記第2の画像(B2)は複数の第2の画素を有し、強度値が各第2の画素へ割り当てられ;
前記第2の位置(B2-A)における前記強度値は前記第2の位置(B2-A)を含む前記第2の画素の強度値に基づき判断され、及び/又は
前記第2の位置(B2-A)における前記強度値は、前記第2の位置(B2-A)を含む前記画素に隣接する前記第2の画素のうちの少なくとも1つの画素の強度値に基づき判断される、付記1~3のいずれか一つに記載の方法。
〔付記5〕
前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1-A)及び前記第2の位置(B2-A)は、前記対象物(8)の画像の解析に基づき、特に前記第1の画像及び第2の画像(B1、B2)の解析に基づき判断され、
前記対象物(8)の少なくとも1つの構造(67)の形状は前記画像において解析される、付記1~4のいずれか一つに記載の方法。
〔付記6〕
前記第1の画像の第1の座標空間の座標の前記第2の画像の第2の座標空間内への遷移を規定する座標変換を判断する工程をさらに含み、
前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1-A)及び前記第2の位置(B2-A)は前記座標変換に基づき判断される、付記1~5のいずれか一つに記載の方法。
〔付記7〕
前記座標変換は一群のパラメータからの1つ又は複数のパラメータによりパラメータ化され、前記一群のパラメータは、前記第1の座標空間と前記第2の座標空間との間の変位、前記第2の座標空間に対する前記第1の座標空間の回転、前記第1及び/又は第2の画像を記録する過程における前記顕微鏡光学ユニットの倍率、前記第1及び/又は第2の方向、前記顕微鏡光学ユニットの撮像収差、及び前記対象物の高さプロファイルを含む、付記6に記載の方法。
〔付記8〕
前記座標変換は射影変換、アフィン変換、相似変換又はユークリッド変換である、付記6又は7に記載の方法。
〔付記9〕
高さ方向に対し垂直に配向された少なくとも1つの横断方向に応じて前記高さ方向に沿って測定される前記対象物(8)の広がりを示す前記対象物(8)の高さプロファイル(80)を判断する工程をさらに含み、
前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1-A)及び前記第2の位置(B2-A)は前記高さプロファイル(80)に基づき判断される、付記1~8のいずれか一つに記載の方法。
〔付記10〕
前記対象物(8)の前記高さプロファイル(80)は三角測量又はステレオスコープにより判断される、請求項9に記載の方法。
〔付記11〕
前記第1の波長範囲(95)及び前記第2の波長範囲(97)はせいぜい部分的に重畳するが、特には重畳しない、付記1~10のいずれか一つに記載の方法。
〔付記12〕
前記対象物(8)から発する光が前記第1の波長範囲(95)の光及び前記第2の波長範囲(97)の光を含むように前記対象物(8)を照明光(5)により晒す工程をさらに
含み、
前記対象物特性は、前記対象物(8)内に存在する複数の物質のうちの1つの物質の濃度であり、前記物質のそれぞれは、前記照明光による露出の結果として前記対象物(8)から発する前記光の生成に寄与する、付記1~11のいずれか一つに記載の方法。
〔付記13〕
前記第1の波長範囲(95)の光及び前記第2の波長範囲(97)の光による前記対象物(8)を晒す工程をさらに含み、
前記第1の画像(B1)は前記対象物(8)から発する前記第1の波長範囲(95)の光によりほぼ排他的に記録され;
前記第2の画像(B2)は前記対象物(8)から発する前記第2の波長範囲(97)の光によりほぼ排他的に記録され;
前記対象物特性は血行動態変数の濃度であり、その結果、前記血行動態変数の前記濃度の空間分解分布が計算されるようにする、付記1~12のいずれか一つに記載の方法。
〔付記14〕
前記対象物(8)中に分散された複数の異なる蛍光発光体を、前記対象物(8)から発する前記光が前記複数の蛍光発光体からの蛍光を含むように励起する工程をさらに含み、
前記第1の画像(B1)は前記第1の波長範囲(95)の光によりほぼ排他的に記録され;
前記第2の画像(B2)は前記第2の波長範囲(97)の光によりほぼ排他的に記録され;
前記第1及び第2の波長範囲(95、97)は合わせて、前記複数の蛍光発光体の放射波長範囲のそれぞれを少なくとも部分的に含み;
前記対象物特性は前記複数の蛍光発光体のうちの1つの蛍光発光体の濃度であり、その結果、前記蛍光発光体の前記濃度の空間分解分布が計算されるようにする、付記1~12のいずれか一つに記載の方法。
〔付記15〕
前記複数の蛍光発光体のうちの1つは前記対象物(8)へ加えられる蛍光染料、特にプロトポルフィリンIXであり、及び/又は
前記複数の蛍光発光体のうちの1つは前記対象物(8)へ加えられる蛍光染料ではない、付記14に記載の方法。
〔付記16〕
前記対象物(8)から発する前記光を、ほぼ排他的に前記第1の波長範囲(95)の光が前記第1の光像検出器(13)へ供給され、したがって前記第1の画像(B1)が前記対象物(8)から発する前記第1の波長範囲(95)の光によりほぼ排他的に記録されるように、フィルタリングする工程と;
前記対象物(8)から発する前記光を、ほぼ排他的に前記第2の波長範囲(97)の光が前記第2の光像検出器(15)へ供給され、したがって前記第2の画像(B2)が前記対象物(8)から発する前記第2の波長範囲(97)の光によりほぼ排他的に記録されるように、フィルタリングする工程と、をさらに含む、付記1~15のいずれか一つに記載の方法。
〔付記17〕
前記対象物特性の前記値を表す第3の画像を生成し表す工程をさらに含む、付記1~16のいずれか一つに記載の方法。
〔付記18〕
第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を有するステレオ像を生成し表す工程をさらに含み、前記第1の1/2像は特に前記第1の画像(B1)との重ね合わせにおける前記対象物特性の前記値を表し、前記第2の1/2像は特に前記第2の画像(B2)との重ね合わせにおける前記対象物特性の前記値を表す、付記1~17のいずれか一つに記載の方法。
〔付記19〕
付記1~18のいずれか一つに記載の方法を行うように構成された装置(1)。
1 顕微鏡システム
3 照明装置
5 照明光
7 対象物領域
8 対象物
11 顕微鏡光学ユニット
13 第1の光像検出器
14、16 検出面
15 第2の光像検出器
21 対物レンズ
23 第1のビーム経路
25 第1のレンズ系
27 第2のビーム経路
29 第2のレンズ系
31、33 中心光線
35 ステレオ角
37 コントローラ
39 表示システム
41 第1の光学フィルタ
43 第2の光学フィルタ
45 第1のカラー画像検出器
47 第1のビームスプリッタ
49 第2のカラー画像検出器
51 第2のビームスプリッタ
61、63、65 図表
67 構造
71~79 画素
80 高さプロファイル
81、83、85、87、A、N 場所
95 第1の波長範囲
97 第2の波長範囲
B1 第1の画像
B1-A 第1の位置
B2 第2の画像
B2-A 第2の位置
S1~S7 工程

Claims (19)

  1. 対象物(8)の特性を判断するための方法であって、
    前記対象物(8)が第1の波長範囲(95)の光により第1の光像検出器(13)の検出面(14)上へ撮像されることにより第1の方向から前記対象物(8)の第1の画像(B1)を記録する工程であって、前記光は顕微鏡光学ユニット(11)により前記対象物(8)から発する、工程と;
    前記対象物(8)が第2の波長範囲(97)の光により第2の光像検出器(15)の検出面(16)上へ撮像されることにより第2の方向から前記対象物(8)の第2の画像(B2)を記録する工程であって、前記光は前記顕微鏡光学ユニット(11)により前記対象物(8)から発する、工程と;
    前記対象物(8)の複数の位置(A、N)に関して、前記第1の画像(B1)内の第1の位置(B1-A)であって前記対象物(8)の位置(A)を表す第1の位置(B1-A)と、前記第2の画像(B2)内の第2の位置(B2-A)であって前記対象物(8)の同じ位置(A)を表す第2の位置(B2-A)とを判断する工程と、
    前記対象物(8)の前記複数の位置(A、N)のそれぞれの位置の対象物特性の値を計算する工程であって、前記対象物(8)の前記複数の場所のうちの1つの場所(A)へ割り当てられる値は、前記場所(A)を表す、前記第1の画像(B1)内の前記第1の位置(B1-A)における強度値と、前記場所(A)を表す、前記第2の画像(B2)内の前記第2の位置(B2-A)における強度値とを使用して計算される、工程と、を含む方法。
  2. 前記第1の画像(B1)内の前記第1の位置(B1-A)は前記第1の光像検出器(13)の前記検出面(14)上の第1の場所(81)に対応し、前記第1の位置(B1-A)により表される前記対象物(8)の前記場所(A)は、前記顕微鏡光学ユニット(11)により前記第1の光像検出器(13)の前記検出面(14)の前記第1の場所(81)上へ撮像され;
    前記第2の画像(B2)内の前記第2の位置(B2-A)は前記第2の光像検出器(15)の前記検出面(16)上の第2の場所(83)に対応し、前記第2の位置(B2-A)により表される前記対象物(8)の前記場所(A)は、前記顕微鏡光学ユニット(11)により前記第2の光像検出器(15)の前記検出面(16)の前記第2の場所(83)上へ撮像される、請求項1に記載の方法。
  3. 前記第1の画像(B1)は複数の第1の画素を有し、強度値が各第1の画素へ割り当てられ;
    前記第1の位置(B1-A)における前記強度値は、前記第1の位置(B1-A)を含む前記第1の画素(71)の強度値に基づき判断され、及び/又は
    前記第1の位置(B1-A)における前記強度値は、前記第1の位置(B1-A)を含む前記画素(71)に隣接する前記第1の画素(72~79)のうちの少なくとも1つの画素の強度値に基づき判断される、請求項1又は2に記載の方法。
  4. 前記第2の画像(B2)は複数の第2の画素を有し、強度値が各第2の画素へ割り当てられ;
    前記第2の位置(B2-A)における前記強度値は前記第2の位置(B2-A)を含む前記第2の画素の強度値に基づき判断され、及び/又は
    前記第2の位置(B2-A)における前記強度値は、前記第2の位置(B2-A)を含む前記画素に隣接する前記第2の画素のうちの少なくとも1つの画素の強度値に基づき判断される、請求項1~3のいずれか一項に記載の方法。
  5. 前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1-A)及び前記第2の位置(B2-A)は、前記対象物(8)の画像の解析に基づき、特に前記第1の画像及び第2の画像(B1、B2)の解析に基づき判断され、
    前記対象物(8)の少なくとも1つの構造(67)の形状は前記画像において解析される、請求項1~4のいずれか一項に記載の方法。
  6. 前記第1の画像の第1の座標空間の座標の前記第2の画像の第2の座標空間内への遷移を規定する座標変換を判断する工程をさらに含み、
    前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1-A)及び前記第2の位置(B2-A)は前記座標変換に基づき判断される、請求項1~5のいずれか一項に記載の方法。
  7. 前記座標変換は一群のパラメータからの1つ又は複数のパラメータによりパラメータ化され、前記一群のパラメータは、前記第1の座標空間と前記第2の座標空間との間の変位、前記第2の座標空間に対する前記第1の座標空間の回転、前記第1及び/又は第2の画像を記録する過程における前記顕微鏡光学ユニットの倍率、前記第1及び/又は第2の方向、前記顕微鏡光学ユニットの撮像収差、及び前記対象物の高さプロファイルを含む、請求項6に記載の方法。
  8. 前記座標変換は射影変換、アフィン変換、相似変換又はユークリッド変換である、請求項6又は7に記載の方法。
  9. 高さ方向に対し垂直に配向された少なくとも1つの横断方向に応じて前記高さ方向に沿って測定される前記対象物(8)の広がりを示す前記対象物(8)の高さプロファイル(80)を判断する工程をさらに含み、
    前記対象物(8)の前記複数の場所の各場所の前記第1の位置(B1-A)及び前記第2の位置(B2-A)は前記高さプロファイル(80)に基づき判断される、請求項1~8のいずれか一項に記載の方法。
  10. 前記対象物(8)の前記高さプロファイル(80)は三角測量又はステレオスコープにより判断される、請求項9に記載の方法。
  11. 前記第1の波長範囲(95)及び前記第2の波長範囲(97)はせいぜい部分的に重畳するが、特には重畳しない、請求項1~10のいずれか一項に記載の方法。
  12. 前記対象物(8)から発する光が前記第1の波長範囲(95)の光及び前記第2の波長範囲(97)の光を含むように前記対象物(8)を照明光(5)により晒す工程をさらに含み、
    前記対象物特性は、前記対象物(8)内に存在する複数の物質のうちの1つの物質の濃度であり、前記物質のそれぞれは、前記照明光による露出の結果として前記対象物(8)から発する前記光の生成に寄与する、請求項1~11のいずれか一項に記載の方法。
  13. 前記第1の波長範囲(95)の光及び前記第2の波長範囲(97)の光による前記対象物(8)を晒す工程をさらに含み、
    前記第1の画像(B1)は前記対象物(8)から発する前記第1の波長範囲(95)の光によりほぼ排他的に記録され;
    前記第2の画像(B2)は前記対象物(8)から発する前記第2の波長範囲(97)の光によりほぼ排他的に記録され;
    前記対象物特性は血行動態変数の濃度であり、その結果、前記血行動態変数の前記濃度の空間分解分布が計算されるようにする、請求項1~12のいずれか一項に記載の方法。
  14. 前記対象物(8)中に分散された複数の異なる蛍光発光体を、前記対象物(8)から発する前記光が前記複数の蛍光発光体からの蛍光を含むように励起する工程をさらに含み、 前記第1の画像(B1)は前記第1の波長範囲(95)の光によりほぼ排他的に記録され;
    前記第2の画像(B2)は前記第2の波長範囲(97)の光によりほぼ排他的に記録され;
    前記第1及び第2の波長範囲(95、97)は合わせて、前記複数の蛍光発光体の放射波長範囲のそれぞれを少なくとも部分的に含み;
    前記対象物特性は前記複数の蛍光発光体のうちの1つの蛍光発光体の濃度であり、その結果、前記蛍光発光体の前記濃度の空間分解分布が計算されるようにする、請求項1~12のいずれか一項に記載の方法。
  15. 前記複数の蛍光発光体のうちの1つは前記対象物(8)へ加えられる蛍光染料、特にプロトポルフィリンIXであり、及び/又は
    前記複数の蛍光発光体のうちの1つは前記対象物(8)へ加えられる蛍光染料ではない、請求項14に記載の方法。
  16. 前記対象物(8)から発する前記光を、ほぼ排他的に前記第1の波長範囲(95)の光が前記第1の光像検出器(13)へ供給され、したがって前記第1の画像(B1)が前記対象物(8)から発する前記第1の波長範囲(95)の光によりほぼ排他的に記録されるように、フィルタリングする工程と;
    前記対象物(8)から発する前記光を、ほぼ排他的に前記第2の波長範囲(97)の光が前記第2の光像検出器(15)へ供給され、したがって前記第2の画像(B2)が前記対象物(8)から発する前記第2の波長範囲(97)の光によりほぼ排他的に記録されるように、フィルタリングする工程と、をさらに含む、請求項1~15のいずれか一項に記載の方法。
  17. 前記対象物特性の前記値を表す第3の画像を生成し表す工程をさらに含む、請求項1~16のいずれか一項に記載の方法。
  18. 第1のステレオスコープ1/2像及び第2のステレオスコープ1/2像を有するステレオ像を生成し表す工程をさらに含み、前記第1の1/2像は特に前記第1の画像(B1)との重ね合わせにおける前記対象物特性の前記値を表し、前記第2の1/2像は特に前記第2の画像(B2)との重ね合わせにおける前記対象物特性の前記値を表す、請求項1~17のいずれか一項に記載の方法。
  19. 請求項1~18のいずれか一項に記載の方法を行うように構成された装置(1)。
JP2022036364A 2018-09-18 2022-03-09 対象物の特性を判断するための方法及び装置 Active JP7312873B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018122816.3A DE102018122816B9 (de) 2018-09-18 2018-09-18 Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
DE102018122816.3 2018-09-18
JP2019169044A JP2020076743A (ja) 2018-09-18 2019-09-18 対象物の特性を判断するための方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019169044A Division JP2020076743A (ja) 2018-09-18 2019-09-18 対象物の特性を判断するための方法及び装置

Publications (2)

Publication Number Publication Date
JP2022069531A true JP2022069531A (ja) 2022-05-11
JP7312873B2 JP7312873B2 (ja) 2023-07-21

Family

ID=69646548

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019169044A Pending JP2020076743A (ja) 2018-09-18 2019-09-18 対象物の特性を判断するための方法及び装置
JP2022036364A Active JP7312873B2 (ja) 2018-09-18 2022-03-09 対象物の特性を判断するための方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019169044A Pending JP2020076743A (ja) 2018-09-18 2019-09-18 対象物の特性を判断するための方法及び装置

Country Status (3)

Country Link
US (1) US11391937B2 (ja)
JP (2) JP2020076743A (ja)
DE (1) DE102018122816B9 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018122816B9 (de) * 2018-09-18 2024-07-04 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
JP2022011869A (ja) * 2020-06-30 2022-01-17 株式会社香味醗酵 計測装置及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036143A1 (ja) * 2003-10-10 2005-04-21 Hamamatsu Photonics K.K. 蛍光色素の濃度を定量する方法およびシステム
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
JP2006138735A (ja) * 2004-11-12 2006-06-01 Central Res Inst Of Electric Power Ind カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP2012530947A (ja) * 2009-06-26 2012-12-06 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡画像における蛍光事象の評価方法
JP2014524290A (ja) * 2011-08-12 2014-09-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 外科手術器具の画像取込み装置
JP2016070698A (ja) * 2014-09-26 2016-05-09 富士フイルム株式会社 有核赤血球の選別方法
JP2017148503A (ja) * 2016-02-15 2017-08-31 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
US20180024341A1 (en) * 2015-02-09 2018-01-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンThe University of Akron 光学撮像システムおよびその方法
DE102017215158A1 (de) * 2017-08-30 2019-02-28 Carl Zeiss Meditec Ag Detektionssystem
JP2020076743A (ja) * 2018-09-18 2020-05-21 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10362401B3 (de) 2002-08-28 2022-03-10 Carl Zeiss Meditec Ag Mikroskopiesystem und Mikroskopieverfahren
DE102006004232C5 (de) 2006-01-30 2013-08-01 Carl Zeiss Surgical Gmbh Mikroskopiesystem
US10828125B2 (en) * 2015-11-03 2020-11-10 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
US10872414B2 (en) 2016-06-15 2020-12-22 Sony Corporation Information processing apparatus, observation system, observation method, and program
DE102017221187B4 (de) 2017-11-27 2020-08-13 Carl Zeiss Meditec Ag Verfahren zur Bestimmung der Konzentration von verschiedenen, in einem Objekt enthaltenen Fluoreszenzemittern und Mikroskopiesystem

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036143A1 (ja) * 2003-10-10 2005-04-21 Hamamatsu Photonics K.K. 蛍光色素の濃度を定量する方法およびシステム
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
JP2006138735A (ja) * 2004-11-12 2006-06-01 Central Res Inst Of Electric Power Ind カメラアングル変化の検出方法および装置およびプログラム並びにこれを利用した画像処理方法および設備監視方法および測量方法およびステレオカメラの設定方法
JP2012530947A (ja) * 2009-06-26 2012-12-06 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡画像における蛍光事象の評価方法
JP2014524290A (ja) * 2011-08-12 2014-09-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 外科手術器具の画像取込み装置
JP2016070698A (ja) * 2014-09-26 2016-05-09 富士フイルム株式会社 有核赤血球の選別方法
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンThe University of Akron 光学撮像システムおよびその方法
US20180024341A1 (en) * 2015-02-09 2018-01-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
JP2017148503A (ja) * 2016-02-15 2017-08-31 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
DE102017215158A1 (de) * 2017-08-30 2019-02-28 Carl Zeiss Meditec Ag Detektionssystem
JP2020076743A (ja) * 2018-09-18 2020-05-21 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置

Also Published As

Publication number Publication date
US20200088983A1 (en) 2020-03-19
DE102018122816A1 (de) 2020-03-19
JP2020076743A (ja) 2020-05-21
US11391937B2 (en) 2022-07-19
JP7312873B2 (ja) 2023-07-21
DE102018122816B4 (de) 2024-01-04
DE102018122816B9 (de) 2024-07-04

Similar Documents

Publication Publication Date Title
JP2022069531A (ja) 対象物の特性を判断するための方法及び装置
JP6661221B2 (ja) 3d輪郭データ収集及びう蝕検出のシステム、方法、並びにコンピュータプログラム
Bolte et al. A guided tour into subcellular colocalization analysis in light microscopy
US7420674B2 (en) Method and arrangement for analyzing samples
CN107250716B (zh) 动态高速高灵敏度成像装置及成像方法
EP3110314B1 (en) System and method for specular reflection detection and reduction
JP7209469B2 (ja) 蛍光を定量化する顕微鏡検査システムおよび顕微鏡検査方法
JP5934180B2 (ja) オブジェクトの材料特性を決定するための方法
JP2003185581A (ja) 試料の検査方法
JP6148256B2 (ja) 高分解能3d蛍光顕微鏡法のための顕微鏡および方法
JP5870821B2 (ja) 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム
JP6910383B2 (ja) 蛍光強度を正規化するための方法
JP2004170977A (ja) 分解能の深度で試料を光学的に把握する方法および配置
JP2010008397A (ja) 光学的測定装置、並びに光検出器の波長校正方法及び光学的測定方法
JP4883936B2 (ja) 走査型サイトメータの画像処理方法及び装置
US10883940B2 (en) Fluctuation-based fluorescence microscopy
JP5789786B2 (ja) 画像計測装置および画像計測方法
US20080200818A1 (en) Surface measurement apparatus and method using parallax views
JP6346032B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010092041A (ja) 顕微鏡を用いて試料を撮像するための方法、顕微鏡、およびデータ記憶キャリア
US20160091706A1 (en) Synthesizing light fields in microscopy
NL1040008C2 (en) Optical and integrated inspection apparatus and method.
JP6049300B2 (ja) 顕微鏡システム
JP2022122181A (ja) 補正パラメータ設定方法及びデータ補正方法
JP2021089244A (ja) 画像生成装置及び画像処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7312873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150