JP2019184401A - 試料観察装置及び試料観察方法 - Google Patents

試料観察装置及び試料観察方法 Download PDF

Info

Publication number
JP2019184401A
JP2019184401A JP2018074865A JP2018074865A JP2019184401A JP 2019184401 A JP2019184401 A JP 2019184401A JP 2018074865 A JP2018074865 A JP 2018074865A JP 2018074865 A JP2018074865 A JP 2018074865A JP 2019184401 A JP2019184401 A JP 2019184401A
Authority
JP
Japan
Prior art keywords
sample
image data
observation
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018074865A
Other languages
English (en)
Other versions
JP7298993B2 (ja
Inventor
山本 諭
Satoshi Yamamoto
諭 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018074865A priority Critical patent/JP7298993B2/ja
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to CN201980021841.1A priority patent/CN111902761B/zh
Priority to PCT/JP2019/003226 priority patent/WO2019198308A1/ja
Priority to EP19784982.1A priority patent/EP3779557B1/en
Priority to US17/040,091 priority patent/US11709350B2/en
Publication of JP2019184401A publication Critical patent/JP2019184401A/ja
Priority to JP2022113819A priority patent/JP2022132488A/ja
Priority to US18/206,518 priority patent/US20230314782A1/en
Application granted granted Critical
Publication of JP7298993B2 publication Critical patent/JP7298993B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】背景光の輝度値のばらつきの影響を低減でき、試料観察の再現性を向上できる試料観察装置及び試料観察方法を提供する。【解決手段】試料観察装置1は、試料Sに面状光L2をXZ面で照射する照射光学系3と、面状光L2の照射面Rを通過するように試料SをY軸方向に走査する走査部4と、照射面Rに対して傾斜する観察軸P2を有し、試料Sで発生した観察光L3を結像する結像光学系5と、観察光L3の光像に対応するXZ画像データを複数取得する画像取得部6と、複数のXZ画像データに基づいてXY画像データを生成する画像生成部8と、を備え、画像生成部8は、Y軸方向について複数取得されたXZ画像データの解析領域を抽出し、少なくとも解析領域の輝度値をZ軸方向に積算してX画像データを生成し、X画像データをY軸方向に結合してXY画像データを生成する。【選択図】図1

Description

本発明は、試料観察装置及び試料観察方法に関する。
細胞などの3次元立体構造を持つ試料の内部を観察する手法の一つとして、SPIM(Selective Plane Illumination Microscopy)が知られている。例えば特許文献1に記載の断層像観察装置は、SPIMの基本的な原理を開示したものであり、面状光を試料に照射し、試料の内部で発生した蛍光又は散乱光を結像面に結像させて試料内部の観察画像データを取得する。
面状光を用いた他の試料観察装置としては、例えば特許文献2に記載のSPIM顕微鏡が挙げられる。この従来のSPIM顕微鏡では、試料の配置面に対して一定の傾斜角をもって面状光を照射し、面状光の照射面に対して直交する観察軸を有する観察光学系によって試料からの観察光を撮像する。
特開昭62−180241号公報 特開2014−202967号公報
上述したような試料観察装置では、例えば試料容器の中に試料と溶液とを保持して観察を実施している。溶液からの蛍光は、背景光となるため、試料からの観察光を高い再現性で測定するためには、背景光の影響を低減させる必要がある。従来、取得画像から背景光の影響を低減させる手法としては、例えば取得画像から試料の存在しない領域の平均輝度値を求め、試料の存在する領域の輝度値から試料の存在しない領域の平均輝度値を減算して試料の輝度値を算出する手法が挙げられる。
しかしながら、背景光の輝度値の算出結果は、様々な要因でばらつくことが考えられる。例えば背景光が蛍光である場合、背景光の輝度値は、溶液の単位体積当たりの蛍光の強度と溶液の深さとの積で表される。同一の試料容器内で試料の存在しない領域の平均輝度値を求める場合、表面張力に起因して溶液の高さがばらつくことがある。また、背景光の検出用に溶液のみを保持した試料容器を用いる場合、溶液の分注精度がばらつくことがある。背景光の輝度値の算出結果がばらつくと、試料の蛍光の輝度値に対する背景光減算後の蛍光の輝度値のリニアリティが大きく崩れ、試料観察の再現性が低下してしまうおそれがある。
本発明は、上記課題の解決のためになされたものであり、背景光の輝度値のばらつきの影響を低減できる試料観察装置及び試料観察方法を提供することを目的とする。
本発明の一側面に係る試料観察装置は、試料に面状光をXZ面で照射する照射光学系と、面状光の照射面を通過するように試料をY軸方向に走査する走査部と、照射面に対して傾斜する観察軸を有し、面状光の照射によって試料で発生した観察光を結像する結像光学系と、結像光学系によって結像された観察光の光像に対応するXZ画像データを複数取得する画像取得部と、画像取得部によって取得された複数のXZ画像データに基づいて試料のXY画像データを生成する画像生成部と、を備え、画像取得部は、XZ画像データをY軸方向について複数取得し、画像生成部は、XZ画像データにおける解析領域を抽出し、少なくとも解析領域の輝度値をZ軸方向に積算してX画像データを生成し、X画像データをY軸方向に結合してXY画像データを生成する。
この試料観察装置では、照射面に対して傾斜する観察軸を有する結像光学系によって試料のXZ画像データを複数取得する。各XZ画像データでは、1画素に含まれる背景光のZ方向成分を一定とすることができるため、背景光の輝度値のばらつきの影響を低減できる。したがって、X画像データをY軸方向に結合して得られるXY画像データにおいても、背景光の影響を十分に低減することが可能となる。
画像生成部は、少なくとも解析領域に対してダークオフセット減算を実行した後に解析領域の輝度値をZ軸方向に積算してもよい。ダークオフセット減算を実行することで画像取得部のノイズの影響を十分に低減できる。
画像生成部は、解析領域以外の領域の輝度値を低減し、XZ画像データの輝度値をZ軸方向に積算してX画像データを生成してもよい。これにより、画像取得の際の装置固有のノイズの揺らぎの影響を抑えることができる。
画像生成部は、解析領域のみの輝度値をZ軸方向に積算してX画像データを生成してもよい。これにより、Z軸方向に積算される画素数を制限できるため、画像取得の際の装置固有のノイズの揺らぎの影響を抑えることができる。
面状光の照射面に対する結像光学系の観察軸の傾斜角度は、10°〜80°となっていてもよい。この範囲では、観察画像の解像度を十分に確保できる。
面状光の照射面に対する結像光学系の観察軸の傾斜角度は、20°〜70°となっていてもよい。この範囲では、観察画像の解像度を一層十分に確保できる。また、観察軸の角度変化量に対する視野の変化を抑えることができ、視野の安定度を確保できる。
面状光の照射面に対する結像光学系の観察軸の傾斜角度は、30°〜65°となっていてもよい。この範囲では、観察画像の解像度及び視野の安定度を一層好適に確保できる。
試料観察装置は、XY画像データを含む観察画像データを解析し、解析結果を生成する解析部を更に備えていてもよい。この場合、解析のスループットも向上させることができる。
また、本発明の一側面に係る試料観察方法は、試料に面状光をXZ面で照射する照射ステップと、面状光の照射面を通過するように試料をY軸方向に走査する走査ステップと、照射面に対して傾斜する観察軸を有する結像光学系を用い、面状光の照射によって試料で発生した観察光を結像する結像ステップと、結像光学系によって結像された観察光の光像に対応するXZ画像データを複数取得する画像取得ステップと、複数のXZ画像データに基づいて試料のXY画像データを生成する画像生成ステップと、を備え、画像取得ステップでは、XZ画像データをY軸方向について複数取得し、画像生成ステップでは、XZ画像データにおける解析領域を抽出し、少なくとも解析領域の輝度値をZ軸方向に積算してX画像データを生成し、X画像データをY軸方向に結合してXY画像データを生成する。
この試料観察方法では、照射面に対して傾斜する観察軸を有する結像光学系によって試料のXZ画像データを複数取得する。各XZ画像データでは、1画素に含まれる背景光のZ方向成分を一定とすることができるため、背景光の輝度値のばらつきの影響を低減できる。したがって、X画像データをY軸方向に結合して得られるXY画像データにおいても、背景光の影響を十分に低減することが可能となる。
画像生成ステップにおいて、少なくとも解析領域に対してダークオフセット減算を実行した後に解析領域の輝度値をZ軸方向に積算してもよい。ダークオフセット減算を実行することで画像取得部のノイズの影響を十分に低減できる。
画像生成ステップにおいて、解析領域以外の領域の輝度値を低減し、XZ画像データの輝度値をZ軸方向に積算してX画像データを生成してもよい。これにより、画像取得の際の装置固有のノイズの揺らぎの影響を抑えることができる。
画像生成ステップにおいて、解析領域のみの輝度値をZ軸方向に積算してX画像データを生成してもよい。これにより、Z軸方向に積算される画素数を制限できるため、画像取得の際の装置固有のノイズの揺らぎの影響を抑えることができる。
画像取得ステップにおいて、面状光の照射面に対する結像光学系の観察軸の傾斜角度を10°〜80°としてもよい。この範囲では、観察画像の解像度を十分に確保できる。
画像取得ステップにおいて、面状光の照射面に対する結像光学系の観察軸の傾斜角度を20°〜70°としてもよい。この範囲では、観察画像の解像度を一層十分に確保できる。また、観察軸の角度変化量に対する視野の変化を抑えることができ、視野の安定度を確保できる。
面状光の照射面に対する結像光学系の観察軸の傾斜角度を30°〜65°としてもよい。この範囲では、観察画像の解像度及び視野の安定度を一層好適に確保できる。
試料観察方法は、XY画像データを解析し、解析結果を生成する解析ステップを更に備えていてもよい。この場合、解析のスループットも向上させることができる。
この試料観察装置及び試料観察方法によれば、背景光の輝度値のばらつきの影響を低減できる。
試料観察装置の一実施形態を示す概略構成図である。 試料の近傍を示す要部拡大図である。 試料観察装置を用いた試料観察方法の一例を示すフローチャートである。 画像生成部による観察画像の生成の一例を示す図である。 画像取得部による画像取得の様子を示す図である。 試料観察装置における視野の算出例を示す図である。 観察軸の傾斜角度と解像度との関係を示す図である。 観察軸の傾斜角度と視野の安定度との関係を示す図である。 観察軸の傾斜角度と試料からの観察光の透過率との関係を示す図である。 背景光の減算値のばらつきの影響を示す図である。 XZ画像データの生成例を示す図である。 X画像データの生成例を示す図である。 XY画像データの生成例を示す図である。 画像生成ステップの一例を示すフローチャートである。 画像生成ステップの別例を示すフローチャートである。 画像生成ステップの更なる別例を示すフローチャートである。 画像生成ステップの更なる別例を示すフローチャートである。
以下、図面を参照しながら、本発明の一側面に係る試料観察装置及び試料観察方法の好適な実施形態について詳細に説明する。
図1は、試料観察装置の一実施形態を示す概略構成図である。この試料観察装置1は、面状光L2を試料Sに照射し、試料Sの内部で発生した観察光(例えば蛍光又は散乱光など)を結像面に結像させて試料S内部の観察画像データを取得する装置である。この種の試料観察装置1としては、スライドガラスに保持される試料Sの画像を取得し表示するスライドスキャナ、あるいはマイクロプレートに保持される試料Sの画像データを取得し、画像データを解析するプレートリーダなどがある。試料観察装置1は、図1に示すように、光源2と、照射光学系3と、走査部4と、結像光学系5と、画像取得部6と、コンピュータ7とを備えて構成されている。
観察対象となる試料Sとしては、例えばヒト或いは動物の細胞、組織、臓器、動物或いは植物自体、植物の細胞、組織などが挙げられる。これらの試料Sは、例えばフルオレセインーデキストラン(励起波長:494nm/蛍光波長:521nm)、テトラメチルローダミン(励起波長:555nm/蛍光波長:580nm)などの蛍光材料によって染色されている。なお、試料Sは、複数の蛍光物質によって染色されてもよい。また、試料Sは、溶液、ゲル、或いは試料Sとは屈折率の異なる物質に含まれていてもよい。
光源2は、試料Sに照射される光L1を出力する光源である。光源2としては、例えばレーザダイオード、固体レーザ光源といったレーザ光源が挙げられる。また、光源2は、発光ダイオード、スーパールミネッセントダイオード、ランプ系光源であってもよい。光源2から出力された光L1は、照射光学系3に導光される。
照射光学系3は、光源2から出力された光L1を面状光L2に整形し、整形された面状光L2を光軸P1に沿って試料Sに照射する光学系である。以下の説明では、照射光学系3の光軸P1を面状光L2の光軸という場合もある。照射光学系3は、例えばシリンドリカルレンズ、アキシコンレンズ、或いは空間光変調器などの光整形素子を含んで構成され、光源2に対して光学的に結合されている。照射光学系3は、対物レンズを含んで構成されていてもよい。照射光学系3によって形成された面状光L2は、試料Sに照射される。面状光L2が照射された試料Sでは、面状光L2の照射面Rにおいて観察光L3が発生する。観察光L3は、例えば面状光L2によって励起された蛍光、面状光L2の散乱光、或いは面状光L2の拡散反射光である。
試料Sの厚さ方向に観察を行う場合、分解能を考慮して、面状光L2は、厚さ2mm以下の薄い面状光であることが好ましい。また、試料Sの厚さが非常に小さい場合、すなわち、後述するZ方向解像度以下の厚さの試料Sを観察する場合には、面状光L2の厚さは分解能に影響しない。したがって、厚さ2mmを超える面状光L2を用いてもよい。
走査部4は、面状光L2の照射面Rに対して試料Sを走査する機構である。本実施形態では、走査部4は、試料Sを保持する試料容器11を移動させる移動ステージ12によって構成されている。試料容器11は、例えばマイクロプレート、スライドガラス、シャーレ等であり、面状光L2及び観察光L3に対して透明性を有している。本実施形態では、マイクロプレートを例示する。試料容器11は、図2に示すように、試料Sが配置される複数のウェル13が一直線状(或いはマトリクス状)に配列された板状の本体部14と、本体部14の一面側においてウェル13の一端側を塞ぐように設けられた板状の透明部材15とを有している。
ウェル13内への試料Sの配置にあたり、ウェル13内には、試料Sと共に培養液、蛍光指示薬、バッファ等の溶液が充填されている。溶液からは、自家蛍光が発せられる。透明部材15は、ウェル13内に配置された試料Sに対する面状光L2の入力面15aを有している。透明部材15の材質は、面状光L2に対する透明性を有する部材であれば特に限定はされないが、例えばガラス、石英、或いは合成樹脂である。試料容器11は、入力面15aが面状光L2の光軸P1と直交するように移動ステージ12に対して配置されている。なお、ウェル13の他端側は、外部に開放された状態となっている。試料容器11は、移動ステージ12に対して固定されていてもよい。
移動ステージ12は、図1に示すように、コンピュータ7からの制御信号に従い、予め設定された方向に試料容器11を走査する。本実施形態では、移動ステージ12は、面状光L2の光軸P1と直交する平面内の一方向に試料容器11を走査する。以下の説明では、面状光L2の光軸P1方向をZ軸、移動ステージ12による試料容器11の走査方向をY軸、面状光L2の光軸P1と直交する平面内においてY軸に直交する方向をX軸と称する。試料Sに対する面状光L2の照射面Rは、XZ平面内の面となる。
結像光学系5は、面状光L2の照射によって試料Sで発生した観察光L3を結像する光学系である。結像光学系5は、図2に示すように、例えば対物レンズ16を含んで構成されている。結像光学系5の光軸は、観察光L3の観察軸P2となっている。この結像光学系5の観察軸P2は、試料Sにおける面状光L2の照射面Rに対して傾斜角度θをもって傾斜している。傾斜角度θは、試料Sに向かう面状光L2の光軸P1と観察軸P2とがなす角とも一致する。傾斜角度θは、10°〜80°となっている。観察画像の解像度を向上させる観点から、傾斜角度θは、20°〜70°であることが好ましい。また、観察画像の解像度の向上及び視野の安定性の観点から、傾斜角度θは、30°〜65°であることが更に好ましい。
画像取得部6は、図1に示すように、結像光学系5によって結像された観察光L3による光像に対応する画像データを複数取得する装置である。画像取得部6は、例えば観察光L3による光像を撮像する撮像装置を含んで構成されている。撮像装置としては、例えばCMOSイメージセンサ、CCDイメージセンサといったエリアイメージセンサが挙げられる。これらのエリアイメージセンサは、結像光学系5による結像面に配置され、例えばグローバルシャッタ或いはローリングシャッタによって光像を撮像し、二次元画像のデータをコンピュータ7に出力する。
画像取得部6は、観察光L3による光像の一部に対応する部分画像データを複数取得する態様であってもよい。この場合、例えばエリアイメージセンサの撮像面においてサブアレイを設定し、当該サブアレイに含まれる画素列のみを読み出すようにして部分画像データを取得してもよい。また、エリアイメージセンサの全ての画素列を読み出しエリアとし、その後の画像処理によって二次元画像の一部を抽出して部分画像データを取得してもよい。エリアイメージセンサに代えてラインセンサを用い、撮像面自体を一の画素列に限定して部分画像データを取得してもよい。観察光L3の一部のみを透過させるスリットをエリアイメージセンサの前面に配置し、スリットに対応する画素列の画像データを部分画像データとして取得してもよい。
コンピュータ7は、物理的には、RAM、ROM等のメモリ、及びCPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ7としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。コンピュータ7は、メモリに格納されるプログラムをコンピュータシステムのCPUで実行することにより、光源2及び移動ステージ12の動作を制御するコントローラ、試料Sの観察画像データを生成する画像生成部8、及び観察画像データを解析する解析部10として機能する(図1参照)。
コントローラとしてのコンピュータ7は、ユーザによる測定開始の操作の入力を受け、光源2、移動ステージ12、及び画像取得部6を同期させて駆動する。この場合、コンピュータ7は、移動ステージ12による試料Sの移動中、光源2が光L1を連続的に出力するように光源2を制御してもよく、画像取得部6による撮像に合わせて光源2による光L1の出力のON/OFFを制御してもよい。また、照射光学系3が光シャッタ(不図示)を備えている場合、コンピュータ7は、当該光シャッタの制御によって試料Sへの面状光L2の照射をON/OFFさせてもよい。
また、画像生成部8としてのコンピュータ7は、画像取得部6によって生成された複数の画像データに基づいて試料Sの観察画像データを生成する。画像生成部8は、画像取得部6から出力された複数の画像データに基づいて、例えば面状光L2の光軸P1に直交する面(XY面)における試料Sの観察画像データを生成する。画像生成部8は、ユーザによる所定の操作に従って、生成した観察画像データの格納、モニタ等への表示等を実行する。
解析部10としてのコンピュータ7は、画像生成部8によって生成された観察画像データに基づいて解析を実行し、解析結果を生成する。解析部10は、ユーザによる所定の操作に従って、生成した解析結果の格納、モニタ等への表示等を実行する。なお、画像生成部8によって生成された観察画像データのモニタ等への表示は行わず、解析部10によって生成された解析結果のみをモニタ等に表示してもよい。
図3は、試料観察装置1を用いた試料観察方法の一例を示すフローチャートである。同図に示すように、この試料観察方法は、照射ステップ(ステップS01)、走査ステップ(ステップS02)、結像ステップ(ステップS03)、画像取得ステップ(ステップS04)、画像生成ステップ(ステップS05)、及び解析ステップ(ステップS06)を備えている。
照射ステップS01では、試料Sに面状光L2を照射する。ユーザによって測定開始の操作が入力されると、コンピュータ7からの制御信号に基づいて光源2が駆動し、光源2から光L1が出力される。光源2から出力された光L1は、照射光学系3によって整形されて面状光L2となり、試料Sに照射される。
走査ステップS02では、面状光L2の照射面Rに対して試料Sを走査する。ユーザによって測定開始の操作が入力されると、コンピュータ7からの制御信号に基づいて、光源2の駆動と同期して移動ステージ12が駆動する。これにより、試料容器11がY軸方向に一定の速度で直線的に駆動し、面状光L2の照射面Rに対してウェル13内の試料Sが走査される。
結像ステップS03では、照射面Rに対して傾斜する観察軸P2を有する結像光学系5を用い、面状光L2の照射によって試料Sで発生した観察光L3を画像取得部6の結像面に対して結像する。画像取得ステップS04では、結像光学系5によって結像された観察光L3による光像に対応する画像データを複数取得する。画像データは、画像取得部6から画像生成部8に順次出力される。
画像生成ステップS05では、複数の画像データに基づいて試料Sの観察画像データを生成する。本実施形態では、図1及び図2に示したように、試料Sに対する面状光L2の照射面Rは、XZ平面内の面であり、試料Sに対して照射面RがY軸方向に走査される。したがって、画像生成部8には、図4(A)に示すように、XZ画像データ31をY軸方向に複数取得することによって、試料Sの3次元情報が蓄積される。画像生成部8では、複数のXZ画像データ31を用いてデータが再構築され、例えば図4(B)に示すように、試料SにおけるZ軸方向の任意の位置において任意の厚さを持ったXY画像データ32が試料Sの観察画像データとして生成される。なお、画像生成部8は、XY画像データ32を含む3次元データを観察画像データとして生成してもよい。
解析ステップS06では、解析部10によって観察画像データを解析し、解析結果を生成する。例えば創薬スクリーニングでは、試料容器11に試料S及び試薬を入れ、観察画像データであるXY画像データ32を取得する。そして、解析部10は、XY画像データ32に基づいて試薬を評価し、評価データを解析結果として生成する。解析部10は、XY画像データ32を含む3次元データを観察画像データとして取得し、解析してもよい。
上述した試料観察装置1について、更に詳細に説明する。
試料観察装置1では、図5(A)に示すように、面状光L2の照射面Rに対して試料Sを走査しながら画像取得部6によって画像取得を行っている。また、試料観察装置1では、面状光L2の照射面Rに対し、結像光学系5の観察軸P2が傾斜している。このため、画像取得部6では、面状光L2の光軸P1方向(Z軸方向)におけるXZ画像データ31を順次取得することが可能となり、画像生成部8では、複数のXZ画像データ31に基づいて、試料SのXY画像データ32を生成できる。
この試料観察装置1では、図5(B)に示すように、試料Sを走査させながら画像取得を順次行うことが可能となる。従来の試料観察装置の動作では、移動ステージの駆動及び停止の際の度に、慣性の影響等により時間的なロスが生じる。これに対し、試料観察装置1では、移動ステージ12の駆動及び停止の回数を削減し、試料Sの走査動作と画像取得とを同時進行することが可能となる。したがって、XY画像データ32を得るまでのスループットの向上が図られる。
また、試料観察装置1では、図2に示したように、試料Sが面状光L2の入力面15aを有する試料容器11によって保持され、照射光学系3による面状光L2の光軸P1が試料容器11の入力面15aに対して直交するように配置されている。さらに、試料観察装置1では、照射光学系3による面状光L2の光軸P1(Z軸方向)に対して直交する方向(Y軸方向)に走査部4が試料Sを走査する。これにより、画像取得部6で取得したXZ画像データ31の位置補正などの画像処理が不要となり、XY画像データ32の生成処理を容易化できる。
また、試料観察装置1では、試料Sにおける面状光L2の照射面Rに対する結像光学系5の観察軸P2の傾斜角度θが10°〜80°、好ましくは、20°〜70°、より好ましくは30°〜65°となっている。以下、この点について考察する。図6は、試料観察装置における視野の算出例を示す図である。同図に示す例では、結像光学系が屈折率n1の媒質A中に位置し、面状光の照射面が屈折率n2の媒質B中に位置している。結像光学系における視野をV、照射面をV’、照射面に対する観察軸の傾斜角度をθ、媒質A,Bの境界面での屈折角をθ’、視野Vの傾斜角度θにおける媒質Aと媒質Bの界面での距離をLとした場合、以下の式(1)〜(3)が成り立つ。
(数1)
L=V/cosθ …(1)
(数2)
sinθ’=(n1/n2)×sinθ …(2)
(数3)
V’=L/tanθ’ …(3)
図7は、観察軸の傾斜角度と解像度との関係を示す図である。同図では、横軸を観察軸の傾斜角度θとし、縦軸を視野の相対値V’/Vとしている。そして、媒質Aの屈折率n1を1(空気)とし、媒質Bの屈折率n2を1.0から2.0まで0.1刻みで変化させたときのV’/Vの値を傾斜角度θに対してプロットしている。V’/Vの値が小さいほど試料の深さ方向の解像度(以下、「Z方向解像度」と称す)が高く、大きいほどZ方向解像度が低いことを示している。
図7に示す結果から、媒質Aの屈折率n1と媒質Bの屈折率n2とが等しい場合には、傾斜角度θに対してV’/Vの値が反比例していることが分かる。また、媒質Aの屈折率n1と媒質Bの屈折率n2とが異なる場合には、傾斜角度θに対してV’/Vの値が放物線を描くことが分かる。この結果から、試料の配置空間の屈折率、結像光学系の配置空間の屈折率、及び観察軸の傾斜角度θによってZ方向解像度をコントロールできることが分かる。そして、傾斜角度θが10°〜80°の範囲では、傾斜角度θが10°未満及び80°を超える範囲に比べて良好なZ方向解像度が得られることが分かる。
また、図7に示す結果から、Z方向解像度が最大となる傾斜角度θは、屈折率n1と屈折率n2との差が大きくなるにつれて小さくなる傾向があることが分かる。屈折率n2が1.1〜2.0の範囲では、Z方向解像度が最大となる傾斜角度θは、約47°〜約57°の範囲となる。例えば屈折率n2が1.33(水)の場合、Z方向解像度が最大となる傾斜角度θは、およそ52°と見積もられる。また、例えば屈折率n2が1.53(ガラス)の場合、Z方向解像度が最大となる傾斜角度θは、およそ48°と見積もられる。
図8は、観察軸の傾斜角度と視野の安定度との関係を示す図である。同図では、横軸を観察軸の傾斜角度θとし、縦軸を視野の安定度としている。安定度は、傾斜角度θでのV’/Vに対する傾斜角度θ+1でのV’/Vと傾斜角度θ−1でのV’/Vとの差分値の割合で表され、下記式(4)に基づいて算出される。安定度が0%に近い程、傾斜角度の変化に対する視野の変化が小さく、視野が安定していると評価できる。この図8では、図7と同様に、媒質Aの屈折率n1を1(空気)とし、媒質Bの屈折率n2を1.0から2.0まで0.1刻みで変化させたときの安定度がプロットされている。
(数4)
安定度(%)=((V’/V)θ+1−(V’/V)θ−1)/(V’/V)θ …(4)
図8に示す結果から、傾斜角度θが10°未満及び80°を超える範囲では、安定度が±20%を超えており、視野のコントロールが困難であることが分かる。一方、傾斜角度θが10°〜80°の範囲では、安定度が±20%以下となり、視野のコントロールが可能となる。さらに、傾斜角度θが20°〜70°の範囲では、安定度が±10%以下となり、視野のコントロールが容易となる。
図9は、観察軸の傾斜角度と試料からの観察光の透過率との関係を示す図である。同図では、横軸を観察軸の傾斜角度θとし、左側の縦軸を視野の相対値、右側の縦軸を透過率としている。この図9では、試料容器における試料の保持状態を考慮し、媒質Aの屈折率n1を1(空気)、媒質Bの屈折率n2を1.53(ガラス)、媒質Cの屈折率n3を1.33(水)とし、透過率の値は、媒質B,Cの界面及び媒質A,Bの界面の透過率の積としている。図9には、P波の透過率、S波の透過率、及びこれらの平均値の角度依存性がプロットされている。また、図9には、媒質Cにおける視野の相対値が併せてプロットされている。
図9に示す結果から、観察軸の傾斜角度θを変化させることで、試料から結像光学系に至る観察光の透過率が可変となることが分かる。傾斜角度θが80°以下の範囲では、少なくとも50%以上の透過率が得られることが分かる。また、傾斜角度θが70°以下の範囲では、少なくとも60%以上の透過率が得られ、傾斜角度θが65°以下の範囲では、少なくとも75%以上の透過率が得られることが分かる。
以上の結果から、試料のZ方向解像度が要求される場合には、例えば視野の相対値であるV’/Vの値が3以下であり、安定度が5%未満、かつ観察光の透過率(P波及びS波の平均値)が75%以上となるように、傾斜角度θを30°〜65°の範囲から選択することが好適である。また、試料のZ方向解像度が要求されない場合には、傾斜角度θを10°〜80°の範囲から適宜選択すればよく、1画素当たりの視野の範囲を確保する観点から、10°〜30°若しくは65°〜80°の範囲から選択することが好適である。
続いて、試料観察装置1における背景光の減算処理について説明する。
試料観察装置1では、試料容器11のウェル13内に試料Sと蛍光溶液とを保持して観察を実施している。溶液からの自家蛍光は、背景光となるため、試料Sからの観察光L3を高い再現性で測定するためには、背景光の影響を低減させる必要がある。従来、取得画像から背景光の影響を低減させる手法としては、例えば取得画像から試料の存在しない領域の平均輝度値を求め、試料の存在する領域の輝度値から試料の存在しない領域の平均輝度値を減算して試料の輝度値を算出する手法が挙げられる。
しかしながら、背景光の輝度値の算出結果は、様々な要因でばらつくことが考えられる。例えば背景光が蛍光である場合、背景光の輝度値は、溶液の単位体積当たりの蛍光の強度と溶液の深さとの積で表される。同一の試料容器内で試料の存在しない領域の平均輝度値を求める場合、表面張力に起因して溶液の高さがばらつくことがある。また、背景光の検出用に溶液のみを保持した試料容器を用いる場合、溶液の分注精度がばらつくことがある。
背景光の輝度値の算出結果がばらつくと、例えば図10に示すように、試料の蛍光の輝度値に対する背景光減算後の蛍光の輝度値のリニアリティが大きく崩れ、試料観察の再現性が低下してしまうおそれがある。図10では、背景光の減算値が±10%ばらついた場合の試料の蛍光量に対する背景光減算後の蛍光量が示されている。この結果から、背景光の減算値が±数%ばらつくだけでも、背景光減算後の蛍光の輝度値のリニアリティが保たれなくなることが分かる。
これに対し、試料観察装置1の画像生成部8では、まず、XZ画像データ31における解析領域Fの抽出を行う。解析領域Fの抽出は、XZ画像データ31で撮像される領域のうち、試料Sからの蛍光が存在する領域に対して行われる。図11の例では、画像取得部6でY軸方向に複数される複数のXZ画像データ31のうちの一のXZ画像データ31が示されている。このXZ画像データ31には、例えば試料容器11の透明部材15或いは空気に対応する光像41、試料Sに対応する光像42、溶液に対応する光像43が含まれている。
画像生成部8は、図12に示すように、このXZ画像データ31における解析領域Fを抽出し、解析領域Fの輝度値をZ軸方向に積算してX画像データ33を生成する。画像生成部8は、他のXZ画像データ31についても同様に、解析領域Fの抽出及び解析領域Fの輝度値のZ軸方向への積算を実行し、複数のX画像データ33を生成する。画像生成部8は、図13に示すように、これらのX画像データ33をY軸方向に結合し、XY画像データ32を生成する。
図14は、画像生成ステップS05の一例を示すフローチャートである。同図に示す画像生成ステップS05の例では、まず、解析領域Fを抽出するための閾値の設定を実行する(ステップS11)。閾値は、例えば溶液のみを保持した試料容器11のウェル13に対するXZ画像データ31の輝度値に基づいて設定される。閾値は、試料Sの蛍光量が既知である場合には、当該蛍光量に基づいて設定されてもよい。閾値は、XZ画像データ31毎に設定されていてもよく、画像取得部6の画素毎にそれぞれ設定されていてもよい。
次に、設定された閾値に基づいて、XZ画像データ31における解析領域Fの抽出を実行する(ステップS12)。ここでは、解析領域Fとして、試料Sからの蛍光が存在する領域を抽出する。解析領域Fの抽出後、解析領域Fに対して画像取得部6のダークオフセット減算を実行する(ステップS13)。ダークオフセットとは、撮像装置固有のノイズであり、例えば撮像装置の暗電流によって生じるノイズである。ダークオフセット減算実行後、解析領域Fの輝度値をZ軸方向に積算してX画像データ33を生成する(ステップS14)。そして、他のXZ画像データ31について同様に得られたX画像データ33をY軸方向に結合し、XY画像データ32を生成する(ステップS15)。なお、ステップS13のダークオフセット減算は、ステップS11の閾値の設定よりも前に行ってもよい。この場合、ダークオフセット減算分を考慮して閾値の設定を行うことが好ましい。ステップS13のダークオフセット減算は、ステップS14のX画像データ33の生成よりも後に行ってもよい。この際、ダークオフセット減算は、X画像データ33に対して行われることになるため、ダークオフセット減算をXZ画像データ31全体に行うことと同等の効果を得る。
また、画像生成ステップS05では、解析領域F以外の領域を構成する複数の画素の輝度値を低減した後に、ステップS14によるX画像データ33の生成を行ってもよい。例えば解析領域F以外の領域を構成する複数の画素の輝度値を0カウントとする処理を行った後、XZ画像データ31をZ軸方向に積算してX画像データ33を生成してもよい。この場合、撮像装置固有のノイズ(例えば読出しノイズ)の揺らぎによる影響を抑えることができる。このような処理は、背景光を発生しない場合(例えば溶液が自家蛍光を発生しない場合)においても有効である。
さらに、画像生成ステップS05では、ステップS12による解析領域Fの抽出の後、XZ画像データ31における解析領域FのみをZ軸方向に積算してX画像データ33を生成してもよい。この場合、X画像データ33の生成において積算される画素数が制限されるため、撮像装置固有のノイズ(例えば読出しノイズ)の揺らぎによる影響を抑えることができる。このような処理は、背景光を発生しない場合(例えば、溶液が自家蛍光を発生しない場合)でも有効である。
図15は、画像生成ステップS05の別例を示すフローチャートである。この別例は、XZ画像データ31内で閾値を設定する点で、図14に示した形態と相違している。この画像生成ステップS05の例では、まず、XZ画像データ31における背景光の検出を行う(ステップS21)。ここでは、背景光の輝度値は、XZ画像データ31のうち、試料Sが存在しない領域の輝度値から求められる。なお、試料Sが存在しない領域には、例えば試料容器11の透明部材15或いは空気に対応する光像41の領域、及び溶液に対応する光像43の領域が含まれる。
試料Sが存在しない領域の特定には、様々な手法を適用し得る。例えば試料Sが存在しない領域は、XZ画像データ31の上部領域としてもよい。また、試料Sの厚さが既知である場合には、試料Sが存在しない領域は、透明部材15から試料Sの厚さ以上の範囲としてもよい。さらに、試料Sが存在しない領域は、試料Sの蛍光量が既知である場合には、当該蛍光量以下の値を閾値とし、閾値以下の輝度値を有する画素によって構成される領域としてもよい。
また、背景光の輝度値の取得には、様々な手法を適用し得る。例えば試料Sが存在しない領域の特定の画素の輝度値から求めてもよく、試料Sが存在しない領域のX方向もしくはZ方向の複数の画素の輝度値分布から求めてもよい。さらに、背景光の輝度値は、試料Sが存在しない領域の特定のエリアを構成する複数の画素の輝度値分布から求めてもよい。
以下、検出した背景光に基づいて解析領域Fを抽出するための閾値の設定を実行する(ステップS22)。また、図14の場合と同様に、XZ画像データ31における解析領域Fの抽出(ステップS23)、ダークオフセット減算(ステップS24)、X画像データ33の生成(ステップS25)、及びXY画像データ32の生成(ステップS26)を実行する。ステップS24のダークオフセット減算は、ステップS21の背景光の検出よりも前に行ってもよい。この場合、ダークオフセット減算分を考慮して背景光の検出及び閾値の設定を行うことが好ましい。ステップS24のダークオフセット減算は、ステップS25のX画像データ33の生成よりも後に行ってもよい。この際、ダークオフセット減算は、X画像データ33に対して行われることになるため、ダークオフセット減算をXZ画像データ31全体に行うことと同等の効果を得る。
図16は、画像生成ステップS05の更なる別例を示すフローチャートである。この更なる別例は、解析領域Fの抽出後に背景光の減算を行う点で、図14に示した形態と相違している。この画像生成ステップS05の例では、まず、図15の場合と同様に、XZ画像データ31における背景光の検出を行い(ステップS31)、検出した背景光に基づいて解析領域Fを抽出するための閾値の設定を実行する(ステップS32)。次に、XZ画像データ31における解析領域Fの抽出を実行し(ステップS33)、及びダークオフセット減算を実行する(ステップS34)。
ダークオフセット減算の実行後、解析領域Fに対する背景光の減算を実行する(ステップS35)。ステップS35では、例えば解析領域Fに対応する画素毎にステップS31で検出された背景光の輝度値を減算する。減算に用いる背景光の輝度値は、ステップS31で求めた背景光の輝度値であってもよく、別の手法で求めた背景光の輝度値であってもよい。
背景光の減算の後、X画像データ33の生成(ステップS36)、及びXY画像データ32の生成(ステップS37)を実行する。ステップS34のダークオフセット減算は、ステップS31の背景光の検出よりも前に行ってもよい。この場合、ダークオフセット減算分を考慮して背景光の検出、閾値の設定、及び背景光の減算を行うことが好ましい。また、ステップS35の背景光の減算は、ステップS32の閾値の設定よりも前に行ってもよい。この場合、ダークオフセット減算分を考慮して背景光の検出を行い、ダークオフセット減算分及び背景光減算分を考慮して閾値の設定を行うことが好ましい。ステップS34のダークオフセット減算及びステップS35の背景光の減算は、ステップS36のX画像データ33の生成よりも後に行ってもよい。この際、ダークオフセット減算は、X画像データ33に対して行われることになるため、ダークオフセット減算をXZ画像データ31全体に行うことと同等の効果を得る。
図17は、画像生成ステップS05の更なる別例を示すフローチャートである。この更なる別例は、解析領域Fの中から試料Sの存在領域を更に抽出し、当該試料Sの存在領域を除いた領域に対して背景光の減算を行う点で、図14に示した形態と相違している。この画像生成ステップS05の例では、まず、図15の場合と同様に、XZ画像データ31における背景光の検出(ステップS41)、閾値の設定(ステップS42)、XZ画像データ31における解析領域Fの抽出(ステップS43)、ダークオフセット減算(ステップS44)を実行する。
次に、解析領域Fの中から試料Sの存在領域を抽出する(ステップS45)。試料Sの存在領域は、XZ画像データ31における各画素の輝度値に基づく試料Sのエッジ検出によって抽出してもよく、試料Sの輝度プロファイルに基づいて抽出してもよい。試料Sの存在領域は、試料Sの蛍光量が既知である場合には、当該蛍光量に基づいて設定された閾値に基づいて抽出してもよい。試料Sの存在領域を抽出した後、当該試料Sの存在領域を除いた解析領域Fから背景光の減算を行う(ステップS46)。減算に用いる背景光の輝度値は、ステップS41で求めた背景光の輝度値であってもよく、別の手法でも求めた背景光の輝度値でもよい。背景光の減算の後、X画像データ33の生成(ステップS47)、及びXY画像データ32の生成(ステップS48)を実行する。通常、試料Sの内部には溶液は存在しないが、試料Sからの蛍光は、光学系によって試料Sの周辺に広がることとなる。試料Sの周辺には溶液が存在するため、試料Sの周辺の光像を取得した画素から背景光の減算を行うことで、観察画像の精度の向上が図られる。
ステップS44のダークオフセット減算は、ステップS45の試料Sの存在領域の抽出とステップS46の背景光の減算との間に行ってもよい。この場合、ダークオフセット減算を行う領域は、解析領域Fの全体を対象とすることが好ましい。また、ステップS44のダークオフセット減算は、ステップS41の背景光の検出よりも前に行ってもよい。この場合、ダークオフセット減算分を考慮して背景光の検出、閾値の設定、及び背景光の減算を行うことが好ましい。
また、ステップS44のダークオフセット減算及びステップS46の背景光の減算は、ステップS47のX画像データ33の生成の後に行ってもよい。この場合、背景光は、Z軸方向の積算対象となる画素から試料Sの存在領域に対応する画素を除いた画素に存在すると考えられる。したがって、背景光の減算は、XZ画像データ31の解析領域Fに対応する画素から試料Sの存在領域に対応する画素を除いた画素に対して行うことが好ましい。
さらに、ステップS44のダークオフセット減算及びステップS35と同様の背景光の減算をステップS41の背景光の検出とステップS42の閾値の設定との間に行ってもよい。この場合、試料Sの存在領域について背景光の減算が過剰となる。したがって、ステップS46の背景光の減算を実行する代わりに、ステップS47のX画像データ33の生成後に過減算分を加算する処理を行うことが好ましい。
以上説明したように、試料観察装置1では、照射面Rに対して傾斜する観察軸P2を有する結像光学系5によって試料SのXZ画像データ31を複数取得する。各XZ画像データ31では、1画素に含まれる背景光のZ方向成分を一定とすることができるため、背景光の輝度値のばらつきの影響を低減できる。また、XZ画像データ31における解析領域Fを抽出することで、試料Sと背景とを分離できる。このため、解析領域Fの輝度値をZ軸方向に積算して得られるX画像データ33では、背景光の影響が十分に低減される。したがって、X画像データ33をY軸方向に結合して得られるXY画像データ32においても、背景光の影響を十分に低減することが可能となり、試料観察の再現性を向上できる。
また、試料観察装置1では、画像生成部8が解析領域Fに対してダークオフセット減算を実行した後に解析領域Fの輝度値をZ軸方向に積算する。ダークオフセット減算を実行することで画像取得部6のノイズの影響を十分に低減できる。したがって、試料観察の再現性を更に向上できる。
また、試料観察装置1では、画像生成部8が解析領域F以外の領域の輝度値を低減し、XZ画像データ31の輝度値をZ軸方向に積算してX画像データ33を生成し得る。これにより、撮像装置固有のノイズの揺らぎによる影響を抑えることができる。試料観察装置1では、画像生成部8が解析領域Fのみの輝度値をZ軸方向に積算して、X画像データ33を生成し得る。この場合も、Z軸方向に積算される画素数を制限できるため、撮像装置固有のノイズの揺らぎの影響を抑えることができる。
また、試料観察装置1では、面状光L2の照射面Rに対する結像光学系5の観察軸P2の傾斜角度θが10°〜80°、好ましくは20°〜70°、さらに好ましくは30°〜65°となっている。この範囲によれば、観察画像の解像度及び観察軸の角度変化量に対する視野の安定性を十分に確保できる。また、試料観察装置1は、XY画像データ32を解析し、解析結果を生成する解析部10を備えている。これにより、解析のスループットも向上させることができる。
本発明は、上記実施形態に限られるものではない。例えば面状光L2の光軸P1と試料容器11の入力面15aとは、必ずしも直交していなくてもよく、面状光L2の光軸P1と走査部4による試料Sの走査方向とは、必ずしも直交していなくてもよい。
また、例えば上記実施形態では、試料容器11においてウェル13の一端側を塞ぐように透明部材15が設けられており、透明部材15の入力面15aから面状光L2を入力させているが、ウェル13の他端側から面状光L2を入力させる構成としてもよい。この場合、屈折率が異なる媒質の界面の数が少なくなり、観察光L3の屈折回数を減らすことが可能となる。さらに、試料容器11に代えて、ゲル等の固形物に試料Sを保持してもよく、フローサイトメーターのように、透明容器内に水等の流体を流して試料Sを移動させるようにしてもよい。
また、結像光学系5及び画像取得部6を複数対配置してもよい。この場合、観察範囲を拡大できるほか、複数の異なる波長の観察光L3を観察することが可能となる。また、結像光学系5に対して複数の画像取得部6を配置してもよく、複数の結像光学系5に対して画像取得部6を配置してもよい。複数の画像取得部6は、異なる種類の光検出器あるいは撮像装置を組み合わせてもよい。光源2は、波長の異なる光を出力する複数の光源によって構成されてもよい。この場合、波長の異なる励起光を試料Sに照射することができる。
また、非点収差の緩和のため、結像光学系5にプリズムを配置してもよい。この場合、例えば対物レンズ16の後段側(対物レンズ16と画像取得部6との間)にプリズムを配置してもよい。デフォーカス対策のため、観察軸P2に対して画像取得部6における撮像装置の撮像面を傾斜させてもよい。この他、例えば結像光学系5と画像取得部6との間にダイクロイックミラー或いはプリズムを配置して観察光L3の波長分離を行う構成としてもよい。
1…試料観察装置、3…照射光学系、4…走査部、5…結像光学系、6…画像取得部、8…画像生成部、10…解析部、31…XZ画像データ、32…XY画像データ、33…X画像データ、L2…面状光、L3…観察光、P2…観察軸、R…照射面、S…試料、F…解析領域、θ…傾斜角度。

Claims (16)

  1. 試料に面状光をXZ面で照射する照射光学系と、
    前記面状光の照射面を通過するように前記試料をY軸方向に走査する走査部と、
    前記照射面に対して傾斜する観察軸を有し、前記面状光の照射によって前記試料で発生した観察光を結像する結像光学系と、
    前記結像光学系によって結像された前記観察光の光像に対応するXZ画像データを複数取得する画像取得部と、
    前記画像取得部によって取得された複数の前記XZ画像データに基づいて前記試料のXY画像データを生成する画像生成部と、を備え、
    前記画像取得部は、前記XZ画像データを前記Y軸方向について複数取得し、
    前記画像生成部は、前記XZ画像データにおける解析領域を抽出し、少なくとも前記解析領域の輝度値をZ軸方向に積算してX画像データを生成し、前記X画像データを前記Y軸方向に結合して前記XY画像データを生成する試料観察装置。
  2. 前記画像生成部は、少なくとも前記解析領域に対してダークオフセット減算を実行した後に前記解析領域の輝度値を前記Z軸方向に積算する請求項1記載の試料観察装置。
  3. 前記画像生成部は、前記解析領域以外の領域の輝度値を低減し、前記XZ画像データの輝度値をZ軸方向に積算して前記X画像データを生成する請求項1又は2記載の試料観察装置。
  4. 前記画像生成部は、前記解析領域のみの輝度値をZ軸方向に積算して前記X画像データを生成する請求項1又は2記載の試料観察装置。
  5. 前記面状光の照射面に対する前記結像光学系の前記観察軸の傾斜角度は、10°〜80°となっている請求項1〜4のいずれか一項記載の試料観察装置。
  6. 前記面状光の照射面に対する前記結像光学系の前記観察軸の傾斜角度は、20°〜70°となっている請求項1〜5のいずれか一項記載の試料観察装置。
  7. 前記面状光の照射面に対する前記結像光学系の前記観察軸の傾斜角度は、30°〜65°となっている請求項1〜6のいずれか一項記載の試料観察装置。
  8. 前記XY画像データを含む観察画像データを解析し、解析結果を生成する解析部を更に備える請求項1〜7のいずれか一項記載の試料観察装置。
  9. 試料に面状光をXZ面で照射する照射ステップと、
    前記面状光の照射面を通過するように前記試料をY軸方向に走査する走査ステップと、
    前記照射面に対して傾斜する観察軸を有する結像光学系を用い、前記面状光の照射によって前記試料で発生した観察光を結像する結像ステップと、
    前記結像光学系によって結像された前記観察光の光像に対応するXZ画像データを複数取得する画像取得ステップと、
    前記複数のXZ画像データに基づいて前記試料のXY画像データを生成する画像生成ステップと、を備え、
    前記画像取得ステップでは、前記XZ画像データを前記Y軸方向について複数取得し、
    前記画像生成ステップでは、前記XZ画像データにおける解析領域を抽出し、少なくとも前記解析領域の輝度値をZ軸方向に積算してX画像データを生成し、前記X画像データを前記Y軸方向に結合して前記XY画像データを生成する試料観察方法。
  10. 前記画像生成ステップにおいて、少なくとも前記解析領域に対してダークオフセット減算を実行した後に前記解析領域の輝度値を前記Z軸方向に積算する請求項9記載の試料観察方法。
  11. 前記画像生成ステップにおいて、前記解析領域以外の領域の輝度値を低減し、前記XZ画像データの輝度値をZ軸方向に積算して前記X画像データを生成する請求項9又は10記載の試料観察方法。
  12. 前記画像生成ステップにおいて、前記解析領域のみの輝度値をZ軸方向に積算して前記X画像データを生成する請求項9又は10記載の試料観察方法。
  13. 前記画像取得ステップにおいて、前記面状光の照射面に対する前記結像光学系の前記観察軸の傾斜角度を10°〜80°とする請求項9〜12のいずれか一項記載の試料観察方法。
  14. 前記画像取得ステップにおいて、前記面状光の照射面に対する前記結像光学系の前記観察軸の傾斜角度を20°〜70°とする請求項9〜13のいずれか一項記載の試料観察方法。
  15. 前記画像取得ステップにおいて、前記面状光の照射面に対する前記結像光学系の前記観察軸の傾斜角度を30°〜65°とする請求項9〜14のいずれか一項記載の試料観察方法。
  16. 前記XY画像データを含む観察画像データを解析し、解析結果を生成する解析ステップを更に備える請求項9〜15のいずれか一項記載の試料観察方法。
JP2018074865A 2018-04-09 2018-04-09 試料観察装置及び試料観察方法 Active JP7298993B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018074865A JP7298993B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法
PCT/JP2019/003226 WO2019198308A1 (ja) 2018-04-09 2019-01-30 試料観察装置及び試料観察方法
EP19784982.1A EP3779557B1 (en) 2018-04-09 2019-01-30 Sample observation device and sample observation method
US17/040,091 US11709350B2 (en) 2018-04-09 2019-01-30 Sample observation device and sample observation method
CN201980021841.1A CN111902761B (zh) 2018-04-09 2019-01-30 试样观察装置和试样观察方法
JP2022113819A JP2022132488A (ja) 2018-04-09 2022-07-15 装置、方法、及びプログラム
US18/206,518 US20230314782A1 (en) 2018-04-09 2023-06-06 Sample observation device and sample observation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018074865A JP7298993B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022113819A Division JP2022132488A (ja) 2018-04-09 2022-07-15 装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019184401A true JP2019184401A (ja) 2019-10-24
JP7298993B2 JP7298993B2 (ja) 2023-06-27

Family

ID=68163141

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018074865A Active JP7298993B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法
JP2022113819A Pending JP2022132488A (ja) 2018-04-09 2022-07-15 装置、方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022113819A Pending JP2022132488A (ja) 2018-04-09 2022-07-15 装置、方法、及びプログラム

Country Status (5)

Country Link
US (2) US11709350B2 (ja)
EP (1) EP3779557B1 (ja)
JP (2) JP7298993B2 (ja)
CN (1) CN111902761B (ja)
WO (1) WO2019198308A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246021A1 (ja) 2020-06-01 2021-12-09 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
WO2021256429A1 (ja) 2020-06-16 2021-12-23 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4321917A1 (en) * 2021-07-26 2024-02-14 Hamamatsu Photonics K.K. Sample observation device and sample observation method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138891A (ja) * 2010-12-08 2012-07-19 Canon Inc 撮像装置
JP2012163777A (ja) * 2011-02-07 2012-08-30 Nikon Corp 画像処理装置、撮像装置およびプログラム
JP2013166072A (ja) * 2013-06-06 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2017504836A (ja) * 2014-01-17 2017-02-09 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブ ニューヨーク 三次元イメージングシステムおよび方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241A (ja) 1986-02-04 1987-08-07 Hamamatsu Photonics Kk 断層像観察装置
JPS62180241U (ja) * 1986-04-28 1987-11-16
DE602004003638T2 (de) * 2003-07-15 2007-09-27 Yokogawa Electric Corporation, Musashino Konfokales Mikroskop
US7841533B2 (en) 2003-11-13 2010-11-30 Metrologic Instruments, Inc. Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system
JP2006003653A (ja) * 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
GB0427050D0 (en) 2004-12-10 2005-01-12 Amersham Biosciences Uk Ltd Method of,and apparatus and computer software for,imaging biological objects
KR20070010478A (ko) 2005-07-19 2007-01-24 삼성전자주식회사 광학시트, 이를 갖는 백라이트 어셈블리 및 이를 갖는표시장치
CN100347541C (zh) 2005-11-11 2007-11-07 清华大学 基于图像处理技术的薄层色谱定量分析方法
JP4836718B2 (ja) 2006-09-04 2011-12-14 オンセミコンダクター・トレーディング・リミテッド エレクトロルミネッセンス表示装置の欠陥検査方法及び欠陥検査装置及びこれらを利用したエレクトロルミネッセンス表示装置の製造方法
JP5177999B2 (ja) * 2006-12-05 2013-04-10 株式会社半導体エネルギー研究所 液晶表示装置
JP4236123B1 (ja) 2008-04-21 2009-03-11 株式会社林創研 三次元画像取得装置
JP5304380B2 (ja) * 2008-07-23 2013-10-02 株式会社リコー 光走査装置、これを用いた画像投影装置、ヘッドアップディスプレイ装置および携帯電話機
EP2438555B1 (en) 2009-06-02 2017-03-08 Sofast GmbH Superresolution optical fluctuation imaging (sofi)
JP5365407B2 (ja) 2009-08-17 2013-12-11 ソニー株式会社 画像取得装置及び画像取得方法
DE102009043746A1 (de) 2009-09-30 2011-03-31 Carl Zeiss Microimaging Gmbh Verfahren zum Erzeugen von Bildern mit erweitertem Dynamikumfang und optisches Gerät zur Durchführung eines solchen Verfahrens, insbesondere Laser-Scanning-Mikroskop
AU2010307140B2 (en) * 2009-10-12 2014-05-15 Ventana Medical Systems, Inc. Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
US8673628B2 (en) 2011-06-10 2014-03-18 Essen Instruments, Inc. Methods and apparatus for improving in vitro measurements using boyden chambers
ES2953897T3 (es) * 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
CN110572586A (zh) 2012-05-02 2019-12-13 株式会社尼康 拍摄元件及电子设备
CN103516962A (zh) 2012-06-19 2014-01-15 全友电脑股份有限公司 影像撷取系统及方法
DE102012020240A1 (de) 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
US20160004058A1 (en) 2013-03-15 2016-01-07 Leonard Rodenhausen Wayne Lightsheet microscopy with rotational-shear interferometry
CN103207458B (zh) 2013-03-25 2015-04-01 李志扬 一种采用平面光波导回路的立体成像方法及装置
JP6086366B2 (ja) 2013-04-05 2017-03-01 国立研究開発法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
JP6161399B2 (ja) 2013-05-17 2017-07-12 オリンパス株式会社 顕微鏡システム
JP6010505B2 (ja) 2013-06-11 2016-10-19 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
CN103323442A (zh) 2013-06-20 2013-09-25 中国科学院苏州生物医学工程技术研究所 一种应用于共聚焦显微术中的led线扫描光学系统
JP6178656B2 (ja) 2013-08-02 2017-08-09 株式会社ニコン 補償光学素子の設定方法及び顕微鏡
DE102013021542A1 (de) 2013-12-18 2015-06-18 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
JP6300658B2 (ja) 2014-06-19 2018-03-28 オリンパス株式会社 標本観察装置
WO2016042963A1 (ja) * 2014-09-19 2016-03-24 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
CN104301707B (zh) 2014-10-22 2016-07-06 中国科学院合肥物质科学研究院 基于dmd扫描和积分相移测距的深度图像获取装置及方法
WO2016131498A1 (en) * 2015-02-20 2016-08-25 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. Device and method for creating an optical tomogram of a microscopic sample
EP3079003A1 (en) * 2015-04-10 2016-10-12 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Imaging method using magnetic elements and device for this purpose
WO2017151978A1 (en) 2016-03-02 2017-09-08 Arizona Boad Of Regents On Behalf Of Arizona State University Live-cell computed tomography
US10690898B2 (en) * 2016-09-15 2020-06-23 Molecular Devices (Austria) GmbH Light-field microscope with selective-plane illumination
US10409052B2 (en) * 2016-09-28 2019-09-10 University Of Washington Inverted light-sheet microscope
JP7007122B2 (ja) 2017-07-11 2022-01-24 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138891A (ja) * 2010-12-08 2012-07-19 Canon Inc 撮像装置
JP2012163777A (ja) * 2011-02-07 2012-08-30 Nikon Corp 画像処理装置、撮像装置およびプログラム
JP2013166072A (ja) * 2013-06-06 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2017504836A (ja) * 2014-01-17 2017-02-09 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブ ニューヨーク 三次元イメージングシステムおよび方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246021A1 (ja) 2020-06-01 2021-12-09 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
WO2021256429A1 (ja) 2020-06-16 2021-12-23 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Also Published As

Publication number Publication date
JP2022132488A (ja) 2022-09-08
CN111902761B (zh) 2022-06-03
US20230314782A1 (en) 2023-10-05
CN111902761A (zh) 2020-11-06
WO2019198308A1 (ja) 2019-10-17
EP3779557A1 (en) 2021-02-17
EP3779557A4 (en) 2021-12-22
US11709350B2 (en) 2023-07-25
EP3779557B1 (en) 2023-10-11
JP7298993B2 (ja) 2023-06-27
US20210026121A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
US20230314782A1 (en) Sample observation device and sample observation method
US11822066B2 (en) Sample observation device and sample observation method
US11852792B2 (en) Sample observation device
US11391935B2 (en) Sample observation device and sample observation method
JP6978562B2 (ja) 試料観察装置及び試料観察方法
JP6754408B2 (ja) 試料観察装置及び試料観察方法
US20230184681A1 (en) Sample observation device and sample observation method
JP7329113B2 (ja) 試料観察装置
US20230222753A1 (en) Sample observation device and sample observation method
US20240184090A1 (en) Sample observation device and sample observation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220614

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220715

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230615

R150 Certificate of patent or registration of utility model

Ref document number: 7298993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150