JP2015114420A - 画像取得装置及び画像取得方法 - Google Patents

画像取得装置及び画像取得方法 Download PDF

Info

Publication number
JP2015114420A
JP2015114420A JP2013255066A JP2013255066A JP2015114420A JP 2015114420 A JP2015114420 A JP 2015114420A JP 2013255066 A JP2013255066 A JP 2013255066A JP 2013255066 A JP2013255066 A JP 2013255066A JP 2015114420 A JP2015114420 A JP 2015114420A
Authority
JP
Japan
Prior art keywords
wavelength
light
image
intensity
intensity distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013255066A
Other languages
English (en)
Inventor
順一 坂上
Junichi Sakagami
順一 坂上
田中 健二
Kenji Tanaka
健二 田中
和田 成司
Seiji Wada
成司 和田
山根 健治
Kenji Yamane
健治 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013255066A priority Critical patent/JP2015114420A/ja
Priority to US14/559,161 priority patent/US9291807B2/en
Publication of JP2015114420A publication Critical patent/JP2015114420A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0064Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6419Excitation at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/10Scanning
    • G01N2201/105Purely optical scan
    • G01N2201/1053System of scan mirrors for composite motion of beam

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Lasers (AREA)

Abstract

【課題】サンプルの励起波長が変化する状況下においても、コントラストの高い画像を、簡便な方法で得ることが可能な画像取得装置及び画像取得方法を提供する。【解決手段】レーザー光を出射し、当該レーザー光の波長を制御可能に構成された光源2と、レーザー光によりサンプルSを走査し、当該レーザー光を受けてサンプルSからの測定対象光の強度を測定する測定部53と、測定された測定対象光の強度分布に基づき、当該サンプルSの画像を生成する制御部6aと、を備え、制御部6aは、測定された測定対象光の強度分布に基づき、レーザー光の波長を制御する。【選択図】図28

Description

本開示は、画像取得装置及び画像取得方法に関する。
生物やバイオテクノロジー等の分野において、生きた細胞の生理反応や形態を観察するために、各種の顕微鏡が使用される。例えば、このような各種の顕微鏡の中には、生体または非生体の測定資料(以降では、「サンプル」と呼ぶ場合がある)からの蛍光・燐光現象を観察することによって、対象を観察する顕微鏡である。例えば、特許文献1には、蛍光顕微鏡の一例が開示されている。
また、近年では、光源として使用されるレーザーの短波長化が可能となってきており、このような蛍光顕微鏡として、物質励起に2光子吸収過程を利用した2光子(多光子)励起顕微鏡も使われるようになってきている。
このような蛍光顕微鏡は、例えば、レーザー光源から出力される励起光によりサンプルを走査し、当該サンプルからの蛍光の強度分布を作成することで、当該強度分布に基づきサンプルの画像を生成する。
特開2012−8261号公報
上記に説明したような蛍光顕微鏡のような光源を要する画像取得装置は、例えば、使用する蛍光色素に依ってあらかじめ決められた励起波長を投光可能な固定波長のレーザー光源を用いている場合が少なくない。
しかしながら、サンプル中の蛍光基体が時間の経過とともに退色する場合があり、このような場合には、励起波長が変化するため、レーザー光源から出力される励起光の波長も変える必要がある。このような状況に対して、固定波長のレーザー光源を用いる構成により対応する場合に、複数種類のレーザー光源を設ける必要があり、装置が大型化するため使用者の利便性を著しく阻害し、また、装置自体も高価になる傾向にある。
また、サンプル中の蛍光基体の励起波長は、退色の度合いに応じて変化するため、固定波長のレーザー光源を複数設ける構成では、操作者は使用するレーザー光源を適宜切り替えて当該蛍光基体が励起するレーザー光源を特定する必要があり、利便性が低下する場合がある。また、複数種類のレーザー光源を切り替えて用いる構成の場合には、退色が進んだサンプルから蛍光を励起できたとしても、必ずしもコントラストの高い画像を得られるとは限らない。
そこで、本開示では、サンプルの励起波長が変化する状況下においても、コントラストの高い画像を、より簡便な方法で得ることが可能な、新規かつ改良された画像取得装置及び画像取得方法を提案する。
本開示によれば、レーザー光を出射し、当該レーザー光の波長を制御可能に構成された光源と、前記レーザー光によりサンプルを走査し、当該レーザー光を受けて前記サンプルからの測定対象光の強度を測定する測定部と、測定された前記測定対象光の強度分布に基づき、当該サンプルの画像を生成する制御部と、を備え、前記制御部は、測定された前記測定対象光の強度分布に基づき、前記レーザー光の波長を制御する、画像取得装置が提供される。
また、本開示によれば、レーザー光の波長を制御可能に構成された光源から出射された前記レーザー光によりサンプルを走査し、当該レーザー光を受けて前記サンプルから生じる測定対象光の強度を測定することと、測定された前記測定対象光の強度分布に基づき、当該サンプルの画像を生成することと、測定された前記測定対象光の強度分布に基づき、前記レーザー光の波長を制御すること、を含む画像取得方法が提供される。
以上説明したように本開示によれば、サンプルの励起波長が変化する状況下においても、コントラストの高い画像を、より簡便な方法で得ることが可能な画像取得装置及び画像取得方法が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る画像取得装置の概略的な構成の一例を示した説明図である。 蛍光について説明するための説明図である。 共焦点顕微鏡の原理について説明するための説明図である。 共焦点顕微鏡の原理について説明するための説明図である。 1光子励起による蛍光と2光子励起による蛍光との違いについて説明するための説明図である。 生体の光吸収特性について説明するためのグラフ図である。 2光子励起蛍光顕微鏡について説明するための説明図である。 顕微鏡のサンプル走査方式について説明するための説明図である。 比較例に係る画像取得装置の概略的なシステム構成の一例を示したシステム図である。 比較例に係る画像取得装置の光学系の構成の一例を示した説明図である。 顕微鏡ユニットの構成の一例について説明するための説明図である。 比較例に係る画像取得装置の機能構成の一例について説明するための説明図である。 同実施形態に係る光源の構成を詳細に示す模式図である。 間欠発光によりレーザーのピークパワーを高くした状態を示す特性図である。 本開示の第1の実施形態に係る画像取得装置の光学系の構成の一例を示した説明図である。 同実施形態に係る画像取得装置の機能構成の一例について説明するための説明図である。 同実施形態に係る分布情報生成部及びシステム制御部の詳細な機能構成について説明するための説明図である。 同実施形態に係る二次元化処理部の動作の一例について説明するための説明図である。 同実施形態に係る補正処理の概要について説明するための説明図である。 同実施形態に係るRAWファイルのファイルフォーマットの一例を示した図である。 強度分布の補正の原理について説明するための説明図である。 強度分布の補正に係る処理の流れについて説明するためのフローチャートである。 光源からの出射光の強度制御の原理について説明するための説明図である。 光源からの出射光の強度制御に係る処理の流れについて説明するためのフローチャートである。 ウォームアップ時における光源からの出射光の強度制御の原理について説明するための説明図である。 同実施形態に係る情報処理装置の画像表示に係る一連の処理の流れを示したフローチャートである。 同実施形態に係る情報処理装置のノイズ補正に関する処理の一例を示したフローチャートである。 本開示の第2の実施形態に係る画像取得装置の光学系の構成の一例を示した説明図である。 同実施形態に係る画像取得装置の機能構成の一例について説明するための説明図である。 同実施形態に係る分布情報生成部及びシステム制御部の詳細な機能構成について説明するための説明図である。 観測対象の指定方法の一例について説明するための図である。 同実施形態に係るRAWファイルのファイルフォーマットの一例を示した図である。 同実施形態に係る画像取得装置の一連の動作についてその流れの一例を示したフローチャートである。 光源から出射されるレーザー光の波長制御の原理について説明するための説明図である。 光源から出射されるレーザー光の波長制御の原理について説明するための説明図である。 光源から出射されるレーザー光の波長制御の原理について説明するための説明図である。 光源から出射されるレーザー光の波長制御に係る処理の流れについて説明するためのフローチャートである。 本開示の第3の実施形態に係る画像取得装置の機能構成の一例について説明するための説明図である。 同実施形態に係る分布情報生成部及びシステム制御部の詳細な機能構成について説明するための説明図である。 本開示の第4の実施形態に係る画像取得装置の概要について説明するための説明図である。 同実施形態に係る補正処理の原理について説明するための説明図である。 同実施形態に係る分布情報生成部及びシステム制御部の詳細な機能構成について説明するための説明図である。 同実施形態に係るRAWファイルのファイルフォーマットの一例を示した図である。 画像取得装置のハードウェア構成の一例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態
1.1.画像取得装置の概要
1.2.顕微鏡について
1.2.1.顕微鏡の種類について:共焦点顕微鏡
1.2.2.顕微鏡の種類について:2光子励起顕微鏡
1.3.比較例に係る画像取得装置
1.3.1.光学系の構成
1.3.2.顕微鏡ユニットの構成
1.3.3.画像取得装置の機能構成
1.4.比較例に係る画像取得装置の課題
1.5.画像取得装置の構成
1.5.1.概要
1.5.2.光源の構成
1.5.3.光学系の構成
1.5.4.画像取得装置の機能構成
1.6.RAWファイルのファイルフォーマット
1.7.補正処理の詳細
1.7.1.補正の原理
1.7.2.補正に係る動作の流れ
1.8.レーザー光の強度制御の詳細
1.8.1.強度制御の原理
1.8.2.強度制御に係る動作の流れ
1.9.ウォームアップ時におけるレーザー光の強度制御
1.10.情報処理装置の動作
1.11.まとめ
2.第2の実施の形態
2.1.画像取得装置の概要
2.2.画像取得装置の構成
2.2.1.光学系の構成
2.2.2.画像取得装置の機能構成
2.3.RAWファイルのファイルフォーマット
2.4.画像取得装置の動作の流れ
2.5.波長制御の詳細
2.5.1.波長制御の原理:複数の観測波長により試料を観測する場合
2.5.2.波長制御の一態様:単一の観測波長により試料を観測する場合
2.6.まとめ
3.第3の実施の形態
3.1.画像取得装置の概要
3.2.画像取得装置の構成
3.2.1.光学系の構成
3.2.2.画像取得装置の機能構成
3.3.まとめ
4.第4の実施の形態
4.1.画像取得装置の概要
4.2.画像取得装置の構成
4.3.RAWファイルのファイルフォーマット
4.4.まとめ
5.ハードウェア構成
6.まとめ
<1.第1の実施形態>
[1.1.画像取得装置の概要]
まず、図1を参照しながら、本開示の第1の実施形態に係る画像取得装置の概要について説明する。図1は、本開示の第1の実施形態に係る画像取得装置の概略的な構成の一例を示した説明図である。
図1に示すように、本実施形態に係る画像取得装置1は、光源2と、測定部3と、制御部6と、I/F(Interface)7とを含む。
本実施形態に係る画像取得装置1は、サンプルSを光源2から出射された光で走査し、サンプルSから放出される蛍光を測定部3で測定することで、測定された蛍光に基づき当該サンプルSの画像を取得する。なお、この場合の蛍光のように、サンプルSから得られる光が「測定対象光」の一例に相当する。
特に、本実施形態に係る画像取得装置1は、少なくとも、光源2と測定部3とが、画像取得装置1内(即ち、同一筐体内)に設けられている。例えば、図1に示す例では、光源2と、測定部3と、制御部6と、I/F7とが、画像取得装置1内に設けられている。
測定部3は、後述する顕微鏡の役割を果たす顕微鏡ユニット4と、サンプルSの走査及び当該サンプルSから放出される蛍光の検出を担う走査系(検出系)5とを含む。
また、制御部6は、光源2及び測定部3の動作を制御し、測定部3で測定(検出)された光を画像に変換する。また、制御部6は、測定部3で測定(検出)された光に基づき光源2の動作を制御することで、光源2を安定的に動作させる。
I/F7は、画像取得装置1が、ユーザや他の装置と情報を送受信するためのインタフェースである。画像取得装置1は、例えば、当該I/F7(例えば、通信用インタフェース)を介して外部ネットワークに接続し、当該外部ネットワークを介して接続された情報処理装置800に、制御部6で生成された画像を出力してもよい。
本実施形態に係る画像取得装置1の光源2、測定部3、制御部6、及びI/F7の詳細については、「1.5.画像取得装置の構成」として別途後述する。
なお、本実施形態に係る画像取得装置1は、少なくとも光源2と測定部3とが同一筐体内に設けられていれば、その他の構成(例えば、制御部6やI/F7)については、必ずしも画像取得装置1内に設けられていなくてもよい。例えば、光源2と測定部3とを内蔵した画像取得装置1との間で情報を送受信可能な情報処理装置を別途設け、当該情報処理装置に、制御部6と、I/F7とを設けてもよい。もちろん、情報処理装置800側に、制御部6と、I/F7とを設けてもよいことは言うまでもない。
[1.2.顕微鏡について]
ここで、本実施形態に係る画像取得装置1の詳細についての説明に先立ち、本実施形態に係る画像取得装置1において、測定部3の顕微鏡ユニット4として用いられる顕微鏡について、図2〜図8を参照しながら、詳細に説明する。
本実施形態で着目するサンプルSに生じている現象の一つとして、サンプルSから放出される蛍光を挙げることができる。以下では、まず、図2を参照しながら、蛍光について簡単に説明する。図2は、蛍光について説明するための説明図である。
測定サンプルを構成する(又は、測定サンプルに付着する)ある分子に対して所定波長の光が照射されると、照射された光が有するエネルギーを利用して、分子中の電子が基底状態に対応するエネルギー準位から励起状態に対応するエネルギー準位に移動することがある。この際に照射された光のことを、励起光と呼ぶ。基底状態にある分子が励起されて一重項励起状態が生じると、励起された電子は、一重項励起状態に対応するエネルギー準位のいずれかへ移動することとなるが、この励起された電子は、内部転換によりエネルギーを放出しながらより低位のエネルギー準位へと移動していく。励起状態にある電子が基底状態へと戻る際にエネルギーが光として放出されることがあるが、この際に放出される光が、本実施形態で着目する蛍光である。
<<1.2.1.顕微鏡の種類について:共焦点顕微鏡>>
このような蛍光を観測するために利用される光学顕微鏡の一つとして、図3及び図4に示したような共焦点顕微鏡がある。以下、図3及び図4を参照しながら、共焦点顕微鏡の原理について簡単に説明する。図3及び図4は、共焦点顕微鏡の原理について説明するための説明図である。
図3に示した共焦点蛍光顕微鏡は、励起光としてレーザー光線を用いて、このレーザー光線を測定サンプル(蛍光標本)まで導光し、測定サンプルの焦点面で発生した蛍光を、検出器まで導光するような構成となっている。ここで、励起光として用いられるレーザー光線は、ピンホールAを通過することによって点光源とみなすことができ、レーザー光線は、ダイクロイックミラー及び対物レンズを透過して、蛍光標本に投影される。蛍光標本では、投影されたレーザー光線の有するエネルギーにより蛍光が生じ、射出された蛍光が対物レンズにより集光され、ダイクロイックミラーにより検出器の方向へと導光される。検出器の直前にはピンホールBが設置されており、ピンホールBを通過した蛍光が、光電子増倍管(PhotoMultiplier Tube:PMT)等の検出器で検出されることとなる。
ここで、励起光として用いるレーザー光線の波長は、例えば測定サンプルを染色するために用いた蛍光色素の種別等に応じて、適宜選択することが可能であり、特定の波長に限定されるものではない。
このような共焦点蛍光顕微鏡において、ピンホールAの設置位置と、点光源の投影位置(測定サンプルの焦点面)と、ピンホールBの設置位置とは、光学的に互いに共役な関係となっており、この3点の共役関係を共焦点関係にあるという。
このとき、図4に示したように、対物レンズの焦点面(ピントのあった面)から射出された蛍光は、対物レンズによって集光されて共焦点ピンホール(図3のピンホールB)を通過することができるが、焦点の合っていない部分からの蛍光は、共焦点ピンホールを通過することができない。結果として、共焦点蛍光顕微鏡では、焦点の合った測定サンプルの部分のみの輝度情報を得ることができる。従って、測定サンプルの平面(試料面)を縦方向及び横方向に走査することで、焦点の合った部分のみの2次元像(光学断層像)を構築することができる。また、このような試料面の走査を、焦点位置を変えながら繰り返して異なる奥行き位置(深さ位置)にある測定サンプルからの蛍光を集積することで、奥行き位置毎の光学断層像の集合(3次元拡大画像群)を得ることができる。
<<1.2.2.顕微鏡の種類について:2光子励起顕微鏡>>
3次元画像を得ることが可能な他の手法として、2光子励起顕微鏡がある。図5は、2光子励起の原理を説明するための説明図である。図5の左側の図は、先だって説明した通常の蛍光の原理を示した説明図であり、ある波長の励起光(図では、波長350nmの励起光)によって分子が励起されることで、励起光よりも長波長の蛍光(図では、波長500nmの蛍光)が射出される。このような蛍光発生の仕組みは、いわば1つの光子と分子との相互作用により分子が励起状態となることで蛍光が発生する仕組みであるため、1光子励起による蛍光発生と呼ばれている。
一方、図5の右側の図に示したように、1つの光子により分子が仮想準位に励起されている間に、もうひとつの光子によって更に分子が励起されることにより、分子がある励起状態へと励起され、励起状態にある分子が基底状態へと遷移することにより蛍光が発生することがある。このような蛍光発生の仕組みは、2つの光子と分子との相互作用により分子が励起状態となることで蛍光が発生する仕組みであるため、2光子励起による蛍光発生と呼ばれている。2光子励起による蛍光発生を利用することで、励起光よりも短い波長の蛍光を発生させることが可能となる(図5の例では、波長700nmの赤外光を励起光として、波長500nmの蛍光が発生している。)。
2光子励起が成立するためには、1つめの光子と衝突した分子が仮想準位に励起している1.0×10−16秒程度の極めて短い時間内に、もう1つの光子と衝突して一重項励起状態まで遷移することが求められるため、高い光子密度が必要になり、高いピーク・パワーを出力可能なレーザー光源を用いることとなる。また、1光子励起過程と比べると放出される蛍光信号が極めて微弱であるため、損失の少ない光学系や感度の良い検出器を利用することが求められる。
このような点にも関わらず2光子励起蛍光顕微鏡が希求される大きな理由は、2光子励起で用いられる700nm〜1000nm程度の赤外帯域の蛍光波長が、図6に示したように、水やヘモグロビンの吸収を受けることなく生体を透過しやすい「生体の窓」と呼ばれる波長域となっているためである。このような励起光の高い透過性のために、共焦点蛍光顕微鏡では100μm程度の深さまでしか観察できないのに対して、2光子励起蛍光顕微鏡では1000μm(1mm)の深さまで観察可能であると言われている。
また、図7に示したように、1光子励起蛍光顕微鏡では、焦点面以外にも試料の厚み方向全体にわたって分子が励起され、厚み方向全体から蛍光が射出されるのに対し、2光子励起蛍光顕微鏡では、焦点面近傍のみが励起される。このため、試料のより深い部分を明るく観察することが可能となるとともに、異なった焦点面で縦方向及び横方向の走査を繰り返し実施した場合であっても、蛍光の消退や光によるダメージを最小限に抑えることができる。また、同様の理由により光毒性を最小限に抑えることができるため、サンプルの深い位置に存在する生きた細胞を長時間に渡って観察することが可能になる。
また、2光子励起蛍光顕微鏡では、励起により射出された蛍光は試料内の微小領域に由来するため、その光シグナルを全て検出すれば蛍光画像を得ることができる。これにより、2光子励起蛍光顕微鏡では、顕微鏡における検出光学系を簡易化できる。すなわち、2光子励起過程では、焦点位置近傍の試料のみから蛍光が射出されるため、共焦点蛍光顕微鏡のようにピンホールを用いて余計な信号をカットする必要は無く、サンプルの近傍に検出器を配置して、全方位に拡散する蛍光信号をできるだけ多く拾うようにすればよい。
<<1.2.3.顕微鏡の走査方式について>>
以上説明したようなレーザー走査型の顕微鏡では、多くの場合、2種類のガルバノミラーを用いて測定サンプルのX方向及びY方向(縦方向及び横方向)の走査を行うことで、2次元画像(光学断層像)を取得している。図8では、2種類のガルバノミラーを用いた共焦点蛍光顕微鏡の構成例を示している。
レーザー光源から射出された励起光は、レンズ等の光学系及び共役位置に設けられたピンホールを透過した後に、励起光を透過させるとともに蛍光を反射させるダイクロイックミラーを透過する。ダイクロイックミラーを透過した励起光は、レンズ等の光学系を透過し、測定サンプルのX方向の走査を制御するX方向ガルバノミラーによりX座標が制御された後に、Y方向の走査を制御するY方向ガルバノミラーによりY座標が制御され、対物レンズにより測定サンプル上の所望のXY座標に集光される。
測定サンプルから射出された蛍光は、Y方向ガルバノミラー及びX方向ガルバノミラーによって反射されて励起光と同じ経路をたどり、ダイクロイックミラーによって反射される。ダイクロイックミラーにより反射された蛍光は、共役位置に設けられたピンホールを透過した後、光電子増倍管等の検出器へと導光される。
ここで、測定サンプル上の集光位置を制御するために用いられる2つのガルバノミラーは、図8に模式的に示したように、ミラーに回転軸が接続されたものである。ガルバノミラーは、入力された電圧の大きさによって回転軸の回転量が制御され、ミラー面が向いている角度を高速かつ高精度に変更することができる。
[1.3.比較例に係る画像取得装置]
次いで、本実施形態に係る画像取得装置1の詳細について説明するにあたり、従来の画像取得装置の構成を比較例として説明することで、本実施形態に係る画像取得装置1の課題について整理する。例えば、図9は、比較例に係る画像取得装置の概略的な構成の一例を示した説明図である。図9に示すように、比較例に係る画像取得装置1wは、光源2wを画像取得装置1wの外部に設けている。
<<1.3.1.光学系の構成>>
ここで、図10を参照しながら、比較例に係る画像取得装置1wの光学系の構成について、主に、サンプルSに光源2wからの光を照射し、当該光により励起されることでサンプルSから発生した蛍光を検出する部分に着目して説明する。
図10に示すように、比較例に係る画像取得装置1wの光学系は、光源2と、ビーム整形用レンズ511と、ガルバノミラー51と、レンズ513及び515と、ミラー517と、ダイクロイックミラー52と、対物レンズ42と、結像レンズ521と、エミッションフィルタ523と、光検出器53とを含む。なお、図10に示す例では、光検出器53として、PMTを用いている。以降では、光検出器53としてPMTが用いられるものとし、「PMT53」と記載した場合には、「光検出器53」を示すものとする。
光源2から出射された励起光(レーザー光)は、ビーム整形用レンズ511により平行光のままビーム径が拡大されてガルバノミラー51に到達する。ガルバノミラー51に到達した励起光は、当該ガルバノミラー51により反射された後、レンズ513、ミラー517、及びレンズ515を介してダイクロイックミラー52に導かれる。レンズ513、ミラー517、及びレンズ515は、ガルバノミラー51により反射された励起光を、ダイクロックミラー52に導くための光学系である。
ダイクロイックミラー52は、到達した励起光を透過させて対物レンズ42へ導く。対物レンズ42は、当該励起光をサンプルSへ集光する。そして対物レンズ42及び結像レンズ521は、サンプルSの像を所定の倍率に拡大し、当該拡大像をPMT53の検出面に結像させる。
サンプルSに励起光が照射されると、サンプルSのある分子が、当該励起光により励起されて蛍光を発する。この蛍光は、対物レンズ42を介してダイクロイックミラー52により反射されて結像レンズ521へ到達し、結像レンズ521により集光されてエミッションフィルタ523を介してPMT53の検出面に結像する。エミッションフィルタ523は、例えば、上記対物レンズ42によって拡大された発色光以外の光(外光)を吸収することで、当該発行色のみを透過させる。当該外光が喪失された発色光の像は、PMT53上に結像される。
<<1.3.2.顕微鏡ユニットの構成>>
次に、図11を参照しながら、顕微鏡ユニット4の構成の一例について説明する。図11は、顕微鏡ユニット4の構成の一例について説明するための説明図である。図14に示すように、顕微鏡ユニット4は、非偏光ビームスプリッタ41及び44と、対物レンズ42と、フィルタ43と、カメラ45と、アイピース46とを含む。なお、図11に示す例において、走査系(検出系)5wの各構成は、図10に示した光学系において同様の符号が付された構成に対応している。また、図11に示す例では、図10に示した構成のうち一部を省略している。
光源2wから出射された励起光(レーザー光)は、走査系(検出系)5wを介して顕微鏡ユニット4内の非偏光ビームスプリッタ41に導光される。非偏光ビームスプリッタ41は、走査系(検出系)5wを介して導光された励起光を、対物レンズ42に向けて反射させる。対物レンズ42は、図10に示した光学系における対物レンズ42に相当する。
対物レンズ42は、当該励起光をサンプルSへ集光する。これにより、サンプルSのある分子が、当該励起光により励起されて蛍光を発する。サンプルSから発生した励起光は、対物レンズ42を介して非偏光ビームスプリッタ41に導光される。非偏光ビームスプリッタ41は、対物レンズ42を介して導光された蛍光を、走査系(検出系)5wとフィルタ43との双方に向けて分岐させる。
フィルタ43は、対物レンズ42及び非偏光ビームスプリッタ41を介して導光された発光色を選択的に透過させる。具体的な一例として、フィルタ43として、エミッションフィルタを適用することも可能である。この場合には、当該フィルタ43は、発色光以外の光(外光)を吸収し、発光色のみを透過させる。当該外光が喪失された発色光の像は、非偏光ビームスプリッタ44に導光される。非偏光ビームスプリッタ44は、フィルタ43を介して導光された発色光の像を、カメラ45及びアイピース46の双方に向けて分岐させる。このような構成により、ユーザは、アイピース46を介して導光されたサンプルの像を観測したり、当該サンプルの像をカメラ45により撮影することが可能となる。
また、走査系(検出系)5wに向けて導光された蛍光は、ダイクロイックミラー52に反射されてPMT53に導光され、PMT53で検出される。なお、PMT53で検出された蛍光に基づく処理については、制御部6wの動作として後述する。
<<1.3.3.画像取得装置の機能構成>>
次に、図12を参照しながら、比較例に係る画像取得装置1wの機能構成について、特に、制御部6wと、I/F7との構成に着目して説明する。
図12に示すように、比較例に係る画像取得装置1wは、装置の外部に光源2を接続し、光源2から出射される励起光を、走査系(検出系)5wと顕微鏡ユニット4とを介してサンプルSに照射する。このとき、後述するシステム制御部61により、ガルバノミラー51の動作が制御されることで、励起光によりサンプルS上が走査される。
そして、照射された励起光によりサンプルSから生じた蛍光は、顕微鏡ユニット4を介して走査系(検出系)5wに導かれ、走査系(検出系)5wのPMT53で検出される。PMT53は、あらかじめ設定されたサンプリングレートで、検出された蛍光を光電効果により電気信号に変換し、当該蛍光の強度を示すデータとして制御部6wに出力する。
制御部6wは、システム制御部61wと、二次元化処理部62wと、補正処理部63wと、画像処理部64と、RAW画像生成部65と、記憶部66と、表示制御部67と、通信制御部68とを含む。また、I/F7は、条件指定部71と、表示部72と、通信部73とを含む。
システム制御部61wは、条件指定部71を介してユーザから指定された測定条件に基づき、光源2及びガルバノミラー51の動作を制御する。条件指定部71は、測定および画像取得に係る条件(以降では、総じて「測定条件」と呼ぶ場合がある)をユーザが指定するための入力I/Fである。例えば、ユーザは、測定条件として、光源2の出力、及びサンプルS上の走査に係る走査条件(例えば、走査される範囲や、生成される画像の解像度)を、条件指定部71を介して指定することが可能である。
システム制御部61wは、ユーザから測定条件として指定された走査条件に基づきガルバノミラー51の動作を制御し、当該制御の内容を示す制御情報を後述する二次元化処理部62wに出力する。
二次元化処理部62wは、PMT53で検出された(測定された)蛍光の強度を示すデータを、あらかじめ設定されたサンプリングレートで、当該PMT53から逐次取得する。また、二次元化処理部62wは、ガルバノミラー51の制御内容を示す制御情報をシステム制御部61wから逐次取得する。これにより、二次元化処理部62wは、PMT53から取得した蛍光の強度を示すデータが、システム制御部61wから取得した制御情報に基づき、サンプルS上のどの位置のデータに相当するかを認識することが可能となる。即ち、二次元化処理部62wは、PMT53から逐次取得した蛍光の強度を示すデータを、システム制御部61wから取得した制御情報に基づき並べて二次元化することで、検出された蛍光の強度分布を生成する。
二次元化処理部62wにより生成された蛍光の強度分布は、例えば、補正処理部63wによりノイズ除去等の補正処理が施されて画像処理部64に出力される。画像処理部64は、補正処理施された強度分布に対して、圧縮処理等の画像処理を施すことで画像データを生成する。
画像処理部64は、生成した画像データを、例えば、表示制御部67に出力する。また、画像処理部64は、生成した画像データを、通信制御部68に出力してもよい。また、画像処理部64は、生成した画像データを、記憶部66に記憶させてもよい。
RAW画像生成部65は、二次元化処理部62wから蛍光の強度分布を取得し、当該蛍光の強度分布を画像データ(RAW画像)として、所定のファイルフォーマットに整形することでRAWファイルを生成する。このとき、RAW画像生成部65は、蛍光の強度分布の取得条件(例えば、撮影時のパラメタのような撮影条件や走査条件)のように、当該蛍光の強度分布に関連する情報をシステム制御部61wから取得し、取得した情報を関連情報として、生成したRAWファイルに関連付けてもよい。なお、関連情報は、RAWファイルの付帯情報としてRAWファイル内に記録されてもよいし、RAWファイルとは別ファイルとして関連付けられていてもよい。なお、以降では、これらの態様を総じて、単に「関連付ける」と記載する場合がある。
RAW画像生成部65は、生成したRAWファイルを、例えば、通信制御部68に出力する。また、RAW画像生成部65は、生成したRAWファイルを、記憶部66に記憶させてもよい。
記憶部66は、画像取得装置1w内で使用される各種制御データや、画像取得装置1w内で生成されたデータ(例えば、画像データやRAWファイル)を記憶するための記憶部である。記憶部66は、例えば、データベースとして構成されていてもよい。また、記憶部66は、例えば画像処理のような各種処理を実行するために一時的に作成されるデータを記憶するための記憶領域として使用されてもよい。
表示制御部67は、画像処理部64から画像データを取得し、取得した画像データを表示部72に表示させる。表示部72は、例えば、ディスプレイのような情報を表示するための出力I/Fである。これにより、ユーザは、サンプルSの画像を、表示部72を介して確認することが可能となる。
また、表示制御部67は、画像取得装置1wを操作するためのU/I(User Inteface)を表示部72に表示させてもよい。なお、表示制御部67がU/Iを生成するための制御データは、例えば、記憶部66にあらかじめ記憶させておけばよい。
通信制御部68は、画像取得装置1wが、情報処理装置800のような外部装置とネットワークを介してデータを送受信するために、当該外部装置との間で通信を行う通信部73の動作を制御する。通信制御部68は、例えば、画像取得装置1w内で生成された画像データやRAWファイルを取得し、取得した当該データを、通信部73を制御することで、ネットワークを介して情報処理装置800に送信する。これにより、例えば、生成された画像データやRAWファイルを、画像取得装置1wよりも画像処理能力の高い情報処理装置800で処理することが可能となる。
[1.4.比較例に係る画像取得装置の課題]
以上説明したように、比較例に係る画像取得装置1wは、光源2wを画像取得装置1wの外部に設けており(即ち、外付けしている)、光源2wと画像取得装置1wとを含む一連のシステムが大型化する傾向にある。これに対して、本実施形態に係る画像取得装置1は、光源2(即ち、レーザーモジュール)を筐体内に内蔵することにより小型化を図っている。
一方で、光源2を測定部3や制御部6と同一筐体内に設けた場合には、光源2が、当該測定部3や制御部6と近接して設けられることとなる。そのため、測定部3や制御部6の発熱により、光源2の動作が不安定となり、例えば、光源2から出力されるレーザー光の強度が変化し、当該強度の変化が、生成した画像中にノイズとして顕在化する場合がある。
特に、本実施形態に係る画像取得装置1のように、顕微鏡ユニット4(例えば、二光子励起顕微鏡)の観測結果を画像化する場合には、サンプルSを走査することで画像を生成するため、撮影速度が、走査に用いるガルバノミラー51の制御速度や、PMT53の検波速度に依存する。このような構成のため、所謂カメラのような撮像素子を用いて画像を生成する機器に比べて撮影速度が遅い場合が多く、画像サイズの増大に比例して撮影速度が遅くなる傾向にある。そのため、光源2から出射される励起光をサンプルSに照射し、当該サンプルSからの蛍光を基に画像を生成する構成の場合には、光源2から出射されるレーザー光の強度の熱変動が、画像上にノイズとして顕在化する場合が少なくない。
[1.5.画像取得装置の構成]
<<1.5.1.概要>>
本実施形態に係る画像取得装置1は、上記課題を鑑みて、光源2を装置内(同一筐体内)に内蔵することで小型化を図り、かつ、光源2から出射されるレーザー光の熱変動に伴うノイズを低減し、より鮮明な画像を取得可能とするためになされたものである。
具体的には、本実施形態に係る画像取得装置1は、光源2から出射されるレーザー光の強度を測定し、測定されたレーザー光の強度分布に基づき、光源2から出射されるレーザー光の強度の制御と、生成された画像の補正との少なくともいずれかを実行する。
例えば、本実施形態に係る画像取得装置1は、生成された画像を、測定されたレーザー光の強度分布に基づき補正することで、当該画像上に顕在化したレーザー光の熱変動に伴うノイズを低減することが可能となる。
また、本実施形態に係る画像取得装置1は、測定されたレーザー光の強度分布に基づき、当該レーザー光の強度を制御することで、熱変動により不安定になったレーザー光を安定させることが可能となる。
以降では、本実施形態に係る画像取得装置1について、まず、光源2の構成の一例について説明し、次いで、本実施形態に係る画像取得装置1の光学系及び機能構成について説明する。なお、顕微鏡ユニット4の構成は、前述した比較例に係る画像取得装置1wと同様のため、詳細な説明は省略する。
<<1.5.2.光源の構成>>
まず、本実施形態に係る画像取得装置1で使用される光源2の構成の一例について説明する。本実施形態に係る画像取得装置1では、光源2として、例えば、光パラメトリック発振器のような発振部を備え、当該発振部の発振条件を変更することで、出射するレーザー光の波長を変更可能に構成された光源を用いる。以下に、図13Aを参照しながら、光源2の構成の一例について説明する。図13Aは、光源2の構成の一例について詳細に示した模式図である。
光源2は、モードロック発振型レーザーと光アンプを組み合わせたMOPA210と、波長変換モジュール(OPO)250とから構成されている。MOPA210は、モードロックレーザー部(Mode Locked Laser Diode)220と、光アイソレータ部230と、光増幅器部(SOA部)240とを有している。
また、図2の下段には、モードロックレーザー部220、光増幅器部240、波長変換モジュール250から出力されるそれぞれのレーザー光のパルス波形L1,L2,L3と、後述する間欠駆動のためのパルス波形P1をそれぞれ示している。
モードロックレーザー部220は、半導体レーザー222と、半導体レーザー222から出射したレーザー光を通過させるレンズ224、バンドパスフィルタ226、ミラー228の各素子とを含んで構成されている。バンドパスフィルタ226は、ある波長範囲の光を透過させて、範囲外の光は通さないという機能を有する。そして、半導体レーザー222の後方端面のミラーと、ミラー228との間に、外部共振器(空間共振器)が構成され、この外部共振器の行路長により、モードロックレーザー部220から出射されるレーザー光の周波数が決まる。これにより、強制的に特定の周波数にロックさせることができ、レーザー光のモードをロックすることができる。
モードロックレーザー部220は、外部共振器を構成することにより、通常の半導体レーザーよりも長い周期(例えば、1GHz程度)で短いパルスを同期させることができる。このため、モードロックレーザー部220から出力されるレーザー光L1は、平均パワーが低く、ピークが高いものとなり、生体に対するダメージが少なく、光子効率が高いものとなる。
光アイソレータ部230は、モードロックレーザー部220の後段に配置されている。光アイソレータ部230は、光アイソレータ232とミラー234とを含んで構成される。光アイソレータ部230は、後段の光学部品等において反射した光が、半導体レーザー222に入射することを防ぐ機能を有している。
光増幅器部(SOA部)240は、半導体レーザー222から出射されたレーザー光を増幅変調する光変調部として機能し、光アイソレータ部230の後段に配置されている。モードロックレーザー部220から出力されるレーザーは、そのパワーが比較的小さいため、光増幅器部240によって増幅される。この光増幅器部240は、SOA(Semiconductor Optical Amp)、即ち、半導体光増幅器242と、半導体光増幅器242を制御するSOAドライバ244とから構成されている。半導体光増幅器242は、小型かつ低コストの光増幅器であり、また、光をオン・オフする光ゲート、光スイッチとして用いることができる。本実施の形態においては、この半導体光増幅器242のオン・オフによって、半導体レーザー222から出射したレーザー光を変調する。
光増幅器部(SOA部)240では、制御電流(直流)の大きさに応じてレーザー光が増幅される。更に、光増幅器部240は、増幅の際に図2に示すパルス波形P1の制御電流で間欠駆動を行うことにより、パルス波形L1のレーザー光を所定の周期Tでオン・オフし、間欠的なレーザー光(パルス波形L2)を出力する。このように所望のタイミングと周期のパルス波形を生成する事により、システムが有する制御信号と同期させることができる。このように、例えばMOPA型の光源の場合は、前段の発振部のパルスを増幅する後段部の半導体光増幅器242(Semiconductor Optical Amplifier略してSOAと記す)において間欠駆動する事により、間欠駆動を実現する事が出来る。MOPA型の光源の場合、光増幅器部240(半導体光増幅器242)は、間欠発光部として機能する。
本実施形態ではMLLDを用いているため、半導体レーザー222から出力されるレーザー光の周波数は、一例として500MHz〜1GHzであり、パルス幅は0.5〜1.0[ps]程度である。後述するように、発振同期信号注入部316から発信同期信号を注入することにより、SOA部による間欠駆動の同期に加えて半導体レーザー222から出力される発振パルスについてもシステムが有する制御信号と同期させることが可能である。なお、TiSaを用いる場合、レーザー光の発振周波数は40MHz〜80MHz程度、パルス幅は0.1〜0.2[ps]程度であるのに対して、MLLDを用いることでより高い発振周波数のレーザー光を出力することが可能である。
本実施形態において、光増幅器部240から出力されるレーザー光の波長は、一例として405nmである。405nmの波長は比較的吸収が多い波長であるため、生体の奥に到達して高い密度で二光子の効果を生じさせる波長(900nm〜1300nm程度)に変換する。このため、光増幅器部240から出力されたレーザー光は、後段の波長変換モジュール250に入力され、波長変換モジュール250のLBO252によって波長変換される。
波長変換モジュール250のLBO252は、一例として、入力されたレーザー光(パルス波形L2)を2つの波長に変換する。なお、変換した2つの波長のレーザー光のうち、一方がシグナル光に相当し、他方がアイドラー光に相当する。本実施形態に係る光源2では、シグナル光及びアイドラー光のうち、一方のレーザー光を、波長変換モジュール250から外部に出力し、対象物(サンプルS)に照射する。
なお、図13Aに示す例では、変換した2つの波長のレーザー光のうち、長波長のレーザー光(パルス波形L3)が、シグナル光として波長変換モジュール250から出力され、対象物(サンプルS)に照射される。この場合には、変換した2つの波長のレーザー光のうち、短波長のレーザー光が、アイドラー光に相当となる。
ところで、生体のレーザー顕微鏡観察においては、対象物のダメージを少なくするために、レーザーの平均パワーを低くして、ピークパワーを高くすることが有効である。また、半導体レーザーを用いたMOPA型光源を構成するレーザーチップは、小型であるが故に、高電力の負荷による発熱によって動作限界が定まることが考えられる。
本実施形態の光源2においては、間欠的なレーザー光(パルス波形L2)を出力して間欠運転を行うため、間欠運転を行わない場合と比較すると、平均電力は同じであるにも関わらず、発光している際のピークを高めることができる。また、間欠運転を行うことにより、高電力の負荷による発熱も抑えることができる。
本実施形態では、二光子励起の光源2として用いており、光源2は2つの光子で蛍光体を励起する。特に二光子励起の光源を用いる顕微鏡においては、性能指数(Figure of Merit)としてFOM(=(ピークパワー)×パルス幅×周波数=ピークパワー×平均パワー)が知られている。この性能指数によれば、ピークパワーと平均パワーの積に比例して、出力を増加させることができる。従って、生体のレーザー顕微鏡観察において、対象物のダメージを最小限に抑えて出力を高めるためには、平均パワーを低くしてピークパワーを高くすることが有効である。このため、本実施形態では、間欠運転を行うことでデューティ(DUTY=パルス幅×周波数)比を低くして、ピークパワーを高くしている。
図13Bは、間欠発光によりレーザーのピークパワーを高くした状態を示す特性図である。図13Bの上段では一光子励起の場合の特性を示しており、上段の左側の特性は連続発光のピークパワーを、右側の特性はDUTY比を50%とした場合の間欠発光のピークパワーを示している。このように、間欠発光のDUTY比を50%とした場合、連続発光の信号強度(I)に対して、間欠発光の場合は2倍の信号強度(2×I)を出力することができる。
また、図13Bの中段は二光子励起の場合の特性を示しており、左側の特性は連続発光のピークパワーを、右側の特性はDUTY比を50%とした場合の間欠発光のピークパワーを示している。性能指数FOMによれば、二光子励起の場合はピークパワーの2乗で性能指数が高くなる。従って、間欠発光の場合、二光子励起の信号強度(=4×I )は連続発光の信号強度(=I )に対して4倍となる。また、パルス発光ポイントとパルス非発光ポイントの平均の信号強度においても、二光子励起の平均信号強度(=2×I )は、連続発光の信号強度(=I )に対して2倍となる。従って、本実施形態によれば、二光子励起の光源2において間欠駆動を行うことにより、ピークパワーおよび平均信号強度を高めることが可能である。
図13Bの下段の特性は、中段の特性を帯域制限のローパスフィルタに通過させた信号を示している。帯域制限のローパスフィルタによる処理をA/D変換前に入れるため、オン/オフのデューティ比が50%(1/2)の場合、A/D変換前の信号振幅は1/2となり、結果として、二光子励起の間欠発光では2倍の信号振幅を得ることができる。また、オン/オフのデューティ比が1/nの場合、ピークパワーがn倍になるのであれば、二光子励起で得られる信号振幅はn倍になるのでデューティは小さい方が望ましいが、実際には光源2から得られるピークパワーには上限があるので、デューティ比は1以下の適切な値が選ぶことが好適である。
<<1.5.3.光学系の構成>>
次に、図14を参照しながら、本実施形態に係る画像取得装置1の光学系の構成について、特に、前述した比較例に係る画像取得装置1wの光学系の構成(図10参照)と異なる部分に着目して説明する。
前述したように、本実施形態に係る画像取得装置1では、光源2は、波長変換モジュール(OPO)250を備え、入力されたレーザー光(ポンプ光)を2つの波長のレーザー光(即ち、シグナル光及びアイドラー光)に変換して出力する。本実施形態に係る画像取得装置1では、光源2から出力されるシグナル光及びアイドラー光のうち、いずれか一方を励起光としてサンプルSに向けて照射する。図14に示す例では、シグナル光を励起光としてサンプルSに向けて照射する構成としている。
なお、励起光をサンプルSに向けて照射する構成については、前述した比較例に係る画像取得装置1wの光学系(図10参照)と同様である。即ち、光源2から出射された励起光は、ビーム整形用レンズ511、ガルバノミラー51、レンズ513、ミラー517、レンズ515及びダイクロイックミラー52を介して対物レンズ42に導光され、当該対物レンズ42によりサンプルSに向けて集光される。
また、サンプルSに励起光が照射されると、サンプルSのある分子が、当該励起光により励起されて蛍光を発し、当該蛍光が、対物レンズ42、ダイクロイックミラー52、結像レンズ521、及びエミッションフィルタ523を介してPMT53の検出面に結像する。このとき、エミッションフィルタ523により、上記対物レンズ42によって拡大された、発色光以外の光(外光)が吸収され(即ち、発光色のみが透過し)、当該外光が喪失された発色光の像が、PMT53上に結像される。
また、本実施形態に係る画像取得装置1では、PD(Photo Detector)54を設け、シグナル光及びアイドラー光のうち、励起光として使用した一方とは異なる他方の強度を検出する。図14に示す例では、PD54は、光源2から出射されるアイドラー光の強度を測定している。
<<1.5.4.画像取得装置の機能構成>>
次に、図15を参照しながら、本実施形態に係る画像取得装置1の機能構成の一例について、特に、制御部6の構成に着目して説明する。なお、図15に示す例において、走査系(検出系)5の各構成は、図14に示した光学系において同様の符号が付された構成に対応している。また、図15に示す例では、図14に示した構成のうち一部を省略している。
図15に示すように、本実施形態に係る画像取得装置1は、装置内部(筐体内部)に光源2を備え、光源2から出射される励起光を走査系(検出系)5と顕微鏡ユニット4とを介してサンプルSに照射する。このとき、システム制御部61により、ガルバノミラー51の動作が制御されることで、励起光によりサンプルS上が走査される。なお、以降では、説明をわかりやすくするために、光源2から出射されるシグナル光及びアイドラー光のうち、シグナル光を励起光として使用するものとして説明する。
照射された励起光によりサンプルSから生じた蛍光は、顕微鏡ユニット4を介して走査系(検出系)5に導かれ、走査系(検出系)5のPMT53で検出される。PMT53は、あらかじめ設定されたサンプリングレートで、検出された蛍光を光電効果により電気信号に変換し、当該蛍光の強度を示すデータとして制御部6に出力する。
また、本実施形態に係る画像取得装置1の走査系(検出系)5は、PD54を備え、当該PD54により、アイドラー光の強度を、あらかじめ設定されたサンプリングレートで測定する。PD54は、測定したアイドラー光の強度を電気信号に変換し、当該アイドラー光の強度を示すデータとして制御部6に出力する。
なお、PD54に替えて、励起光(シグナル光)の強度を測定するPD56を設けてもよい。この場合には、サンプルSに向けて照射される励起光(シグナル光)の光路上にビームスプリッタ55を設け、サンプルSに向けて導光される励起光(シグナル光)の一部を、PD56に向けて分岐させればよい。なお、以降では、走査系(検出系)5には、アイドラー光の強度を測定するPD54が設けられているものとして説明する。
制御部6は、システム制御部61と、分布情報生成部62と、補正処理部63と、画像処理部64と、RAW画像生成部65と、記憶部66と、表示制御部67と、通信制御部68とを含む。また、I/F7は、条件指定部71と、表示部72と、通信部73とを含む。なお、記憶部66、表示制御部67、通信制御部68、条件指定部71、表示部72、及び通信部73の動作は、前述した比較例に係る画像取得装置1wと同様のため、詳細な説明は省略する。
システム制御部61は、条件指定部71を介してユーザから指定された測定条件に基づき、光源2及びガルバノミラー51の動作を制御する。条件指定部71は、測定および画像取得に係る測定条件をユーザが指定するための入力I/Fである。例えば、ユーザは、測定条件として、光源2の出力、及びサンプルS上の走査に係る走査条件(例えば、走査される範囲や、生成される画像の解像度)を、条件指定部71を介して指定することが可能である。
システム制御部61は、ユーザから測定条件として指定された走査条件に基づきガルバノミラー51の動作を制御し、当該制御の内容を示す制御情報を後述する二次元化処理部621及び625に出力する。ここまでの動作は、前述した比較例に係る画像取得装置1w(図12参照)と同様である。
なお、システム制御部61は、あらかじめ決定された測定条件を示す制御情報に基づき、光源2やガルバノミラー51の動作を制御してもよい。例えば、サンプルSが既知の場合には、当該サンプルSに対応してあらかじめ作成された制御情報に基づき、光源2から出力されるレーザー光の波長や出力を制御してもよい。なお、これらの制御情報は、例えば、記憶部66にあらかじめ記憶させておいてもよい。
また、本実施形態に係るシステム制御部61は、アイドラー光の強度に基づく強度分布を示すデータを、後述する分布情報生成部62から取得し、取得したデータに基づき、光源2の動作を制御する。
ここで、図16を参照しながら、システム制御部61の更に詳細な構成について説明する。図16は、本実施形態に係る分布情報生成部62及びシステム制御部61の詳細な機能構成について説明するための説明図である。図16に示すように、システム制御部61は、強度制御量決定部611を含む。
強度制御量決定部611は、後述する分布情報生成部62の二次元化処理部621から、PD54で測定されたアイドラー光の強度に基づく強度分布を示すデータを取得する。また、強度制御量決定部611は、後述する分布情報生成部62の強度補正分布決定部623から補正量の最大幅の通知を受ける。強度制御量決定部611は、取得したアイドラー光の強度分布を示すデータと補正量の最大幅とに基づき、光源2の状態(特に、励起光の強度の変化)を監視する。
また、強度制御量決定部611は、監視結果に基づき、光源2から出射されるレーザー光(ポンプ光)の強度を制御するための制御情報を生成する。システム制御部61は、強度制御量決定部611が生成した制御情報に基づき、光源2から出射されるレーザー光(ポンプ光)の強度を制御する。
このような構成により、例えば、システム制御部61は、光源2の動作が不安定となった場合(例えば、出射されるレーザー光の強度に揺らぎが生じた場合)に、光源2が安定的に動作するように、当該光源2から出射されるレーザー光(ポンプ光)の強度を制御することが可能となる。なお、システム制御部61による、光源2の制御、即ち、光源2から出射されるレーザー光の強度制御の詳細については、「1.8.レーザー光の強度制御の詳細」として別途後述する。
次に、図15及び図16を参照しながら、分布情報生成部62の詳細について説明する。図16に示すように、分布情報生成部62は、二次元化処理部621と、強度補正分布決定部623と、二次元化処理部625とを含む。
二次元化処理部621は、PD54で検出された(測定された)アイドラー光の強度を示すデータを、あらかじめ設定されたサンプリングレートで、当該PD54から逐次取得する。また、二次元化処理部621は、ガルバノミラー51の制御内容を示す制御情報をシステム制御部61から逐次取得する。これにより、二次元化処理部621は、PD54から取得したアイドラー光の強度を示すデータがサンプルS上のどの位置のデータに相当するかを、システム制御部61から取得した制御情報に基づき認識することが可能となる。即ち、二次元化処理部621は、PD54から逐次取得したアイドラー光の強度を示すデータを、システム制御部61から取得した制御情報に基づき並べて二次元化することで、検出されたアイドラー光の強度分布を生成する。
ここで、図17を参照する。図17は、二次元化処理部621の動作の一例について説明するための説明図である。図17において、参照符号C11は、ガルバノミラー51の制御内容、即ち、励起光によるサンプルS上の走査の内容を模式的に示している。二次元化処理部621は、PD54から逐次取得したアイドラー光の強度を示すデータを、制御情報が示す走査の内容に基づき並べることで二次元化して、強度分布D21を生成する。
なお、前述の通り、光源2から出力されるレーザー光(ポンプ光)の強度は、画像取得装置1内の各機器(例えば、測定部3や制御部6)の発熱の影響を受けて変化する場合がある。このとき、ポンプ光の強度の変化に伴い、当該ポンプ光と同様に、シグナル光及びアイドラー光の強度も変化する。そのため、アイドラー光の強度の変化が、例えば、PD54で変換された電気信号の強弱として表れることとなる。
なお、生成された強度分布D21のうち、走査方向が切り替わる端部の領域D211a及びD211bを不要分として削除し、それ以外の領域D210を有効部分としてもよい。不要部分D211a及びD211bの削除は、例えば、二次元化処理部621が行ってもよいし、後述する補正処理部63が行ってもよい。また、後述する二次元化処理部625が、PMT53で検出された蛍光の強度に基づく強度分布を生成する場合の動作についても、図17を参照しながら説明した二次元化処理部621の動作と同様である。
二次元化処理部621は、生成したアイドラー光の強度分布を示すデータ(以降では、単に「アイドラー光の強度分布」と呼ぶ場合がある)を、強度補正分布決定部623及び強度制御量決定部611に出力する。
強度補正分布決定部623は、二次元化処理部621からアイドラー光の強度分布を取得する。強度補正分布決定部623は、取得したアイドラー光の強度分布を基に、後述する補正処理部63が、蛍光の強度分布を補正するための補正データを生成する。
また、強度補正分布決定部623は、ウォームアップ期間中にアイドラー光の強度分布をあらかじめ取得しておき、当該ウォームアップ期間中のアイドラー光の強度分布に基づき、補正量の最大幅を算出してもよい。なお、このようにして算出された補正量の最大幅は、光源2から出射されるレーザーの強度の変動による光子数の時間変動に基づく、蛍光の強度分布の補正量及び光源2から出射されるレーザー光(ポンプ光)の強度の制御量の最大幅(マージン)を示している。そのため、強度補正分布決定部623は、算出した補正量の最大幅を、強度制御量決定部611に通知してもよい。
強度補正分布決定部623は、アイドラー光の強度分布をRAW画像生成部65に出力し、当該アイドラー光の強度分布に基づき生成した補正データを、補正処理部63に出力する。
二次元化処理部625は、PMT53で検出された(測定された)蛍光の強度を示すデータを、あらかじめ設定されたサンプリングレートで、当該PMT53から逐次取得する。また、二次元化処理部625は、ガルバノミラー51の制御内容を示す制御情報をシステム制御部61から逐次取得する。これにより、二次元化処理部625は、PMT53から取得した蛍光の強度を示すデータがサンプルS上のどの位置のデータに相当するかを、システム制御部61から取得した制御情報に基づき認識することが可能となる。即ち、二次元化処理部625は、PMT53から逐次取得した蛍光の強度を示すデータを、システム制御部61から取得した制御情報に基づき並べて二次元化することで、検出された蛍光の強度分布を生成する。
二次元化処理部625は、生成した蛍光の強度分布を示すデータ(以降では、単に「蛍光の強度分布」と呼ぶ場合がある)を補正処理部63及びRAW画像生成部65に出力する。
補正処理部63は、二次元化処理部625から蛍光の強度分布を取得する。また、補正処理部63は、強度補正分布決定部623からアイドラー光の強度分布に基づき生成された補正データを取得する。
補正処理部63は、蛍光の強度分布を補正データに基づき補正する。ここで、補正処理部63による補正の概要について図18を参照しながら説明する。本実施形態に係る補正処理の概要について説明するための説明図である。図18において、参照符号D11は、二次元化処理部625で生成された蛍光の強度分布を模式的に示している。また、参照符号D21は、二次元化処理部621で生成されたアイドラー光の強度分布を模式的に示している。また、参照符号D10は、補正処理後の蛍光の強度分布(即ち、RAW画像)を示している。
なお、前述の通り、光源2から出力されるレーザー光(ポンプ光)の強度は、画像取得装置1内の各機器の発熱の影響を受けて変化する場合があり、当該ポンプ光と同様に、シグナル光及びアイドラー光の強度も変化する。そのため、シグナル光の強度変化が、蛍光の強度分布にノイズとして顕在化し、同様に、アイドラー光の強度変化が、アイドラー光の強度分布にノイズとして顕在化することとなる。一方で、シグナル光及びアイドラー光は、波長変換モジュール(OPO)250によりポンプ光が変換されて出力される。そのため、シグナル光の強度変化とアイドラー光の強度変化とは常に同調している。即ち、シグナル光の強度とアイドラー光の強度とは常に比例関係にある。
そのため、本実施形態に係る補正処理部63では、このような性質を利用して、シグナル光の強度変化に基づき蛍光の強度分布に顕在化したノイズを、アイドラー光の強度分布に基づき生成された補正データにより補正する。補正処理部63は、補正データにより補正された蛍光の強度分布を画像処理部64に出力する。
なお、上述した強度補正分布決定部623による補正データの生成と、補正処理部63による当該補正データに基づく蛍光の強度分布の補正に係る動作の詳細については、「1.7.補正処理の詳細」として別途後述する。
画像処理部64は、補正データにより補正された蛍光の強度分布を取得する。画像処理部64は、補正後の蛍光の強度分布に対して、圧縮処理等の画像処理を施すことで画像データを生成する。
画像処理部64は、生成した画像データを、例えば、表示制御部67に出力する。また、画像処理部64は、生成した画像データを、通信制御部68に出力してもよい。また、画像処理部64は、生成した画像データを、記憶部66に記憶させてもよい。
また、上記に示した補正データD21に基づく蛍光の強度分布D11に対する補正処理は、例えば、情報処理装置800のような外部装置で行ってもよい。そのため、本実施形態に係るRAW画像生成部65は、蛍光の強度分布D11を画像データ(RAW画像)として生成したRAWファイルD1に対して、アイドラー光の強度分布D21を関連付けてもよい。
このように、RAWファイルD1にアイドラー光の強度分布D21を関連付けておくことで、当該RAWファイルD1を読み出した外部装置(例えば、情報処理装置800)が、補正処理部63と同様に、レーザー強度の変動に伴うノイズを補正することが可能となる。
RAW画像生成部65は、生成したRAWファイルを、例えば、通信制御部68に出力する。また、RAW画像生成部65は、生成したRAWファイルを、記憶部66に記憶させてもよい。
以上、図13A、図13B、及び図14〜図18を参照しながら、本実施形態に係る画像取得装置1の構成について説明した。次に、本実施形態に係る画像取得装置1の各構成の更に詳細な内容について説明する。
[1.6.RAWファイルのファイルフォーマット]
まず、図19を参照しながら、本実施形態に係るRAWファイルD1のファイルフォーマットの一例について説明する。図19は、本実施形態に係るRAWファイルD1のファイルフォーマットの一例を示した図である。
図19に示すように、本実施形態に係るRAWファイルD1は、例えば、データ領域d10と、基本制御情報領域d30と、拡張領域d20とを含む。
データ領域d10は、画像データ(実データ)を格納するための領域である。図19に示すように、例えば、データ領域d10は、RAW本画像d11と、子画像用IFD(Image File or Directory)d12と、子画像d121とを含む。RAW本画像d11は、RAW画像を示している。本実施形態に係るRAWファイルD1では、RAW本画像d11として、蛍光の強度分布D11が格納される。なお、RAW本画像d11として格納される蛍光の強度分布D11は、1枚(1スライス)とは限らない。例えば、XY方向(平面方向)に走査されて作成された蛍光の強度分布D11が、Z方向(深さ方向)に沿って複数枚取得された場合には、当該複数枚の蛍光の強度分布D11が、RAW本画像d11としてRAWファイルD1に格納されてもよい。
また、データ領域d10には、画像処理が施された画像データや、拡大・縮小画像のデータのような画像処理が施された画像を、子画像として別途格納できるようにしてもよい。この場合には、例えば、子画像を格納するための子画像用IFDd12を設け、当該子画像用IFDd12内に子画像d121を格納すればよい。なお、子画像用IFDd12が、RAWファイルD1中における子画像d121の位置(アドレス)を示す役割も果たす。
また、基本制御情報領域d30には、あらかじめ決められた種別の情報が制御情報として記録される。例えば、基本制御情報領域d30は、メイン画像及び撮影情報IFDd31と、セット再生用JPEGd32と、平文部メーカーノートIFDd33とを含む。メイン画像及び撮影情報IFDd31は、例えば、再生用に使用する画像データや、撮影情報(例えば、EXIF(Exchangeable image file format)のようなメタ情報)を格納するためのIFDである
メイン画像及び撮影情報IFDd31には、例えば、画像の再生に用いられる画像データ(例えば、圧縮処理が施されたデータ)がセット再生用JPEGd32として格納されている。
また、平文部メーカーノートIFDd33は、画像取得装置1の機種情報や、暗号化などのフォーマットを示す情報が制御情報として記憶される。なお、これらの制御情報については、例えば、記憶部66にあらかじめ記憶させておき、RAW画像生成部65が当該制御情報を記憶部66から読み出して、RAWファイルD1に埋め込めばよい。
拡張領域d20は、メーカーノートIFDd21を含む。メーカーノートIFDd21は、カメラ制御モードなどのEXIFに規定されていない情報を格納するためのIFDであり、画像取得装置1に固有の撮影情報や制御情報も格納される。
本実施形態に係るメーカーノートIFDd21は、例えば、撮影条件d211と、アイドラー光強度画像d212と、サーボ信号画像d213と、ウォームアップ時の撮影画像d214と、改竄防止信号d215と、自動トラッキング調整時の被写体画像d216と、撮影間同期信号d217とを含む。
撮影条件d211は、RAW画像(即ち、蛍光の強度分布)の取得時の撮影条件のうち、EXIFに規定されていない条件を示す制御情報である。撮影条件d211には、各条件を示す制御情報が、例えば、パラメタテーブルの形式で格納されている。
アイドラー光強度画像d212は、アイドラー光の強度分布D21を示している。なお、RAW本画像d11として蛍光の強度分布D11が複数枚記録されている場合には、当該複数枚の蛍光の強度分布D11それぞれに対応したアイドラー光の強度分布D21が、アイドラー光強度画像d212として記録される。また、アイドラー光強度画像d212として、アイドラー光の強度分布D21に替えて、当該アイドラー光の強度分布D21に基づき算出された補正データを用いてもよい。
このように、RAWファイルD1にアイドラー光強度画像d212を格納しておくことで、当該RAWファイルD1を読み出した外部装置(例えば、情報処理装置800)が、前述した補正処理部63と同様に、RAW本画像d11を補正することが可能となる。
サーボ信号画像d213は、システム制御部61による光源2から出射されるレーザー光の強度制御のためのサーボ信号を、走査条件に基づき二次元化したデータである。このようなサーボ信号画像d213を、RAWファイルD1内に格納しておくことで、当該RAWファイルD1を読み出した外部装置(例えば、情報処理装置800)が、蛍光の強度分布(即ち、RAW画像)の取得時に、光源2に対してどのような制御が行われていたかを認識することが可能となる。そのため、例えば、外部装置は、RAWファイルD1内のサーボ信号画像d213に基づき認識した制御内容に応じて、蛍光の強度分布(即ち、RAW画像)のに対して施される画像処理の内容(制御パラメタ)を適宜変更することも可能となる。
ウォームアップ時の撮影画像d214は、ウォームアップ時に取得したアイドラー光の強度分布や蛍光の強度分布を二次元化した画像である。このように、RAWファイルD1に、ウォームアップ時の撮影画像d214を記録しておくことで、例えば、当該RAWファイルD1を読み出した外部装置(例えば、情報処理装置800)が、ウォームアップ期間中のレーザー光の強度の変化を推定することが可能となる。なお。ウォームアップ時の撮影画像d214は、少なくともウォームアップ期間中に撮影を開始した場合にRAWファイルD1に記録されればよく、それ以外の場合については含まなくてもよい。また、ウォームアップ期間中に撮影を行う場合の動作の詳細については、「1.9.ウォームアップ時におけるレーザー光の強度制御」として別途後述する。
改竄防止信号d215は、RAWファイルD1中の少なくとも一部のデータが改竄された場合に、当該改竄を検出するための信号(データ)である。改竄防止信号d215の具体的な一例として、スティッキービット(Sticky bit)等が挙げられる。
自動トラッキング調整時の被写体画像d216は、例えば、トラッキングや拡大/縮小を行った場合に、当該トラッキングや拡大/縮小の結果として取得された画像を示している。なお、自動トラッキング調整時の被写体画像d216に替えて、トラッキングや拡大/縮小に係る制御の内容を示す情報を記録してもよい。
撮影間同期信号d217は、複数枚の蛍光の強度分布D11が、RAW本画像d11としてRAWファイルD1に格納されている場合に、各蛍光の強度分布D11の取得に係る各撮影のタイミングを示す信号である。
以上、図19を参照しながら、本実施形態に係るRAWファイルD1のファイルフォーマットについて説明した。なお、上記に示すRAWファイルD1のファイルフォーマットはあくまで一例であり、必ずしも全ての情報を含まなくてもよいことは言うまでもない。また、アイドラー光強度画像d212、サーボ信号画像d213、及びウォームアップ時の撮影画像d214のような画像データは、当該画像データを再現するために必要な情報が記録されれば、必ずしも二次元化されたデータとして記録する必要はない。例えば、画像データの各画素に相当するデータの羅列を、走査条件を示す制御情報(即ち、データの羅列を二次元化するための情報)とあわせて記録してもよいことは言うまでもない。
[1.7.補正処理の詳細]
次に、図20及び図21を参照しながら、本実施形態に係る制御部6による、アイドラー光の強度分布に基づく補正データの生成と、当該補正データに基づく蛍光の強度分布の補正に係る動作の詳細について説明する。
<<1.7.1.補正の原理>>
まず、図20を参照しながら、本実施形態に係る画像取得装置1における蛍光の強度分布の補正の原理について説明する。図20は、強度分布の補正の原理について説明するための説明図である。図20に示すように、光源2を構成するOPOレーザーモジュールのうち、MOPA光源(固定波長)から出力されるポンプ光の周波数をνp、シグナル光の周波数をνs、アイドラー光の周波数をνiとする。
ここで、周波数νの光の光子1つあたりのエネルギーEは、プランク乗数h、光の速度c、及び光の波長λとした場合に、以下に示す式1で表される。
Figure 2015114420
ここで、レーザー強度の変動による光子数の時間変動をn(t)とした場合には、ポンプ光の周波数νp、シグナル光の周波数νs、及びアイドラー光の周波数νiは、以下に式2で表される条件を満たす。
Figure 2015114420
このとき、h*νs*n(t)のエネルギーを有するシグナル光で励起した場合に、サンプルS上の座標(x,y,z)で発生する蛍光の空間蛍光強度PMTin(x,y,z)は、以下に示す式3で表される。
Figure 2015114420
なお、上記に示した式3において、S(c/νs)は、吸収発光効率を示しており、Q(x,y,z)は、観測対象(即ち、サンプルS)の空間蛍光濃度分布を示している。
式3に示すように、一般的には、空間蛍光強度PMTin(x,y,z)には、レーザー強度の変動に伴う光子数の時間変動n(t)が残存することとなる。
これに対して、本実施形態に係る制御部6は、PD54で検出されたアイドラー光の強度分布に基づき、レーザー強度の変動に伴う光子数の時間変動n(t)を推定する。
具体的には、サンプルS上の座標(x,y,z)を走査しているときのアイドラー光の強度PDin(x,y,z)は、ポンプ光の強度の変動に伴い、シグナル光と同様に変動するため、以下に示す式4で表される。
Figure 2015114420
制御部6は、上記に示した式4に基づき、時間変動n(t)を算出し、算出した時間変動n(t)に基づき、式3で示した空間蛍光強度PMTin(x,y,z)を補正する。なお、補正後の空間蛍光強度をPMTin’(x,y,z)とした場合には、当該空間蛍光強度をPMTin’(x,y,z)は、以下に示す式5で表される。
Figure 2015114420
…(式5)
なお、上記に示した式5において、(h*νi)/PDin(x,y,z)が補正データに相当する。即ち、強度補正分布決定部623は、取得したアイドラー光の強度分布が示す座標(x,y,z)ごとの強度PDin(x,y,z)に基づき当該補正データを算出することとなる。
<<1.7.2.補正に係る動作の流れ>>
次に、図21を参照しながら、アイドラー光の強度分布に基づく補正データの生成と、当該補正データに基づく蛍光の強度分布の補正に係る動作の流れについて説明する。図21は、強度分布の補正に係る処理の流れについて説明するためのフローチャートである。なお、本説明ではウォームアップが終了しサンプルSの観測時における処理に注目して説明することとし、サンプルSの観測の前段階として、ウォームアップ期間中にアイドラー光の強度分布をあらかじめ取得しておくものとして説明する。
(ステップS101)
分布情報生成部62の二次元化処理部621は、PD54で検出された(測定された)アイドラー光の強度を示すデータを、あらかじめ設定されたサンプリングレートで、当該PD54から逐次取得する。また、二次元化処理部621は、ガルバノミラー51の制御内容を示す制御情報をシステム制御部61から逐次取得する。二次元化処理部621は、PD54から逐次取得したアイドラー光の強度を示すデータを、システム制御部61から取得した制御情報に基づき並べて二次元化することで、検出されたアイドラー光の強度分布を生成する。なお、このとき二次元化処理部621は、アイドラー光の強度分布のうち、不要部分を破棄し、有効部分のみをアイドラー光の強度分布としてもよい。二次元化処理部621は、生成したアイドラー光の強度分布を、強度補正分布決定部623及び強度制御量決定部611に出力する。
また、分布情報生成部62の二次元化処理部625は、PMT53で検出された(測定された)蛍光の強度を示すデータを、あらかじめ設定されたサンプリングレートで、当該PMT53から逐次取得する。また、二次元化処理部625は、ガルバノミラー51の制御内容を示す制御情報をシステム制御部61から逐次取得する。二次元化処理部625は、PMT53から逐次取得した蛍光の強度を示すデータを、システム制御部61から取得した制御情報に基づき並べて二次元化することで、検出された蛍光の強度分布を生成する。なお、このとき二次元化処理部625は、蛍光の強度分布のうち、不要部分を破棄し、有効部分のみを蛍光の強度分布としてもよい。二次元化処理部625は、生成した蛍光の強度分布を補正処理部63及びRAW画像生成部65に出力する。
(ステップS103)
なお、二次元化処理部621及び二次元化処理部625より生成された、アイドラー光の強度分布及び蛍光の強度分布それぞれに対して、分布情報生成部62によりノイズ除去処理が施されてもよい。アイドラー光の強度分布及び蛍光の強度分布それぞれに対してノイズ除去処理を施す態様については、「第4の実施形態」として別途後述する。
(ステップS105)
強度補正分布決定部623は、あらかじめ取得したウォームアップ期間中のアイドラー光の強度分布に基づき、当該アイドラー光の強度の最大値及び平均値を取得し、最大値/平均値に基づき補正量の最大幅を算出する。強度補正分布決定部623は、算出した補正量の最大幅を、強度制御量決定部611に通知する。これにより、強度制御量決定部611は、光源2から出射されるレーザーの強度の変動による光子数の時間変動を推定し、レーザー光(ポンプ光)の強度の制御量の最大幅(マージン)を決定することが可能となる。なお、レーザー光(ポンプ光)の強度制御の詳細については、「1.8.レーザー光の強度制御の詳細」として別途後述する。
(ステップS107)
また、強度補正分布決定部623は、サンプルSの観測時に二次元化処理部621から取得したアイドラー光の強度分布に基づき、蛍光の強度分布を補正するための補正データを生成する。具体的には、強度補正分布決定部623は、サンプルS上の座標(x,y,z)におけるアイドラー光の強度をPDin(x,y,z)とした場合に、(h*νi)/PDin(x,y,z)に基づき、補正データを生成する。なお、hはプランク定数を示し、νiはアイドラー光の周波数を示している。強度補正分布決定部623は、アイドラー光の強度分布をRAW画像生成部65に出力し、当該アイドラー光の強度分布に基づき生成した補正データを、補正処理部63に出力する。
(ステップS109)
RAW画像生成部65は、二次元化処理部625から取得した蛍光の強度分布を画像データ(RAW画像)として、所定のファイルフォーマットに整形することでRAWファイルを生成する。このとき、RAW画像生成部65は、Z方向(深さ方向)に沿って複数枚取得された一連の蛍光の強度分布を、画像データとしてRAWファイルを生成してもよい。
(ステップS111)
また、RAW画像生成部65は、生成したRAWファイルに対して、強度補正分布決定部623から取得したアイドラー光の強度分布を関連付ける。なお、RAW画像生成部65は、Z方向(深さ方向)に沿って複数枚取得された一連の蛍光の強度分布がRAWファイルに画像データとして記録されている場合には、当該一連の蛍光の強度分布それぞれに対応するアイドラー光の強度分布をあわせて関連付ける。
このように、RAWファイルにアイドラー光の強度分布を関連付けておくことで、当該RAWファイルD1を読み出した外部装置(例えば、情報処理装置800)が、蛍光の強度分布に顕在化したレーザー強度の変動に伴うノイズを補正することが可能となる。
RAW画像生成部65は、生成したRAWファイルを、例えば、通信制御部68に出力する。また、RAW画像生成部65は、生成したRAWファイルを、記憶部66に記憶させてもよい。
(ステップS113)
補正処理部63は、二次元化処理部625から蛍光の強度分布を取得する。また、補正処理部63は、強度補正分布決定部623からアイドラー光の強度分布に基づき生成された補正データを取得する。補正処理部63は、前述した式5に基づき、補正データにより蛍光の強度分布を補正する。
このような構成により、本実施形態に係る画像取得装置1は、シグナル光の強度変化に基づき蛍光の強度分布に顕在化したノイズを、アイドラー光の強度分布に基づき生成された補正データにより補正することが可能となる。
[1.8.レーザー光の強度制御の詳細]
<<1.8.1.強度制御の原理>>
次に、図22及び図23を参照しながら、本実施形態に係る制御部6による、光源2から出力されるレーザー光(ポンプ光)の強度の制御に係る処理の詳細について説明する。
まず、図22を参照しながら、本実施形態に係る画像取得装置1におけるレーザー光の強度制御の原理について説明する。図22は、光源2からの出射光の強度制御の原理について説明するための説明図である。図22に示すように、光源2を構成するOPOレーザーモジュールのうち、MOPA光源(固定波長)から出力されるポンプ光の周波数をνp、シグナル光の周波数をνs、アイドラー光の周波数をνiとする。
例えば、前述した比較例に係る画像取得装置1wのように、光源2wを画像取得装置1wの外部に設ける構成の場合には、光源2wに対して細かい制御を行うことが困難な場合が少なくない。このような場合には、例えば、出力されるレーザー光の強度の変動に伴う光子数の時間変動n(t)を見越して、空間蛍光強度PMTin(x,y,z)が、下記に示す式6で表される最大空間蛍光強度PMTin_max(x,y,z)となるように設計する。
Figure 2015114420
なお、上記に示した式6において、n_max(t)は、光子数の時間変動n(t)の最大値を示しており、Q_max(x,y,z)は、観測対象(即ち、サンプルS)の空間蛍光濃度分布の最大値を示している。
即ち、比較例に係る画像取得装置1wのように、光源2wに対して細かい制御を行うことが困難な場合には、時間変動n(t)の最大値を見越して設計を行うため、空間蛍光濃度分布Q(x,y,z)に対して、ダイナミックレンジ全体を使うことが困難であった。
これに対して、本実施形態に係る制御部6は、PD54で検出されたアイドラー光の強度分布に基づき、レーザー強度の変動を監視し、レーザー強度の変動に追随して当該レーザー強度の制御を行う。
具体的には、レーザー強度の変動のうち、撮影時間に対して十分に大きい緩やかな変化分をnl(t)、撮影時間内の変化をnh(t)とした場合には、制御部6は、n(t)=nl(t)+nh(t)の関係にあるように分離する。そのうえで、制御部6は、nl(t)に対して、アイドラー光の強度に比例した負帰還をかけることにより、撮影時間に対して十分短いレイテンシtlを持つ強度制御をかける。この時の空間蛍光強度PMTin(x,y,z)は、以下に示す式7で表される。
Figure 2015114420
上記に示した式7において、nlの変動に対してtlが十分に短い場合には、上記式7は、以下に示す式8に近似できる。
Figure 2015114420
また、前述した補正処理を併用した場合には、上記に示した式8において、nh<<nlとみなせるため、上記式8は、以下に示す式9に近似できる。
Figure 2015114420
即ち、空間蛍光強度PMTin(x,y,z)が、下記に示す式10で表されることとなるため、レーザー光の強度の変動に伴う光子数の時間変動n(t)を考慮する必要がなくなり、ダイナミックレンジのほぼ全体を使用することが可能となる。
Figure 2015114420
<<1.8.2.強度制御に係る動作の流れ>>
次に、図23を参照しながら、光源2から出力されるレーザー光(ポンプ光)の強度の制御に係る動作の流れについて説明する。図23は、光源からの出射光の強度制御に係る処理の流れについて説明するためのフローチャートである。
(ステップS201)
まず、測定の開始前に光源2に用いられているレーザー光源(例えば、モードロックレーザー部220の半導体レーザー222)の個体差については、当該レーザー光源の制御パラメタに基づきあらかじめ決められた基準状態に調整しておく。なお、本調整は、レーザー光源の個体差に基づく調整であり、熱変動に伴うレーザー強度の調整とは異なる。
次いで、システム制御部61の強度制御量決定部611は、分布情報生成部62の強度補正分布決定部623から、ウォームアップ期間中のアイドラー光の強度分布に基づく補正量の最大幅(即ち、ウォームアップ期間中のアイドラー光の強度の最大値/平均値)を取得する。強度制御量決定部611は、取得した補正量の最大幅に基づき、レーザー光(ポンプ光)の強度制御目標の最大値n_maxを決定する。具体的な一例として、取得した補正量の最大幅が2の場合には、強度制御量決定部611は、レーザー光(ポンプ光)の強度のダイナミックレンジのうち、当該補正量の最大幅の逆数、即ち1/2の範囲を使用するように、強度制御目標の最大値n_maxを決定する。
(ステップS203)
強度制御量決定部611は、決定した強度制御目標の最大値n_maxに基づき、アイドラー光の強度の制御目標最大値PDin_maxを、下記に示す式11に基づき算出する。なお、下記に示す式11において、hはプランク定数を示しており、νiはアイドラー光の周波数を示している。
Figure 2015114420
(ステップS205)
また、強度制御量決定部611は、分布情報生成部62の二次元化処理部621からアイドラー光の強度分布のうち、直近(例えば、直前の1撮影)に取得された1撮影分の強度分布に基づき、アイドラー光の強度の平均PDin_aveを算出する。
(ステップS207)
次いで、強度制御量決定部611は、アイドラー光の強度分布を直近で取得された複数枚(例えば、2撮影分)にわたってパターンマッチングによりレーザー光の安定性を評価し、重み付け係数Wを0<W≦1の範囲で決定する。なお、W=1は、レーザー光が安定している場合に対応しており、係数Wが低くなるほどレーザー光がより不安定な状態に対応していることとなる。
具体的な一例として、強度制御量決定部611は、パターンマッチングによりアイドラー光の強度分布を複数枚比較してその差を数値化し、当該差を所定の閾値と比較することでレーザー光の安定性を評価してもよい。この場合には、強度制御量決定部611は、算出した差が閾値以下の場合には、レーザー光が安定している状態と判断しW=1を設定する。また、強度制御量決定部611は、算出した差が閾値を超える場合には、レーザー光が不安定な状態と判断し、係数Wを、0<W<1の範囲であらかじめ決められた値に設定する。
また、他の一例として、強度制御量決定部611は、アイドラー光の強度分布間の比較に応じて算出した差に基づき、係数Wを0<W≦1の範囲で動的に決定してもよい。具体的には、強度制御量決定部611は、算出した差が大きい場合(即ち、不安定な場合)には、Wをより0に近い値に設定し、算出した差が小さい場合(即ち、比較的安定している場合)には、Wをより1に近い値に設定すればよい。
(ステップS209)
係数Wを決定したら、強度制御量決定部611は、光源2から出射されるレーザー光の制御後の強度を、制御後の強度=制御前の強度*(PDin_max+1)/(PDin_ave+1)*Wの条件式に基づき算出する。
(ステップS211)
システム制御部61は、強度制御量決定部611が算出した、制御後の強度に基づき、光源2から出射されるレーザー光(ポンプ光)の強度が制御されるように、光源2を制御する。このとき、システム制御部61が、1撮影単位(即ち、蛍光の強度分布1枚分の撮影内)以内に、レーザー光の強度が制御されるようにフィードバック制御を行うことが望ましい。
(ステップS213)
システム制御部61がレーザー光の強度を制御したら、強度制御量決定部611は、レーザー光(ポンプ光)の強度が制御された後に光源2から出射されるアイドラー光の強度分布に基づきレーザー光が安定しているか否かを判定する。
以上のようにして、システム制御部61は、レーザー光が安定しているか否かを逐次判定し、当該判定結果に基づき重み付け係数Wを決定して、光源2から出射されるレーザー光(ポンプ光)の強度の制御を実行する。
なお、システム制御部61は上述した一連の動作を、光源2がレーザー光を出射している期間中は継続的に実行してもよいし、所定のタイミングごとに定期的(間欠的)に実行してもよい。
上述した一連の動作を所定のタイミングごとに定期的に実行する場合には、システム制御部61は、ステップS213において、一連の動作を停止するか否かの判断を行えばよい。具体的には、システム制御部61は、ステップS207〜S211に係る一連の動作(即ち、レーザー光の監視と、監視結果に基づくフィードバック処理)をレーザー光が安定するまで繰り返し実行する(ステップS213、No)。そして、レーザー光が安定したら(ステップS213、Yes)、システム制御部61は、レーザー光(ポンプ光)の強度の制御に係る一連の動作を停止すればよい。
このような構成により、本実施形態に係る画像取得装置1は、内蔵される機器(例えば、測定部3や制御部6)の発熱により光源2の動作が不安定になった場合においても、光源2から出射されるレーザー光の強度を制御することで、光源2を安定的に動作させることが可能となる。
[1.9.ウォームアップ時におけるレーザー光の強度制御]
次に、フォームアップ時におけるレーザー光の強度制御について説明する。レーザーモジュールから出力されるレーザー光の強度は、前述の通り、温度に依存する場合が少なくない。そのため、光源2としてレーザーモジュールを利用する場合には、多くの場合、出力されるレーザー光の強度を安定化させるためにウォームアップを行ってから使用する。
一方で、レーザーモジュールのウォームアップには、長い時間を要する場合が少なくはなく、このウォームアップの時間が、サンプルSの観測に係る作業の時間を圧迫する場合がある。そこで、本実施形態に係る画像取得装置1では、レーザー光の強度を制御することで、ウォームアップ中のようにレーザー光の強度が不安定な状態下においても、当該レーザー光を安定化させて、サンプルSの観測を可能とする。
以下に、本実施形態に係る画像取得装置1の、ウォームアップ時におけるレーザー光の強度制御の例について、図24を参照しながら説明する。図24は、ウォームアップ時における光源2からの出射光の強度制御の原理について説明するための説明図である。図24に示す例では、本実施形態に係る制御部6による、ウォームアップ時におけるフィードバック制御を、ラプラス変換により時間応答に変換して示した図である。
図22に基づき前述した構成の場合には、所謂、比例成分K1と積分成分K2/sとに基づくフィードバック制御、即ち、PI制御となる。しかしながら、ウォームアップ期間中のようにレーザー光の強度が不安定な場合には、比例成分K1と積分成分K2/sとに基づくフィードバック制御のみ(即ち、PI制御)では即応性に欠ける場合がある。
特に、ウォームアップ期間中は、前述した式7として示した空間蛍光強度PMTin(x,y,z)の条件式において、撮影時間に対して十分に大きい緩やかな変化分nl(t)に対して、レイテンシtlが十分に短いとはみなせなくなる。そのため、例えば、光源2から出射されるレーザー光の強度の変化に、周期性を持った変化分が顕在化する場合がある。
そこで、本実施形態に係る画像取得装置1は、フィードバック制御に対して微分成分K3sに基づく制御を追加することでPID制御とし、即応性の改善を行う。
具体的には、画像取得装置1の制御部6は、ウォームアップ期間における波長変換モジュール(OPO)250の伝達関数G(s)を演算して蓄積することで、蓄積された伝達関数G(s)に基づく予測演算により、微分成分K3sを算出する。なお、制御部6は、例えば、光源2から出射されるレーザー光の強度を制御するための制御情報に基づき波長変換モジュール(OPO)250への入力を演算し、検出されたアイドラー光の強度を出力として伝達関数G(s)を算出すればよい。そして、画像取得装置1は、算出した微分成分K3sに基づき、光源2から出射されるレーザー光の強度を制御することで、周期性を持った変化分の顕在化を抑制する。
具体的な一例として、画像取得装置1は、蓄積されたOPOの伝達関数G(s)に基づき、レーザー光の強度の変化の周期性を予測し、予測した周期と逆異相のフィードバック制御をかけることで、周期性を持った変化を抑制してもよい。
このような構成により、本実施形態に係る画像取得装置1は、ウォームアップ期間中のように、光源2から出射されるレーザー光の強度が不安定な状態においても、当該光源2から出射されるレーザー光の強度制御に係る即応性を改善することが可能となる。そのため、画像取得装置1に依れば、例えば、ウォームアップ期間が完了していない状態(出射されるレーザー光の強度が不安定な状態)においても、サンプルSの観測を開始することが可能となる。
なお、ウォームアップ期間の完了前に観測を開始した場合には、微分成分K3sに基づく制御量が、出射されるレーザー光の周期的変化の変化量よりも大きく、当該微分成分K3sによる制御の影響がノイズとして残存する場合もある。そのため、画像取得装置1は、ウォームアップ期間の完了前に観測を開始する場合には、当該観測の開始前に蛍光ビーズのような既知のサンプルを用いて、蛍光の強度分布とアイドラー光の強度分布とを取得しておいてもよい。この場合には、画像取得装置1は、サンプルSの観測結果に基づき作成されたRAWファイルに、観測前にあらかじめ取得した蛍光の強度分布とアイドラー光の強度分布とを、当該RAWファイルにウォームアップ時の撮影画像として関連付けてもよい(図19参照)。
このような構成により、例えば、RAWファイルを取得した外部装置(例えば、情報処理装置800)は、当該RAWファイルに関連付けられたウォームアップ時の撮影画像に基づき、レーザー光の強度の変化を推測することが可能となる。そのため、RAWファイル中の観測結果(即ち、蛍光の強度分布)に、微分成分K3sによる制御の影響がノイズとして残存した場合においても、当該外部装置は、レーザー光の強度の変化を推測して当該ノイズを補正することが可能となる。
以上説明したように、本実施形態に係る画像取得装置1に依れば、ウォームアップ期間が完了していない状態(出射されるレーザー光の強度が不安定な状態)においても、サンプルSの観測を開始することが可能となる。そのため、本実施形態に係る画像取得装置1に依れば、ウォームアップにより観測が不可能な期間が短縮されるため、結果として、サンプルSの観測時間を短縮することが可能となる。
[1.10.情報処理装置の動作]
次に、情報処理装置800が、画像取得装置1から取得したRAWファイルD1に基づき、サンプルSの画像を生成し、生成した画像に対して画像処理を施してユーザに提示する処理の一例について、図25及び図26を参照しながら説明する。図25は、本実施形態に係る情報処理装置800の画像表示に係る一連の処理の流れを示したフローチャートである。また、図26は、本実施形態に係る情報処理装置800のノイズ補正に関する処理の一例を示したフローチャートである。まず、図25を参照する。
(ステップS301)
まず、情報処理装置800は、画像の補正及び表示の対象となるRAWファイルD1の指定や、指定されたRAWファイルD1に対する画像処理の内容や当該処理のパラメタを指定するためU/I(以降では、「画像調整用U/I」と記載する)を、例えば、表示デバイスを介してユーザに提示する。
(ステップS303)
また、情報処理装置800は、提示した画像調整用U/Iを介してユーザが指定した情報、例えば、処理対象のRAWファイルD1、画像処理の内容、及び処理パラメタを、ユーザの操作内容(例えば、操作デバイスを用いた操作内容)に基づき特定する。
(ステップS305)
情報処理装置800は、ユーザの指定に基づき処理対象となるRAWファイルD1を取得する。なお、当該RAWファイルD1は、あらかじめ画像取得装置1から取得して記憶デバイス等に記憶しておいてもよいし、画像取得装置1との間で通信を確立し、当該画像取得装置1から取得してもよい。
(ステップS307)
情報処理装置800は、取得したRAWファイルD1を、当該RAWファイルD1のファイルフォーマットに基づき解析し、RAWファイルD1内に記録された各情報を抽出する。これにより、情報処理装置800は、例えば、RAWファイルD1内に記録されたRAW本画像S309と、当該RAW本画像S309の撮影時の条件を示す撮影情報S311及びS321とを抽出する。このようにして抽出された撮影情報S311及びS321の中には、例えば、前述したアイドラー光の強度分布が含まれている。なお、情報処理装置800は、対象となるRAWファイルD1が既に解析済みの場合には、当該RAWファイルD1の解析に係る処理を改めて実行しなくてもよいことは言うまでもない。
情報処理装置800は、RAWファイルD1から抽出したRAW本画像S309と撮影情報S311及びS321とに基づきサンプルSの画像を生成し、生成した画像に対して画像処理を施してユーザに提示する。なお、画像処理の例としては、各種ノイズ補正に係る処理が挙げられる。そこで、以降では、ステップS313〜S315として、前述したレーザー光の強度の変動に伴うノイズの補正に係る処理について説明し、ステップS323〜S325として、レーザー光の強度の変動に伴うノイズとは異なる他のノイズの補正に係る処理について説明する。
(ステップS313)
まず、レーザー光の強度の変動に伴うノイズの補正に係る処理の内容について説明する。この場合には、まず情報処理装置800は、抽出したRAW本画像S309から、処理対象となる領域の画像を切り出し、切り出した当該領域に対応する部分画像を処理対象とする。
なお、処理対象となる領域は、例えば、情報処理装置800自身が、ユーザ入力に基づき取得してもよい。
また、他の一例として、画像取得装置1が、RAW本画像S309の撮影時に、観測対象となる領域の指定をユーザ入力として受けて、当該領域を示す制御情報を、RAWファイルD1に撮影情報S311として記録しておいてもよい。この場合には、情報処理装置800は、RAWファイルD1から撮影情報S311として記録された制御情報に基づき、処理対象となる領域を認識すればよい。
もちろん、切り出し処理を行わずに、RAW本画像S309を処理対象としてもよいことは言うまでもない。なお、以降の処理については、切り出された部分画像とRAW本画像S309自体とを特に区別せずに、単に「RAW本画像S309」として説明するものとする。
(ステップS315)
情報処理装置800は、撮影情報S311として抽出されたアイドラー光の強度分布により、RAW本画像S309上に顕在化したレーザー光の強度の変動に伴うノイズを補正する。本補正処理の内容は、前述した画像取得装置1が、アイドラー光の強度分布に基づき補正データを算出し、当該補正データに基づき蛍光の強度分布を補正する処理の内容と同様である。
なお、情報処理装置800は、ユーザ入力として指定された補正処理のパラメタに基づき、補正処理の内容を調整できるように構成してもよい。具体的な一例として、情報処理装置800は、ユーザ入力に基づき、RAW本画像S309に対して、アイドラー光の強度分布に基づく補正処理の適用量を調整できるようにしてもよい。
以上のようにして、情報処理装置800は、RAW本画像S309上に顕在化したレーザー光の強度の変動に伴うノイズを補正することで、調整後画像S317を生成する。
(ステップS323)
次に、レーザー光の強度の変動に伴うノイズとは異なる他のノイズの補正に係る処理について、εフィルタに基づくノイズ補正を行う場合を例に説明する。まず、情報処理装置800は、抽出したRAW本画像S309から、処理対象となる領域の画像を切り出し、切り出した当該領域に対応する部分画像を処理対象とする。本処理については、前述したステップS313に係る処理と同様である。
(ステップS323)
次いで、情報処理装置800は、抽出された撮影情報S321に基づきRAW本画像S309を補正する。
ここで、当該補正に係る処理の内容について、図26を参照しながら説明する。図26は、本実施形態に係る情報処理装置800のノイズ補正に関する処理の一例を示したフローチャートである。
(ステップS401)
まず、情報処理装置800は、RAW本画像S309から処理の基準となる画素を特定し、当該画素のレベル(画素値)を基準レベルとして算出する。
(ステップS403)
次に、情報処理装置800は、処理対象となる画素ごとに重み付けための閾値を計算する。このとき、情報処理装置800は、撮影情報S311として抽出されたアイドラー光の強度分布により、アイドラー光の強度が周囲の画素と比べて極端に変動している画素については、他の画素に比べて閾値を高く設定する。
(ステップS405)
処理対象となる画素ごとに閾値を算出したら、情報処理装置800は、算出した基準レベルと、処理対象の画素ごとに算出した閾値とに基づき、当該処理対象の画素ごとにレベルに関する重み付けを行う。
(ステップS407)
また、情報処理装置800は、処理対象となる画素ごとに、基準となる画素からの距離を算出する。
(ステップS409)
情報処理装置800は、処理対象となる画素ごとに算出した距離に基づき、当該処理対象の画素ごとに距離に関する重み付けを行う。
(ステップS411)
情報処理装置800は、処理対象となる画素ごとに算出した、レベルに関する重み付けと、距離に関する重み付けとに基づき、εフィルタを適用して平均化処理を行う。
(ステップS413)
以上のようにして、情報処理装置800は、一連の画素を処理対象としてノイズ補正処理を施されるまで(ステップS413、NO)、前述した一連の動作を実行する。そして、情報処理装置800は、一連の画素についてノイズ補正処理を施すことで(ステップS413、YES)、調整後画像S327を生成する。
(ステップS331)
ここで、再度図25を参照する。情報処理装置800は、調整後画像S317及びS327の少なくともいずれかを生成すると、生成した調整後画像を画像調整用U/I上の所定の領域に提示し、画像調整用U/Iの表示を更新する。これにより、ユーザは、生成された調整後画像を、画像調整用U/Iを介して確認することが可能となる。このとき、情報処理装置800は、生成した調整後画像を所定の記憶部(例えば、ハードディスク等のストレージ)に記憶させてもよい。
(ステップS333)
情報処理装置800は、上述した画像の調整及び調整後の画像の提示に係る一連の処理を、ユーザが画像調整の終了を指示するまで継続する(ステップS333、NO)。このとき、情報処理装置800は、生成した調整後画像に対して、ユーザからの指示に基づき、更に画像の調整に係る処理を実行できるようにしてもよい。
ユーザが画像調整の終了を指示した場合には(ステップS333、YES)、情報処理装置800は、上述した画像の調整及び調整後の画像の提示に係る一連の処理を終了する。
以上、図25及び図26を参照しながら、本実施形態に係る情報処理装置800のノイズ補正に関する処理の一例について説明した。以上のように、RAWファイルD1に対して、アイドラー光の強度分布のような関連情報を関連付けておくことで、情報処理装置800のような外部装置においても、画像取得装置1と同様に、レーザー強度の変動に基づくノイズを補正することが可能となる。
[1.11.まとめ]
以上、説明したように、本実施形態に係る画像取得装置1は、シグナル光を励起光とした場合に、当該励起光に基づく蛍光の強度分布を、アイドラー光の強度分布に基づき補正する。このような構成により、本実施形態に係る画像取得装置1は、例えば、レーザー光の強度が変動するような状況下においても、当該レーザー光の強度の変動に伴うノイズを補正して鮮明な画像を得ることが可能となる。
また、本実施形態に係る画像取得装置1は、アイドラー光の強度分布に基づき光源2から出射される励起光の強度を監視し、監視結果に基づき、光源2から出射されるレーザー光(ポンプ光)の強度を制御する。このような構成により、本実施形態に係る画像取得装置1は、例えば、レーザー光の強度が変動するような状況下においても、当該レーザー光の強度が安定するように制御することが可能となる。
以上のような特徴により、本実施形態に係る画像取得装置1は、光源2を同一筐体内に内蔵できるため、画像取得装置1自体を小型化することが可能となる。
また、比較例に係る画像取得装置1wのように光源を外部に設ける構成の場合には、当該光源として用いられるレーザーモジュールが、例えば、OEM(Original equipment manufacturer)等により提供され、その内部構造がブラックボックス化されており、詳細な制御が困難な場合も少なくない。そのため、比較例に係る画像取得装置1wは、レーザーモジュールを安定的に動作させるために低い出力で使用される場合が少なくはなく、当該レーザーモジュールの性能を十分に活かしきれない場合もあった。
これに対して、本実施形態に係る画像取得装置1は、上記に示したように、レーザー光の強度を制御するとともに、当該レーザー光の強度の変動に伴うノイズを補正する。そのため、本実施形態に係る画像取得装置1は、レーザーモジュールの出力を上げて使用したとしても鮮明な画像を得られるため、当該レーザーモジュールの性能を活かして使用することが可能である。
<2.第2の実施形態>
[2.1.画像取得装置の概要]
次に、第2の実施形態に係る画像取得装置について説明する。まず、本実施形態に係る画像取得装置の課題について整理する。
蛍光顕微鏡のような光源を要する画像取得装置は、例えば、使用する蛍光色素に依ってあらかじめ決められた励起波長を投光可能な固定波長のレーザー光源を用いている場合が少なくない。
しかしながら、サンプル中の蛍光基体が時間の経過とともに退色する場合があり、このような場合には、励起波長が変化するため、レーザー光源から出力される励起光の波長も変える必要がある。このような状況に対して、固定波長のレーザー光源を用いる構成により対応する場合には、複数種類のレーザー光源を設ける必要があるため、装置が大型化して使用者の利便性を著しく阻害し、装置自体も高価になる傾向にある。
また、サンプル中の蛍光基体の励起波長は、退色の度合いに応じて変化するため、固定波長のレーザー光源を複数設ける構成では、ユーザは使用するレーザー光源を適宜切り替えて当該蛍光基体が励起するレーザー光源を特定する必要があり、利便性が低下する場合がある。また、複数種類のレーザー光源を切り替えて用いる構成の場合には、退色が進んだサンプルから蛍光を励起できたとしても、必ずしもコントラストの高い画像を得られるとは限らない。
そこで、本開示では、サンプルの励起波長が変化する状況下においても、コントラストの高い画像を、より簡便な方法で得ることが可能な、新規かつ改良された画像取得装置及び画像取得方法を提案する。
具体的には、本実施形態に係る画像取得装置は、光源として、出力されるレーザー光(励起光)の波長を変更可能なレーザーモジュールを使用し、観測された蛍光の強度分布に基づき当該レーザー光の波長を制御する。これにより、本実施形態に係る画像取得装置は、例えば、観測者(ユーザ)が、観測結果を確認しながら光源2の動作を制御したり、光源2自体を切り替えるといった煩雑な作業を要することなく、コントラストの高い画像の取得を可能とする。
以降では、本実施形態に係る画像取得装置について、まず、光学系の構成について説明し、次いで、画像取得装置の機能構成について説明する。なお、本実施形態に係る画像取得装置を、第1の実施形態に係る画像取得装置1と区別するために、以降では「画像取得装置1a」と記載する場合がある。
[2.2.画像取得装置の構成]
<<2.2.1.光学系の構成>>
まず、図27を参照しながら、本実施形態に係る画像取得装置1aの光学系の構成について、特に、前述した第1の実施形態に係る画像取得装置1の光学系の構成(図14参照)と異なる部分に着目して説明する。なお、本説明では、前述した第1の実施形態と同様に、シグナル光を励起光としてサンプルSに向けて照射するものとして説明する。
本実施形態に係る画像取得装置1aは、PMT53で検出される蛍光(発色光)の強度に基づき、光源2から出射されるレーザー光(ポンプ光)の波長を制御する。そのため、必ずしも、前述した第1の実施形態に係る画像取得装置1のように、アイドラー光の強度を検出するためのPD54を設ける必要はない。
なお、励起光をサンプルSに向けて照射する構成については、前述した比較例に係る画像取得装置1wの光学系(図10参照)や第1の実施形態に係る画像取得装置1の光学系(図14参照)と同様である。即ち、光源2から出射された励起光は、ビーム整形用レンズ511、ガルバノミラー51、レンズ513、ミラー517、レンズ515及びダイクロイックミラー52を介して対物レンズ42に導光され、当該対物レンズ42によりサンプルSに向けて集光される。
また、サンプルSに励起光が照射されると、サンプルSのある分子が、当該励起光により励起されて蛍光を発し、当該蛍光が、対物レンズ42、ダイクロイックミラー52、結像レンズ521、及びエミッションフィルタ523を介してPMT53の検出面に結像する。このとき、エミッションフィルタ523により、上記対物レンズ42によって拡大された、発色光以外の光(外光)が吸収され(即ち、発光色のみが透過し)、当該外光が喪失された発色光の像が、PMT53上に結像される。
<<2.2.2.画像取得装置の機能構成>>
次に、図28を参照しながら、本実施形態に係る画像取得装置1aの機能構成の一例について説明する。図28に示すように、本実施形態に係る画像取得装置1aは、光源2と、測定部3と、制御部6aと、I/F7とを含む。また、測定部3は、顕微鏡ユニット4と、走査系(検出系)5aとを含む。なお、光源2、顕微鏡ユニット4、及びI/F7の構成は、前述した第1の実施形態に係る画像取得装置1と同様である。そのため、以降では、特に、第1の実施形態に係る画像取得装置1と異なる、走査系(検出系)5a及び制御部6aの構成に着目して説明する。なお、図28に示す例において、走査系(検出系)5aの各構成は、図27に示した光学系において同様の符号が付された構成に対応している。また、図28に示す例では、図27に示した構成のうち一部を省略している。
図28に示すように、本実施形態に係る走査系(検出系)5aは、アイドラー光を測定するためのPD54を、必ずしも含む必要がない点で、前述した第1の実施形態に係る走査系(検出系)5(図15参照)と異なる。なお、その他の構成については、前述した第1の実施形態に係る走査系(検出系)5と同様である。
即ち、光源2から出射された励起光は、走査系(検出系)5aと顕微鏡ユニット4とを介してサンプルSに照射される。また、照射された励起光によりサンプルSから生じた蛍光は、顕微鏡ユニット4を介して走査系(検出系)5aに導かれ、走査系(検出系)5aのPMT53で検出される。PMT53は、あらかじめ設定されたサンプリングレートで、検出された蛍光を光電効果により電気信号に変換し、当該蛍光の強度を示すデータとして制御部6aに出力する。
制御部6aは、システム制御部61aと、分布情報生成部62aと、補正処理部63と、画像処理部64と、RAW画像生成部65と、記憶部66と、表示制御部67と、通信制御部68とを含む。なお、本実施形態に係る制御部6aは、特に、システム制御部61a及び分布情報生成部62aの構成が、前述した第1の実施形態に係る制御部6(図15及び図16参照)と異なる。
ここで、図29を参照しながら、システム制御部61a及び分布情報生成部62aの詳細な構成について説明する。図29に示すように、分布情報生成部62aは、二次元化処理部625を含む。また、システム制御部61aは、波長制御量決定部613を含む。
二次元化処理部625は、PMT53で検出された(測定された)蛍光の強度を示すデータを、あらかじめ設定されたサンプリングレートで、当該PMT53から逐次取得する。また、二次元化処理部625は、ガルバノミラー51の制御内容を示す制御情報をシステム制御部61から逐次取得する。そして、二次元化処理部625は、PMT53から逐次取得した蛍光の強度を示すデータを、システム制御部61から取得した制御情報に基づき並べて二次元化することで、検出された蛍光の強度分布を生成する。
二次元化処理部625は、生成した蛍光の強度分布を、波長制御量決定部613、補正処理部63及びRAW画像生成部65に出力する。
なお、二次元化処理部625から出力された蛍光の強度分布は、補正処理部63によりノイズ除去等の補正処理が施されて画像処理部64に出力される。画像処理部64は、補正処理施された強度分布に対して、圧縮処理等の画像処理を施すことで画像データを生成する。生成された画像データは、例えば、表示制御部67に出力され、当該表示制御部67により、表示部72に表示される。これにより、ユーザは、表示部72を介してサンプルSの画像を確認することが可能となる。
波長制御量決定部613は、二次元化処理部625から、生成された蛍光の強度分布を取得し、当該蛍光の強度分布のコントラストを向上させるように、光源2から出射されるレーザー光(励起光)の波長(周波数)の制御量を決定する。波長制御量決定部613によりレーザー光の波長の制御量が決定されると、当該制御量に基づき、システム制御部61が、当該光源2から出射されるレーザー光の波長を制御する。
光源2から出射されるレーザー光の波長が制御されると、二次元化処理部625により、当該制御後のレーザー光に基づく蛍光の強度分布が取得され、取得された蛍光の強度分布が波長制御量決定部613に出力される。波長制御量決定部613は、改めて取得した蛍光の強度分布を評価し、当該蛍光の強度分布のコントラストを向上させるように、レーザー光の波長の制御量を算出する。
以上の動作を繰り返すことで、システム制御部61及び波長制御量決定部613により、例えば、蛍光の強度分布のコントラストが最大となるように、光源2から出射されるレーザー光の波長が制御される。
なお、波長制御量決定部613は、取得した蛍光の強度分布中において、ユーザに観測対象として指定された領域を対象にコントラストを評価して、レーザー光の波長の制御量を決定してもよい。
この場合には、表示制御部67は、蛍光の強度分布に基づき作成された画像データとともに、当該画像データ中の領域を指定するためのU/Iを表示部72に表示するとよい。これにより、ユーザは、表示部72に表示された画像に対して、観測対象となる領域を、条件指定部71を介して指定することが可能となる。
例えば、図30は、観測対象の指定方法の一例について説明するための図である。図30において、参照符号V20は、表示部72に表示された画像を示しており、参照符号V21は、ユーザにより観測対象として指定された領域を模式的に示している。なお、領域V21の形状は、画像V20中の少なくとも一部の領域を指定できれば、必ずしも図30に示すような円形形状には限定されない。例えば、領域V21の形状は、矩形形状であってもよいし、ユーザにより指定された任意の形状であってもよい。
波長制御量決定部613は、表示部72に表示されたサンプルSの画像V20に対して、ユーザが条件指定部71を介して指定した画像中の領域V21を示す情報を、条件指定部71から取得する。なお、画像V20の座標系と、蛍光の強度分布の座標系とは対応している。そのため、波長制御量決定部613は、条件指定部71から取得した領域V21を示す情報に基づき、ユーザが画像V20に対して指定した領域V21に対応する、蛍光の強度分布上の領域を認識する。
なお、ユーザにより観測対象として指定された領域V21を示す情報を取得した場合には、波長制御量決定部613は、蛍光の強度分布上における当該領域V21を対象として、コントラストを向上させるように、レーザー光の波長の制御量を決定すればよい。
また、システム制御部61は、ユーザからの指定に基づきレーザー光の波長を制御(調整)できるようにしてもよい。具体的な一例として、システム制御部61は、波長制御後の蛍光の強度分布に基づき作成された画像に対して、さらに調整が必要か否かをユーザに指定させることで、当該指定に基づきレーザー光の波長を更に制御するか否かを判断できるようにしてもよい。
この場合には、例えば、表示制御部67が、波長制御後の蛍光の強度分布に基づき作成された画像データを、表示部72を介してユーザに提示し、システム制御部61は、さらに調整が必要か否かを示すユーザの指定を条件指定部71から取得する。
システム制御部61は、ユーザにより、さらに調整が必要である旨の指定を受けた場合には、波長制御量決定部613に、改めてレーザー光の波長の制御量を算出させてもよい。また、このとき、システム制御部61は、レーザー光の波長の制御量の算出に係る条件(例えば、コントラストの判定に係る閾値等のパラメタ)を制御するように、波長制御量決定部613を制御してもよい。
また、他の一例として、レーザー光の波長をユーザが直接的または間接的に指定できるように、システム制御部61を動作させてもよい。具体的な一例として、システム制御部61は、ユーザからコントラストの調整に係る指定(例えば、コントラストを上げ下げや調整量の指定)を受けて、指定されたコントラストの調整内容に基づき、レーザー光の波長を制御してもよい。
このようにシステム制御部61は、蛍光の強度分布のコントラストを向上させるように自動でレーザー光の波長を制御することが可能であり、また、ユーザからの指示に基づき当該レーザー光の波長を制御することも可能である。このような構成により、例えば、システム制御部61を、蛍光の強度分布のコントラストが最大となるように自動でレーザー光の波長を制御した後、ユーザからの指示に基づき、当該レーザー光の波長を微調整するように動作させることも可能である。
なお、レーザー光の波長の制御量の決定と、当該制御量に基づくレーザー光の波長制御との詳細な内容については、「2.5.波長制御の詳細」として別途後述する。
RAW画像生成部65は、二次元化処理部625から蛍光の強度分布を取得し、当該蛍光の強度分布を画像データ(RAW画像)として、所定のファイルフォーマットに整形することでRAWファイルを生成してもよい。このとき、RAW画像生成部65は、蛍光の強度分布の取得条件(例えば、撮影時のパラメタのような撮影条件や走査条件)のように、当該蛍光の強度分布に関連する情報をシステム制御部61から取得し、取得した情報を関連情報として、生成したRAWファイルに関連付けてもよい。
特に、本実施形態に係るRAW画像生成部65は、例えば、図30に示すように、画像V20中にユーザが指定した領域V21を示す情報や、当該領域V21中の画像を、関連情報としてRAWファイルに関連付けてもよい。
また、RAW画像生成部65は、波長制御量決定部613が決定したレーザー光(励起光)の波長(周波数)の制御量を示す制御情報を、関連情報としてRAWファイルに関連付けてもよい。このようにレーザー光の波長の制御量を示す制御情報を関連情報としてRAWファイルに関連付けることで、例えば、情報処理装置800の外部装置が、当該制御量に基づきサンプルの退色の度合いを認識することが可能である。
なお、RAW画像生成部65は、システム制御部61による自動調整に基づき決定された制御情報と、ユーザの指示に基づき変更された制御情報とを別々に関連情報としてRAWファイルに関連付けてもよい。また、RAW画像生成部65は、各条件に基づき取得された蛍光の強度分布に基づく画像(例えば、圧縮等の画像処理が施された画像)を、制御情報とあわせてRAWファイルに関連付けてもよい。このように、RAW画像生成部65は、レーザー光の波長の制御量を示す制御情報や、当該制御量に応じて制御されたレーザー光に基づき取得された画像を、複数の条件にわたって当該条件ごとにRAWファイルに関連付けてもよい。
以上、図27〜図30を参照しながら、本実施形態に係る画像取得装置1aの構成について説明した。次に、本実施形態に係る画像取得装置1aの各構成の更に詳細な内容について説明する。
[2.3.RAWファイルのファイルフォーマット]
まず、図31を参照しながら、本実施形態に係るRAWファイルD1aのファイルフォーマットの一例について説明する。図31は、本実施形態に係るRAWファイルD1aのファイルフォーマットの一例を示した図である。
図31に示すように、本実施形態に係るRAWファイルD1は、例えば、データ領域d10と、基本制御情報領域d30と、拡張領域d20aとを含む。なお、データ領域d10及び基本制御情報領域d30の構成については、前述した第1の実施形態に係るRAWファイルD1(図19参照)と同様のため、詳細な説明は省略する。
図31に示すように、拡張領域d20は、メーカーノートIFDd21を含む。メーカーノートIFDd21は、カメラ制御モードなどのEXIFに規定されていない情報を格納するためのIFDであり、画像取得装置1に固有の撮影情報や制御情報も格納される。
本実施形態に係るメーカーノートIFDd21は、例えば、撮影条件d211と、初期撮影画像d221と、ユーザが指定したターゲット画像d222と、ユーザの指定した可変範囲d223と、自動調整に基づくパラメタd224と、観察者の指定したパラメタd225と、自動調整後画像d226とを含む。なお、撮影条件d211は、前述した第1の実施形態に係るRAWファイルD1と同様である。
初期撮影画像d221は、波長制御量決定部613が決定した制御量に基づき、システム制御部61が波長を制御する前に取得された蛍光の強度分布に基づく画像である。換言すると、初期撮影画像d221は、観測対象となるサンプルSに応じてあらかじめ決められた波長(即ち、初期設定)のレーザー光を励起光として取得された蛍光の強度分布に基づく画像を示している。
ユーザが指定したターゲット画像d222は、撮像された画像のうち、ユーザが観測対象として指定した領域に相当する部分を切り出した画像を示している。例えば、図31に示す例の場合には、ユーザが指定したターゲット画像d222は、画像V20から領域V21で示された部分を切り出した画像に相当する。
また、ユーザの指定した可変範囲d223は、撮像された画像中において、ユーザにより観測対象として指定された領域を示す情報である。例えば、図31に示す例の場合には、ユーザの指定した可変範囲d223は、領域V21を示す制御情報に相当する。なお、領域を示す制御情報は、例えば、撮像された画像中の座標やベクトルにより表現することが可能である。
自動調整に基づくパラメタd224は、システム制御部61による自動調整により決定された光源2から出射されるレーザー光の波長のように、当該自動調整時にシステム制御部61が決定したパラメタを示している。具体的な一例として、自動調整に基づくパラメタD224は、撮像された画像のコントラストが最大となるように調整が行われた場合の、各パラメタ(例えば、レーザー光の波長)を示している。なお、自動調整に基づくパラメタD224は、システム制御部61による自動調整により決定された当該パラメタに基づく光源2の制御に応じて取得された蛍光の強度分布に基づく画像(例えば、圧縮等の画像処理が施された画像)を含んでもよい。
観察者の指定したパラメタd225は、ユーザからの指定に基づきシステム制御部61が決定したパラメタを示している。観察者の指定したパラメタd225は、ユーザからの指定により決定された当該パラメタに基づく光源2の制御に応じて取得された蛍光の強度分布に基づく画像(例えば、圧縮等の画像処理が施された画像)を含んでもよい。
このように、RAWファイルD1aにレーザー光(励起光)の波長(周波数)の制御量を示す関連情報(即ち、自動調整に基づくパラメタd224や観察者の指定したパラメタd225)を記録しておくことで、例えば、情報処理装置800の外部装置は、当該関連情報に基づき、サンプルの退色の度合いを認識することが可能となる。また、当該パラメタに基づく光源2の制御に応じて取得された蛍光の強度分布に基づく画像を記録しておくことで、情報処理装置800の外部装置は、各条件に応じた画像を、当該画像の取得条件(即ち、パラメタ)とあわせてユーザに提示することが可能となる。
自動調整後画像d226は、最終的に決定されたパラメタに基づく光源2の制御に応じて取得された蛍光の強度分布に基づく画像を示している。なお、自動調整後画像d226は、ユーザの指定した可変範囲d223に基づき、切り出された画像であってもよい。
以上、図31を参照しながら、本実施形態に係るRAWファイルD1aのファイルフォーマットについて説明した。なお、上記に示すRAWファイルD1aのファイルフォーマットはあくまで一例であり、必ずしも全ての情報を含まなくてもよいことは言うまでもない。
[2.4.画像取得装置の動作の流れ]
次に、図32を参照しながら、本実施形態に係る画像取得装置1aの一連の動作の流れについて説明する。図32は、本同実施形態に係る画像取得装置1aの一連の動作についてその流れの一例を示したフローチャートである。
(ステップS501)
まず、画像取得装置1aの制御部6aは、測定対象となるサンプルSに応じて光源2から出射される励起光の波長を制御する(即ち、初期設定に基づき制御する)。制御部6aの制御に基づき光源2から出射された励起光は、測定部3(即ち、走査系(検出系)5a及び顕微鏡ユニット4)によりサンプルSに向けて導光される。そして、測定部3は、光源2から出射される励起光によりサンプルS上を走査し、当該サンプルSから出射された蛍光を検出する。測定部3は、蛍光の検出結果を制御部6aに出力する。
制御部6aは、測定部3から取得した蛍光の検出結果に基づき蛍光の強度分布を生成し、当該蛍光の強度分布に所定の画像処理(例えば、ノイズ除去処理や圧縮処理)を施して画像データを生成する。そして、制御部6aは、生成した画像データとともに、該画像データ中の領域を指定するためのU/Iを表示部72に表示するとよい。これにより、ユーザは、表示部72に表示された画像に対して、観測対象となる領域を、条件指定部71を介して指定することが可能となる。
(ステップS503)
制御部6aは、条件指定部71を介して、ユーザ入力に基づく、画像データ中における観測対象となる領域の指定を受ける。なお、このユーザにより指定された領域が可変範囲に相当し、当該領域中の対象物(サンプルSの一部)がターゲットとなる。
(ステップS51)
制御部6aは、ユーザ入力に基づき指定された領域内の画像を対象として、当該画像中の対象物が鮮明に表示されるように(例えば、当該領域中のコントラストが最大となるように)、光源2から出射される励起光の波長を制御する。なお、詳細については、「2.5.波長制御の詳細」として別途後述する。
(ステップS505)
制御部6aは、光源2から出射される励起光の波長を制御したら、波長制御後の励起光に基づく蛍光の強度分布を取得し、取得した蛍光の強度分布に基づき画像データを生成する。そして、制御部6aは、生成した画像データを表示部72に表示させる。これにより、ユーザは、光源2から出射される励起光の波長の制御に基づき、調整が施された画像を確認することが可能となる。
(ステップS507)
なお、本実施形態に係る画像取得装置1aは、調整が施された画像に対して更に調整が必要か否かについて、ユーザからの指示を受け付けてもよい。この場合には、例えば、画像取得装置1aは、ユーザから更に調整が必要と指示された場合には(ステップS507、NO)、条件(例えば、コントラストの判定に係る閾値等のパラメタ)を変更して、再度励起光の波長を制御する。
(ステップS509)
調整後の画像に対してユーザからさらなる調整が不要と指示された場合には(ステップS507、YES)、本実施形態に係る画像取得装置1aは、その時点での励起光に基づき取得された蛍光の強度分布を基にRAWファイルD1を生成する。
以上、図32を参照しながら、本実施形態に係る画像取得装置1aの一連の動作の流れについて説明した。なお、上記に示した画像取得装置1aの一連の動作は、あくまで一例であり、必ずしも上記に示した動作の流れには限定されない。具体的な一例として、励起光の波長をユーザが直接的または間接的に指定できるように、画像取得装置1aを動作させてもよい。
[2.5.波長制御の詳細]
<<2.5.1.波長制御の原理:複数の観測波長により試料を観測する場合>>
次に、図33〜図36を参照しながら、本実施形態に係る制御部6aによる、光源2から出射されるレーザー光の波長の制御に係る動作の詳細について説明する。なお、本説明では、図33〜図35を参照しながら、実施形態に係る画像取得装置1aにおける波長制御の原理について、複数(例えば、2つ)の観測波長で試料の組成を識別する場合を例に説明する。また、単一の観測波長で試料の組成を測定する場合については、「2.3.3.波長制御の一態様:単一の観測波長により試料を観測する場合」として別途後述する。
まず、図33を参照する。図33は、光源2から出射されるレーザー光の波長制御の原理について説明するための説明図光源2から出力されるレーザー光の波長と、サンプルS中に含まれる蛍光色素の励起スペクトル及び蛍光スペクトルとの関係の一例を示している。なお、以降では、サンプルS中の互いに異なる2種類の蛍光色素F1及びF2を観測対象とし、当該蛍光色素F1及びF2を発光させるための励起光の波長(以降では「発光波長」と呼ぶ場合がある)をそれぞれλ1及びλ2とするものとして説明する。
図33において、横軸は波長[nm]を示し、縦軸は相対効率[%]を示している。また、参照符号g11は、蛍光色素F1の励起スペクトルを示しており、参照符号g12は、蛍光色素F1の蛍光スペクトルを示している。また、参照符号g21は、蛍光色素F2の励起スペクトルを示しており、参照符号g22は、蛍光色素F2の蛍光スペクトルを示している。
また、蛍光波長分布(即ち、蛍光スペクトル)g12により求まる、発光波長λ1における蛍光色素F1及びF2の蛍光相対効率をE11=E(λ1,F1)及びE12=E(λ1,F2)とする。また、蛍光波長分布(即ち、蛍光スペクトル)g22により求まる、発光波長λ2における蛍光色素F1及びF2の蛍光相対効率をE21=E(λ2,F1)及びE22=E(λ2,F2)とする。
また、光源2は、出力されるレーザー光の波長を、波長λH〜λLの間で定義される帯域W1内において、波長λsごとに波長を制御可能に構成されているものとする。
本実施形態に係る画像取得装置1aの制御部6aは、発光波長λ1及びλ2それぞれについて取得された蛍光の強度分布を合成することで2色の識別画像を生成する。例えば、図34は、光源から出射されるレーザー光の波長制御の原理について説明するための説明図であり、発光波長λ1及びλ2それぞれについて取得された蛍光の強度分布を合成することで生成された2色の識別画像の一例を示している。
図34において、参照符号V11aは、発光波長λ1の場合の蛍光の強度分布を示しており、参照符号V12aは、発光波長λ2の場合の蛍光の強度分布を示している。また、参照符号V13aは、蛍光の強度分布V11a及びV12aを合成することで得られる2色の識別画像の一例を示している。
図34に示すように、発光波長λ1及びλ2それぞれについて取得された蛍光の強度分布V11a及びV12aを合成した場合に、得られる識別画像V13aは、必ずしもコントラストが高くなるとは限らない。
そこで、本実施形態に係る画像取得装置1aの制御部6a(具体的には、システム制御部61a)は、例えば、識別画像V13aのコントラストが最大となるように、発光波長λ1及びλ2を制御して、発光波長λ1及びλ2それぞれに基づき得られる蛍光の強度の割合を調整する。
以下に、システム制御部61aが、発光波長λ1及びλ2それぞれに基づき得られる蛍光の強度分布を合成することで生成された2色の識別画像のコントラストの算出する処理の一例について、図35を参照しながら説明する。図35は、光源2から出射されるレーザー光の波長制御の原理について説明するための説明図であり、複数の観測波長により試料を観測する場合におけるコントラストの算出方法の一例について説明するための図である。
図35において、参照符号V11は、発光波長λ1の場合の蛍光の強度分布を示しており、参照符号V12は、発光波長λ2の場合の蛍光の強度分布を示している。また、参照符号V13は、蛍光の強度分布V11及びV12を合成することで得られる2色の識別画像の一例を示している。
まず、システム制御部61aは、蛍光相対効率E11=E(λ1,F1)、E12=E(λ1,F2)、E21=E(λ2,F1)、及びE22=E(λ2,F2)に基に、以下に示す式12が最大となるように、発光波長λ1及びλ2の初期値を算出する。
Figure 2015114420
なお、蛍光色素F1及びF2それぞれの励起スペクトル及び蛍光スペクトルを示すデータは、例えば、記憶部66をデータベースとして構成し、当該データベース上にあらかじめ記憶させておけばよい。これにより、システム制御部61aは、記憶部66(データベース)に記憶された蛍光色素F1及びF2それぞれの励起スペクトル及び蛍光スペクトルを示すデータに基づき、蛍光相対効率E11、E12、E21、及びE22を算出すれことが可能となる。
以上のようにして、発光波長λ1及びλ2の初期値を決定したら、システム制御部61aは、決定した発光波長λ1及びλ2のレーザー光が出力されるように光源2を制御し、発光波長λ1及びλ2それぞれに基づく蛍光の強度分布を取得する。これにより、発光波長λ1及びλ2の初期値に基づく蛍光の強度分布V11及びV12が取得される。
次に、システム制御部61aは、取得した蛍光の強度分布V11から、輝度の高い(例えば、輝度が最大の)座標V111=(x1,y1)を特定する。同様に、システム制御部61aは、取得した蛍光の強度分布V12から、輝度の高い座標V121=(x2,y2)を特定する。
座標V111及びV121を特定したら、システム制御部61aは、蛍光の強度分布V11中における座標V111及びV121の輝度L(λ1,x1,y1)及びL(λ1,x2,y2)を算出する。同様に、システム制御部61aは、蛍光の強度分布V12中における座標V111及びV121の輝度L(λ2,x1,y1)及びL(λ2,x2,y2)を算出する。
システム制御部61aは、算出した輝度L(λ1,x1,y1)、L(λ1,x2,y2)、L(λ2,x1,y1)、及びL(λ2,x2,y2)と、以下に示す式13とに基づき、コントラストC(λ1,λ2)を算出する。
Figure 2015114420
以上のようにして、発光波長λ1及びλ2それぞれに基づき得られる蛍光の強度分布V11及びV13を合成することで生成された2色の識別画像V13のコントラストC(λ1,λ2)が算出される。
なお、システム制御部61aは、発光波長λ1及びλ2の制御と、制御後の発光波長λ1及びλ2に基づくコントラストC(λ1,λ2)の算出及び評価とを繰り返すことで、コントラストC(λ1,λ2)が最大となるように発光波長λ1及びλ2を調整すればよい。
次に、図36を参照しながら、複数の観測波長により試料を観測する場合における、システム制御部61aによる発光波長λ1及びλ2の制御の流れについて説明する。図36は、光源2から出射されるレーザー光の波長制御に係る処理の流れについて説明するためのフローチャートであり、複数の観測波長により試料を観測する場合の一例について示している。
(ステップS511)
まず、システム制御部61aは、蛍光相対効率E11=E(λ1,F1)、E12=E(λ1,F2)、E21=E(λ2,F1)、及びE22=E(λ2,F2)に基に発光波長λ1及びλ2の初期値を算出する。なお、発光波長λ1及びλ2の初期値は、前述した式12が最大となるように算出すればよい。
(ステップS513)
次いで、システム制御部61aは、光源2から出射される励起光の波長が、算出した発光波長λ1となるように制御する。これにより、測定部3aから、当該制御後の励起光に基づく蛍光の検出結果が分布情報生成部62aに出力される。そして、分布情報生成部62aは、取得した蛍光の検出結果に基づき、発光波長λ1に基づく蛍光の強度分布V11を生成する。分布情報生成部62aは、生成した蛍光の強度分布V11をシステム制御部61aに出力する。以上のようにして、システム制御部61aは、当該制御後の励起光に基づく蛍光の強度分布V11を、当該分布情報生成部62aから取得する。
(ステップS515)
また、システム制御部61aは、光源2から出射される励起光の波長が、算出した発光波長λ2となるように制御する。これにより、測定部3aから、当該制御後の励起光に基づく蛍光の検出結果が分布情報生成部62aに出力される。そして、分布情報生成部62aは、取得した蛍光の検出結果に基づき、発光波長λ2に基づく蛍光の強度分布V12を生成する。分布情報生成部62aは、生成した蛍光の強度分布V12をシステム制御部61aに出力する。以上のようにして、システム制御部61aは、当該制御後の励起光に基づく蛍光の強度分布V12を、当該分布情報生成部62aから取得する。
(ステップS517)
システム制御部61aは、生成した発光波長λ1及びλ2それぞれに基づく蛍光の強度分布V11及びV12を基に、コントラストC(λ1,λ2)を算出する。
(ステップS521)
システム制御部61aは、以上の処理を、発光波長λ1及びλ2を調整しながら、コントラストC(λ1,λ2)が最大となるまで継続し(ステップS519、NO)、コントラストC(λ1,λ2)が最大となったら一連の処理を終了する(ステップS519、YES)。
次に、システム制御部61aが、コントラストC(λ1,λ2)が最大となる発光波長λ1及びλ2を特定する方法の一例について説明する。
まず、システム制御部61aは、発光波長λ1及びλ2がともに初期値の場合を基準状態として、当該基準状態から発光波長λ1をプラス方向にλs変化させた場合と、マイナス方向にλs変化させた場合とについて蛍光の強度分布V11を取得する。そして、システム制御部61aは、取得した蛍光の強度分布V11それぞれに基づきコントラストC(λ1,λ2)を算出し、コントラストC(λ1,λ2)が増加する発光波長λ1の変化方向を特定する。
同様に、システム制御部61aは、基準状態から発光波長λ2をプラス方向にλs変化させた場合と、マイナス方向にλs変化させた場合とについて蛍光の強度分布V12を取得する。そして、システム制御部61aは、取得した蛍光の強度分布V12の分布それぞれに基づきコントラストC(λ1,λ2)を算出し、コントラストC(λ1,λ2)が増加する発光波長λ2の変化方向を特定する。
次いで、システム制御部61aは、基準状態から、発光波長λ1及びλ2それぞれについて、特定した方向にλsずつ複数回(例えば、2回)変化させて、当該変化ごとにコントラストC(λ1,λ2)を算出する。そして、システム制御部61aは、コントラストC(λ1,λ2)の算出結果に基づき、発光波長λ1及びλ2のうち、コントラストC(λ1,λ2)の変化量が大きい発光波長(即ち、制御前後においてコントラストC(λ1,λ2)の差が大きい発光波長)を特定する。なお、以降では、発光波長λ1を変化させた方が、発光波長λ2を変化させた場合に比べてコントラストC(λ1,λ2)の変化量が大きいものとして説明する。
システム制御部61aは、発光波長λ2側を固定し、発光波長λ1を特定した方向にλsずつ変化させながらコントラストC(λ1,λ2)を算出することで、コントラストC(λ1,λ2)が最大となる発光波長λ1を特定する。
次いで、システム制御部61aは、発光波長λ1側を固定し、発光波長λ2を特定した方向にλsずつ変化させながらコントラストC(λ1,λ2)を算出することで、コントラストC(λ1,λ2)が最大となる発光波長λ2を特定する。
以上のようにして、システム制御部61aは、コントラストC(λ1,λ2)が最大となる発光波長λ1及びλ2を特定する。なお、上記に示す例はあくまで一例であり、コントラストC(λ1,λ2)が最大となる発光波長λ1及びλ2を特定できれば、その方法は特に限定されないことは言うまでもない。
以上、図33〜図36を参照しながら、本実施形態に係る制御部6aによる、光源2から出射されるレーザー光の波長の制御に係る動作の詳細について、複数の観測波長で試料の組成を識別する場合を例に説明した。
<<2.5.2.波長制御の一態様:単一の観測波長により資料を観測する場合>>
次に、本実施形態に係るシステム制御部61aによる、光源2から出射されるレーザー光の波長の制御に係る動作の一態様として、単一の観測波長により資料を観測する場合について説明する。なお、本説明では、システム制御部61aは、サンプルS中の蛍光色素F1を対象とし、発光波長λ1を制御するものとして説明する。
この場合には、まず、システム制御部61aは、蛍光相対効率E11=E(λ1,F1)が最大となるように、発光波長λ1の初期値を決定する。なお、システム制御部61aは、蛍光相対効率E11が最大となる発光波長λ1を、蛍光色素F1の励起スペクトルのピーク値に基づき算出すればよい。
次いで、システム制御部61aは、発光波長λ1が初期値の場合を基準状態として、当該基準状態から発光波長λ1をプラス方向にλs変化させた場合と、マイナス方向にλs変化させた場合とについて蛍光の強度分布V11を取得する。そして、システム制御部61aは、取得した蛍光の強度分布V11のコントラストを算出し、コントラストが増加する発光波長λ1の変化方向を特定する。なお、蛍光の強度分布V11のコントラストの算出方法としては、例えば、当該強度分布V11中の画素値の最大値及び最小値に基づくコントラストの算出方法のように、所謂、一般的なコントラストの算出方法適用することが可能である。
コントラストが増加する発光波長λ1の変化方向を特定したら、システム制御部61aは、発光波長λ1を当該変化方向にλsずつ変化させながらコントラストを算出し、当該コントラストが最大となる発光波長λ1を特定する。
以上のようにして、システム制御部61aは、コントラストが最大となる発光波長λ1を特定する。なお、上記に示す例はあくまで一例であり、コントラストが最大となる発光波長λ1を特定できれば、その方法は特に限定されないことは言うまでもない。
[2.6.まとめ]
以上説明したように、本実施形態に係る画像取得装置1aは、出力されるレーザー光(励起光)の波長を制御可能なレーザーモジュールを光源2として使用し、観測された蛍光の強度分布に基づき当該レーザー光の波長を制御する。このような構成により、本実施形態に係る画像取得装置1aは、例えば、観測者(ユーザ)が、観測結果を確認しながら光源2の動作を制御したり、光源2自体を切り替えるといった煩雑な作業を要することなく、コントラストの高い画像の取得を可能とする。
また、本実施形態に係る画像取得装置1aは、温度の上昇に伴いレーザー光の波長が変化するような状況下においても、取得される蛍光の強度分布のコントラストが最大となるようにレーザー光の波長を制御することが可能である。そのため、本実施形態に係る画像取得装置1は、例えば、光源2を同一筐体内に内蔵したとしても、レーザー光の波長を安定させることが可能なため、画像取得装置1a自体を小型化することが可能となる。
<3.第3の実施形態>
[3.1.画像取得装置の概要]
次に、第3の実施形態に係る画像取得装置について説明する。前述した第1の実施形態では、光源2からの出射光の強度制御及び補正について説明し、第2の実施形態では、光源2からの出射光の波長制御について説明したが、これらを組み合わせて実行してもよいことは言うまでもない。そこで、第3の実施形態では、前述した第1の実施形態に係る画像取得装置1と、第2の実施形態に係る画像取得装置1aとを組み合わせた構成について説明する。なお、以降では、本実施形態に係る画像取得装置を、前述した第1の実施形態に係る画像取得装置1及び第2の実施形態に係る画像取得装置1aのそれぞれと区別するために、「画像取得装置1b」と記載する場合がある。
[3.2.画像取得装置の構成]
<<3.2.1.光学系の構成>>
まず、本実施形態に係る画像取得装置1bの光学系の構成について説明する。本実施形態に係る画像取得装置1bの光学系の構成は、図14に示した第1の実施形態に係る画像取得装置1の光学系と同様である。
即ち、本実施形態に係る画像取得装置1bでは、光源2は、波長変換モジュール(OPO)250を備え、入力されたレーザー光(ポンプ光)を2つの波長のレーザー光(即ち、シグナル光及びアイドラー光)に変換して出力する。本実施形態に係る画像取得装置1bでは、光源2から出力されるシグナル光及びアイドラー光のうち、いずれか一方を励起光としてサンプルSに向けて照射する。なお、以降では、シグナル光を励起光としてサンプルSに向けて照射するものとして説明する。
また、励起光をサンプルSに向けて照射する構成については、前述した比較例に係る画像取得装置1wの光学系(図10参照)や各実施形態に係る画像取得装置の光学系(図14、図27参照)と同様である。即ち、光源2から出射された励起光は、ビーム整形用レンズ511、ガルバノミラー51、レンズ513、ミラー517、レンズ515及びダイクロイックミラー52を介して対物レンズ42に導光され、当該対物レンズ42によりサンプルSに向けて集光される。
また、サンプルSに励起光が照射されると、サンプルSのある分子が、当該励起光により励起されて蛍光を発し、当該蛍光が、対物レンズ42、ダイクロイックミラー52、結像レンズ521、及びエミッションフィルタ523を介してPMT53の検出面に結像する。このとき、エミッションフィルタ523により、上記対物レンズ42によって拡大された、発色光以外の光(外光)が吸収され(即ち、発光色のみが透過し)、当該外光が喪失された発色光の像が、PMT53上に結像される。
<<3.2.2.画像取得装置の機能構成>>
次に、図37を参照しながら、本実施形態に係る画像取得装置1bの機能構成の一例について説明する。図37に示すように、本実施形態に係る画像取得装置1bは、光源2と、測定部3と、制御部6bと、I/F7とを含む。また、測定部3は、顕微鏡ユニット4と、走査系(検出系)5とを含む。なお、光源2、顕微鏡ユニット4、走査系(検出系)5、及びI/F7の構成は、述した第1の実施形態に係る画像取得装置1と同様である。そのため、以降では、以降では、特に、第1の実施形態に係る画像取得装置1と異なる、制御部6bの構成に着目して説明する。なお、図37に示す例において、走査系(検出系)5の各構成は、図14に示した光学系において同様の符号が付された構成に対応している。また、図37に示す例では、図14に示した構成のうち一部を省略している。
図37に示すように、照射された励起光によりサンプルSから生じた蛍光は、顕微鏡ユニット4を介して走査系(検出系)5に導かれ、走査系(検出系)5のPMT53で検出される。PMT53は、あらかじめ設定されたサンプリングレートで、検出された蛍光を光電効果により電気信号に変換し、当該蛍光の強度を示すデータとして制御部6bに出力する。
また、PD54は、アイドラー光の強度を、あらかじめ設定されたサンプリングレートで測定する。PD54は、測定したアイドラー光の強度を電気信号に変換し、当該アイドラー光の強度を示すデータとして制御部6に出力する。なお、PD54に替えて、励起光(シグナル光)の強度を測定するPD56を設けてもよい。このように、PMT53、PD54、及びPD56の構成は、前述した第1の実施形態に係る画像取得装置1と同様である。
また、図37に示すように、制御部6bは、システム制御部61bと、分布情報生成部62bと、補正処理部63と、画像処理部64と、RAW画像生成部65と、記憶部66と、表示制御部67と、通信制御部68とを含む。なお、本実施形態に係る制御部6bは、特に、システム制御部61b及び分布情報生成部62bの構成が、前述した第1の実施形態に係る制御部6(図15及び図16参照)や、第2の実施形態に係る制御部6a(図28及び図29参照)と異なる。
ここで、図38を参照しながら、システム制御部61b及び分布情報生成部62bの詳細な構成について説明する。図38に示すように、分布情報生成部62bは、二次元化処理部621、強度補正分布決定部623、及び二次元化処理部625を含む。また、システム制御部61aは、強度制御量決定部611と、波長制御量決定部613とを含む。
なお、二次元化処理部621、強度補正分布決定部623、及び強度制御量決定部611の動作と、当該強度制御量決定部611の動作に基づくシステム制御部61bの動作とは、前述した第1の実施形態に係る画像取得装置1(図16参照)と同様である。
即ち、強度制御量決定部611は、二次元化処理部621からアイドラー光の強度分布を取得し、強度補正分布決定部623から補正量の最大幅の通知を受けて、取得したアイドラー光の強度分布と補正量の最大幅とに基づき、光源2の状態(特に、励起光の強度の変化)を監視する。また、強度制御量決定部611は、監視結果に基づき、光源2から出射されるレーザー光(ポンプ光)の強度を制御するための制御情報を生成する。そして、システム制御部61bは、強度制御量決定部611が生成した制御情報に基づき、光源2から出射されるレーザー光(ポンプ光)の強度を制御すればよい。
また、二次元化処理部625及び波長制御量決定部613と、当該波長制御量決定部613の動作に基づくシステム制御部61bの動作とは、前述した第2の実施形態に係る画像取得装置1a(図29参照)と同様である。
即ち、波長制御量決定部613は、二次元化処理部625から、生成された蛍光の強度分布を取得し、当該蛍光の強度分布のコントラストを向上させるように、光源2から出射されるレーザー光(励起光)の波長(周波数)の制御量を決定する。波長制御量決定部613によりレーザー光の波長の制御量が決定されると、当該制御量に基づき、システム制御部61bが、光源2を制御することで、当該光源2から出射されるレーザー光の波長を制御する。
光源2から出射されるレーザー光の波長が制御されると、二次元化処理部625により、当該制御後のレーザー光に基づく蛍光の強度分布が取得され、取得された蛍光の強度分布が波長制御量決定部613に出力される。波長制御量決定部613は、改めて取得した蛍光の強度分布を評価し、当該蛍光の強度分布のコントラストを向上させるように、レーザー光の波長の制御量を算出する。
以上の動作を繰り返すことで、システム制御部61b及び波長制御量決定部613により、光源2から出射されるレーザー光の波長が、蛍光の強度分布のコントラストが最大となるように制御される。
また、本実施形態に係るRAW画像生成部65の動作は、前述した第1及び第2の実施形態に係るRAW画像生成部65と同様である。即ち、RAW画像生成部65は、二次元化処理部625から蛍光の強度分布を取得し、当該蛍光の強度分布を画像データ(RAW画像)として、所定のファイルフォーマットに整形することでRAWファイルを生成する。また、RAW画像生成部65は、当該蛍光の強度分布に関連する情報をシステム制御部61から取得し、取得した情報を関連情報として、生成したRAWファイルに関連付けてもよい。なお、RAWファイルに関連付けられる関連情報には、例えば、第1の実施形態で示した関連情報(図19参照)や、第2の実施形態で示した関連情報(図31参照)を含み得ることは言うまでもない。
以上、図37及び図38を参照しながら、本実施形態に係る画像取得装置1bの構成について説明した。
[3.3.まとめ]
以上説明したように、第1の実施形態に係る画像取得装置1と、第2の実施形態に係る画像取得装置1aとを組み合わせることで、本実施形態に係る画像取得装置1bとして動作させることも可能である。なお、本実施形態に係る画像取得装置1bが、第1の実施形態に係る画像取得装置1と、第2の実施形態に係る画像取得装置1aとの双方の作用効果を同様に奏することは言うまでもない。
<4.第4の実施形態>
[4.1.画像取得装置の概要]
次に、第4の実施形態に係る画像取得装置について説明する。まず、図39及び図40を参照しながら、本実施形態に係る画像取得装置の課題について整理する。図39は、本実施形態に係る画像取得装置の概要について説明するための図である。また、図40は、本実施形態に係る補正処理の原理について説明するための説明図である。なお、以降では、本実施形態に係る画像処理装置を、他の実施形態に係る画像取得装置と区別するために、「画像取得装置1c」と記載する場合がある。
前述の第1の実施形態に係る画像取得装置1や、第3の実施形態に係る画像取得装置1bは、アイドラー光の強度分布に基づき補正データを生成し、生成した補正データに基づき、蛍光の強度分布上に顕在化した、レーザー光の強度変動に伴うノイズを補正する。
一方で、蛍光及びアイドラー光の強度は、それぞれ別々に検出されるため、生成される蛍光の強度分布と、アイドラー光の強度分布とには、レーザー光の強度変動には依存しないノイズが、それぞれ別々に発生する場合がある。例えば、図39は、生成された蛍光の強度分布D11と、アイドラー光の強度分布D21とに、それぞれ異なるノイズが発生している状態を模式的に示している。
図39に示す例の場合には、アイドラー光の強度分布D21に基づき、蛍光の強度分布D11を補正した場合には、補正処理後の蛍光の強度分布D10には、補正前の蛍光の強度分布D11に発生したノイズに加えて、アイドラー光の強度分布D21に発生したノイズも重畳することとなる。即ち、図39に示す例の場合には、補正処理によりレーザー光の強度の変動に伴うノイズを補正されるが、一方で、蛍光の強度分布D11及び補正データD21それぞれに発生したノイズが低減されることなく、補正処理後の蛍光の強度分布D10に顕在化する。
そこで、本実施形態に係る画像取得装置1cでは、図40に示すように、生成された蛍光の強度分布D11とアイドラー光の強度分布D21とのそれぞれにノイズ補正処理を施す。これにより、画像取得装置1cは、蛍光の強度分布D11及びアイドラー光の強度分布D21に顕在化した、レーザー光の強度変動には依存しないノイズを補正してノイズ補正後の蛍光の強度分布D11a及びアイドラー光の強度分布D21aを生成する。
そして、本実施形態に係る画像取得装置1cは、蛍光の強度分布D11aを、アイドラー光の強度分布D21aで補正することで、蛍光の強度分布D11aに顕在化したレーザー光の強度変動に伴うノイズを補正して、補正処理後の蛍光の強度分布D10を生成する。このような構成により、画像取得装置1cは、蛍光の強度分布D11とアイドラー光の強度分布D21とのそれぞれに発生した、レーザー光の強度変動には依存しないノイズの顕在化を抑制することが可能となる。
また、本実施形態に係る画像取得装置1cは、ノイズ補正後の蛍光の強度分布D11a及びアイドラー光の強度分布D21aに基づき、RAWファイルD1を生成する。これにより、情報処理装置800のような外部装置において、同様に補正処理後の蛍光の強度分布D10を生成したとしても、レーザー光の強度変動には依存しないノイズの顕在化を抑制することが可能となる。以下に、本実施形態に係る画像取得装置1cの詳細について説明する。
[4.2.画像取得装置の構成]
本実施形態に係る画像取得装置は、前述した第3の実施形態に係る画像取得装置1bにおける分布情報生成部62bに対応する分布情報生成部62cの構成が、画像取得装置1bと異なり、その他の構成については、基本的には当該画像取得装置1bと同様である。そのため、以降では、図41を参照しながら、本実施形態に係る分布情報生成部62cの構成に着目して説明する。図41は、本実施形態に係る分布情報生成部62c及びシステム制御部61cの詳細な機能構成について説明するための説明図である。
図41に示すように、本実施形態に係る分布情報生成部62cは、補正処理部627と、補正処理部629とを含む点で、前述した第3の実施形態に係る分布情報生成部62b(図38参照)と異なる。
本実施形態に係る分布情報生成部62cでは、二次元化処理部621は、生成したアイドラー光の強度分布を補正処理部627に出力する。
補正処理部627は、二次元化処理部621からアイドラー光の強度分布を取得し、取得したアイドラー光の強度分布に対して、レーザー光の強度変動には依存しないノイズに対する補正処理を施す。このとき、補正処理部627は、取得したアイドラー光の強度分布に対して画素単位のフィルタを適用する。
画素単位のフィルタの一例としては、例えば、メディアンフィルタが挙げられる。この場合には、補正処理部627は、例えば、アイドラー光の強度分布中の画素それぞれを基準画素とし、当該基準画素の画素値を閾値として、周囲の他の画素(例えば、周囲8画素)に対して閾値処理を施す。そして、補正処理部627は、当該基準画素と周囲の他の画素との間で画素値を平滑化する。
なお、補正処理部627は、基準画素と周囲の他の画素との間で画素値を平滑化する場合には、単純平均を用いてもよいし、所定の統計に従い各画素値を平滑化してもよい。
また、補正処理部627は、周囲の他の画素に対する閾値処理や、基準画素と周囲の他の画素との間で画素値の平滑化に係る処理に対して異方性を持たせてもよい。具体的な一例として、補正処理部627は、横方向に対して縦方向よりも、より強いノイズ除去処理が施されるように、当該ノイズ除去処理のパラメタ(例えば、閾値)を制御してもよい。
補正処理部627は、ノイズ除去処理が施されたアイドラー光の強度分布を、強度補正分布決定部623及び強度制御量決定部611に出力する。なお、以降の処理、即ち、強度補正分布決定部623及び強度制御量決定部611の動作については、ノイズ除去処理後のアイドラー光の強度分布を対象としている点を除けば、前述した第1及び第3の実施形態に係る画像取得装置と同様である。
また、本実施形態に係る分布情報生成部62cでは、二次元化処理部625は、生成した蛍光の強度分布を補正処理部629に出力する。
補正処理部629は、二次元化処理部625からアイドラー光の強度分布を取得し、取得した蛍光の強度分布に対して、レーザー光の強度変動には依存しないノイズに対する補正処理を施す。このとき、補正処理部629は、取得した蛍光の強度分布に対して周波数単位のフィルタ(即ち、周波数フィルタ)を適用する。
具体的には、補正処理部629は、所定の周波数を閾値として、当該閾値よりも高い周波数の信号をノイズと見做して除去する(即ち、高周波成分を除去する)。このように、補正処理部627と、補正処理部629とは、それぞれが取得した強度分布に対して、互いに方式の異なるノイズ除去処理を施す。
補正処理部629は、ノイズ除去処理が施された蛍光の強度分布を、波長制御量決定部613、補正処理部63、及びRAW画像生成部65に出力する。なお、以降の処理、即ち、波長制御量決定部613、補正処理部63、及びRAW画像生成部65の動作については、ノイズ除去処理後の蛍光の強度分布を対象としている点を除けば、前述した第2及び第3の実施形態に係る画像取得装置と同様である。
また、本実施形態に係るRAW画像生成部65は、ノイズ除去後の蛍光の強度分布を画像データとしてRAWファイルを生成し、当該RAWファイルに対して、ノイズ除去後のアイドラー光の強度分布を関連情報として関連付けることは言うまでもない。
以上、図41を参照しながら、本実施形態に係る画像取得装置1cの構成について、特に、分布情報生成部62cの動作に着目して説明した。なお、補正処理部627及び629は、必ずしも双方を設ける必要はなく、いずれかのみが設けられていてもよい。
[4.3.RAWファイルのファイルフォーマット]
次に、図42を参照しながら、本実施形態に係るRAWファイルD1cのファイルフォーマットの一例について説明する。図42は、本実施形態に係るRAWファイルD1cのファイルフォーマットの一例を示した図である。
図42に示すように、本実施形態に係るRAWファイルD1cは、例えば、データ領域d10と、基本制御情報領域d30と、拡張領域d20cとを含む。なお、データ領域d10及び基本制御情報領域d30の構成については、前述した第1の実施形態に係るRAWファイルD1(図19参照)と同様のため、詳細な説明は省略する。
図42に示すように、拡張領域d20cは、メーカーノートIFDd21を含む。メーカーノートIFDd21は、カメラ制御モードなどのEXIFに規定されていない情報を格納するためのIFDであり、画像取得装置1に固有の撮影情報や制御情報も格納される。
また、本実施形態に係るメーカーノートIFDd21は、例えば、撮影条件d211と、初期撮影画像d221と、ユーザが指定したターゲット画像d222と、ユーザの指定した可変範囲d223と、ノイズ分離に用いたデータd231と、ノイズ分離に適用したパラメタd232と、ノイズ補正後のアイドラー光の強度画像とを含む。なお、撮影条件d211、初期撮影画像d221、ユーザが指定したターゲット画像d222、及びユーザの指定した可変範囲d223は、前述した第2の実施形態に係るRAWファイルD1a(図31参照)と同様である。
ノイズ補正後のアイドラー光の強度画像d233は、補正処理部627によりノイズ除去処理が施されたアイドラー光の強度分布D21aを示している。なお、アイドラー光の強度分布D21aに替えて、当該アイドラー光の強度分布D21aに基づき算出された補正データを、ノイズ補正後のアイドラー光の強度画像d233としてRAWファイルD1cに記録してもよい。
ノイズ分離に用いたデータd231は、蛍光の強度分布D11に対してノイズ除去のために適用した周波数フィルタのデータを示している。なお、蛍光の強度分布D11に対して施されたノイズ除去処理の内容が特定できれば、ノイズ分離に用いたデータd231の形式は特に限定されない。具体的な一例として、ノイズ分離に用いたデータd231は、周波数フィルタの特性(周波数特性)を示すヒストグラムであってもよい。
このように、RAWファイルD1cにノイズ分離に用いたデータd231を記録しておくことで、当該RAWファイルD1cを読み出した外部装置(例えば、情報処理装置800)が、RAW本画像d11上のノイズを、本実施形態に係る画像取得装置1cと同様に補正することが可能となる。
ノイズ分離に適用したパラメタd232は、アイドラー光の強度分布に基づく補正データD21に対して施したノイズ除去処理の種別やその内容を示すパラメタ(例えば、適用したフィルタを示す情報やそのパラメタ)である。なお、補正データD21に対して施されたノイズ除去処理の種別やその内容が特定できれば、ノイズ分離に適用したパラメタd232の形式は特に限定されない。
このように、RAWファイルD1cにノイズ分離に適用したパラメタd232を記録しておくことで、当該RAWファイルD1cを読み出した外部装置(例えば、情報処理装置800)が、ノイズ補正後のアイドラー光の強度画像に対して施されたノイズ除去処理の内容を特定することが可能となる。
以上、図42を参照しながら、本実施形態に係るRAWファイルD1cのファイルフォーマットについて説明した。なお、上記に示すRAWファイルD1cのファイルフォーマットはあくまで一例であり、必ずしも全ての情報を含まなくてもよいことは言うまでもない。
[4.4.まとめ]
以上説明したように、本実施形態に係る画像取得装置1cは、蛍光の強度分布D11とアイドラー光の強度分布D21とのそれぞれに対してノイズ補正処理を施して、ノイズ補正後の蛍光の強度分布D11a及びアイドラー光の強度分布D21aを生成する。そして、画像取得装置1cは、蛍光の強度分布D11aを、アイドラー光の強度分布D21aで補正することで、蛍光の強度分布D11aに顕在化したレーザー光の強度変動に伴うノイズを補正して、補正処理後の蛍光の強度分布D10を生成する。このような構成により、本実施形態に係る画像取得装置1cは、蛍光の強度分布D11とアイドラー光の強度分布D21とのそれぞれに発生した、レーザー光の強度変動には依存しないノイズの顕在化を抑制することが可能となる。
また、本実施形態に係る画像取得装置1cは、ノイズ補正後の蛍光の強度分布D11a及びアイドラー光の強度分布D21aに基づき、RAWファイルD1cを生成する。これにより、情報処理装置800のような外部装置において、同様に補正処理後の蛍光の強度分布D10を生成したとしても、レーザー光の強度変動には依存しないノイズの顕在化を抑制することが可能となる。
<5.ハードウェア構成>
次に、図43を参照して、本実施形態に係る画像取得装置1のハードウェア構成の一例について説明する。図43は、本実施形態に係る画像取得装置1のハードウェア構成の一例を示した図である。
図43に示すように、本実施形態に係る画像取得装置1は、プロセッサ901と、メモリ903と、ストレージ905と、光源ユニット907と、測定ユニット909と、操作デバイス911と、表示デバイス913と、通信デバイス915と、バス917とを含む。
プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、画像取得装置1の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部6に含まれる各構成は、プロセッサ901により構成され得る。
メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。なお、前述した記憶部66は、例えば、メモリ903やストレージ905により構成され得る。
光源ユニット907は、サンプルSに対して励起光を照射するためのユニットであり、前述した光源2に対応している。光源ユニット907は、出射される励起光の強度及び波長が、プロセッサ901により制御する。
測定ユニット909は、光源ユニット907から出射された励起光をサンプルSに向けて導光させるとともに、サンプルSからの蛍光を検出するユニットであり、前述した測定部3に対応している。測定ユニット909は、プロセッサ901の制御に従い、光源ユニット907から出射された光の光路を制御し、当該光によりサンプルS上を走査する。
操作デバイス911は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス911は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した条件指定部71は、操作デバイス911により構成され得る。
表示デバイス913は、出力装置の一例であり、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイ装置などの表示装置であってよい。表示デバイス913は、ユーザに対して画面を表示することにより情報を提供することができる。なお、前述した表示部72は、表示デバイス913により構成され得る。
通信デバイス915は、画像取得装置1が備える通信手段であり、ネットワークを介して情報処理装置800のような外部装置と通信する。通信デバイス915は、無線通信用のインタフェースであり、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
通信デバイス915は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。なお、前述した通信部73は、通信デバイス915により構成され得る。
バス917は、プロセッサ901、メモリ903、ストレージ905、光源ユニット907、測定ユニット909、操作デバイス911、表示デバイス913、及び通信デバイス915を相互に接続する。バス917は、複数の種類のバスを含んでもよい。
また、コンピュータに内蔵されるCPU、ROM及びRAMなどのハードウェアを、上記した画像取得装置1が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
<6.まとめ>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の制御例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
レーザー光を出射し、当該レーザー光の波長を制御可能に構成された光源と、
前記レーザー光によりサンプルを走査し、当該レーザー光を受けて前記サンプルからの測定対象光の強度を測定する測定部と、
測定された前記測定対象光の強度分布に基づき、当該サンプルの画像を生成する制御部と、
を備え、
前記制御部は、測定された前記測定対象光の強度分布に基づき、前記レーザー光の波長を制御する、画像取得装置。
(2)
前記光源は、第1の波長のレーザー光と、前記第1の波長とは異なる第2の波長のレーザー光とを切り替えて出射し、
前記測定部は、前記第1の波長及び前記第2の波長のレーザー光それぞれで、前記サンプルを走査し、前記第1の波長のレーザー光に基づく前記測定対象光の第1の強度と、前記第2の波長のレーザー光に基づく前記測定対象光の第2の強度とを測定し、
前記制御部は、
前記第1の波長及び前記第2の波長のうち、少なくともいずれか一方の波長を、前記第1の強度の強度分布と前記第2の強度の強度分布とに基づき制御する、
前記(1)に記載の画像取得装置。
(3)
前記サンプルに含まれる、互いに異なる第1の蛍光色素及び第2の蛍光色素の、前記第1の波長に対する蛍光相対効率をそれぞれE(λ1,F1)、E(λ1,F2)とし、
前記第1の蛍光色素及び前記第2の蛍光色素の、前記第2の波長に対する蛍光相対効率をそれぞれE(λ2,F1)、E(λ2,F2)としたとき、
前記制御部は、制御前の前記第1の波長及び前記第2の波長を、以下に示す式12で示された式が最大となるように決定する、前記(2)に記載の画像取得装置。
Figure 2015114420
(4)
前記測定部は、前記一方の波長よりも高い波長と、当該一方の波長よりも低い波長のそれぞれについて、当該波長のレーザー光に基づく前記測定対象光の強度を測定し、
前記制御部は、前記高い波長の前記レーザー光に基づく前記測定対象光の強度分布と、前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布とのそれぞれのコントラストを算出して比較し、当該比較結果に基づき、前記一方の波長を、前記高い波長及び前記低い波長のうち、算出した前記コントラストが高い強度分布に対応した波長側に制御する、前記(2)または(3)に記載の画像取得装置。
(5)
前記制御部は、前記一方の波長の制御と、当該制御後の前記一方の波長を基準とした前記高い波長及び前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布のコントラストの比較とを繰り返すことで、前記測定対象光の強度分布のコントラストが最大となるように前記一方の波長を制御する、前記(4)に記載の画像取得装置。
(6)
前記制御部は、
前記第1の波長及び前記第2の波長のうち他方の波長を固定して、前記測定対象光の強度分布のコントラストが最大となるように前記一方の波長を制御し、
次いで、制御後の前記一方の波長を固定し、前記測定対象光の強度分布のコントラストが最大となるように前記他方の波長を制御する、
前記(5)に記載の画像取得装置。
(7)
前記測定部は、前記第1の波長及び前記第2の波長それぞれを、所定の波長ずつ変更して、変更前及び変更後のそれぞれについて、前記第1の波長及び前記第2の波長それぞれのレーザー光に基づく前記測定対象光の強度を測定し、
前記制御部は、前記第1の波長及び前記第2の波長それぞれについて、変更前の前記測定対象光の強度分布と、変更後の前記測定対象光の強度分布とのそれぞれのコントラストを算出して比較し、当該比較結果に基づき、前記第1の波長及び前記第2の波長のうち、当該変更前と当該変更後との間で算出された前記コントラストの差が大きい波長を前記一方の波長とする、前記(2)〜(6)のいずれか一項に記載の画像取得装置。
(8)
前記第1の波長のレーザー光に基づき測定された前記測定対象光の強度分布に基づく第1の画像中において輝度が最も高い画素を示す第1の座標を(x1,y1)とし、
前記第2の波長のレーザー光に基づき測定された前記測定対象光の強度分布に基づく第2の画像中において輝度が最も高い画素を示す第2の座標を(x2,y2)とし、
前記第1の画像中における、第1の座標の輝度をL(λ1,x1,y1)、第2の座標の輝度をL(λ1,x2,y2)とし、
前記第2の画像中における、第1の座標の輝度をL(λ2,x1,y1)、第2の座標の輝度をL(λ2,x2,y2)としたとき、
前記制御部は、前記コントラストC(λ1,λ2)を、以下に示す式13に基づき決定する、前記(4)〜(7)のいずれか一項に記載の画像取得装置。
Figure 2015114420
(9)
前記測定部は、出射可能な前記レーザー光の波長のうち、一の波長を基準波長として、前記基準波長よりも高い波長と、当該基準波長よりも低い波長とのそれぞれについて、当該波長のレーザー光に基づく前記測定対象光の強度を測定し、
前記制御部は、前記高い波長の前記レーザー光に基づく前記測定対象光の強度分布と、前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布とのそれぞれのコントラストを算出して比較し、当該比較結果に基づき、前記レーザー光の波長を、前記基準波長から、前記高い波長及び前記低い波長のうち、算出した前記コントラストが高い強度分布に対応した波長側に制御する、前記(1)に記載の画像取得装置。
(10)
前記制御部は、前記レーザー光の波長の制御と、当該制御後の波長を前記基準波長とした前記高い波長及び前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布のコントラストの比較とを繰り返すことで、前記測定対象光の強度分布のコントラストが最大となるように前記レーザー光の波長を制御する、前記(9)に記載の画像取得装置。
(11)
前記光源は、所定の周波数のポンプ光を出力するレーザー部と、光パラメトリック発振器とを備え、前記光パラメトリック発振器の発振条件を制御することで、前記レーザー光の波長を制御可能に構成されている、前記(1)〜(10)のいずれか一項に記載の画像取得装置。
(12)
前記光源と、前記測定部とは、同一筐体内に設けられている、前記(1)〜(11)のいずれか一項に記載の画像取得装置。
(13)
前記測定部は、前記光源から出射されたレーザー光の強度を測定し、
前記制御部は、測定された当該レーザー光の強度に基づき、前記光源から出射されるレーザー光の強度の制御と、測定された前記測定対象光の強度分布の補正との、少なくともいずれかを実行する、前記(1)〜(12)のいずれか一項に記載の画像取得装置。
(14)
レーザー光の波長を制御可能に構成された光源から出射された前記レーザー光によりサンプルを走査し、当該レーザー光を受けて前記サンプルから生じる測定対象光の強度を測定することと、
測定された前記測定対象光の強度分布に基づき、当該サンプルの画像を生成することと、
測定された前記測定対象光の強度分布に基づき、前記レーザー光の波長を制御すること、
を含む画像取得方法。
1、1a、1b、1c 画像取得装置
2 光源
3、3a 測定部
4 顕微鏡ユニット
41 非偏光ビームスプリッタ
42 対物レンズ
43 フィルタ
44 非偏光ビームスプリッタ
45 カメラ
46 アイピース
5、5a 走査系(検出系)
51 ガルバノミラー
52 ダイクロイックミラー
53 PMT
54 PD
55 ビームスプリッタ
6、6a、6b 制御部
61、61a、61b、61c システム制御部
611 強度制御量決定部
613 波長制御量決定部
62、62a、62b、62c 分布情報生成部
621 二次元化処理部
623 強度補正分布決定部
625 二次元化処理部
627 補正処理部
629 補正処理部
63 補正処理部
64 画像処理部
65 RAW画像生成部
66 記憶部
67 表示制御部
68 通信制御部
7 I/F
71 条件指定部
72 表示部
73 通信部
800 情報処理装置

Claims (14)

  1. レーザー光を出射し、当該レーザー光の波長を制御可能に構成された光源と、
    前記レーザー光によりサンプルを走査し、当該レーザー光を受けて前記サンプルからの測定対象光の強度を測定する測定部と、
    測定された前記測定対象光の強度分布に基づき、当該サンプルの画像を生成する制御部と、
    を備え、
    前記制御部は、測定された前記測定対象光の強度分布に基づき、前記レーザー光の波長を制御する、画像取得装置。
  2. 前記光源は、第1の波長のレーザー光と、前記第1の波長とは異なる第2の波長のレーザー光とを切り替えて出射し、
    前記測定部は、前記第1の波長及び前記第2の波長のレーザー光それぞれで、前記サンプルを走査し、前記第1の波長のレーザー光に基づく前記測定対象光の第1の強度と、前記第2の波長のレーザー光に基づく前記測定対象光の第2の強度とを測定し、
    前記制御部は、
    前記第1の波長及び前記第2の波長のうち、少なくともいずれか一方の波長を、前記第1の強度の強度分布と前記第2の強度の強度分布とに基づき制御する、
    請求項1に記載の画像取得装置。
  3. 前記サンプルに含まれる、互いに異なる第1の蛍光色素及び第2の蛍光色素の、前記第1の波長に対する蛍光相対効率をそれぞれE(λ1,F1)、E(λ1,F2)とし、
    前記第1の蛍光色素及び前記第2の蛍光色素の、前記第2の波長に対する蛍光相対効率をそれぞれE(λ2,F1)、E(λ2,F2)としたとき、
    前記制御部は、制御前の前記第1の波長及び前記第2の波長を、以下に示す式12で示された式が最大となるように決定する、請求項2に記載の画像取得装置。
    Figure 2015114420
  4. 前記測定部は、前記一方の波長よりも高い波長と、当該一方の波長よりも低い波長のそれぞれについて、当該波長のレーザー光に基づく前記測定対象光の強度を測定し、
    前記制御部は、前記高い波長の前記レーザー光に基づく前記測定対象光の強度分布と、前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布とのそれぞれのコントラストを算出して比較し、当該比較結果に基づき、前記一方の波長を、前記高い波長及び前記低い波長のうち、算出した前記コントラストが高い強度分布に対応した波長側に制御する、請求項2に記載の画像取得装置。
  5. 前記制御部は、前記一方の波長の制御と、当該制御後の前記一方の波長を基準とした前記高い波長及び前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布のコントラストの比較とを繰り返すことで、前記測定対象光の強度分布のコントラストが最大となるように前記一方の波長を制御する、請求項4に記載の画像取得装置。
  6. 前記制御部は、
    前記第1の波長及び前記第2の波長のうち他方の波長を固定して、前記測定対象光の強度分布のコントラストが最大となるように前記一方の波長を制御し、
    次いで、制御後の前記一方の波長を固定し、前記測定対象光の強度分布のコントラストが最大となるように前記他方の波長を制御する、
    請求項5に記載の画像取得装置。
  7. 前記測定部は、前記第1の波長及び前記第2の波長それぞれを、所定の波長ずつ変更して、変更前及び変更後のそれぞれについて、前記第1の波長及び前記第2の波長それぞれのレーザー光に基づく前記測定対象光の強度を測定し、
    前記制御部は、前記第1の波長及び前記第2の波長それぞれについて、変更前の前記測定対象光の強度分布と、変更後の前記測定対象光の強度分布とのそれぞれのコントラストを算出して比較し、当該比較結果に基づき、前記第1の波長及び前記第2の波長のうち、当該変更前と当該変更後との間で算出された前記コントラストの差が大きい波長を前記一方の波長とする、請求項2に記載の画像取得装置。
  8. 前記第1の波長のレーザー光に基づき測定された前記測定対象光の強度分布に基づく第1の画像中において輝度が最も高い画素を示す第1の座標を(x1,y1)とし、
    前記第2の波長のレーザー光に基づき測定された前記測定対象光の強度分布に基づく第2の画像中において輝度が最も高い画素を示す第2の座標を(x2,y2)とし、
    前記第1の画像中における、第1の座標の輝度をL(λ1,x1,y1)、第2の座標の輝度をL(λ1,x2,y2)とし、
    前記第2の画像中における、第1の座標の輝度をL(λ2,x1,y1)、第2の座標の輝度をL(λ2,x2,y2)としたとき、
    前記制御部は、前記コントラストC(λ1,λ2)を、以下に示す式13に基づき決定する、請求項4に記載の画像取得装置。
    Figure 2015114420
  9. 前記測定部は、出射可能な前記レーザー光の波長のうち、一の波長を基準波長として、前記基準波長よりも高い波長と、当該基準波長よりも低い波長とのそれぞれについて、当該波長のレーザー光に基づく前記測定対象光の強度を測定し、
    前記制御部は、前記高い波長の前記レーザー光に基づく前記測定対象光の強度分布と、前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布とのそれぞれのコントラストを算出して比較し、当該比較結果に基づき、前記レーザー光の波長を、前記基準波長から、前記高い波長及び前記低い波長のうち、算出した前記コントラストが高い強度分布に対応した波長側に制御する、請求項1に記載の画像取得装置。
  10. 前記制御部は、前記レーザー光の波長の制御と、当該制御後の波長を前記基準波長とした前記高い波長及び前記低い波長の前記レーザー光に基づく前記測定対象光の強度分布のコントラストの比較とを繰り返すことで、前記測定対象光の強度分布のコントラストが最大となるように前記レーザー光の波長を制御する、請求項9に記載の画像取得装置。
  11. 前記光源は、所定の周波数のポンプ光を出力するレーザー部と、光パラメトリック発振器とを備え、前記光パラメトリック発振器の発振条件を制御することで、前記レーザー光の波長を制御可能に構成されている、請求項1に記載の画像取得装置。
  12. 前記光源と、前記測定部とは、同一筐体内に設けられている、請求項1に記載の画像取得装置。
  13. 前記測定部は、前記光源から出射されたレーザー光の強度を測定し、
    前記制御部は、測定された当該レーザー光の強度に基づき、前記光源から出射されるレーザー光の強度の制御と、測定された前記測定対象光の強度分布の補正との、少なくともいずれかを実行する、請求項1に記載の画像取得装置。
  14. レーザー光の波長を制御可能に構成された光源から出射された前記レーザー光によりサンプルを走査し、当該レーザー光を受けて前記サンプルから生じる測定対象光の強度を測定することと、
    測定された前記測定対象光の強度分布に基づき、当該サンプルの画像を生成することと、
    測定された前記測定対象光の強度分布に基づき、前記レーザー光の波長を制御すること、
    を含む画像取得方法。

JP2013255066A 2013-12-10 2013-12-10 画像取得装置及び画像取得方法 Pending JP2015114420A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013255066A JP2015114420A (ja) 2013-12-10 2013-12-10 画像取得装置及び画像取得方法
US14/559,161 US9291807B2 (en) 2013-12-10 2014-12-03 Image acquisition device and image acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013255066A JP2015114420A (ja) 2013-12-10 2013-12-10 画像取得装置及び画像取得方法

Publications (1)

Publication Number Publication Date
JP2015114420A true JP2015114420A (ja) 2015-06-22

Family

ID=53270992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013255066A Pending JP2015114420A (ja) 2013-12-10 2013-12-10 画像取得装置及び画像取得方法

Country Status (2)

Country Link
US (1) US9291807B2 (ja)
JP (1) JP2015114420A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6051835A (en) * 1998-01-07 2000-04-18 Bio-Rad Laboratories, Inc. Spectral imaging apparatus and methodology
US20040069857A1 (en) * 2000-10-19 2004-04-15 Leblans Marc Jan Rene Method and device for the manipulation of microcarriers for an identification purpose
JP2012008261A (ja) 2010-06-23 2012-01-12 Hamamatsu Photonics Kk 画像生成装置
US9400246B2 (en) * 2011-10-11 2016-07-26 Kla-Tencor Corporation Optical metrology tool equipped with modulated illumination sources

Also Published As

Publication number Publication date
US20150160449A1 (en) 2015-06-11
US9291807B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
RU2522123C2 (ru) Система и способ улучшенной автофокусировки с предсказанием
US20110226965A1 (en) Increased resolution microscopy
JP5814709B2 (ja) タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
US20090102918A1 (en) Microscope image pickup system
US10718715B2 (en) Microscopy system, microscopy method, and computer-readable storage medium
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
US20140152800A1 (en) Image quality optimization of biological imaging
EP3009098A1 (en) Microscope system for surgery
RU2747129C1 (ru) Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
JP2015103217A (ja) 画像処理装置および画像処理方法
WO2016147315A1 (ja) 蛍光画像生成装置及び蛍光画像生成方法
JP5940288B2 (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2014523545A (ja) 生体イメージングのための顕微鏡システム及び方法
US11061215B2 (en) Microscope system
WO2018087820A1 (ja) 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
WO2015087629A1 (ja) 画像取得装置及び画像取得方法
US11994469B2 (en) Spectroscopic imaging apparatus and fluorescence observation apparatus
JP2015114420A (ja) 画像取得装置及び画像取得方法
WO2013005765A1 (ja) 顕微鏡装置
US11307140B2 (en) Signal acquisition device
JP2011112780A (ja) 走査型顕微鏡
US20140240673A1 (en) Image processing apparatus, ophthalmologic imaging apparatus, ophthalmologic imaging system, ophthalmologic imaging method, and non-transitory tangible medium having program stored thereon
JP4844157B2 (ja) 走査型顕微鏡
JP5562582B2 (ja) 蛍光観察装置