JP2020046308A - 観察装置、観察方法及び観察システム - Google Patents

観察装置、観察方法及び観察システム Download PDF

Info

Publication number
JP2020046308A
JP2020046308A JP2018175058A JP2018175058A JP2020046308A JP 2020046308 A JP2020046308 A JP 2020046308A JP 2018175058 A JP2018175058 A JP 2018175058A JP 2018175058 A JP2018175058 A JP 2018175058A JP 2020046308 A JP2020046308 A JP 2020046308A
Authority
JP
Japan
Prior art keywords
image
light emitting
observation
unit
emitting diodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018175058A
Other languages
English (en)
Inventor
寛和 辰田
Hirokazu Tatsuta
寛和 辰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018175058A priority Critical patent/JP2020046308A/ja
Priority to PCT/JP2019/035992 priority patent/WO2020059642A1/ja
Priority to US17/274,694 priority patent/US20210271067A1/en
Publication of JP2020046308A publication Critical patent/JP2020046308A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0465Particular recording light; Beam shape or geometry
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0465Particular recording light; Beam shape or geometry
    • G03H2001/0471Object light being transmitted through the object, e.g. illumination through living cells
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0816Iterative algorithms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/266Wavelength multiplexing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/50Nature of the object
    • G03H2210/55Having particular size, e.g. irresolvable by the eye
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/10Spectral composition
    • G03H2222/12Single or narrow bandwidth source, e.g. laser, light emitting diode [LED]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/10Spectral composition
    • G03H2222/13Multi-wavelengths wave with discontinuous wavelength ranges
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/34Multiple light sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00Optical components
    • G03H2223/15Colour filter, e.g. interferential colour filter
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/11Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Holo Graphy (AREA)
  • Geometry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】異なる波長を有する複数の光を用いる際に、インラインホログラムに生じうる歪みをより簡便な方法で抑制しつつ、光エネルギーの利用効率をより向上させて、より精度の良い画像を得ること。【解決手段】観察装置1は、各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部11と、観察対象物を介して前記光源部と対向するように設けられたイメージセンサ13と、を備える。【選択図】図1A

Description

本開示は、観察装置、観察方法及び観察システムに関する。
従来、小型で低コストな顕微鏡として、光学レンズを用いないレンズレス顕微鏡(「レンズフリー顕微鏡」とも呼ばれる。)が提案されている。かかるレンズレス顕微鏡は、イメージセンサと、コヒーレンス光源とから構成されている。レンズレス顕微鏡では、コヒーレンス光源から出射し、かつ、生体材料等の観察対象物で回折した光と、コヒーレンス光源から出射した直接光と、のインラインホログラムが、距離や波長等といった条件を変えながら複数撮像される。その後、光伝播計算により、観察対象物の振幅画像及び位相画像が再構成され、これら画像がユーザに提供される。
このようなレンズレス顕微鏡では、従来、発光ダイオード(Light Emitting Diode:LED)と空間アパーチャ(例えば、ピンホールやシングルコア光ファイバ)との組み合わせが、コヒーレンス光源として用いられいる。例えば、以下の非特許文献1では、発光ダイオードとピンホールとを組み合わせたコヒーレンス光源を用いたレンズレス顕微鏡が開示されている。
O.Mudanyali et.al.,Lab Chip,2010,10,p.1417−1428.
しかしながら、上記非特許文献1で開示されているような、LEDと空間アパーチャとの組み合わせでは、LEDから出射された光の大部分が空間アパーチャを通過することができず、エネルギーの利用効率が低かった。その結果、電源部などにおいてコストが増加し、本来のレンズレス顕微鏡が有する利点が十分に発揮できなかった。
また、イメージセンサと観察対象物との間の離隔距離を変えながらインラインホログラムを得る場合に、上記非特許文献1で開示されているようなレンズレス顕微鏡では、例えば観察対象物が載置されているステージの位置を変更する制御が行われる。しかしながら、ステージの位置決め精度が低い場合には、ステージ位置のズレが誤差要因となり、得られる画像の精度が低下してしまう。
また、異なる波長を有する複数の光を用いる場合、発光点から離れるほど光線の角度差が大きくなり、記録されるインラインホログラムに歪みが生じ、画像の再構成に不具合が生じることが懸念される。光線の角度差に起因する歪みを防止するためには、同一の光ファイバに複数の光を導入する、ダイクロイックミラーを用いて複数の光を合波する、等といった解決策が、一見考えられる。しかしながら、このような解決策を用いた場合、顕微鏡全体が大型化したり、コストが増加したりすることとなり、小型で低コストというレンズレス顕微鏡の利点に反するものであった。
そこで、本開示では、上記事情に鑑みて、異なる波長を有する複数の光を用いる際に、インラインホログラムに生じうる歪みをより簡便な方法で抑制しつつ、光エネルギーの利用効率をより向上させて、より精度の良い画像を得ることが可能な、観察装置、観察方法及び観察システムを提案する。
本開示によれば、各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、を備える、観察装置が提供される。
また、本開示によれば各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、を含む、観察方法が提供される。
また、本開示によれば、各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、を備える、観察システムが提供される。
本開示によれば、所定の条件を満足するように設けられた複数の発光ダイオードを含む光源部から観察対象物に対して光が照射され、照射された光によって生じるインラインホログラムが、観察対象物を介して光源部と対向するように設けられたイメージセンサによって撮像される。
以上説明したように本開示によれば、異なる波長を有する複数の光を用いる際に、インラインホログラムに生じうる歪みをより簡便な方法で抑制しつつ、光エネルギーの利用効率をより向上させて、より精度の良い画像を得ることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る観察装置の構成の一例を模式的に示した説明図である。 同実施形態に係る観察装置の構成の他の一例を模式的に示した説明図である。 同実施形態に係る観察装置が備える光源部の構成の一例を模式的に示した説明図である。 同実施形態に係る観察装置が備える光源部の構成の他の一例を模式的に示した説明図である。 同実施形態に係る観察装置が備える演算処理部の構成の一例を示したブロック図である。 同実施形態に係る演算処理部が備える画像算出部の構成の一例を示したブロック図である。 同実施形態に係る画像算出部が備える前処理部の構成の一例を示したブロック図である。 同実施形態に係る画像算出部が備える再構成処理部で実施される再構成処理を説明するための説明図である。 同実施形態に係る再構成処理の流れの一例を示した流れ図である。 同実施形態に係る画像算出部が備える再構成処理部で実施される再構成処理を説明するための説明図である。 同実施形態に係る観察装置で得られる再構成画像の一例を示した説明図である。 同実施形態に係る演算処理部のハードウェア構成の一例を示したブロック図である。 同実施形態に係る観察方法の流れの一例を示した流れ図である。 実施例について説明するための説明図である。 実施例について説明するための説明図である。 実施例について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.観察装置について
1.1.1.観察装置の全体構成及びホログラム取得部について
1.1.2.演算処理部について
1.2.観察方法について
2.実施例
(実施形態)
<観察装置について>
以下では、図1A〜図10を参照しながら、本開示の実施形態に係る観察装置について、詳細に説明する。
[観察装置の全体構成及びホログラム取得部について]
まず、図1A〜図2Bを参照しながら、本実施形態に係る観察装置の全体構成と、本実施形態に係る観察装置が備えるホログラム取得部について、詳細に説明する。
図1Aは、本実施形態に係る観察装置の構成の一例を模式的に示した説明図であり、図1Bは、本実施形態に係る観察装置の構成の他の一例を模式的に示した説明図である。図2Aは、本実施形態に係る観察装置が備える光源部の構成の一例を模式的に示した説明図であり、図2Bは、本実施形態に係る観察装置が備える光源部の構成の他の一例を模式的に示した説明図である。
◇観察装置の全体構成
本実施形態に係る観察装置1は、所定の観察対象物を観察するために用いられる装置であり、観察対象物を透過した光と、観察対象物で回折した光と、の相互干渉により生じるホログラム(より詳細には、インラインホログラム)画像を用いて、観察対象物の画像を再構成する装置である。
ここで、本実施形態に係る観察装置1が着目する観察対象物は、観察に用いる光がある程度透過し、かつ、観察対象物を透過した光と、観察対象物で回折した光と、が互いに干渉することが可能なものであれば、任意の物体を観察対象物とすることが可能である。このような観察対象物としては、例えば、観察に用いる所定の波長を有する光にとって、ある程度透明とみなすことが可能な位相物体を挙げることができ、このような位相物体としては、例えば、生物の細胞、生体組織、精子、卵子、受精卵、微生物等のような、各種の生体材料を挙げることができる。
以下では、観察対象物の一例としての細胞等の生体材料が、所定の試料ホルダ中に存在している場合を例に挙げて説明を行うものとする。
上記のような観察対象物を観察するための、本実施形態に係る観察装置1は、図1A及び図1Bに示したように、観察対象物を観察して観察対象物のホログラム画像を取得するためのホログラム取得部10と、得られたホログラム画像から、着目する観察対象物の画像を再構成する一連の演算処理を実施する演算処理部20と、を備える。
本実施形態に係るホログラム取得部10は、後述する演算処理部20による制御のもとで、観察ステージStの所定の位置に載置された試料ホルダH中に存在する観察対象物Cのホログラム画像を取得する。ホログラム取得部10により取得された、観察対象物Cのホログラム画像は、後述する演算処理部20へと出力される。かかる機能を有するホログラム取得部10の詳細な構成については、以下で改めて説明する。
演算処理部20は、ホログラム取得部10におけるホログラム画像の取得処理を統括的に制御する。また、演算処理部20は、ホログラム取得部10により取得されたホログラム画像を用いて、着目する観察対象物Cの画像を再構成する一連の処理を実施する。かかる一連の処理によって得られた画像が、着目する観察対象物Cを撮像した画像として、観察装置1のユーザに提示される。かかる機能を有する演算処理部20の詳細な構成についても、以下で改めて説明する。
以上、本実施形態に係る観察装置1の全体構成について、簡単に説明した。
なお、本実施形態に係る観察装置1は、以下で詳述するような構成を有するホログラム取得部10を有するホログラム取得ユニットと、以下で詳述するような構成を有する演算処理部20を備える演算処理ユニットと、からなる観察システムとして実現することも可能である。
◇ホログラム取得部について
次に、図1A〜図2Bを参照しながら、本実施形態に係る観察装置1におけるホログラム取得部10について、詳細に説明する。なお、以下では、便宜的に、図1A〜図2Bに示した座標系を用いながら、ホログラム取得部10を構成する各部材の位置関係を説明する。
本実施形態に係るホログラム取得部10は、図1Aに示したように、観察対象物Cのホログラム画像を取得するために用いられる照明光を照射する光源部11と、生成された観察対象物Cのホログラム画像を撮像するイメージセンサ13と、を有している。かかる光源部11及びイメージセンサ13は、演算処理部20によって、その動作が制御されている。また、ホログラム取得部10に設けられた観察ステージStについても、演算処理部20によって、そのz方向位置が制御されてもよい。
光源部11からの照明光は、観察ステージSt上に載置された試料ホルダH中に支持されている観察対象物Cに照射される。ここで、試料ホルダHは、図1Aに模式的に示したように、観察対象物Cを支持する支持面S1を有している。試料ホルダHは、特に限定されるものではないが、例えば、スライドガラス及びカバーガラスを有するプレパラートであり、光透過性を有する。
また、観察ステージStは、光源部11の照明光を透過させる光透過性を有する領域が存在し、かかる領域上に試料ホルダHが載置される。観察ステージStに設けられた光透過性を有する領域は、例えばガラス等により構成されていてもよく、z軸方向に沿って観察ステージStの上面と下面とを連通させる開口部で構成されていてもよい。
照明光が観察対象物Cに照射されると、かかる照明光は、観察対象物Cを透過する透過光H1と、観察対象物Cで回折する回折光H2と、に分離される。かかる透明光H1と、回折光H2とが相互に干渉することで、観察対象物Cを介して光源部11と対向するように設けられたイメージセンサ13のセンサ面S2上に、観察対象物Cのホログラム(インラインホログラム)画像が生成される。ここで、本実施形態に係る観察装置1において、支持面S1と、センサ面S2との間の離隔距離の大きさを、Zと表し、光源部11(より詳細には、照射光の出射口)と、イメージセンサ13(センサ面S2)との間の離隔距離の大きさを、Lと表すこととする。本実施形態において、透過光H1は、観察対象物Cのホログラムを生成するための参照光として機能する。このようにして生成された観察対象物Cのホログラム画像(以下、単に「ホログラム」ともいう。)が、演算処理部20へと出力される。
ここで、本実施形態に係るホログラム取得部10は、図1Bに示したように、光源部11と観察対象物Cとの間の光路上に、バンドパスフィルタ15を更に有することが好ましい。かかるバンドパスフィルタ15は、光源部11から照射された照明光の波長を透過波長帯域に含むように設計されている。このようなバンドパスフィルタ15を更に設けることで、光源部11から照射される照明光の空間的コヒーレンス及び時間的コヒーレンスをより向上させることが可能となり、よりコントラストの高いより優れたホログラムを得ることが可能となる。
このように、本実施形態に係るホログラム取得部10は、従来のレンズレス顕微鏡のように、空間アパーチャが用いられていないため、光源部11から照射される照明光のエネルギーをより効率良く用いることができる。
本実施形態に係る観察装置1において、光源部11からは、互いに波長の異なる複数の照明光が照射される。かかる光源部11は、波長の異なる複数の照明光を照射するために、部分コヒーレントな光を照射することが可能な、発光波長の互いに異なる複数の発光ダイオード(Light Emitting Diode:LED)を有している。そのため、上記バンドパスフィルタ15は、それぞれのLEDの発光波長に対応するように、1又は複数の透過波長帯域を有するように設計された、マルチバンドパスフィルタとして機能する。
光源部11を構成する各LEDの発光波長は、LED間で互いに異なっていれば特に限定されるものではなく、任意の波長帯域に属する任意の発光ピーク波長を有する光を使用することが可能である。各LEDの発光波長(発光ピーク波長)は、例えば、紫外光帯域に属していてもよいし、可視光帯域に属していてもよいし、近赤外帯域に属していてもよい。また、光源部11を構成する各LEDは、以下で詳述する2種類の大きさに関する条件を満たしうるものであれば、公知の任意のLEDを用いることが可能である。
本実施形態に係る光源部11において、LEDの個数は、2個以上であれば特に限定するものではない。ただ、LEDの個数が多くなるほど光源部11の大きさも大きくなるため、観察装置1の小型化を考慮すると、光源部11は、発光波長の互いに異なる3個のLEDを有していることが好ましい。以下では、光源部11が発光波長の互いに異なる3個のLEDで構成されている場合を例に挙げて、説明を行うこととする。
本実施形態に係る光源部11において、光源部11を構成する各LEDの発光点の大きさは、100λ(λ:発光波長)未満である。また、光源部11を構成する各LEDは、隣り合うLED間の離隔距離が100λ(λ:発光波長)以下となるように、それぞれ配置されている。この際、発光点の大きさ、及び、LED間の離隔距離の基準となる発光波長λは、光源部11が備える各LEDから出射される光のピーク波長のうち、最も短いピーク波長を用いることとする。
各発光点の大きさが100λ未満となり、かつ、隣り合うLED間の離隔距離が100λ以下となるように各LEDが近接していることで、本実施形態に係る観察装置1では、LEDの発光点が一致していないことに起因するホログラム間の歪みを、以下で詳述するような簡便なシフト補正により相殺することが可能となり、より精度の良い画像を得ることができる。以下、上記のような2つの条件を満足するLED群のことを、「マイクロLED」とも称する。ここで、各発光点の大きさが100λ以上となる場合、又は、隣り合うLED間の離隔距離が100λを超える場合には、各LED間の発光点のズレが顕著となり、以下で詳述するようなシフト補正を行ったとしても、ホログラム間の歪みを相殺することができない。各発光点の大きさは、好ましくは、80λ未満であり、より好ましくは、40λ未満である。また、隣り合うLED間の離隔距離は、好ましくは、80λ以下であり、より好ましくは、60λ以下である。なお、発光点の大きさ、及び、隣り合うLED間の離隔距離は、小さければ小さいほどよく、下限値は特に限定されるものではない。
また、上記離隔距離の大きさは、上記発光点の大きさの5倍以下であることが、より好ましい。発光点の大きさと離隔距離の大きさとが上記のような関係を満たすことで、ホログラム間の歪みをより確実に相殺することが可能となり、より一層優れた精度の画像を得ることができる。上記離隔距離の大きさは、更に好ましくは、上記発光点の大きさの1.5倍以下である
本実施形態に係る光源部11は、例えば図2Aに示したように、相異なる発光波長を有する3個のLED101A,101B,101C(以下、複数のLEDをまとめて、「発光ダイオード101」又は「LED101」と称することがある。)が、一列に配置されているものであってもよい。図2Aに示した例では、3個のLED101A,101B,101Cが、x軸方向に沿って一列に配置されている。また、図2Aにおいて、dで表される大きさが、LED101の発光点の大きさに対応しており、pで表される中心間距離の大きさが、隣り合うLED101間の離隔距離(換言すれば、隣り合うLED101間のピッチ)の大きさに対応している。
また、本実施形態に係る光源部11は、例えば図2Bに示したように、相異なる発光波長を有する3個のLED101A,101B,101Cが、三角形状となるように配置されているものであってもよい。図BAに示した例では、3個のLED101A,101B,101Cを、z軸に沿った上方から光源部11を見下ろした場合の態様を模式的に示しており、3個のLED101A,101B,101Cが、xy平面においてその集合の外形が三角形状となるように配置されている。図2Bに示した例においても、dで表される大きさが、LED101の発光点の大きさに対応しており、pで表される中心間距離の大きさが、隣り合うLED101間の離隔距離の大きさに対応している。
ここで、図2A及び図2Bに示した光源部11において、各LEDの発光ピーク波長は、例えば、460nm、520nm、630nmの組み合わせから選択することができる。なお、かかる発光ピーク波長の組み合わせは、あくまでも一例にすぎず、任意の発光ピーク波長の組み合わせを採用することができる。
以上のような構成を有する光源部11は、演算処理部20による制御のもとで、各LED101のそれぞれを順次点灯し、各発光波長におけるホログラムを生じさせる。
再び図1A及び図1Bに戻って、本実施形態に係るホログラム取得部10におけるイメージセンサ13について説明する。
本実施形態に係るイメージセンサ13は、演算処理部20による制御のもとで、各LEDの点灯状態と同期するようにして、図1A及び図1Bに示したセンサ面S2に生じた観察対象物Cのホログラム(インラインホログラム)を記録する。これにより、イメージセンサ13は、光源部11におけるLEDの発光波長の個数と同数の、ホログラムに関する画像データ(すなわち、ホログラム画像のデータ)を生成する。かかるイメージセンサ13は、光源部11として用いられる各種のLEDから出射される照明光の波長帯域に感度を有するものであれば、特に限定されるものではなく、公知の各種のイメージセンサを用いることが可能である。このようなイメージセンサとして、例えば、CCD(Charged−Coupled Devices)センサやCMOS(Complementary Metal−Oxide−Semiconductor)センサ等を挙げることができる。これらのイメージセンサは、モノクロ用のセンサであってもよいし、カラー用のセンサであってもよい。また、これらのイメージセンサの画素サイズは、光源部11として用いられるLED101の発光点の大きさ等に応じて適宜選択すればよく、特に限定されるものではないが、例えば、100μm程度の大きさであることが好ましい。
ここで、本実施形態に係るホログラム取得部10では、センサ面S2において、ホログラムの光強度分布(振幅の二乗値)のみが記録され、位相の分布については、記録されない。しかしながら、演算処理部20において、以下で詳述するようない一連の画像再構成処理が実施されることで、ホログラムの位相の分布が再現される。
また、図1Bに示したような、本実施形態に係るバンドパスフィルタ15は、光源部11と観察対象物Cとの間の光路上に設置されて、光源部11から照射された照明光のみを観察対象物Cの側へと透過させる。かかるバンドパスフィルタ15を設けることで、照明光の空間的コヒーレンス及び時間的コヒーレンスをより一層向上させることが可能となり、より高効率の部分コヒーレンス照明を実現することができる。かかるバンドパスフィルタ15は、その透過波長帯域が光源部11に設けられたLEDの発光ピーク波長に対応するように設計されていれば、特に限定されるものではなく、公知の各種のバンドパスフィルタを適宜用いることが可能である。
以上説明したように、本実施形態に係るホログラム取得部10は、発光点の大きさ及びピッチが特定の条件を満足するLEDと、イメージセンサと、を備え、更に、必要に応じてバンドパスフィルタを有するような、非常に少ない部品点数で、観察対象物に関するより精度の高いホログラム画像を取得することができる。
以上、図1A〜図2Bを参照しながら、本実施形態に係る観察装置1におけるホログラム取得部10の構成について、詳細に説明した。
[演算処理部について]
次に、図3〜図10を参照しながら、本実施形態に係る観察装置1が備える演算処理部について、詳細に説明する。
本実施形態に係る演算処理部20は、本実施形態に係る観察装置1が備えるホログラム取得部10の稼働状態を統括的に制御する。また、演算処理部20は、ホログラム取得部10が取得した観察対象物Cのホログラム画像を用いて、かかるホログラム画像から観察対象物Cの画像を再構成する一連の処理を実施する。
◇演算処理部の全体構成
かかる演算処理部20は、図3に模式的に示したように、ホログラム取得制御部201と、データ取得部203と、画像算出部205と、出力制御部207と、表示制御部209と、記憶部211と、を備える。
ホログラム取得制御部201は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入力装置、通信装置等により実現される。ホログラム取得制御部201は、ユーザ操作によって入力されたホログラム取得部10の各種観察条件に関する観察条件情報に基づき、ホログラム取得部10の稼働状態を統括的に制御する。具体的には、ホログラム取得制御部201は、ホログラム取得部10の光源部11に設けられた複数のLED101を制御して、各LED101の点灯状態を制御する。また、ホログラム取得制御部201は、イメージセンサ13の稼働状態を制御して、各LED101の点灯状態に同期させながら、イメージセンサ13のセンサ面S2における観察対象物Cの、発光波長ごとのホログラム(インラインホログラム)画像を生成させる。
また、ホログラム取得制御部201は、ホログラム取得部10に設けられた観察ステージStのz軸方向に沿った位置を制御することも可能である。ホログラム取得制御部201は、観察条件情報や、ホログラム取得部10の稼働状態に関する各種の情報を、データ取得部203及び画像算出部205に出力して、データ取得部203及び画像算出部205における各種処理に利用させてもよい。
データ取得部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。データ取得部203は、ホログラム取得制御部201の制御のもとでホログラム取得部10によって取得された、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを、ホログラム取得部10から取得する。データ取得部203は、ホログラム取得部10から画像データを取得すると、取得したホログラム画像の画像データを、後述する画像算出部205に出力する。また、データ取得部203は、取得したホログラム画像の画像データに、かかる画像データを取得した日時等に関する時刻情報を関連づけた上で、後述する記憶部211に履歴情報として記録してもよい。
画像算出部205は、例えば、CPU、ROM、RAM等により実現される。画像算出部205は、データ取得部203から出力された、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを用いて、観察対象物Cの画像を再構成する一連の画像算出処理を実施する。かかる画像算出部205の詳細な構成、及び、かかる画像算出部205で実施される画像算出処理の詳細については、以下で改めて説明する。
出力制御部207は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。出力制御部207は、画像算出部205により算出された観察対象物Cの画像に関する画像データの出力を制御する。例えば、出力制御部207は、画像算出部205により算出された観察対象物Cの画像データを、プリンタ等の出力装置を介して出力させて、ユーザに紙媒体として提供してもよいし、各種の記録媒体に出力させてもよい。また、出力制御部207は、画像算出部205により算出された観察対象物Cの画像データを、外部に設けられたコンピュータ、サーバ、プロセスコンピュータ等といった各種の情報処理装置に出力させて、画像データの共有を図るようにしてもよい。また、出力制御部207は、後述する表示制御部209と連携しながら、画像算出部205により算出された観察対象物Cの画像データを、観察装置1が備える各種のディスプレイ等の表示装置や、観察装置1の外部に設けられた各種のディスプレイ等の表示装置に出力させてもよい。
表示制御部209は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部209は、画像算出部205により算出された、観察対象物Cの画像や、かかる画像に関連する各種の情報を、演算処理部20が備えるディスプレイ等の出力装置や演算処理部20の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、観察装置1のユーザは、着目している観察対象物に関する様々な情報を、その場で把握することが可能となる。
記憶部211は、例えば、演算処理部20が有するRAMやストレージ装置等により実現される。記憶部211は、ホログラム取得制御部201や画像算出部205が各種の処理を実施する際に利用する各種のデータベースやソフトウェアプログラム等が格納されている。また、記憶部211には、ホログラム取得制御部201が実施するホログラム取得部10の制御処理や画像算出部205が実施する各種の画像処理等における各種の設定情報や、本実施形態に係る演算処理部20が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が、適宜記録される。この記憶部211は、ホログラム取得制御部201、データ取得部203、画像算出部205、出力制御部207、表示制御部209等が、自由にデータのリード/ライト処理を行うことが可能である。
以上、図3を参照しながら、本実施形態に係る観察装置1が備える演算処理部20の全体構成について説明した。
◇画像算出部の構成について
画像算出部205は、観察対象物Cの発光波長ごとのホログラム画像に関する画像データを用いて、観察対象物Cの画像を再構成する一連の画像算出処理を実施する。かかる画像算出部205は、図4に模式的に示したように、伝搬距離算出部221と、前処理部223と、再構成演算部225A及び振幅置換部225Bを有する再構成処理部225と、を有する。なお、以下の説明では、便宜的に、図1A及び図1Bに示したz軸座標において、支持面S1の位置がz=0であり、センサ面S2の位置がz=Zであるものとする。また、光源部11から、発光ピーク波長λ、λ、λの照明光が照射され、イメージセンサ13により、ホログラム画像gλ1、gλ2、gλ3(より詳細には、ホログラムの振幅強度に関する画像)が取得されるものとする。
伝搬距離算出部221は、例えば、CPU、ROM、RAM等により実現される。伝搬距離算出部221は、レイリー・ゾンマーフェルト(Rayleigh−Sommerfeld)の回折積分を用いたデジタルフォーカス技術(デジタルフォーカシング)を用いて、図1A及び図1Bに示した離隔距離Z(支持面S1とセンサ面S2との間の離隔距離)の具体的な値を、伝搬距離Zとして算出する。ここで、デジタルフォーカシングとは、支持面S1とセンサ面S2との間の伝搬距離Z(図1A及び図1Bに示した離隔距離Z)を調整することで、各ホログラム画像gλ1、gλ2、gλ3の焦点位置を決定する手法である。
この場合、予め、ホログラム取得制御部201は、ホログラム取得部10を制御して、観察ステージStのz座標位置を変えながら、各発光波長におけるフォーカス画像a(x,y,z)を取得しておく。この場合、a(x,y,0)が、センサ面S2において生成されるホログラム画像gλnに対応する。
伝搬距離算出部221は、まず、z座標位置の異なる複数のフォーカス画像を用いて、以下の式(101)で表される、フォーカス画像間の輝度の差分値f(z+Δz/Z)を算出する。以下の式(101)から明らかなように、画像データを構成する各点での輝度差について、画像全体での総和が算出される。かかる総和を用いることで、輝度値がz軸方向(光路方向)に沿ってどのように変化したかを表す出力カーブを得ることができる。
続いて、伝搬距離算出部221は、式(101)に基づき算出されたf(z+Δz/Z)の変数zによる微分値f’(z)を算出する。その上で、得られた微分値f’(z)のピークを与えるz位置が、着目するホログラム画像gのフォーカス位置となる。かかるフォーカス位置を、図1A及び図1Bに示した離隔距離Zの具体的な値とし、伝搬距離となる。
伝搬距離算出部221は、このようにして得られた伝搬距離Zに関する情報を、後段の前処理部223及び再構成処理部225に出力する。
なお、以上の説明では、伝搬距離算出部221が、レイリー・ゾンマーフェルトの回折積分を用いたデジタルフォーカス技術により離隔距離Zを算出する場合について説明したが、伝搬距離算出部221は、ホログラム取得部10のメカ精度(観察ステージStの位置決め精度)によって、伝搬距離Zを算出してもよい。
前処理部223は、例えば、CPU、ROM、RAM等により実現される。前処理部223は、発光波長ごとの撮像画像(すなわち、ホログラム画像gλn)に対して、複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する。この前処理部223は、図5に示したように、階調補正部231と、アップサンプル部233と、画像シフト部235と、画像端処理部237と、初期複素振幅生成部239と、を有している。
階調補正部231は、例えば、CPU、ROM、RAM等により実現される。階調補正部231は、イメージセンサ13の階調補正(例えば、ダークレベル補正、及び、逆ガンマ補正)を行い、データ取得部203から出力されたホログラム画像gλ1,gλ2,gλ3に基づく画像信号を線形な状態に戻す処理を実施する。ここで、実施される階調補正の具体的な処理内容については、特に限定されるものではなく、公知の各種の処理内容を適宜利用することが可能である。階調補正部231は、階調補正後のホログラム画像gλ1,gλ2,gλ3を、後段のアップサンプル部233に出力する。
アップサンプル部233は、例えば、CPU、ROM、RAM等により実現される。アップサンプル部233は、階調補正後のホログラム画像gλ1,gλ2,gλ3の画像信号を、アップサンプリングする。本実施形態に係るホログラム取得部10は、いわゆるレンズレス顕微鏡として構成されているため、その分解能は、イメージセンサ13のナイキスト周波数を超えてしまう可能性がある。そのため、限界性能を発揮させるために、階調補正後のホログラム画像gλ1,gλ2,gλ3に対して、アップサンプリング処理を実施する。ここで、具体的に実施されるアップサンプリング処理については、特に限定されるものではなく、公知の各種のアップサンプリング処理を適宜利用することができる。
画像シフト部235は、例えば、CPU、ROM、RAM等により実現される。画像シフト部235は、ホログラム取得部10により取得された、発光波長ごとのホログラム画像(より詳細には、上記階調補正処理及びアップサンプリング処理の施されたホログラム画像)に対して、複数の発光ダイオードの位置関係に応じた画像のシフト補正を実施する。
より詳細には、画像シフト部235は、それぞれのLED101が設けられた位置に起因するホログラム画像の間の位置ズレが解消されるように、シフト補正を実施する。かかるシフト補正は、ホログラム画像の画素位置を規定する空間座標(x,y,z)を、所定の方向にシフトさせることで行われる。
すなわち、画像シフト部235は、複数のLED101の中から、基準とするLED101を一つ選択し、かかる複数のLED101のうち、基準とするLED以外の残りのLED101を用いて撮像されたホログラム画像の空間座標(x,y,z)を、基準とするLEDを用いて撮像されたホログラム画像の方向にシフトさせる。かかるシフトを行う際の移動量(シフト量)は、着目するLED101間の位置ズレ量、及び、光源部11と支持面S1との間の距離(L−Z)と、支持面S1とセンサ面S2との間の距離Zとで決まる倍率、に応じて決定される。ここで、距離Zは、伝播距離算出部221により算出された伝播距離となる。
例えば、図2Aに模式的に示したように、光源部11において、相異なる発光波長を有する3個のLED101A,101B,101Cが、x軸方向に沿って一列に配置されている場合を考える。この場合に、基準とするLEDを、中央に位置するLED101Bとした場合、残りのLED101,101Cは、基準とするLED101Bから考えると、それぞれ、x軸負方向に−p、x軸正方向に+pだけズレた位置に存在している。光源部11の位置における大きさ|p|のズレは、センサ面S2では、{Z/(L−Z)}倍に拡大される。従って、画像シフト部235は、LED101Aを用いて撮像されたホログラム画像をシフト補正する際には、以下の式(111)で算出される補正量だけ、かかるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x+δ,y,z)と補正する。同様に、画像シフト部235は、LED101Cを用いて撮像されたホログラム画像をシフト補正する際には、以下の式(111)で算出される補正量だけ、かかるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x−δ,y,z)と補正する。このようなシフト処理を行うことで、LED101が設けられた位置に起因するホログラム画像の間の位置ズレが解消される。
ここで、上記式(111)において、
δ:補正量
L:光源部−イメージセンサ間距離
Z:観察対象物−イメージセンサ間距離
p:発光ダイオード間距離
である。
なお、上記説明では、図2Aにおいて中央に位置するLED101Bを基準としたが、LED101A又はLED101Cを基準とすることも可能である。この場合においても、上記と同様にして、光源部11の位置におけるLED間の距離と、光源部11、観察対象物C、及び、イメージセンサ13の位置関係により定まる倍率{Z/(L−Z)}と、に基づいて、ホログラム画像を構成する画素位置を規定する空間座標(x,y,z)を、基準とするLEDの方向にシフトさせればよい。
また、例えば図2Bに示したように、光源部11において、相異なる発光波長を有する3個のLED101が、三角形状に配置されている場合を考える。この場合に、基準とするLEDを、中央に位置するLED101Aとした場合、残りのLED101B,101Cを用いて得られるホログラム画像の空間座標(x,y,z)を、x軸方向及びy軸方向のそれぞれでシフトさせればよい。
例えば、LED101AとLED101Bに着目すると、LED101A−LED101B間のx軸方向のズレ量は、(p/2)であり、y軸方向のズレ量は、{(30.5/2)×p}である。従って、画像シフト部235は、LED101Bを用いて得られるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x+(p/2)×{Z/(L−Z)},y−{(30.5/2)×p}×{Z/(L−Z)},z)と補正する。同様に、LED101AとLED101Cに着目した場合、画像シフト部235は、LED101Bを用いて得られるホログラム画像の画素位置を規定する空間座標(x,y,z)を、(x−(p/2)×{Z/(L−Z)},y−{(30.5/2)×p}×{Z/(L−Z)},z)と補正する。
図2Bに示した例においても、LED101B又はLED101Cを基準とすることも可能である。この場合においても、上記と同様にして、光源部11の位置におけるLED間の距離と、光源部11、観察対象物C、及び、イメージセンサ13の位置関係により定まる倍率{Z/(L−Z)}と、に基づいて、ホログラム画像を構成する画素位置を規定する空間座標(x,y,z)を、基準とするLEDの方向にシフトさせればよい。
なお、上記のようなシフト補正では、パラメータp,Z,Lの長さ単位系で、シフト量が計算される。そのため、画像シフト部235は、最終的にイメージセンサ13の画素ピッチをもとに、ピクセル単位系に補正量を変換することが好ましい。
以上説明したようなシフト補正は、本実施形態に係る光源部11において、先だって言及したような、大きさに関する2つの条件が満たされた状態にある、マイクロLEDが用いられているからこそ、実現できるものである。光源部11において、上記のような大きさに関する2つの条件が満たされていない場合、以上説明したような思想に基づきホログラム画像の画素位置を規定する空間座標をシフトさせたとしても、ホログラム画像の間の位置ズレを解消することはできない。
画像シフト部235は、上記のようにして、階調補正及びアップサンプリング処理の施されたホログラム画像に対してシフト補正を実施すると、シフト補正後のホログラム画像を、後段の画像端処理部237に出力する。
ここで、以上の説明では、基準とするLED101の位置を選択し、かかるLED101の位置にホログラム画像を構成する画素位置を規定する空間座標をシフトさせる場合について着目した。しかしながら、画像シフト部235は、基準とするLED101の位置ではなく、例えば、複数のLED101の配置位置の重心などのような基準となる位置を選択し、かかる位置にホログラム画像を構成する画素位置を規定する空間座標をシフトさせてもよい。
画像端処理部237は、例えば、CPU、ROM、RAM等により実現される。画像端処理部237は、画像シフト後のホログラム画像gλ1,gλ2,gλ3に対して、画像端部の処理を行う。画像の端部では、入力値の外は画素値=0という境界条件が適用され、画像の端部にナイフエッジが存在するのと同様の条件となっているため、回折光が生じて新たなアーティファクトの要因となる。そこで、画像端処理部237は、元画像の画素数の縦横2倍の画素数を用意し、中心に配置した元画像の外側に、最端部の輝度値を埋め込む処理を行う。これにより、画像端の処理によって生じる回折縞が元画像の範囲内に影響を及ぼさないようにすることができる。画像端処理部237は、以上のような処理を実施すると、実施後のホログラム画像gλ1,gλ2,gλ3を、後段の初期複素振幅生成部239に出力する。
初期複素振幅生成部239は、例えば、CPU、ROM、RAM等により実現される。初期複素振幅生成部239は、ホログラム画像gλ1,gλ2,gλ3に対して、ホログラムの複素振幅の実数部を、画素値(輝度値)の平方根とし、かつ、虚数部を0として、複素振幅の初期値とする。これにより、振幅成分のみを有するホログラム画像gλ1,gλ2,gλ3の初期複素振幅が生成される。なお、上記の画素値(輝度値)とは、上述したような各種前処理が施された後の画素値(輝度値)である。これにより、再構成処理部225において一連の再構成処理が施される前処理画像が生成される。
初期複素振幅生成部239は、上記のようにして前処理画像を生成すると、生成した前処理画像を、再構成処理部225に出力する。
以上、本実施形態に係る前処理部223の構成を、図5を参照しながら説明した。
続いて、再び図4に戻って、本実施形態に係る画像算出部205が備える再構成処理部225について、詳細に説明する。
図4に示したように、再構成処理部225は、再構成演算部225A及び振幅置換部225Bを有している。再構成処理部225は、前処理部223から出力されたホログラム画像(より詳細には、前処理画像)を拘束条件として、センサ面S2と支持面S1との間の平面間の伝搬を繰り返すことにより、センサ面S2で失われたホログラムに関する複素振幅分布の位相成分を回復させる。
具体的には、再構成処理部225は、再構成演算部225Aによる光波伝搬計算により、ホログラム画像を伝播させつつ、振幅置換部225Bがこれらの振幅成分の置き換えを繰り返すことで、失われた位相成分を回復させる。この際、再構成処理部225では、伝搬計算の結果から得られたホログラム画像の複素振幅分布の振幅成分を、位相成分のみ残るように、実測した振幅成分に差し替えるサイクルを繰り返し実行する。
ここで、無損失で等方的な一様媒質中では、マクスウェル方程式は波動方程式に帰着する。また、時間発展を考えない単色光において、電界と磁界の各成分は、以下の式(201)で表されるヘルムホルツ方程式を満足する。ここで、以下の式(201)において、g(x,y,z)は、電磁界ベクトル成分の複素振幅成分であり、kは、以下の式(203)で表される波数である。本実施形態に係る「ホログラム画像の伝播」とは、特定の平面(伝播元平面)で与えられたホログラム画像の境界条件g(x、y、Z)(すなわち、センサ面S2におけるホログラム画像の複素振幅成分)に対して、別の平面(本実施形態では、支持面S1)におけるヘルムホルツ方程式の解を求める一連の処理である。このような伝播処理は、角スペクトル法(平面波展開法)と呼ばれる。
伝播元と平行な平面を支持面S1と考え、かかる支持面S1におけるヘルムホルツ方程式の解をg(x,y,0)とすると、その厳密解は、レイリー・ゾンマーフェルト回折積分とも呼ばれる、以下の式(205)で与えられる。ここで、以下の式(205)において、r’は、以下の式(207)である。
上記式(205)に示したような積分形式の状態では、演算に時間がかかるため、本実施形態では、上記式(205)の両辺をフーリエ変換した、以下の式(209)で与えられる式が採用される。なお、以下の式(209)において、Gは、複素振幅成分gのフーリエ変換を表し、F−1は、フーリエ逆変換を意味する。また、u,v,wは、それぞれ、x方向、y方向、z方向の空間周波数成分を表す。ここで、u,vは、波数ベクトルk=k・x+k・y+k・z(x,y,zは、単位ベクトル)の対応する成分と、u=k/2π、v=k/2πと関連付けられるが、wについては、以下の式(211)のようになる。
本実施形態に係る再構成処理部225は、後述するように、センサ面S2から所定の波長で支持面S1に伝搬されたホログラムの複素振幅分布から、支持面S1から上記波長とは異なる波長でセンサ面S2に伝搬するホログラムの複素振幅分布を再計算する。従って、本実施形態では、上記式(209)が、下記式(213)となった計算式が採用される。
ここで、上記式(213)では、波長λでセンサ面S2から支持面S1に伝搬したホログラムgλ1の複素振幅分布から、波長λで支持面S1からセンサ面S2に伝搬するホログラムgλの複素振幅分布を算出することを意味している。
本実施形態では、再構成演算部225Aが、上記式(209)、式(213)の伝搬計算の式に基づき、センサ面S2と支持面S1との間における光波伝搬計算を繰り返し実行するものとなる。例えば、振幅置換部225Bが、以下で説明するように、支持面S1において振幅置換を実行しない場合は、再構成演算部225Aにおいて、式(213)に基づく伝搬計算が実行される。一方、振幅置換を実行する場合は、上記式(209)に基づき、波長λでセンサ面S2から支持面S1に伝搬したホログラムgλ1の複素振幅分布の振幅成分を所定の振幅代表値に置換してから、波長λで支持面S1からセンサ面S2に伝搬するホログラムgλ2の複素振幅分布が算出される。
以下では、図6及び図7を参照しながら、再構成処理部225により実施される一連の伝播計算処理を、具体的に説明する。
まず、前処理部223から出力される前処理画像のうち、入力画像Iin1が読み込まれ(ステップS101)、再構成演算部225Aは、ホログラム画像gλ1の複素振幅分布(光強度分布)を、センサ面S2から支持面S1に伝搬させる第1の光波伝搬計算を実行する(ステップS103)。前処理部223から出力されたホログラム画像gλ1の複素振幅分布は、下記式(221)で表され、支持面S1に伝搬したホログラム画像gλ1の複素振幅分布は、下記式(223)で表される。
下記式(223)で表されるホログラムgλ1の複素振幅分布は、上記第1の光波伝搬計算の結果得られるホログラム画像gλ1の複素振幅分布である。なお、本実施形態のホログラム画像の複素振幅分布とは、当該ホログラムを形成する光の複素振幅分布であり、以下の説明においても同義とする。
また、以下の式(221)において、A(x,y,z)は振幅成分であり、exp(iφ(x,y,z))は、位相成分(設定された初期値)である。同様に、以下の式(223)において、A’(x,y,0)は振幅成分であり、exp(iφ’(x,y,0))は位相成分である。
λ1(x,y,z)=A(x,y,z)exp(iφ(x,y,z))
・・・式(221)
λ1(x,y,0)=A’(x,y,0)exp(iφ’(x,y,0))
・・・式(223)
続いて、振幅置換部225Bは、支持面S1に波長λで伝搬されたホログラム画像gλ1に関する複素振幅分布の振幅成分A’を分離し、この振幅成分A’の平均値Aaveを算出する。次いで、振幅置換部225Bは、ホログラム画像gλ1に関する複素振幅分布の振幅成分A’を、後述する第2の光波伝搬計算の一環として、支持面S1上において平均値Aaveに置換する(ステップS105)。
これにより、ホログラム画像gλ1における複素振幅分布の振幅成分が平滑化され、以降の反復処理における計算負荷が低減する。振幅成分A’が平均値Aaveに置換されたホログラム画像gλ1は、下記式(225)で表される。また、置換される平均値Aaveは、以下の式(227)に示した通りである。ここで、以下の式(227)におけるパラメータNは、全画素数である。
λ1(x,y,0)=Aave・exp(iφ’(x,y,0))
・・・式(225)
ave=1/N(ΣΣA’(x,y,0)) ・・・式(227)
なお、本実施形態に係る平均値Aaveは、典型的には、上記第1の光波伝搬計算の結果得られる複素振幅分布(式(223))における振幅成分A’の平均値である。かかる平均値とは、ホログラム画像gλ1(x,y,0)の画素数Nに対する、ホログラム画像gλ1(x,y,0)の各画素に対応した振幅成分の総和の割合(積算平均)とすることができる。
また、上記の例では、振幅成分A’は、平均値Aaveに置換されるが、これに限定されるものではなく、ホログラム画像gλ1の複素振幅分布(式(223))の振幅成分A’における所定の振幅代表値を用いることも可能である。例えば、振幅置換部225Bは、振幅成分A’を、平均値Aave以外に、振幅成分A’の中央値に置換してもよく、振幅成分A’のローパスフィルタ透過成分に置換してもよい。
続いて、再構成演算部225Aは、振幅成分A’が平均値Aaveに置換されたホログラム画像gλ1の複素振幅分布を、支持面S1から波長λでセンサ面S2に伝搬させる第2の光波伝搬計算を実行する(ステップS107)。すなわち、上記式(225)で表されるホログラム画像gλ1の複素振幅分布から、センサ面S2に波長λで伝搬するホログラムgλ2の複素振幅分布を、伝搬計算により求める。かかるホログラム画像gλ2に関する複素振幅分布は、下記の式(229)で表される。
λ2(x,y,z)=A”(x,y,z)exp(iφ”(x,y,z))
・・・式(229)
次いで、振幅置換部225Bは、波長λで伝搬されたホログラム画像gλ2の複素振幅分布の振幅成分A”を、上記第1の光波伝搬計算の一環として、センサ面S2上において振幅成分A”の実測値Aλ2に置換する(ステップS109)。この実測値Aλ2は、入力画像Iin2として取得したホログラム画像gλ2から分離された振幅成分である。
センサ面S2上において、振幅成分A”が実測値Aλ2に置換されたホログラム画像gλ2は、下記の式(231)で表される。これにより、位相成分を有するホログラム画像gλ2を得ることができる。ここで、以下の式(231)において、Aλ2(x,y,z)は振幅成分であり、exp(iφ”(x,y,z))は、回復された位相成分である。
λ2(x,y,z)=Aλ2(x,y,z)exp(iφ”(x,y,z))
・・・式(231)
このようにして、再構成処理部225は、センサ面S2で取得した観察対象物Cのホログラム画像の光強度分布を含む複素振幅分布を、センサ面S2から支持面S1まで伝搬させる第1の光伝搬計算を実行し、第1の光伝搬計算の結果得られる複素振幅分布を、支持面S1からセンサ面S2まで伝搬させる第2の光伝搬計算を実行するサイクルが行われる。
本実施形態では、図6及び図7に示すように、このようなサイクルが、全てのホログラム画像gλ1、gλ2、gλ3に対して、順に実施される(ステップS111〜ステップS133)。これにより、3種類のホログラム画像gλ1、gλ2、gλ3について、イメージセンサ13では記録されなかった位相成分が、上記のような伝播計算により回復されることとなる。
次に、再構成演算部225Aは、上記のような伝播計算が収束したか否かを判断する(ステップS135)。収束判断の具体的な手法については、特に限定されるものではなく、公知の各種手法を用いることが可能である。再構成演算部225Aは、位相回復のための一連の演算処理が収束していないと判断した場合(ステップS135−NO)、再構成演算部225Aは、ステップS103に戻って、位相回復のための一連の演算処理を再開する。一方、位相回復のための一連の演算処理が収束したと判断した場合(ステップS135−YES)、再構成演算部225Aは、図6に示したように、得られたホログラム画像の複素振幅分布を最後に支持面S1に伝搬させることで、観察対象物Cの再構成画像を得た後、得られた再構成画像を出力する。
ここで、上記説明では、収束判定により位相回復のための一連の演算処理を終了する時点を判断していたが、本実施形態では、上記のような収束判定ではなく、上記のような一連の演算が規定回数実行されたか否かに基づき、一連の演算処理を終了する時点を判断してもよい。この場合、演算の反復回数は特に規定するものではないが、例えば、10回〜100回程度とすることが好ましい。
また、再構成演算部225Aは、再構成画像を得るに際して、最終的に得られた複素振幅分布の実部(Re)及び虚部(Im)を用いて、Re+Imという演算を行うことで、着目する観察対象物Cの振幅画像を得ることができ、Atan(Im/Re)という演算を行うことで、着目する観察対象物Cの位相画像を得ることができる。
なお、図6及び図7では、センサ面S2と支持面S1との間で繰り返されるホログラムの画像伝搬において、伝搬波長がλ→λ→λ→λ→λ→λ→λ→λ→λの順に用いられる場合に着目した。しかしながら、伝播波長の順序については図6及び図7に示した例に限定されるものではなく、順不同である。例えば、再構成処理部225は、λ→λ→λ→λ→λ→λ→λ→λ→λの順で伝播波長を選択してもよいし、λ→λ→λ→λ→λ→λ→λ→λ→λ等の順で伝播波長を選択してもよい。また、光源部11が2つのLED101から構成される場合、又は、4つ以上のLED101から構成される場合についても、上記と同様にして、再構成画像を得ることができる。
図6及び図7では、位相回復のための反復処理の際に、再構成演算部225Aが、支持面S1において振幅置換処理を毎回実施する場合について説明したが、図8に示したように、支持面S1における振幅の置換操作は、一連のループのうち、1回だけであってもよい。
以上のような一連の処理が行われることで、再構成処理部225は、着目する観察対象物Cの振幅画像及び位相画像を算出することができる。このようにして得られた観察対象物の位相画像の一例を、図9に示した。図9は、心筋細胞を本実施形態に係る観察装置1により観察した例であるが、心筋細胞の画像が良好に得られていることがわかる。
以上、本実施形態に係る画像算出部205の構成について、詳細に説明した。
以上、本実施形態に係る演算処理部20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理部の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
◇演算処理部のハードウェア構成
次に、図10を参照しながら、本開示の実施形態に係る演算処理部20のハードウェア構成について、詳細に説明する。図10は、本開示の実施形態に係る演算処理部20のハードウェア構成を説明するためのブロック図である。
演算処理部20は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理部20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、演算処理部20内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理部20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置915を操作することにより、演算処理部20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、演算処理部20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理部20が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、演算処理部20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、演算処理部20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、機器を演算処理部20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、演算処理部20は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る演算処理部20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
<観察方法について>
続いて、図11を参照しながら、以上説明したような観察装置1を用いた、観察対象物の観察方法の流れについて、簡単に説明する。図11は、本実施形態に係る観察方法の流れの一例を示した流れ図である。
本実施形態に係る観察方法では、図11に示したように、まず、観察装置1のホログラム取得部10は、演算処理部20による制御のもとで、着目する観察対象物のホログラム画像を、光源部11から照射される照明光の発光波長毎に取得する(ステップS11)。取得したホログラム画像は、観察装置1の演算処理部20へと出力される。
次に、観察装置1の演算処理部20が備える伝播距離算出部221は、取得したホログラム画像を用いて、伝播距離zを算出し(ステップS13)、得られた結果を、前処理部223及び再構成処理部225へと出力する。その後、前処理部223は、得られたホログラム画像と、伝播距離算出部221が算出した伝播距離と、を用いて、先だって説明したような、一連の前処理を実施する(ステップS15)。かかる前処理において、LEDの位置に基づく画像のシフト補正が行われることで、本実施形態に係る観察方法では、異なる波長を有する複数の光を用いる際にインラインホログラムに生じうる歪みを、より簡便な方法で抑制することができる。
その後、再構成処理部225は、前処理後のホログラム画像(前処理画像)を用いて、先だって説明したような一連の再構成処理を実施する(ステップS17)。これにより、再構成処理部225は、着目する観察対象物の再構成画像(振幅画像、位相画像)を得ることができる。再構成処理部225は、着目する観察対象物の再構成画像を算出すると、かかる再構成画像の画像データを、出力制御部207に出力する。
出力制御部207は、再構成処理部225から出力された再構成画像を、例えばユーザが指定した方法により出力して、ユーザに提示する(ステップS19)。これにより、ユーザは、着目する観察対象物を観察することが可能となる。
以上、図11を参照しながら、本実施形態に係る観察方法について、簡単に説明した。
このように、本実施形態に係る観察装置及び観察方法によれば、LED、イメージセンサ、バンドパスフィルタという非常に少ない部品点数で構成されるホログラム取得部により、例えば細胞等の透明な位相物体を良好に観測可能な装置を提供する。かかる装置は、小型化が極めて容易であるため、バイオリアクター内などのように、これまでは顕微鏡を設置不能だった領域に対しても観察装置を配置することが可能となる。その結果、細胞等の生体材料の位相画像を、より簡便に取得可能となる。
また、本実施形態に係る観察装置では、空間アパーチャ等により、光線を捨てることがないため、高効率、かつ、低消費電力の光源を有する観察装置を実現することが可能となる。また、互いに近接した波長の異なるマイクロLEDを用いることで、複雑な前処理が不要となって、処理の簡便化、高速化を図ることが可能となる。
以下では、具体的な画像を示しながら、本開示の実施形態に係る観察装置及び観察方法について簡単に説明する。以下に示す例では、図1B及び図2Aに示したような構成を有する観察装置を用い、市販の解像度テストチャートの一部を観察した。また、比較のために、観察装置の光源部を一般的に用いられるLEDに換えた装置と、従来方式(光ファイバ及びピンホールを併用する方式)のレンズレス顕微鏡と、を用いた場合についても、同様に観察を行った。
得られた結果を、図12にあわせて示した。
図12(b)、図12(c)を比較すると明らかなように、本開示の実施形態に係る観察装置では、良好な干渉縞が見られ、かつ、非常に高い周波数のコントラストが観察されており、従来方式と同程度の画像を得ることができた。
一方、図12(a)と図12(b)を比較すると明らかなように、一般的なLEDを光源として用いた場合には、干渉縞は観察されるものの、全体的にコントラストが低いことがわかる。
図12(a)〜図12(c)に示した結果を、より分かりやすく比較するために、図12(a)〜図(c)に示した画像のそれぞれをフーリエ変換することでFFTスペクトルを得て、記録されているインラインホログラムの周波数特性を比較した。得られた結果を、図13(a)〜図14(c)に示した。図13(a)〜図13(c)は、長さ単位系を基準としたFFTスペクトルであって、横軸の単位は、[mm−1]である。図14(a)〜図14(c)は、ピクセル単位系を基準としたFFTスペクトルであって、横軸の単位は、[pixel−1]である。
図13(a)〜図13(c)、及び、図14(a)〜図14(c)において、同じ振幅が得られる周波数を比較すると、図13(a)及び図14(a)に示した一般的なLEDをコヒーレンス光源として用いた場合には、その周波数は、108mm−1(0.12pixel−1)となった。0.12pixel−1という周波数は、8.3pixel幅の干渉縞を与える周波数である。
一方、図13(b)及び図14(b)に示した、本開示の実施形態に係る観察装置を用いた場合には、その周波数は、その周波数は、279mm−1(0.31pixel−1)となった。0.31pixel−1という周波数は、3.2pixel幅の干渉縞を与える周波数である。また、図13(c)及び図14(c)に示した、従来方式のコヒーレンス光源を用いた場合には、その周波数は、その周波数は、219mm−1(0.25pixel−1)となった。0.25pixel−1という周波数は、4.0pixel幅の干渉縞を与える周波数である。
これらの結果から明らかなように、本開示の実施形態に係る観察装置を用いた場合、一般的なLEDをコヒーレンス光源として用いるよりも、より細かい周波数成分を含んでいることがわかる。また、従来方式よりも、本開示の実施形態に係る観察装置の方が、より細かい周波数成分まで記録されていることがわかる。かかる結果は、本開示の実施形態に係る観察装置の方が、従来方式よりもより精度の高いインラインホログラム(換言すれば、より高周波の干渉)を記録できていることを示している。これは、本開示の実施形態に係る観察装置の光源部の方が、従来方式のピンホールよりも発光点が小さいために生じた結果であると推察される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
を備える、観察装置。
(2)
前記離隔距離の大きさは、前記発光点の大きさの5倍以下である、(1)に記載の観察装置。
(3)
前記観察対象物と前記光源部との間に、前記複数の発光ダイオードそれぞれのピーク波長に透過波長帯域が設定されたバンドパスフィルタが設けられる、(1)又は(2)に記載の観察装置。
(4)
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部を更に備え、
前記演算処理部は、
前記発光波長ごとの撮像画像に対して、前記複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する前処理部と、
前記前処理後の前記撮像画像を用いて、前記観察対象物の画像を再構成する再構成処理部と、
を有する、(1)〜(3)の何れか1つに記載の観察装置。
(5)
前記前処理部は、それぞれの前記発光ダイオードが設けられた位置に起因する前記撮像画像の間の位置ズレが解消されるように、前記シフト補正を実施する、(4)に記載の観察装置。
(6)
前記前処理部は、
前記複数の発光ダイオードの中から、基準とする前記発光ダイオードを一つ選択し、
前記複数の発光ダイオードのうち、前記基準とする発光ダイオード以外の残りの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、前記基準とする発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、(4)又は(5)に記載の観察装置。
(7)
前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、一列に配置されており、
前記前処理部は、両端に位置する前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、中央に位置する前記発光ダイオードを用いて撮像された前記撮像画像の方向に、以下の式(1)で算出される補正量δだけシフトさせる、(4)〜(6)の何れか1つに記載の観察装置。
(8)
前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、三角形状に配置されており、
前記前処理部は、何れか2つの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、残りの1つの前記発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、(4)〜(6)の何れか1つに記載の観察装置。
(9)
前記観察対象物は、生体材料である、(1)〜(8)の何れか1つに記載の観察装置。
(10)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、
前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、
を含む、観察方法。
(11)
各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、
を備える、観察システム。
ここで、上記式(1)において、
δ:補正量
L:光源部−イメージセンサ間距離
Z:観察対象物−イメージセンサ間距離
p:発光ダイオード間距離
である。
1 観察装置
10 ホログラム取得部
11 光源部
13 イメージセンサ
15 バンドパスフィルタ
20 演算処理部
101 発光ダイオード
201 ホログラム取得制御部
203 データ取得部
205 画像算出部
207 出力制御部
209 表示制御部
211 記憶部
221 伝播距離算出部
223 前処理部
225 再構成処理部
225A 再構成演算部
225B 振幅置換部
231 階調補正部
233 アップサンプル部
235 画像シフト部
237 画像端処理部
239 初期複素振幅生成部

Claims (11)

  1. 各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
    観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
    を備える、観察装置。
  2. 前記離隔距離の大きさは、前記発光点の大きさの5倍以下である、請求項1に記載の観察装置。
  3. 前記観察対象物と前記光源部との間に、前記複数の発光ダイオードそれぞれのピーク波長に透過波長帯域が設定されたバンドパスフィルタが設けられる、請求項1に記載の観察装置。
  4. 前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部を更に備え、
    前記演算処理部は、
    前記発光波長ごとの撮像画像に対して、前記複数の発光ダイオードの位置関係に応じた画像のシフト補正を少なくとも含む前処理を実施する前処理部と、
    前記前処理後の前記撮像画像を用いて、前記観察対象物の画像を再構成する再構成処理部と、
    を有する、請求項1に記載の観察装置。
  5. 前記前処理部は、それぞれの前記発光ダイオードが設けられた位置に起因する前記撮像画像の間の位置ズレが解消されるように、前記シフト補正を実施する、請求項4に記載の観察装置。
  6. 前記前処理部は、
    前記複数の発光ダイオードの中から、基準とする前記発光ダイオードを一つ選択し、
    前記複数の発光ダイオードのうち、前記基準とする発光ダイオード以外の残りの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、前記基準とする発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、請求項4に記載の観察装置。
  7. 前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、一列に配置されており、
    前記前処理部は、両端に位置する前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、中央に位置する前記発光ダイオードを用いて撮像された前記撮像画像の方向に、以下の式(1)で算出される補正量δだけシフトさせる、請求項4に記載の観察装置。
    ここで、上記式(1)において、
    δ:補正量
    L:光源部−イメージセンサ間距離
    Z:観察対象物−イメージセンサ間距離
    p:発光ダイオード間距離
    である。
  8. 前記光源部では、相異なる発光波長を有する3個の前記発光ダイオードが、三角形状に配置されており、
    前記前処理部は、何れか2つの前記発光ダイオードを用いて撮像された前記撮像画像の空間座標を、残りの1つの前記発光ダイオードを用いて撮像された前記撮像画像の方向にシフトさせる、請求項4に記載の観察装置。
  9. 前記観察対象物は、生体材料である、請求項1に記載の観察装置。
  10. 各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部から、観察対象物に対して、前記発光波長ごとに光を照射することと、
    前記観察対象物を介して前記光源部と対向するように設けられたイメージセンサにより、前記発光波長ごとに前記観察対象物を撮像することと、
    を含む、観察方法。
  11. 各発光点の大きさが100λ(λ:発光波長)未満であり、かつ、発光波長が相異なる複数の発光ダイオードが、隣り合う前記発光ダイオード間の離隔距離が100λ(λ:発光波長)以下となるように配置されている光源部と、
    観察対象物を介して前記光源部と対向するように設けられたイメージセンサと、
    前記イメージセンサで生成された、前記発光波長ごとの撮像画像を用いて、前記観察対象物の画像を得るための演算処理が実施される演算処理部と、
    を備える、観察システム。
JP2018175058A 2018-09-19 2018-09-19 観察装置、観察方法及び観察システム Pending JP2020046308A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018175058A JP2020046308A (ja) 2018-09-19 2018-09-19 観察装置、観察方法及び観察システム
PCT/JP2019/035992 WO2020059642A1 (ja) 2018-09-19 2019-09-12 観察装置、観察方法及び観察システム
US17/274,694 US20210271067A1 (en) 2018-09-19 2019-09-12 Observation device, observation method, and observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018175058A JP2020046308A (ja) 2018-09-19 2018-09-19 観察装置、観察方法及び観察システム

Publications (1)

Publication Number Publication Date
JP2020046308A true JP2020046308A (ja) 2020-03-26

Family

ID=69888461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018175058A Pending JP2020046308A (ja) 2018-09-19 2018-09-19 観察装置、観察方法及び観察システム

Country Status (3)

Country Link
US (1) US20210271067A1 (ja)
JP (1) JP2020046308A (ja)
WO (1) WO2020059642A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220120304A (ko) * 2021-02-23 2022-08-30 삼성전자주식회사 3차원 홀로그래픽 디스플레이 장치 및 그 동작 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005150472A (ja) * 2003-11-17 2005-06-09 Alps Electric Co Ltd 波長可変光源及びその製造方法
JP2016090901A (ja) * 2014-11-07 2016-05-23 大日本印刷株式会社 光学装置
JP2017146696A (ja) * 2016-02-16 2017-08-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
JP6860064B2 (ja) * 2017-03-03 2021-04-14 株式会社島津製作所 細胞観察装置

Also Published As

Publication number Publication date
US20210271067A1 (en) 2021-09-02
WO2020059642A1 (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
JP5412394B2 (ja) 標本観察装置
Leite et al. Observing distant objects with a multimode fiber-based holographic endoscope
Guo et al. Fourier ptychography for brightfield, phase, darkfield, reflective, multi-slice, and fluorescence imaging
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
US8019136B2 (en) Optical sectioning microscopy
JP5721042B2 (ja) 顕微鏡システム
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
JP2022553713A (ja) 構造化照明顕微鏡法のためのシステム及び方法
JPWO2007043314A1 (ja) 顕微鏡装置
US10269103B2 (en) Image processing apparatus, image processing method, and image processing system
Chen et al. Superresolution structured illumination microscopy reconstruction algorithms: a review
JP6770951B2 (ja) 結果画像を生成する方法及び光学装置
WO2019097587A1 (ja) 定量位相画像生成方法、定量位相画像生成装置およびプログラム
CN105395164B (zh) 图像处理装置及图像处理装置的控制方法
RU2747129C1 (ru) Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
KR102404416B1 (ko) 홀로그램 영상의 특성 측정 장치 및 방법
JP2015506496A (ja) 4f光学系を用いた位相画像システム
JPWO2018158947A1 (ja) 細胞観察装置
CN109425978A (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
JP2016109579A (ja) 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
WO2020059642A1 (ja) 観察装置、観察方法及び観察システム
JP2022548760A (ja) スライドフリーな組織学的撮像法及びシステム
JP6039371B2 (ja) 画像処理方法、プログラム、画像処理装置、および撮像装置
CN114324245B (zh) 基于部分相干结构光照明的定量相位显微装置和方法
US20220071510A1 (en) Method and apparatus for obtaining a 3d map of an eardrum

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222