JP2016109579A - 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム - Google Patents

情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム Download PDF

Info

Publication number
JP2016109579A
JP2016109579A JP2014248009A JP2014248009A JP2016109579A JP 2016109579 A JP2016109579 A JP 2016109579A JP 2014248009 A JP2014248009 A JP 2014248009A JP 2014248009 A JP2014248009 A JP 2014248009A JP 2016109579 A JP2016109579 A JP 2016109579A
Authority
JP
Japan
Prior art keywords
image
luminance value
measured
fluorescent
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014248009A
Other languages
English (en)
Inventor
木島　公一朗
Koichiro Kishima
公一朗 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014248009A priority Critical patent/JP2016109579A/ja
Priority to EP15866785.7A priority patent/EP3232181B1/en
Priority to PCT/JP2015/077855 priority patent/WO2016092940A1/ja
Priority to US15/529,790 priority patent/US10190982B2/en
Publication of JP2016109579A publication Critical patent/JP2016109579A/ja
Priority to US16/218,764 priority patent/US10753871B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00172—Optical arrangements with means for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/58—Photometry, e.g. photographic exposure meter using luminescence generated by light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

【課題】より簡便に被測定物の表面の位置を特定することが可能な、情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラムを提案する。【解決手段】本発明に係る情報処理装置は、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、を備える。【選択図】図３

Description

本開示は、情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラムに関する。
複数の光ファイバ素線からなるイメージガイドファイバを用いたレーザコンフォーカル顕微鏡（顕微内視鏡）システムとして、例えば、以下の特許文献１に示したようなものが提案されている。例えば特許文献１に提案されている顕微内視鏡システムは、観察対象を１光子で励起させることで発生する蛍光をイメージガイドファイバにより伝達し、発生した蛍光を観察するものである。
上記のような蛍光観察システムにより撮像された撮像画像（すなわち、蛍光画像）を観察する際に、観察対象の表面位置や合焦位置がどこであるかを特定することが重要となる。そこで、以下の非特許文献１では、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）タイプの蛍光顕微鏡で得られた蛍光画像に対して画像認識技術を適用することで、観察対象の表面位置や合焦位置を特定する方法が開示されている。
特表２００７−５３０１９７号公報
Ｋ．Ｋｉｓｈｉｍａ，"Ｓｉｍｐｌｅ ｗａｙ ｏｆ ｐｉｎｐｏｉｎｔｉｎｇ ｔｈｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｐｏｓｉｔｉｏｎ ｏｆ ｂｉｏｍａｒｋｅｒｓ ｉｎ ｆｌｕｏｒｅｓｃｅｎｃｅ ｍｉｃｒｏｓｃｏｐｙ ｕｓｉｎｇ ａ ｔｈｒｏｕｇｈ−ｆｏｃｕｓ ｅｘｐｏｓｕｒｅ ｍｅｔｈｏｄ"，ＡＰＰＬＩＥＤ ＯＰＴＩＣＳ，２０１１，Ｖｏｌ．５０，Ｎｏ．２５，ｐ．４９８９． Ｊ．Ｒｏｓｅｎ ａｎｄ Ｇ．Ｂｒｏｏｋｅｒ，"Ｎｏｎ−ｓｃａｎｎｉｎｇ ｍｏｔｉｏｎｌｅｓｓ ｆｌｕｏｒｅｓｃｅｎｃｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｈｏｌｏｇｒａｐｈｉｃ ｍｉｃｒｏｓｃｏｐｙ"，Ｎａｔ．Ｐｈｏｔｏｎｉｃｓ ２，１９０−１９５（２００８）． Ｃ．Ｍａｕｒｅｒ，Ｓ．Ｋｈａｎ，Ｓ．Ｆａｓｓｌ，Ｓ．Ｂｅｒｎｅｔ，ａｎｄ Ｍ．Ｒｉｔｓｃｈ−Ｍａｒｔｅ，"Ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ ｍｕｌｔｉｐｌｅｘｉｎｇ ｉｎ ｍｉｃｒｏｓｃｏｐｙ"，Ｏｐｔ．Ｅｘｐｒｅｓｓ １８，３０２３−３０３３（２０１０）． Ｐ．Ａ．Ｄａｌｇａｒｎｏ，Ｈ．Ｉ．Ｃ．Ｄａｌｇａｒｎｏ，Ａ．Ｐｕｔｏｕｄ，Ｒ．Ｌａｍｂｅｒｔ，Ｌ．Ｐａｔｅｒｓｏｎ，Ｄ．Ｃ．Ｌｏｇａｎ，Ｄ．Ｐ．Ｔｏｗｅｒｓ，Ｒ．Ｊ．Ｗａｒｂｕｒｔｏｎ，ａｎｄ Ａ．Ｈ．Ｇｒｅｅｎａｗａｙ，"Ｍｕｌｔｉｐｌａｎｅ ｉｍａｇｉｎｇ ａｎｄ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｎａｎｏｓｃａｌｅ ｐａｒｔｉｃｌｅ ｔｒａｃｋｉｎｇ ｉｎ ｂｉｏｌｏｇｉｃａｌ ｍｉｃｒｏｓｃｏｐｙ"，Ｏｐｔ．Ｅｘｐｒｅｓｓ １８，８７７−８８３（２０１０）．
ここで、上記非特許文献１に開示されている方法は、特定の蛍光顕微鏡で得られた蛍光画像に対して画像認識処理を適用する技術である。そのため、多光子蛍光顕微鏡で得られた多光子蛍光画像のように、蛍光画像中における輝点の大きさが不明な対象物に対して、上記非特許文献１で開示されている方法を適用することは、極めて困難である。
そのため、蛍光を発生させる際の励起過程や蛍光測定に用いる蛍光顕微鏡の種類に依らず、より簡便に被測定物の表面位置を特定可能な方法が希求されていた。
そこで、本開示では、上記事情に鑑みて、任意の蛍光画像について、より簡便に被測定物の表面の位置を特定することが可能な、情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラムを提案する。
本開示によれば、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、を備える、情報処理装置が提供される。
また、本開示によれば、被測定物に対して励起光を照射し、当該被測定物の厚み方向の位置を変えながら前記被測定物で発生した蛍光を撮像することで、前記被測定物の蛍光に関する複数の画像データを生成する撮像ユニットと、前記撮像ユニットを制御しつつ、前記撮像ユニットで生成された前記複数の画像データのそれぞれに対してデータ処理を行うことで、それぞれの厚み位置に対応する複数の蛍光画像を生成する演算処理ユニットと、を備え、前記撮像ユニットは、前記被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、前記被測定物へと導光する光源光学系と、マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送するイメージガイドファイバと、前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成する撮像光学系と、を有し、前記演算処理ユニットは、前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成する撮像画像再構成部と、前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、を有する画像取得システムが提供される。
また、本開示によれば、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とすることと、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、を含む情報処理方法が提供される。
また、本開示によれば、被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、当該被測定物へと導光することと、マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物の厚み方向の位置を変えながら、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送することと、前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成することと、前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成することと、前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とすることと、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、を含む画像情報取得方法が提供される。
また、本開示によれば、コンピュータに、被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とする代表輝度値特定機能と、それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定機能と、を実現させるためのプログラムが提供される。
本開示によれば、被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像を利用して、それぞれの厚み位置に対応する蛍光画像の代表輝度値が特定され、最大の代表輝度値を与える蛍光画像に対応している厚み位置が、被測定物の表面に対応する位置とされる。
以上説明したように本開示によれば、任意の蛍光画像について、より簡便に被測定物の表面の位置を特定することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
蛍光画像について説明するための説明図である。 蛍光画像について説明するためのグラフ図である。 本開示の第１の実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係る画像情報算出部の構成の一例を示したブロック図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る画像情報算出処理を説明するための説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の第２の実施形態に係る画像取得システムの構成の一例を示したブロック図である。 同実施形態に係る撮像ユニットの構成の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る撮像ユニットが備えるイメージガイドファイバの構造を模式的に示した説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。 同実施形態に係る撮像ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。 同実施形態に係る撮像ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。 同実施形態に係る撮像ユニットの一具体例を模式的に示した説明図である。 同実施形態に係るイメージガイドファイバの端部ユニットについて説明するための説明図である。 同実施形態に係るイメージガイドファイバの端部ユニットについて説明するための説明図である。 同実施形態に係る演算処理ユニットの構成の一例を示したブロック図である。 同実施形態に係るデータ処理部の構成の一例を示したブロック図である。 同実施形態に係るデータ処理部における代表画素値の選択処理を説明するための説明図である。 同実施形態に係るデータ処理部における代表画素値の選択処理を説明するための説明図である。 同実施形態に係るデータ処理部における代表画素値の選択処理を説明するための説明図である。 本開示の実施形態に係る情報処理装置及び演算処理ユニットのハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．蛍光画像について
２．第１の実施形態（情報処理装置）
３．第２の実施形態（画像取得システム）
（蛍光画像について）
本開示の実施形態に係る情報処理装置及び画像取得システムについて説明するに先立ち、本開示で着目する蛍光画像について、簡単に説明する。
近年、内視鏡技術の発達に伴い、内視鏡下で手術を行ったり、術中診断を行ったりすることが行われるようになってきた。ここで、着目する細胞が正常細胞であるか、がん細胞であるかを判断する等の場合には、着目する臓器に所定の蛍光色素を注入した上で、内視鏡に接続された蛍光顕微鏡により、臓器の蛍光画像を観察することが行われる。
ここで、上記のようなｉｎ ｖｉｖｏ生体観察だけでなく、３次元培養された細胞の観察など、３次元の構造をもった試料（被測定物）を蛍光顕微鏡で観察する場合、明視野観察時と比較して、どの位置が表面であるかの判断が容易ではない。
蛍光画像では、画像中に観察されるどの輝点が表面に近い位置（対物レンズに近い位置）に存在しているかが不明である。そのため、ユーザは、輝点のコントラストが高い位置、又は、輝点の輪郭がはっきりしている位置を各輝点で比較して、これら輝点の中で最も対物レンズに近い位置に焦点がある輝点を選択した後、細胞の表面位置を特定することとなる。
被測定物が、径が一様で、かつ、焦点深度よりも小さい状態にある蛍光ビーズ等である場合には、熟練者でなくとも表面位置の特定は可能である。しかしながら、細胞などのように形状が一定でなく、様々な厚みを有するものが被測定物である場合には、被測定物の３次元構造を想像できなければ表面位置の特定ができないため、表面位置の特定は、ユーザの熟練度に依存してしまう。そのため、蛍光画像において、ユーザの熟練度に依らず、被測定物の表面位置を簡便に特定可能な方法が希求されている。
蛍光画像において、被測定物の表面位置を特定するために、例えば上記の非特許文献１のように、画像認識技術を適用することが考えられる。しかしながら、上記のように、被特許文献１の技術は、特定の蛍光顕微鏡で得られた蛍光画像に対して適用可能な技術であり、かかる技術を利用することは困難を伴う。また、スライドガラスの位置を検出するオートフォーカス技術を利用することも考えられるが、ｉｎ ｖｉｖｏ生体観察のようにスライドガラスの存在しない環境下では、かかる技術を適用することはできない。
そこで、本発明者は、用いる蛍光顕微鏡や蛍光の励起過程に依らずに表面位置を特定するために、蛍光画像から得ることが可能な何らかの情報を利用することに着目した。このような情報として考えられるものの一つに、蛍光画像の平均輝度値がある。
図１は、蛍光画像について説明するための説明図であり、図２は、蛍光画像について説明するためのグラフ図である。
図１に模式的に示したように、蛍光画像では、一般的に、表面に近い側を観察した蛍光画像ほど、輝点の明るさは明るくなり、表面から遠くなるにつれて、蛍光が透過すべき厚みが長くなることで、輝点の明るさは暗くなっていく。また、蛍光画像において、ピントがあっていない観察位置では、蛍光画像が全体的に明るくなる傾向にある。加えて、図１に模式的に示したように、輝点の個数は、被測定物の厚み方向（深さ方向）の観察位置によって異なることが多い。
図２は、ある細胞から発生した蛍光を、細胞の深部側から５μｍ間隔で表面側へと向かって観察した場合における、各蛍光画像の平均輝度値の変化の様子をプロットしたものである。図２において、横軸は、深部側から順に撮像された蛍光画像に紐づけられた番号（画像ナンバー）であり、縦軸は、平均輝度値である。
図２から明らかなように、蛍光画像の輝度値から得られる情報の一つとして、着目している蛍光画像での平均輝度値を採用した場合、被測定物の表面側へと向かうにつれて平均輝度値も増加していく。そのため、平均輝度値に着目した場合には、被測定物の表面位置を特定することはできない。
本発明者は、上記のような知見をもとに更に鋭意検討を行った結果、蛍光画像の平均輝度値ではなく、輝度値の分布そのものに着目することに想到し、以下で詳述するような本開示の実施形態に係る情報処理装置及び画像取得システムを完成するに至った。
（第１の実施形態）
以下では、まず、図３〜図９を参照しながら、本開示の第１の実施形態に係る情報処理装置について、詳細に説明する。図３は、本実施形態に係る情報処理装置の構成の一例を示したブロック図であり、図４は、本実施形態に係る情報処理装置が備える画像情報算出部の構成の一例を示したブロック図である。図５〜図９は、本実施形態に係る画像情報算出処理を説明するための説明図である。
＜情報処理装置の全体構成＞
まず、図３を参照しながら、本実施形態に係る情報処理装置１０の全体構成について説明する。
本実施形態に係る情報処理装置１０は、撮像ユニット２０により撮像された被測定物の蛍光画像を取得し、かかる蛍光画像を利用して、被測定物の表面の位置を少なくとも含む蛍光画像に関する画像情報を算出する装置である。
この情報処理装置１０は、撮像ユニット２０の外部に設けられた各種のコンピュータやサーバ等といった情報処理装置であってもよいし、撮像ユニット２０に実装されているＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる演算チップであってもよい。
ここで、被測定物については、蛍光を発するものであれば特に限定されるものではなく、蛍光ビーズのような無生物であってもよいし、各種の細胞のような生物であってもよい。また、被測定物から発せられる蛍光は、被測定物そのものが発するものであってもよいし、被測定物に添加された各種の蛍光色素が発するものであってもよい。更に、かかる蛍光の励起過程についても特に限定されるものではなく、１光子過程で励起された蛍光物質から発生した蛍光であってもよいし、例えば２光子過程のような多光子過程で励起された蛍光物質から発生した蛍光であってもよい。
また、かかる蛍光画像を撮像する撮像ユニット２０は、被測定物に対して所定波長の励起光を照射し、被測定物から発生した蛍光を検出することで、発生した蛍光に関する画像データを生成するユニットである。かかる撮像ユニット２０は、被測定物の厚み方向の位置を変えながら蛍光画像を撮像可能なものであれば、各種の蛍光顕微鏡等のような任意の装置を利用することが可能である。
本実施形態に係る情報処理装置１０は、図３に示したように、データ取得部１０１と、画像情報算出部１０３と、表示制御部１０５と、記憶部１０７と、を主に備える。
データ取得部１０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ取得部１０１は、撮像ユニット２０が生成した、被測定物の厚み方向が互いに異なる複数の蛍光画像の画像データを、撮像ユニット１０から取得する。データ取得部１０３が取得した複数の蛍光画像の画像データは、後述する画像情報算出部１０３へと伝送される。また、データ取得部１０１は、取得した複数の蛍光画像の画像データに対して、当該画像データを取得した日時等に関する時刻情報を関連付けて、履歴情報として後述する記憶部１０７に格納してもよい。
画像情報算出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像情報算出部１０３は、データ取得部１０１から伝送された、被測定物の厚み方向が互いに異なる複数の蛍光画像を利用して、被測定物の表面に対応する位置に関する情報を少なくとも含む画像情報を算出する。また、画像情報算出部１０３は、かかる画像情報として、被測定物の散乱係数に関する情報を算出することも可能である。画像情報算出部１０３は、上記のような画像情報を算出すると、算出した画像情報に関する情報を、表示制御部１０５に出力する。これにより、被測定物Ｓの蛍光画像に関する画像情報が、情報処理装置１０や情報処理装置１０と相互に通信が可能な各種コンピュータ等が有する表示部（図示せず。）に出力されることとなる。また、画像情報算出部１０３は、得られた画像情報を、各種の記録媒体や各種のコンピュータ等に出力してもよいし、プリンタ等の出力装置を利用して紙媒体等に出力してもよい。また、画像情報算出部１０３は、被測定物Ｓの蛍光画像に関する画像情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部１０７等に履歴情報として格納してもよい。
なお、かかる画像情報算出部１０３の詳細な構成については、以下で詳述する。
表示制御部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置等により実現される。表示制御部１０５は、画像情報算出部１０３から伝送された、被測定物Ｓの表面位置や、被測定物Ｓの散乱係数等に関する画像情報を含む各種の処理結果を、情報処理装置１０が備えるディスプレイ等の出力装置や情報処理装置１０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、情報処理装置１０のユーザは、被測定物Ｓに関する各種の処理結果を、その場で把握することが可能となる。
記憶部１０７は、例えば本実施形態に係る情報処理装置１０が備えるＲＡＭやストレージ装置等により実現される。記憶部１０７には、本実施形態に係る情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部１０７は、データ取得部１０１、画像情報算出部１０３、表示制御部１０５等が、自由にデータのリード／ライト処理を行うことが可能である。
［画像情報算出部１０３の構成について］
続いて、図４〜図９を参照しながら、本実施形態に係る情報処理装置１０が備える画像情報算出部１０３の詳細な構成について、具体的に説明する。
本実施形態に係る画像情報算出部１０３は、例えば図４に示したように、代表輝度値特定部１１１と、表面位置特定部１１３と、散乱係数算出部１１５と、結果出力部１１７と、を備える。
代表輝度値特定部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。代表輝度値特定部１１１は、被測定物Ｓの厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する蛍光画像について、蛍光画像を構成する輝度値を最高輝度値から順に並べ変える処理（ソート処理）を実施する。その後、代表輝度値特定部１１１は、最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した輝度値を、着目している厚み位置の蛍光画像の代表輝度値とする。
図５は、被測定物Ｓ（具体的には、マウス個体に作った、ｅＧＦＰ−ＲＦＰ発現がん組織細胞：ＭＫＮ４５（ヒト胃がん上皮細胞））から発生したｅＧＦＰからの蛍光を、深さ方向に５μｍずつ変化させながら撮像した蛍光画像を利用して、輝度値のソート処理を行った結果を示している。図５において、横軸は、深部側から順に撮像された蛍光画像に紐づけられた番号（画像ナンバー、＃１〜＃６０）であり、番号が大きいほど表面側であることを示している。また、縦軸は、輝度値である。
複数の蛍光画像のそれぞれについて、１枚の蛍光画像を構成している全ての画素の輝度値を最高輝度値から最低輝度値へと順にソートした上で、各蛍光画像における最高輝度値の変化の様子をプロットすると、図５における「Ｍａｘｉｍｕｍ」と記載した曲線のようになる。同様に、最高輝度値から数えて上位１％の順位（例えば、蛍光画像が１００万画素のデータであるとすると、上位１００００番目）の輝度値をプロットしたものが、図５における「９９％」と記載した曲線である。図５では、以下同様にして、上位５％の順位（図中の「９５％」）、上位１０％（図中の「９０％」）、上記２０％（図中の「８０％」）、３０％（図中の「７０％」）、４０％（図中の「６０％」）、５０％（図中の「５０％」）、９０％（図中の「１０％」）、最小画素値（図中の「ｍｉｎｉｍｕｍ」）の変化の様子をプロットしている。
ここで、本実施形態に係る画像情報算出部１０３では、「一番明るく、かつ、合焦状態にある蛍光画像」が、被測定物Ｓの表面に対応する蛍光画像であると考えている。ここで、蛍光画像の中で輝点の存在する確率がほぼ等しければ、蛍光画像において全ての画素の輝度値を最高輝度値から順番にソートした際に、同じような輝点を観察しているとみなすことができる。図５に示したように、厚み位置の変化に伴う輝度値の変化をプロットした際に、曲線の様子が指数関数的に変化していれば、上記のような前提条件がほぼ満たされていると判断することができる。従って、図５に示したように、深さ方向の異なる蛍光画像において特定の順位における輝度値の変化をプロットして、輝度値の変化の様子が指数関数的になる順位のプロットを特定し、かかるプロットに基づいて、輝度値が一番大きくなる位置を特定することができれば、被測定物Ｓの表面の位置を決定することができる。
図５において、「Ｍａｘｉｍｕｍ」に対応する輝度値の様子を見てみると、ナンバー＃１〜ナンバー＃３０では、輝度値の変化が一様ではなく、いくつものピークが出来ている。これは、蛍光画像を生成する際に用いられたレーザや撮像素子等に起因する電気的なノイズが重畳しているものと考えられる。また、ナンバー＃３５以降では、輝度値が飽和してしまっている。
また、図５において、順位が上位１％の輝度値の変化の様子（「９９％」のプロット）をみると、ナンバー＃１〜ナンバー＃４０に向かって、ほぼ指数関数的な輝度値の変化の様子が見て取れる。また、順位が上位５％の輝度値の変化の様子（９５％）のプロット）をみると、ナンバー＃１〜ナンバー＃４０に向かって、一様な変化は示しているものの、「９９％」のプロットのように、指数関数的な輝度値の変化は示していない。また、順位が上位１０％以上の輝度値の変化の様子では、ナンバー＃１からナンバー＃６０に向かって単調に増加しているだけであり、表面位置の特定に利用することはできない。
従って、代表輝度値特定部１１１は、図５に示したプロットの中では、順位が上位１％の輝度値（すなわち、図５における「９９％」のプロットの輝度値）を代表輝度値として扱うことで、着目している被測定物Ｓの表面の位置を特定することができる。
ここで、上位から何番目の順位の輝度値に着目するかについては、着目する蛍光画像の輝点の密度等に応じて適宜選択すればよいが、例えば、最高輝度値を基準として、一枚の蛍光画像を構成する全画素数の上位０．５％〜５％の範囲内に含まれる順位とすることが好ましい。０．５％未満の順位である場合には、図５における「Ｍａｘｉｍｕｍ」のプロットのように、各種の電気的なノイズが輝度値に重畳している可能性があり、好ましくない。また、５％超過の順位である場合には、図５における「９０％」のプロットのように、輝度値が単調に増加していく可能性が高くなるため、好ましくない。
代表輝度値特定部１１１は、上記のように、それぞれの蛍光画像において、最高輝度値を基準として所定の順位に位置する輝度値を、代表輝度値として抽出する。
代表輝度値特定部１１１は、以上のようにして抽出した代表輝度値に関する情報を、後述する表面位置特定部１１３及び散乱係数算出部１１５に出力する。
表面位置特定部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表面位置特定部１１３は、代表輝度値特定部１１１によって抽出された各蛍光画像の代表輝度値に基づいて、被測定物Ｓの表面に対応する位置を特定する。具体的には、表面位置特定部１１３は、各蛍光画像における代表輝度値のうち、最大の代表輝度値を与える蛍光画像に対応する厚み位置を、着目している被測定物Ｓの表面に対応する位置とする。
例えば図５に示した例では、図中で「９９％」と示した輝度値のプロットが代表輝度値の変化の様子を表わしたプロットとなるが、表面位置特定部１１３は、かかる代表輝度値の変化の様子を表わしたプロットのうち、最大の輝度値を与える位置である、ナンバー＃４３の位置（すなわち、測定開始位置から５μｍ×４３＝２１５μｍ上方の位置）を、着目している被測定物Ｓの表面の位置として特定する。
表面位置特定部１１３は、このようにして特定した被測定物Ｓの表面位置に関する情報を、後述する散乱係数算出部１１５及び結果出力部１１７に出力する。
散乱係数算出部１１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。散乱係数算出部１１５は、それぞれの蛍光画像における代表輝度値を利用し、厚み方向に沿った代表輝度値の変化の度合いから、被測定物の散乱係数を算出する。
前述のように、代表輝度値として抽出される順位の輝度値は、厚み方向の位置が変化するに伴い、指数関数的に変化していくものである。従って、厚み方向に沿った代表輝度値の変化に着目することで、その変化の度合いから被測定物Ｓの散乱係数を求めることができる。
より詳細には、散乱係数算出部１１５は、被測定物Ｓの表面に対応する位置よりも深部に対応する蛍光画像の代表輝度値に基づき、等間隔に位置している３つの厚み位置での代表輝度値を利用して、散乱係数を算出する。以下、図６を参照しながら、散乱係数算出部１１５における散乱係数の算出処理について、具体的に説明する。
いま、蛍光画像が、被測定物ＳをＮ光子（Ｎは、１以上の整数。）で励起した際の蛍光を撮像したものであるとし、図６に模式的に示したように、厚み位置ｘｉ（ｉ＝１，２，３）における代表輝度値をＡｉ（ｉ＝１，２，３）と表わし、隣り合う２つの厚み位置の間隔をｄｘと表わし、被測定物Ｓの散乱係数をＲＳと表わすとする。図５に示した代表輝度値のプロットにおいて、バックグラウンドの輝度値をＢＧとすると、散乱係数ＲＳの定義から、以下の２つの式１０１、１０３が成立する。
Figure 2016109579
ここで、上記式１０１及び式１０３を連立して、バックグラウンドＢＧを消去すると、以下の式１０５を得ることができる。ここで、下記の式１０５において、散乱係数ＲＳの単位は、［１／ｍｍ］である。
Figure 2016109579
ここで、上記式１０５において、Ｎは、蛍光画像を撮像する際に利用した蛍光顕微鏡に応じて決まる既知のパラメータであり、ｄｘは、３つの代表輝度値を抽出する際に設定される既知のパラメータであり、Ａ１〜Ａ３は、蛍光画像から得ることができる代表輝度値である。従って、式１０５を用いることで、代表輝度値から被測定物Ｓの散乱係数ＲＳを算出することができる。
図７〜図９は、２光子蛍光顕微鏡を用いて撮像された蛍光画像を利用して、上記式１０５に基づき算出した、ある被測定物Ｓの散乱係数ＲＳである。なお、かかる蛍光画像は、図５を作成する際に利用した蛍光画像と同一のものである。ここで、図７は、ｄｘを１０μｍとした場合の散乱係数ＲＳの算出結果であり、図８は、ｄｘを２５μｍとした場合の散乱係数ＲＳの算出結果であり、図９は、ｄｘを３５μｍとした場合の散乱係数ＲＳの算出結果である。
ここで、図５からも明らかなように、表面に対応する位置はナンバー＃４３であるため、ナンバー＃４３以降のデータには被測定物Ｓが存在していないため、散乱係数ＲＳの測定に用いる意味はない。また、代表輝度値は、輝度値の変化の様子が指数関数的に推移しているものであるが、その中でも、なるべく指数関数に近い変化の様子を示している位置（換言すれば、輝度値の変化が急峻な位置）に着目した方が良い。図６の「９９％」のプロットに着目すると、輝度値が急峻に変化しているのは、画像ナンバー＃２０〜＃４０の位置であることがわかる。従って、散乱係数算出部１１５は、式１０５に基づいて算出した散乱係数ＲＳのうち、輝度値が急峻に変化している位置におけるなるべく凹凸の少ない値を、着目している被測定物Ｓの散乱係数ＲＳとする。
図７〜図９に示した結果では、ナンバー＃２０〜＃４０の位置において、いずれも約５（１／ｍｍ）となっている。従って、散乱係数算出部１１５は、着目している被測定物Ｓの散乱係数ＲＳを、５（１／ｍｍ）と算出する。
散乱係数算出部１１５は、このようにして算出した被測定物Ｓの散乱係数ＲＳに関する情報を、後述する結果出力部１１７に出力する。
結果出力部１１７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。結果出力部１１７は、表面位置特定部１１３により特定された被測定物Ｓの表面の位置に関する情報や、散乱係数算出部１１５によって算出された被測定物Ｓの散乱係数ＲＳに関する情報を、出力する。
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜情報処理方法の流れについて＞
次に、図１０を参照しながら、本実施形態に係る情報処理装置１０で実施される情報処理方法の流れの一例について、簡単に説明する。図１０は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
本実施形態に係る情報処理装置１０では、まず、データ取得部１０１が、被測定物Ｓの異なる厚み位置から得られた複数の蛍光画像を取得する（ステップＳ１０１）。データ取得部１０１は、取得した複数の蛍光画像に関する情報を、画像情報算出部１０３の代表輝度値特定部１１１に出力する。
代表輝度値特定部１１１は、データ取得部１０１から出力された複数の蛍光画像を利用して、それぞれの蛍光画像から代表輝度値を抽出する（ステップＳ１０３）。その後、代表輝度値特定部１１１は、抽出した代表輝度値に関する情報を、表面位置特定部１１３及び散乱係数算出部１１５に出力する。
表面位置特定部１１３は、抽出された代表輝度値に基づき、最大の代表輝度値を与える位置を、被測定物Ｓの表面に対応する位置として特定する（ステップＳ１０５）。表面位置特定部１１３は、特定した被測定物Ｓの表面の位置に関する情報を、散乱係数算出部１１５及び結果出力部１１７に出力する。
また、散乱係数算出部１１５は、抽出された代表輝度値に基づいて、上記式１０５を利用して散乱係数ＲＳを算出する（ステップＳ１０７）。散乱係数算出部１１５は、算出した散乱係数ＲＳに関する情報を、結果出力部１１７に出力する。
結果出力部１１７は、表面位置特定部１１３によって特定された表面位置に関する情報や、散乱係数算出部１１５によって算出された散乱係数に関する情報を、外部に出力する（ステップＳ１０９）。これにより、情報処理装置１０のユーザは、被測定物Ｓの蛍光画像に関する画像情報を把握することが可能となる。
以上、図１０を参照しながら、本実施形態に係る情報処理方法の流れの一例を簡単に説明した。
以上説明したように、本実施形態に係る情報処理装置１０及び情報処理方法によれば、目視観察に依存しない（換言すれば、ユーザの技術に依存しない）表面位置の特定方法を提供することが可能となる。
また、本実施形態に係る情報処理装置１０及び情報処理方法を用いて、蛍光画像を直接解析することで、被測定物Ｓの散乱係数ＲＳを算出することが可能となる。被測定物Ｓの散乱係数ＲＳがわかれば、蛍光画像を取得する際に要する強度（パワー）を推測することが可能となるため、蛍光画像を適切に取得するための重要な情報を得ることが可能となる。
更に、散乱係数は、細胞の線維化などの状態と関連性がある可能性があるため、散乱係数の測定は、臓器の機能を評価する指標になる可能性がある。本実施形態に係る情報処理装置１０及び情報処理方法では、被測定物Ｓの一方の側からの観察で情報を取得することが可能であり、また、被測定物Ｓが数１０ミクロン程度の厚さを有していれば、散乱係数ＲＳを算出することが可能となる。従って、本実施形態に係る情報処理装置１０及び情報処理方法では、肺など組織の空孔率が高い臓器においても、情報の取得が可能であるとともに、肝臓などの臓器から採取した僅かな組織から、情報を取得することができる。
肝臓がん等の消化器系のがんの手術において、どの程度のマージンをもってがん組織を切除するかは、手術時に医師が臓器の炎症・硬化の度合いを把握し、硬化が少ないようであれば余裕をもったマージンを確保してがん組織が十分に切除できるように切除をし、硬化があるようであればマージンを少なくして多くの臓器組織を残すようにしている。手術が開腹手術である場合には、医師が手で臓器を触ったり、肉眼で見たりすることにより、患者の臓器の炎症・硬化の度合いを把握していた。しかしながら、近年の内視鏡手術の進展により、低侵襲である内視鏡手術が多く利用されるようになってきている。ここで、肝臓の硬度を経皮的に超音波で診断する方法（エラストグラフィ）も存在するが、エラストグラフィは高価であるため、消化器外科の手術室にて使用することは一般的でない。したがって、内視鏡下手術において、患者の肝臓の炎症・硬化の度合いの把握は、カメラを介して色で判断を行う手法のみである場合が一般的となっている。そのため、従来の回復手術に比較して、患者の肝機能の情報の正確性が低くなっているため、硬化が進んでいるのにマージンを多く切除してしまうなどの危険性が高くなっている。
ここで、がん組織は、正常な組織と比べて散乱係数や吸収係数が１５％程度低くなるという報告がなされており、本実施形態に係る情報処理装置１０及び情報処理方法によって、蛍光画像から組織の散乱係数が算出できるようになると、消化器外科において、切除位置の決定や細胞の術中診断に大きなメリットがある。また、同様のメリットは、呼吸器内科・呼吸器外科や泌尿器科におけるがん細胞の発見にも寄与する。このように、本実施形態に係る情報処理装置１０及び情報処理方法は、医療分野においても有用な情報を与えるものとなる。
（第２の実施形態）
次に、本開示の第２の実施形態として、被測定物の蛍光画像を撮像する撮像機能と、上記第１の実施形態で説明した、被測定物の表面位置及び散乱強度を含む画像情報の算出機能と、を兼ね備えた画像取得システムについて、図１１〜図２３を参照しながら詳細に説明する。
以下で詳述するように、本実施形態に係る画像取得システムでは、複数の光ファイバ素線から構成されるイメージガイドファイバを利用して、蛍光画像の取得を行っている。かかるイメージガイドファイバの利用に際して、本発明者は、多光子励起過程によって発生した蛍光を検出するための方法について、別途の検討を行った。その結果、多光子励起過程による蛍光の輝度を大きくするためには、イメージガイドファイバによる励起光の導波はシングルモード（より詳細には、０次モード）であることが好ましく、マルチモードの光ファイバ素線から構成されるイメージガイドファイバをそのまま利用するだけでは、蛍光輝度の低下や蛍光輝度のばらつきが生じてしまい、多光子励起過程を利用した蛍光の画像を取得することはできないという知見を得ている。
ここで、イメージガイドファイバを用いて多光子励起過程による蛍光を測定する場合に、イメージガイドファイバを構成する光ファイバ素線をシングルモードの光ファイバ素線とすることも考えられる。この場合、シングルモードの光ファイバ素線を用いる場合において隣り合う光ファイバ素線とのクロストークを減少させるためには、光ファイバのコアとクラッドの屈折率差を少なくすることが必要となる。しかしながら、コアとクラッドの屈折率差を小さくするということは、クラッドへの電界強度分布のしみだしを大きくすることを意味する。従って、隣り合う光ファイバ素線とのクロストークを減少させるためには、隣り合う光ファイバ素線との間隔を広くすることが重要となる。
イメージガイドファイバの分解能は、光ファイバ素線の配置間隔に依存し、光ファイバ素線の配置間隔が小さいほど、得られる分解能は高くなる。従って、シングルモードの光ファイバ素線を利用し、光ファイバ素線の間隔を広げた場合には、通常のイメージガイドファイバと同程度の分解能の解像度を得るためには光ファイバをスキャンするなどの更なる機構が必要となる一方で、細径化を行うことが困難となる。
更には、光ファイバのコアとクラッドの屈折率差を少なくすることは、光ファイバ素線の開口数（ＮＡ）を低めることとなるため、多光子励起過程による蛍光の信号を効率良く取得するためには、ダブルクラッドファイバを用いるなどの工夫が重要となる。
本発明者は、上記のような知見に基づいて、マルチモードの光ファイバ素線からなるイメージガイドファイバを用いた場合であっても安定的に多光子励起蛍光画像を取得可能な画像取得システムについて、鋭意検討を行った。その結果、（１）イメージガイドファイバの入射端面でシングルモードが励起されれば、確率的に試料側端面にシングルモードで到達する場合も存在すること、（２）複数回画像取得を行い、最も高い蛍光値を選択することにより、試料側端面にシングルモードで到達した励起光のデータを取得できること、に想到し、以下で説明するような本開示の第２実施形態に係る画像取得システムを完成したのである。
＜画像取得システムについて＞
［画像取得システムの全体構成］
まず、図１１を参照しながら、上記のような知見をもとに完成された、本開示の第２の実施形態に係る画像取得システム３０の全体構成について説明する。図１１は、本実施形態に係る画像取得システムの構成を模式的に示した説明図である。
本実施形態に係る画像取得システム３０は、観察対象である被測定物に対して所定波長の励起光を照射し、被測定物から多光子励起過程による蛍光を発生させて、かかる蛍光に基づく被撮像体の撮像画像を取得し、得られた撮像画像に基づいて、第１の実施形態で説明したような画像情報を算出するシステムである。この画像取得システム３０は、図１１に示したように、撮像ユニット４０と、演算処理ユニット５０と、を備える。
撮像ユニット４０は、被測定物に対して所定波長の励起光を照射し、多光子励起過程によって発生した蛍光を検出することで、発生した蛍光に関する画像データを生成するユニットである。撮像ユニット４０によって生成された画像データは、演算処理ユニット５０へと出力される。かかる撮像ユニット４０の詳細な構成については、以下で詳述する。
演算処理ユニット５０は、撮像ユニット４０による被測定物の撮像処理を統括的に制御するとともに、撮像ユニット４０によって生成された画像データに対して後述する演算処理を施し、被測定物の撮像画像を生成するとともに画像情報を算出するユニットである。
この演算処理ユニット５０は、撮像ユニット４０の外部に設けられた各種のコンピュータやサーバ等といった情報処理装置であってもよいし、撮像ユニット４０に実装されているＣＰＵ、ＲＯＭ、ＲＡＭ等からなる演算チップであってもよい。
かかる演算処理ユニット５０の詳細な構成については、以下で詳述する。
［撮像ユニット３０の構成］
次に、図１２〜図１８Ｂを参照しながら、本実施形態に係る撮像ユニット３０の詳細な構成について説明する。
図１２は、本実施形態に係る撮像ユニットの構成の一例を模式的に示した説明図である。図１３Ａ〜図１３Ｄは、本実施形態に係る撮像ユニットが備える光源の一例を模式的に示した説明図である。図１４は、本実施形態に係る撮像ユニットが備えるイメージガイドファイバの構造を模式的に示した説明図である。図１５Ａ〜図１５Ｄは、マルチモード光導波路の端面に光を集光した場合におけるモード励起について説明するための説明図である。図１６Ａ及び図１６Ｂは、本実施形態に係る撮像ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。図１７は、本実施形態に係る撮像ユニットの一具体例を模式的に示した説明図である。図１８Ａ及び図１８Ｂは、本実施形態に係るイメージガイドファイバの端部ユニットについて説明するための説明図である。
本実施形態に係る画像取得システム３０が備える撮像ユニット４０は、図１２に示したように、光源光学系４０１と、イメージガイドファイバ４０３と、撮像光学系４０５と、を主に備える。
光源光学系４０１は、被測定物Ｓを２以上の光子で励起する（すなわち、多光子で励起する）ことで蛍光を発生させるための所定波長の励起光を、被測定物Ｓへと導光する光学系である。この光源光学系４０１は、所定波長の励起光を射出するレーザ光源と、光源から射出された励起光を被測定物Ｓまで導光する、各種レンズ、各種ミラー、各種フィルタ等の光学素子と、から構成される。
光源光学系４０１における各種光学素子の詳細な配置については、特に限定されるものではなく、公知の光学系を採用することが可能である。
また、光源光学系４０１が有するレーザ光源についても、特に限定されるものではなく、各種の半導体レーザや固体レーザやガスレーザ等のように、様々な光源を利用することが可能である。レーザ光源として各種の半導体レーザを用いた光源を用いることで、画像取得システム３０をより小型化することが可能となる。
光源光学系４０１が有するレーザ光源部として利用可能な半導体レーザを用いた光源としては、例えば図１３Ａ〜図１３Ｄに示したような半導体レーザ及び半導体レーザの光を波長変換する波長変換部を用いた光源を用いることが可能である。
図１３Ａは、レーザ光源部に利用可能な半導体レーザの一例である、半導体レーザと共振器とから構成される主発振器４１１を模式的に示したものである。レーザ光源部として設けられる主発振器４１１は、所定波長（例えば、波長４０５ｎｍ）のレーザ光を射出可能な半導体レーザユニット４１２と、半導体レーザユニット４１２から射出されたレーザ光を増幅させるための共振器部４１３と、から構成されている。
図１３Ｂは、レーザ光源部に利用可能な半導体レーザの一例である、主発振器と光増幅器とから構成される主発振器出力増幅器（Ｍａｓｔｅｒ Ｏｓｃｉｌｌａｔｏｒ Ｐｏｗｅｒ Ａｍｐｌｉｆｉｅｒ：ＭＯＰＡ）４１４を、模式的に示したものである。かかる光源では、図１３Ａに示した主発振器４１１の後段に、射出されたレーザ光を更に増幅させるための光増幅器４１５が設けられている。光増幅器４１５としては、例えば、半導体光増幅器（Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｏｐｉｃａｌ Ａｍｐｌｉｆｉｅｒ：ＳＯＡ）等を好適に用いることができる。
図１３Ｃは、レーザ光源部に利用可能な半導体レーザの一例である、ＭＯＰＡ４１４と波長変換部とを有する光源を、模式的に示したものである。かかる光源では、図１３Ｂに示した光増幅器４１５の後段に、強度が増幅されたレーザ光の波長を変換するための波長変換部４１６が設けられている。波長変換部４１６としては、例えば、各種の非線形結晶を用いた光パラメトリック発振器（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌａｔｏｒ:ＯＰＯ）等を好適に用いることができる。また、ＭＯＰＡ４１４と波長変換部４１６の間に、図１３Ｄに示したように、レーザ光のビーム形状を補正するビーム形状補正部４１７を設けて、波長変換部４１６における波長変換効率を更に向上させてもよい。
また、レーザ光源から射出される励起光の波長は、特に限定されるものではなく、被測定物Ｓに含まれている蛍光体を励起するために適した波長を適宜選択すればよい。更に、光源として用いられるレーザは、ＣＷ（Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）レーザであってもよいし、パルスレーザであってもよい。
イメージガイドファイバ４０３は、図１４に模式的に示したように、マルチモードの光ファイバ素線４２１が複数束ねられたものである。それぞれの光ファイバ素線４２１は、０次モードの光のみならず、より高次のモードの光も導波可能なコア４２３と、コア４２３を覆うように設けられたクラッド４２５と、から形成されている。それぞれの光ファイバ素線４２１は、図１４に模式的に示したように、なるべく六方細密構造となるように配設されている。隣り合う光ファイバ素線４２１の離隔距離ｄは、求める画像解像度に応じて適宜設定すればよく、例えば３．５μｍなどのような値にすればよい。また、コア４２３の直径ｄ’についても適宜設定すればよく、例えば３μｍなどのような値にすればよい。
このイメージガイドファイバ４０３は、光源光学系４０１により一方の端部（例えば図１２における端部Ａ）に入射した励起光を被測定物Ｓへと伝送するとともに、被測定物Ｓで発生した蛍光によって他方の端部（例えば図１２における端部Ｂ）へと結像している被測定物Ｓの像を、もう一方の端部（例えば図１２における端部Ａ）へと伝送する。
撮像光学系４０５は、イメージガイドファイバ４０３の端部（例えば図１２における端部Ａ）へと伝送された被測定物Ｓの像を、複数の光ファイバ素線４２１のコア４２３の大きさ（図１４におけるコア径ｄ’）よりも狭い走査ピッチで走査する。この際、撮像光学系４０５は、それぞれの光ファイバ素線４２１に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像を行い、被測定物Ｓの画像データを複数生成する。
かかる撮像光学系４０５は、イメージガイドファイバ４０３により伝送された被測定物Ｓの像（すなわち、発生した蛍光に対応する蛍光信号）を検出する各種の検出器と、この検出器へと被測定物Ｓの像（蛍光信号）を導光する、各種レンズ、各種ミラー、各種フィルタ等の光学素子と、から構成される。
撮像光学系４０５における各種光学素子の詳細な配置については、特に限定されるものではなく、公知の光学系を採用することが可能である。
撮像光学系４０５に設けられる検出器ついても、蛍光の強度に関する情報を電気的な信号へと変換することが可能なものであれば、公知のものを利用することが可能である。かかる検出器として、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や、光電子増倍管（ＰｈｏｔｏＭｕｌｔｉｐｌｉｅｒ Ｔｕｂｅ：ＰＭＴ）等といった各種の検出器を挙げることができる。
また、図１２に示した光源光学系４０１又は撮像光学系４０５の少なくとも何れか一方には、以下で詳述するようなイメージガイドファイバ４０３の端面を走査するための機構が設けられている。このような走査機構については特に限定するものではなく、例えばガルバノミラー等の公知の機構を利用することが可能である。
以上、図１２〜図１４を参照しながら、本実施形態に係る撮像ユニット４０の構成について、詳細に説明した。
［イメージガイドファイバの走査方法］
次に、図１５Ａ〜図１６Ｂを参照しながら、撮像光学系４０５によるイメージガイドファイバ１０３の端面の走査方法について、詳細に説明する。
まず、図１５Ａ〜図１５Ｄを参照しながら、イメージガイドに使用されているマルチモード光導波路の端面に光を集光した場合におけるモード励起について、説明する。
マルチモード光導波路（マルチモード光ファイバ）において、図１５Ａに示すような０次モードと図１５Ｂに示すような１次モード（高次モード）とが導波するような光ファイバが用いられている場合であっても、それぞれのモードには直交性がある。そのため、例えば光導波路に傷がある場合などの外部からの摂動が加わらない限り、０次モードはそのまま０次モードで光導波路（光ファイバ）を伝搬し、１次モードもそのまま１次モードで光導波路を伝搬する。
次に、ファイバ端面に外部から光が結合（レンズにより光ファイバー端面に集光）されている場合におけるファイバ内部の導波モードの結合の様子を、図１５Ｃ及び図１５Ｄを参照しながら説明する。ファイバ内部にどの導波モードが励起されるかついては、集光スポットの電界強度分布と、導波モードの電界強度分布と、の重畳積分により決定される。
図１５Ｃに示すように、集光されたスポットがコアの中心に一致し、スポットの大きさがほぼコアの大きさに近い場合には、集光スポットの電界分布が図１５Ａに示した０次モードの電界分布とほぼ一致しているため、ファイバ内部には０次モードが励起される。また、図１５Ｂに示した電界強度分布は中心でその符号が異なっているため、図１５Ｃに示した電界強度分布と図１５Ｂに示した１次モードの電界強度分布とは、その積分値がほぼゼロとなり、１次モードは励起されないこととなる。一方、図１５Ｄに示すように、集光スポットがコアの中心からシフトしている場合には、図１５Ｄに示した電界強度分布と図１５Ｂに示した１次モードとの重畳積分がゼロとはならないため、ある程度の割合で１次モードが励起されることとなり、その分、０次モードの励起される割合が減ることとなる。従って、図１５Ｃに示すように、入射端面で０次モードが支配的に励起されると入射端面で０次モードが励起され、光導波路の導波モードは直交性を有していることから、光は、光ファイバ内をそのまま０次モードで出射端まで導波することとなる。
本発明者は、イメージガイドファイバの入射端面でシングルモード（０次モード）が励起されれば、確率的に試料側端面にシングルモードで到達する場合も存在するとの知見を得て、図１６Ａ及び図１６Ｂに模式的に示したようなイメージガイドファイバ４０３の端面の走査方法に想到した。
すなわち、本実施形態に係る撮像ユニット４０は、イメージガイドファイバ４０３の端面（例えば図１２における端部Ａの端面）を、複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査する。
例えば図１６Ａでは、イメージガイドファイバ４０３の端面の走査方向に対して平行な方向に、光ファイバ素線４２１のコアの大きさｄ’よりも狭いピッチｐで走査していく例を示している。かかる場合、使用するイメージガイドファイバ４０３の直径や光ファイバ素線４２１のコア径ｄ’等に応じて、走査方向を表わす軸（走査軸）の位置が予め設定されており、演算処理ユニット５０の制御のもとで、図１６Ａ中の黒丸の位置で、イメージガイドファイバ４０３の端面が撮像されていく。この際、走査方向に対して平行な方向の撮像間隔は、走査ピッチｐに基づいて演算処理ユニット５０により制御されるが、走査方向に対して直交する方向の撮像間隔は、イメージガイドファイバ４０３の隣り合う光ファイバ素線４２１の間隔ｄに基づいて制御される。図１６Ａに示した走査方法では、以上説明したような制御により、被測定物Ｓの全体が１回撮像される。すなわち、図１６Ａに示した走査方法では、撮像により生成される画像データの頻度（データ復元頻度）が、光ファイバ素線４２１の数よりも高頻度となる。
また、例えば図１６Ｂでは、イメージガイドファイバ４０３の端面の走査方向に対して直交する方向に、光ファイバ素線４２１のコアの大きさｄ’よりも狭いピッチｐで走査していく例を示している。かかる場合、使用するイメージガイドファイバ４０３の直径や光ファイバ素線４２１のコア径ｄ’等に応じて、走査方向を表わす軸（走査軸）の位置が予め設定されており、演算処理ユニット５０の制御のもとで、図１６Ｂ中の黒丸の位置で、イメージガイドファイバ４０３の端面が撮像されていく。この際、走査方向に対して平行な方向の撮像間隔は、イメージガイドファイバ４０３の隣り合う光ファイバ素線４２１の間隔ｄに基づいて演算処理ユニット５０により制御され、走査方向に対して直交する方向の撮像間隔は、走査ピッチｐに基づいて制御される。図１６Ｂに示した走査方法では、以上説明したような制御により、被測定物Ｓの全体が複数回（図１６Ｂの例では、例えば５回）撮像される。すなわち、図１６Ｂに示した走査方法では、１回の走査におけるデータの復元頻度は光ファイバ素線４２１の数に対応しており、それぞれの走査処理における基準位置（走査開始位置）が光ファイバ素線４２１の配置ピッチよりも狭いピッチｐで変化していく。
なお、上記説明における「撮像」とは、図１６Ａ及び図１６Ｂ中のそれぞれの黒丸の位置で、光源光学系４０１により導光された励起光が結像するとともに、黒丸の位置においてイメージガイドファイバ４０３の端面に伝送されている像（蛍光像）を撮像することを意味している。
以上説明したような走査方法が実現されることで、それぞれの光ファイバ素線４２１に該当する領域（以下、「光ファイバ素線該当領域」とも称する。）の少なくとも一部が、複数の画像に含有されるように撮像されることとなる。
図１６Ａ及び図１６Ｂに示したようにイメージガイドファイバ１０３の端面を走査することで、撮像処理によって生成される複数の画像データの中に、励起光がコア全体に対して照射されているような状況となっている場合の画像データが含まれることとなる。かかる状況では、イメージガイドファイバ４０３のコアにおいて基本波（０次モード）が励起されるため、確率的に試料側端面に基本波で到達する場合も生じることとなる。
なお、図１６Ａ及び図１６Ｂに示したような各撮像位置において、撮像ユニット４０は、１回だけ撮像処理を行ってもよいし、上記確率をより高めるために、各撮像位置において複数回の撮像処理を行ってもよい。
また、本実施形態に係る撮像ユニット４０では、図１６Ａ及び図１６Ｂを組み合わせたような走査方法（すなわち、走査方向及び走査方向に対して直交する方向のそれぞれについて、走査ピッチｐで走査する方法）を採用してもよいことは言うまでもない。
図１６Ａ及び図１６Ｂに示した走査ピッチｐの具体的な大きさは、光ファイバ素線４２１のコア径ｄ’に応じて適宜設定すればよいが、コア径ｄ’の１／１０以下程度とすることが好ましい。本発明者による検討の結果、走査ピッチｐをコア径ｄ’の１／１０以下とする（例えばコア径ｄ’が３μｍの場合、走査ピッチｐを０．３μｍ以下とする）ことで、光ファイバ素線４２１に励起される最大輝度に対して８６％以上の輝度を得ることができる。また、走査ピッチｐをコア径ｄ’の１／１２以下とすることで、光ファイバ素線４２１に励起される最大輝度に対して９０％以上の輝度を得ることができる。
なお、図１６Ａ及び図１６Ｂに示した走査方向及び撮像位置や図１６Ｂに示した走査回数はあくまでも一例であり、図１６Ａ及び図１６Ｂに示した例に限定されるものではない。
以上、図１６Ａ及び図１６Ｂを参照しながら、本実施形態に係るイメージガイドファイバ４０３の端面の走査方法の一例について、具体的に説明した。
［撮像ユニット４０の具体例］
続いて、図１７〜図１８Ｂを参照しながら、本実施形態に係る撮像ユニット４０の具体例を簡単に説明する。
図１７に示したように、例えば図１３Ａ〜図１３Ｄに示したような光源から算出された励起光は、レンズＬやミラーＭを介して、ＸＹ−ガルバノミラーＸＹ−ｇａｌまで導光され、かかるガルバノミラーにより、イメージガイドファイバ４０３への結像位置が制御される。ガルバノミラーを経た励起光は、リレーレンズＲＬ、ミラーＭ、ダイクロイックミラーＤＭを経て、対物レンズＯｂｊへと導光される。ここで、対物レンズＯｂｊの焦点位置ｆに、上記のようなイメージガイドファイバ４０３の一方の端部が配設される。
イメージガイドファイバ４０３のもう一方の端部には、以下で説明する端部ユニット４３１を設けることが好ましい。これにより、厚み方向の位置が異なる被測定物Ｓの蛍光画像を、容易に得ることが可能となる。イメージガイドファイバ４０３及び端部ユニット４３１を経て被測定物Ｓへと導光された励起光により、被測定物Ｓから蛍光が発生する。発生した蛍光は、端部ユニット４３１、イメージガイドファイバ４０３、対物レンズＯｂｊ、ダイクロイックミラーＤＭ、レンズＬ、ノッチフィルタＦ等を経て、検出器である光電子倍増管等へと導光される。
ここで、本実施形態に係る撮像ユニット３０では、被測定物Ｓの厚み方向の位置を変えながら（換言すれば、焦点位置を変えながら）蛍光画像を取得することが重要となる。ここで、焦点位置の変化方法としては、図１８Ａに示したように、端部ユニット４３１において、光ファイバ素線４２１の先端に配設したレンズ４３３を動かしたり、端部ユニット４３１の全体を動かしたりして、レンズ４３３の結合面を動かすことが考えられる。これにより、観察位置が深さ方向に異なる蛍光画像を取得することが可能となる。
しかしながら、レンズ４３３を動かすという方法では、端部ユニット４３１に駆動機構（図示せず。）を設けることが求められるが、駆動機構自体の細径化が容易ではないため、端部ユニット４３１の細径化が困難になる場合がある。また、端部ユニット４３１の全体を動かす方法では、端部ユニット４３１を所定間隔で移動させることが容易ではないため、第１の実施形態で説明したような散乱係数の算出において、誤差が生じる可能性がある。
そこで、本実施形態に係る撮像ユニット４０では、図１８Ｂに示したように、光ファイバ素線４２１と、レンズ４３３と、の間に、被測定物Ｓにおける異なる厚み位置からの蛍光を同時に取得可能なホログラム用の光学部品４３５を設けることが好ましい。かかる光学部品４３５としては、例えば、上記非特許文献２及び非特許文献３に開示されているような空間光変調器（Ｓｐａｔｉａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ：ＳＬＭ）や、上記非特許文献４に開示されているようなＱｕａｄｒａｔｉｃａｌｌｙ ｄｉｓｔｏｒｔｅｄ ｇｒａｔｉｎｇ等を挙げることができる。これらの光学部品４３５を設けることで、異なる深さに及ぶ結像面を実現するようにすると、駆動機構を設けることなく、異なる厚み位置からの蛍光を短時間で取得することができる。
なお、図１８Ｂに示したような光学部品４３５を用いる場合、それぞれの厚み位置での蛍光に関する情報量は、図１８Ａに示したような端部ユニット４３１を用いる場合と比べて少なくなる。従って、図１８Ｂに示したような端部ユニット４３１を用いる場合には、なるべく画素数の多いイメージガイドファイバ４０３等を用いたり、イメージガイドファイバ４０３自体を回転させた上で再度画像を取得したりすることで、それぞれの厚み位置での蛍光に関する情報量を増やすことが好ましい。なお、イメージガイドファイバ４０３自体を回転させる場合には、端部ユニット４３１自体に駆動機構を設ける必要はなく、イメージガイドファイバ４０３の回転に応じて、厚み位置の異なる方向も回転することとなる。
［演算処理ユニット５０の全体構成］
次に、図１９〜図２３を参照しながら、本実施形態に係る画像取得システム３０が備える演算処理ユニット５０の構成について、詳細に説明する。
図１９は、本実施形態に係る画像取得システムが備える演算処理ユニットの構成を模式的に示したブロック図である。図２０は、本実施形態に係るデータ処理部の構成の一例を示したブロック図である。図２１〜図２３は、本実施形態に係る演算処理ユニットにおける代表画素値の選択処理を説明するための説明図である。
本実施形態に係る演算処理ユニット５０は、撮像ユニット４０の動作を制御するとともに、撮像ユニット４０により生成された画像データに対して所定の演算処理を行うことで、被測定物Ｓのそれぞれの厚み位置に対応する複数の蛍光画像を生成するユニットである。
この演算処理ユニット５０は、図１９に模式的に示したように、撮像ユニット制御部５０１と、データ取得部５０３と、データ処理部５０５と、表示制御部５０７と、記憶部５０９と、を主に備える。
撮像ユニット制御部５０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。撮像ユニット制御部５０１は、本実施形態に係る撮像ユニット４０を構成する光源、光学素子、走査機構等との間で各種の制御信号を送受信することにより、撮像ユニット４０における各種の動作を全般的に統括する。これにより、撮像ユニット４０が備える光源が所定のタイミングで励起光を射出したり、イメージガイドファイバ４０３の端面が上記のような走査方法に即して走査されたりする。また、撮像ユニット４０を構成する光源、光学素子、走査機構等は、この撮像ユニット制御部５０１を介して、互いに連携しながら各種の制御を行うことも可能である。また、撮像ユニット制御部５０１が撮像ユニット４０を制御する際に利用する各種の制御情報（例えば、撮像位置に関する情報等）は、データ取得部５０３やデータ処理部５０５等に必要に応じて出力され、これらの処理部における各種の処理に適宜利用される。
更に、本実施形態に係る撮像ユニット５０１は、後述するデータ処理部５０５で算出される被測定物Ｓの散乱係数に関する情報を利用して、被測定物Ｓへと照射される励起光のパワーを制御してもよい。
データ取得部５０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ取得部５０３は、撮像ユニット４０が上記のような走査方法に即して生成した複数の画像データを、撮像ユニット４０から取得する。データ取得部５０３が取得した複数の画像データは、後述するデータ処理部５０５へと伝送される。また、データ取得部５０３は、取得した複数の画像データに対して、当該画像データを取得した日時等に関する時刻情報を関連付けて、履歴情報として後述する記憶部５０９に格納してもよい。
データ処理部５０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。データ処理部５０５は、データ取得部５０３から伝送された、撮像ユニット４０によって撮像された複数の撮像画像に対して各種のデータ処理を行うことで、被測定物Ｓの蛍光画像を生成し、得られた蛍光画像を更に利用して、被測定物Ｓの表面位置や散乱係数を特定する。データ処理部５０５は、上記のような各種の情報を算出すると、生成した蛍光画像や、算出した画像情報に関する情報を、表示制御部５０７に出力する。これにより、被測定物Ｓの蛍光画像そのものや、蛍光画像に関する画像情報が、演算処理ユニット４０や演算処理ユニット４０と相互に通信が可能な各種コンピュータ等が有する表示部（図示せず。）に出力されることとなる。また、データ処理部５０５は、得られた蛍光画像や画像情報を、各種の記録媒体や各種のコンピュータ等に出力してもよいし、プリンタ等の出力装置を利用して紙媒体等に出力してもよい。また、データ処理部５０５は、被測定物Ｓの蛍光画像や蛍光画像に関する画像情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部５０９等に履歴情報として格納してもよい。
なお、かかるデータ処理部５０５の詳細な構成については、以下で詳述する。
表示制御部５０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置等により実現される。表示制御部５０７は、データ処理部５０５から伝送された、被測定物Ｓの蛍光画像や、被測定物Ｓの表面位置や、被測定物Ｓの散乱係数等に関する情報を含む各種の処理結果を、演算処理ユニット５０が備えるディスプレイ等の出力装置や演算処理ユニット５０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、画像取得システム３０のユーザは、被測定物Ｓに関する各種の処理結果を、その場で把握することが可能となる。
記憶部５０９は、例えば本実施形態に係る演算処理ユニット５０が備えるＲＡＭやストレージ装置等により実現される。記憶部５０９には、本実施形態に係る演算処理ユニット２０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部５０９は、撮像ユニット制御部５０１、データ取得部５０３、データ処理部５０５、表示制御部５０７等が、自由にデータのリード／ライト処理を行うことが可能である。
［データ処理部５０３の構成について］
続いて、図２０〜図２３を参照しながら、本実施形態に係る演算処理ユニット５０が備えるデータ処理部５０３の構成について、詳細に説明する。
本実施形態に係るデータ処理部５０３は、図２０に示したように、選択部５１１と、撮像画像再構成部５１３と、代表輝度値特定部５１５と、表面位置特定部５１７と、散乱係数算出部５１９と、結果出力部５２１と、を備える。
選択部５１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。選択部５１１は、光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、データ取得部５０３から伝送された複数の画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する。以下、選択部５１１により実施される代表画素値の選択処理について、図２１〜図２３を参照しながら具体的に説明する。
イメージガイドファイバ４０３は、複数の光ファイバ素線４２１が束ねられたものであるため、図２１に模式的に示したように、隣り合う光ファイバ素線の間隔（配置ピッチ）ｄや光ファイバ素線４２１のコア径ｄ’に基づいて、１本の光ファイバ素線４２１に該当する領域である光ファイバ素線該当領域を仮想的に規定することができる。本実施形態に係る選択部５１１は、各光ファイバ素線４２１に対して規定される光ファイバ素線該当領域を、以下で詳述するような代表画素値の選択処理における選択対象領域として取り扱う。
図１６Ａ及び図１６Ｂに示したような走査方法が撮像ユニット４０において実現されることで、図２２に模式的に示したように、ある選択対象領域において撮像光学系４０５に設けられた検出器の撮像視野は、時間経過に応じて移動していく。
ここで、２光子励起過程を含む多光子励起過程では、光ファイバ素線中での光の導波モードが低次であるほど、発生する蛍光輝度は大きくなる。また、その時点における被撮像体の撮像対象領域がコアに対して中心に位置するほど、発生する蛍光輝度は大きくなる。従って、複数回画像取得を行い、最も高い蛍光値を選択することにより、試料側端面に０次モードで到達した励起光による多光子励起過程を経て発生した蛍光の情報を選択的に取得することができる。ここで、最も高い蛍光値は、図２２において時刻Ｔ＝ｔＭＡＸに該当するような位置を撮像した画像データで与えられると考えられる。
そこで、選択部５１１は、選択対象領域を構成する各画素について、着目している画素を含む複数の画像データの該当位置での輝度値を参照し、最も高い輝度値を特定する。その上で、選択部５１１は、特定した最高輝度値を、着目画素の代表画素値として利用する。例えば図２３に模式的に示したように、ある着目画素に対してＮ個の画像データ１〜Ｎが存在した場合、Ｎ個の画像データを横断的に探索し、最高輝度値ＬＭＡＸを与える画像データを、着目画素の画像データとして利用する。図２３の場合には、画像データｋが、着目画素の代表画素値を与える画像データとして利用されることとなる。
選択部５１１は、以上のような代表画素値の選択処理を、全ての選択対象領域（すなわち、全ての光ファイバ素線該当領域）に対して実施する。
ここで、最大輝度値を与える画像データは、その輝度値に伴うノイズが重畳しているとも考えられるため、選択部５１１は、最高輝度値を与える画像データの代わりに、最高輝度値に近い輝度値を与える画像データを、選択してもよい。
なお、以上の説明では、選択部５１１が、複数生成された画像データを横断的に探索して、最高輝度値を与える画像データを選択する場合について説明したが、以下のような方法を用いることでも、最高輝度値の具体的な値を特定することが可能である。すなわち、選択部５１１は、周辺画素のデータを比較し、光ファイバ素線該当領域での最大輝度値を選択するようなフィルタ処理を施すことで、最高輝度値を特定してもよい。このようなフィルタ処理の一例として、例えば１０画素×１０画素の領域に対するオーディナリフィルタ（ｏｒｄｉｎａｒｙ ｆｉｌｔｅｒ）等を挙げることができる。フィルタ処理を利用することで、より高速かつ簡便に、着目している画素における最高輝度値を探索することが可能となる。
選択部５１１は、以上のような方法により代表画素値を選択すると、選択した代表画素値に関する情報を、撮像画像再構成部５１３に出力する。
撮像画像再構成部５１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。撮像画像再構成部５１３は、選択された代表画素値を利用して、被撮像体Ｓの撮像画像を再構成する。これにより、多光子励起過程を経て発生した蛍光の様子を表わした被測定物Ｓの蛍光画像を生成することができる。
なお、撮像画像再構成部５１３は、生成した被測定物Ｓの蛍光画像に対して、ガウシアン・フィルタに代表されるブラーフィルタ（ｂｌｕｒ ｆｉｌｔｅｒ）を作用させてもよい。これにより、選択された代表画素値がより滑らかに接続された蛍光画像を得ることが可能となる。
また、撮像画像再構成部５１３は、生成した蛍光画像に対して、上記以外の公知の後処理を実施してもよい。
撮像画像再構成部５１３は、以上のようにして生成した蛍光画像を、代表輝度値特定部５１５及び結果出力部５２１に出力する。
代表輝度値特定部５１５、表面位置特定部５１７及び散乱係数算出部５１９は、それぞれ、本開示の第１の実施形態に係る情報処理装置１０が備える代表輝度値特定部１１１、表面位置特定部１１３及び散乱係数算出部１１５と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
結果出力部５２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。結果出力部５２１は、撮像画像再構成部５１３によって生成された蛍光画像や、表面位置特定部５１７により特定された被測定物Ｓの表面の位置に関する情報や、散乱係数算出部５１９によって算出された被測定物Ｓの散乱係数ＲＳに関する情報を、出力する。
以上、本実施形態に係る演算処理ユニット５０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理ユニットの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
（ハードウェア構成について）
次に、図２４を参照しながら、本開示の実施形態に係る情報処理装置１０及び演算処理ユニット５０のハードウェア構成について、詳細に説明する。図２４は、本開示の実施形態に係る情報処理装置１０及び演算処理ユニット５０のハードウェア構成を説明するためのブロック図である。
情報処理装置１０及び演算処理ユニット５０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、演算処理ユニット２０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０や演算処理ユニット５０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０や演算処理ユニット５０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０及び演算処理ユニット５０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０や演算処理ユニット５０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０や演算処理ユニット５０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０や演算処理ユニット５０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置１０及び演算処理ユニット５０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０や演算処理ユニット５０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
接続ポート９２３は、機器を情報処理装置１０及び演算処理ユニット５０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０や演算処理ユニット５０は、外部接続機器９２９から直接音響信号データや画像信号データを取得したり、外部接続機器９２９に音響信号データや画像信号データを提供したりする。
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置１０及び演算処理ユニット５０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
を備える、情報処理装置。
（２）前記所定の順位は、最高輝度値を基準として、一枚の前記蛍光画像を構成する全画素数の上位０．５％〜５％の範囲内に含まれる順位である、（１）に記載の情報処理装置。
（３）それぞれの前記蛍光画像における前記代表輝度値を利用し、前記厚み方向に沿った前記代表輝度値の変化の度合いから前記被測定物の散乱係数を算出する、散乱係数算出部を更に備える、（１）又は（２）に記載の情報処理装置。
（４）前記散乱係数算出部は、前記被測定物の表面に対応する位置よりも深部に対応する前記蛍光画像の前記代表輝度値に基づき、等間隔に位置している３つの前記厚み位置での前記代表輝度値を利用して、前記散乱係数を算出する、（３）に記載の情報処理装置。
（５）前記蛍光画像が、前記被測定物をＮ光子（Ｎは、１以上の整数。）で励起した際の蛍光を撮像したものであり、
厚み位置ｘｉ（ｉ＝１，２，３）における前記代表輝度値をＡｉ（ｉ＝１，２，３）と表わし、隣り合う２つの前記厚み位置の間隔をｄｘと表わした際に、
前記散乱係数算出部は、以下の式１に基づいて、散乱係数Ｓを算出する、（４）に記載の情報処理装置。
（６）被測定物に対して励起光を照射し、当該被測定物の厚み方向の位置を変えながら前記被測定物で発生した蛍光を撮像することで、前記被測定物の蛍光に関する複数の画像データを生成する撮像ユニットと、
前記撮像ユニットを制御しつつ、前記撮像ユニットで生成された前記複数の画像データのそれぞれに対してデータ処理を行うことで、それぞれの厚み位置に対応する複数の蛍光画像を生成する演算処理ユニットと、
を備え、
前記撮像ユニットは、
前記被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、前記被測定物へと導光する光源光学系と、
マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送するイメージガイドファイバと、
前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成する撮像光学系と、
を有し、
前記演算処理ユニットは、
前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、
選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成する撮像画像再構成部と、
前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
を有する、画像取得システム。
（７）前記イメージガイドファイバにおける前記被測定物側の端部には、前記被測定物における異なる厚み位置からの蛍光を同時に取得可能なホログラム用の光学部品が設けられる、（６）に記載の画像取得システム。
（８）被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とすることと、
それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
を含む、情報処理方法。
（９）被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、当該被測定物へと導光することと、
マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物の厚み方向の位置を変えながら、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送することと、
前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成することと、
前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、
選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成することと、
前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とすることと、
それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
を含む、画像情報取得方法。
（１０）コンピュータに、
被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とする代表輝度値特定機能と、
それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定機能と、
を実現させるためのプログラム。
Figure 2016109579
１０ 情報処理装置
２０，４０ 撮像ユニット
３０ 画像取得システム
５０ 演算処理ユニット
１０１，５０３ データ取得部
１０３ 画像情報算出部
１０５，５０７ 表示制御部
１０７，５０９ 記憶部
１１１，５１５ 代表輝度値特定部
１１３，５１７ 表面位置特定部
１１５，５１９ 散乱係数算出部
１１７，５２１ 結果出力部
４０１ 光源光学系
４０３ イメージガイドファイバ
４０５ 撮像光学系
４２１ 光ファイバ素線
４２３ コア
４２５ クラッド
５０１ 撮像ユニット制御部
５０５ データ処理部
５１１ 選択部
５１３ 撮像画像再構成部

Claims (10)

  1. 被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
    それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
    を備える、情報処理装置。
  2. 前記所定の順位は、最高輝度値を基準として、一枚の前記蛍光画像を構成する全画素数の上位０．５％〜５％の範囲内に含まれる順位である、請求項１に記載の情報処理装置。
  3. それぞれの前記蛍光画像における前記代表輝度値を利用し、前記厚み方向に沿った前記代表輝度値の変化の度合いから前記被測定物の散乱係数を算出する、散乱係数算出部を更に備える、請求項１に記載の情報処理装置。
  4. 前記散乱係数算出部は、前記被測定物の表面に対応する位置よりも深部に対応する前記蛍光画像の前記代表輝度値に基づき、等間隔に位置している３つの前記厚み位置での前記代表輝度値を利用して、前記散乱係数を算出する、請求項３に記載の情報処理装置。
  5. 前記蛍光画像が、前記被測定物をＮ光子（Ｎは、１以上の整数。）で励起した際の蛍光を撮像したものであり、
    厚み位置ｘｉ（ｉ＝１，２，３）における前記代表輝度値をＡｉ（ｉ＝１，２，３）と表わし、隣り合う２つの前記厚み位置の間隔をｄｘと表わした際に、
    前記散乱係数算出部は、以下の式１に基づいて、散乱係数ＲＳを算出する、請求項４に記載の情報処理装置。
    Figure 2016109579
  6. 被測定物に対して励起光を照射し、当該被測定物の厚み方向の位置を変えながら前記被測定物で発生した蛍光を撮像することで、前記被測定物の蛍光に関する複数の画像データを生成する撮像ユニットと、
    前記撮像ユニットを制御しつつ、前記撮像ユニットで生成された前記複数の画像データのそれぞれに対してデータ処理を行うことで、それぞれの厚み位置に対応する複数の蛍光画像を生成する演算処理ユニットと、
    を備え、
    前記撮像ユニットは、
    前記被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、前記被測定物へと導光する光源光学系と、
    マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送するイメージガイドファイバと、
    前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成する撮像光学系と、
    を有し、
    前記演算処理ユニットは、
    前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、
    選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成する撮像画像再構成部と、
    前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とする代表輝度値特定部と、
    それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定部と、
    を有する、画像取得システム。
  7. 前記イメージガイドファイバにおける前記被測定物側の端部には、前記被測定物における異なる厚み位置からの蛍光を同時に取得可能なホログラム用の光学部品が設けられる、請求項６に記載の画像取得システム。
  8. 被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とすることと、
    それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
    を含む、情報処理方法。
  9. 被測定物を２以上の光子で励起することで蛍光を発生させるための励起光を、当該被測定物へと導光することと、
    マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被測定物へと伝送するとともに、前記被測定物の厚み方向の位置を変えながら、前記被測定物で発生した前記蛍光によって他方の端部へと結像している前記被測定物の像を、前記一方の端部へと伝送することと、
    前記イメージガイドファイバの前記一方の端部へと伝送された前記被測定物の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被測定物の画像データを複数生成することと、
    前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、
    選択された前記代表画素値を利用して、前記被測定物の撮像画像を再構成し、前記蛍光画像を生成することと、
    前記被測定物の厚み方向の位置を変えながら撮像された複数の前記蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記厚み位置の前記蛍光画像の代表輝度値とすることと、
    それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とすることと、
    を含む、画像情報取得方法。
  10. コンピュータに、
    被測定物について、当該被測定物の厚み方向の位置を変えながら撮像された複数の蛍光画像に基づき、それぞれの厚み位置に対応する前記蛍光画像について、当該蛍光画像を構成する輝度値を最高輝度値から順に並べ変えた場合に、当該最高輝度値から所定の順位に位置する輝度値を抽出し、抽出した前記輝度値を着目している前記蛍光画像の代表輝度値とする代表輝度値特定機能と、
    それぞれの前記蛍光画像における前記代表輝度値を利用し、最大の前記代表輝度値を与える前記蛍光画像に対応する前記厚み位置を、前記被測定物の表面に対応する位置とする表面位置特定機能と、
    を実現させるためのプログラム。
JP2014248009A 2014-12-08 2014-12-08 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム Pending JP2016109579A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014248009A JP2016109579A (ja) 2014-12-08 2014-12-08 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
EP15866785.7A EP3232181B1 (en) 2014-12-08 2015-09-30 Information processing device, information acquisition system, information processing method, image information acquisition method, and program
PCT/JP2015/077855 WO2016092940A1 (ja) 2014-12-08 2015-09-30 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
US15/529,790 US10190982B2 (en) 2014-12-08 2015-09-30 Information processing device, image acquisition system, information processing method, image information acquisition method, and program
US16/218,764 US10753871B2 (en) 2014-12-08 2018-12-13 Information processing device, image acquisition system, information processing method, and image information acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014248009A JP2016109579A (ja) 2014-12-08 2014-12-08 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2016109579A true JP2016109579A (ja) 2016-06-20

Family

ID=56107135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014248009A Pending JP2016109579A (ja) 2014-12-08 2014-12-08 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Country Status (4)

Country Link
US (2) US10190982B2 (ja)
EP (1) EP3232181B1 (ja)
JP (1) JP2016109579A (ja)
WO (1) WO2016092940A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135311A1 (ja) * 2018-01-04 2019-07-11 浜松ホトニクス株式会社 蛍光測定装置および蛍光測定方法
JP2020042165A (ja) * 2018-09-11 2020-03-19 浜松ホトニクス株式会社 測定装置および測定方法
JP2020537162A (ja) * 2017-10-16 2020-12-17 蘇州微景医学科技有限公司Ｓｕｚｈｏｕ Ｍｉｃｒｏｖｉｅｗ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像再構成方法、装置及び顕微結像装置
US11874454B2 (en) 2018-06-28 2024-01-16 Evident Corporation Optical scanning apparatus and image pickup apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
EP3165153A1 (en) * 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04138127A (ja) 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
JP2568337B2 (ja) 1991-11-01 1997-01-08 フクダ電子株式会社 実時間内視画像処理方式
JPH11108615A (ja) 1997-10-01 1999-04-23 Asahi Glass Co Ltd 鏡面材料並びに透光性材料の表面位置検出方法及び装置
WO2002048693A1 (fr) * 2000-12-14 2002-06-20 Olympus Optical Co., Ltd. Analyseur fluorometrique et analyse fluorometrique
US7756305B2 (en) 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
JP2010284369A (ja) 2009-06-12 2010-12-24 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP5293468B2 (ja) * 2009-07-10 2013-09-18 ソニー株式会社 蛍光像取得装置、蛍光像取得方法及び蛍光像取得プログラム
DE202010010932U1 (de) 2010-04-19 2011-10-07 Witec Wissenschaftliche Instrumente Und Technologie Gmbh Vorrichtung zur Abbildung einer Probenoberfläche
BR112013008821A2 (pt) 2010-10-14 2016-06-28 Koninkl Philips Electronics Nv aparelho de determinação de propriedades para determinar propriedades de objetos, método de determinação de propriedades para determinar propriedades de objetos e programa de computador de determinação de propriedades para determinar propriedade de objeto
JP5829030B2 (ja) 2011-03-23 2015-12-09 オリンパス株式会社 顕微鏡
JP2013011527A (ja) * 2011-06-29 2013-01-17 Olympus Corp 蛍光顕微鏡システムおよび蛍光物質の定量方法
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
DE102013208927A1 (de) * 2013-05-14 2014-11-20 Carl Zeiss Microscopy Gmbh Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020537162A (ja) * 2017-10-16 2020-12-17 蘇州微景医学科技有限公司Ｓｕｚｈｏｕ Ｍｉｃｒｏｖｉｅｗ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像再構成方法、装置及び顕微結像装置
JP7064796B2 (ja) 2017-10-16 2022-05-11 蘇州微景医学科技有限公司 画像再構成方法、装置及び顕微結像装置
US11449964B2 (en) 2017-10-16 2022-09-20 Suzhou Microview Medical Technologies Co., Ltd. Image reconstruction method, device and microscopic imaging device
WO2019135311A1 (ja) * 2018-01-04 2019-07-11 浜松ホトニクス株式会社 蛍光測定装置および蛍光測定方法
JP2019120570A (ja) * 2018-01-04 2019-07-22 浜松ホトニクス株式会社 蛍光測定装置および蛍光測定方法
US11204324B2 (en) 2018-01-04 2021-12-21 Hamamatsu Photonics K.K. Fluorescence measurement device and fluorescence measurement method
US11874454B2 (en) 2018-06-28 2024-01-16 Evident Corporation Optical scanning apparatus and image pickup apparatus
JP2020042165A (ja) * 2018-09-11 2020-03-19 浜松ホトニクス株式会社 測定装置および測定方法
JP7158220B2 (ja) 2018-09-11 2022-10-21 浜松ホトニクス株式会社 測定装置および測定方法

Also Published As

Publication number Publication date
US20170315056A1 (en) 2017-11-02
WO2016092940A1 (ja) 2016-06-16
US10753871B2 (en) 2020-08-25
US10190982B2 (en) 2019-01-29
EP3232181A4 (en) 2018-08-08
US20190113454A1 (en) 2019-04-18
EP3232181B1 (en) 2020-09-02
EP3232181A1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
Gorpas et al. Autofluorescence lifetime augmented reality as a means for real-time robotic surgery guidance in human patients
US10768402B2 (en) Microscopy of a tissue sample using structured illumination
JP6046325B2 (ja) 漸次的に解像度を増加させて１以上の生物学的サンプルの観察及び分析のための方法及びその方法のための装置
Wang et al. High-resolution rapid diagnostic imaging of whole prostate biopsies using video-rate fluorescence structured illumination microscopy
Schlichenmeyer et al. Video-rate structured illumination microscopy for high-throughput imaging of large tissue areas
JP5185151B2 (ja) 顕微鏡観察システム
JP6116561B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
Coda et al. State of the art in advanced endoscopic imaging for the detection and evaluation of dysplasia and early cancer of the gastrointestinal tract
US11803951B2 (en) High resolution microendoscope employing differential structured illumination and method of using same
Wang et al. A confocal endoscope for cellular imaging
Mehravar et al. Label-free multi-photon imaging of dysplasia in Barrett’s esophagus
Lochocki et al. Epi-fluorescence imaging of the human brain through a multimode fiber
JP2013114233A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2014212876A (ja) 腫瘍領域判別装置及び腫瘍領域判別方法
Untracht et al. Imaging the small with the small: Prospects for photonics in micro-endomicroscopy for minimally invasive cellular-resolution bioimaging
Rangrez et al. Fluorescence in vivo endomicroscopy: High-resolution, 3-dimensional confocal laser endomicroscopy (Part 1)
Bae et al. Feasibility studies of multimodal nonlinear endoscopy using multicore fiber bundles for remote scanning from tissue sections to bulk organs
Browning et al. Illuminating the optical properties of an LED-based spectral light source for hyperspectral endoscopy
Zhang et al. Optical second-harmonic generation imaging for identifying gastrointestinal stromal tumors
WO2015182269A1 (ja) 画像取得装置及び画像取得方法
Thrapp Computational Optical Sectioning in Fibre Bundle Endomicroscopy
Ma Advancements of pulse sampling time-resolved fluorescence spectroscopy techniques for clinical applications
McWade et al. Imaging system design for surgical guidance with near-infrared autofluorescence
Zhang et al. Characterization of human coronary atherosclerotic plaque using spectrum-and time-resolved multiphoton microscopy