JP2022140443A - 処理システム、データ処理装置、表示システム及び顕微鏡システム - Google Patents

処理システム、データ処理装置、表示システム及び顕微鏡システム Download PDF

Info

Publication number
JP2022140443A
JP2022140443A JP2022108452A JP2022108452A JP2022140443A JP 2022140443 A JP2022140443 A JP 2022140443A JP 2022108452 A JP2022108452 A JP 2022108452A JP 2022108452 A JP2022108452 A JP 2022108452A JP 2022140443 A JP2022140443 A JP 2022140443A
Authority
JP
Japan
Prior art keywords
data
autofluorescence
sample
light
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022108452A
Other languages
English (en)
Other versions
JP7336654B2 (ja
Inventor
暢彦 野村
Nobuhiko Nomura
穣 八幡
Minoru Yashima
達則 清川
Tatsunori Kiyokawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tsukuba NUC
Original Assignee
University of Tsukuba NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tsukuba NUC filed Critical University of Tsukuba NUC
Publication of JP2022140443A publication Critical patent/JP2022140443A/ja
Application granted granted Critical
Publication of JP7336654B2 publication Critical patent/JP7336654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5097—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving plant cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6491—Measuring fluorescence and transmission; Correcting inner filter effect
    • G01N2021/6493—Measuring fluorescence and transmission; Correcting inner filter effect by alternating fluorescence/transmission or fluorescence/reflection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Hematology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Cell Biology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Zoology (AREA)
  • Botany (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得することができる処理システム、データ処理装置、表示システム及び顕微鏡システムを提供すること。【解決手段】処理システムは、励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に励起光を照射する第１照射手段と、試料由来の自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成手段と、所定の焦点面上の１つの座標に照射光を照射する第２照射手段と、試料が散乱させた反射光の強度データを生成する反射光データ生成手段と、所定の焦点面上の１つの座標における自家蛍光データと、反射光の強度データとを対応付けた対応データを作成する対応データ作成手段と、焦点の位置を変化させる走査手段と、自家蛍光データと参照データとを比較する比較手段とを備える。【選択図】図１

Description

本発明は、例えば微生物が発した自家蛍光を処理する処理システム、データ処理装置、表示システム及び顕微鏡システムに関する。
従来、微生物種の同定を行う際には、コッホの法則で体系化されたように、検体から微生物を単離して培養するのが一般的である。これに対して、微生物の単離や培養を行わずに微生物種を同定する技術として、次世代シークエンサー技術に基づいたメタゲノム解析によって微生物種を同定する種別同定方法が提案されている（例えば、特許文献１を参照）。特許文献１によれば、メタゲノム解析によって決定された塩基配列と、既知の微生物の塩基配列とを比較することによって、検体中に存在する微生物の微生物種を同定することができる。
このほかに微生物種を同定する技術として、コロニーが発する自家蛍光を検出することによって微生物種の同定を行う方法が知られている（例えば、特許文献２、３を参照）。特許文献２、３によれば、微生物に対して非侵襲で微生物種を検出することができる。さらに、蛍光染色された細胞に励起光を照射することによって該細胞が発する蛍光を撮像して得られる撮像画像であって、波長帯域が異なる励起光に基づく複数の撮像画像を用いて細胞を検出する技術が知られている（例えば、特許文献４を参照）。
近年、微生物の動態を探るため、共焦点顕微鏡を用いて三次元空間における微生物の位置やその空間における動きを把握する研究が行われている（例えば、非特許文献１、２を参照）。これらの研究は、例えば微生物集団と微生物によって生産される細胞外マトリクス成分の複合体（バイオフィルム）の形成過程を経時的三次元的に観察することにおいて大きな成果をあげてきたが、当該方法を自家蛍光に基づく微生物の同定・評価に応用するという着想は報告されていない。また、前述の特許文献１～４において、三次元空間における空間的な位置やその空間における動きを把握するといった、微生物種の同定に加え、非侵襲の微生物の位置情報を取得することについては考慮されていない。さらには、空間上の１つの座標における、試料の発する自家蛍光と反射光の両者を対応させて記録するという着想は、前記の先行技術文献に記載も示唆もない。
特開２０１５－２０４８１３号公報 特表２０１２－５１１９０５号公報 特表２００５－５０２３５４号公報 国際公開第２００３／００８６３４号
R. J. Palmer and C. Sternberg: Curr. Opin. Biotech., 10, 263(1999). Y. Yawata, K. Toda, E. Setoyama, J. Fukuda, H. Suzuki, H. Uchiyama and N.Nomura: J. Biosci. Bioeng., 110, 377(2010).
本発明は、上記に鑑みてなされたものであって、試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得することができるデータ作成方法及びデータ使用方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係るデータ作成装置は、所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、前記所定の焦点面上の１つの座標に照射光を照射することによって、前記試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成ステップとを含むことを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記所定の焦点面上の互いに異なる複数の座標において実施されるものであることを特徴とする。
本発明に係るデータ作成方法は、上記発明において、互いに異なる複数の焦点面において実施されるものであることを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記自家蛍光データ生成ステップにおいて、波長の異なる複数の励起光の照射を実施し、該複数の励起光により得られた各自家蛍光の前記スペクトルデータにより構成されるスペクトルプロファイルデータを含む前記自家蛍光データを作成することを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記反射光データ生成ステップは、前記波長の異なる複数の励起光のいずれかの励起光を用いて前記反射光を取得することを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記反射光データ生成ステップは、前記波長の異なる複数の励起光のすべての励起光を用いて前記反射光を取得することを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記自家蛍光データ生成ステップは、前記反射光データ生成ステップにおいて所定の強度以上の反射光が得られた座標においてのみ実施することを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記自家蛍光データ生成ステップは、前記反射光データ生成ステップにおいて所定の強度以上の反射光が得られた複数の座標と、該複数の座標によって取り囲まれる領域であって、前記試料の内部に相当する領域の内部に位置する一つ又は複数の座標とにおいて実施することを特徴とする。
本発明に係るデータ作成方法は、上記発明において、前記励起光及び前記照射光は、少なくとも一方がレーザ光であることを特徴とする。
本発明に係るデータ使用方法は、上記発明に係るデータ作成方法によって前記対応データを生成し、複数の試料の自家蛍光データを比較することによって、試料の状態との相関を見出すことを特徴とする。
本発明に係るデータ使用方法は、上記発明において、機械学習により前記相関が見出されるものであることを特徴とする。
本発明に係るデータ使用方法は、上記発明に係るデータ作成方法によって前記対応データを生成し、既知試料の自家蛍光データと未知試料の自家蛍光データとを比較することによって、未知試料の同定又は評価を行うことを特徴とする。
本発明に係るデータ使用方法は、上記発明において、機械学習により既知試料の特徴付けが行われるものであることを特徴とする。
本発明に係るデータ使用方法は、上記発明において、試料が、動物細胞、植物細胞、酵母細胞、真菌類細胞、微細藻類細胞、細菌類、古細菌類、ウイルス、ファージのいずれか及びそれらが産生する胞子、芽胞、膜小胞のいずれかであることを特徴とする。
本発明に係るデータ使用方法は、上記発明において、前記試料の状態が、試料の代謝状態又は生理状態に関するものであることを特徴とする。
本発明に係るデータ使用方法は、上記発明において、前記未知試料の同定が、生物学上の界、門、綱、目、科、属、種、品種、病原型又は抗原型を同定するものであることを特徴とする。
本発明に係るデータ使用方法は、上記発明において、前記未知試料の同定が、微生物学上の株又は亜株であることを特徴とする。
本発明に係るデータ使用方法は、上記発明において、前記未知試料の評価が、代謝状態又は生理状態に関するものであることを特徴とする。
本発明に係るデータ使用方法は、上記発明において、所定の波長の光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記光からなる励起光を照射することによって、試料由来の自家蛍光を取得して、自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成ステップと、前記所定の焦点面上の１つの座標に照射光を照射することによって、前記試料が散乱させた反射光を取得し、該反射光の強度データを生成する反射光データ生成ステップと、前期所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成ステップと、前記自家蛍光データ生成ステップ、反射光データ生成ステップ、及び対応データ作成ステップを互いに異なる複数の焦点面において繰り返す繰り返しステップと、前記繰り返しステップにより得られた前記対応データを用いて、所定の特性を有する集団を抽出する抽出ステップとを含むことを特徴とする。
本発明によれば、試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得することができるという効果を奏する。
図１は、本発明の一実施の形態に係る顕微鏡システムの概略構成を模式的に示す図である。 図２は、本発明の一実施の形態に係るデータ解析方法を説明するフローチャートの一例である。 図３は、本発明の一実施の形態に係る顕微鏡システムの走査方法を説明する図である。 図４は、本発明の一実施の形態に係る顕微鏡システムにおける走査によって生成される合焦画像を説明する図である。 図５は、本発明の一実施の形態に係る顕微鏡システムにおいて表示される三次元画像を説明する図である。 図６は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であって、Streptococcus mitis（S.mitis）が写った検体画像を示す図である。 図７Ａは、波長が４０５ ｎｍの励起光を照射した際に撮像されるS.mitisの蛍光画像を示す図である。 図７Ｂは、波長が４０５ ｎｍの励起光を照射した際に検出されるS.mitisの蛍光スペクトルを示す図である。 図８Ａは、波長が４５８ ｎｍの励起光を照射した際に撮像されるS.mitisの蛍光画像を示す図である。 図８Ｂは、波長が４５８ ｎｍの励起光を照射した際に検出されるS.mitis の蛍光スペクトルを示す図である。 図９Ａは、波長が４８８ ｎｍの励起光を照射した際に撮像されるS.mitisの蛍光画像を示す図である。 図９Ｂは、波長が４８８ ｎｍの励起光を照射した際に検出されるS.mitisの蛍光スペクトルを示す図である。 図１０は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であって、Aggregatibacter actinomycetemcomitans（A.a.）が写った検体画像を示す図である。 図１１Ａは、波長が４０５ ｎｍの励起光を照射した際に撮像されるA.a.の蛍光画像を示す図である。 図１１Ｂは、波長が４０５ ｎｍの励起光を照射した際に検出されるA.a.の蛍光スペクトルを示す図である。 図１２Ａは、波長が４５８ ｎｍの励起光を照射した際に撮像されるA.a.の蛍光画像を示す図である。 図１２Ｂは、波長が４５８ ｎｍの励起光を照射した際に検出されるA.a.の蛍光スペクトルを示す図である。 図１３Ａは、波長が４８８ ｎｍの励起光を照射した際に撮像されるA.a.の蛍光画像を示す図である。 図１３Ｂは、波長が４８８ ｎｍの励起光を照射した際に検出されるA.a.の蛍光スペクトルを示す図である。 図１４は、S.mitisとA.a.とが存在する合焦画像を示す図である。 図１５は、図１４に示す合焦画像において、S.mitisに配色を行った画像を示す図である。 図１６は、S.mitisとA.a.とが存在する複数の合焦画像を三次元で表現した三次元画像を示す図である。 図１７は、S.mitis及びA.a.にそれぞれ配色を行った三次元画像を示す図である。 図１８は、図１７に示す三次元画像からS.mitisを抽出した三次元画像を示す図である。 図１９は、反射光に基づく三次元画像（ａ）、S.mitis及びA.a.にそれぞれ配色を行った三次元画像（ｂ）、及びS.mitisに配色を行った三次元画像（ｃ）を示す図である。 図２０は、特性の異なる油脂酵母（子嚢菌）を示す画像であって、油脂高生産株の自家蛍光画像（ａ）、油脂低蓄積株の自家蛍光画像（ｂ）、及び油脂高生産株と油脂低蓄積株とを混合した自家蛍光画像（ｃ）をそれぞれ示す図である。 図２１は、図２０の（ａ）に示す油脂高生産株の自家蛍光のスペクトルプロファイルを示す図である。 図２２は、図２０の（ｂ）に示す油脂低蓄積株の自家蛍光のスペクトルプロファイルを示す図である。 図２３は、土壌細菌であるパエニバシラス・ポリミキサ（Paenibacillus polymyxa）の自家蛍光のスペクトルプロファイルを示す図である。 図２４は、土壌細菌であるシュードモナス・プチダ（Pseudomonas putida）の自家蛍光のスペクトルプロファイルを示す図である。 図２５Ａは、野生株大腸菌の共焦点反射顕微鏡画像を示す図である。 図２５Ｂは、各励起光を照射した際に取得される野生株大腸菌の自家蛍光画像を示す図である。 図２６Ａは、チロシン過剰生産株大腸菌の共焦点反射顕微鏡画像を示す図である。 図２６Ｂは、各励起光を照射した際に取得されるチロシン過剰生産株大腸菌の自家蛍光画像を示す図である。 図２７は、野生株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ａ）と、チロシン過剰生産株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ｂ）とを示す図である。 図２８Ａは、野生株のカビ（Aspergillus nidulans）の共焦点反射顕微鏡画像を示す図である。 図２８Ｂは、各励起光を照射した際に取得される野生株のカビ（Aspergillus nidulans）の自家蛍光画像を示す図である。 図２９Ａは、変異株のカビ（Aspergillus nidulans）の共焦点反射顕微鏡画像を示す図である。 図２９Ｂは、各励起光を照射した際に取得される変異株のカビ（Aspergillus nidulans）の自家蛍光画像を示す図である。 図３０は、野生株のカビ（Aspergillus nidulans）の自家蛍光のスペクトルプロファイルを示す図である。 図３１は、変異株のカビ（Aspergillus nidulans）の自家蛍光のスペクトルプロファイルを示す図である。 図３２Ａは、腸管上皮ガン細胞の共焦点反射顕微鏡画像を示す図である。 図３２Ｂは、各励起光を照射した際に取得される腸管上皮ガン細胞の自家蛍光画像を示す図である。 図３３は、本発明の一実施の形態に係る顕微鏡システムにおいて生成された共焦点反射顕微鏡画像と、自家蛍光画像とを重ね合わせた画像とについて説明する図である。 図３４は、本発明の実施の形態の変形例１に係る顕微鏡システムにおける記録部が記録するデータについて説明する図である。 図３５は、各増殖フェイズにおけるパエニバシラス・ポリミキサ（Paenibacillus polymyxa）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。 図３６は、各増殖フェイズにおけるシュードモナス・プチダ（Pseudomonas putida）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。 図３７は、パエニバシラス・ポリミキサ（Paenibacillus polymyxa）とシュードモナス・プチダ（Pseudomonas putida）とが混在している共焦点反射顕微鏡画像を示す図である。 図３８は、パエニバシラス・ポリミキサ（Paenibacillus polymyxa）とシュードモナス・プチダ（Pseudomonas putida）とに対してそれぞれ設定された色相を、共焦点反射顕微鏡画像に重畳した画像を示す図である。 図３９は、本発明の実施の形態の変形例２に係るデータ解析方法を説明するフローチャートである。
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態）
図１は、本発明の一実施の形態に係る顕微鏡システムの概略構成を模式的に示す図である。同図に示す顕微鏡システム１は、共焦点レーザスキャン顕微鏡１００により取得された画像データに基づいて、画像中に写り込んだ対象の種別、例えば微生物の微生物種の同定を行って、その同定結果や取得した画像の表示を行うシステムである。この顕微鏡システム１は、図１に示すように、レーザ光を照射して検体の自家蛍光又は反射光を取得する共焦点レーザスキャン顕微鏡１００と、顕微鏡システム１を統括的に制御する制御装置２００と、共焦点レーザスキャン顕微鏡１００が取得した光に基づく画像データ等の各種データを生成する画像処理装置３００と、画像処理装置３００が生成した表示用の画像データに基づく画像を表示する表示装置４００とを備える。ここで、微生物は、細菌、菌類、ウイルス、微細藻類、及び原生動物等を含んでいる。なお、本実施の形態において、撮像対象となる試料は、動物細胞、植物細胞、酵母細胞、真菌類細胞、微細藻類細胞、細菌類、古細菌類、ウイルス、ファージのいずれか、及びそれらが産生する胞子、芽胞、膜小胞のいずれかである。
共焦点レーザスキャン顕微鏡１００は、ステージ１０１と、対物レンズ１０２と、レーザ光源１０３と、レンズ１０４と、コリメートレンズ１０５と、ビームスプリッター１０６と、結像レンズ１０７と、コンフォーカルピンホール１０８と、検出器１０９と、走査ミラー１１０とを備える。以下、ステージ１０１の検体載置面と平行な平面上の直交する二つの軸をＸ軸、Ｙ軸とし、この平面に直交する軸をＺ軸とする。なお、Ｚ軸は、対物レンズ１０２の光軸と平行であるものとして説明する。
ステージ１０１は、検体を載置する。ステージ１０１は、制御装置２００の制御のもと、例えばモータ等の駆動源を用いてＺ軸方向に移動可能に構成される。検体は、微生物を含む溶液や培地であり、例えばシャーレやスライドガラス等の保持部材によって保持された状態でステージ１０１に載置されている。
対物レンズ１０２は、ビームスプリッター１０６が反射したレーザ光をステージ１０１に向けて集光するとともに、ステージ１０１上の検体からの光を平行光にしてビームスプリッター１０６に入射させる。
レーザ光源１０３は、所定の波長を有するレーザ光を出射する。具体的に、レーザ光源１０３は、検体を励起するための励起波長に応じた波長のレーザ光を出射する。レーザ光源１０３は、使用する波長のレーザ光をそれぞれ出射可能な複数の光源を有するものであってもよいし、白色のレーザ光を照射して、フィルタによって出射する光の波長を選択できるようにしてもよい。
レンズ１０４は、レーザ光源１０３が発したレーザ光を放射状のレーザ光として出射する。
コリメートレンズ１０５は、レンズ１０４を通過した放射状のレーザ光を平行光に変換して、ビームスプリッター１０６に出射する。
ビームスプリッター１０６は、入射する光の一部を通過させ、残りの光を反射する。具体的に、ビームスプリッター１０６は、レーザ光源１０３から出射された光の一部を対物レンズ１０２側に折り曲げるとともに、対物レンズ１０２から入射した光の一部を通過させることによって結像レンズ１０７に入射させる。ビームスプリッター１０６は、例えばハーフミラーを用いて構成され、入射したレーザ光のうち、半分のレーザ光を通過させるとともに、残りの半分のレーザ光を反射する。
結像レンズ１０７は、ビームスプリッター１０６を通過した光を結像する。
コンフォーカルピンホール１０８は、結像レンズ１０７によって結像された光の少なくとも一部を通過させる。コンフォーカルピンホール１０８には、光が通過可能な孔であるピンホール１０８ａが形成されている。また、コンフォーカルピンホール１０８は、対物レンズ１０２と共役な位置に設けられる。このため、コンフォーカルピンホール１０８では、対物レンズ１０２の焦点面からの光がピンホール１０８ａを通過し、合焦していない位置からの光が遮断される。例えば、結像レンズ１０７により結像されるレーザ光のスポット径が０．２μｍである場合、結像位置において、約０．０３μｍ2の範囲からの光がピンホール１０８ａを通過する。なお、ピンホール１０８ａの径と、焦点空間の大きさは設定の変更が可能である。
検出器１０９は、入射した光を設定された波長帯域に分離する反射型回折格子と、得られた光を光電変換するとともに、変換した電気信号の電流増幅を行う複数の光電子増倍管（PhotoMultiplier Tube：PMT、以下、チャンネルということもある）とを用いて構成される。検出器１０９は、例えば反射型回折格子によって互いに波長帯域の異なる３２個の光に分離し、分離した光が、３２個の光電子増倍管にそれぞれ入射する。各光電子増倍管は、入射した光をそれぞれ光電変換して電気信号を出力する。
走査ミラー１１０は、制御装置２００による制御のもと、検体の焦点面ＰF上におけるレーザ光の照射位置を制御する。走査ミラー１１０は、例えばＸ位置制御ミラーと、Ｙ位置制御ミラーとを用いて構成され、ＸＹ平面上の所定の位置にレーザ光を導光する。走査ミラー１１０は、制御装置２００による制御のもと、各位置制御ミラーの角度を変化させることによってレーザ光の照射位置を予め設定された走査経路に沿って移動させる。
次に、制御装置２００の構成について説明する。制御装置２００は、制御部２０１と、入力部２０２とを備える。なお、制御装置２００は、当該制御装置２００の動作に必要な各種情報を記録する記録部（図示せず）を備えている。
制御部２０１は、演算及び制御機能を有するＣＰＵ（Central Processing Unit）や各種演算回路等を用いて構成される。制御部２０１は、記録部が格納する情報を読み出して各種演算処理を実行することによって顕微鏡システム１を統括して制御する。制御部２０１は、レーザ制御部２０３と、走査制御部２０４とを有する。
レーザ制御部２０３は、制御プログラムや、入力部２０２が受け付けた指示情報に基づいて、レーザ光源１０３によるレーザ光の出射を制御する。具体的に、レーザ制御部２０３は、レーザ光の出射タイミングの制御や、出射するレーザ光の波長の制御を行う。レーザ制御部２０３は、例えば、パルス制御によってレーザ光を間欠的に出射する制御を行う。
走査制御部２０４は、制御プログラムや、入力部２０２が受け付けた指示情報に基づいて、ステージ１０１のＺ方向の位置の制御や、走査ミラー１１０によるレーザ光の照射位置の制御を行う。
入力部２０２は、各種情報の入力を受け付ける。入力部２０２は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて構成される。
次に、画像処理装置３００の構成について説明する。画像処理装置３００は、検出信号受信部３０１と、データ生成部３０２と、二次元画像生成部３０３と、三次元画像生成部３０４と、データ解析部３０５と、色相重畳部３０６と、記録部３０７とを有する。
検出信号受信部３０１は、検出器１０９から、各チャンネルの電気信号を受信する。検出信号受信部３０１は、受信した各チャンネルの電気信号と、走査面上の位置情報（レーザ光照射位置）とを対応付けてデータ生成部３０２に出力する。なお、検出信号受信部３０１は、反射光検出用と、自家蛍光検出用とを個別に設けるようしてもよい。
データ生成部３０２は、検出信号受信部３０１から受信した電気信号に基づく光の強度と、走査面上の位置情報とを対応付けたデータを生成する。データ生成部３０２は、自家蛍光データ生成部３０２ａと、反射光データ生成部３０２ｂと、対応データ生成部３０２ｃとを有する。
自家蛍光データ生成部３０２ａは、検出信号受信部３０１が受信した自家蛍光に係る電気信号であって、各チャンネルの電気信号を取得して、所定の焦点面上の１つの座標ごとに強度データ及び／又は蛍光スペクトル（スペクトルデータ）を生成する。自家蛍光データ生成部３０２ａは、走査面上の一つの位置について、照射された励起光が一つの場合は、一つの蛍光スペクトルを生成し、互いに異なる複数の波長の励起光が異なるタイミングで照射された場合には、励起光に応じて複数の蛍光スペクトルを生成する。ここでいう「蛍光スペクトル」とは、励起光として所定の波長のレーザ光を照射した際に生じた自家蛍光の「波長に対する強度分布」を意味する。また、ここでいう「強度」とは、例えば得られた自家蛍光を光電変換した信号値を指す。蛍光スペクトルは、例えばプロット間を補完して平滑化処理等が施されている波形からなる。なお、本発明では複数の蛍光スペクトルからなるデータをスペクトルプロファイルデータと呼ぶことがある。本明細書において、「自家蛍光データ」とは、自家蛍光の強度データ、スペクトルデータ及びスペクトルプロファイルデータのいずれか又はすべてを含む。自家蛍光データ生成部３０２ａは、走査面上の各位置（所定の焦点面上の複数の座標）について、励起波長に応じて生成される蛍光スペクトルを対応付けた自家蛍光データを生成する。
反射光データ生成部３０２ｂは、検出信号受信部３０１が受信した、検体が反射した反射光に係る検出信号を取得して、この取得した検出信号に基づく反射光の強度と、走査面上の位置情報とを対応付けた反射光データを生成する。反射光データ生成部３０２ｂは、例えば、各チャンネルの電気信号に基づく光の強度を合算して、その走査面上の位置における反射光の強度とする。
対応データ生成部３０２ｃは、所定の焦点面上の１つの座標における自家蛍光データと反射光データからなる、対応データを生成する。対応データ生成部３０２ｃは、複数の座標において自家蛍光データ及び反射光データが生成されていれば、各座標について、自家蛍光データと反射光データとを対応付けた対応データを生成する。また、同一の座標において複数の励起光による自家蛍光データが生成されていれば、その座標に各自家蛍光データを対応付ける。
ここで、所定の焦点面上の１つの座標において反射光データと自家蛍光データとを対応付けることの意義について述べる。反射光の強度は、所定の焦点面上の１つの座標における、細胞等の検体の存在を反映する。当該座標に検体（細胞）が存在しなければ反射光の強度は低く、検体（細胞）が存在すれば高い強度の反射光が得られる。高倍率での反射光を取得すれば、細胞の輪郭部分からの反射光、細胞内部からの反射光、さらには核など内部の細胞内小器官からの反射光を得ることもできる。このようにして、ある座標における検体（細胞）の有無、或いは、ある座標が検体（細胞）のどの部位に相当するかの情報を取得し、これと当該座標における自家蛍光データを用いることにより、これまで不可能であった個々の細胞レベル、さらには細胞内小器官レベルでの同定又は評価を行うことが可能となる。
二次元画像生成部３０３は、データ生成部３０２が生成した各種データに基づいて、１フレームの表示用画像に対応する二次元画像データを生成する。二次元画像生成部３０３は、例えば、反射光に基づく合焦画像データを生成する場合、反射光データ生成部３０２ｂが生成した反射光データに基づいて、画素位置ごとに輝度情報を付与した合焦画像データを、走査した走査面の数に応じて一つ又は複数生成する。また、二次元画像生成部３０３は、照射した励起光により生じた自家蛍光による蛍光画像データを生成する場合、対応データ生成部３０２ｃが生成した対応データのうちの蛍光スペクトルと、データ解析部３０５による解析結果とに基づいて、画素位置ごとに輝度情報を付与した蛍光画像データを、走査した走査面の数に応じて一つ又は複数生成する。二次元画像生成部３０３は、生成された１フレームの二次元画像データに対してゲイン処理、コントラスト処理、γ補正処理等の公知の技術を用いた画像処理を行うとともに、表示装置４００の表示仕様に応じた処理を施すことによって表示用の画像データを生成する。以下、反射光に基づく合焦画像を、共焦点反射顕微鏡（ＣＲＭ）画像ということもある。
三次元画像生成部３０４は、二次元画像生成部３０３が生成した二次元画像データをもとに、三次元画像データを生成する。三次元画像生成部３０４は、各フレームにおける輝度情報を、三次元空間上に付与することによって三次元画像データを生成する。
ここで、レーザ光照射位置は、二次元画像生成部３０３及び三次元画像生成部３０４が生成する画像データの空間情報と対応付いている。空間位置は、二次元であればＸ軸上の画素の位置（Ｘ位置）及びＹ軸上の画素の位置（Ｙ位置）からなる位置情報であり、三次元であればＸ位置、Ｙ位置、及びＺ軸上の画素の位置（Ｚ位置）からなる位置情報である。例えば、走査面は、Ｚ軸と直交する平面に対応し、走査面上の位置は、その走査面におけるＸ位置とＹ位置とによって表現される。
データ解析部３０５は、データ生成部３０２において生成された対応データを用いて、検体に関する各種データ解析を行う。データ解析部３０５は、例えば、検体の種別の同定や、状態の評価、所定の特性を有する検体の抽出などを行う。具体的に、データ解析部３０５は、検体の同定を行う場合、記録部３０７に記録されている同定テーブルを参照して、解析対象の位置に対応付いている蛍光スペクトルと一致するスペクトルパターンを有する種別が存在するか否かを同定する。データ解析部３０５は、レーザ光の照射位置と、同定した種別とを対応付けた同定情報を生成する。
色相重畳部３０６は、データ解析部３０５の同定情報に基づいて、画像中の対応する画素位置に、設定された色相を重畳する。具体的に、色相重畳部３０６は、表示対象画像が三次元画像であり、赤色に配色する微生物種が設定されている場合、三次元画像データに対して、該当する微生物種であると同定された画素位置に赤色を配色する処理を施す。色相重畳部３０６は、色相を重畳した重畳画像データを表示装置４００に出力する。この重畳画像データは、二次元画像データ又は三次元画像データに、色相に関する情報を付与したデータである。
記録部３０７は、画像処理装置３００の動作を実行するためのプログラムを含む各種プログラムを記録する。記録部３０７は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）や、演算パラメータ等を記録するＲＡＭ（Random Access Memory）等を用いて構成される。
記録部３０７は、データ解析部３０５が種別の同定に用いる同定テーブル等、解析を行うために必要なデータを記録する解析情報記録部３０８を有する。同定テーブルは、例えば微生物の種別（微生物種）を同定するものである場合、励起波長ごとに特徴付けられる蛍光スペクトルを一つ又は複数含むスペクトルパターンと、微生物種とが対応付けられている。同定テーブルに限らず、入力された情報に対して、対応する情報を出力可能なデータ形式であればよい。解析情報記録部３０８は、データ解析部３０５により生成された同定情報等の解析結果を記録してもよい。
表示装置４００は、液晶又は有機ＥＬ（Electro Luminescence）を用いて構成され、画像処理装置３００にて生成された画像等を表示する。表示装置４００は、制御装置２００にて生成された各種情報を表示するようにしてもよい。
次に、顕微鏡システム１によるデータ解析方法について、図２を参照して説明する。図２は、本発明の一実施の形態に係るデータ解析方法を説明するフローチャートの一例である。以下、得られた自家蛍光に基づいて、検体の解析を行って重畳画像データを生成する流れを説明する。
本実施の形態に係るデータ解析方法では、まず、制御部２０１の制御のもと、検体に対し、反射光を取得するために予め設定された波長又は波長帯域の光を照射する（ステップＳ１）。検出信号受信部３０１が、この光により生じた自家蛍光、又は検体が反射する反射光に応じた検出信号を取得する。本実施の形態では、反射光取得用の光であるレーザ光の焦点位置を三次元的に走査して自家蛍光又は反射光を取得し、三次元空間のデータを生成するものとして説明する。
ここで、顕微鏡システム１による走査方法について、図３を参照して説明する。図３は、本発明の一実施の形態に係る顕微鏡システムの走査方法を説明する図である。共焦点レーザスキャン顕微鏡１００では、あるＺ位置の焦点面において、ＸＹ平面上を走査して検体からの光を受光した後、Ｚ位置を変更して、変更後のＺ位置におけるＸＹ平面上を走査する。例えば、図１に示すＺ走査範囲ＲZにおいて設定されたＺ位置ごとに走査を行って、各Ｚ位置において焦点面上の複数の位置から光（反射光又は自家蛍光）を得る。共焦点レーザスキャン顕微鏡１００では、生成する画像に応じて、ビームスプリッター１０６や、検出器１０９の構成を適宜変更可能である。
例えば、図３に示すように、焦点面ＰF１におけるレーザ光の走査を行った後、ステージ１０１をＺ軸方向に移動して、移動後にレーザ光の焦点が配置される焦点面ＰF２におけるレーザ光の走査を行う。これを、予め設定されているＺ走査範囲ＲZにおける焦点面ＰF３、ＰF４、ＰF５、ＰF６、ＰF７、・・・と順次走査を行う。
ＸＹ平面における走査方法について、例えば、図３に示すように、矩形をなす焦点面（図３では焦点面ＰF７）の一つの角部からレーザ光を照射して、照射領域であるスポットＳＰからの光を受光する。このスポットＳＰをジグザグに走査することによって、焦点面ＰF７において、１枚の二次元画像（合焦画像）を生成するためのデータ数に対応する光を取得することができる。このスポットＳＰの径を、例えば一つの画素（モニタに表示される１つのドットに相当）のサイズと略同等とすれば、二次元画像及び三次元画像の色を画素単位で表現することができ、さらには同定情報に対応する視覚情報を画素単位で配色することが可能である。「画素のサイズと略同等」とは、例えば、スポットＳＰを円とした場合、画素に内接する大きさとほぼ同じサイズのことをいう。なお、上述した走査経路は一例であり、焦点面を走査できれば、この経路に限らない。なお、スポットＳＰの径は、光学顕微鏡の分解能の限界である約０．２μｍを下限として、コンフォーカルピンホールの径を変更することにより適宜調節しうる。
ステップＳ１に続くステップＳ２において、反射光データ生成部３０２ｂは、検出信号受信部３０１が受信した反射光に係る検出信号を取得し、取得した検出信号に基づいて反射光データを生成する（反射光データ生成ステップ）。
ステップＳ２に続くステップＳ３において、制御部２０１の制御のもと、検体に対し、自家蛍光を取得するために予め設定された波長又は波長帯域の光（励起光）を照射する。なお、本フローチャートでは、自家蛍光を取得するための励起光と、反射光を取得するための照射光（例えば同じ波長の励起光）とを異なるタイミングで照射して取得するものとして説明するが、試料に対して励起光を一回のみ照射し、検出時間に差を設けることによって自家蛍光及び反射光を取得するようにしてもよい。
その後、自家蛍光データ生成部３０２ａは、検出信号受信部３０１が受信した自家蛍光に係る検出信号を取得し、取得した検出信号に基づいて自家蛍光データを生成する（ステップＳ４：自家蛍光データ生成ステップ）。この自家蛍光データは、ステップＳ１において検体に照射された励起光によって生じた自家蛍光の蛍光スペクトルを含んでいる。
なお、ステップＳ１、２及びステップＳ３、４の各データ生成処理は、ステップＳ３、４を先に行ってもよいし、並行して処理を実行するようにしてもよい。
ステップＳ４に続くステップＳ５において、制御部２０１は、ステップＳ３で照射した自家蛍光取得用の励起光の波長（又は波長帯域）とは異なる波長（又は波長帯域）の励起光を照射するか否かを判断する。制御部２０１は、予め設定されている走査条件や、入力部２０２を介して設定された走査条件を参照し、さらに照射すべき励起光があるか否かを判断する。
ステップＳ２、Ｓ４では、１スポット、すなわち、あるＺ位置の焦点面における一点について、ある一つの励起波長のレーザ光を照射した際に取得される自家蛍光の蛍光スペクトル、又は反射光強度が生成される。予め設定されている励起波長が複数の場合は、各励起波長のレーザ光の走査を繰り返すことによって、同じ位置において異なる励起波長の蛍光スペクトルを生成する。この繰り返しにより、複数の焦点面における各位置の、励起波長に応じた蛍光スペクトルが生成される。ここでいう「焦点面」とは、レーザ光の光軸と直交する面であって、レーザ光の焦点が配置されている面のことをさす。
制御部２０１は、ステップＳ３で照射した波長とは異なる波長の励起光の照射をする必要があると判断した場合（ステップＳ５：Ｙｅｓ）、ステップＳ３に戻り、設定される励起光を用いた走査を繰り返す。これに対し、制御部２０１は、さらなる励起光の照射を行う必要がないと判断した場合（ステップＳ５：Ｎｏ）、ステップＳ６に移行する。
ステップＳ６において、対応データ生成部３０２ｃは、ステップＳ２で生成された反射光の強度と、ステップＳ３で生成された蛍光スペクトルとを対応付けた対応データを生成する（対応データ作成ステップ）。この際、複数の励起光の照射により複数の蛍光スペクトルが生成されている場合は、一つのレーザ光照射位置について、複数の蛍光スペクトルと、反射光の強度とが対応付けられる。また、反射光の強度は、一つのレーザ光照射位置について、波長（又は波長帯域）が異なるすべての励起光について取得した反射光の強度を合算した合算値として用いてもよいし、予め設定されている波長の励起光により取得された反射光の強度を用いてもよい。
ステップＳ６に続くステップＳ７において、データ解析部３０５は、ステップＳ５において生成された対応データをもとに、検体の解析処理を行う。本実施の形態では、データ解析部３０５が、各スポット位置における微生物の種別の同定を行う。解析処理の具体例については後述する。
ステップＳ７に続くステップＳ８において、二次元画像生成部３０３、三次元画像生成部３０４及び色相重畳部３０６が、対応データに基づいて画像データを生成する。ステップＳ７では、まず、二次元画像生成部３０３が、対応データにおける反射光データを用いて複数の合焦画像データを生成する。
図４は、本発明の一実施の形態に係る顕微鏡システムにおける走査によって生成される合焦画像を説明する図である。対応データ生成部３０２ｃにより生成された対応データのうちの反射光の強度に基づいて、二次元画像生成部３０３が画像処理を行うことによって、図４に示すような、各焦点面において反射された光に基づくＮ枚の合焦画像Ｄ1、Ｄ2、・・・、ＤNが得られる（Ｎは３以上の自然数）。二次元画像生成部３０３は、各位置において得られた反射光の強度を輝度情報に変換し、レーザ光の照射位置に応じて配列した合焦画像データを生成する。すなわち、二次元画像生成部３０３は、反射光により生成される画像と、レーザ光の照射位置に関する位置情報（例えばＺ位置）とを含む二次元画像データを生成する。
複数の合焦画像データ（合焦画像Ｄ1、Ｄ2、・・・、ＤN）が生成されると、三次元画像生成部３０４が、三次元空間の直交座標系において、各合焦画像の輝度情報を対応付けることによって、三次元空間上の輝度に応じて検体像を表現する三次元画像データを生成する。
図５は、本発明の一実施の形態に係る顕微鏡システムにおいて表示される三次元画像を説明する図である。三次元画像生成部３０４は、図５に示すような、輝度に応じた明るさの点の集合によってなる三次元画像を含む三次元画像データを生成する。なお、図５では、輝度に応じて濃淡を変化させたグレースケールの三次元画像を示しているが、色相の条件等は適宜設定の変更が可能である。
三次元画像データを生成後、色相重畳部３０６が、データ解析部３０５が生成した同定情報と、予め設定された条件とに応じて、各位置（二次元空間又は三次元空間上の位置）において重畳する色相を選択して、三次元画像生成部３０４が生成した三次元画像データに色相を重畳した重畳画像データを生成する。例えば、検体中に微生物であるStreptococcus mitis（S.mitis）と、Aggregatibacter actinomycetemcomitans（A.a.）とが存在し、S.mitisを赤色に配色し、A.a.を緑色に配色する条件が設定されている場合、色相重畳部３０６は、重畳対象の画像に対し、S.mitisと同定されたレーザ光照射位置に対応する画像の位置（画素位置）に赤色、A.a.と同定されたレーザ光照射位置に対応する画像の位置に緑色を重畳する処理を施す。
ステップＳ８に続くステップＳ９において、画像処理装置３００は、制御装置２００の制御のもと、色相重畳部３０６により生成された重畳画像データを、表示装置４００に表示させる。以上説明した処理により、励起光の照射により取得した検体像を解析結果（種別）に応じて配色した重畳画像が、表示装置４００に表示される。
続いて、ステップＳ７における解析処理について、図面を参照して説明する。ステップＳ７における解析処理では、処理内容に応じて、生物学上の界、門、綱、目、科、属、種、品種、病原型又は抗原型を同定したり、微生物学上の株又は亜株を同定したり、未知試料又は既知試料の代謝状態又は生理状態に関する試料の状態を評価したりする。ここでは、ステップＳ７における解析処理の一例を図６～図１９を参照して説明する。まず、自家蛍光に基づく蛍光スペクトルについて、図６～図１３Ｂを参照して説明する。以下、S.mitis及びA.a.の画像と蛍光スペクトルとを例に挙げて説明する。
図６は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であってS.mitisが写った検体画像を示す図である。なお、図の左下にはスケールが表示されている。図６は、予め設定された波長又は波長帯域のレーザ光を照射して得られた合焦画像を示している。図６に示すような合焦画像を表示することによって、微生物（ここではS.mitis）の二次元における配置を視覚的に確認することが可能である。
図７Ａは、波長が４０５ ｎｍの励起光を照射した際に撮像されるS.mitisの蛍光画像を示す図である。図７Ｂは、波長が４０５ ｎｍの励起光を照射した際に検出されるS.mitisの蛍光スペクトルを示す図であって、図７Ａに示す指示位置ＰI１における蛍光スペクトルを示す図である。
同様にして、波長が４５８ ｎｍ、４８８ ｎｍのレーザ光を照射した際の蛍光画像及び蛍光スペクトルを図８Ａ，８Ｂ、図９Ａ，９Ｂに示す。図８Ａは、波長が４５８ ｎｍの励起光を照射した際に撮像されるS.mitisの蛍光画像を示す図である。図８Ｂは、波長が４５８ ｎｍの励起光を照射した際に検出されるS.mitisの蛍光スペクトルを示す図であって、図８Ａに示す指示位置ＰI１における蛍光スペクトルを示す図である。図９Ａは、波長が４８８ ｎｍの励起光を照射した際に撮像されるS.mitisの蛍光画像を示す図である。図９Ｂは、波長が４８８ ｎｍの励起光を照射した際に検出されるS.mitisの蛍光スペクトルを示す図であって、図９Ａに示す指示位置ＰI１における蛍光スペクトルを示す図である。
図７Ｂ、図８Ｂ及び図９Ｂに示すように、励起波長により異なる蛍光スペクトルが得られる。S.mitisは、４０５ ｎｍ、４５８ ｎｍ及び４８８ ｎｍの励起光による自家蛍光パターンについて、図示したような固有のパターンを有している。
続いて、Aggregatibacter actinomycetemcomitans（A.a.）の画像及び蛍光スペクトルについて、図１０～図１３Ｂを参照して説明する。図１０は、本発明の一実施の形態に係る顕微鏡システムにおける同定対象の一例であって、A.a.が写った検体画像を示す図である。図１０は、図６と同様に、予め設定された波長又は波長帯域のレーザ光を照射して得られた合焦画像を示している。
また、図１１Ａは、波長が４０５ ｎｍの励起光を照射した際に撮像されるA.a.の蛍光画像を示す図である。図１１Ｂは、波長が４０５ ｎｍの励起光を照射した際に検出されるA.a.の蛍光スペクトルを示す図であって、図１１Ａに示す指示位置ＰI２における蛍光スペクトルを示す図である。図１２Ａは、波長が４５８ ｎｍの励起光を照射した際に撮像されるA.a.の蛍光画像を示す図である。図１２Ｂは、波長が４５８ ｎｍの励起光を照射した際に検出されるA.a.の蛍光スペクトルを示す図であって、図１２Ａに示す指示位置ＰI２における蛍光スペクトルを示す図である。図１３Ａは、波長が４８８ ｎｍの励起光を照射した際に撮像されるA.a.の蛍光画像を示す図である。図１３Ｂは、波長が４８８ ｎｍの励起光を照射した際に検出されるA.a.の蛍光スペクトルを示す図であって、図１３Ａに示す指示位置ＰI２における蛍光スペクトルを示す図である。
図１１Ｂ、図１２Ｂ及び図１３Ｂについても、励起波長により異なる蛍光スペクトルが得られていることがわかる。A.a.は、４０５ ｎｍ、４５８ ｎｍ及び４８８ ｎｍの励起光による自家蛍光パターンについて、図示したような固有のパターンを有している。
また、S.mitisとA.a.との蛍光スペクトルを比較しても、それぞれスペクトルのパターンが異なっていることが分かる。このように、微生物は、種別に応じて固有の自家蛍光パターンを有している。
そこで、本実施の形態では、データ解析部３０５が、得られた自家蛍光パターンから微生物種を同定する。解析情報記録部３０８には、例えば、既知の微生物に関して、それぞれの蛍光スペクトルのパターンと微生物種とを対応付けた同定テーブルが記録されている。データ解析部３０５は、解析情報記録部３０８に記録されている同定テーブルを参照して、ピーク位置等から入力された未知の自家蛍光パターンの微生物種を同定する。この際、データ解析部３０５は、例えばＺ軸方向の位置ごと、レーザ光の照射位置ごとに微生物種の同定を行い、同定した種別とともに、レーザ光の照射位置を含む同定情報を生成する。なお、レーザ光のスポット径（照射位置）と、画素位置とが１対１で対応していることを前提に説明しているが、間引き等で複数の画素位置、及びＺ軸方向で隣り合う複数の合焦画像について一括して微生物種を同定する場合はこの限りではない。
上述した色相の重畳について、図１４及び図１５を参照して、二次元画像である合焦画像に色相を重畳した場合を説明する。図１４は、S.mitisとA.a.とが存在する合焦画像を示す図である。図１４に示すように、合焦画像から微生物の存在位置は把握できるものの、それぞれの自家蛍光を受光して画像化したのみでは、S.mitisとA.a.とを区別することはできない。
図１５は、図１４に示す合焦画像において、S.mitisに配色を行った画像を示す図である。図１４に示す合焦画像に対して、色相重畳部３０６によって、S.mitisであると同定された位置に赤色を重畳すると、混在する微生物のなかから、S.mitisを識別することができる。また、画像中にS.mitis及びA.a.のみ存在することが分かっていれば、残りの微生物がA.a.であることも識別可能である。
次に、上述した色相重畳処理を、三次元画像に適用した場合について、図１６～図１９を参照して説明する。図１６は、S.mitisとA.a.とが存在する複数の合焦画像を三次元で表現した三次元画像を示す図である。図１７は、S.mitis及びA.a.にそれぞれ配色を行った三次元画像を示す図である。図１８は、図１７に示す三次元画像からS.mitisを抽出した三次元画像を示す図である。図１９は、反射光に基づく三次元画像であって、微生物種に応じた配色を行っていない三次元画像（ａ）、S.mitis及びA.a.にそれぞれ配色を行った三次元画像（ｂ）、及びS.mitisに配色を行った三次元画像（ｃ）を示す図である。
図１６及び図１９の（ａ）に示す三次元画像では、図１４に示す合焦画像と同様に、三次元画像から微生物の空間的な位置は把握できるものの、S.mitisとA.a.とを区別することはできない。
図１６及び図１９の（ａ）に示す三次元画像に対して、色相重畳部３０６によって、S.mitisに赤色を重畳し、かつA.a.に緑色を重畳すると、微生物が混在する空間から、S.mitisとA.a.とをそれぞれ識別することができる（図１７及び図１９の（ｂ）参照）。また、図１８及び図１９の（ｃ）に示すように、S.mitisを抽出することにより、視線方向（例えば図１９の（ｃ）ではＹ軸方向）においてA.a.の奥に存在するS.mitisの位置を空間的に把握することが可能である。
上述した画像生成処理は、共焦点レーザスキャン顕微鏡１００によりレーザ光を照射して、検体が発した反射光又は自家蛍光を受光することによって可能である。このため、従来のような、微生物の単離及び培養や、塩基配列の決定を行わずに微生物の同定を行うことができ、特に、微生物を生きたまま、ありのままに観察を行い、かつ微生物種の同定を行うことができる。これにより、微生物の動態（例えば、生長や移動）を経時的に追うことが可能となる。例えば、図１５に示す三次元画像データを経時的に生成し、時系列に沿って切り替え表示を行って動画表示させることによって、微生物の経時的な動きを観察することができる。この際、同定した微生物を配色すれば、複数の微生物が混在する中での、特定の微生物の動態を追うことも可能である。
また、データ解析部３０５は、上述した種別の同定のほか、検体の状態の評価や、クラスタリング等の解析を行うことができる。以下、データ解析部３０５が行う解析処理の例を、図面を参照して説明する。
図２０は、特性の異なる油脂酵母（子嚢菌）であるリポマイセス・スターキー（Lipomyces starkey）を示す画像であって、油脂高生産株の自家蛍光画像（ａ）、油脂低蓄積株の自家蛍光画像（ｂ）、及び油脂高生産株と油脂低蓄積株とを混合した自家蛍光画像（ｃ）をそれぞれ示す図である。図２０に示すように、子嚢菌であっても、油脂を高生産する油脂高生産株（図２０の（ａ）参照）と、油脂の蓄積能が比較的低い状態の油脂低蓄積株（図２０の（ｂ）参照）とでは、自家蛍光の色（波長）や菌自体の大きさが異なる（図２０の（ｃ）参照）。
図２１は、図２０の（ａ）に示す油脂高生産株の自家蛍光のスペクトルプロファイルを示す図である。図２２は、図２０の（ｂ）に示す油脂低蓄積株の自家蛍光のスペクトルプロファイルを示す図である。図２１、２２は、使用する励起光の波長（波長帯域）に付された番号（Excitation No.）を示す第１軸と、検出器１０９による光の分解能（上述した実施の形態では３２チャンネル）に合わせて分割した自家蛍光の波長帯域の番号（Emission（ch））を示す第２軸と、検出した各チャンネルの自家蛍光の相対強度を示す第３軸とが、互いに直交している三次元直交座標系を示している。図２１、２２に示すように、各株の蛍光スペクトルは、三次元の自家蛍光の相対強度の分布として表現され、油脂高生産株と油脂低蓄積株とで異なっている。
図２３は、土壌細菌であるパエニバシラス・ポリミキサ（Paenibacillus polymyxa）の自家蛍光のスペクトルプロファイルを示す図である。図２４は、土壌細菌であるシュードモナス・プチダ（Pseudomonas putida）の自家蛍光のスペクトルプロファイルを示す図である。図２３、２４についても、図２１、２２と同様に、使用する励起光の波長（波長帯域）に付された番号（Excitation No.）を示す第１軸と、検出器１０９による光の分解能（３２チャンネル）に合わせて分割した自家蛍光の波長帯域（Emission Wavelength）を示す第２軸と、検出した各チャンネルの自家蛍光の相対強度を示す第３軸とが、互いに直交している三次元直交座標系を示している。ここで、パエニバシラス・ポリミキサは、グラム陽性の細菌である。また、シュードモナス・プチダは、グラム陰性の細菌である。図２３、２４に示すように、土壌細菌においても、自家蛍光の相対強度の分布は、菌の種類で異なっている。
このような相対強度の分布を、株の状態等と対応付けて解析情報記録部３０８に記録させておき、データ解析部３０５が、検出信号から得られる自家蛍光のパターンと、解析情報記録部３０８に記録されている相対強度の分布とを比較することによって、株の状態の評価、ここでは油脂の蓄積能の評価や土壌細菌の特定を行う。
また、野生株の大腸菌（以下、野生株大腸菌という）と、チロシン過剰生産株の大腸菌（以下、チロシン過剰生産株大腸菌という）とにおいても、自家蛍光の色（波長に対する強度分布）に差異がみられる。図２５Ａは、野生株大腸菌の共焦点反射顕微鏡画像を示す図である。図２５Ｂは、各励起光を照射した際に取得される野生株大腸菌の自家蛍光画像を示す図である。図２５Ａ及び図２５Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２５Ｂは、励起光の波長を、４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ及び６３３ ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。
図２６Ａは、チロシン過剰生産株大腸菌の共焦点画像を示す図である。図２６Ｂは、各励起光を照射した際に取得されるチロシン過剰生産株大腸菌の自家蛍光画像を示す図である。図２６Ａ及び図２６Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２６Ｂは、励起光の波長を、４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ及び６３３ ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。
図２５Ｂ及び図２６Ｂに示すように、励起光の波長を５１４ ｎｍ及び５４３ ｎｍとしたときの蛍光強度又は色に大きな差がある。この差により、検体から得られる自家蛍光の強度分布から、例えば、野生株大腸菌とチロシン過剰生産株大腸菌とが混在するなかで、二つの大腸菌を選別することが可能である。
また、野生株大腸菌と、突然変異株の大腸菌（以下、変位株大腸菌という）とにおいても、自家蛍光のパターンに差異がみられる。図２７は、野生株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ａ）と、チロシン過剰生産株大腸菌の共焦点反射顕微鏡画像及び自家蛍光画像（ｂ）とを示す図である。図２７は、励起光の波長を、４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ及び６３３ ｎｍとしてそれぞれ照射した際に得られた自家蛍光像である。
図２７の（ａ）及び図２７の（ｂ）に示すように、自家蛍光のパターンとして、特に励起光の波長を４８８ ｎｍとしたときの蛍光強度に大きな差がある。この差により、検体から得られる自家蛍光パターンから、例えば、野生株大腸菌と変位株大腸菌とが混在するなかで、二つの大腸菌を選別することが可能である。
また、野生株のカビ（Aspergillus nidulans）と、変異株のカビ（Aspergillus nidulans）とにおいても、自家蛍光の色（波長に対する強度分布）に差異がみられる。図２８Ａは、カビ（Aspergillus nidulans）の野生株の共焦点反射顕微鏡画像を示す図である。図２８Ｂは、各励起光を照射した際に取得されるカビ（Aspergillus nidulans）の野生株の自家蛍光画像を示す図である。図２８Ａ及び図２８Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２８Ｂは、励起光の波長を、４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ及び６３３ ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。
図２９Ａは、変異株のカビ（Aspergillus nidulans）の共焦点反射顕微鏡画像を示す図である。図２９Ｂは、各励起光を照射した際に取得される変異株のカビ（Aspergillus nidulans）の自家蛍光画像を示す図である。図２９Ａ及び図２９Ｂに示す画像は、同一の走査面を走査した際に得られた画像である。図２９Ｂは、励起光の波長を、４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ及び６３３ ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。図２９Ａ、３０Ｂは、窒素代謝能が変化した変異株を示している。
図２８Ｂ及び図２９Ｂに示すように、野生株と変異株とでは、特に励起光の波長を６３３ ｎｍとしたときの蛍光強度又は色に大きな差がある。この差により、検体から得られる自家蛍光の強度分布から、例えば、野生株大腸菌とチロシン過剰生産株大腸菌とが混在するなかで、二つの大腸菌を選別することが可能である。
図３０は、野生株のカビ（Aspergillus nidulans）の自家蛍光のスペクトルプロファイルを示す図である。図３１は、変異株のカビ（Aspergillus nidulans）の自家蛍光のスペクトルプロファイルを示す図である。図３０、３１についても、図２３、２４と同様に、使用する励起光の波長（波長帯域）に付された番号（Excitation No.）を示す第１軸と、検出器１０９による光の分解能（３２チャンネル）に合わせて分割した自家蛍光の波長帯域（Emission Wavelength）を示す第２軸と、検出した各チャンネルの自家蛍光の相対強度を示す第３軸とが、互いに直交している三次元直交座標系を示している。図３０、３１に示すように、カビ（Aspergillus nidulans）においても、自家蛍光の相対強度の分布は、野生株と変異株とで異なっている。
ここで、同じ野生株、変異株であっても、当てる励起光の光源の特性や、株そのものの個体差によって自家蛍光のパターンが若干異なるため、同じ野生株であっても図３１、３２に示す自家蛍光のスペクトルプロファイルとは完全に一致しない場合がある。本変形例１では、同一種の株において得られた自家蛍光のパターンに対し、画像処理を施してパターンの特徴を抽出する。例えば、自家蛍光によって得られたオリジナルの画像（自家蛍光の強度データの分布）をもとに、二値化や、微小オブジェクトの除去、エッジ平滑化、膨張させた平滑化、収縮させた平滑化、主要オブジェクトの抽出、骨組み抽出、分岐部抽出、分岐部マスク処理、分岐部除去処理、微小セグメント除去等の処理を施して特徴を抽出することによって野生株と変異株とを識別する。例えば、複数の自家蛍光画像を用いて機械学習させることによって既知試料の特徴付けを行い、野生株と変異株とを識別することも可能である。
図３２Ａは、腸管上皮ガン細胞の共焦点反射顕微鏡画像を示す図である。図３２Ｂは、各励起光を照射した際に取得される腸管上皮ガン細胞の自家蛍光画像を示す図である。図３２Ｂは、励起光の波長を、４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ及び６３３ ｎｍとしてそれぞれ照射した際に得られた自家蛍光画像である。図３２Ａ、図３２Ｂに示す腸管上皮ガン細胞においても、上述したようにして、自家蛍光スペクトルプロファイルや自家蛍光パターンを特徴付けることによって、識別することが可能となる。
以上説明した本発明の一実施の形態では、検体の自家蛍光パターンと、検体からの反射光データと、レーザ光の照射位置とを対応付けた対応データを作成して、この対応データに基づいて検体の解析を行うようにしたので、検体の空間的な位置情報を持たせ、検体を非侵襲のまま解析することができる。
また、上述した実施の形態では、検体の未知の自家蛍光パターンを取得して、既知の自家蛍光パターンとの比較によって微生物種を同定し、反射光に基づいて生成された画像において、同定した微生物種に対応する位置に色相を重畳するようにしたので、微生物の空間的な位置情報を視覚的に把握することができる。
図３３は、本発明の一実施の形態に係る顕微鏡システムにおいて生成された共焦点反射顕微鏡画像と、自家蛍光画像とを重ね合わせた画像とについて説明する図である。図３３の（ａ）は、シュードモナス・プチダ（Pseudomonas putida）の共焦点反射顕微鏡画像及び自家蛍光画像を示す図である。図３３の（ａ）に示す共焦点反射顕微鏡画像及び自家蛍光画像は、位置関係が対応付いている。図３３の（ｂ）は、図３３の（ａ）に示す共焦点反射顕微鏡画像における領域Ｒ1を拡大した画像、及び図３３の（ａ）に示す自家蛍光画像における領域Ｒ2を拡大した画像を示す。図３３の（ｃ）は、図３３の（ｂ）に示す共焦点反射顕微鏡画像と自家蛍光画像とを重ね合わせた画像であって、共焦点反射顕微鏡画像に対して、所定の透過率に設定した自家蛍光画像を重畳した画像である。図３３の（ｃ）に示すように、共焦点反射顕微鏡画像と自家蛍光画像とを重ね合わせて表示することによって、所望の菌の画像における存在位置や、個々の菌の存在領域を容易に把握することができる。
なお、上述した実施の形態では、図２に示すフローチャートにおいて、予め設定されている波長の光のみにより反射光を取得するものとして説明したが、自家蛍光取得用の励起光が複数ある場合に、この複数の励起光に合わせて、波長が異なるすべての励起光を照射して、各励起光について反射光を取得するようにしてもよい。また、複数の励起光の照射により取得した場合、各レーザ光照射位置に対応付けられる複数の反射光の強度のうち、最大の強度を抽出して反射光データを作成してもよいし、複数の反射光の強度の平均値を算出して反射光データを作成してもよい。
（変形例１）
次に、上述した実施の形態の変形例１について、図３４を参照して説明する。なお、本変形例１に係る顕微鏡システムの構成は、上述した顕微鏡システム１の構成と同じであるため、説明を省略する。上述した実施の形態では、予め記録されている蛍光スペクトルのパターンに基づいて種類や状態を特定するものとして説明したが、本変形例１では、予め記録されている蛍光スペクトルのパターンから機械学習により既知試料を特徴付けし、異なる種別又は状態の試料間の境界を設定することによって、検体の種類の特定や、状態の評価を行う。
図３４は、本発明の実施の形態の変形例１に係る顕微鏡システムにおける記録部が記録するデータについて説明する図である。本変形例１では、図３４に示すように、ある特定の種を表現する蛍光スペクトルとして、一部が異なる複数の蛍光スペクトルデータのデータセット３１１、３１２が、解析情報記録部３０８に記録されている。データ解析部３０５は、各データセット３１１、３１２に基づいて決定される領域を参照し、入力された検体の種別や状態を特定する。
例えば、データセット３１１は、油脂高生産株の油脂酵母（子嚢菌）を表現する自家蛍光の蛍光強度を示す複数の教師データ３１１ａ、３１１ｂ、３１１ｃ、３１１ｄ、３１１ｅ、・・・を有する。教師データ３１１ａ、３１１ｂ、３１１ｃ、３１１ｄ、３１１ｅ、・・・は、それぞれが油脂高生産株を表現する自家蛍光強度であり、互いに少なくとも一部が異なっているパターンを有している。
また、データセット３１２は、油脂低蓄積株の油脂酵母（子嚢菌）を表現する自家蛍光の蛍光強度を示す複数の教師データ３１２ａ、３１２ｂ、３１２ｃ、３１２ｄ、３１２ｅ、・・・を有する。教師データ３１２ａ、３１２ｂ、３１２ｃ、３１２ｄ、３１２ｅ、・・・は、それぞれが油脂低蓄積株を表現する自家蛍光強度であり、互いに少なくとも一部が異なっているパターンを有している。
データ解析部３０５では、まず、データセット３１１、３１２について、予め設定されている境界であって、油脂高生産株を表現する自家蛍光強度の領域と、油脂低蓄積株を表現する自家蛍光強度の領域とを分ける境界に最も近い自家蛍光の強度を、教師データを参照して各領域から抽出する。その後、この抽出した各領域の強度の位置に基づいて油脂高生産株と油脂低蓄積株との境界を再設定する。この際に再設定される境界は、励起光の波長（Excitation No.）と、自家蛍光の波長（チャンネル）とによって区分される部分的な境界である。この処理を、励起光の波長と自家蛍光の波長との組ごとにそれぞれ境界を算出し、これらの境界を繋ぐことによって、上述した第１軸、第２軸及び第３軸からなる三次元空間において、油脂高生産株を表現する自家蛍光強度の領域と、油脂低蓄積株を表現する自家蛍光強度の領域との境界を決定する。例えば、６つの励起光、３２チャンネルの場合、１９２個の部分的な境界が設定され、これらの境界が繋げられる。このような境界の決定は、公知の方法、例えばサポートベクターマシン（Support Vector Machine：SVM）を用いて構成される。又は、データセット３１１、３１２について、油脂高生産株を表現する自家蛍光プロファイルと、油脂低蓄積株を表現する自家蛍光プロファイルを区別する非線形の境界を定義するニューラルネットワークまたは畳み込みニューラルネットワークを構築するようにしてもよい。例えば、６つの励起光、３２チャンネルの場合、１９２次元のベクターをニューラルネットワークの第一層への入力として、或いは６行３２列の行列を畳み込みニューラルネットワークの第一層への入力として用いる。このような非線型の境界の決定は、公知の方法、例えば誤差逆伝播方法や、あるいは転位学習法を用いて行われる。
ここで、機械学習による判別の一例について、図３５、図３６を参照して説明する。同じ種類の細胞であっても、生理状態（増殖フェイズ）によって自家蛍光のスペクトルプロファイルが異なる。図３５は、各増殖フェイズにおけるパエニバシラス・ポリミキサ（Paenibacillus polymyxa）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。図３６は、各増殖フェイズにおけるシュードモナス・プチダ（Pseudomonas putida）の共焦点反射顕微鏡画像、各励起光を照射した際に取得される自家蛍光画像、及び蛍光スペクトルを示す図である。図３５、図３６では、６時間、８時間、１０時間、２４時間、３０時間、５２時間の各増殖フェイズにおける共焦点反射顕微鏡画像と、励起光（波長：４０５ ｎｍ、４５８ ｎｍ、４８８ ｎｍ、５１４ ｎｍ、５４３ ｎｍ、６３３ ｎｍ）における自家蛍光画像と、自家蛍光スペクトルファイルとを示している。なお、図３５、図３６において、各画像中に示す白線は、その白線の一端から他端までの長さが２０μｍに相当することを示している。
図３５、図３６に示すように、同じ細胞であっても、自家蛍光画像やその自家蛍光のスペクトルプロファイルが異なっていることが分かる。これらのスペクトルプロファイルを、細胞の種別を対応付けて機械学習させることによって、増殖フェイズによらず細胞を識別することができる。このように、様々な生理状態の自家蛍光のスペクトルプロファイルを用いて訓練させて、試料の相関を見出すことによって、どのような生理状態であっても細胞を識別可能な機械学習モデルを構築することができる。また、上述したように、自家蛍光画像（自家蛍光の強度データの分布）を用いて特徴付けしたものを訓練させることによっても機械学習モデルを構築することができる。
ここで、機械学習モデルによる識別結果について、図３７及び図３８を参照して説明する。図３７は、パエニバシラス・ポリミキサ（Paenibacillus polymyxa）とシュードモナス・プチダ（Pseudomonas putida）とが混在している共焦点反射顕微鏡画像を示す図である。図３８は、パエニバシラス・ポリミキサ（Paenibacillus polymyxa）とシュードモナス・プチダ（Pseudomonas putida）とに対してそれぞれ設定された色相を、共焦点反射顕微鏡画像に重畳した画像を示す図である。なお、図３８に示す画像は、図３７に示す共焦点反射顕微鏡画像における菌の輝度を反転しつつ背景を黒色にし、その上に識別結果に応じた色相を重畳している。図３８に示す画像では、パエニバシラス・ポリミキサ（Paenibacillus polymyxa）を緑色で表現し、シュードモナス・プチダ（Pseudomonas putida）を赤色で表現している。
パエニバシラス・ポリミキサ（Paenibacillus polymyxa）とシュードモナス・プチダ（Pseudomonas putida）とが混在している共焦点反射顕微鏡画像（図３７参照）に対し、機械学習により高精度に識別された結果に応じて色相を重畳した画像（図３８参照）では、二つの菌が色分けされている。このようにして、色相を重畳した画像から、各菌の位置を識別することができる。
本変形例１では、解析情報記録部３０８に記録されるデータセット３１１、３１２をもとに、機械学習を行って、入力される蛍光スペクトルから、油脂高生産株又は油脂低蓄積株を特定するようにした。これにより、記録されている蛍光スペクトルのパターン以外のスペクトルデータが入力された場合であっても、検体の特定を行うことが可能となる。
なお、上述した変形例１では、二つの種類を特定する例を説明したが、三つ以上の種類や状態を特定する場合であっても、同様にして各自家蛍光の強度分布に基づき境界が設定され、入力された自家蛍光のスペクトルから、検体が特定される。
（変形例２）
次に、上述した実施の形態の変形例２について、図３９を参照して説明する。なお、本変形例２に係る顕微鏡システムの構成は、上述した顕微鏡システム１の構成と同じであるため、説明を省略する。上述した実施の形態では、走査領域全体をスキャンして自家蛍光データを取得するものとして説明したが、本変形例２では、反射光データから、自家蛍光を取得すべき位置を特定し、特定した位置にのみ励起光の照射を行う。
図３９は、本発明の実施の形態の変形例２に係るデータ解析方法を説明するフローチャートである。以下、得られた自家蛍光に基づいて、検体の解析を行って重畳画像データを生成する流れを説明する。
本変形例２に係る画像生成方法では、まず、制御部２０１の制御のもと、検体に対し、反射光を取得するための照明光（好ましくはレーザ光）を照射する（ステップＳ１１）。検出信号受信部３０１が、この照明光により生じた反射光を取得する。本ステップＳ１１で使用する照明光は、検体からの反射光を取得するためのものであり、自家蛍光を取得する励起光等の特定の波長帯域の光を用いてもよいし、白色光を用いてもよい。ステップＳ１１では、走査領域全体のスキャンを行う。
ステップＳ１１に続くステップＳ１２において、反射光データ生成部３０２ｂは、検出信号受信部３０１が受信した反射光に係る検出信号を取得し、取得した検出信号に基づいて反射光データを生成する（反射光データ生成ステップ）。
ステップＳ１２に続くステップＳ１３において、データ解析部３０５は、反射光データを参照して、反射光を受信した位置、すなわち検体が存在する位置を判定する。データ解析部３０５は、例えば、予め設定された閾値以上の強度を取得した位置を、検体存在位置として判定する。ここで設定する閾値としては、例えばノイズと判定される強度よりも大きい値が設定される。
ステップＳ１３に続くステップＳ１４において、制御部２０１による制御のもと、検体が存在すると判定された位置に対し、励起光（好ましくはレーザ光）を照射する。検出信号受信部３０１が、この励起光により生じた自家蛍光を取得する。
その後、自家蛍光データ生成部３０２ａは、検出信号受信部３０１が受信した自家蛍光に係る検出信号を取得し、取得した検出信号に基づいて自家蛍光データを生成する（ステップＳ１５：自家蛍光データ生成ステップ）。この自家蛍光データは、ステップＳ１３において検体が存在すると判定された位置にのみ蛍光スペクトルが付与される。すなわち、自家蛍光データは、取得した蛍光スペクトルを走査位置に応じて並べてみたときに歯抜けのデータとなっている。
ステップＳ１５に続くステップＳ１６において、制御部２０１は、ステップＳ１４で照射した励起光の波長（又は波長帯域）とは異なる波長（又は波長帯域）の励起光を照射するか否かを判断する。制御部２０１は、予め設定されている走査条件や、入力部２０２を介して設定された走査条件を参照し、さらに照射すべき励起光があるか否かを判断する。制御部２０１は、ステップＳ１４で照射した波長とは異なる波長の励起光の照射をする必要があると判断した場合（ステップＳ１６：Ｙｅｓ）、ステップＳ１４に戻り、検体が存在すると判定された位置について、励起光を用いた走査を繰り返す。これに対し、制御部２０１は、さらなる励起光の照射を行う必要がないと判断した場合（ステップＳ１６：Ｎｏ）、ステップＳ１７に移行する。
ステップＳ１７において、対応データ生成部３０２ｃは、ステップＳ１２で生成された反射光の強度と、ステップＳ１５で生成された蛍光スペクトルとを、レーザ光照射位置と対応付けた対応データを生成する（対応データ作成ステップ）。
ステップＳ１７に続くステップＳ１８において、データ解析部３０５は、ステップＳ１７において生成された対応データをもとに、検体の解析処理を行う。ステップＳ１８では、例えば、上述した実施の形態のように、データ解析部３０５が、自家蛍光取得位置（検体存在位置）における微生物の種別の同定を行う。
ステップＳ１８に続くステップＳ１９において、二次元画像生成部３０３、三次元画像生成部３０４及び色相重畳部３０６が、対応データに基づいて画像データを生成する。ステップＳ１９では、まず、二次元画像生成部３０３が、対応データにおける反射光データを用いて複数の合焦画像データを生成する。
ステップＳ１９に続くステップＳ２０において、画像処理装置３００は、制御装置２００の制御のもと、色相重畳部３０６により生成された重畳画像データを、表示装置４００に表示させる。以上説明した処理により、励起光の照射により取得した検体像に、解析結果（種別）に応じて配色した重畳画像が、表示装置４００に表示される。
本変形例２によれば、上述した実施の形態と同様の効果を得ることができるとともに、自家蛍光を取得する位置を、反射光データから絞るようにしたので、上述した実施の形態と比して、自家蛍光を取得するための走査時間を短縮し、データ量を削減することができる。
なお、細胞によっては内部に気泡や液胞が存在しており、この気泡や液胞の位置（座標）では照明光が反射されず、反射光が得られない場合がある。このため、上述した変形例２において、反射光データから判定される検体存在位置に加え、この検体存在位置に基づいて検出される検体の内部全体の領域に励起光を照射して自家蛍光を取得するようにしてもよい。例えば、検体が存在すると判定された複数の位置、すなわち複数の座標と、その複数の座標によって取り囲まれる領域の内部の全座標に励起光を照射して、その座標における自家蛍光を取得する。このようにすることによって、検体、例えば細胞において気泡や液胞により反射光が得られなかった部分があったとしても、細胞全体（特に、気泡や液胞等により反射光が得られない部分）に励起光を照射して自家蛍光を取得することが可能となる。
上述した実施の形態及び変形例のほか、例えば、データ解析部３０５が、未知試料に対し、所定の特性を有する検体を抽出するようにしてもよい。具体的には、図２に示すステップＳ６において、所定の励起波長に対して、所定の波長の自家蛍光を発する検体や、所定の蛍光スペクトルを有する検体を抽出する（抽出ステップ）。この抽出処理により生成された情報を、ステップＳ７で画像化、例えば抽出した部分について、反射光画像に色相を重畳してその画像を表示してもよいし、抽出情報生成後、ステップＳ７、Ｓ８は行わずに処理を終了するようにしてもよい。
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。上述した実施の形態では、検体中の微生物からの自家蛍光に基づいて蛍光スペクトルを生成し、微生物の種別を同定するものとして説明したが、微生物種に限らず、例えば分離した細胞等、レーザ光の照射によって特有の蛍光スペクトルを示す生物であれば適用することが可能である。
また、上述した実施の形態では、三次元空間を走査して、自家蛍光データ、反射光データ及び対応データを生成するものとして説明したが、二次元空間（図３に示すＸＹ平面、ＸＺ平面及びＹＺ平面のいずれか）を走査して自家蛍光データ、反射光データ及び対応データを生成してもよいし、図３に示すＸ方向、Ｙ方向及びＺ方向のうちのいずれか一つの方向に走査するようにしてもよいし、空間における、ある一点の自家蛍光及び反射光を取得して自家蛍光データ、反射光データ及び対応データを生成してもよい。
また、上述した実施の形態では、三次元画像を生成して表示するものとして説明したが、二次元画像を表示、又は視覚情報を重畳するものであってもよいし、ユーザからの操作入力によって表示する画像を選択するようにしてもよい。
また、上述した実施の形態では、検体からの反射光により二次元画像及び三次元画像を生成するものとして説明したが、この他、特定の波長あるいは可視光によって可視化する手法、例えば共焦点反射顕微鏡法による立体可視化や微分干渉法による二次元の可視化、透過光による二次元の可視化等、公知の手法を用いて二次元画像や三次元画像を生成するようにしてもよい。
また、上述した実施の形態では、検出器１０９が、反射型回折格子及び光電子増倍管（PMT）を用いて構成されるものとして説明したが、この他、例えば、音響光学ビームスプリッター（例えば、ライカ社のＡＯＢＳ（登録商標））、高感度検出器（HyD検出器）、及び検出器の前段に設けられる可動スリット構造からなる検出器としてもよい。この検出器は、上述した構成により、例えば１ ｎｍごとの波長に分離したデータを取得することが可能である。
また、上述した実施の形態では、画像に対して設定された色相を重畳するものとして説明したが、色相に限らず、網掛けを重畳する等、視覚的に識別可能なものであれば適用可能である。
また、上述した実施の形態では、レーザ光を用いて反射光又は自家蛍光を取得するようにしたが、レーザ光のような指向性の高い光に限らず、指向性の低い光（例えばハロゲンランプによる光）を集光して試料に照射することによって反射光又は自家蛍光を取得するようにしてもよい。例えば、レーザ光により自家蛍光を取得し、ハロゲンランプを用いて反射光を取得したり、ハロゲンランプを用いて自家蛍光を取得し、レーザ光により反射光を取得したり、ハロゲンランプを用いて自家蛍光及び反射光を取得したりしてもよい。また、光の波長は、フィルタを通過したものや、プリズムによって分光したものでもよい。
また、上述した実施の形態では、複数の励起波長ごとの蛍光スペクトルを用いて種別を同定するものとして説明したが、同定可能であれば、一つの励起波長に対応する蛍光スペクトルにより種別を同定するようにしてもよい。また、上述した実施の形態では、得られた蛍光スペクトルと、既知の蛍光スペクトルのピーク位置を比較して解析するものとして説明したが、ピークの強度や、ピークの強度比等を用いて解析するようにしてもよい。強度を用いて解析する場合、自家蛍光データは、位置ごとかつ励起波長ごとに検出された自家蛍光の強度を対応付けたデータとなる。
このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態を含みうるものである。
以上のように、本発明にかかるデータ作成方法及びデータ使用方法は、試料を非侵襲のまま解析することができるとともに、その対象の空間的な位置情報を取得するのに有用である。
１ 顕微鏡システム
１００ 共焦点レーザスキャン顕微鏡
１０１ ステージ
１０２ 対物レンズ
１０３ レーザ光源
１０４ レンズ
１０５ コリメートレンズ
１０６ ビームスプリッター
１０７ 結像レンズ
１０８ コンフォーカルピンホール
１０９ 検出器
１１０ 走査ミラー
２００ 制御装置
２０１ 制御部
２０２ 入力部
２０３ レーザ制御部
２０４ 走査制御部
３００ 画像処理装置
３０１ 検出信号受信部
３０２ データ生成部
３０２ａ 自家蛍光データ生成部
３０２ｂ 反射光データ生成部
３０２ｃ 対応データ生成部
３０３ 二次元画像生成部
３０４ 三次元画像生成部
３０５ データ解析部
３０６ 色相重畳部
３０７ 記録部
３０８ 解析情報記録部
４００ 表示装置

Claims (23)

  1. 所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射する第１の照射手段と、
    前記励起光の照射によって発生した試料由来の自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成手段と、
    前記所定の焦点面上の１つの座標に照射光を照射する第２の照射手段と、
    前記照射光の照射によって前記試料が散乱させた反射光の強度データを生成する反射光データ生成手段と、
    前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成手段と、
    前記焦点の位置を変化させる走査手段と、
    前記自家蛍光データと、参照データとを比較する比較手段と、
    を備え、未知試料の同定または評価を行う処理システム。
  2. 前記走査手段は、前記所定の焦点面上において前記焦点の位置を変化させ、
    前記自家蛍光データ及び前記反射光の強度データは、前記所定の焦点面上の互いに異なる複数の座標において照射された光に基づいて生成される、
    請求項１に記載の処理システム。
  3. 前記走査手段は、互いに異なる複数の焦点面上において前記焦点の位置を変化させ、
    前記自家蛍光データ及び前記反射光の強度データは、互いに異なる複数の焦点面において照射された光に基づいて生成される、
    請求項１又は２に記載の処理システム。
  4. 前記自家蛍光データ生成手段は、波長の異なる複数の励起光により得られた各自家蛍光の前記スペクトルデータにより構成されるスペクトルプロファイルデータを含む前記自家蛍光データを作成する、
    請求項１～３のいずれかに記載の処理システム。
  5. 前記第１の照射手段は、前記波長の異なる複数の励起光を前記試料に照射し、
    前記反射光データ生成手段は、前記複数の励起光のいずれかの励起光により得られた反射光に基づく反射光の強度データを生成する、
    請求項４に記載の処理システム。
  6. 前記第１の照射手段は、前記波長の異なる複数の励起光を前記試料に照射し、
    前記反射光データ生成手段は、前記複数の励起光のすべての励起光により得られた反射光に基づく反射光の強度データを生成する、
    請求項４に記載の処理システム。
  7. 前記自家蛍光データ生成手段は、所定の強度以上の反射光が得られた座標においてのみ自家蛍光データを生成する、
    請求項１～６のいずれかに記載の処理システム。
  8. 前記自家蛍光データ生成手段は、所定の強度以上の反射光が得られた複数の座標と、該複数の座標によって取り囲まれる領域であって、前記試料の内部に相当する領域の内部に位置する一つ又は複数の座標とにおける自家蛍光データを生成する、
    請求項１～６のいずれかに記載の処理システム。
  9. 前記励起光及び前記照射光は、少なくとも一方がレーザ光である、
    請求項１～８のいずれかに記載の処理システム。
  10. 前記比較手段は、前記対応データをもとに、複数の試料の自家蛍光データを比較することによって、試料の状態との相関を解析する、
    請求項１～９のいずれかに記載の処理システム。
  11. 前記比較手段は、機械学習により前記相関を見出した解析データを生成する、
    請求項１０に記載の処理システム。
  12. 前記比較手段は、前記対応データをもとに、既知試料の自家蛍光データと未知試料の自家蛍光データとを比較することによって、未知試料の同定又は評価を行う、
    請求項１～９のいずれかに記載の処理システム。
  13. 前記比較手段は、機械学習により既知試料の特徴付けを行った解析データを生成する、
    請求項１２に記載の処理システム。
  14. 試料が、動物細胞、植物細胞、酵母細胞、真菌類細胞、微細藻類細胞、細菌類、古細菌類、ウイルス、ファージのいずれか及びそれらが産生する胞子、芽胞、膜小胞のいずれかである、
    請求項１０～１３のいずれかに記載の処理システム。
  15. 前記試料の状態が、試料の代謝状態又は生理状態に関するものである、
    請求項１０又は１１に記載の処理システム。
  16. 前記未知試料の同定が、生物学上の界、門、綱、目、科、属、種、品種、病原型又は抗原型を同定するものである、
    請求項１２又は１３に記載の処理システム。
  17. 前記未知試料の同定が、微生物学上の株又は亜株である、
    請求項１２又は１３に記載の処理システム。
  18. 前記未知試料の評価が、代謝状態又は生理状態に関するものである、
    請求項１２又は１３に記載の処理システム。
  19. 前記参照データは、既知試料をもとに作成される、
    請求項１に記載の処理システム。
  20. 所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射する照射手段と、
    前記励起光の照射によって発生した試料由来の自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成手段と、
    前記所定の焦点面上の１つの座標における前記自家蛍光データと、参照データとを比較する比較手段と、
    前記焦点の位置を変化させる走査手段と、
    を備え、未知試料の同定または評価を行う処理システム。
  21. 所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射することによって発生した試料由来の自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成手段と、
    前記所定の焦点面上の１つの座標に照射光を照射することによって前記試料が散乱させた反射光の強度データを生成する反射光データ生成手段と、
    前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成手段と、
    前記自家蛍光データと、既知試料をもとに作成される参照データとを比較する比較手段と、
    を備えるデータ処理装置。
  22. 所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射する第１の照射手段と、
    前記励起光の照射によって発生した試料由来の自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成手段と、
    前記所定の焦点面上の１つの座標に照射光を照射する第２の照射手段と、
    前記照射光の照射によって前記試料が散乱させた反射光の強度データを生成する反射光データ生成手段と、
    前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成手段と、
    前記焦点の位置を変化させる走査手段と、
    前記自家蛍光データと、既知試料をもとに作成される参照データとを比較する比較手段と、
    前記比較手段の比較結果を表示する表示手段と、
    を備え、未知試料の同定または評価を行って表示する表示システム。
  23. 光を導光する光学系を有する顕微鏡を備える顕微鏡システムであって、
    所定の波長の励起光の焦点を所定の焦点面上の１つの座標に配置して、該座標に位置する試料に前記励起光を照射する第１の照射手段と、
    前記励起光の照射によって発生した試料由来の自家蛍光の強度データ及び／又はスペクトルデータを含む自家蛍光データを生成する自家蛍光データ生成手段と、
    前記所定の焦点面上の１つの座標に照射光を照射する第２の照射手段と、
    前記照射光の照射によって前記試料が散乱させた反射光の強度データを生成する反射光データ生成手段と、
    前記所定の焦点面上の１つの座標における前記自家蛍光データと、前記反射光の強度データとを対応付けた対応データを作成する対応データ作成手段と、
    前記焦点の位置を変化させる走査手段と、
    前記自家蛍光データと、参照データとを比較する比較手段と、
    を備え、未知試料の同定または評価を行う顕微鏡システム。
JP2022108452A 2016-12-22 2022-07-05 処理システム、データ処理装置、表示システム及び顕微鏡システム Active JP7336654B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016249896 2016-12-22
JP2016249896 2016-12-22
JP2018194677A JP7105483B2 (ja) 2016-12-22 2018-10-15 データ作成方法及びデータ使用方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018194677A Division JP7105483B2 (ja) 2016-12-22 2018-10-15 データ作成方法及びデータ使用方法

Publications (2)

Publication Number Publication Date
JP2022140443A true JP2022140443A (ja) 2022-09-26
JP7336654B2 JP7336654B2 (ja) 2023-09-01

Family

ID=62627799

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018513685A Active JP6422616B1 (ja) 2016-12-22 2017-12-22 データ作成方法及びデータ使用方法
JP2018194677A Active JP7105483B2 (ja) 2016-12-22 2018-10-15 データ作成方法及びデータ使用方法
JP2022108452A Active JP7336654B2 (ja) 2016-12-22 2022-07-05 処理システム、データ処理装置、表示システム及び顕微鏡システム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018513685A Active JP6422616B1 (ja) 2016-12-22 2017-12-22 データ作成方法及びデータ使用方法
JP2018194677A Active JP7105483B2 (ja) 2016-12-22 2018-10-15 データ作成方法及びデータ使用方法

Country Status (4)

Country Link
US (1) US11002678B2 (ja)
EP (1) EP3561490A4 (ja)
JP (3) JP6422616B1 (ja)
WO (1) WO2018117273A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148776B2 (ja) * 2018-08-02 2022-10-06 国立大学法人山梨大学 コロニー識別システム、コロニー識別方法およびコロニー識別プログラム
US20220154243A1 (en) * 2019-04-02 2022-05-19 National Institute For Materials Science Measurement apparatus, measurement method, program, and biosensor
BR112021018998A2 (pt) * 2019-06-07 2022-04-26 Basf Coatings Gmbh Sistema e método para reconhecer objeto por meio de um aplicativo de visão computacional, e, meio legível por computador não transitório
WO2020245443A2 (en) * 2019-06-07 2020-12-10 Basf Coatings Gmbh System and method for object recognition using fluorescent and antireflective surface constructs
GB2600719B (en) * 2020-11-05 2023-10-11 Oxford Nanoimaging Ltd Fluorescence assay
CN112699737A (zh) * 2020-12-10 2021-04-23 陈艳 一种基于生物的立体轮廓的属种鉴别系统以及鉴别方法
JP7190534B1 (ja) * 2021-06-14 2022-12-15 アサヒ飲料株式会社 微生物の検出方法
EP4372365A1 (en) 2021-07-30 2024-05-22 Canon Kabushiki Kaisha Method for classifying cells using cell autofluorescence image, and analysis device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127089A (ja) * 1991-11-01 1993-05-25 Fuji Photo Film Co Ltd 走査型顕微鏡
JP2001147374A (ja) * 1999-11-18 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> ３次元イメージ取得方法及びその装置
JP2002095634A (ja) * 2000-09-26 2002-04-02 Fuji Photo Film Co Ltd 内視鏡装置
JP2006526767A (ja) * 2003-06-03 2006-11-24 ブリティッシュ・コロンビア・キャンサー・エイジェンシー 多重の励起−発光対と、同時多チャンネル画像検出器とを用いる、蛍光結像方法と装置
JP2010259606A (ja) * 2009-05-01 2010-11-18 Nidek Co Ltd 眼科撮影装置
JP2015008727A (ja) * 2013-06-27 2015-01-19 中國醫藥大學 ハイパースペクトル利用の組織細胞画像分析のシステム及び方法
JP2015108549A (ja) * 2013-12-04 2015-06-11 横河電機株式会社 細胞検査装置および細胞検査方法
WO2016011534A1 (en) * 2014-07-24 2016-01-28 University Health Network Collection and analysis of data for diagnostic purposes
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
WO2016153741A1 (en) * 2015-03-20 2016-09-29 East Carolina University Multi-spectral laser imaging (msli) methods and systems for blood flow and perfusion imaging and quantification
WO2016187141A1 (en) * 2015-05-15 2016-11-24 The Regents Of The University Of California Dynamic contrast optical coherence tomography and endogenously-derived constrast agents

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002354896B2 (en) 2001-07-18 2007-07-12 Asahi Breweries, Ltd. Microbe examining device and method
EP2311934B1 (en) 2001-09-06 2013-06-05 Rapid Micro Biosystems, Inc. Rapid detection of replicating cells
JP2006263044A (ja) 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
EP1992939A1 (en) 2007-05-16 2008-11-19 National University of Ireland, Galway A kernel-based method and apparatus for classifying materials or chemicals and for quantifying the properties of materials or chemicals in mixtures using spectroscopic data.
US20090242797A1 (en) * 2008-03-31 2009-10-01 General Electric Company System and method for multi-mode optical imaging
RU2523903C2 (ru) 2008-12-16 2014-07-27 Биомерьё, Инк. Способы характеризации микроорганизмов на твердых и полутвердых средах
WO2010101225A1 (ja) 2009-03-04 2010-09-10 学校法人 東京女子医科大学 細胞シートを利用した細胞評価システム及びその利用方法
JP4585050B1 (ja) * 2009-03-30 2010-11-24 オリンパスメディカルシステムズ株式会社 蛍光観察装置
EP2648133A1 (fr) * 2012-04-04 2013-10-09 Biomerieux Identification de microorganismes par spectrometrie et classification structurée
JP6479336B2 (ja) 2014-04-23 2019-03-06 国立研究開発法人産業技術総合研究所 微生物の１６ＳｒＲＮＡ遺伝子定量用内部標準遺伝子
JP6454491B2 (ja) 2014-08-04 2019-01-16 国立大学法人東京農工大学 新規珪藻タンパク質及びその利用

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127089A (ja) * 1991-11-01 1993-05-25 Fuji Photo Film Co Ltd 走査型顕微鏡
JP2001147374A (ja) * 1999-11-18 2001-05-29 Nippon Telegr & Teleph Corp <Ntt> ３次元イメージ取得方法及びその装置
JP2002095634A (ja) * 2000-09-26 2002-04-02 Fuji Photo Film Co Ltd 内視鏡装置
JP2006526767A (ja) * 2003-06-03 2006-11-24 ブリティッシュ・コロンビア・キャンサー・エイジェンシー 多重の励起−発光対と、同時多チャンネル画像検出器とを用いる、蛍光結像方法と装置
JP2010259606A (ja) * 2009-05-01 2010-11-18 Nidek Co Ltd 眼科撮影装置
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
JP2015008727A (ja) * 2013-06-27 2015-01-19 中國醫藥大學 ハイパースペクトル利用の組織細胞画像分析のシステム及び方法
JP2015108549A (ja) * 2013-12-04 2015-06-11 横河電機株式会社 細胞検査装置および細胞検査方法
WO2016011534A1 (en) * 2014-07-24 2016-01-28 University Health Network Collection and analysis of data for diagnostic purposes
JP2017524935A (ja) * 2014-07-24 2017-08-31 ユニバーシティー ヘルス ネットワーク 診断目的のためのデータの収集および解析
WO2016153741A1 (en) * 2015-03-20 2016-09-29 East Carolina University Multi-spectral laser imaging (msli) methods and systems for blood flow and perfusion imaging and quantification
JP2018514349A (ja) * 2015-03-20 2018-06-07 イースト カロライナ ユニバーシティ 血流及び灌流の画像化及び定量化を行うマルチスペクトルレーザ画像化（ｍｓｌｉ）方法及びシステム
WO2016187141A1 (en) * 2015-05-15 2016-11-24 The Regents Of The University Of California Dynamic contrast optical coherence tomography and endogenously-derived constrast agents

Also Published As

Publication number Publication date
EP3561490A1 (en) 2019-10-30
JP2019012084A (ja) 2019-01-24
EP3561490A4 (en) 2020-07-15
WO2018117273A1 (ja) 2018-06-28
JP7336654B2 (ja) 2023-09-01
US20200386684A1 (en) 2020-12-10
JPWO2018117273A1 (ja) 2018-12-20
US11002678B2 (en) 2021-05-11
JP6422616B1 (ja) 2018-11-14
JP7105483B2 (ja) 2022-07-25

Similar Documents

Publication Publication Date Title
JP7336654B2 (ja) 処理システム、データ処理装置、表示システム及び顕微鏡システム
US9569828B2 (en) Method and apparatus for the imaging of a labeled biological sample
JP7387720B2 (ja) マルチスペクトルサンプル画像化
US8718351B2 (en) Systems and methods for volumetric tissue scanning microscopy
US9383570B2 (en) Image analysis method and image analysis apparatus
Mannam et al. Machine learning for faster and smarter fluorescence lifetime imaging microscopy
US20220034785A1 (en) Cell sorting device and method
US20230384223A1 (en) Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning
Grigoryeva et al. Confocal laser scanning microscopy for spectroscopic studies of living photosynthetic cells
KR20040047775A (ko) 미생물의 검사 장치 및 검사 방법
JP2006200987A (ja) 解析装置、顕微鏡、および、解析プログラム
Quicke et al. High speed functional imaging with source localized multifocal two-photon microscopy
Cha et al. Spectral-resolved multifocal multiphoton microscopy with multianode photomultiplier tubes
JP2022130156A (ja) 細胞の表現型と自家蛍光の対応データ作成方法及びデータ使用方法
US20010025930A1 (en) Method for the detection and analysis of a specimen
Hopkinson et al. Combined fluorescence lifetime and surface topographical imaging of biological tissue
Bednarkiewicz et al. Global analysis of microscopic fluorescence lifetime images using spectral segmentation and a digital micromirror spatial illuminator
Dahms et al. Advanced microscopy in mycology
EP4166930A1 (en) Method, device, microscope and computer program for analyzing microscopy data
Yourassowsky et al. Non-invasive lipid quantification of living microalgal cultures with digital holographic microscopy
Owen et al. Co‐Localisation and Correlation in Fluorescence Microscopy Data
JP2018529106A (ja) タイヤ用取扱装置
Yourassowsky et al. Lipid quantification in living microalgal cultures with digital holographic microscopy
Kreplin et al. High-resolution light-sheet microscopy for whole-cell sub-cellular dynamics
JP2023137105A (ja) 品質評価方法及び品質評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7336654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150