JP2019027928A - 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置 - Google Patents

細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置 Download PDF

Info

Publication number
JP2019027928A
JP2019027928A JP2017147660A JP2017147660A JP2019027928A JP 2019027928 A JP2019027928 A JP 2019027928A JP 2017147660 A JP2017147660 A JP 2017147660A JP 2017147660 A JP2017147660 A JP 2017147660A JP 2019027928 A JP2019027928 A JP 2019027928A
Authority
JP
Japan
Prior art keywords
image
cell
light
cells
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017147660A
Other languages
English (en)
Other versions
JP6932036B2 (ja
Inventor
昌也 岡田
Masaya Okada
昌也 岡田
茂樹 岩永
Shigeki Iwanaga
茂樹 岩永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
Original Assignee
Sysmex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sysmex Corp filed Critical Sysmex Corp
Priority to JP2017147660A priority Critical patent/JP6932036B2/ja
Priority to US15/883,329 priority patent/US11366097B2/en
Publication of JP2019027928A publication Critical patent/JP2019027928A/ja
Application granted granted Critical
Publication of JP6932036B2 publication Critical patent/JP6932036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • G01N33/4915Blood using flow cells
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/02Devices for withdrawing samples
    • G01N1/10Devices for withdrawing samples in the liquid or fluent state
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1404Fluid conditioning in flow cytometers, e.g. flow cells; Supply; Control of flow
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N15/1436Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement the optical arrangement forming an integrated apparatus with the sample container, e.g. a flow cell
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1468Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/48707Physical analysis of biological material of liquid biological material by electrical means
    • G01N33/48728Investigating individual cells, e.g. by patch clamp, voltage clamp
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G01N33/5044Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics involving specific cell types
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N2015/144Imaging characterised by its optical setup
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N2015/1454Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement using phase shift or interference, e.g. for improving contrast

Abstract

【課題】フローセルを流れる複数の細胞を含む画像をより高品質に生成することが可能な細胞撮像方法、細胞撮像装置を提供する
【解決手段】細胞撮像装置10は、複数の細胞を含む試料を流すためのフローセル40と、光源20と、光源20から出射された光から、ライトシート11をフローセル40に対し形成するための照射光学系30と、被写界深度を拡大させる素子を有し、フローセル40を流れる複数の細胞から生じた光を集光するための集光光学系50と、集光光学系50により集光された複数の細胞から生じた光を受光し、複数の細胞を撮像するための撮像素子60と、を備える。
【選択図】図1

Description

本発明は、細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置に関する。
特許文献1には、フローセルを流れる試料の流れに対してライトシートのシート面を傾けることにより、粒子の断面画像を撮像可能な粒子撮像装置が記載されている。すなわち、図20(a)、(b)示すように、粒子撮像装置300は、光源301と、照射光学系302と、フローセル303と、集光光学系304と、撮像素子305とを備える。光源301から出射された光が照射光学系302によって収束されてライトシート310が形成される。ライトシート310のシート面は、フローセル303の外側面303aに対して垂直であり、且つ、フローセル303を流れる試料の流れ方向に対して所定の角度で傾いている。粒子320から生じた蛍光が、対物レンズ304aを含む集光光学系304によって、撮像素子305の撮像面305aに集光される。
特開2017−58352号公報
細胞の撮像においては、スループットを高めて、単時間あたりに、なるべく多くの細胞画像を取得できることが好ましい。この要求は、特に、試料に含まれる希少な細胞を撮像する場合に顕著である。この場合、ライトシートを同時に横切る複数の細胞を同時に撮像することで、単位時間に取得可能な細胞画像の数を高め得る。しかし、この場合、対物レンズの焦点位置から大きく外れた位置を流れる細胞は、フォーカスずれにより撮像画像が不鮮明となる。
また、培養幹細胞の評価においては、複数の細胞が凝集した凝集塊を撮像し分析することが有用である。この場合、単一細胞に比べて凝集塊が大きいため、凝集塊は、対物レンズの光軸方向に比較的大きな幅を有する。このため、凝集塊の部位によっては、対物レンズの焦点位置から大きく外れ、撮像画像のこの部位に対応する部分が不鮮明となってしまう。
かかる課題に鑑み、本発明は、フローセルを流れる複数の細胞を含む画像をより高品質に生成することが可能な細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置を提供することを目的とする。
本発明の第1の態様は、細胞撮像方法に関する。この態様に係る細胞撮像方法は、ライトシート(11)をフローセル(40)に対して形成し(S11)、フローセル(40)に複数の細胞を含む測定試料を流し(S12)、ライトシート(11)を通過する複数の細胞から生じた光を、被写界深度を拡大する素子(55)を介して撮像素子(60)で受光し(S13)、複数の細胞を含む画像を撮像する(S14)。
「被写界深度」とは、集光光学系の光軸方向における、撮像素子が撮像する画像の焦点が合っているようにみえる測定対象側の距離の範囲のことである。
本態様に係る細胞撮像方法によれば、フローセルを流れる複数の細胞から生じた光が被写界深度を拡大する素子を介して撮像されるため、フローセルを流れる細胞の位置にかかわらず細胞の明瞭な断面画像を取得できる。よって、複数の細胞を含む画像を高品質に生成できる。
本態様に係る細胞撮像方法において、ライトシート(11)は、試料の流れ方向に対して垂直でなく傾けて形成され得る。こうすると、複数の細胞から生じた光をフローセル(40)の側方から撮像できる。
本態様に係る細胞撮像方法においては、複数の細胞をライトシート(11)に同時に通過させ、複数の細胞から生じた光を撮像素子(60)で受光する。こうすると、複数の細胞を同時に撮像でき、複数の細胞の断面画像を含む画像を取得できる。
本態様に係る細胞撮像方法において、被写界深度を拡大する素子(55)は、点像分布関数を変調する位相変調素子(55)を用い得る。
この場合、点像分布関数は、スパイラル点像分布関数とされ得る。これにより、被写界深度を効果的に拡大できる。
「スパイラル点像分布関数」とは、1つの起点から生じた光を、当該起点の深さ位置に応じた像面上の回転位置に結像させる点像分布関数のことである。
ここで、点像分布関数は、シングルヘリックス点像分布関数とされ得る。こうすると、細胞断面の各部から生じた光が分離しないため、良好な撮像画像に取得できる。
「シングルヘリックス点像分布関数」とは、スパイラル点像分布関数の1種であり、1つの起点から生じた光を1つの焦点に結像させる点像分布関数のことである。
本態様に係る細胞撮像方法は、撮像した複数の細胞を含む画像に対し、位相変調素子(55)により生じる撮像画像の歪みを補正する工程(S21)を含み得る。このように、位相変調素子の作用により生じる撮像画像の歪みを補正することにより、高品質の細胞画像を取得できる。
たとえば、撮像画像の歪みを補正する工程(S21)において、撮像画像を構成する画像要素を、それぞれ、点像分布関数に基づく位置ずれを補正する位置へと移動させる。このように画像要素を個別に移動させることにより、撮像画像全体の歪を適正に補正できる。
具体的には、撮像画像の歪みを補正する工程(S21)において、画像要素を取得した撮像面(61)上の位置とライトシート(11)との距離に基づいて、画像要素を移動させる。こうすると、撮像画像の歪みを適切に補正できる。
より詳細には、撮像画像の歪みを補正する工程(S21)において、画像要素を取得した撮像面(61)上の位置とライトシート(11)との距離に応じた方向および距離で、画像要素を移動させる。こうすると、簡易な処理により、撮像画像の歪みを適切に補正できる。
この場合、画像要素は、画素ごとに取得される画像要素とされ得る。このように補正対象の画像要素を、最小撮像単位である画素から取得される画像要素に設定することにより、撮像画像の歪を高精細に補正できる。
なお、「画像要素」とは、撮像画像を所定の単位ブロックで区切った場合の各単位ブロックに含まれる画像部分のことであり、上記のような1画素分の画像部分の他、上下に所定数の画素からなる単位ブロックに含まれる画像部分であってもよい。
また、前記撮像画像の歪みを補正する工程(S21)では、ライトシート(11)との距離が同じ画素列(PL1〜PLn)により取得された画像要素を、画素列(PL1〜PLn)とライトシート(11)との距離に応じた方向および距離で移動させる処理が行われ得る。こうすると、極めて簡易な処理により、撮像画像の歪みを適切に補正できる。
本態様に係る細胞撮像方法は、複数の細胞を含む画像を複数撮像し、撮像した複数の画像から複数の細胞の3次元画像を含む画像を生成する処理が行われ得る。これにより、複数の細胞に対して高品質の3次元画像を取得できる。
本態様に係る細胞撮像方法において、画像を生成する工程(S15)は、撮像面(61)における細胞の像の位置を補正する工程(S23)を含み、位置を補正する工程(S23)において、少なくともフローセル(49)における細胞の移動量と試料の流れ方向に対するライトシート(11)の角度とに基づいて、撮像面(61)における細胞の像の移動量を算出し、算出した前記移動量と、細胞の移動に伴い取得した一連の撮像画像とに基づいて、3次元画像を生成する処理を行い得る。このように、撮像面における画像の移動量を考慮して複数の細胞の3次元画像を生成することにより、より高品質の3次元画像を取得できる。
また、画像を生成する工程(S21)は、撮像面(61)における細胞の像の大きさを補正する工程(S22)を含み、大きさを補正する工程(S22)において、試料の流れ方向に対するライトシート(11)の角度に基づいて、撮像画像の大きさを補正し、大きさが補正された画像に基づいて、細胞の3次元画像を生成する。このように、撮像画像の大きさを補正することにより、より高品質の3次元画像を取得できる。
本発明の第2の態様は、細胞撮像装置に関する。この態様に係る細胞撮像装置は、複数の細胞を含む試料を流すためのフローセル(40)と、光源(20)と、光源(20)から出射された光からライトシート(11)をフローセル(40)に対し形成するための照射光学系(30)と、被写界深度を拡大させる素子(55)を有し、フローセル(40)を流れる複数の細胞から生じた光を集光するための集光光学系(50)と、集光光学系(50)により集光された複数の細胞から生じた光を受光し、複数の細胞を撮像するための撮像素子(60)と、を備える。
本態様に係る細胞撮像方法によれば、フローセルを流れる複数の細胞から生じた光が被写界深度を拡大する素子を介して撮像されるため、フローセルを流れる細胞の位置にかかわらず細胞の明瞭な断面画像を取得できる。よって、複数の細胞を含む画像を高品質に生成できる。
本態様に係る細胞撮像装置において、被写界深度を拡大する素子(55)は、点像分布関数を変調する位相変調素子(55)とされ得る。
この場合、位相変調素子(55)は、撮像素子(60)の撮像面(61)にスパイラル点像分布関数を形成するよう構成され得る。これにより、被写界深度を効果的に拡大できる。
ここで、スパイラル点像分布関数は、シングルヘリックス点像分布関数とされ得る。こうすると、細胞断面の各部から生じた光が分離しないため、良好な撮像画像に取得できる。
本態様に係る細胞撮像装置は、撮像素子(60)により取得された撮像画像を処理する処理部(81)を備え、処理部(81)は、位相変調素子(55)により生じる撮像画像の歪みを補正する処理を実行し、歪み補正後の撮像画像に基づいて、複数の細胞を含む画像を生成するよう構成され得る。このように、位相変調素子の作用により生じる撮像画像の歪みを補正することにより、高品質の細胞画像を取得できる。
たとえば、処理部(81)は、撮像画像を構成する画像要素を、それぞれ、点像分布関数に基づく位置ずれを補正する位置へと移動させることにより、撮像画像の歪みを補正するよう構成され得る。このように画像要素を個別に移動させることにより、撮像画像全体の歪を適正に補正できる。
具体的には、処理部(81)は、撮像画像を構成する画像要素を、画像要素を取得した撮像面(61)上の位置とライトシート(11)との距離に基づいて移動させることにより、撮像画像の歪みを補正するよう構成され得る。こうすると、撮像画像の歪みを適切に補正できる。
より詳細には、処理部(81)は、画像要素を取得した撮像面(61)上の位置とライトシート(11)との距離に応じた方向および距離で、画像要素を移動させることにより、撮像画像の歪みを補正するよう構成され得る。こうすると、簡易な処理により、撮像画像の歪みを適切に補正できる。
この場合、画像要素は、撮像素子(60)の画素ごとに取得される画像要素とされ得る。このように補正対象の画像要素を、最小撮像単位である画素から取得される画像要素に設定することにより、撮像画像の歪を高精細に補正できる。
処理部(81)は、ライトシート(11)との距離が同じ画素列(PL1〜PLn)により取得された画像要素を、画素列(PL1〜PLn)とライトシート(11)との距離に応じた方向および距離で移動させることにより、撮像画像の歪みを補正するよう構成され得る。こうすると、極めて簡易な処理により、撮像画像の歪みを適切に補正できる。
また、点像分布関数は、マルチヘリックス点像分布関数とされ得る。この場合、処理部(81)は、点像分布関数により組となる複数の画像要素を、これら画像要素の中間位置に移動させることにより、撮像画像の歪みを補正するよう構成され得る。このように、組となる複数の画像要素を重ね合わせることにより、明るい撮像画像を生成できる。
「マルチヘリックス点像分布関数」とは、スパイラル点像分布関数の1種であり、1つの起点から生じた光を複数の焦点に結像させる点像分布関数のことである。
本態様に係る細胞撮像装置において、位相変調素子(55)は、空間光変調器、デフォーマブルミラーまたは位相板とされ得る。
本態様に係る細胞撮像装置において、処理部(81)は、撮像画像に基づいて、複数の細胞の3次元画像を含む画像を生成するよう構成され得る。これにより、複数の細胞に対して高品質の3次元画像を取得できる。
この場合、処理部(81)は、少なくともフローセル(40)における細胞の移動量と試料の流れ方向に対するライトシート(11)の角度とに基づいて、撮像素子(60)の撮像面(61)における細胞の像の移動量を算出し、算出した移動量と、細胞の移動に伴い取得した一連の撮像画像とに基づいて、3次元画像を生成するよう構成され得る。このように、撮像面における画像の移動量を考慮して複数の細胞の3次元画像を生成することにより、より高品質の3次元画像を取得できる。
また、処理部(81)は、試料の流れ方向に対するライトシート(11)の角度に基づいて、撮像画像の大きさを補正し、大きさが補正された画像に基づいて、複数の細胞を含む3次元画像を生成するよう構成され得る。このように、撮像画像の大きさを補正することにより、より高品質の3次元画像を取得できる。
ライトシート(11)のシート面(11a)は、フローセル(40)の外側面(40a)に対して垂直とされ得る。これにより、フローセルに入射する光がフローセルによって屈折することが抑制されるため、フローセルを通過して細胞に照射されるビーム形状が崩れにくくなる。したがって、適正な形状のライトシートを細胞に照射できるため、高精度な画像を撮像できる。
集光光学系(50)の光軸は、試料の流れ方向に対して垂直とされ得る。これにより、撮像素子は、フローセルによって略屈折せずにフローセルの外側に出た光を受光するため、撮像面に照射される光のビーム形状が崩れにくくなる。よって、撮像素子により高精度な画像を撮像できる。
照射光学系(30)の光軸と集光光学系(50)の光軸とが互いに垂直とされ得る。こうすると、撮像素子は、粒子の断面から生じた光を正面側から撮像できる。これにより、撮像した画像を試料の流れに垂直な方向に補正するといった処理が不要になる。
照射光学系(30)は、第1方向(D1)における光の収束と、第1方向(D1)と交わる第2方向(D2)における光の収束とが異なるように光源(20)から出射された光を収束させる光学レンズ(31)と、光学レンズ(31)における照射光学系(30)の光軸を中心に光学レンズ(31)を回転させる回転機構部(30)と、を備えるよう構成され得る。この構成によれば、光学レンズの回転角度を調整することにより、粒子の一連の断面画像を良好に取得しながら、バックグラウンドノイズを抑えた高精度な画像を撮像できる。
本発明の第3の態様は、粒子撮像方法に関する。この態様に係る粒子撮像方法は、ライトシート(11)をフローセル(40)に対して形成し(S11)、フローセル(40)を流れる粒子から生じた光を、点像分布関数を変調する位相変調素子(55)を介して撮像し(S13)、位相変調素子(55)により生じる撮像画像の歪みを補正する(S21)。
本態様に係る粒子撮像方法によれば、集光光学系が位相変調素子を備えることにより、集光光学系の被写界深度を拡大でき、集光光学系の光軸方向の位置にかかわらず粒子の明瞭な断面画像を取得できる。さらに、位相変調素子の作用により生じる撮像画像の歪みが処理部により補正されるため、高品質の粒子画像を取得できる。このように、本態様に係る粒子撮像装置によれば、フローセルを流れる粒子の位置に拘わらず、より高品質の粒子画像を生成できる。
本発明の第4の態様は、粒子撮像装置に関する。この態様に係る粒子撮像装置は、粒子を含む試料を流すためのフローセル(40)と、光源(20)と、光源(20)から出射された光から、ライトシート(11)をフローセル(40)に対し形成するための照射光学系(30)と、被写界深度を拡大させる位相変調素子(55)を有し、フローセル(40)を流れる粒子から生じた光を集光するための集光光学系(50)と、集光光学系(50)により集光された光を受光するための撮像素子(60)と、撮像素子(60)により取得された撮像画像の歪みを補正する処理部(81)と、を備える。
本態様に係る粒子撮像装置によれば、第3の態様と同様の効果が奏され得る。
本発明によれば、フローセルを流れる複数の細胞を含む画像をより高品質に生成できる。
図1は、実施形態1に係る細胞撮像装置の構成を示す図である。 図2(a)は、実施形態1に係る光学レンズの構成を示す図である。図2(b)は、実施形態1に係る光学レンズが傾いている状態を示す図である。図2(c)は、実施形態1に係るフローセルおよびライトシートの流路における断面をX軸負方向に見た場合の模式図である。図2(d)は、実施形態1に係るライトシートおよびフローセルの断面を第1方向に見た場合の模式図である。 図3(a)は、実施形態1に係るライトシートおよびフローセルの断面を第2方向に見た場合の模式図である。図3(b)〜(d)は、実施形態1の変更例に係るライトシートおよびフローセルの断面を第2方向に見た場合の模式図である。 図4(a)は、実施形態1に係るライトシートのシート面とフローセルの外側面との関係を示す模式図である。図4(b)は、実施形態1の変更例に係るライトシートのシート面とフローセルの外側面との関係を示す模式図である。 図5(a)は、実施形態1に係る空間光変調器の位相変調パターンを示す図である。図5(b)は、実施形態1に係る位相板の構成を模式的に示す図である。 図6は、実施形態1に係る、位相変調素子としてデフォーマブルミラーを用いた場合の撮像部の構成を示す図である。 図7(a)は、集光光学系に光変調素子を配置しなかった場合の、撮像素子における像の結像状態を示す図である。図7(b)は、実施形態1に係る、撮像素子における像の結像状態を示す図である。 図8は、実施形態1に係る、位相変調素子の作用により生じる像の歪みを模式的に示す図である。 図9は、実施形態1に係る、位相変調素子の作用により生じる照射位置の移動を模式的に示す図である。 図10(a)〜(c)は、実施形態1に係る位相変調素子の作用を示す図である。 図11(a)は、実施形態1に係る、撮像素子の各画素列における画像要素の補正処理を説明する図である。図11(b)は、実施形態1に係る補正ベクトルの内容を示すテーブルである。 図12(a)、(b)は、実施形態1に係る撮像素子により取得した画像を重ね合わせる際のアスペクト比の補正および位置調整について説明するための図である。 図13(a)、(b)は、実施形態1に係るライトシートの傾きと撮像精度との関係について説明するための図である。 図14(a)は、実施形態1に係るノイズ成分を抑えながら全ての断面を取得可能な角度の条件について説明するための図である。図14(b)は、実施形態1に係る最適な角度を細胞撮像装置に適用するための処理を示すフローチャートである。 図15は、実施形態1に係る3次元画像を生成する処理を示すフローチャートである。 図16は、実施形態1に係る画像生成処理の内容を示すフローチャートである。 図17は、実施形態1に係る複数細胞が凝集した3次元画像の例を示す図である。 図18は、実施形態2に係る位相変調素子による作用を説明するための図である。 図19は、実施形態2に係る断面画像の補正方法を説明するための図である 図20(a)は、関連技術の構成を説明するための図である。図20(b)は、関連技術の構成においてフローセルと撮像素子の部分を模式的に示す図である。
<実施形態1>
実施形態1は、光の照射により細胞から生じた蛍光を撮像して複数の画像を取得し、取得した複数の画像に基づいて細胞の3次元画像を生成する細胞撮像装置に本発明を適用したものである。撮像対象の細胞は、たとえば、血中循環腫瘍細胞(CTC:Circulating Tumor Cell)、血管内皮細胞(CEC:Circulating Endothelial Cell)、血管内皮前駆細胞(EPC:Endothelial Progenitor Cell)、間葉系幹細胞(MSC:Mesenchymal Stem Cell)、造血幹細胞(HSC:Hematopoietic Stem Cell)、抗原特異的T細胞等の細胞が挙げられる。
実施形態1では、撮像対象の細胞中の核の蛍光画像が取得される。
図1に示すように、細胞撮像装置10は、撮像部10aと情報処理装置10bを備える。撮像部10aは、光源20と、照射光学系30と、フローセル40と、集光光学系50と、撮像素子60と、回転制御部70と、を備える。図1には、撮像部10aの各部の配置を説明するためにXYZ軸が示されている。XYZ軸は、互いに直交する。以下の図に示すXYZ軸も、それぞれ図1に示すXYZ軸に対応する。
照射光学系30は、光学レンズ31と、回転機構部32と、対物レンズ33と、を備える。集光光学系50は、対物レンズ51と、光学フィルタ52と、集光レンズ53、54、56と、位相変調素子55を備える。ここでは、透過型の位相変調素子55が想定されている。
光源20は、X軸正方向に光を出射して、フローセル40を流れる試料に光を照射する。光源20は、たとえば半導体レーザ光源である。光源20から出射される光の波長は、細胞を染色している蛍光色素から、蛍光を励起させるための光の波長に設定される。光学レンズ31は、光源20から出射された光を後述するように収束させる。回転機構部32は、光学レンズ31を回転可能に支持している。回転機構部32は、光源20から出射された光の中心軸を中心に、すなわち、光学レンズ31における照射光学系30の光軸を中心に、光学レンズ31を回転させる。
図2(a)に示すように、光学レンズ31は、シリンドリカルレンズである。光学レンズ31のX軸正側は平坦な面になっており、光学レンズ31のX軸負側は曲面となっている。光学レンズ31は、X軸正側の面がX軸に垂直となり、光学レンズ31に入射する光の中心軸が光学レンズ31の母線31aと交わるよう、回転機構部32に支持される。光学レンズ31は、上記のように、平坦な面がX軸正側に位置付けられ、曲面がX軸負側に位置付けられるように配置されるのが望ましいが、曲面がX軸正側に位置付けられ、平坦な面がX軸負側に位置付けられるように配置されてもよい。
光学レンズ31は、第1方向D1に対する光の収束と、第1方向D1と交わる第2方向D2における光の収束とが異なるように、光源20から出射された光を収束させる。具体的には、第1方向D1は、母線31aとX軸に垂直な方向であり、第2方向D2は、母線31aに平行な方向である。光学レンズ31は、光源20から出射された光を、第2方向D2に収束させず、第1方向D1にのみ収束させる。光学レンズ31により第1方向D1に収束された光は、対物レンズ33の瞳近傍に集光する。
図2(b)に示すように、光学レンズ31は、回転機構部32によりX軸を中心に回転され、母線31aのY軸に対する角度が所定の角度θとなる回転位置に位置付けられる。これにより、光学レンズ31は、光源20から出射された光を、図2(b)に示すようにZ軸に対して傾いた第1方向D1にのみ収束させる。
図1に戻り、対物レンズ33は、光学レンズ31を透過した光をフローセル40の流路41に集光させる。具体的には、対物レンズ33は、図2(b)に示した第2方向D2における収束位置がフローセル40の流路41に位置付けられるように、光学レンズ31を透過した光を収束させる。また、対物レンズ33は、光学レンズ31を透過した光の、図2(b)に示した第1方向D1における広がりを平行にする。これにより、対物レンズ33を透過した光は、フローセル40の流路41において扁平なビームとなる。
対物レンズ33は省略することもできる。この場合、光学レンズ31は、図2(b)に示す状態からX軸を中心に90°回転された回転位置に位置付けられる。そして、光源20から出射された光が光学レンズ31によって一方向にのみ収束されることにより、フローセル40の流路41において扁平なビームが形成される。
このように、照射光学系30は、光学レンズ31と対物レンズ33により、光源20から出射された光を、フローセル40の流路41の位置におけるYZ平面に平行な断面において、直線状となるように集光させる。すなわち、照射光学系30は、光源20から出射された光から、フローセル40に対しライトシート11を形成する。
光学レンズ31は、第1方向D1に対する光の収束と第2方向D2に対する光の収束とが異なるレンズでもよい。光学レンズ31は、位相板やホログラフィエレメントでもよい。また、照射光学系30は、円錐レンズなどによりベッセルビームを形成し、形成したベッセルビームをスキャニングミラー等によって高速に一方向に走査することで、ライトシート11を形成してもよい。この場合、スキャニングミラー等の走査方向は、YZ平面内において、Y軸方向およびZ軸方向以外の方向とされる。
フローセル40は、Z軸方向に延びた形状を有しており、Z軸方向に見て正方形の外形の断面を有する。フローセル40は、Z軸方向に見て正方形以外の矩形の外形の断面を有してもよい。フローセル40の外側面40a、40b、40c、40dは平坦な面となっている。特に、照射光学系30からの光が入射する外側面40a、および、後述する集光光学系50によって集光される蛍光が通過する外側面40bは、平坦な面であるのが望ましい。実施形態1では、フローセル40のX軸正側の外側面40cおよびX軸負側の外側面40aは、YZ平面に平行であり、フローセル40のY軸正側の外側面40bおよびY軸負側の外側面40dは、XZ平面に平行である。
フローセル40の内部には、Z軸方向に延びた流路41が形成されている。フローセル40は、細胞を含む試料を流路41に流す。流路41に流される試料は、被検者から採取された細胞に基づいて、あらかじめ調製されたものである。実施形態1では、試料の調製において、細胞内の核が蛍光染色される。核は、核を特異的に染色可能な蛍光色素により染色される。核を染色している染色色素は、光源20から出射された光が照射されると、互いに異なる波長の蛍光が励起される。自家蛍光によって生じた蛍光を撮像する場合には、必ずしも細胞が蛍光染色されなくてもよい。
図2(c)に示すように、流路41をX軸負方向に見た場合、ライトシート11の長手方向は、試料の流れ方向に対して垂直でなく所定角度で傾いている。すなわち、ライトシート11は、第1方向D1に延び、第2方向D2に幅が狭い形状となっている。ライトシート11は、長鎖線で模式的に示されている。試料に含まれる細胞12は、フローセル40の流路41内をZ軸正方向に流れる。このとき、細胞12内の核12aも、流路41内をZ軸正方向に流れる。細胞12がライトシート11を横切ると、細胞12の蛍光染色された部分から蛍光が生じる。
図2(c)に示す断面C1―C2を第1方向D1に見ると、断面は図2(d)に示すようになる。図2(d)に示すように、照射光学系30からフローセル40に入射する光は、フローセル40において、第1方向D1の幅は絞らずに平行光となっているが、第2方向D2の幅は絞られ薄くなっている。ライトシート11とは、光源20から照射された光のうち、第2方向D2の幅が細胞に対して十分に小さい領域のことである。ライトシート11のシート面11aとは、ライトシート11において、ライトシート11の中心軸と第1方向D1とによって規定される平面のことである。図2(c)、(d)において、シート面11aは、点線で模式的に示されている。
図2(c)に戻り、ライトシート11のシート面11aは、光学レンズ31の傾きに対応して、Z軸に対して角度θだけ傾いている。シート面11aのZ軸に対する傾きは、略垂直でないように設定される。これにより、細胞12の断面画像をフローセル40の周囲から取得しやすくなる。また、シート面11aは、Z軸と平行でないように設定される。これにより、細胞12の蛍光染色された部分について複数の異なる断面画像を取得できるようになる。このように、シート面11aは、試料の流れ方向であるZ軸方向に対して、略垂直ではなく所定の角度で傾けられる。これにより、蛍光色素から生じた蛍光をフローセル40の周囲から取得しやすくなり、かつ、異なる複数の細胞断面を取得できるようになる。角度θは、光学レンズ31をX軸まわりに回転させることにより設定できる。
ここで、照射光学系30の光軸は、試料の流れ方向であるZ軸方向に対して垂直である。言い換えれば、対物レンズ33の光軸は、Z軸に対して垂直であり、照射光学系30から出てフローセル40に入射する光の中心軸は、Z軸に対して垂直である。図2(c)に示す断面C3―C4を第2方向D2に見ると、断面は図3(a)に示すようになる。図3(a)に示すように、ライトシート11のシート面11aは、光源20から出射された光が入射するフローセル40の外側面40aに対して垂直となる。これにより、フローセル40に入射する光がフローセル40によって屈折することが抑制されるため、フローセル40を通過して核12aに照射されるビーム形状が崩れにくくなる。したがって、適正な形状のライトシート11を細胞に照射できるため、後述する撮像素子60により高精度な画像を撮像できる。
なお、核12aの一部についてのみ3次元画像が生成されればよい場合、図3(b)に示すように、ライトシート11が撮像対象である核12aの一部にのみ掛かるように、ライトシート11の第1方向D1の幅が設定されてもよい。この場合、核12a一部について断面画像が取得され、取得された核12aの一部の断面画像に基づいて3次元画像が生成される。
照射光学系30の光軸は、試料の流れ方向に対して垂直な状態からずれていてもよい。この場合、図2(c)に示す断面C3―C4を第2方向D2に見ると、断面は図3(c)に示すようになる。図3(c)では、照射光学系30の光軸は試料の流れ方向に対して垂直ではないものの、図3(a)と同様、シート面11aは、光源20から出射された光が入射するフローセル40の外側面40aに対して垂直となっている。この場合、ライトシート11は、外側面40aによって、第1方向D1において屈折することになるが、第2方向D2において屈折することがない。したがって、ライトシート11の第2方向D2における厚みは、フローセル40の外側面40aによる影響を受けにくくなる。よって、図3(a)の場合と同様、核12aに照射されるビーム形状が崩れにくくなるため、撮像素子60により高精度な画像を撮像できる。
なお、核12aの一部についてのみ3次元画像が生成されればよい場合、図3(d)に示すように、ライトシート11が撮像対象である核12aの一部にのみ掛かるように、ライトシート11の第1方向D1の幅が設定されてもよい。
シート面11aは、外側面40aに対して垂直な状態から僅かにずれていてもよい。シート面11aが、外側面40aに対して略垂直であれば、細胞12に照射されるビーム形状が崩れることが抑制され、撮像素子60により高精度な画像を撮像できる。
図4(a)、(b)を参照して、ライトシート11のシート面11aが外側面40aに対して垂直となっている状態について、詳細に説明する。
実施形態1では、照射光学系30の光軸がX軸に平行であり、フローセル40の外側面40aはYZ平面に平行である。これにより、図4(a)に示すように、外側面40aに入射する光の中心軸90は、外側面40aに対して垂直となり、ライトシート11のシート面11aは、外側面40aに対して垂直となる。この場合、図3(a)を参照して説明したように、ライトシート11の第2方向D2における厚みが外側面40aによる影響を受けにくくなるため、撮像素子60により高精度な画像を撮像できる。
ただし、外側面40aに入射する光の中心軸90は、外側面40aに対して垂直でなくてもよい。具体的には、図4(a)の中心軸90が、第1方向D1において傾けられてもよい。これにより、図4(b)に示すように、外側面40aに入射する光の中心軸90は、外側面40aに対して垂直ではないものの、ライトシート11のシート面11aは、外側面40aに対して垂直となる。この場合も、図3(c)を参照して説明したように、ライトシート11の第2方向D2における厚みが外側面40aによる影響を受けにくくなるため、撮像素子60により高精度な画像を撮像できる。
図1に戻り、集光光学系50は、細胞12から生じた蛍光を、フローセル40のY軸正側で集光する。集光光学系50は、細胞12から生じた蛍光を、フローセル40のY軸負側で集光してもよい。対物レンズ51は、細胞12から生じた蛍光を集光する。光学フィルタ52は、細胞12から生じる側方散乱光等の不要な光を遮断して、撮像したい蛍光のみを透過させる。不要な光が問題とならない場合、光学フィルタ52を省略することもできる。集光レンズ53は、光学フィルタ52を透過した蛍光を集光する。対物レンズ51の仕様によっては、集光レンズ53を省略することもできる。
集光レンズ54、56は、集光光学系50においてフーリエ面を形成する。フーリエ面は、集光レンズ56と位相変調素子55の間に、さらに偶数枚のレンズが設置されることにより形成されてもよい。
位相変調素子55は、集光光学系50のフーリエ面に配置され、光の位相を変調することで、拡大された被写界深度(Extended Depth of Focus : EDoF)を実現する。位相変調素子55は、拡大された被写界深度を得るための点像分布関数(Point Spread Function : PSF)を形成する。すなわち、位相変調素子55は、被写界深度の拡大が可能となるように、PSFを変調する作用を有する。位相変調素子55は、スパイラル点像分布関数を形成する位相変調素子である。
位相変調素子55は、1つの点から生じた光が1つの焦点に結像されるPSFを形成する。このようなPSFは、SH−PSF(Single-Helix Point Spread Function)と呼ばれる。位相変調素子55により形成されるスパイラル点像分布関数は、シングルヘリックス点像分布関数である。位相変調素子55の構成は、追って、図5(a)、(b)を参照して説明する。
撮像素子60は、集光光学系50により集光された蛍光を撮像面61において受光する。撮像素子60は、蛍光の2次元画像を撮像し、撮像した2次元画像を出力する。撮像される2次元画像は、細胞12の断面画像である。撮像素子60は、たとえばカラーCCDにより構成される。実施形態1では、核12aから所定波長の蛍光が生じるため、撮像素子60は、少なくとも当該波長の光を識別可能に構成される。細胞が複数種類の蛍光色素によって染色される場合、撮像素子60は、異なる波長の光を識別可能に構成される。なお、カラーCCDでは必要な感度が不足する場合には、フローセル40を流れる試料の速度を十分落とす等の調整を行えばよい。
集光光学系50において各波長帯域の蛍光を波長帯域ごとに分離して、分離した蛍光ごとに、1つの波長帯域の光のみを識別可能な撮像素子またはカラーCCDからなる撮像素子により受光してもよい。この場合、複数の撮像素子で取得された同じタイミングにおける画像が、互いに重ね合わせられることにより1つの断面画像が生成される。細胞12から1つの波長帯域の蛍光のみが生じる場合、撮像素子60は、1つの波長帯域の光のみを識別可能に構成されればよい。
ここで、集光光学系50の光軸は、試料の流れ方向であるZ軸方向に対して垂直である。言い換えれば、対物レンズ51の光軸は、Z軸に対して垂直である。これにより、撮像素子60は、細胞12から生じた蛍光のうち、フローセル40によって略屈折せずにフローセル40の外側に出た蛍光を受光するため、撮像面61に照射される蛍光のビーム形状が崩れにくくなる。したがって、撮像素子60により高精度な画像を撮像できる。
集光光学系50の光軸は、試料の流れ方向に対して垂直な状態から僅かにずれていてもよい。集光光学系50の光軸が、試料の流れ方向に対して略垂直であれば、撮像面61に照射される蛍光のビーム形状が崩れることが抑制され、撮像素子60により高精度な画像を撮像できる。
照射光学系30の光軸と集光光学系50の光軸とは、互いに垂直である。これにより、撮像素子60は、細胞12の断面から生じた蛍光を正面側から撮像できる。すなわち、撮像素子60は、細胞12の断面に対してX軸方向にずれた位置ではなく、細胞12の断面を含むYZ平面内で蛍光を撮像する。これにより、撮像した画像をX軸方向に補正するといった処理が不要になる。
照射光学系30の光軸と集光光学系50の光軸とは、互いに垂直な状態から僅かにずれていてもよい。照射光学系30の光軸と集光光学系50の光軸とが互いに略垂直であれば、撮像素子60は、細胞12の断面から生じた蛍光を略正面側から撮像できるため、撮像した画像をX軸方向に補正するといった処理が略不要になる。
回転制御部70は、回転機構部32に接続されており、回転機構部32の回転を制御する。回転制御部70による制御については、追って図14(a)、(b)を参照して説明する。
情報処理装置10bは、処理部81と、記憶部82と、表示部83と、入力部84と、インターフェース85と、を備える。処理部81は、たとえばCPUにより構成される。記憶部82は、たとえばROM、RAM、ハードディスクにより構成される。処理部81は、インターフェース85を介して、情報処理装置10b内の各部を制御するとともに、撮像素子60と回転制御部70を制御する。
処理部81は、撮像素子60により取得された画像に基づいて3次元画像を生成する。具体的には、撮像素子60は、1つの細胞から取得した複数の断面画像を重ね合わせて3次元画像を生成する。表示部83は、処理部81による処理結果等を表示するためのディスプレイである。入力部84は、オペレータによる指示の入力を受け付けるためのキーボードとマウスである。
次に、位相変調素子55の構成について説明する。
位相変調素子55は、透過する蛍光に対して位相変調を与える。位相変調素子55として、たとえば、液晶パネルを用いた透過型の空間光変調器を用い得る。空間光変調器は、たとえば、1画素につき256階調で位相変調が可能である。シングルヘリックスPSFを形成するための位相変調パターンは、たとえば、図5(a)に示すように設定される。位相変調パターンとは、全ての画素について設定された階調のパターン分布のことである。
図5(a)において、階調が0の画素は黒で示されており、階調が255の画素は白で示されている。階調が0の画素は、入射する蛍光の位相を変調しない。階調が255の画素に入射する蛍光の位相は、階調が0の画素に入射する蛍光の位相に対して2πだけずれる。
図5(b)に示すように、位相変調素子55として、位相板を用いることもできる。位相板は、アクリル樹脂等の透明な部材から構成される。位相板を構成する部材は、必ずしも透明でなくてもよく、光を透過できればよい。位相板の厚みT11が変化すると、透過する蛍光の位相が変化する。図5(a)の位相変調パターンと同様の位相変調が生じるように、位相板の各部の厚みT11が調整される。
この他、位相変調素子55として、デフォーマブルミラーを用いることもできる。位相変調素子55としてデフォーマブルミラーが用いられる場合、撮像部10aの構成は、図6のように変更される。この場合も、位相変調素子55は、集光光学系50のフーリエ面に配置される。対物レンズ51で集光された蛍光は、位相変調素子55で反射されることにより、位相変調を受ける。これにより、撮像素子60の撮像面61にシングルヘリックスのPSFが形成される。図6の構成では、位相変調素子55として、反射型の空間光変調器が用いられてもよい。この場合、たとえば、対物レンズ51と光学フィルタ52の間に偏光子が配置される。
このように、集光光学系50に位相変調素子55を配置することにより、集光光学系50の被写界深度を拡大できる。
図7(a)には、集光光学系50に位相変調素子55が配置されていない場合の撮像状況が模式的に示されている。ここでは、3つの細胞12が、フローセル40の流路41を流れている。フローセル40の流路41は、複数の細胞が幅方向の位置を同時に流れるのに十分な広さを有する。ライトシート11は、少なくとも流路41の全てをカバーする広さとなっている。撮像素子60は、少なくとも、流路41に含まれるライトシート11の領域からの光を受光できる広さを有する。3つの細胞12は、同時にライトシート11を横切る。3つの細胞12の核12aをライトシート11が切断する断面が、撮像素子60によって同時に撮像される。
これら3つの細胞12の流れる位置がY軸方向に互いにずれている。上下の細胞12は、中央の細胞12に対して、距離ΔS1、ΔS2だけY軸方向にずれている。集光光学系50のフォーカス位置が、Y軸方向における流路41の中央位置に設定されている場合、中央の細胞12は、核12aの断面画像が良好に撮像される。しかし、上下の細胞12については、集光光学系50のフォーカス位置からずれているため、核12aの断面画像を良好に撮像できない。図7(a)の右端には、3つの細胞12について取得された核12aの断面画像が模式的に示されている。
これに対し、上記のように集光光学系50に対して、スパイラルPSFを形成する位相変調素子55が配置された場合、集光光学系50の被写界深度が拡大する。このため、図7(b)に示すように、上下の細胞12の位置が、Y軸方向、すなわち、集光光学系50の光軸方向に流路41の中央位置からずれていても、これら細胞12の核12aの断面画像を良好に取得できる。これにより、ライトシート11を同時に横切る複数の細胞12について、核12aの断面画像を高品質に取得できる。
なお、1つの細胞12においても、ライトシート11による核12aの断面と撮像素子60の撮像面との距離は、切断面のZ軸正側が短く、Z軸負側が長くなる。このため、集光光学系50に位相変調素子55が配置されていない場合、1つの核12aの断面画像内においても、部分的にフォーカスずれが生じることが起こり得る。これに対し、集光光学系50に位相変調素子55が配置された場合は、上記のように集光光学系50の被写界深度が拡大するため、1つの核12aの断面画像内において部分的にフォーカスずれが生じることがない。よって、良好な核12aの断面画像が取得され得る。
しかし、集光光学系50に位相変調素子55が配置された場合、位相変調素子55における位相変調作用によって、核12aの断面画像に歪みが生じる。
図8は、この歪みを模式的に示している。ここでは、便宜上、1つの核12aが流路41の流れに沿ってライトシート11を横切る場合を例に、断面画像の歪みを説明する。この場合、核12aの移動に伴い、ライトシート11によって切断される核12aの断面の位置が、Y軸方向に変化する。すなわち、核12aが位置101にあるときに比べて、核12aが位置102にあるときの方が、断面の位置がY軸負方向に変位する。また、核12aが位置102にあるときに比べて、核12aが位置103にあるときの方が、断面の位置がY軸負方向にさらに変位する。より厳密には、ライトシート11による核12aの断面は、断面内の各部位と撮像素子60の撮像面との距離が、断面のZ軸方向の位置に応じて変化する。
位相変調素子55が集光光学系50に配置されていない場合、これら断面から生じた蛍光は、それぞれ、撮像素子60の撮像面61において、破線で示す照射領域111、112、113に照射される。しかし、位相変調素子55が集光光学系50に配置されている場合は、位相変調素子55による位相変調作用によって、各断面からの蛍光が、実線で示す照射領域121、122、123に照射される。照射領域121、122、123は、照射領域111、112、113に対して、図8の矢印の方向に変位しつつ変形する。この歪みは、核12aの断面内の各部位が、シングルヘリックスPSFによる作用により、各部位と撮像面61との距離に応じた方向に移動することにより生じる。すなわち、このような歪みは、位相変調素子55がシングルヘリックスPSFを形成する作用に基づくものである。
図9に示すように、位相変調素子55が集光光学系50に配置されていない場合、核12aの断面の一部から生じた蛍光は、たとえば、照射領域111中の位置P11、P12、P13に照射される。これに対し、位相変調素子55が集光光学系50に配置された場合、核12aの断面の一部から生じた蛍光は、照射領域121中の位置P21、P22、P23に照射される。このように、位相変調素子55が集光光学系50に配置された場合は、位相変調素子55が集光光学系50に配置されていない場合に対して、核12aの断面の各部から生じた蛍光の照射位置が移動する。
図10(a)〜(c)に示すように、位相変調素子55がシングルヘリックスPSFを形成する場合、位相変調素子55が配置されなかった場合の撮像面61における蛍光の照射位置F11、F12、F13と、位相変調素子55が配置された場合の撮像面61における蛍光の照射位置F21、F22、F23との位置関係が、撮像面61と蛍光の起点との距離に応じて変化する。
図10(a)に示すように、蛍光の起点が撮像面61から最も離れた位置にある場合、すなわち、流路41内に含まれるライトシート11の最もY軸負側から蛍光が生じた場合、撮像面61における蛍光の照射位置F21は、たとえば、位相変調素子55が配置されなかった場合の照射位置F11に対して、所定距離だけZ正方向にずれる。
図10(c)に示すように、蛍光の起点が撮像面61から最も接近した位置にある場合、すなわち、流路41内に含まれるライトシート11の最もY軸正側から蛍光が生じた場合、撮像面61における蛍光の照射位置F23は、たとえば、位相変調素子55が配置されなかった場合の照射位置F13に対して、所定距離だけZ負方向にずれる。
図10(b)に示すように、蛍光の起点が、Y軸方向において、図10(a)の起点位置と図10(c)の起点位置との中間の位置にある場合、すなわち、流路41内に含まれるライトシート11のY軸方向の中間位置から蛍光が生じた場合、撮像面61における蛍光の照射位置F22は、たとえば、位相変調素子55が配置されなかった場合の照射位置F12に対して、所定距離だけX正方向にずれる。
このように、位相変調素子55が配置された場合の蛍光の照射位置F11、F12、F13と位相変調素子55が配置されなかった場合の蛍光の照射位置F21、F22、F23とをそれぞれ直線で繋ぐと、この直線は、撮像面61と蛍光の起点との距離に応じてX−Z平面に平行に回転する。
このような光学作用により、図9に示した照射位置の移動が生じる。ここで、X軸方向に平行なラインL11、L12、L13を撮像面61上に設定すると、ラインL11上の全ての位置とライトシート11との間のY軸方向との距離は一定であり、ラインL12上の全ての位置とライトシート11との間のY軸方向との距離は一定であり、ラインL13上の全ての位置とライトシート11との間のY軸方向との距離は一定である。
このため、位相変調素子55が配置されていない場合にラインL11に照射される蛍光は、全て、位相変調素子55の作用によって、同じ方向に同じ距離だけ移動し、位相変調素子55が配置されていない場合にラインL12に照射される蛍光は、全て、位相変調素子55の作用によって、同じ方向に同じ距離だけ移動し、位相変調素子55が配置されていない場合にラインL13に照射される蛍光は、全て、位相変調素子55の作用によって、同じ方向に同じ距離だけ移動する。
したがって、位相変調素子55が配置されない場合の照射領域111内の位置P11、P12、P13に照射される蛍光は、それぞれ、位相変調素子55が配置された場合の照射領域121内の位置P21、P22、P23に照射される。ここで、位置P11から位置P21への移動ベクトル、位置P12から位置P22への移動ベクトル、および、位置P13から位置P23への移動ベクトルは、ラインL11、L12、L13とライトシート11との間のY軸方向の距離が相違するため、図10(a)〜(c)で説明した光学作用から、互いに相違する。このため、位相変調素子55が配置された場合の照射領域121は、位相変調素子55が配置されていない場合の照射領域111に対して、変形しつつ移動することになる。これにより、照射領域121に歪みが生じる。
図8に示した照射領域122、123についても、位相変調素子55の光学作用により、照射領域111に対して変形しつつ移動し、これにより、照射領域122、123に歪みが生じる。ここで、これら照射領域121、122、123にそれぞれ対応する核12aの断面はY軸方向の位置が互いに異なるため、照射領域121、122、123の歪みは互いに相違する。このため、照射領域121、122、123の画像をそのまま核12aの3次元画像の生成に用いた場合、3次元画像の品質の低下に繋がる。
そこで、実施形態1では、核12aの断面画像に対し歪みを解消する補正が行われ、補正後の断面画像を用いて核12aの3次元画像が生成される。これにより、3次元画像の品質を高めることができる。歪み補正は、図1の処理部81によって行われる。
この補正において、処理部81は、断面画像を構成する画像要素を、それぞれ、PSFに基づく位置ずれを補正する位置へと移動させる。たとえば、処理部81は、図9に示した照射領域121内の各照射位置において撮像素子60により取得された画像要素を、照射領域111内の各照射位置に対応する位置に移動させる処理を行う。具体的には、処理部81は、位置P21、P22、P23から取得された画像要素を、位置P11、P12、P13に対応する位置に移動させる処理を行う。処理部81は、同様の処理を、照射領域121内の全ての照射位置から取得された画像要素に対して行う。このように画像要素を個別に移動させる処理を行うことにより、撮像画像全体の歪を適正に補正できる。
実施形態1において、画像要素は、撮像素子60において画素ごとに取得される画像部分とされる。このように補正対象の画像要素を、撮像素子60の最小撮像単位である画素から取得される画像要素に設定することにより、撮像画像の歪を高精細に補正できる。
なお、歪み補正の処理単位とされる画像要素は、必ずしも、撮像素子60の画素ごとに設定されなくともよく、所定のブロック単位に含まれる複数の画素から取得された画像部分が処理単位の画像要素とされてもよい。
歪み補正の具体的処理は、以下のとおりである。
図11(a)に示すように、撮像素子60の撮像面61には、X軸方向に並ぶ画素の列が存在する。最上段の画素列PL1から最下段の画素列PLnまでn個の画素列が存在する。図8に示すように、ライトシート11は、撮像面61に平行な状態からY−Z平面に平行な方向に所定の角度だけ傾いている。このため、画素列PL1上の各画素とライトシート11との間のY軸方向の距離は一定である。その他の画素列についても、1つの画素列上の各画素とライトシート11との間のY軸方向の距離は一定である。また、画素列とライトシート11との間のY軸方向の距離は、画素列ごとに異なる。
したがって、同じ画素列上の各画素には、撮像面61からY軸方向に同じ距離だけ離れたライトシート11上の位置から生じた蛍光が入射する。たとえば、図9において、2つの位置P21にそれぞれ入射した蛍光は同じ画素列の画素に入射し、2つの位置P22にそれぞれ入射した蛍光は同じ画素列の画素に入射し、2つの位置P23にそれぞれ入射した蛍光は同じ画素列の画素に入射する。
処理部81は、各画素列に、図9に矢印で示したベクトルと逆向きのベクトルを補正ベクトルとして割り当てる。そして、処理部81は、1つの画素列中の各画素から取得された画像要素を、当該画素列に設定された補正ベクトルで移動させる。処理部81は、この処理を全ての画素列に対して実行する。これにより、断面画像中の各画像要素が、それぞれ、位相変調素子55が配置されなかった場合の位置へと移動する。こうして、断面画像の歪みが補正される。
この補正において、処理部81は、たとえば、撮像面61上の全ての画素から取得した画素値をメモリにマッピングし、マッピングした画素値をメモリ上において補正ベクトルに応じてシフトさせる処理を実行する。あるいは、この補正において、処理部81は、各画素列の画素から取得された画素値を、画素列ごとにレジスタに保持し、各レジスタに保持した画素値を、それぞれ、画素列に割り当てられた補正ベクトルに応じてメモリ上に展開する処理を実行する。
図11(a)には、各画素列に割り当てられた補正ベクトルが矢印で模式的に示されている。具体的には、図11(b)に示すようなテーブルで各画素列の補正ベクトルが表現される。X補正値は、X軸方向の補正値であり、X軸正方向が正である。Z補正値は、Z軸方向の補正値であり、Z軸正方向が正である。処理部81は、このように規定された補正ベクトルによって、画素列の各画素から取得された画像要素、すなわち、画素値を移動させる。
以上のように、処理部81は、集光光学系50の光軸方向において同一の位置から生じた蛍光を受光する画素列から取得された各画像要素を、この蛍光の起点の位置に応じた方向および距離、すなわち補正ベクトルに応じて移動させて、核12aの断面画像の歪みを解消する。これにより、断面画像の歪みを、簡易かつ適切に解消できる。
なお、実施形態1では、図10(a)〜(c)に示したとおり、撮像面61上における照射位置のずれ方向が、Z軸正方向からZ軸負方向までの180度の範囲に設定されたが、照射位置のずれ方向の範囲は、必ずしも、これに限られるものではない。ただし、照射位置のずれ方向の範囲が180度を超えると、撮像面61からの距離が互いに異なるライトシート11上の位置から生じた蛍光が、一部の画素列に同時に入射することが起こり得る。これにより、断面画像に対する歪み補正の精度が低下してしまう。したがって、位相変調素子55におけるPSFは、撮像面61上における照射位置のずれ方向が、Z軸正方向からZ軸負方向までの180度の範囲内に収まるように設定することが好ましい。
次に、歪み補正後の断面画像を重ね合わせる際のアスペクト比の補正および位置調整について説明する。
図8に示すように、細胞12内の核12aが、フローセル40の流路41をZ軸正方向に流れる。このとき、核12aがライトシート11を通過すると、ライトシート11が照射された核12aの断面から蛍光が生じ、生じた蛍光が、撮像素子60の撮像面61に照射される。図8において、核12aは、便宜上、球として図示されている。核12aが、順に流路41の位置101〜103に位置付けられるとすると、位置101〜103に位置付けられた核12aから生じる蛍光は、それぞれ、撮像面61上における照射領域121〜123に照射される。これらの照射領域121〜123は、上記歪み補正によって、実質的に、位相変調素子55が配置されない場合の照射領域111〜113に修正される。
ライトシート11はZ軸方向に対して傾いているため、撮像面61における照射領域のZ軸方向の長さは、ライトシート11が照射された断面の第1方向D1における長さに比べて小さくなる。具体的には、撮像面61における照射領域のZ軸方向の長さは、ライトシート11が照射された断面の第1方向D1における長さに、cosθを乗算したものとなっている。したがって、照射領域のZ軸方向の長さに1/cosθを乗算することにより、歪み補正後の照射領域を、実際の断面形状を反映した適正なアスペクト比に補正できる。
核12aが位置102にあるとき、ライトシート11が核12aの中心に照射されるとする。このとき、核12aのZ軸上における位置を0とすると、照射領域112のZ軸上における位置も0となる。しかしながら、核12aが位置102とは異なる位置にあるとき、ライトシート11が核12aの中心に照射されない。この場合、核12aの位置と歪み補正後の照射領域の位置とがずれることになる。
ここで、位置103にある核12aのZ軸上における位置をx1とし、照射領域113のZ軸上における位置をx2とする。すなわち、フローセル40の流路41における核12aの移動量をx1、撮像面61における核12aの像の移動量をx2とする。試料の流れ方向に対するライトシート11の傾き角度をθとすると、x2は以下の式(1)により算出される。
x2=x1(1−sinθ) … (1)
図12(a)に示すように、位置102〜103にある核12aに基づいて、歪み補正後の画像201〜203が取得されたとする。画像201〜203には、それぞれ、核12aに対応する歪み補正後の照射領域112〜114が含まれている。
画像201〜203を重ね合わせるには、たとえば、Z軸上の照射領域の位置が0である画像201が撮像されたタイミングが、基準時間に設定される。基準時間から撮像間隔Δtだけ経過したときの核12aの移動量x11は、Δtに試料の流れ速度を乗算することにより取得できる。このとき、照射領域113の位置x21は、上記式(1)のx1にx11を代入することにより取得できる。同様に、基準時間から撮像間隔2Δtだけ経過したときの核12aの移動量x12は、2Δtに試料の流れ速度を乗算することにより取得できる。このとき、照射領域114の位置x22は、上記式(1)のx1にx12を代入することにより取得できる。そして、画像202において、照射領域113が、Z軸上の位置0に近付く方向にx21だけ移動される。同様に、画像203においても、照射領域114が、Z軸上の位置0に近付く方向にx22だけ移動される。
撮像素子60により撮像された画像は、記憶部82に順次記憶されている。情報処理装置10bの処理部81は、記憶した複数の画像のうち、1つの核12aに対して取得された最初の断面画像から最後の断面画像までの全ての歪み補正後の画像をグループ化する。歪み補正後の画像のグループ化において、核12aに対する最初の歪み補正後の画像より前の歪み補正後の画像と、核12aに対する最後の歪み補正画像より後の歪み補正後の画像もグループに含められてもよい。なお、1つの細胞について撮像される画像の枚数が2枚〜100枚程度となるように、撮像素子60による撮像間隔が、流路41を流れる試料の速度、細胞の大きさ、ライトシート11の第2方向D2の厚み等によって決められる。
たとえば、図12(b)の左側に示すように、処理部81は、歪み補正後の画像201〜207をグループ化する。処理部81は、グループ化した歪み補正後の画像201〜207に対して、上述したように画像上の照射領域のアスペクト比を補正する。そして、処理部81は、アスペクト比の補正を行った画像201〜207に対して、上述したように画像上の照射領域の位置調整を行う。これにより、図12(b)の右側に示すように、上述の歪み補正とともにさらにアスペクト比の補正および照射領域の中心位置の調整が行われた画像211〜217が取得される。
こうして、処理部81は、さらにアスペクト比の補正と位置調整とを施した画像211〜217を重ね合わせることにより、1つの核12aについての適正な3次元画像を生成する。これにより、高品質の3次元画像を取得できる。
3次元画像を生成する際のアスペクト比の補正と位置調整は、上記のような方法に限られない。たとえば、以下のような方法でもよい。
蛍光ビーズなどの球体粒子を含む試料をフローセル40に流し、撮像素子60により画像を撮像する。撮像された画像において、粒子断面の流れ方向における中心座標を取得し、粒子断面の中心座標を一致させるために各画像をどの程度ずらせばよいかを、位置ずれ補正のパラメータとして算出する。また、何れか1つの画像において、粒子断面を真円にするために画像を流れ方向にどの程度伸ばせば良よいかを、アスペクト比の補正のパラメータとして算出する。こうして得られた2つのパラメータは、記憶部82に記憶される。
実際の試料に基づいて3次元画像を生成する際には、処理部81は、記憶部82に記憶した2つのパラメータを用いて、歪み補正後の各画像に対してアスペクト比の補正と位置調整を行う。そして、処理部81は、アスペクト比の補正および位置調整が行われた各画像を重ね合わせることにより3次元画像を生成する。こうすると、細胞撮像装置10の光学系等の実際の状態に応じて、アスペクト比の補正と位置調整を行うことができるため、高精度な3次元画像を生成できる。なお、このような2つのパラメータは、1つのビーズに基づいて取得されてもよいが、複数のビーズに基づいて取得されたパラメータを平均することにより取得されるのが望ましい。
次に、ライトシート11の傾きと撮像精度との関係について説明する。
図13(a)、(b)に示すように、ライトシート11は、光学レンズ31の回転位置に応じた第2方向D2に、所定の厚みを有する。ここで、核12aの中心にライトシート11が照射されると、集光光学系50の光軸方向、すなわちY軸方向におけるライトシート11の厚みは幅dとなる。この場合、核12aの中心だけでなく、幅dの範囲に含まれる核12aの部分から蛍光が生じる。このため、核12aの中心を撮像しようとする場合に、核12aの中心以外の部分から生じた蛍光がノイズ成分となってしまう。このようなノイズ成分は、撮像される画像のバックグラウンドノイズとなるため、できるだけ小さい方が好ましい。
ここで、幅dは、図13(a)に示すように、シート面11aのZ軸に対する傾き角度θが90°に近付くにつれて大きくなる。一方、幅dは、図13(b)に示すように、シート面11aのZ軸に対する傾き角度θが0°に近付くにつれて小さくなる。したがって、ノイズ成分を小さくするために、角度θは小さい方が好ましい。ただし、上述したように、角度θが0°になると、複数の異なる断面画像を取得できなくなるため、角度θは、少なくとも0°より大きくする必要がある。
次に、ノイズ成分を抑えながら全ての断面を取得可能な角度θの条件について説明する。
図14(a)に示すように、核12aの直径をA1とし、流路41における結像視野の大きさ、すなわち撮像可能な流路41のZ軸方向の幅をB1とする。ノイズ成分を抑えるために角度θを小さくしながら、核12aの全ての断面を取得するためには、結像視野の上端に位置付けられた核12aの一方の端と、結像視野の下端に位置付けられた核12aの他方の端とにライトシート11が掛かればよい。このことから、最適な角度θは、以下の式(2)により算出される。
tanθ=A1/B1 … (2)
式(2)を満たすように角度θが設定されると、核12aの全ての断面画像を取得しながら、バックグラウンドノイズを抑えた高精度な画像を撮像できる。
次に、上記のような最適な角度θを細胞撮像装置10に適用するための処理について説明する。
図14(b)に示すように、ステップS1において、処理部81は、入力部84を介してユーザが入力した数値を受け付けて、受け付けた数値を撮像対象の平均的な大きさ、すなわち集光光学系50の光軸方向における撮像対象の平均的な幅として回転制御部70に設定する。実施形態1では、ユーザは核12aの平均的な直径を入力する。
ステップS1において、処理部81は、撮像対象の一覧を表示部83に表示し、入力部84を介してユーザが選択した撮像対象を受け付けてもよい。この場合、処理部81は、ユーザから受け付けた撮像対象に対応する大きさを、予め記憶部82に記憶した対応表から読み出し、読み出した大きさを回転制御部70に設定する。また、ステップS1において、処理部81は、予め撮像素子60により撮像した画像に基づいて撮像対象の大きさを算出し、算出した大きさを回転制御部70に設定してもよい。
ステップS2において、処理部81は、入力部84を介してユーザが入力した視野の大きさを受け付けて、受け付けた視野の大きさを回転制御部70に設定する。視野の大きさは、集光光学系50の対物レンズ51の倍率や、撮像素子60の画素数などに応じて変化する。
ステップS2において、処理部81は、対物レンズ51と撮像素子60の一覧を表示部83に表示し、入力部84を介してユーザが選択した対物レンズ51と撮像素子60を受け付けてもよい。この場合、処理部81は、ユーザから受け付けた対物レンズ51の倍率と撮像素子60の画素数を、予め記憶部82に記憶した対応表から読み出し、読み出した倍率と画素数に基づいて視野の大きさ計算し、算出した視野の大きさを回転制御部70に設定してもよい。
ステップS3において、回転制御部70は、処理部81によって設定された撮像対象の大きさと視野の大きさを上記式(2)に代入し、ライトシート11の傾き角度θを算出する。処理部81が、ライトシート11の傾き角度θを算出し、算出した角度θを回転制御部70に送信してもよい。
ステップS4において、回転制御部70は、ライトシート11の傾きがステップS3で算出された角度θとなるよう、回転機構部32を介して光学レンズ31を回転させる。こうして、撮像対象の全ての断面画像を取得でき、バックグラウンドノイズを抑えた高精度な画像を撮像できるよう、ライトシート11の傾きが設定される。
回転制御部70は、必ずしも必要ではなく、省略されてもよい。この場合、たとえば、オペレータが、光学レンズ31の角度がθとなるよう、手動で回転機構部32を回転させる。また、回転機構部32に代えて、光学レンズ31が固定されたホルダが、光学レンズ31の複数の角度に対応して複数準備されてもよい。この場合、角度θが算出されると、算出された角度θに対応するホルダが選択され、選択されたホルダが装置内に設置されることにより、光学レンズ31の角度が変更される。このようなホルダの設置は、手動で行われても良く、自動で行われてもよい。
次に、3次元画像を生成する処理について説明する。
図15に示すように、ステップS11において、ユーザは、光源20から光を出射させることにより、試料にライトシート11を照射させる。光源20がインターフェース85に接続されてもよい。この場合、ステップS11において、処理部81が、光源20を制御して、試料にライトシート11を照射させる。
ステップS12において、ユーザは、複数の細胞を含む試料をフローセル40の流路41に流す。ここでは、複数の細胞が同時にライトシート11を横切るように試料が調製される。撮像部10aは、調製した試料を貯留するための貯留部と、貯留部に貯留された試料をフローセル40に送るための移送部とを備えてもよい。この場合、ステップS11において、処理部81が、貯留部に貯留された試料を、フローセル40に流すよう、細胞撮像装置10の移送部を制御する。
ステップS13において、処理部81は、複数の細胞12内の核12aから生じた蛍光の画像を、撮像素子60により撮像させる。具体的には、蛍光の画像が、撮像素子60のフレームレートに基づいて連続的に撮像され、記憶部82に順次記憶される。ステップS14において、処理部81は、撮像素子60により撮像された複数の画像に基づいて、複数の細胞の3次元画像を含む画像を生成する。ステップS14においては、図16に示す処理が行われる。
ステップS21において、処理部81は、撮像素子60により撮像された複数の画像に対して、図11(a)、(b)を参照して説明したように歪み補正を行う。さらに、処理部81は、ステップS22、S23において、歪み補正後の複数の画像に対して、図8および図12(a)を参照して説明したように、アスペクト比の補正と位置調整を行う。すなわち、処理部81は、1つの核12aについて取得した複数の歪み補正後の画像について、上記式(1)に基づいて撮像面61における核12aの移動量を算出し、アスペクト比の補正を行う。ステップS24において、処理部81は、算出した移動量と、アスペクト比の補正を行った画像とに基づいて、図12(b)を参照して説明したように、画像の重ね合わせを行う。こうして、処理部81は、複数の核12aの3次元画像を含む画像を生成する。
複数の細胞が凝集した凝集塊がライトシート11を横切った場合、図15および図16に示した処理により、たとえば、図17に示すような3次元画像が取得され得る。ここでは、4つの核12aの3次元画像を含む画像が取得されている。
<実施形態2>
実施形態2の集光光学系50は、位相変調素子55が、ダブルヘリックスPSFを形成する位相変調素子に置き換えられている。「ダブルヘリックスPSF」とは、スパイラル点像分布関数の1種であり、1つの起点から生じた光を2つの焦点に結像させる点像分布関数のことである。実施形態2では、図5(a)に示した位相変調パターンが、ダブルヘリックスPSFを形成する位相変調パターンに置き換えられる。実施形態2のその他の構成は、実施形態1と同様である。
図18に示すように、Y軸方向において位置の異なる点から生じた蛍光は、撮像素子60の撮像面61上で2つの焦点に結像される。このとき、2つの焦点は、Y軸方向における蛍光の起点の位置に応じて、撮像面61上で回転する。つまり、2つの焦点を結ぶ直線と、基準となる直線とがなす角が、Y軸方向における蛍光の起点の位置に応じて、撮像面61上において変化する。
図19に示すように、位相変調素子55が配置されなかった場合は、細胞断面の1つの輝点から生じた蛍光が照射領域111において撮像面61に照射される。これに対し、ダブルヘリックスPSFを形成する位相変調素子55が配置されると、図19に示すように、細胞断面の1つの輝点から生じた蛍光が、2つの照射領域121に照射される。この場合、位相変調素子55が配置されなかった場合に照射領域111内の照射位置P41に照射された蛍光は、2つに分割されて、2つの照射領域121内の照射位置P42に照射される。
したがって、ダブルヘリックスのPSFを形成する位相変調素子55を用いた場合には、照射領域111から2つの照射領域121にそれぞれ向かうベクトルと逆向きのベクトル、すなわち、図19に実線で示したベクトルを補正ベクトルとして用いることにより、2つの照射領域121から取得された画像要素を、照射領域111に移動させ得る。
歪み補正処理において、処理部81は、撮像面61上の蛍光が照射された画素について、組となる2つの画素を探索する。処理部81は、たとえば、最上段から順番に1つの画素列を選択し、選択した画素列において、蛍光が照射された画素を特定する。そして、処理部81は、特定した画素に対して、図18に示した2つの焦点の位置関係から組となる他の画素列の画素を特定し、この画素に蛍光が照射されている場合に、これら2つの画素を、組となる画素として取得する。図18に示したように、2つの焦点の位置関係は、選択した画素列ごとに、すなわち、撮像面と蛍光の起点との間の距離に応じて、相違する。したがって、各画素列の各画素には、ダブルヘリックスPSFの作用により組となる他の画素列の画素が対応付けられている。処理部81は、この対応関係に基づいて、蛍光が照射される2つの画像を組となる画素として取得する。こうして、処理部81は、全ての画素列の画素に対して、組となる画素を取得する。
その後、処理部81は、組となる画素から取得した画像要素を、これら画素間の中間の画素位置に重ねる。処理部81は、この処理を、全ての画素の組に対して行う。これにより、細胞断面から取得された全ての組の画像要素が互いに重ねられる。こうして、処理部81は、歪みが補正された細胞の断面画像を取得する。歪み補正後の処理は、上記実施形態1と同様である。
実施形態2の構成によっても、歪みが補正された断面画像を取得できる。よって、実施形態1と同様、高品質の細胞画像を取得できる。
ただし、実施形態2の構成では、1つの輝点から生じた蛍光が2つに分かれて撮像面61に照射されるため、撮像面61上の各画素から取得された画像要素の組が特定可能に、細胞の断面から生じた蛍光が撮像面61上において分離している必要がある。実施形態2は、このような状態で蛍光が分離し得るような細胞に用いられ得る。たとえば、細胞の形状が小さく、且つ、フローセル40を流れる細胞の密度が低い場合に、細胞の断面から生じた各輝点の蛍光が組み合わせを特定可能に撮像面61上において分離する。実施形態2の構成は、このような場合に用いられ得る。
これに対し、実施形態1では、シングルヘリックスPSFを形成する位相変調素子55が用いられるため、細胞断面の各部から生じた蛍光は分離しない。このため、どのような細胞についても、撮像画像に生じた歪を円滑に補正できる。
なお、図19に示した2つの照射領域121の何れか一方についてのみ、画像要素を補正ベクトルによって移動させて、歪み補正後の断面画像を取得してもよい。ただし、この場合は、上記のように、2つの照射領域121の画像要素を重ねる場合に比べて、歪み補正後の断面画像が暗くなる。実施形態2では、組となる画像要素を重ね合わせることにより、明るい断面画像を取得できる。
また、位相変調素子55として、トリプルヘリックス以上のマルチヘリックスPSFを形成する位相変調素子が用いられてもよい。「マルチヘリックスPSF」とは、スパイラル点像分布関数の1種であり、1つの起点から生じた光を複数の焦点に結像させる点像分布関数のことである。この場合も、組となる画像要素の中間位置に各画像要素を重ねればよい。これにより、明るい断面画像を取得できる。たとえば、位相変調素子55として、トリプルヘリックス以上のPSFを形成する位相変調素子が用いられる場合は、組となる3つの画像要素の中間位置、すなわち、3つの画像要素の重心位置に、各画像要素を重ねればよい。
実施形態1、2では、撮像素子60が撮像する光は蛍光であったが、撮像素子60が撮像する光は、撮像対象の細胞からフローセル40の側方に生じた光、たとえば側方散乱光でもよい。
実施形態1、2では、フローセル40は、Z軸方向に見て正方形形状の外形を有したが、Z軸方向に見て円形形状の外形を有してもよい。たとえば、フローセル40が円柱形状に構成される場合、フローセル40はZ軸方向に見て円形形状の外形を有し、フローセル40の外側面は曲面となる。フローセル40が円柱形状に構成される場合、ライトシート11は、外側面の接平面に垂直とされる。こうすると、フローセル40に入射するライトシート11が外側面により屈折することが抑制されるため、細胞12に照射されるライトシート11の形状が崩れにくくなる。したがって、撮像素子60により高精度な画像を撮像できる。
<変更例>
上記実施形態1、2では、複数の細胞を同時に撮像する構成について説明したが、撮像画像の歪み補正について発明を抽出することも可能である。この場合、必ずしも、複数の細胞が同時に撮像されなくともよく、1つの細胞のみがライトシート11を横切るように試料がフローセル40に流されてもよい。
また、撮像対象の粒子は、細胞に限られず、細胞以外の粒子であってもよい。たとえば、撮像対象の粒子は、細胞以外の生体由来の粒子や、蛍光ビーズなどの光を透過する粒子等であってもよい。すなわち、撮像対象の粒子は、透光性を有し光の照射によってフローセルの外側に向けて光を生じる粒子であればよい。また、核12aとともに、HER2遺伝子、および17番染色体のセントロメア領域であるCEP17の蛍光画像が取得されてもよい。これに限らず、他の遺伝子、核酸、細胞質、タンパク質、細胞内小器官等、細胞内の他の部分の蛍光画像を取得してもよい。
本変更例に係る粒子撮像装置は、上記実施形態1、2に係る細胞撮像装置10と同様の構成とされ得る。また、本変更例に係る粒子撮像方法も、上記実施形態1、2における図15および図16の処理と同様とされ得る。本変更例において、撮像画像の歪み補正は、上記実施形態1、2のステップS21と同様に行われ得る。また、図16のステップS22、23の処理も同様に行われ得る。
なお、核12aとともにHER2遺伝子とCEP17を撮像対象とする場合、HER2遺伝子とCEP17から生じた蛍光は、核12aの照射領域内に輝点として投影されるため、核12aの断面画像に、HER2遺伝子とCEP17も含まれることになる。また、上記のような歪み補正と、アスペクト比の補正および位置調整により、HER2遺伝子とCEP17についても歪みの補正と、アスペクト比の補正および位置調整が行われる。したがって、本変更例では、断面画像を重ね合わせて構成される核12aの3次元画像に、HER2遺伝子とCEP17の輝点が含まれることになる。このように、変更例によれば、核12aのような所定の大きさを有する部分だけでなく、HER2遺伝子とCEP17などの微小な部分についても、撮像素子60によって取得される複数の画像に基づいて、3次元における分布状態を反映した3次元画像を取得できる。
なお、被写界深度を拡大する素子(55)は、位相変調素子に限られず、可変焦点レンズを用い被写界深度を拡大してもよい。
10 粒子撮像装置
11 ライトシート
11a シート面
20 光源
30 照射光学系
31 光学レンズ
32 回転機構部
40 フローセル
40a、40c 外側面
41 流路
50 集光光学系
55 位相変調素子
60 撮像素子
61 撮像面
81 処理部

Claims (36)

  1. ライトシートをフローセルに対して形成し、
    前記フローセルに複数の細胞を含む測定試料を流し、
    前記ライトシートを通過する複数の細胞から生じた光を、被写界深度を拡大する素子を介して撮像素子で受光し、前記複数の細胞を撮像する、細胞撮像方法。
  2. 前記ライトシートを、試料の流れ方向に対して垂直でなく傾けて形成する、請求項1に記載の細胞撮像方法。
  3. 複数の細胞を前記ライトシートに同時に通過させ、前記複数の細胞から生じた光を撮像素子で受光する、請求項1または2に記載の細胞撮像方法。
  4. 前記被写界深度を拡大する素子は、点像分布関数を変調する位相変調素子である、請求項1ないし3の何れか一項に記載の細胞撮像方法。
  5. 前記点像分布関数は、スパイラル点像分布関数である、請求項4に記載の細胞撮像方法。
  6. 前記点像分布関数は、シングルヘリックス点像分布関数である、請求項4に記載の細胞撮像方法。
  7. 撮像した前記複数の細胞を含む画像に対し、前記位相変調素子により生じる撮像画像の歪みを補正する、請求項1ないし6の何れか一項に記載の細胞撮像方法。
  8. 前記撮像画像の歪みを補正する工程において、前記撮像画像を構成する画像要素を、それぞれ、前記点像分布関数に基づく位置ずれを補正する位置へと移動させる、請求項7に記載の細胞撮像方法。
  9. 前記撮像画像の歪みを補正する工程において、前記画像要素を取得した撮像面上の位置と前記ライトシートとの距離に基づいて、前記画像要素を移動させる、請求項7に記載の細胞撮像方法。
  10. 前記撮像画像の歪みを補正する工程において、前記画像要素を取得した撮像面上の位置と前記ライトシートとの距離に応じた方向および距離で、前記画像要素を移動させる、請求項9に記載の細胞撮像方法。
  11. 前記画像要素は、画素ごとに取得される画像要素である、請求項8ないし10の何れか一項に記載の細胞撮像方法。
  12. 前記撮像画像の歪みを補正する工程において、前記ライトシートとの距離が同じ画素列により取得された前記画像要素を、前記画素列と前記ライトシートとの距離に応じた方向および距離で移動させる、請求項11に記載の細胞撮像方法。
  13. 複数の細胞を含む画像を複数撮像し、
    撮像した複数の画像から前記複数の細胞の3次元画像を含む画像を生成する、請求項1ないし12の何れか一項に記載の細胞撮像方法。
  14. 前記画像を生成する工程は、撮像面における前記細胞の像の位置を補正する工程を含み、
    前記位置を補正する工程において、少なくとも前記フローセルにおける前記細胞の移動量と前記試料の流れ方向に対する前記ライトシートの角度とに基づいて、撮像面における前記細胞の像の移動量を算出し、
    算出した前記移動量と、前記細胞の移動に伴い取得した一連の前記撮像画像とに基づいて、前記3次元画像を生成する、請求項13に記載の細胞撮像方法。
  15. 前記画像を生成する工程は、撮像面における前記細胞の像の大きさを補正する工程を含み、
    前記大きさを補正する工程において、前記試料の流れ方向に対する前記ライトシートの角度に基づいて、前記撮像画像の大きさを補正し、
    大きさが補正された画像に基づいて、前記細胞の前記3次元画像を生成する、請求項13または14に記載の細胞撮像方法。
  16. 複数の細胞を含む試料を流すためのフローセルと、
    光源と、
    前記光源から出射された光からライトシートを前記フローセルに対し形成するための照射光学系と、
    被写界深度を拡大させる素子を有し、前記フローセルを流れる複数の前記細胞から生じた光を集光するための集光光学系と、
    前記集光光学系により集光された前記複数の細胞から生じた光を受光し、前記複数の細胞を撮像するための撮像素子と、を備える、細胞撮像装置。
  17. 前記被写界深度を拡大する素子は、点像分布関数を変調する位相変調素子である、請求項16に記載の細胞撮像装置。
  18. 前記位相変調素子は、前記撮像素子の撮像面にスパイラル点像分布関数を形成する、請求項16または17に記載の細胞撮像装置。
  19. 前記スパイラル点像分布関数は、シングルヘリックス点像分布関数である、請求項18に記載の細胞撮像装置。
  20. 前記撮像素子により取得された撮像画像を処理する処理部を備え、
    前記処理部は、前記位相変調素子により生じる前記撮像画像の歪みを補正する処理を実行し、歪み補正後の前記撮像画像に基づいて、前記複数の細胞を含む画像を生成する、請求項16ないし19の何れか一項に記載の細胞撮像装置。
  21. 前記処理部は、前記撮像画像を構成する画像要素を、それぞれ、前記点像分布関数に基づく位置ずれを補正する位置へと移動させることにより、前記撮像画像の歪みを補正する、請求項20に記載の細胞撮像装置。
  22. 前記処理部は、前記撮像画像を構成する画像要素を、前記画像要素を取得した撮像面上の位置と前記ライトシートとの距離に基づいて移動させることにより、前記撮像画像の歪みを補正する、請求項21に記載の細胞撮像装置。
  23. 前記処理部は、前記画像要素を取得した撮像面上の位置と前記ライトシートとの距離に応じた方向および距離で、前記画像要素を移動させることにより、前記撮像画像の歪みを補正する、請求項22に記載の細胞撮像装置。
  24. 前記画像要素は、前記撮像素子の画素ごとに取得される画像要素である、請求項21ないし23の何れか一項に記載の細胞撮像装置。
  25. 前記処理部は、前記ライトシートとの距離が同じ画素列により取得された前記画像要素を、前記画素列と前記ライトシートとの距離に応じた方向および距離で移動させることにより、前記撮像画像の歪みを補正する、請求項24に記載の細胞撮像装置。
  26. 前記点像分布関数は、マルチヘリックス点像分布関数であり、
    前記処理部は、前記点像分布関数により組となる複数の画像要素を、これら画像要素の中間位置に移動させることにより、前記撮像画像の歪みを補正する、請求項20ないし25の何れか一項に記載の細胞撮像装置。
  27. 前記位相変調素子は、空間光変調器、デフォーマブルミラーまたは位相板である、請求項16ないし26の何れか一項に記載の細胞撮像装置。
  28. 前記撮像素子により取得された撮像画像を処理する処理部を備え、
    前記処理部は、前記撮像画像に基づいて、前記複数の細胞の3次元画像を含む画像を生成する、請求項16ないし27の何れか一項に記載の細胞撮像装置。
  29. 前記処理部は、
    少なくとも前記フローセルにおける前記細胞の移動量と前記試料の流れ方向に対する前記ライトシートの角度とに基づいて、前記撮像素子の撮像面における前記細胞の像の移動量を算出し、
    算出した前記移動量と、前記細胞の移動に伴い取得した一連の前記撮像画像とに基づいて、前記3次元画像を生成する、請求項28に記載の細胞撮像装置。
  30. 前記処理部は、前記試料の流れ方向に対する前記ライトシートの角度に基づいて、前記撮像画像の大きさを補正し、大きさが補正された画像に基づいて、前記複数の細胞を含む前記3次元画像を生成する、請求項28または29に記載の細胞撮像装置。
  31. 前記ライトシートのシート面は、前記フローセルの外側面に対して垂直である、請求項16ないし30の何れか一項に記載の細胞撮像装置。
  32. 前記集光光学系の光軸は、前記試料の流れ方向に対して垂直である、請求項16ないし31の何れか一項に記載の細胞撮像装置。
  33. 前記照射光学系の光軸と前記集光光学系の光軸とが互いに垂直である、請求項16ないし32の何れか一項に記載の細胞撮像装置。
  34. 前記照射光学系は、
    第1方向における光の収束と、前記第1方向と交わる第2方向における光の収束とが異なるように前記光源から出射された光を収束させる光学レンズと、
    前記光学レンズにおける前記照射光学系の光軸を中心に前記光学レンズを回転させる回転機構部と、を備える、請求項16ないし33の何れか一項に記載の細胞撮像装置。
  35. ライトシートをフローセルに対して形成し、
    前記フローセルを流れる粒子から生じた光を、点像分布関数を変調する位相変調素子を介して撮像し、
    前記位相変調素子により生じる撮像画像の歪みを補正する、粒子撮像方法。
  36. 粒子を含む試料を流すためのフローセルと、
    光源と、
    前記光源から出射された光から、ライトシートを前記フローセルに対し形成するための照射光学系と、
    被写界深度を拡大させる位相変調素子を有し、前記フローセルを流れる前記粒子から生じた光を集光するための集光光学系と、
    前記集光光学系により集光された光を受光するための撮像素子と、
    前記位相変調素子により生じる撮像画像の歪みを補正する処理部と、を備える、粒子撮像装置。
JP2017147660A 2017-07-31 2017-07-31 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置 Active JP6932036B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017147660A JP6932036B2 (ja) 2017-07-31 2017-07-31 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置
US15/883,329 US11366097B2 (en) 2017-07-31 2018-01-30 Cell imaging method, cell imaging apparatus, particle imaging method, and particle imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017147660A JP6932036B2 (ja) 2017-07-31 2017-07-31 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置

Publications (2)

Publication Number Publication Date
JP2019027928A true JP2019027928A (ja) 2019-02-21
JP6932036B2 JP6932036B2 (ja) 2021-09-08

Family

ID=65038528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017147660A Active JP6932036B2 (ja) 2017-07-31 2017-07-31 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置

Country Status (2)

Country Link
US (1) US11366097B2 (ja)
JP (1) JP6932036B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009818A1 (ja) * 2022-07-06 2024-01-11 国立大学法人北海道大学 蛍光顕微鏡

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7058271B2 (ja) * 2017-07-26 2022-04-21 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
CN109387517B (zh) * 2017-08-10 2023-08-29 爱科来株式会社 分析装置和分析方法
US11268890B2 (en) * 2019-03-29 2022-03-08 Becton, Dickinson And Company Parameters for use in particle discrimination
GB202001372D0 (en) * 2020-01-31 2020-03-18 Res & Innovation Uk Bioprinters
WO2024006120A1 (en) * 2022-06-30 2024-01-04 Illumina, Inc. Sequencing system with curved image plane or object plane

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008215999A (ja) * 2007-03-02 2008-09-18 Tokyo Electric Power Co Inc:The 流体計測システム、流体計測方法およびコンピュータプログラム
JP2014164721A (ja) * 2013-02-27 2014-09-08 Toyota Central R&D Labs Inc コード読取り装置
JP2014224814A (ja) * 2013-05-14 2014-12-04 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 3d高解像度局在顕微鏡法のための方法
US20140353522A1 (en) * 2013-05-28 2014-12-04 Hong Kong Baptist University Apparatus and methodology for flow fluorescence microscopic imaging
US20150022881A1 (en) * 2013-07-22 2015-01-22 Universitat Politecnca De Catalunya Light sheet-based imaging device with extended depth of field
CN104407436A (zh) * 2014-09-05 2015-03-11 北京大学 一种基于轴向超高速扫描的三轴数字扫描光片显微镜
US20150192510A1 (en) * 2012-06-22 2015-07-09 The Regents Of The University Of Colorado, A Body Corporate Imaging or measurement methods and systems
WO2015109323A2 (en) * 2014-01-17 2015-07-23 The Trustees Of Columbia University In The City Of New York Systems and methods for three-dimensional imaging
JP2016507078A (ja) * 2013-01-25 2016-03-07 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨーク 被写界深度3dイメージングslm顕微鏡
JP2016525225A (ja) * 2013-07-01 2016-08-22 ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー 点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法
JP2017015742A (ja) * 2013-06-29 2017-01-19 堀 健治 位相変換作用を持つフィルター、レンズ、結像光学系及び撮像システム
JP2017058352A (ja) * 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0010123D0 (en) * 2000-04-27 2000-06-14 Univ Nottingham Planar light sheet anemometers
TWI240601B (en) * 2002-11-26 2005-09-21 Tokyo Electron Ltd Plasma processing system and method
TWI369481B (en) * 2008-02-21 2012-08-01 Nat Applied Res Laboratories Three-dimensions fluid field scanning device and a method thereof
US8693742B2 (en) * 2008-12-17 2014-04-08 The Regents Of The University Of Colorado Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
US8558873B2 (en) * 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
DE102010044013A1 (de) * 2010-11-16 2012-05-16 Carl Zeiss Microimaging Gmbh Tiefenauflösungsgesteigerte Mikroskopie
US8935107B1 (en) * 2011-02-18 2015-01-13 The United States of America as Represented by the Adminstrator of National Aeronautics and Space Adminstration Shock sensing system and method
EP3470906A3 (de) * 2011-10-11 2019-07-10 Carl Zeiss Microscopy GmbH Mikroskop und verfahren zur spim-mikroskopie
US9693034B2 (en) * 2011-12-13 2017-06-27 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for localizing objects for distance and/or in three dimensions using a spiral point spread function
US9404869B2 (en) * 2012-10-09 2016-08-02 Howard Hughes Medical Institute Multiview light-sheet microscopy
CN102980875B (zh) * 2012-11-19 2015-04-22 深圳大学 大景深三维纳米分辨成像方法、光学组件及成像系统
JP5864813B2 (ja) * 2013-03-04 2016-02-17 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
EP2973403B1 (en) * 2013-03-15 2019-01-30 The Regents of the University of Colorado 3-d localization and imaging of dense arrays of particles
AU2013327811B2 (en) * 2013-05-10 2016-01-28 Zhejiang University One-dimensional global rainbow measurement device and measurement method
US10061111B2 (en) * 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
WO2016073785A1 (en) * 2014-11-05 2016-05-12 The Regents Of The University Of Colorado 3d imaging, ranging, and/or tracking using active illumination and point spread function engineering
EP3497501B1 (de) * 2016-08-15 2022-01-19 Leica Microsystems CMS GmbH Lichtblattmikroskop
EP3500885B1 (en) * 2016-09-09 2023-06-07 The University Of North Carolina At Chapel Hill Tilted illumination systems for fluoresence microscopes
US10690898B2 (en) * 2016-09-15 2020-06-23 Molecular Devices (Austria) GmbH Light-field microscope with selective-plane illumination

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008215999A (ja) * 2007-03-02 2008-09-18 Tokyo Electric Power Co Inc:The 流体計測システム、流体計測方法およびコンピュータプログラム
US20150192510A1 (en) * 2012-06-22 2015-07-09 The Regents Of The University Of Colorado, A Body Corporate Imaging or measurement methods and systems
JP2016507078A (ja) * 2013-01-25 2016-03-07 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨーク 被写界深度3dイメージングslm顕微鏡
JP2014164721A (ja) * 2013-02-27 2014-09-08 Toyota Central R&D Labs Inc コード読取り装置
JP2014224814A (ja) * 2013-05-14 2014-12-04 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 3d高解像度局在顕微鏡法のための方法
US20140353522A1 (en) * 2013-05-28 2014-12-04 Hong Kong Baptist University Apparatus and methodology for flow fluorescence microscopic imaging
JP2017015742A (ja) * 2013-06-29 2017-01-19 堀 健治 位相変換作用を持つフィルター、レンズ、結像光学系及び撮像システム
JP2016525225A (ja) * 2013-07-01 2016-08-22 ライカ ミクロジュステムス ツェーエムエス ゲーエムベーハー 点物体を局在化するための局在顕微鏡検査の光学顕微鏡的方法
US20150022881A1 (en) * 2013-07-22 2015-01-22 Universitat Politecnca De Catalunya Light sheet-based imaging device with extended depth of field
WO2015109323A2 (en) * 2014-01-17 2015-07-23 The Trustees Of Columbia University In The City Of New York Systems and methods for three-dimensional imaging
JP2017504836A (ja) * 2014-01-17 2017-02-09 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブ ニューヨーク 三次元イメージングシステムおよび方法
CN104407436A (zh) * 2014-09-05 2015-03-11 北京大学 一种基于轴向超高速扫描的三轴数字扫描光片显微镜
JP2017058352A (ja) * 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法
US20170082531A1 (en) * 2015-09-18 2017-03-23 Sysmex Corporation Particle imaging device and particle imaging method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009818A1 (ja) * 2022-07-06 2024-01-11 国立大学法人北海道大学 蛍光顕微鏡

Also Published As

Publication number Publication date
US20190033291A1 (en) 2019-01-31
US11366097B2 (en) 2022-06-21
JP6932036B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
US10732095B2 (en) Particle imaging device and particle imaging method
JP2019027928A (ja) 細胞撮像方法、細胞撮像装置、粒子撮像方法および粒子撮像装置
US9918077B2 (en) Object space calibration of plenoptic imaging systems
JP5718329B2 (ja) 適応光学系を有する顕微鏡検査法
JP4236123B1 (ja) 三次元画像取得装置
US20140340482A1 (en) Three Dimensional Microscopy Imaging
CN105300941B (zh) 一种荧光光片显微成像系统及方法
JP2018520388A (ja) 複数の対象面を同時にイメージングする光シート顕微鏡
JP7109130B2 (ja) 顕微鏡
US10459208B2 (en) Microscope and method for high-resolution 3-D fluorescence microscopy
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
JP7058271B2 (ja) 試料観察装置及び試料観察方法
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2018521360A (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
CN103399397B (zh) 用于图像扫描系统的预测聚焦
US11598952B2 (en) Optical device, phase plate, and image forming method
CN102313524A (zh) 一种取像装置与方法
US20170102533A1 (en) Image correction method and microscope
JP2023132298A (ja) 3次元画像撮像装置
KR20230149932A (ko) 초점 거리 측정 장치 및 방법
JP2023109177A (ja) 非対称psfを用いた顕微鏡における三次元画像化のための方法、装置及び顕微鏡
JP2015135441A (ja) 画像取得装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20170829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210817

R150 Certificate of patent or registration of utility model

Ref document number: 6932036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150