JP2017187485A - 多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 - Google Patents
多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 Download PDFInfo
- Publication number
- JP2017187485A JP2017187485A JP2017066493A JP2017066493A JP2017187485A JP 2017187485 A JP2017187485 A JP 2017187485A JP 2017066493 A JP2017066493 A JP 2017066493A JP 2017066493 A JP2017066493 A JP 2017066493A JP 2017187485 A JP2017187485 A JP 2017187485A
- Authority
- JP
- Japan
- Prior art keywords
- observation
- prism
- image acquisition
- acquisition system
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 76
- 238000012216 screening Methods 0.000 title claims description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 82
- 239000011521 glass Substances 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 4
- 230000005284 excitation Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000005304 joining Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 62
- 238000003384 imaging method Methods 0.000 description 23
- 239000007864 aqueous solution Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000005562 fading Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000005498 polishing Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 239000000853 adhesive Substances 0.000 description 4
- 230000001070 adhesive effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003570 air Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- QUTFFEUUGHUPQC-ILWYWAAHSA-N (2r,3r,4s,5r)-3,4,5,6-tetrahydroxy-2-[(4-nitro-2,1,3-benzoxadiazol-7-yl)amino]hexanal Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)[C@H](C=O)NC1=CC=C([N+]([O-])=O)C2=NON=C12 QUTFFEUUGHUPQC-ILWYWAAHSA-N 0.000 description 1
- 239000004925 Acrylic resin Substances 0.000 description 1
- 229920000178 Acrylic resin Polymers 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 150000000780 D-glucose derivatives Chemical class 0.000 description 1
- 150000001040 L-glucose derivatives Chemical class 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012153 distilled water Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000002795 fluorescence method Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000026447 protein localization Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0096—Microscopes with photometer devices
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/04—Prisms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/063—Illuminating optical parts
- G01N2201/0638—Refractive parts
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Optical Elements Other Than Lenses (AREA)
Abstract
Description
参考文献:
1)小野幸輝他著、「化学工業」66(11): 34-37 (2015).
2)Sasaki, A., et al., Human Cell, 29:37-45 (2016).
参考文献:
3) Weber, M. et al., Methods Cell Biol. 123: 193-215 (2014).
4)ヨーロッパ特許EP2244484号
5)米国特許US8619177号
6)特許第5411350号
7)Perez, CC. et al., J. Biomed. Optics 20(9), 096009 (2015). DOI: 10.1117/1.JBO.20.9.096009
〔2〕 一または二以上のプリズムから構成されていて、三次元構造を有する被写体の蛍光観察対象である各方向の面を一方向に集約するよう形成された光路を有し、各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系(以下、「多面観察プリズム」という。)と、該多面観察プリズムを経て同一面(以下、「入射面」という。)に入射した二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラとを備えてなることを特徴とする、多面画像取得システム。
〔3〕 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることを特徴とする、〔1〕または〔2〕に記載の多面画像取得システム。
〔4〕 前記接合の境界面(以下、「接合面」という。)は全て研磨されていることを特徴とする、〔3〕に記載の多面画像取得システム。
〔5〕 前記被写体−前記多面観察プリズム−前記入射面 の軸上にある該被写体の前面像が該入射面において直接入射するよう、該多面観察プリズムには素通しの開口部が形成されていることを特徴とする、〔1〕ないし〔4〕のいずれかに記載の多面画像取得システム。
〔7〕 下記(A)に記載のいずれかの光学装置と組み合わせて用いることを特徴とする、〔1〕ないし〔6〕のいずれかに記載の多面画像取得システム。
(A)顕微鏡、スキャナー、その他の適切な観察装置
〔8〕 下記(A)に記載のいずれかの光学装置を備えることを特徴とする、〔1〕ないし〔6〕のいずれかに記載の多面画像取得システム。
(A)顕微鏡、スキャナー、その他の適切な観察装置
〔9〕 前記光学装置は一基(つまり単独)であることを特徴とする、〔7〕または〔8〕に記載の多面画像取得システム。
〔10〕 前記多面観察プリズムの被写体側に光学的に影響のない透明構造が設けられ、両者を隔離していることを特徴とする、〔1〕ないし〔9〕のいずれかに記載の多面画像取得システム。
〔11〕 前記透明構造はXYステージであることを特徴とする、〔10〕に記載の多面画像取得システム。
〔12〕 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることにより、被写体画像が五面取得されることを特徴とする、〔1〕ないし〔11〕に記載の多面画像取得システム。
〔14〕 〔1〕、〔2〕、〔3〕、〔4〕、〔5〕、〔6〕、〔7〕、〔9〕、〔10〕、〔11〕、〔12〕または〔13〕のいずれかに記載の多面画像取得システムを用いた観察装置であって、明視野観察または蛍光観察の少なくともいずれかが可能であることを特徴とする、観察装置。
〔15〕 明視野観察用光源が前記多面観察プリズムの側方に設けられていることを特徴とする、〔14〕に記載の観察装置。
〔16〕 蛍光観察用の励起光源と、該励起光源による励起光の照射を介するダイクロイックミラーもしくはその他の透過/反射/分光手段か、または照射波長範囲または蛍光波長範囲を限定する手段(以下、「ダイクロイックミラー等」という。)が設けられており、励起光照射により被写体から発せられた蛍光も該ダイクロイックミラー等を介して取得され、該ダイクロイックミラー等は励起光と蛍光の光路を分けるように形成されており、かかる構成によって取得される蛍光像の明るさを増大できることを特徴とする、〔14〕または、〔15〕に記載の観察装置。
〔18〕 低倍率での明視野観察により観察対象の位置を確認する第一過程、および低倍率のまま蛍光観察に切り替えて観察対象の蛍光発生有無を確認する第二過程を備えることを特徴とする、〔17〕に記載の観察方法。
〔19〕 前記第二課程において観察対象の蛍光発生が確認された場合に観察対象を選択する第三過程、および高倍率での観察対象の蛍光観察を行う第四過程を備えることを特徴とする、〔18〕に記載の観察方法。
〔20〕 前記第四過程の後に、高倍率のまま明視野観察に再度切り替えて画像取得する第五過程を備えることを特徴とする、〔19〕に記載の観察方法。
〔21〕 〔14〕ないし〔16〕のいずれかに記載の観察装置を用いて行うことを特徴とする、スクリーニング方法。
〔22〕 〔1〕ないし〔13〕に記載の多面画像取得システムを用いて行うことを特徴とする、被写体の立体再構成方法。
図1は、本発明の多面画像取得システムの基本構成を示す概念図である。図示するように本多面画像取得システム10は、一または二以上のプリズムから構成されていて、三次元構造を有する被写体の観察対象である各方向の面を一方向に集約するよう形成された光路を有し、かつ各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系(多面観察プリズム)2と、多面観察プリズム2を経て同一面(結像面)に結像された二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラ5とを備えてなることを、最も基本的な構成とする。なお、多面観察プリズム2は被写体と観察装置1との間に設けられ、観察装置1にはライトフィールドカメラ5が接続される。
たとえば、通常顕微鏡撮影であれば、素通しの穴の方向のみに入射する蛍光信号のみを断層撮影により順次取得する。通常顕微鏡を用いて、もしもさらに斜め45°から見上げた像を撮影しようとすれば、その方向の断層撮影が次に必要になるが、その時には(既に一回素通し方向で断層撮影を行っているために蛍光退色が起きているため)、既に相当暗くなっている対象物の断層撮像を行うことになり、さらに異なる45°方向から撮影しようとすればさらに暗くなるということを繰り返すことになる。
これに対して、本発明の方法によれば、五方向から一度に励起光を照射し、被写体から五方向に放射される蛍光信号を1回の撮像で五方向から取得するため、通常顕微鏡撮像時とは異なり、撮像順序による蛍光退色の心配がなく、いずれの方向からの撮像もほぼ同一条件で行うことができ、しかも、いずれの方向においても、同じ光源を使用した通常顕微鏡撮像時より明るい画像を取得できる(後掲図21参照)。
図3−2は、二回反射型プリズムを用いた本発明多面画像取得システム例の要部側面図である。また、
図3−3は図3−2に示す例に係る多面観察プリズムを構成するプリズムの断面図、
図3−4は図3−2に示す例に係る多面観察プリズムの一部平面図(上面図)、そして、
図3−5は図3−4中の中央部拡大図である。これらに示すように本例多面画像取得システムは、多面観察プリズム22が、入射光を内部で二回反射して出射する二回反射型プリズム22aを必要個数接合して形成されていることを、主たる構成とする。図3−5では、被写体Tから発せられた光束がプリズム内で二回反射して観察装置に入射する像も併せて表示している。図中、「二回反射像(Twice reflected image)」として示されている像がそれである。中央部の点線円は想定される被写体中心である。
本例システムでは、マルチウェルディッシュD上にある被写体Tから発せられる蛍光のうち、ディッシュ下面に配置されたクロビット型プリズム22を構成する二回反射型プリズム(22a)に入射し、θ1=45°の角度で鏡面に入射して一回反射した後、次にプリズム(22a)内部でθ2=22.5°の角度で再度反射して真下の方向に出た光を、さらにその下方に設置する対物レンズ(OL)に集め、検出する。また、被写体Tから直接まっすぐ下方に発せられる蛍光Lは、そのままクロビット型プリズム22中央部の開口部Hを通って下方の観察装置にまっすぐ入射する。両者の光路長は異なるが、プリズムのガラスと、空気の屈折率の違いを利用して光路長は補正される。
一般に、蛍光計測に使用されているマルチウェルディッシュは側面がプラスチック製であって、色は黒もしくは白となっており、特に蛍光計測が可能なものは光の乱反射を防ぐために黒となっているものが使われる。すなわち、マルチウェルディッシュの壁の部分は透明ではないため、横方向からの照明は困難である。したがって、上部から照明するか(Top Read)、下部から照明するか(Bottom Read)のいずれかを検討することになる。
〔主題〕 細胞の蛍光顕微鏡観察におけるクロビット型プリズムの応用〜多面画像取得システムの開発
〔1〕 緒言
生きた細胞の蛍光顕微鏡観察においてクロビット型プリズムを応用できるかについては前例がなかった。最終的に得られた本発明のクロビット型プリズムの実施例では、プリズムアッセンブリーの中央に開口部を設けてあり、被写体をこの開口部を通して直接観察することが可能な設計となっている。プリズムを介さずに被写体を直接確認できることは立体観察において大きなメリットである上、通常観察も可能であることは本技術の用途を広げるものである。
細胞の蛍光顕微鏡観察用のクロビット型プリズムを設計するにあたり、顕微鏡の対物レンズはレンズの中心軸と対象物との間の主光線が平行になり、被写体の遠近に関わらず倍率変化の無い光学系であるテレセントリックレンズと同等であると仮定して設計を行った。その際、実現には対物レンズと被写体やサンプルを載せているガラスとの距離、ステージとクロビット型プリズムとの兼ね合い、特にクロビット型プリズムの奥行方向の長さと開口部のサイズとレンズの光束やWorking distanceとの兼ね合い、レンズの倍率や視野数、そして実視野(Field of View)を考慮したレンズ等の選定とクロビット型プリズム水平方向のサイズとの関係など、さまざまなパラメーターを考慮していく必要があった。
そこで、ダイレクト観察に加えて一方向のみからクロビット型プリズムを介して観察する二回反射型クロビットを作製して原因を探ることとした。その結果、理論的にはプリズムの壁のうちで光路には直接関係しないと考えられた壁からの乱反射が影響を及ぼしている可能性が認められた。そこで、光路に直接関連しない部分についても全面研磨を行った。そして、改めてこの改良版の二回反射型クロビット型プリズムを二つ互いに垂直に張り合わせて被写体の観察を行った。しかし結果は、まだ何らかの画像が被写体に重なっている状態であった。
そこで、二つのプリズムの接合面が画像取得に影響しないよう接着剤を極力減らし、接合面が透明となるようにした。しかしそれでも、まだ何らかの像が被写体にかぶっており、鮮明な画像とはならなかった。かぶっている像は、その形から、クロビット型プリズムを保持するための支持構造であると考えられた。その影響をなくすため、支持構造が完全に視野外となりながらも安定にプリズムアッセンブリーを保持できるような構造を検討した。
以上の各検討、試行錯誤に基づき、プリズムアッセンブリー中央部を素通しとすることで被写体のダイレクトな観察を可能にした上、この中央部を取り囲むようにして、互いに直行する四方向から仰角45°で被写体を見上げて観察する四つの2回反射型プリズムを接合させて、多面観察プリズム(クロビット型プリズム)とした。なお、プリズム同士を接合させる接着剤の量を最小限としたことにより機械的強度が不足したため、補強用として、プリズム上面の接合面の上部に(倒立顕微鏡にセットした場合はプリズム下面にあたる)点状(半球状)に透明な接着剤を盛って、接合の強度を確保した。
図13は、クロビット型プリズムのそれぞれ異なる方向からの写真図である。これは、作製した2回反射型クロビット型プリズムアッセンブリーをマルチウェルディッシュ上に配置し、ウェル中の大きさ1mm程度の標的に焦点を合わせた状態を示す写真図である。プリズムとディッシュの向きは、実際の使用時とは上下逆の関係で示している。プリズムを保持するための棒状の支持構造が、画面左下から中央上部にかけて認められる。
図14は、完成したクロビット型プリズムを用いた同時多面観察結果を示す写真図である。また、
図15は図14の中央部の拡大図である。x0.5レンズ、x2の光学ズーム系を介して撮影した。これらに図示する、完成した2回反射型クロビット型プリズムアッセンブリーによる被写体の同時多面観察像において、中央部の像は被写体を直接観察したダイレクトイメージである。また、周囲の四つのイメージは、被写体を斜め45°の角度で、異なる四方向から見上げた像である。このように、クロビット型プリズムから見た被写体の前面、前後左右側面、計五画面の像を同時に観察し、撮影、取得できることが確認された。
本発明の多面画像取得システムを構成するもう一つの重要な要素であるライトフィールドカメラの効果を、写真図により示す。
図16は、クロビット型プリズムによる被写体の同時多面観察画像を示す写真図である。また、
図17は、図16の画像に対してライトフィールドカメラによる処理を行った写真図である。ライトフィールドカメラとしては、Raytrix社のR9−M−D−GEライトフィールドカメラを用いた。なお、これらの観察に用いたクロビット型プリズムは六面同時取得可能なものであり、また、ここでの被写体は小紙片である。図示するように、図16では素通しの開口部から得られる画像に主な焦点が合った状態で、残りの五面についてはボケが生じている。しかし、ライトフィールドカメラを用いた処理によって、全画面にわたり焦点が合った状態とすることができた。つまり、ライトフィールドカメラによって種々の焦点深度にある画像情報の同時取得(全焦点画像)が可能であることが確認された。
図18は、多面画像取得システムによる被写体の多面蛍光観察画像を示す写真図である。マルチウェルディッシュ中で水中に浸漬した被写体の発する蛍光像をライトフィールドカメラでとらえた像であり、A,B,Cはそれぞれ緑色蛍光、赤色蛍光、両者の重ね合わせ像を示す。水中にある被写体を正しく励起でき、かつ被写体から発する光路長の異なる蛍光を2回反射型クロビット型プリズムアッセンブリーならびにRaytrix社のR9−M−D−GEライトフィールドカメラを使用して一回の撮像で取得した後、全焦点画像として表示したものである。x0.5対物レンズ、x4の光学ズーム系を介して観察した。
本発明多面画像取得システム、観察装置、観察方法等は、倒立型の顕微鏡もしくはスキャナーにも、また、正立型の顕微鏡やスキャナーにも応用できる。また、上述したように、必要に応じてプリズムの表面をガラスや光学的に影響のないフィルム等の適切な素材でプロテクトして用いる構成としてもよい。本発明の応用範囲は広く、たとえば、従来であれば四方向から四台の観察装置を用いて同時に被写体を観察していたものを二台あるいは一台の観察装置で観察できるようになるなど、システム全体がシンプルとなり、スペースユーティリティにも優れる。
実施例における多面画像取得システムは、仰角45°で被写体を見上げて観察する2回反射型プリズムを用いたものである。つまり、空気中で45°になるように設計されたものである。これを水溶液中で使用した場合には、45°よりも鋭い角度で見上げることになる。そこで、水溶液中でも45°で見上げるようにした設計例を考案した。
2、22、32、42、52、82…多面同時観察光学系(多面観察プリズム)
5、35、45、55、85…ライトフィールドカメラ
10、310、410、510…多面画像取得システム
49、59、89…立体再構成手段
22a…多面観察プリズムを構成する二回反射型プリズム
81…観察装置810を構成する光学装置部分
83…ダイクロイックミラー等(透過/反射/分光手段)
84…蛍光観察用の励起光源
810…蛍光観察可能な観察装置(全体構成)
C…水溶液中にある観察対象がクロビット型プリズムに投影された像
D…ガラスボトムマルチウェルディッシュ
EL…励起光
FL…蛍光
H…素通しの開口部
L…被写体から直接まっすぐ下方に発せられる光(蛍光)の光路
OL…対物レンズ
S…透明構造
T…被写体(観察対象)
Claims (22)
- 一または二以上のプリズムから構成されていて、三次元構造を有する被写体の観察対象である各方向の面を一方向に集約するよう形成された光路を有し、各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系(以下、「多面観察プリズム」という。)と、該多面観察プリズムを経て同一面(以下、「入射面」という。)に入射した二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラとを備えてなることを特徴とする、多面画像取得システム。
- 一または二以上のプリズムから構成されていて、三次元構造を有する被写体の蛍光観察対象である各方向の面を一方向に集約するよう形成された光路を有し、各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系(以下、「多面観察プリズム」という。)と、該多面観察プリズムを経て同一面(以下、「入射面」という。)に入射した二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラとを備えてなることを特徴とする、多面画像取得システム。
- 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることを特徴とする、請求項1または2に記載の多面画像取得システム。
- 前記接合の境界面(以下、「接合面」という。)は全て研磨されていることを特徴とする、請求項3に記載の多面画像取得システム。
- 前記被写体−前記多面観察プリズム−前記入射面 の軸上にある該被写体の前面像が該入射面において直接入射するよう、該多面観察プリズムには素通しの開口部が形成されていることを特徴とする、請求項1ないし4のいずれかに記載の多面画像取得システム。
- 前記多面観察プリズムは前記開口部を一部または全部囲むように形成されていることを特徴とする、請求項5に記載の多面画像取得システム。
- 下記(A)に記載のいずれかの光学装置と組み合わせて用いることを特徴とする、請求項1ないし6のいずれかに記載の多面画像取得システム。
(A)顕微鏡、スキャナー - 下記(A)に記載のいずれかの光学装置を備えることを特徴とする、請求項1ないし6のいずれかに記載の多面画像取得システム。
(A)顕微鏡、スキャナー - 前記光学装置は一基(つまり単独)であることを特徴とする、請求項7または8に記載の多面画像取得システム。
- 前記多面観察プリズムの被写体側に光学的に影響のない透明構造が設けられ、両者を隔離していることを特徴とする、請求項1ないし9のいずれかに記載の多面画像取得システム。
- 前記透明構造はXYステージであることを特徴とする、請求項10に記載の多面画像取得システム。
- 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることにより、被写体画像が五面取得されることを特徴とする、請求項1ないし11に記載の多面画像取得システム。
- 前記ライトフィールドカメラを経て取得された画像の立体再構成手段を備えることを特徴とする、請求項1ないし12に記載の多面画像取得システム。
- 請求項1、2、3、4、5、6、7、9、10、11、12または13のいずれかに記載の多面画像取得システムを用いた観察装置であって、明視野観察または蛍光観察の少なくともいずれかが可能であることを特徴とする、観察装置。
- 明視野観察用光源が前記多面観察プリズムの側方に設けられていることを特徴とする、請求項14に記載の観察装置。
- 蛍光観察用の励起光源と、該励起光源による励起光の照射を介するダイクロイックミラーもしくはその他の透過/反射/分光手段か、または照射波長範囲または蛍光波長範囲を限定する手段(以下、「ダイクロイックミラー等」という。)が設けられており、励起光照射により被写体から発せられた蛍光も該ダイクロイックミラー等を介して取得され、該ダイクロイックミラー等は励起光と蛍光の光路を分けるように形成されており、かかる構成によって取得される蛍光像の明るさを増大できることを特徴とする、請求項14または15に記載の観察装置。
- 請求項14ないし16のいずれかに記載の観察装置を用いて行うことを特徴とする、観察方法。
- 低倍率での明視野観察により観察対象の位置を確認する第一過程、および低倍率のまま蛍光観察に切り替えて観察対象の蛍光発生有無を確認する第二過程を備えることを特徴とする、請求項17に記載の観察方法。
- 前記第二課程において観察対象の蛍光発生が確認された場合に観察対象を選択する第三過程、および高倍率での観察対象の蛍光観察を行う第四過程を備えることを特徴とする、請求項18に記載の観察方法。
- 前記第四過程の後に、高倍率のまま明視野観察に再度切り替えて画像取得する第五過程を備えることを特徴とする、請求項19に記載の観察方法。
- 請求項14ないし16のいずれかに記載の観察装置を用いて行うことを特徴とする、スクリーニング方法。
- 請求項1ないし13に記載の多面画像取得システムを用いて行うことを特徴とする、被写体の立体再構成方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016070360 | 2016-03-31 | ||
JP2016070360 | 2016-03-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017187485A true JP2017187485A (ja) | 2017-10-12 |
JP6888779B2 JP6888779B2 (ja) | 2021-06-16 |
Family
ID=59965809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017066493A Active JP6888779B2 (ja) | 2016-03-31 | 2017-03-30 | 多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10921256B2 (ja) |
EP (1) | EP3435136B1 (ja) |
JP (1) | JP6888779B2 (ja) |
WO (1) | WO2017170805A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190115161A (ko) * | 2018-03-30 | 2019-10-11 | (주)온넷시스템즈코리아 | 3차원 객체 생성 장치 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220005000A (ko) * | 2019-05-07 | 2022-01-12 | 어퍼런트 랩스 인코포레이티드 | 생물학적 신호를 감지하기 위한 이식형 장치 |
DE102019123053A1 (de) * | 2019-08-28 | 2021-03-04 | Olympus Winter & Ibe Gmbh | Endoskop mit optischer Filteranordnung und Verwendung |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0219101U (ja) * | 1988-07-22 | 1990-02-08 | ||
JPH0560538A (ja) * | 1991-06-24 | 1993-03-09 | Fuji Photo Optical Co Ltd | 光学測定機 |
JPH08241396A (ja) * | 1995-03-07 | 1996-09-17 | Olympus Optical Co Ltd | 光学像再構成装置 |
JPH11352440A (ja) * | 1998-04-08 | 1999-12-24 | Seiko Epson Corp | 光選択プリズム及びこれを用いた投写型表示装置、並びに光選択プリズムの製造方法 |
WO2006070444A1 (ja) * | 2004-12-27 | 2006-07-06 | Technical Co., Ltd. | 多方向同時観察光学系および画像読み取り装置 |
WO2006092827A1 (ja) * | 2005-02-28 | 2006-09-08 | Technical Co., Ltd. | 被処理物体多方向電磁波照射系及びこれを用いた加工装置 |
JP2007010447A (ja) * | 2005-06-30 | 2007-01-18 | Technical:Kk | 寸法測定装置 |
WO2009081969A1 (ja) * | 2007-12-26 | 2009-07-02 | Shimadzu Corporation | 生体画像取得装置 |
WO2009139058A1 (ja) * | 2008-05-15 | 2009-11-19 | 株式会社島津製作所 | 生体画像撮影装置 |
JP2012525028A (ja) * | 2009-04-22 | 2012-10-18 | ライトリックス・ゲー・エム・ベー・ハー | デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法 |
JP2015219224A (ja) * | 2014-05-21 | 2015-12-07 | Towa株式会社 | 電子部品パッケージ側面撮影装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6118481Y2 (ja) * | 1980-05-09 | 1986-06-05 | ||
US4699516A (en) * | 1984-10-29 | 1987-10-13 | The Dow Chemical Company | Apparatus and methods for determining cell size |
US7338439B2 (en) * | 2003-09-05 | 2008-03-04 | Pentax Corporation | Condensing optical system, confocal optical system, and scanning confocal endoscope |
JP2005345716A (ja) * | 2004-06-02 | 2005-12-15 | Olympus Corp | 顕微鏡 |
WO2005083398A1 (ja) * | 2004-02-27 | 2005-09-09 | Technical Co.,Ltd. | 多方向同時観察光学系、画像読み取り装置、画像読み取り方法および多方向同時観察光学系複合体 |
EP1720003B1 (en) | 2004-02-27 | 2014-11-19 | Technical Co., Ltd. | Multidirectional simultaneous observation optical system |
JP4789177B2 (ja) * | 2005-07-06 | 2011-10-12 | 独立行政法人科学技術振興機構 | 3次元位置観測方法及び装置 |
US8882674B2 (en) * | 2006-09-28 | 2014-11-11 | Research Foundation Of The City University Of New York | System and method for in vivo imaging of blood vessel walls to detect microcalcifications |
US7768633B2 (en) * | 2007-04-05 | 2010-08-03 | Asti Holdings Limited | Multiple surface inspection system and method |
US8120770B2 (en) * | 2007-09-10 | 2012-02-21 | The Penn State Research Foundation | Three-dimensional (3D) hydrodynamic focusing using a microfluidic device |
WO2009122765A1 (ja) * | 2008-03-31 | 2009-10-08 | マイクロ・スクェア株式会社 | 側視用光学部材及び画像処理システム |
JP5682881B2 (ja) | 2008-08-08 | 2015-03-11 | 国立大学法人弘前大学 | D−グルコースの細胞内への特異的な取り込みを評価するための方法 |
JP5530126B2 (ja) | 2009-07-24 | 2014-06-25 | オリンパス株式会社 | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 |
US8964288B2 (en) * | 2011-01-12 | 2015-02-24 | Ge Healthcare Bio-Sciences Corp. | Systems for chromatic aberration correction in total internal reflection fluorescence microscopy |
CN103502465B (zh) | 2011-03-31 | 2016-08-17 | 国立大学法人弘前大学 | 使用荧光标记了的l-葡萄糖衍生物检测癌细胞的方法以及含有该衍生物的癌细胞的显像剂 |
EP2905620B1 (en) | 2012-10-03 | 2017-12-13 | Hirosaki University | Method for imaging cell using fluorescence-labeled sugar derivative having coumarin derivative bound thereto, and imaging agent |
JP6406715B2 (ja) | 2014-01-30 | 2018-10-17 | 国立大学法人弘前大学 | 生体由来組織片を用いたがんの検出方法、および生体外での生体由来組織片中の細胞の維持方法 |
CN106459126B (zh) | 2014-04-08 | 2019-10-01 | 国立大学法人弘前大学 | 新型葡萄糖衍生物、及使用该衍生物的细胞成像方法及显像剂 |
WO2016035108A1 (ja) * | 2014-09-03 | 2016-03-10 | オリンパス株式会社 | 撮像装置 |
WO2016047676A1 (ja) | 2014-09-24 | 2016-03-31 | 国立大学法人弘前大学 | 生体由来細胞を用いたがん細胞の検出方法 |
WO2016143808A1 (ja) | 2015-03-09 | 2016-09-15 | 国立大学法人弘前大学 | スフェロイドの作製方法及び該方法に用いる培地 |
ES2932185T3 (es) * | 2016-02-26 | 2023-01-16 | Univ Southern California | Obtención de imágenes volumétricas optimizadas con iluminación de volumen selectivo y detección de campo de luz |
-
2017
- 2017-03-30 EP EP17775339.9A patent/EP3435136B1/en active Active
- 2017-03-30 WO PCT/JP2017/013127 patent/WO2017170805A1/ja active Application Filing
- 2017-03-30 US US16/087,981 patent/US10921256B2/en active Active
- 2017-03-30 JP JP2017066493A patent/JP6888779B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0219101U (ja) * | 1988-07-22 | 1990-02-08 | ||
JPH0560538A (ja) * | 1991-06-24 | 1993-03-09 | Fuji Photo Optical Co Ltd | 光学測定機 |
JPH08241396A (ja) * | 1995-03-07 | 1996-09-17 | Olympus Optical Co Ltd | 光学像再構成装置 |
JPH11352440A (ja) * | 1998-04-08 | 1999-12-24 | Seiko Epson Corp | 光選択プリズム及びこれを用いた投写型表示装置、並びに光選択プリズムの製造方法 |
WO2006070444A1 (ja) * | 2004-12-27 | 2006-07-06 | Technical Co., Ltd. | 多方向同時観察光学系および画像読み取り装置 |
WO2006092827A1 (ja) * | 2005-02-28 | 2006-09-08 | Technical Co., Ltd. | 被処理物体多方向電磁波照射系及びこれを用いた加工装置 |
JP2007010447A (ja) * | 2005-06-30 | 2007-01-18 | Technical:Kk | 寸法測定装置 |
WO2009081969A1 (ja) * | 2007-12-26 | 2009-07-02 | Shimadzu Corporation | 生体画像取得装置 |
WO2009139058A1 (ja) * | 2008-05-15 | 2009-11-19 | 株式会社島津製作所 | 生体画像撮影装置 |
JP2012525028A (ja) * | 2009-04-22 | 2012-10-18 | ライトリックス・ゲー・エム・ベー・ハー | デジタル撮像システム、プレノプティック光学装置、及び画像データ処理方法 |
JP2015219224A (ja) * | 2014-05-21 | 2015-12-07 | Towa株式会社 | 電子部品パッケージ側面撮影装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190115161A (ko) * | 2018-03-30 | 2019-10-11 | (주)온넷시스템즈코리아 | 3차원 객체 생성 장치 |
KR102068489B1 (ko) | 2018-03-30 | 2020-01-22 | (주)온넷시스템즈코리아 | 3차원 객체 생성 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP6888779B2 (ja) | 2021-06-16 |
EP3435136A4 (en) | 2019-11-13 |
EP3435136A1 (en) | 2019-01-30 |
EP3435136B1 (en) | 2021-08-04 |
WO2017170805A1 (ja) | 2017-10-05 |
US20190113456A1 (en) | 2019-04-18 |
US10921256B2 (en) | 2021-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107526156B (zh) | 光片显微镜以及用于运行光片显微镜的方法 | |
Chen et al. | Optical and digital microscopic imaging techniques and applications in pathology | |
JP5599314B2 (ja) | 試料の検査のための方法および光学装置 | |
US9343494B2 (en) | Light guided pixel configured for emissions detection and comprising a guide layer with a wavelength selective filter material and a light detector layer | |
CN105911680B (zh) | 具有连续片光源的spim显微镜 | |
US20090174937A1 (en) | Objective-coupled selective plane illumination microscopy | |
KR20120003376A (ko) | 현미경 및 영역 판정 방법 | |
CN101228428A (zh) | 荧光纳米显微方法 | |
CN105278090B (zh) | 用于粘附于微量滴定板的流体填充井的底部上的样品的显微镜成像的方法 | |
JP2015127738A (ja) | 顕微鏡システムおよびその制御方法 | |
WO2017170805A1 (ja) | 多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 | |
CN107238590A (zh) | 基于光片显微与单像素成像的显微层析成像装置 | |
CN112114423A (zh) | 一种便携式全自动多模态显微成像装置 | |
CN108956562A (zh) | 一种基于重定位的光切片荧光显微成像方法和装置 | |
JP2006275964A (ja) | 走査型蛍光顕微鏡のシェーディング補正方法 | |
JP6450392B2 (ja) | 撮像装置 | |
JP2011017620A (ja) | 形状測定方法、画像処理プログラム及び観察装置 | |
KR100913508B1 (ko) | 공초점을 이용한 3차원 스캐닝 장치 및 스캐닝 방법 | |
JP2022544292A (ja) | 2段階明視野再構築を介したサンプル結像 | |
JP2012159794A (ja) | 顕微鏡装置 | |
CN100516841C (zh) | 一种可产生明场或宽场荧光光切片的方法 | |
EP3961192A1 (en) | Device, method and use for optically determining at least one property of a sample positioned on a sample stage | |
Li et al. | A portable standalone microscope by attaching a compact module to a digital camera | |
JP6655632B2 (ja) | 微弱発光試料の解析方法及び解析システム | |
EP3929570A1 (en) | Microscale image capture system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201022 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6888779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |