JP2018120224A - 装置、システム、方法、及びプログラム - Google Patents
装置、システム、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018120224A JP2018120224A JP2018025052A JP2018025052A JP2018120224A JP 2018120224 A JP2018120224 A JP 2018120224A JP 2018025052 A JP2018025052 A JP 2018025052A JP 2018025052 A JP2018025052 A JP 2018025052A JP 2018120224 A JP2018120224 A JP 2018120224A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- bright spot
- information
- quantitative information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 230000005284 excitation Effects 0.000 claims description 34
- 238000002073 fluorescence micrograph Methods 0.000 claims description 27
- 230000004913 activation Effects 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000004445 quantitative analysis Methods 0.000 abstract description 19
- 238000012545 processing Methods 0.000 description 27
- 238000005286 illumination Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 13
- 239000000126 substance Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000000386 microscopy Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002866 fluorescence resonance energy transfer Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 238000002376 fluorescence recovery after photobleaching Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101100001708 Mus musculus Angptl4 gene Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004001 molecular interaction Effects 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 230000026447 protein localization Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/56—Optics using evanescent waves, i.e. inhomogeneous waves
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【解決手段】複数の輝点を含む蛍光画像の状態を定量化するための解析装置において、解析対象範囲に複数の第1の領域を規定し、第1の領域に含まれる輝点に関する情報に基づいて、第1の領域の定量情報を算出し、解析対象範囲に複数の第2の領域を規定し、第1の領域の定量情報を用いて前記第2の領域の定量情報を算出する解析部を有する。
【選択図】なし
Description
本願は、2013年9月27日に出願された日本国特願2013−200705号に基づき優先権を主張し、その内容をここに援用する。
このようなSTORMにおいて、蛍光輝点の位置を求める手法として、得られた情報に基づいた分布の確率を算出する演算処理(Gaussian分布)の結果から擬似的に蛍光輝点の位置を算出する手法が知られている(例えば、非特許文献1参照)。
本発明に係る態様は、高分解能の画像を基にした定量解析を行える装置、システム、方法、及びプログラムを提供することを目的とする。
例えば、継続的に観察された蛍光画像から、細胞の状態を定量的に解析する解析手法がある。従来の解析手法においては受光素子の画素(ピクセル)を空間の最小単位として取得した蛍光画像を扱うので、蛍光画像の強度分布情報(観察試料に含まれる蛍光物質から発生する蛍光の強度分布等)を「画素」という最小空間単位に割振り、定量的に画素(又は画素間)で強度値(蛍光光量)を利用した四則演算、つまり画像(又は画像間)の画素強度値(蛍光光量)を利用した四則演算を行うことができた。このようにして得た情報を基にして、定量的に解析する方法として、例えば、Ratio(「P−B比(P-B ratio(peak to background ratio))」ともいう。)やFRAP(光褪色後蛍光回復法、fluorescence recovery after photo bleaching)やFRET(fluorescence resonance energy transfer)などの方法がある。上記の方法に関する詳細は、下記の文献を参照とする。
(1)Rajesh Babu Sekar and Ammasi Periasamy,”Fluorescence resonance energy transfer (FRET) microscopy imaging of live cell protein localizations”, The Journal of Cell Biology,Volume 160, Number 5, March 3,2003:629-633
(2)Richard N. Day and Fred Schaufele, ”Imaging Molecular Interactions in Living Cells”, Endocrine Society, Molecular Endocrinology, July 2005, 19(7):1675-1686
(3)Peter F. Davies, Jenny Zilberberg, Brian P. Helmke, ”Spatial Microstimuli in Endothelial Mechanosignaling”, American Heart Association, Journal of the American Heart Association, Circuiation Research 2003;92:359-370
ただし、観察試料に含まれる蛍光物質の位置情報に基づいて作成したSTORM画像は、輝点の情報(光子数、楕円率など)が位置情報(重心座標)に帰属しているので、強度値(蛍光光量)を画素単位で取得する蛍光画像に対して適用する従来の定量解析方法をそのまま適用することができなかった。
そこで、以下の実施形態に示す手法により、高分解能の試料画像において、複数の輝点を含む蛍光画像の状態を定量化し、定量的な解析を行えるようにする解析方法について説明する。
一般的なSTORMは、高分解能の試料画像を得ることができるものであるが、時間軸上で離散的に検出された複数の蛍光画像における蛍光輝点を基にして試料画像を生成しており、1枚の試料画像を得るには所定の期間に検出された複数の蛍光画像を必要とする。
STORMは、蛍光画像における輝度分布から蛍光輝点の位置を計算によって算出する。
要するに、STORMは、蛍光輝点の位置を光学的に得た情報を基に位置を算出して蛍光輝点の位置を示す分解能を高めている。
そのため、一般的なSTORMは、1つの試料画像を得るために、異なる時刻に検出された複数の蛍光画像から蛍光輝点の位置を算出する。蛍光輝点の位置を算出にあたり、蛍光画像の数を多くすることにより、得られる試料画像の分解能を高めることが知られている。ただし、輝度分布を基にして確率的に蛍光輝点の位置を算出するタイプのSTORMでは、分解能を高めるために蛍光画像の数を多くすると、1つの試料画像を得るための時間が長くなるとともに、演算負荷が増加してしまう。逆に、試料画像を得る間隔を短くしようとして、蛍光画像の数を少なくすると、必要な分解能が得られなくなってしまう。
以下に示す高分解能の試料画像の解析方法は、試料に照射した励起光による輝点を含む蛍光像を複数取得して、蛍光像を示す画像情報から算出された輝点の位置を示す試料画像を基に解析する。また、同解析方法は、試料画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定している。
顕微鏡装置10は、光源12と、制御部14と、顕微鏡本体15と、記憶部16と、表示部17とを備えている。
励起照明系11は、レーザ光源21と、シャッタ22と、全反射ミラー32とを備えており、全反射ミラー32を介して励起照明系11と顕微鏡本体15とが接続されている。
あるいはシャッタ22として、AOTF(Acousto-Optic Tunable Filter;音響光学フィルタ)を用いても良い。全反射ミラー32は、レーザ光源21から照射される励起光L1を後述する顕微鏡本体15のステージ31に向けて全反射させるためのものである。
このような構成に基づき、励起照明系11は、ステージ31上の観察視野(観察領域)の全域に対して励起光L1を照射するようになっている。
このような構成に基づき、活性化照明系13は、ステージ31上の観察視野(観察領域)に対して、活性化光L2をスキャナ43により走査しながら照射可能になっている。
図2は、全反射照明により活性化光L2(あるいは励起光L1)を試料Sに照射する場合を示す説明図である。図2に示すように、全反射照明によれば、照明光(励起光L1、活性化光L2)が全反射する際にカバーガラス31aから試料側へにじみ出るエバネッセント光EVにより試料Sを照明することができる。エバネッセント光EVが届く範囲は界面から100〜150nm程度の範囲に限られるため、カバーガラス31a表面近傍に位置する蛍光物質のみを発光させることができ、バックグランウドの蛍光を著しく低減することで高いS/N比で実現することができる。
また、試料画像解析部143は、領域設定部143Aと解析処理部143Bと、を有する。領域設定部143Aは、画像形成部142によって生成された試料画像を基に、輝点に対して、所定領域を設定する。解析処理部143Bは、領域設定部143Aによって、輝点ごとに設定された所定領域を示す画像情報に基づいて、定量解析処理を行う。例えば、定量解析処理として、Ratioや、FRAPを含めても良い。試料画像解析部143の具体的な処理については後述とする。
カメラコントローラ19は、顕微鏡本体15に接続されたカメラ34を駆動制御する。
カメラコントローラ19は、制御部14から入力される制御信号に基づいてカメラ34を動作させ、試料から放射された蛍光の画像を取得し、取得した蛍光画像を制御部14に出力する。
まず、初期化処理ステップS101において、初期化処理を終えた後、試料画像生成ステップS102において、活性化光L2を試料に照射する動作と、励起光L1を照射して第2の蛍光画像を得る動作とを、数百回から数万回繰り返す(STORM撮影処理)。そして、撮影した多数の第2の蛍光画像を合成することで、高解像度のSTORM画像を得る(STORM画像処理)。
図4は、超解像顕微鏡技術を用いずに観察される画像(コンベンショナル画像)と、試料画像生成ステップS102で取得されるSTORM画像とを比較した図であり、図4(a)はコンベンショナル画像の一例を示し、図4(b)はSTORM画像の一例を示す図である。また、図5は、コンベンショナル画像を概念的に示す模式図であり、図6は、STORM画像を概念的に示す模式図である。
図4(a)に示されるように、コンベンショナル画像は光学的な解像限界から細部まで画像化することができない。図5に示すように、コンベンショナル画像によって示される検出対象は、連続した線として示されている。
一方、図4(b)に示されるように、STORM画像処理で取得されるSTORM画像は、コンベンショナル画像に比べて高分解能で検出された結果を示す画像である。図6に示されるように、離散的に配置された輝点が示されている。
前述の図6を参照し、本実施形態におけるSTORM画像(試料画像)から解析を行うための原理について説明する。
図6に示されている輝点P1と輝点P2が示されている。この試料画像を、人が観察すれば、輝点P1と輝点P2は、試料画像において互いに隣接する関係にあることがわかる。
しかしながら、輝点P1と輝点P2をそれぞれ示す位置情報(座標位置)からは、所定の距離を隔てて配置していることがわかるに留まる。この試料画像に示される輝点P1と輝点P2は、同じ蛍光画像上の点として検出されるものに限られず、別々のタイミングで検出されたデータから導出されたものが、試料画像上に並んだ点として示されている場合がある。
仮にこの点が、それぞれ移動した場合、先に検出されていた点が移動したものなのか、別の点が移動してきたものか、さらに、新たに検出された点であるかを、データ上から判定することが困難である。
そこで、STORMによって生成された試料画像における個々の輝点ごとに順に以下の処理を行うことにより、輝点P1,P2に対して、輝点P1、P2に対応する所定領域C1、C2をそれぞれ関連付ける。図示していないが、この領域の関連付けは、試料画像における全ての輝点に対し行う。
「輝点の近傍」は、輝点の位置を基準とする所定の条件に含まれる範囲を示す。例えば、「輝点の近傍」の範囲を空間における位置に基づいて定義する。この場合、輝点からの距離によって定められる所定領域を範囲として特定することができる。所定領域を、球として定義した場合、その直径を例えばφ10nmから200nmまでの範囲に設定する。
要するに、上記所定領域について、基準とする輝点の位置から、予め定められた所定の距離までに含まれる範囲とする空間窓として定義できる。
この期間内には、STORMによる複数の蛍光画像が検出されており、この期間内に含まれる蛍光画像に基づいて、少なくとも1つの試料画像が生成される。
図7は、STORM画像における輝点を示す図である。この図7に示されている対象範囲は、3次元空間を示すものとして説明するが、2次元平面上の処理とすることを制限するものではない。
図7(a)における符号OR1からOR10の位置(座標)は個々の輝点の位置(座標)を示す。符号CR1からCR10は個々の輝点OR1からOR10を基準とする空間上の所定領域を示し、この図7においては所定領域を球(円)とした場合を示している。また、図7(b)における符号OG1からOG11の位置は個々の輝点の位置を示し、符号CG1からCG11は個々の輝点OG1からOG11を基準とする空間上の所定領域を示し、この図7においては所定領域を球(円)とした場合を示している。
試料画像解析部143は、位置情報が示す位置を中心とする所定の半径に含まれる領域を所定領域として扱う。例えば、以下の実施形態に示すように、上記の所定領域を、所定領域の大きさより小さい複数の単位格子に対応付けることにより、単位格子の大きさに応じた分解能により解析を行うことができるようになる。試料画像解析部143は、単位格子の大きさに応じた分解能による解析としては、Ratioや、FARPなどの解析手法を適用してもよい。
図8を参照し本実施形態におけるSTORM画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図8は、本実施形態におけるSTORM画像における輝点に対応する領域の設定方法を示す図である。
(設定方法1:所定領域を所定の値で埋める(球内を球内の一つの輝点の状態を示す値で均一に埋める)場合について)
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール1:まず、所定領域(球)ごとに対応付けられている一つの輝点の状態を示す値を、予め定められる所定の定数に設定する。例えば、試料(分子)から発せられ、輝点を形成する蛍光像の強度(光子数)、つまり輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
ルール2:所定領域(球)ごとに対応付けられている一つの輝点の状態を示す値を、所定領域として示される一定の球内の領域に、それぞれ割り付ける。
ルール3:次に、複数の所定領域(球)に係り、それらの所定領域(球)において互いに重なる領域がある場合、重なる所定領域(球)のそれぞれに対して上記ルール2においてそれぞれ割り付けられている数値の和を計算し、所定領域(球)の重なる領域の値として計算結果による和を新たに割り付ける。
図8(a)において左下がりのハッチングで示す領域Z1aは、2つ以上の球の所定領域(球)が重なる領域を示す。図8(b)において右下がりのハッチングで示す領域Z1bは、2つ以上の球が所定領域(球)の重なる領域を示す。図8(a)の領域Z1aと図8(b)の領域Z1bとを比べると、それぞれの領域の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさと、輝点の光子数が一律であれば、輝点間の距離によって、所定領域(球)が重なる領域の大きさが異なって現れる。即ち、輝点が存在する密度に応じて、各領域に割り付けられる値が変化する。
例えば、2種類の分子の存在が時々刻々と変わる試料画像をリアルタイムで解析する際には、50nmを直径とする範囲でグルーピングすると好適である。
図9を参照し本実施形態におけるSTORM画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図9は、本実施形態におけるSTORM画像における輝点に対応する領域の設定方法を示す図である。
(設定方法2:所定領域(球)を所定の値で埋める(球内を球の中に含まれる輝点の数で均一に埋める)場合について)
本実施形態において、それぞれの所定領域内に、含まれる輝点の数に応じた所定の値を割り付ける場合について説明する。
ルール1:まず、所定領域(球)に含まれる輝点の状態を示す値を算出する。
例えば、所定領域(球)に含まれる輝点の数に応じた数値を、所定領域(球)に含まれる輝点の状態を示す値としてもよい。
ルール2:所定領域として示される一定の球内の領域に、ルール1において算出した値をそれぞれ割り付ける。
ルール3:次に、複数の所定領域(球)に係り、それらの所定領域(球)において互いに重なる領域がある場合、重なる所定領域(球)のそれぞれに対して上記ルール2においてそれぞれ割り付けられている数値の和を計算し、所定領域(球)の重なる領域の値として計算結果による和を新たに割り付ける。
図10を参照し本実施形態におけるSTORM画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図10は、本実施形態におけるSTORM画像における輝点に対応する領域の設定方法を示す図である。
(設定方法3:所定領域として立方体で分割して所定の値で埋める(立方体内を立方体の中に含まれる輝点の状態を示す値で均一に埋める)場合について)
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
ルール1:まず、所定の大きさの立方体を配置して領域を分割する。
なお、立方体を配置する位置を、直交する座標に沿って格子を定め、格子によって定められる位置に配置しても良い。分割された立方体として示される領域を、解析単位とする所定領域として定義する。なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、2種類の分子の存在が時々刻々と変わる試料画像(3次元画像)をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが50nmの立方体とする。
なお、所定領域として、等間隔の格子である必要はなく、任意の形状(ランダム形状)に設定してもよい。
また、所定領域の状態を示す値を、予め定められる所定の定数に設定する。例えば、所定領域に含まれる(複数又は1つの)輝点の光子数に比例する数値、あるいは所定領域に含まれる(複数又は1つの)輝点の数に比例する数値を、所定領域の状態を示す値としてもよい。
ルール2:所定領域(立方体)の状態を示す値を、所定領域として示される一定の領域に、それぞれ割り付ける。
なお、この図10においては、上記ルール2までの結果を斜投影図として示す。
図10(a)において、格子の一部の領域に、符号QR1からQR10として示す立方体が配置されている。立方体QR1からQR10のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図10(a)における特定の波長範囲は、例えば、530nm以上の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体QR1からQR10に所定の数値を割り付ける。例えば、立方体QR1からQR10ごとに割り付けた数値を、順に(2、2、3、3、3、3、2、1、1、1)と設定する。
図10(b)において、格子の一部の領域に、符号QG1からQG11として示す立方体が配置されている。立方体QG1からQG11のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図10(b)における特定の波長範囲は、例えば、530nm未満の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体QG1からQG11に所定の数値を割り付ける。例えば、立方体QG1からQG11ごとに割り付けた数値を、順に(2、3、3、3、3、3、2、4、3、3、1)と設定する。
上記のように、図10(a)と図10(b)とを比べると、単位格子内に存在する輝点の波長に応じて、それぞれの立方体で示した領域の位置が定められていることから、輝点の波長に応じて立方体の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
上記ルールに従えば、各所定領域の大きさが単位格子である立方体の大きさに揃っている。このようにして、この領域内に帰属している(複数又は1つの)輝点の光子数に応じた値、あるいは所定領域に含まれる(複数又は1つの)輝点の数に比例する数値を設定することができる。
また、従来のコンフォーカル画像との比較において、コンフォーカル画像の画素のピッチと、上記立方体を配置するピッチとにおける互いのピッチを合わせることにより、比較しやすいデータを生成することができる。
本実施形態によって生成される情報は、本来の信号の形(球)を立方体に置き換えていることに注意する。
図11を参照し本実施形態におけるSTORM画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図11は、本実施形態におけるSTORM画像における輝点に対応する領域の設定方法を示す図である。
(設定方法4:判定領域(球)と所定領域(立方体)とを定義して、判定領域(球)によって判定された結果に基づいた値で、所定領域(立方体)の値を定める場合について)
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、2種類の分子の存在が時々刻々と変わる試料画像(3次元画像)をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが50nmの立方体とする。
ルール2:次に、各輝点に対応する判定領域(球)を規定する。その判定領域が単位格子(立方体)より大きな大きさを有する領域となるように、判定領域の半径が定められる。
上記の単位格子(一辺の長さが50nmの立方体)の大きさに従えば、判定領域の大きさを例えば直径200nm(半径100nm)の球とする。このように単位格子の大きさと判定領域の大きさとをそれぞれ独立に定めるようにしたことにより、単位格子の大きさと判定領域の大きさを容易に設定することが可能になる。例えば、光子数に応じた半径の球を判定領域として定めることにより、その球の大きさが単位格子の大きさより大きくなるような場合が生じても改めて判定領域の大きさを調整することなく以下の解析処理を進めることが可能になる。
ルール3:次に、各判定領域(各球)に、それぞれの判定領域(球)の中心に位置する輝点の状態を示す情報に基づいた値を、それぞれ割り付ける。例えば、輝点の状態を示す情報には、輝点の光子数に比例した値が対応付けられる。
ルール4:次に、各単位格子(立方体)内に含まれる判定領域(球)に応じた値を、単位格に含まれる輝点の状態を示す値として設定する。例えば、単位格子(立方体)内に含まれる判定領域(球)に応じた値として、判定領域(球)の体積に対する、単位格子(立方体)内に含まれる判定領域(球)の体積の比率に応じた光子数を立方体に一定値として設定する。
ルール5:次に、複数の判定領域(球)に係る領域が、それらの判定領域(球)において互いに重なる領域がある場合、重なる判定領域(球)のそれぞれに対して上記ルール4においてそれぞれ割り付けられている数値の和を計算し、単位格子(立方体)に含まれる輝点の状態を示す値として設定する。
なお、この図11においては、上記ルール4までの結果を斜投影図として示し、ルール5の処理の結果の表示を省略している。
なお、本実施形態は、判定領域(球)と所定領域(立方体)をそれぞれ設定したが、単に任意の立体形状の所定領域のみを設定し、各所定領域に含まれる輝点の数に応じた数値を、所定領域に含まれる輝点の状態を示す値としてもよい。
図12を参照し本実施形態におけるSTORM画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
図12は、本実施形態におけるSTORM画像における輝点に対応する領域の設定方法を示す図である。
(設定方法5:輝点の蜜度に応じて所定領域の大きさを定め、輝点の状態を示す情報に応じた所定の値で埋める(球内を均一に埋める)場合について)
本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
本実施形態の場合は、図12(a)において、図7(a)に示した同一半径の球CR1からCR10と異なり、輝点OR1からOR10の位置を基準にして、互いに半径が異なる球CR1’からCR10’が示されている。図12(b)において、図7(b)に示した同一半径の球CG1からCG11と異なり、輝点OG1からOG11の位置を基準にして、互いに半径が異なる球CG1’からCG11’が示されている。各球は、以下に示すルールに従って生成されている。
ルール1:まず、第1の輝点を基準に隣接する第2の輝点(最も近い輝点)までの距離を半径とする球を検出する。検出した球を第1の輝点に対応する所定領域として定める。所定領域(球)ごとに対応付けられている一つの輝点には、輝点の状態を示す値が予め定められる。例えば、輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
ルール2:それぞれの輝点の状態を示す値と、定領域(球)の体積とに基づいて算出される値を、所定領域として示される球内の領域にそれぞれ割り付ける。例えば、第1の輝点の状態を示す情報に基づいた値を、第1の領域を占める大きさ(体積)を示す値で割った結果を第1の領域に含まれる輝点の状態を示す値とする。
なお、複数の所定領域(球)に係り、それらの所定領域(球)において互いに重なる領域がある場合、重なる所定領域(球)のそれぞれに対して上記ルール2においてそれぞれ割り付けられている数値の和を計算し、所定領域(球)の重なる領域の値として計算結果による和を新たに割り付けてもよい。
このルールに従って処理を行うことにより、輝点が存在する密度に応じて定められる大きさの所定領域(球)を設定して処理することができる。輝点が存在する密度が高い場合には、分解能を高めることができ、輝点が存在する密度が低い場合には分解能を下げることができる。このように、輝点が存在する密度に応じて分解能を調整することができることから、演算処理量を、輝点が存在する密度に応じて調整することができるようになり、効率よく解析が行えるようになる。
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
Claims (15)
- 蛍光画像において、解析対象範囲に複数の第1の領域を規定し、
前記第1の領域に含まれる輝点に関する情報に基づいて、前記第1の領域の定量情報を算出し、
前記蛍光画像において、前記解析対象範囲に複数の第2の領域を規定し、
前記第1の領域の定量情報を用いて前記第2の領域の定量情報を算出する解析部を有する
装置。 - 前記第1の領域は、前記輝点の位置に基づいて規定される
請求項1に記載の装置。 - 前記第1の領域は、円または球である
請求項1又は請求項2に記載の装置。 - 前記第2の領域は、格子を用いて規定される
請求項1から請求項3の何れか1項に記載の装置。 - 前記第2の領域は、正方形または立方体である
請求項1から請求項4の何れか1項に記載の装置。 - 前記解析部は、
前記第2の領域の位置に対応する前記第1の領域の定量情報を用いて、前記第2の領域の定量情報を算出する
請求項1から請求項5の何れか1項に記載の装置。 - 前記解析部は、
2以上の前記第1の領域が前記第2の領域に対応する場合、前記2以上の第1の領域の定量情報を用いて、前記第2の領域の定量情報を算出する
請求項6に記載の装置。 - 前記解析部は、
前記2以上の第1の領域が互いに重複する場合、重複領域の定量情報を算出し、前記重複領域の定量情報を用いて、前記第2の領域の定量情報を算出する
請求項7に記載の装置。 - 前記解析部は、
前記第1の領域の定量情報および前記第1の領域の大きさに関する情報を用いて、前記第2の領域の定量情報を算出する
請求項1から請求項8のいずれか1項に記載の装置。 - 前記第1の領域の大きさは、前記第2の領域の大きさよりも大きい
請求項1から請求項9のいずれか1項に記載の装置。 - 前記輝点に関する情報は、輝点の数に関する情報である
請求項1から請求項10のいずれか1項に記載の装置。 - 前記輝点に関する情報は、輝点の光子数に関する情報である
請求項1から請求項10のいずれか1項に記載の装置。 - 蛍光物質を含む試料に活性化光および励起光を照射する光学系と、
前記蛍光物質の像を撮像する撮像部と、
前記蛍光物質の像の位置情報に基づいて前記蛍光画像を生成する画像形成部と、
請求項1から請求項8のいずれか1項に記載の装置と
を有するシステム。 - 蛍光画像において、解析対象範囲に複数の第1の領域を規定し、
前記第1の領域に含まれる輝点に関する情報に基づいて、前記第1の領域の定量情報を算出し、
前記蛍光画像において、前記解析対象範囲に複数の第2の領域を規定し、
前記第1の領域の定量情報を用いて前記第2の領域の定量情報を算出する
方法。 - 蛍光画像において、解析対象範囲に複数の第1の領域を規定し、
前記第1の領域に含まれる輝点に関する情報に基づいて、前記第1の領域の定量情報を算出し、
前記蛍光画像において、前記解析対象範囲に複数の第2の領域を規定し、
前記第1の領域の定量情報を用いて第2の領域の定量情報を算出するステップ
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013200705 | 2013-09-27 | ||
JP2013200705 | 2013-09-27 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015539385A Division JP6292238B2 (ja) | 2013-09-27 | 2014-09-26 | 装置、システム、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018120224A true JP2018120224A (ja) | 2018-08-02 |
JP6587004B2 JP6587004B2 (ja) | 2019-10-09 |
Family
ID=52743566
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015539385A Active JP6292238B2 (ja) | 2013-09-27 | 2014-09-26 | 装置、システム、方法、及びプログラム |
JP2018025052A Active JP6587004B2 (ja) | 2013-09-27 | 2018-02-15 | 装置、システム、方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015539385A Active JP6292238B2 (ja) | 2013-09-27 | 2014-09-26 | 装置、システム、方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US10268033B2 (ja) |
EP (1) | EP3051276B1 (ja) |
JP (2) | JP6292238B2 (ja) |
WO (1) | WO2015046440A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220104431A (ko) * | 2021-01-18 | 2022-07-26 | 주식회사 나노바이오라이프 | 바이오칩 이미지 검출장치 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3051276B1 (en) | 2013-09-27 | 2021-03-31 | Nikon Corporation | Analysis device, microscope device, analysis method, and program |
GB2549298B (en) * | 2016-04-12 | 2022-02-02 | Univ I Tromsoe Norges Arktiske Univ | Super-resolution imaging |
JP6231709B1 (ja) * | 2016-05-31 | 2017-11-15 | シスメックス株式会社 | 蛍光画像分析装置および分析方法 |
JPWO2018008136A1 (ja) | 2016-07-07 | 2019-04-18 | オリンパス株式会社 | 画像処理装置および画像処理装置の作動方法 |
WO2018015950A1 (en) * | 2016-07-20 | 2018-01-25 | Technion Research & Development Foundation Ltd. | Multi moire structured illumination microscopy with high index materials |
CN111435192B (zh) * | 2019-01-15 | 2021-11-23 | 卡尔蔡司显微镜有限责任公司 | 利用荧光显微镜生成荧光照片的方法 |
DE102019110160B4 (de) * | 2019-04-17 | 2023-07-27 | Leica Microsystems Cms Gmbh | Fluoreszenzmikroskop und Verfahren zur Abbildung einer Probe |
JP2022101163A (ja) * | 2020-12-24 | 2022-07-06 | シスメックス株式会社 | 蛍光画像表示方法及び蛍光画像分析装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015665A (ja) * | 2011-07-04 | 2013-01-24 | Nikon Corp | 顕微鏡装置及び画像形成方法 |
WO2015046440A1 (ja) * | 2013-09-27 | 2015-04-02 | 株式会社ニコン | 解析装置、顕微鏡装置、解析方法、及びプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE394697T1 (de) * | 2000-09-18 | 2008-05-15 | Vincent Lauer | Optische konfokale abtastvorrichtung |
CN100354430C (zh) * | 2001-09-06 | 2007-12-12 | 基因描绘系统有限公司 | 一种检测样品中靶细胞或病毒的方法 |
EP1624071B1 (en) * | 2004-08-06 | 2008-10-22 | Fuji Electric Holdings Co., Ltd. | Method of detecting viable cells |
EP2453239B1 (en) | 2005-05-23 | 2017-04-26 | Harald F. Hess | Optical microscopy with transformable optical labels |
US7776613B2 (en) | 2006-08-07 | 2010-08-17 | President And Fellows Of Harvard College | Sub-diffraction image resolution and other imaging techniques |
US8564792B2 (en) * | 2007-12-21 | 2013-10-22 | President And Fellows Of Harvard College | Sub-diffraction limit image resolution in three dimensions |
US8021851B2 (en) * | 2008-04-04 | 2011-09-20 | Cambridge Enterprise Limited | Thr51 phosphorylated HP 1β protein for the assessment of DNA damage |
US8107711B2 (en) | 2008-05-12 | 2012-01-31 | Vala Sciences, Inc. | User interface method and system for management and control of automated image processing in high content screening or high throughput screening |
US20100053211A1 (en) | 2008-06-27 | 2010-03-04 | Vala Sciences, Inc. | User interface method and system with image viewer for management and control of automated image processing in high content screening or high throughput screening |
DE102008059328A1 (de) | 2008-11-27 | 2010-06-02 | Carl Zeiss Microimaging Gmbh | Auflösungsgesteigerte Mikroskopie |
DE102009031231A1 (de) * | 2009-06-26 | 2010-12-30 | Carl Zeiss Microlmaging Gmbh | Verfahren und Anordnungen für die Fluoreszenzmikroskopie |
DE102010007730B4 (de) | 2010-02-12 | 2021-08-26 | Leica Microsystems Cms Gmbh | Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop |
WO2011140030A2 (en) * | 2010-05-03 | 2011-11-10 | University Of Rochester | System and method for measuring the ratio of forward-propagating to back-propagating second harmonic-generation signal, and applications thereof |
US9946058B2 (en) * | 2010-06-11 | 2018-04-17 | Nikon Corporation | Microscope apparatus and observation method |
US8424111B2 (en) * | 2010-06-23 | 2013-04-16 | Olympus Corporation | Near-field optical microscope, near-field optical probe, and sample observation method |
DE102010035003B4 (de) * | 2010-08-20 | 2015-08-06 | PicoQuant GmbH. Unternehmen für optoelektronische Forschung und Entwicklung | Räumlich und zeitlich hochauflösende Mikroskopie |
US20120258292A1 (en) * | 2011-03-11 | 2012-10-11 | Florida State University Research Foundation | Methods and apparatus for lipid multilayer patterning |
JP2012237693A (ja) * | 2011-05-13 | 2012-12-06 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5938764B2 (ja) * | 2011-06-30 | 2016-06-22 | 国立大学法人鳥取大学 | Dna二本鎖切断損傷の解析装置及び解析方法 |
JP2013025466A (ja) | 2011-07-19 | 2013-02-04 | Sony Corp | 画像処理装置、画像処理システム及び画像処理プログラム |
US9823457B2 (en) * | 2014-01-08 | 2017-11-21 | The Regents Of The University Of California | Multiplane optical microscope |
-
2014
- 2014-09-26 EP EP14850023.4A patent/EP3051276B1/en active Active
- 2014-09-26 JP JP2015539385A patent/JP6292238B2/ja active Active
- 2014-09-26 WO PCT/JP2014/075658 patent/WO2015046440A1/ja active Application Filing
-
2016
- 2016-03-24 US US15/079,568 patent/US10268033B2/en active Active
-
2018
- 2018-02-15 JP JP2018025052A patent/JP6587004B2/ja active Active
-
2019
- 2019-01-04 US US16/239,827 patent/US10527838B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013015665A (ja) * | 2011-07-04 | 2013-01-24 | Nikon Corp | 顕微鏡装置及び画像形成方法 |
WO2015046440A1 (ja) * | 2013-09-27 | 2015-04-02 | 株式会社ニコン | 解析装置、顕微鏡装置、解析方法、及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220104431A (ko) * | 2021-01-18 | 2022-07-26 | 주식회사 나노바이오라이프 | 바이오칩 이미지 검출장치 |
KR102567017B1 (ko) * | 2021-01-18 | 2023-08-16 | 주식회사 나노바이오라이프 | 바이오칩 이미지 검출장치 |
Also Published As
Publication number | Publication date |
---|---|
EP3051276A4 (en) | 2017-05-31 |
US10268033B2 (en) | 2019-04-23 |
EP3051276B1 (en) | 2021-03-31 |
JPWO2015046440A1 (ja) | 2017-03-09 |
EP3051276A1 (en) | 2016-08-03 |
US20190137754A1 (en) | 2019-05-09 |
WO2015046440A1 (ja) | 2015-04-02 |
JP6587004B2 (ja) | 2019-10-09 |
JP6292238B2 (ja) | 2018-03-14 |
US20160202465A1 (en) | 2016-07-14 |
US10527838B2 (en) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587004B2 (ja) | 装置、システム、方法、及びプログラム | |
JP5392406B2 (ja) | 顕微鏡装置、観察方法 | |
JP6416887B2 (ja) | 構造化照明を用いた組織試料の顕微鏡観察 | |
JP6329896B2 (ja) | 高分解能ルミネッセンス顕微鏡法 | |
US8773758B2 (en) | Microscope apparatus with an imaging system including an astigmatic difference changing device | |
US20220205919A1 (en) | Widefield, high-speed optical sectioning | |
US10753871B2 (en) | Information processing device, image acquisition system, information processing method, and image information acquisition method | |
JP5747690B2 (ja) | 顕微鏡装置及び画像形成方法 | |
JP2021507299A (ja) | 誘導放出抑制を伴う蛍光顕微鏡を使用してサンプルを結像するための方法 | |
US11906431B2 (en) | Microscope apparatus | |
JP5471715B2 (ja) | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 | |
US7983466B2 (en) | Microscope apparatus and cell observation method | |
WO2013005765A1 (ja) | 顕微鏡装置 | |
WO2012144515A1 (ja) | 顕微鏡装置、及び画像処理方法 | |
JP2005121602A (ja) | 蛍光寿命測定装置 | |
US20190162954A1 (en) | Optical device, phase plate, and image forming method | |
WO2023007828A1 (ja) | 試料観察装置及び試料観察方法 | |
WO2023161375A1 (en) | Device for measuring intrinsic autofluorescence of a biological sample and method using thereof | |
JP2020042283A (ja) | 顕微鏡装置 | |
JP2004212204A (ja) | 蛍光顕微鏡及び蛍光寿命の測定方法、並びに蛍光寿命の測定用プログラム | |
WO2015182269A1 (ja) | 画像取得装置及び画像取得方法 | |
JP2004271946A (ja) | 共焦点レーザ走査型顕微鏡装置及び試料情報記録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190813 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190826 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6587004 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |