JP2018523153A - 構造化照明イメージを生成するためのシステムおよび方法 - Google Patents
構造化照明イメージを生成するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2018523153A JP2018523153A JP2017562590A JP2017562590A JP2018523153A JP 2018523153 A JP2018523153 A JP 2018523153A JP 2017562590 A JP2017562590 A JP 2017562590A JP 2017562590 A JP2017562590 A JP 2017562590A JP 2018523153 A JP2018523153 A JP 2018523153A
- Authority
- JP
- Japan
- Prior art keywords
- data points
- images
- photomask
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 230000005284 excitation Effects 0.000 claims abstract description 12
- 238000000799 fluorescence microscopy Methods 0.000 claims abstract description 10
- 238000005286 illumination Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 14
- 238000005562 fading Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 238000010226 confocal imaging Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000009987 spinning Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/20—Exposure; Apparatus therefor
- G03F7/2002—Exposure; Apparatus therefor with visible light or UV light, through an original having an opaque pattern on a transparent support, e.g. film printing, projection printing; by reflection of visible or UV light from an original such as a printed image
- G03F7/2004—Exposure; Apparatus therefor with visible light or UV light, through an original having an opaque pattern on a transparent support, e.g. film printing, projection printing; by reflection of visible or UV light from an original such as a printed image characterised by the use of a particular light source, e.g. fluorescent lamps or deep UV light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N2021/6463—Optics
- G01N2021/6478—Special lenses
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
蛍光イメージングシステムおいて取得される合成画像を生成する方法は、全合成共焦点画像を構築するために必要な、ピンホールマスクのサンプルに対する物理的位置を判定し、判定した物理的位置に対するランダム化された順序を制御モジュールで生成し、ランダム化された順序で、判定した物理的位置にフォトマスクまたはサンプルを、制御モジュールの制御下で移動ステージを用いて移動し、サンプルをフォトマスクを介して励起光を用いて照明し、一組のデータポイントを生成するために、センサを用いて物理的位置のそれぞれにおいて複数の画像をキャプチャし、ランダム化された順序を用いて一組のデータポイントに基づいて合成画像を生成してデータポイントのうちの少なくともいくつかの輝度を測定し、そして、一組のデータポイントのうちのいくつかの輝度を調整することを含む。【選択図】図１
Description
本出願は、２０１５年６月２日に出願された米国特許出願第６２／１６９，６６９号の優先権を主張するものであり、該出願は、参照によりその開示全体が本明細書に援用される。
本明細書に記載の実施形態は、蛍光イメージングに関し、より具体的には、特定の視覚アーティファクトを低減しながら、蛍光イメージングシステムにおいて合成共焦点画像を生成することに関する。
関連技術
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である（クロロフィルのような）か、蛍光染色で処理されるかのいずれかで有り得る。
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である（クロロフィルのような）か、蛍光染色で処理されるかのいずれかで有り得る。
当該技術において既知の基本的な広視野蛍光顕微鏡は、光源と、蛍光染色と一致する波長に対応するいくつかのフィルタとを含む。光源からの光の励起波長を選択するために励起フィルタが設けられ、ダイクロイックビームスプリッタは、光源からの光を反射させて試料を照明する。照明された光は、放射フィルタによってさらに弱い放射された蛍光から分離される。蛍光領域は、顕微鏡において観察され、暗い背景に対して高コントラストで光る。
構造化照明イメージングシステムは、既に記載した広視野イメージングシステムとほぼ同じ原理を用いるが、一度にサンプルの一部のみが照明されることがキーである。励起光の大部分は遮断され、遮断されない照明のパターンをサンプル全体にわたらせてサンプルの領域それぞれがほぼ等しい励起光を受光するようにされる。典型的には、この工程において複数の画像が別個の間隔でキャプチャされ、別個の入力画像を解析して対応する出力画像を構築する画像処理アルゴリズムによって単一全照明画像が生成される。この出力画像は、サンプルの焦点が合っていない領域から集められる光が低減することにより向上した信号雑音比、より高い縦方向および軸方向空間解像度、または両方がもたらされるため、シンプルな広視野イメージング技術を用いてキャプチャされた画像よりも優れている。
共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、信号雑音比を向上させる、または光学解像度を増大させるのに用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
本技術は、一度に１ポイントのみを撮像可能である。したがって、単一２Ｄ共焦点画像を構築するためには、ビームまたはサンプルを２次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図７に示す。
図７から分かるように、光源からの光８０２は、第二のディスク８０８に含まれるピンホールマスク８１０上に光を集束させる複数の集束レンズ８０６を含む第一のディスク８０４上に入射する。ピンホールマスク８１０を透過する光８０２がその後、対物レンズ８１２を介して試料８１４上に集束される。光８０２が蛍光体に吸収され、それにより蛍光体が光８１６を放射し、これが対物レンズ８１２およびピンホールマスク８１０を逆透過して、ミラー８１８上に入射する。ミラー８１８は、例えば光学系８２０を介して、放射された光８１６を、それが検出され得るセンサ８２２上に反射させる。
図７に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタとの間のより複雑な同期を必要とする。
こうした従来の蛍光イメージングシステムにける別の課題は、蛍光退色である。このようなシステムでは、サンプルを見ることにより、時間をかけてサンプルが調光される。蛍光退色として知られるこの効果は、励起光のエネルギーが色素の分子を徐々に損傷し、結果としてその蛍光反応を低減させる結果である。この効果は、励起光に露光されたサンプルの領域のみにおいて明白であり、露光の期間および強度に基づいて変動する。したがって、サンプルの生態には明らかな差異がないにもかかわらず、サンプルの一方の領域を非常に薄暗く（大きく蛍光退色した）し、他方の領域を非常に明るく（全く蛍光退色していない）することが可能である。
構造化照明の適用において、この効果は、質的および量的な問題を生じかねない。構造化照明の基本的概念は、一度にサンプルの小さな部分のみを照らし、その後に複数の一部を照らしたサンプルの視野を、１つの全体を照らした視野へと画像処理ソフトウェアで結合することである。これは、光と光学系の特定の特徴を活用して画像をキャプチャするが、このことは標準的な広視野照明では可能ではない。サンプルは通常過度に照明されるため、一度に撮像されるサンプル領域の単なるサブセットよりも広い領域が受光する。このことは、まだ撮像していないサンプルの領域の蛍光退色を生じさせ、そのため、これらの領域が撮像されるときに、プロセスのより早くにこの領域が撮像されたならば有したであろうよりも見かけの輝度が低い。画像を結合する場合、これによって定量分析における強い人工的な周期的傾向と、定性分析における視覚的に明白なパターンとが生じる場合がある。
この問題を克服するための従来的な方法がいくつかある。１つ目は、蛍光退色による低輝度を補償するために、キャプチャプロセスが進行するにつれてキャプチャ設定を変更することができる。ただしこのアプローチは、システムの全エレメントがいくつかの変数に対して非常に良好に定量化されていなければならず、また、個々のサンプルに対して較正される必要があり得る。２つ目は、個々の画像の輝度を後処理において調整して、低下する輝度を補償することができる。３つ目は、より集束された照明源（レーザなど）が余分な蛍光退色を生じさせる過度の照明の多くを防止することができる。
本明細書では、システムを用いて周期的視覚アーティファクトが低減された合成共焦点画像を生成することが可能となるような、蛍光イメージングシステムのためのシステムおよび方法が開示される。
一の態様によると、蛍光イメージングシステムにおいて取得される合成画像を生成する方法は、全合成共焦点画像を構築するのに必要な、ピンホールマスクのサンプルに対する物理的位置を判定すること、判定された物理的位置に対するランダム化された順序を制御モジュールで生成すること、ランダム化された順序で判定した物理的位置にフォトマスクまたはサンプルを、制御モジュールの制御下で移動ステージを用いて移動すること、フォトマスクを介して励起光を用いてサンプルを照明すること、一組のデータポイントを生成するために、センサを用いて物理的位置のそれぞれにおいて複数の画像をキャプチャすること、ランダム化された順序を用いて、一組のデータポイントに基づいて合成画像を生成して、データポイントのうちの少なくともいくつかの輝度を測定すること、そして、生成された画像における特定の観察されたイメージング効果を除去するために、このような特定の観察されたイメージング効果のモデルに基づいて、一組のデータポイントのいくつかの輝度を調整すること、を含む。
別の態様によると、蛍光イメージングシステムは、フォトマスクと、サンプルの全合成画像を構築するのに必要な、フォトマスクのサンプルに対する物理的位置を判定し、判定した物理的位置に対するランダム化された順序を生成するよう構成された制御モジュールと、フォトマスクを介して励起光を用いてサンプルを照明するよう構成された照明源と、制御モジュールによって生成されたランダム化された順序に従ってフォトマスクを移動するよう構成された１つ以上のモータと、サンプルの複数の画像をキャプチャして一組のデータポイントを生成するよう構成されたセンサと、ランダム化された順序を用いて、一組のデータポイントに基づいて合成画像を生成するよう構成され、データポイントのうちの少なくともいくつかの輝度を測定し、生成した画像における特定の観察されたイメージング効果を除去するために、このような特定の観察されたイメージング効果のモデルに基づいて、データポイントのうちのいくつかの輝度を調整する、画像生成モジュールと、を備える。
本発明のこれらおよび他の特徴、態様、ならびに実施形態は、「発明を実施するための形態」と題される項において以下に記載される。
特徴、態様、ならびに実施形態は、添付の図面と共に記載される。
本明細書に記載の実施形態で、合成共焦点画像を生成するためのシステム、装置および方法が開示される。記載の実施形態は例示としてのみ記載される。さらに、図は例示であり、開示のシステムおよび方法の記載を助けることを意図するものである。したがって、図は、完全なシステムを描くのに必要な構成要素、回路、エレメント等の全てを含んでいない場合がある。したがって、図およびそれらに伴う開示は実施形態を特定の構成に制限するものとみなされるべきではなく、開示の構成においてさらなる構成要素等の、または更なる構成の含有を排除するものとみなされるべきではない。
上記のとおり、構造化照明システムは、従来の広視野システムに対して特定の利点を有する。共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、光学解像度およびコントラストを増大させて、取得した一連の画像から３次元構造を再構築することを可能にするために用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ、すなわち本質的に単画素カメラ、内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
本技術は、１ポイントのみ、すなわち一度に画像の１画素のみを撮像可能である。したがって、単一２Ｄ共焦点画像を構築するためには、ビームまたはサンプルを２次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図７に示す。
図７から分かるように、光源からの光８０２は、第二のディスク８０８に含まれるピンホールマスク８１０上に光を集束させる複数の集束レンズ８０６を含む第一のディスク８０４上に入射する。ピンホールマスク８１０を透過する光８０２がその後、対物レンズ８１２を介して試料８１４上に集束される。光８０２が蛍光体に吸収され、それにより蛍光体が光８１６を放射し、これが対物レンズ８１２およびピンホールマスク８１０を逆透過して、ミラー８１８上に入射する。ミラー８１８は、例えば光学系８２０を介して、放射された光８１６を、それが検出され得るセンサ８２２上に反射させる。
図７に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタとの間のより複雑な同期を必要とする。
図１は、本明細書に記載のシステムおよび方法によって構成された、蛍光イメージングシステム１００の実施形態の一例を示す。図１は、構造化照明顕微鏡における、本明細書に記載のシステムおよび方法を示す。点線で囲まれた領域におけるエレメントは、図２に示す光キューブ２００に含まれている。これらの要素は、光源１０２、照明光学系２０４（図２の）、フォトマスクイメージング光学系１０６、フォトマスク１０８、および構造化照明パターンの少なくとも一部を、対物レンズ１１２を介してサンプル１１４に方向付ける、ダイクロイックミラーまたはビームスプリッタであることが多いミラー１１０を含む。フォトマスク１０８は、フォトマスク上のパターンに対応する焦点の合った光のパターンが対物レンズ１１２の焦点面においてサンプル１１４上に投射されるようにフォトマスクイメージング光学系１０６に対して焦点合わせされる。その後、サンプルから放射された光が対物レンズ１１２を逆透過し、その一部がミラー１１０を通ってカメラレンズを透過して、センサ１２０、例えばＣＣＤ、ＣＭＯＳ、または類似の種類のセンサ上に光を集束させる。
フォトマスク１０８は、不透明な背景におけるいくつかのパターンの透明窓からなる。パターンには、直角座標系、四角形座標系、または円筒座標系などの座標系によって規定できる予測可能な窓のパターンが含まれる。円筒座標系に基づくパターンを用いる場合には、マスクは、ｘ−ｙ平面での動きではなく回転させることができる。さらに、ピンホールの代わりに、構造化照明に適した任意の他のパターンがマスク１０８に用いられてもよい。
フォトマスク１０８は、運動制御装置がフォトマスク１０８を横方向にスキャンして、焦点の合った構造化照明パターンをサンプル視野全体にわたらせる場合であっても、パターンがフォトマスクイメージング光学系１０６と焦点が合ったままとなるよう取り付けることができる。
別の実施形態では、ピンホールマスクの代わりにクリア窓を用いてもよい。このような構成では、システム１００は従来の広視野イメージングシステムとして機能する。
したがって、システム１００は、照明光１０４を生成するよう構成された光源１０４を含む。ソース１０２は、実装に応じて、例えば発光ダイオード（ＬＥＤ）またはレーザであってもよい。その後、フォトマスクイメージング光学系１０６は光１０２を集め、フォトマスク上のパターンに対応する焦点の合った光のパターンが対物レンズの焦点面においてサンプル１１４上に投射されるよう、光１０２を集束させることができる。マスク１０８を透過する光は、例えば対物レンズ１１２を介してサンプル１１４に光を方向付ける、ダイクロイックミラーなどのミラー１１０上に入射する。光１０４が蛍光体に吸収され、それにより蛍光体が光１１６を放射し、これが対物レンズ１１２およびミラー１１０を通って、センサ１２０上に逆透過する。フィルタ１１８は、放射がセンサ１２０に入射する前に放射をフィルタすることができる。
センサ１２０は、電荷結合素子（ＣＣＤ）、またはＣＭＯＳ素子とし得る。さらに、ピンホールマスクは、例えば、ディスク上で回転するのではなく、ｘ−ｙ平面で動く、正方形、長方形、または楕円形のマスクとし得る。図４は、一実施形態による、マスク５００の一例を示す。図示されるように、マスク５００は、マスク５０１および５０２などの複数のピンホールマスクを含み得る。
図２は、一実施形態による、その周りにより大きな顕微鏡がないものの所定の場所にフォトマスク１０８を有する、光キューブ２００をより詳細に表す。ミラー１１０だけでなく、複数のフィルタが存在する。ミラー１１０は、機械的ポジショナー（図示せず）により、キューブ２００の残部の方向に対して調整可能であって、光を顕微鏡システムの対物レンズ（図１の１１２）に適切に向けることを可能にする。キューブの取り付け機構は、キューブの方向が使用中に変化しないようにして、フォトマスク１０８および対物レンズ１１２に対するキューブ光学系１０６の正確なアライメントを維持するための機械的レジストレーションおよび保持ポイントを提供する。
キューブ２００は移動軸上に取り付けることが可能であるため、画像キャプチャ間でキューブを機械的に取り付けおよび取り外すことなく、複数のキューブを単一の顕微鏡で利用することを可能とし、取り付け機構は、キューブの設置および保持の両方のために機能する。また、これらは、後に、システムを再較正することなくキューブを取り外して再挿入することを可能にする。回路基板２０２は、ホストシステムが光源１０２に電力を供給するおよびこれを制御することを可能にし、そして、実施形態に応じて、ホストシステムがキューブ２００の種々の態様を特定することを可能にする。これらのパラメータは、とりわけ、ユーザに対してキューブ２００を特定する、および使用する特定のキューブに対する他の機器パラメータを構成するために、ソフトウェアによって用いられ得る。
したがって、図２に示すように、光源１０２、イメージング光学系１０６、マスク１０８、ミラー１１０およびフィルタ１１８は、非常にコンパクトな光キューブ２００に含めることができる。また、光キューブは、制御システムと通信して光キューブ２００の種々の態様を制御するよう構成可能な回路基板２０２を含んでもよい。したがって、図４のマスク５００は、光キューブ２００に挿入されるように構成され得る。
上記のとおり、ディスクベースのラスタスキャンシステムなどの従来的なシステムを介してキャプチャされた画像は、例えば、蛍光退色によって生じたものなどの周期的な視覚アーティファクトを含む場合がある。これらのアーティファクトを低減するための従来的な方法は有用であるが、システム１００を、個々の一部を照明した画像をその都度ランダムにキャプチャすることでこうしたアーティファクトの影響を低減するよう構成することが可能である。
図３は、蛍光退色によって生成されるものなどの周期的なアーティファクトを除去するためのプロセスの一例を示すフローチャートである。最初に、ステップ３０５で、例えば、制御システム４００で動作している画像制御モジュール４０２が、全照明合成画像を適切に構築するためにマスク１０６が位置付けられるべき異なる物理的位置を判定することができる。通常、一旦これらの位置が判定されると、システム４００は移動制御モジュール（複数可）４０６を介して移動ステージを制御して線形、蛇行、またはラスタ状に移動させる、つまり、移動ステージが位置それぞれを特定の順序で移動して、画像をキャプチャする。また、制御モジュール４０２は通常、位置それぞれのキャプチャ設定を判定し、このキャプチャ設定を用いて画像をキャプチャするために照明制御４０８を制御する。
しかし、図３の実施形態で、ステップ３１０で、制御モジュール４０２は移動ステージをランダム化された順序で位置のそれぞれの１つに進め、画像を構築するためにピンホールの位置からデータをキャプチャする。さらに、制御モジュール４０２を、画像それぞれがその都度同一のキャプチャ設定でキャプチャされるよう構成することができる。これは、カメラまたはセンサと照明制御とが、キャプチャそれぞれの前に新たな設定を確認するために制御システム４００と通信しなくてもよいため、より高速な個々のキャプチャを可能にする。
ステップ３１０で画像がキャプチャされると、画像処理モジュール４０４を用いてステップ３１５で合成画像を生成することができる。その後、画像処理モジュール４０４は背景情報から信号を識別し、ステップ３２０で、キャプチャプロセスの別個のステップにおいて信号強度の低下を測定するよう構成されてもよい。実験的に観察された蛍光退色の挙動に一致するようモデルされた曲線などのモデル、つまり、時間関数としての相対的輝度を、その後、ステップ３２５でデータポイントに適合させることができる。この曲線から、第一を除くシーケンスにおける全画像の輝度を、ステップ３３０で調整して、蛍光退色の明らかな効果のいくつかを除去することができる。
モデルが画像に適用され、種々のデータポイントの輝度が調整される前後で合成画像を生成することが可能であることに留意されたい。
また、図３のプロセスを全画像に厳密に適用することは演算集約的となる場合があり、特定のインスタンスでは、所与の現行の処理能力制約が長くなりすぎ得ることにも留意されたい。したがって、特定の実施形態では、モデルの適用（ステップ３２５）は、いくつかの画像にのみ適用され得る。その後、いくつかの画像への適用に基づく、残りの画像の輝度の近似補正を、随意のステップ３３５で示すように行い得る。例えば、モデルは画像に、順序の最初、中間、および最後に適用してもよく、その後、指数関数的減衰がこれらのポイントに適合されてもよい。この修正されたプロセスは、良好な品質の画像の相対的迅速な取得をもたらし得る。
図４は、照明システム１００の動作を制御するための制御システムの一例４００を示す。図に示すように、システム４００は画像オーソリティ４１２を含む。画像オーソリティ４１２は、本明細書に記載のシステムおよび方法の特定の部分を実施するのに必要な全てのリソースを含み得る。したがって、オーソリティ４１２は、任意の信号プロセッサ、数値演算コプロセッサ、マイクロコントローラ等を含む１つ以上のプロセッサ、１つ以上のサーバ、１つ以上のルータ、１つ以上の端末、デスクトップまたはポータブルコンピュータを含む１つ以上のコンピュータを含むこれらの部分に必要なハードウェアおよびソフトウェアリソースの全て、ならびに、本明細書に記載のシステムおよび方法のこれらの部分または態様を実行するのに必要な全てのＡＰＩのプログラム、ソフトウェアモジュール等を含み得る。このように、本明細書に記載するものなどのモジュールは、特定の機能を実行するのに必要なハードウェアおよびソフトウェアリソースを含み得る。
具体的には、オーソリティ４１２は、システム１００の動作を制御し、そこから取得したデータを処理するよう構成された種々のモジュールを含み得る。図４に図示するように、これらのモジュールは、例えば移動制御モジュール４０６を介してシステム１００の移動ステージを制御するよう構成可能な画像制御モジュール４０２を含み得る。また、制御モジュール４０２は照明制御モジュール４０８を介して照明を制御するようにも構成可能である。
オーソリティ４１０は、センサ１２０によって取得された画像データを処理するよう構成された処理モジュール４０４も含み得る。
移動制御モジュール４０６と照明制御モジュール４０８のうちのいくつかまたは全ては、システム１００内、例えば光キューブ２００内、またはキューブ２００がインタフェースされる移動ステージ内にある場合があることに留意されたい。
既に記載したように、スピニングディスクの代わりに、図５に図示するように、例えばピンホールのパターンが、小さな、例えば図４に示すようにスライドガラス上に印刷されてもよい。このスライドを、例えば図２の光キューブ構成にあるように、励起光源１０２の前に固定してもよい。マスクを適切な位置に位置付けてそれぞれのキャプチャ前にサンプルの異なる部分を照明する小さな移動ステージを用いて、マスクが動かされる。上記の通りであるため、実際のマスクはピンホールに加えて別のパターンも含み得ることに留意する。
図６Ａおよび６Ｂは、広視野画像キャプチャと対応するピンホール画像キャプチャを示す。図６Ｃおよび６Ｄから分かるように、ラスタスキャンされた共焦点画像は向上した解像度とコントラストを提供可能であるが、図６Ｅおよび６Ｆに示すように、図３のランダムスキャンされた画像キャプチャプロセスは、さらに良好な解像度およびコントラストを、より短い時間かつより少ない処理リソースで提供することができる。
図８は、本明細書に記載の種々の実施形態に関連して用いることができる有線または無線システム５５０の一例を示すブロック図である。例えば、システム５５０は、既に記載した１つ以上の機構またはプロセスとして、またはこれらと共に用いることができ、システム１００または４００の構成要素、対応サーバ（複数可）、および／または本明細書に記載の他の装置を表し得る。システム５５０は、サーバまたは任意の従来のパーソナルコンピュータ、または有線もしくは無線データ通信が可能な任意の他のプロセッサ対応装置のうちの１つ以上の組み合わせで有り得る。当業者に明らかであるように、他のコンピュータシステムおよび／またはアーキテクチャも用い得る。
システム５５０は、プロセッサ５６０などの１つ以上のプロセッサを含むことが好ましい。入力／出力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ（例えば、デジタル信号プロセッサ）主処理システムに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、デュアルまたは複数のプロセッサシステム用の追加のマイクロプロセッサまたはコントローラ、またはコプロセッサなどの、追加のプロセッサが設けられてもよい。こうした補助プロセッサは、別個のプロセッサであってもよく、プロセッサ５６０に組み込まれてもよい。システム５５０と用いられ得るプロセッサの例には、これらに限定されるものではないが、全てＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ（カリフォルニア州サンタクララ）から入手可能な、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、Ｃｏｒｅ ｉ７（登録商標）プロセッサ、およびＸｅｏｎ（登録商標）プロセッサが含まれる。
プロセッサ５６０は、通信バス５５５に接続されることが好ましい。通信バス５５５は、システム５５０のストレージと他の周辺構成要素との間の情報伝達を促進するためのデータチャネルを含み得る。通信バス５５５はさらに、データバス、アドレスバス、および制御バス（図示せず）を含む、プロセッサ５６０との通信に用いられる一組の信号を提供し得る。通信バス５５５は、例えば、業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺構成要素相互接続（ＰＣＩ）ローカルバスに準拠するバスアーキテクチャ、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ−１００等を含む米国電気電子学会（ＩＥＥＥ）によって公布される標準規格などの、標準または非標準規格バスアーキテクチャを含み得る。
システム５５０が主メモリ５６５を含むことが好ましく、補助メモリ５７０も含んでもよい。主メモリ５６５は、上記の１つ以上の機能および／またはモジュールなどの、プロセッサ５６０上で実行される命令およびデータのストレージを提供する。メモリに記憶され、プロセッサ５６０によって実行されるプログラムは、これらに限定されないが、Ｃ／Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅａｒｌ、Ｖｉｓｕａｌ Ｂａｓｉｃ、ＮＥＴ等を含む任意の適切な言語に従って書き込みおよび／またはコンパイルされ得ることを理解されたい。主メモリ５６５は一般的に、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリの種類には、例えば、読み出し専用メモリ（ＲＯＭ）を含む、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、Ｒａｍｂｕｓダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ（登録商標））等が含まれる。
補助メモリ５７０は、任意選択で、内部メモリ５７５および／または、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブ等のリムーバブル媒体５８０を含んでもよい。リムーバブル媒体５８０は、既知の様式で読み出されるおよび／または書き込まれる。リムーバブル記憶媒体５８０は、例えば、フロッピー（登録商標）ディスク、磁気テープ、ＣＤ、ＤＶＤ、ＳＤカード等とし得る。
リムーバブル記憶媒体５８０は、記憶されたコンピュータ実行可能コード（つまり、ソフトウェア）および／またはデータを有する非一時的コンピュータ可読媒体である。リムーバブル記憶媒体５８０上に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ５６０による実行のためにシステム５５０に読み出される。
代替の実施形態では、補助メモリ５７０が、コンピュータプログラムまたは他のデータ、あるいは命令をシステム５５０にロードすることを可能にする他の類似の手段を含み得る。このような手段には、例えば、外部記憶媒体５９５およびインタフェース５９０が含まれ得る。外部記憶媒体５９５の例には、外部ハードディスクドライブまたは外部光学ドライブ、または外部光磁気ドライブを含み得る。
補助メモリ５７０の他の例には、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭに類似のブロック配向メモリ）などの半導体ベースのメモリが含まれ得る。同じく含まれるのは、任意の他のリムーバブル記憶媒体５８０と通信インタフェース５９０であり、これらは、ソフトウェアおよびデータが外部媒体５９５からシステム５５０に伝達されることを可能にする。
システム５５０は、通信インタフェース５９０を含んでもよい。通信インタフェース５９０は、ソフトウェアおよびデータがシステム５５０と外部装置（例えば、プリンタ）、ネットワーク、または情報源との間で伝達されることを可能にする。例えば、コンピュータソフトウェアまたは実行可能なコードは、通信インタフェース５９０を介してネットワークサーバからシステム５５０に伝達され得る。通信インタフェース５９０の例には、ビルトインネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカードインターナショナルアソシエーション（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、無線データカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイヤワイヤ、またはシステム５５０をネットワークまたは他のコンピューティング装置とインタフェースさせることが可能な任意の他の装置が含まれる。
通信インタフェース５９０は、イーサネット（登録商標）ＩＥＥＥ８０２標準規格などの業界公布プロトコル標準規格、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、サービス総合デジタル網（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）等を実装することが好ましいが、加えて、カスタマイズされた、あるいは非標準のインタフェースプロトコルも実装してよい。
通信インタフェース５９０を介して伝達されるソフトウェアおよびデータは通常、電気通信信号６０５の形態である。これらの信号６０５は、通信チャネル６００を介して通信インタフェース５９０に供給されることが好ましい。一実施形態で、通信チャネル６００は、有線または無線ネットワークである、あるいは、他の多様な通信リンクであってもよい。通信チャネル６００は、信号６０５を伝達し、２、３例を挙げると、ワイヤまたはケーブル、ファイバ光学系、従来の電話線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む種々の有線または無線通信手段を用いて実装することができる。
コンピュータ実行可能コード（つまり、コンピュータプログラムまたはソフトウェア）は、主メモリ５６５および／または補助メモリ５７０に記憶される。また、コンピュータプログラムは、通信インタフェース５９０を介して受信され、主メモリ５６５および／または補助メモリ５７０に記憶することができる。このようなコンピュータプログラムは、実行されると、既に記載したように、システム５５０が本発明の種々の機能を実行することを可能にする。
本明細書において、用語「コンピュータ可読媒体」とは、システム５５０にコンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）を提供するのに用いられる任意の非一時的コンピュータ可読記憶媒体を指すのに用いられる。これらの媒体の例には、主メモリ５６５、補助メモリ５７０（内部メモリ５７５、リムーバブル媒体５８０、および外部記憶媒体５９５を含む）、および通信インタフェース５９０と通信可能に結合された周辺機器（ネットワーク情報サーバまたは他のネットワーク装置を含む）が含まれる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム５５０に提供するための手段である。
ソフトウェアを用いて実施される一実施形態で、ソフトウェアはコンピュータ可読媒体上に記憶されて、リムーバブル媒体５８０、Ｉ／Ｏインタフェース５８５、または通信インタフェース５９０によってシステム５５０にロードされ得る。このような実施形態では、ソフトウェアは電気通信信号６０５の形態でシステム５５０にロードされる。プロセッサ５６０によって実行されると、ソフトウェアがプロセッサ５６０に本明細書に上述の本発明の特徴および機能を実行させることが好ましい。
一実施形態で、Ｉ／Ｏインタフェース５８５は、システム５５０の１つ以上の構成要素と１つ以上の入力および／または出力装置との間のインタフェースを提供する。入力装置例には、これらに限定されるものではないが、キーボード、タッチ画面または他のタッチ感知装置、生体感知装置、コンピュータマウス、トラックボール、ペンベースのポインティング装置等が含まれる。出力装置の例には、これらに限定されるものではないが、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）等が含まれる。
システム５５０は、音声上およびデータネットワーク上の無線通信を促進するオプションの無線通信構成要素も含む。無線通信構成要素は、アンテナシステム６１０、無線システム６１５およびベースバンドシステム６２０を含む。システム５５０で、無線周波数（ＲＦ）信号は、無線システム６１５の管理下で、アンテナシステム６１０によってオーバーザエアで送信および受信される。
一実施形態で、アンテナシステム６１０は、１つ以上のアンテナおよびスイッチング機能を実行してアンテナシステム６１０に送受信信号路を提供する１つ以上のマルチプレクサ（図示せず）を含み得る。受信路で、受信したＲＦ信号は、マルチプレクサから受信したＲＦ信号を増幅しおよび増幅した信号を無線システム６１５に送信する低雑音増幅器（図示せず）に結合することができる。
代替的実施形態で、無線システム６１５は、種々の周波数で通信するよう構成された１つ以上の無線を含み得る。一実施形態で、無線システム６１５は、１つの集積回路（ＩＣ）内に復調器（図示せず）と変調器（図示せず）を組み合わせ得る。復調器および変調器は、別個の構成要素としてもよい。到来路において、復調器はベースバンド受信音声信号を残してＲＦキャリア信号を取り除き、これは無線システム６１５からベースバンド６２０に送信される。
受信した信号が音声情報を含有する場合、ベースバンドシステム６２０は信号をデコードしてアナログ信号に変換する。その後、信号は増幅されてスピーカに送信される。ベースバンドシステム６２０は、顕微鏡からのアナログ音声信号も受信する。これらのアナログ音声信号は、デジタル信号に変換されてベースバンドシステム６２０によってエンコードされる。ベースバンドシステム６２０はまた、伝送のためにデジタル信号をコードし、無線システム６１５の変調器部分にルートされるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号とＲＦキャリア信号を混合して、アンテナシステムにルートされてパワー増幅器（図示せず）を通過し得るＲＦ送信信号を生成する。パワー増幅器は、ＲＦ送信信号を増幅してアンテナシステム６１０にルートし、信号は伝送のためにアンテナポートに切り替えられる。
また、ベースバンドシステム６２０はプロセッサ５６０と通信可能に結合される。中央処理装置５６０は、データ記憶領域５６５および５７０へのアクセスを有する。中央処理装置５６０は、メモリ５６５または補助メモリ５７０に記憶可能な命令（つまり、コンピュータプログラムまたはソフトウェア）を実行するよう構成されることが好ましい。また、コンピュータプログラムは、バスバンドプロセッサ６１０から受信されてデータ記憶領域５６５または補助メモリ５７０に記憶される、あるいは受信時に実行されてもよい。このようなコンピュータプログラムは、実行されると、既に記載したように、システム５５０が本発明の種々の機能を実行することを可能にする。例えば、データ記憶領域５６５は、種々のソフトウェアモジュール（図示せず）を含み得る。
種々の実施形態は、例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＥＰＧＡ）などの構成要素を用いて、主にハードウェアにおいて実装されてもよい。本明細書に記載の機能を実行可能なハードウェアステートマシンの実装も、関連技術の当業者に明らかである。種々の実施形態は、ハードウェアおよびソフトウェアの組み合わせを用いて実施されてもよい。
さらに、当業者は、本明細書に開示の上記図および実施形態に関して記載する種々の例示的論理ブロック、モジュール、回路および方法ステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されることが多いことを理解するであろう。ハードウェアおよびソフトウェアのこの可換性を明示するために、種々の例示的構成要素、ブロック、モジュール、回路およびステップが、それらの機能の観点から一般的に既に記載されている。こうした機能がハードウェアまたはソフトウェアとして実装されるか否かはシステム全体に課された特定の用途および設計の制約に依拠する。当業者は、記載の機能を特定の用途それぞれに対して方法を変えて実装できるが、このような実装の決定は、本発明の範囲を逸脱させるものとみなされるべきではない。加えて、モジュール、ブロック、回路またはステップ内の機能のグループ化は、記載を容易にするためのものである。特定の機能またはステップは、一方のモジュール、ブロックまたは回路から他方へ移動させることができる。
さらに、本明細書に開示の実施形態に関連して記載する種々の例示的論理ブロック、モジュール、機能および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡまたは他のプログラム可能な論理装置、別個のゲートまたはトランジスタ論理、別個のハードウェア構成要素、または本明細書に記載の機能を実行するよう設計された、これらの任意の組み合わせで実装または実行可能である。汎用プロセッサはマイクロプロセッサとし得るが、代替では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとし得る。プロセッサは、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、１つ以上のマイクロプロセッサとＤＳＰコア、またはこのような任意の他の構成として実装されてもよい。
加えて、本明細書に開示の実施形態に関して記載する方法またはアルゴリズムのステップは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはこれら２つの組み合わせで直接に実施されてもよい。ソフトウェアモジュールはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または、ネットワーク記憶媒体を含む任意の他の形態の記憶媒体内にあってもよい。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み出して、これに情報を書き込むこむことができるように、プロセッサに結合されてもよい。代替では、記憶媒体はプロセッサに組み込まれてもよい。プロセッサおよび記憶媒体がＡＳＩＣ内にあってもよい。
本明細書に記載のいずれのソフトウェア構成要素も、多様な形態をとり得る。例えば、構成要素はスタンドアロンソフトウェアパッケージであってもよく、あるいは、より大きなソフトウェア製品における「ツール」として組み込まれたソフトウェアパッケージであってもよい。これは、ネットワーク、例えばウェブサイトから、既存のソフトウェアアプリケーションにインストールするためのスタンドアロン製品またはアドインパッケージとしてダウンロード可能であってもよい。これは、クライエントサーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および／またはモバイルアプリケーションとして利用可能であってもよい。
特定の実施形態が既に記載されているが、記載の実施形態は例示にすぎないことを理解されたい。したがって、本明細書に記載のシステムおよび方法は、記載の実施形態に基づいて限定されるものではない。むしろ、本明細書に記載のシステムおよび方法は、上記記載と添付の図面を共に用いた場合に、以下の特許請求の範囲に照らしてのみ限定される。
Claims (22)
- 蛍光イメージングシステムにおいて取得される合成画像を生成する方法であって、
全合成共焦点画像を構築するために必要な、ピンホールマスクのサンプルに対する物理的位置を判定することと、
前記判定した物理的位置に対するランダム化された順序を制御モジュールで生成することと、
前記ランダム化された順序で前記判定した物理的位置にフォトマスクまたは前記サンプルを、前記制御モジュールの制御下で移動ステージを用いて移動することと、
前記サンプルを前記フォトマスクを介して励起光を用いて照明することと、
一組のデータポイントを生成するために、前記物理的位置のそれぞれにおいてセンサを用いて複数の画像をキャプチャすることと、
前記ランダム化された順序を用いて前記一組のデータポイントに基づいて合成画像を生成して、前記データポイントのうちの少なくともいくつかの輝度を測定することと、
前記一組のデータポイントのいくつかの前記輝度を、生成された画像における特定の観察されたイメージング効果を除去するために、このような特定の観察されたイメージング効果のモデルに基づいて調整することと、を含む方法。 - 前記複数の画像をキャプチャすることは、同一のキャプチャ設定を用いて前記複数の画像のそれぞれをキャプチャすることを含む、請求項１に記載の方法。
- 前記キャプチャされた画像において背景エネルギーから信号エネルギーを識別することを更に含む、請求項１に記載の方法。
- 前記データポイントのうちの少なくともいくつかの前記輝度を測定することは、前記キャプチャプロセスの別個のステップにおいて前記データポイントの信号強度の低下を測定することを含む、請求項１に記載の方法。
- 前記モデルは時間関数としての相対的輝度の曲線であり、前記データポイントのうちのいくつかの前記輝度を調整することは、前記曲線を前記データポイントに適合させることを含む、請求項１に記載の方法。
- 前記観察されたイメージング効果は、蛍光退色を含む、請求項１に記載の方法。
- 前記複数の画像をキャプチャすることは、電荷結合素子（ＣＣＤ）またはＣＭＯＳ素子を用いて前記複数の画像をキャプチャすることを含む、請求項１に記載の方法。
- 前記複数の画像をキャプチャすることは、共焦点ピンホールまたはマスクの助けなしに、前記センサを用いて前記複数の画像をキャプチャすることを含む、請求項１に記載の方法。
- 前記フォトマスクを移動することは、モータを用いて前記フォトマスクを移動することを含む、請求項１に記載の方法。
- 前記モデルを前記複数の画像の一部のみに関連付けられたデータポイントに適用し、前記複数の画像の他のデータポイントに近似補正を行うことを更に含む、請求項１に記載の方法。
- 構造化照明イメージングシステムであって、
フォトマスクと、
サンプルの全合成画像を構築するために必要な、フォトマスクの前記サンプルに対する物理的位置を判定し、前記判定した物理的位置に対するランダム化された順序を生成するよう構成された制御モジュールと、
前記フォトマスクを介して励起光を用いて前記サンプルを照明するよう構成された照明源と、
前記制御モジュールによって生成された前記ランダム化された順序に従って前記フォトマスクを移動するよう構成された１つ以上のモータと、
前記サンプルの複数の画像をキャプチャして一組のデータポイントを生成するよう構成されたセンサと、
前記ランダム化された順序を用いて、前記一組のデータポイントに基づいて合成画像を生成するよう構成され、前記データポイントのうちの少なくともいくつかの輝度を測定し、生成された画像における特定の観察されたイメージング効果を除去するために、このような特定の観察されたイメージング効果のモデルに基づいて前記データポイントのうちのいくつかの前記輝度を調整する、画像生成モジュールと、を備える、システム。 - 前記同一のキャプチャ設定を用いて、前記複数の画像のそれぞれがキャプチャされる、請求項１１に記載のシステム。
- 前記画像生成モジュールは、前記キャプチャされた画像における背景エネルギーから信号エネルギーを識別するよう構成される、請求項１１に記載のシステム。
- 前記データポイントのうちの少なくともいくつかの前記輝度を測定することは、前記キャプチャプロセスの別個のステップにおいて前記データポイントの信号強度の低下を測定することを含む、請求項１１に記載のシステム。
- 前記モデルは時間関数としての相対的輝度の曲線であり、前記画像生成モジュールは、前記曲線を前記データポイントに適合させることで前記データポイントのうちのいくつかの前記輝度を調整するよう構成される、請求項１１に記載のシステム。
- 前記観察されたイメージング効果は蛍光退色を含む、請求項１１に記載のシステム。
- 前記センサは電荷結合素子（ＣＣＤ）またはＣＭＯＳ素子を含む、請求項１１に記載のシステム。
- 前記センサは、共焦点ピンホールまたはマスクの助けなしに、前記複数の画像をキャプチャするよう構成される、請求項１１に記載のシステム。
- 前記モータは前記フォトマスクマスクを移動するよう構成される、請求項１１に記載のシステム。
- 前記画像生成モジュールは、前記モデルを前記複数の画像の一部のみに関連付けられたデータポイントに適用し、前記複数の画像の他のデータポイントにおいて近似補正を行うよう構成される、請求項１１に記載のシステム。
- 前記フォトマスクマスクは矩形マスクである、請求項１１に記載のシステム。
- 前記フォトマスクが少なくとも１つのピンホールパターンを含む、請求項１１に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562169669P | 2015-06-02 | 2015-06-02 | |
| US62/169,669 | 2015-06-02 | ||
| PCT/US2016/031568 WO2016195926A1 (en) | 2015-06-02 | 2016-05-10 | Systems and methods for generating a structured illumination image |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018523153A true JP2018523153A (ja) | 2018-08-16 |
| JP2018523153A5 JP2018523153A5 (ja) | 2019-06-13 |
| JP6891130B2 JP6891130B2 (ja) | 2021-06-18 |
Family
ID=56108695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017562590A Active JP6891130B2 (ja) | 2015-06-02 | 2016-05-10 | 構造化照明イメージを生成するためのシステムおよび方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10634892B2 (ja) |
| EP (1) | EP3304049B1 (ja) |
| JP (1) | JP6891130B2 (ja) |
| CN (1) | CN107683430B (ja) |
| WO (1) | WO2016195926A1 (ja) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005214728A (ja) * | 2004-01-28 | 2005-08-11 | Olympus Corp | 蛍光検出装置、濃淡情報補正方法、濃淡情報補正プログラムおよび走査型共焦点レーザ顕微鏡 |
| US20050237606A1 (en) * | 2000-04-18 | 2005-10-27 | Gary Greenberg | Apparatus & methods for creating real-time 3-D images and constructing 3-D models of an object imaged in an optical system |
| WO2007142339A1 (ja) * | 2006-06-08 | 2007-12-13 | Nikon Corporation | 観察装置および観察方法 |
| US20090046164A1 (en) * | 2007-04-10 | 2009-02-19 | University Of Rochester | Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects |
| JP2012504252A (ja) * | 2008-09-30 | 2012-02-16 | カール ツァイス マイクロイメージング ゲーエムベーハー | 構造化照明を備えた顕微鏡法のための改良された方法および装置 |
| JP2012078408A (ja) * | 2010-09-30 | 2012-04-19 | Olympus Corp | 標本観察装置 |
| US20120256101A1 (en) * | 2011-04-08 | 2012-10-11 | Korea Advanced Institute Of Science And Technology | Super-resolution microscopy system using speckle illumination and array signal processing |
| JP2015084057A (ja) * | 2013-10-25 | 2015-04-30 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6426835B1 (en) * | 1999-03-23 | 2002-07-30 | Olympus Optical Co., Ltd. | Confocal microscope |
| DE10327531B4 (de) * | 2003-06-17 | 2006-11-30 | Leica Microsystems Cms Gmbh | Verfahren zur Messung von Fluoreszenzkorrelationen in Gegenwart von langsamen Signalschwankungen |
| US7612350B2 (en) * | 2005-01-18 | 2009-11-03 | Olympus Corporation | Scanning microscope and specimen image obtaining method in which adjacent data obtaining points are not consecutively obtained |
| EP2703871A3 (en) * | 2005-05-25 | 2014-09-03 | Massachusetts Institute Of Technology | Multifocal scanning microscopy systems and methods |
| US8558998B2 (en) * | 2008-06-16 | 2013-10-15 | The Regents Of The University Of Colorado, A Body Corporate | Fourier domain sensing |
| US8693742B2 (en) * | 2008-12-17 | 2014-04-08 | The Regents Of The University Of Colorado | Three-dimensional single-molecule fluorescence imaging beyond the diffraction limit using a double-helix point spread function |
| US20120307247A1 (en) * | 2011-05-31 | 2012-12-06 | Nanyang Technological University | Fluorescence Microscopy Method And System |
| CN102621117B (zh) * | 2012-03-09 | 2014-03-12 | 福建师范大学 | 一种活细胞激光扫描共聚焦显微成像系统 |
| EP2713195B1 (en) * | 2012-09-28 | 2017-04-12 | Universität Heidelberg | High resolution microscopy by means of structured illumination at large working distances |
| CN103090787B (zh) * | 2013-01-29 | 2016-01-20 | 哈尔滨工业大学 | 基于被测表面荧光激发的共焦显微测量装置 |
| US10061111B2 (en) * | 2014-01-17 | 2018-08-28 | The Trustees Of Columbia University In The City Of New York | Systems and methods for three dimensional imaging |
| EP3304166B1 (en) * | 2015-06-02 | 2019-06-26 | Life Technologies Corporation | Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image |
-
2016
- 2016-05-10 CN CN201680031999.3A patent/CN107683430B/zh active Active
- 2016-05-10 EP EP16727570.0A patent/EP3304049B1/en active Active
- 2016-05-10 WO PCT/US2016/031568 patent/WO2016195926A1/en active Application Filing
- 2016-05-10 JP JP2017562590A patent/JP6891130B2/ja active Active
-
2017
- 2017-11-29 US US15/826,021 patent/US10634892B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050237606A1 (en) * | 2000-04-18 | 2005-10-27 | Gary Greenberg | Apparatus & methods for creating real-time 3-D images and constructing 3-D models of an object imaged in an optical system |
| JP2005214728A (ja) * | 2004-01-28 | 2005-08-11 | Olympus Corp | 蛍光検出装置、濃淡情報補正方法、濃淡情報補正プログラムおよび走査型共焦点レーザ顕微鏡 |
| WO2007142339A1 (ja) * | 2006-06-08 | 2007-12-13 | Nikon Corporation | 観察装置および観察方法 |
| US20090046164A1 (en) * | 2007-04-10 | 2009-02-19 | University Of Rochester | Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects |
| JP2012504252A (ja) * | 2008-09-30 | 2012-02-16 | カール ツァイス マイクロイメージング ゲーエムベーハー | 構造化照明を備えた顕微鏡法のための改良された方法および装置 |
| JP2012078408A (ja) * | 2010-09-30 | 2012-04-19 | Olympus Corp | 標本観察装置 |
| US20120256101A1 (en) * | 2011-04-08 | 2012-10-11 | Korea Advanced Institute Of Science And Technology | Super-resolution microscopy system using speckle illumination and array signal processing |
| JP2015084057A (ja) * | 2013-10-25 | 2015-04-30 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6891130B2 (ja) | 2021-06-18 |
| EP3304049B1 (en) | 2020-05-06 |
| EP3304049A1 (en) | 2018-04-11 |
| CN107683430A (zh) | 2018-02-09 |
| CN107683430B (zh) | 2021-01-01 |
| WO2016195926A1 (en) | 2016-12-08 |
| US10634892B2 (en) | 2020-04-28 |
| US20180157021A1 (en) | 2018-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10782514B2 (en) | Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image | |
| JP6416887B2 (ja) | 構造化照明を用いた組織試料の顕微鏡観察 | |
| JP2010160410A (ja) | 生体サンプル像取得装置、生体サンプル像取得方法及びプログラム | |
| US20130070054A1 (en) | Image processing apparatus, fluorescence microscope apparatus, and image processing program | |
| JP2021193459A (ja) | 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 | |
| JP2021507299A (ja) | 誘導放出抑制を伴う蛍光顕微鏡を使用してサンプルを結像するための方法 | |
| CA3083287A1 (en) | Systems, apparatuses and methods for simultaneous multi-plane imaging | |
| IL293269A (en) | Fluorescence imaging of a gemstone on a transparent stage | |
| US10921574B2 (en) | Systems and methods for stabilizing a sample stage in a structured illumination imaging system | |
| US11215803B2 (en) | Systems and methods for an interchangeable illumination filter set for use in a structured illumination imaging system | |
| JP6891130B2 (ja) | 構造化照明イメージを生成するためのシステムおよび方法 | |
| US9239292B2 (en) | Method and apparatus for tracking the motion of molecules in a microscope | |
| US11282175B2 (en) | Sample imaging and image deblurring | |
| JP6355961B2 (ja) | 標本観察装置 | |
| CN211927701U (zh) | 一种适于生物分子多重检测的成像系统 | |
| EP2458551A2 (en) | Observation apparatus and observation method | |
| JP2004144770A (ja) | 光源調整装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200417 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6891130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |