JP2014511183A - Ｅペトリ皿、ｅペトリ装置及びｅペトリシステム - Google Patents

Abstract

本発明は、試料面を有する透過層と、試料面に置かれた試料の、サブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器とを有するEペトリ皿を提供する。サブピクセルシフトされた投影画像は、照射源が発する複数の照射角度からの光に関連するものである。

Description

本発明の実施形態は概して、高解像度(HR)かつ広視野の顕微鏡及びその他の装置に関するものである。具体的に言えば、いくつかの実施形態は、高解像度かつ広視野の撮像のためのEペトリ皿(電子シャーレ)、Eペトリ装置及びEペトリシステムに関するものである。

（関連出願の相互参照）
本非仮特許出願は、2011年10月25日に「Scanning Projective Lensless Microscope System」とのタイトルで出願された米国特許出願第13/281,287号の一部継続出願であり、当該米国特許出願第13/281,287号は、2010年10月26日に「Scanning Projective Microscopy System for 2D and 3D Imaging」とのタイトルで出願された米国特許仮出願第61/406,916号及び2011年5月4日に「ePetri: An On-Chip Cell Imaging Platform based on Sub-Pixel Perspective Sweeping Microscopy」とのタイトルで出願された米国特許仮出願第61/482,531号に基づく優先権を主張する非仮特許出願である。また、本非仮特許出願は、2011年5月4日に「ePetri: An On-Chip Cell Imaging Platform based on Sub-Pixel Perspective Sweeping Microscopy」とのタイトルで出願された米国特許仮出願第61/482,531号及び2011年3月3日に「Electronic Petridish with Bright Field and Fluorescence Imaging Capabilities for Cell Culture Monitoring」とのタイトルで出願された米国特許仮出願第61/448,964号に基づく優先権を主張する非仮特許出願である。これらの仮特許出願の全内容は、あらゆる目的で参照により本明細書に組み入れられる。

また、本非仮特許出願は、以下の、同時係属の同一人に譲渡された米国仮特許出願に関連しており、以下の米国仮特許出願の全内容は、あらゆる目的で参照により本明細書に組み入れられる。
・2011年3月23日に「Super Resolution Optofluidic Microscopes for 2D and 3D Imaging」とのタイトルで出願された米国特許出願第13/069,651号。

さらに、2012年3月2日に「Tall Pixel」とのタイトルで出願された非仮特許出願第13/411103は、本願と同日に出願されており、あらゆる目的で参照により本明細書に組み入れられる。

生体撮像装置の小型化は、医療診断及び科学研究の方法を著しく変化させる可能性を有する。特に、コンパクトかつ低コストな顕微鏡は、受診可能な医療診断を大幅に広げ、大量の細胞を精査し自動的に特徴付けるための手段を提供し得る。このことは、Psaltis, D.らによる論文、「Developing optofluidic technology through the fusion of microfluidics and optics」、Nature、第442巻、381-386頁(2006年)に記載されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。例えば、小型撮像システムは、生体学ラボの大型顕微鏡の有用な代替物を提供し、多数の試料の並列撮像を可能にすることができる。コンパクトな顕微鏡のいくつかの例は、Cui, X.らによる論文、「Lensless high-resolution on-chip optofluidic microscopes for Caenorhabditis elegans and cell imaging」、Proceedings of the National Academy of Science、第105巻(31)、10670頁(2008年)、Seo, S.らによる論文、「Lensfree holographic imaging for on-chip cytometry and diagnostics」、Lab on a Chip、第9巻(6)、777-787頁(2009年)、Breslauer, D.らによる論文、「Mobile phone based clinical microscopy for global health applications」(2009年)及びZheng, G.らによる論文、「Sub-pixel resolving optofluidic microscope for on-chip cell imaging」、Lab on a Chip、第10巻(22)、3125-3129頁(2010年)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。従来の光学顕微鏡は、大きくて扱いにくいレンズを有しており、高コストで小型化が困難であった。

相補型金属酸化膜半導体(CMOS)撮像センサ技術の急速な進歩及び商用化努力により、安価かつ高ピクセル密度の撮像センサチップが広く利用可能となった。そうした撮像センサチップにより、大きくて扱いにくいレンズを有する従来の顕微鏡の設計に比べて、極めてコンパクトかつ低コストの新たな顕微鏡の実施形態がここ数年間の間に開発された。そうした新たな開発の例としては、流体光学顕微鏡及びデジタルインラインホログラフィック顕微鏡の2つが挙げられる。流体光学顕微鏡技術のいくつかの例は、Heng, X.らによる論文、「Optofluidic microscopy - method for implementing a high resolution optical microscope on a chip」、Lab Chip、第6巻、1274-1276頁、Cui, Xiquanらによる論文、「Lensless high-resolution on-chip optofluidic microscopes for Caenorhabditis elegans and cell imaging」、Proceedings of the National Academy of Science、第105巻、10670頁(2008年)並びにZheng, G.、Lee, SA.、Yang, S.及びYang, C.による論文、「Sub-pixel resolving optofluidic microscope for on-chip cell imaging」、Lab Chip、第10巻、3125-3129頁(2010年)(「Zheng」と呼称する)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。デジタルインラインホログラフィック顕微鏡のいくつかの例は、Repetto, L.、Piano, E.及びPontiggia, C.による論文、「Lensless digital holographic microscope with light-emitting diode illumination」、Opt. Lett.、第29巻、1132-1134頁(2004年)(「Repetto」と呼称する)、Mudanyali, O.らの論文、「Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications」、Lab on a Chip、第10巻、1417-1428頁(2010年)(「Mudanyali」と呼称する)、Xu, W.、Jericho, M.、Meinertzhagen, I.及びKreuzer, H.による論文、「Digital in-line holography for biological applications」、Proc Natl Acad Sci USA、第98巻、11301-11305頁(2001年)(「Xu」と呼称する)、Garcia-Sucerquia, J.らによる論文、「Digital in-line holographic microscopy」、Appl. Opt.、第45巻、836-850頁(2006年)(「Garcia-Sucerquia」と呼称する)、Malek M.、Allano, D.、Coetmellec, S.及びLebrun, D.による論文、「Digital in-line holography: Influence of the shadow density on particle field extraction」、Opt. Express、第12巻、2270-2279頁(2004年)(「Malek」と呼称する)並びにIsikman, S.O.らによる論文、「Lens-free optical tomographic microscope with a large imaging volume on a chip」、Proc Natl Acad Sci USA、第108巻、7296-7301頁(2011年)に見ることができる。上記の論文の全内容は、あらゆる目的で参照により本明細書に組み入れられる。

流体光学顕微鏡及びインラインホログラフィック顕微鏡の技術はいずれも、レンズを必要としないため、例えば、収差及び色度といった光学的限界を回避することができる。どちらの技術も分散性の試料(例えば、血液、流体細胞培養及びその他の細胞又は微生物の懸濁液)の撮像に適している。しかし、いずれの技術も、コンフルエントな細胞培養又は細胞が相当な長さスケールで密接に結合している何らかの試料の場合は上手く機能しない。

流体光学顕微鏡装置の場合は、撮像を行うために、走査領域全体に試料の流体的(例えば、マイクロ流体的)な流れが必要とされる。粘着性の、コンフルエントな又は近接配置された試料は通常、流体モードの撮像と相容れない。さらに、実視野は、流体チャネルの構成により制限され得る。

デジタルインラインホログラフィック顕微鏡の場合は、制御された光下の対象物の干渉強度分布が計測され、それから、画像再構築アルゴリズムを適用して上記対象物の顕微鏡画像がレンダリングされる。アルゴリズムの2つの例は、Liu, G.及びScott, P.による論文、「Phase retrieval and twin-image elimination or in-line Fresnel holograms」、J Opt Soc Am A、第4巻、159-165頁(1987年)(「Liu」と呼称する)、Fienup, JR.の論文、「Reconstruction of an object from the modulus of its Fourier transform」、Opt Lett、第3巻、27-29頁(1978年)(「Fienup」と呼称する)並びにKoren, G.、Polack, F.及びJoyeux, D.による論文、「Iterative algorithms for twin-image elimination in in-line holography using finite-support constraints」、J Opt Soc Am A、第10巻、423-433頁(1993年)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。画像品質は、対象物の大きさ、散乱特性及び計測プロセスの信号対雑音比(SNR)に大きく依存する。このことは、「Mudanyali」、「Garcia-Sucerquia」、「Malek」、「Fienup」、Lai, S.、King, B.及びNeifeld, MAによる論文、「Wave front reconstruction by means of phase -shifting digital in-line holography」、Opt Commun.、第173巻、155-160頁(2000年)(「Lai」と呼称する)並びにRodenburg, J.、Hurst, A.及びCullis, A.による論文、「Transmission microscopy without lenses for objects of unlimited size」、Ultramicroscopy、第107巻、227-231頁(2007年)(「Rodenburg」と呼称する)に記載されており、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。上記方法は、十分に分離された対象物(例えば、希釈血液の塗抹標本)には上手く機能する。しかし、こうした方法は、サブミクロン解像度で連続領域全体が0.1mm²より大きな面積を占める対象物には恐らく適用されていなかった。このことは、「Repetto」、「Madanyali」、「Xu」、「Garcia-Sucerquia」及びBiener, G.らの論文、「Combined reflection and transmission microscope for telemedicine applications in field settings」、Lab Chip、第11巻、2738-2743頁(2011年)に見ることができ、この全内容は、あらゆる目的で参照により本明細書に組み入れられる。

上述した制限の理由は公知である。つまり、強度記憶プロセスにおける位相情報の消失である。「Liu」に記載されているように、位相情報を回復するためには、オブジェクトサポートを反復的位相回復アルゴリズムにおいて用いる必要があり、そのためには、撮像領域(強度データが適用される領域)とオブジェクト領域(アプリオリなオブジェクト拘束が適用される領域)との間で光照射野が交互に伝播される。「Liu」に記載されているように、テストオブジェクトが実数又は非負である場合は、強力な非負サポートを適用して記憶された回折強度から位相情報を抽出することは容易である。しかし、デジタルインライン顕微鏡では、オブジェクト領域の光照射野は複素数であるため、オブジェクトのサポートが十分に隔離されている場合(すなわち、まばらな拘束)又は縁が明確に規定されている場合(真の境界)のみ位相回復が可能である。このことは、「Rodenburg」、「Fienup」、Denis, L.、Lorenz, D.、Thiebaut, E.、Fournier, C及びTrede, D.による論文、「Inline hologram reconstruction with sparsity constraints」、Opt Lett、第34巻、3475-3477頁(2009年)、並びにZhang, F.、Pedrini, G.及びOsten, W.による論文、「Phase retrieval of arbitrary complex-valued fields through aperture-plane modulation」、Phys Rev A、第75巻、043805頁(2007年)に記載されており、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。また、上記技術の干渉性は、コヒーレンスベースの雑音源(例えば、スペックル及び相互干渉)が存在し、対処されなければならない可能性を意味する。このことは、「Garcia-Sucerquia」、「Malek」並びにXu, L.、Miao, J.及びAsundi, A.による論文、「Properties of digital holography based on in-line configuration」、Opt Eng、第39巻、3214-3219頁(2000年)に記載されており、この全内容は、あらゆる目的で参照により本明細書に組み入れられる。デジタルインラインホログラフィック顕微鏡の問題を緩和するための方法が、「Lai」、「Rodenburg」並びにMico, V.、Garcia, J、Zalevsky, Z.及びJavidi, B.による論文、「Phase-Shifting Gabor Holographic Microscopy」、J Disp Technol、第6巻、484-489頁(2010年)に報告されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。そうした緩和方法に基づいて生成された画像は、干渉により生じ得るアーティファクトを有し、干渉に起因する雑音源により、従来の顕微鏡を用いて得られる画像に比べて、同一性が低く低品質である。

本発明の実施形態は、大きくて扱いにくいレンズを用いた従来の流体光学システム及びインラインホログラフィックシステムに比べて改良されたシステムに関するものである。

本発明の実施形態は、高解像度かつ広視野の撮像のためのEペトリ皿、Eペトリ装置及びEペトリシステムに関するものである。Eペトリ皿は、試料面と、撮像される試料を置き、収容するためのウェルとを有する。また、Eペトリ皿は、検出面を備えたCMOS撮像センサチップ等の光検出器を有する。さらに、Eペトリ皿は、検出面と試料面との間に透過層を有する。透過層は、光検出器の一部とすることができる。Eペトリ装置は、Eペトリ皿及びEペトリ皿を載置するための構造を有する。また、Eペトリ装置は、試料面に置かれた試料に対して、様々な時間に様々な照射角度から照射を行うための照射源(例えば、スマートフォン)を有する。様々な照射角度からの照射は、試料の投影を検出面に生成する。光検出器は、試料の検出面でのサブピクセルシフトされた投影画像列を撮影する。さらに、Eペトリ装置は、光検出器の一部として又は光検出器とは別個に、プロセッサを有する。プロセッサは、光検出器により撮影されたサブピクセルシフト低解像度(LR)投影画像列から、高解像度(HR)画像を再構築することができる。

一実施形態は、Eペトリ皿であって、試料面を有する透過層と、上記試料面に置かれた試料の、サブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器とを有するＥペトリ皿に関する。上記サブピクセルシフトされた投影画像は、照射源により様々な照射角度から発せられる光に関連する。

別の実施形態は、Eペトリ装置であって、試料面を有する透過層と、複数の照射角度から上記試料面に置かれた試料に対して光を発するように構成された照射源と、上記試料のサブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器とを有するＥペトリ装置に関する。上記サブピクセルシフトされた投影画像列は、上記複数の照射角度に対応する。

別の実施形態は、１つ又は複数のEペトリ装置と、プロセッサとを有するEペトリシステムに関する。各Eペトリ装置は、試料面を有する透過層と、複数の照射角度から上記試料面に置かれた試料に対して光を発するように構成された照射源と、上記試料のサブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器とを有する。上記サブピクセルシフトされた投影画像列は、上記複数の照射角度に対応する。プロセッサは、上記１つ又は複数のEペトリ装置のうち少なくとも１つのEペトリ装置からの、上記試料の上記サブピクセルシフトされた投影画像列に基づいて、上記試料のサブピクセル解像度画像を生成するように構成されている。
に関する。

別の実施形態は、実験時に、Eペトリシステムを用いて、試料のサブピクセル解像度画像を、間隔毎に自動的に生成する方法に関する。本方法は、Eペトリ皿の試料面に試料を移すステップを含む。本方法はさらに、上記間隔のそれぞれにおいて、上記試料に対して複数の照射角度から光を発するステップを含む。本方法はさらに、上記間隔のそれぞれにおいて、光検出器を用いて、上記複数の照射角度に対応するサブピクセルシフトされた投影画像列を撮影するステップを含む。本方法はさらに、上記間隔のそれぞれにおいて、上記サブピクセルシフトされた投影画像列と動きベクトルとに基づいて、上記試料のサブピクセル解像度画像を構築するステップを含む。

本発明の実施形態に従った、SPLMシステムの構成部品を示す概略図である。 本発明の実施形態に従った、SPLM装置又はEペトリ装置の構成部品及び部分構成部品を示す斜視図である。 (a)〜(c)は、本発明の実施形態に従った、撮像ラン(imaging run)の照射サイクルにおけるSPLM装置又はEペトリ装置の構成部品及び部分構成部品を示す斜視図である。 (a)及び(b)は、本発明の実施形態に従った、照射ディスプレイの走査パターンを示す図である。 (a)は、本発明の実施形態に従った、あるサンプリング時間にSPLMシステム又はEペトリシステムの光検出器で撮影されたLR投影画像を示す図であり、(b)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムにより再構築されたHR画像を示す図である。 (a)は、本発明の実施形態に従った、1つのサンプリング時間にSPLMシステム又はEペトリシステムの光検出器で撮影されたヒーラ(HeLa)細胞試料の一部のLR投影画像を示す図であり、(b)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムにより再構築されたHR画像を示す図である。 (a)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムにより構築されたコンフルエントなヒーラ細胞試料の広視野のカラーHR画像を示す図であり、(b1)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムの光検出器で撮影された、図7(a)の小領域のLR投影画像を示す図であり、(c1)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムの光検出器で撮影された、図7(b1)の小領域のLR投影画像を示す図であり、(b2)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムで構築された、図7(a)の同一の小領域の再構築HR画像を示す図であり、(c2)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムで構築された、図7(b2)の小領域の再構築HR画像を示す図であり、(d)は、対物レンズ(40X、NA=0.66)を有する顕微鏡を用いた、同様の細胞の従来の顕微鏡画像を示す図である。 (a)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムで構築された、500nmの微粒子を有する試料(Polysciences社)のHR画像を示す図であり、(b)は、本発明の実施形態に従った、SPLMシステム又はEペトリシステムで構築された、図7の染色ヒーラ細胞試料の微小特徴を拡大して示すHR画像を示す図である。 本発明の実施形態に従った、SPLM装置又はEペトリ装置の例示的な動作を示すフローチャートである。 本発明の実施形態に従った、3つの異なる照射角度θ₁、θ₂及びθ₃から得られる光検出器での3つの投影を概略的に示す図である。 本発明の実施形態に従った、n個のEペトリ装置を有するEペトリシステムの概略図及び当該Eペトリ装置のうち一のEペトリ装置の拡大図である。 本発明の実施形態に従った、1つのEペトリ装置を有するEペトリシステムの写真画像である。 (a)は、本発明の実施形態に従った、Eペトリ皿及びサイズ比較のための25セント硬貨の写真画像を示す図であり、(b)は、本発明の実施形態に従った、図13(a)のEペトリ皿を有するEペトリ装置を部分的に分解した状態の写真画像を示す図であり、(c)は、本発明の実施形態に従った、図13(b)のEペトリ装置を組み立てた状態の写真画像を示す図である。 (a1)、(a2)及び(a3)は、赤色、緑色及び青色のLED照射(20Xの対物レンズ、0.5 N.A.)を用いた従来の顕微鏡画像を示す図であり、(a4)は、図14(a1)、図14(a2)及び図14(a3)の赤色、緑色及び青色の画像に基づいて構築されたカラー画像を示す図であり、(b1)、(b2)及び(b3)は、本発明の実施形態に従った、赤色、緑色及び青色それぞれの光源走査でEペトリシステムにより得られたヒーラ細胞試料の一部の再構築されたサブピクセル解像度画像を示し、(b4)は、図14(b1)、図14(b2)及び図14(b3)の赤色、緑色及び青色の画像に基づいて再構築されたサブピクセル解像度カラー画像を示す図である。 (a)は、本発明の実施形態に従った、研究期間中の時間t = 10hr(時間)、t = 17. 5hr、t = 25hr及びt=32.5hrを開始時間として、あるサブ位置からEペトリシステムにより得られたヒーラ細胞試料の一部の経時的再構築画像を示す図であり、(b)は、本発明の実施形態に従った、生物学者により注釈が付された3つの細胞ファミリの軌跡を表すグラフと、Eペトリシステムのホストコンピュータの第二プロセッサにより処理された細胞ファミリの系統樹とを示す図である。 本発明の実施形態に従った、Eペトリシステムによる実験において、サブピクセル解像度画像及び/又はその他のデータを、間隔毎に自動的に再構築及び表示するための例示的な方法を示すフローチャートである。 本発明の実施形態に従った、SPLMシステム又はEペトリシステムにおいて存在し得るサブシステムを示すブロック図である。

以下、本発明のこれら又はその他の実施形態について、より詳細に説明する。

成長中のコンフルエントな試料(例えば、細胞培養)を自律的に撮像するための高解像度、広視野、かつ高コスト効率の顕微鏡の方法に対する需要は、特に比較的長期間の研究において高まっている。このことは、Schroeder, T.による論文、「Long-term single-cell imaging of mammalian stem cells」、Nature Methods 8、S30-S35頁、(2011年)に記載されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。そうした方法の利点を活かした実験のいくつかの例としては、(1)Cohen, A. R.、Gomes, F. L. A. F.、Roysam, B.及び Cayouette, M.による論文「Computational prediction of neural progenitor cell fates」(2010年)に記載されているような、神経前駆細胞の分裂前における娘細胞の運命決定、(2)Eilken, H. M.、Nishikawa, S. I.及びSchroeder, T.による論文、「Continuous single-cell imaging of blood generation from haemogenic endothelium」、Nature 457、896-900頁(2009年)に記載されているような、血管内皮の存在、(3)Costa, M. R.らによる論文、「Continuous live imaging of adult neural stem cell division and lineage progression in vitro」、Development 138、1057頁(2011年)及びDykstra, B.らによる論文(National Acad Sciences出版)に記載されているような、神経・造血幹細胞及び神経・造血前駆細胞の分裂様式及び系列選択、(4)Repetto, G.、del Peso, A.及びZurita, J. L.による論文、「Neutral red uptake assay for the estimation of cell viability/cytotoxicity」、Nature Protocols 3、1125-1131頁(2008年)に記載されているような、ニュートラルレッドによる染色を用いた生体内組織培養研究、(5)Borenfreund, E.及びPuerner, J. A.による論文、「Toxicity determined in vitro by morphological alterations and neutral red absorption」、Toxicology Letters 24、119-124頁(1985年)に記載されているような、毒性化合物の検出並びに(6)Cavanaugh, P. F.らの論文、「A semi-automated neutral red based chemosensitivity assay for drug screening」、Investigational new drugs 8、347-354頁(1990年)に記載されているような、薬物スクリーニングが挙げられる。上記の参照文献は、あらゆる目的で参照により本明細書に組み入れられる。実験には多大な労力を要し、大量の分析対象を効率的に撮像することは困難であるため、上記の例等における実験形式は課題であり続けている。本発明の実施形態は、これらの課題及びその他の課題を解決することができる。

本発明の実施形態は、成長中のコンフルエントな試料(例えば、細胞培養)の広視野かつサブピクセル(例えば、細胞以下の)解像度で自動的に撮像することが可能なチップ規模のレンズレス顕微鏡技法を提供するEペトリ皿及びSPLMの装置及びシステムを含むものである。一実施形態において、例えば、Eペトリ装置は、6mm x 4mmの撮像範囲及び660nmの解像度で試料を撮像することができる。こうしたEペトリ及びSPLMの装置及びシステムは、定期的又はそうでなければ連続的に試料を経時的に撮像するよう自動化することができる。また、これらの装置及びシステムは、染色された試料の撮像に用いることができる。Eペトリ及びSPLMの装置は、コンパクトにすることができるため、多数の装置を培養器に置いて、細胞培養成長等の試料の変化を培養器内で直接撮像及び追跡することができる。

上記の性能等により、本自己撮像型顕微鏡技法は、医学及び科学の分野におけるペトリを用いた実験(例えば、細胞培養)及びその他のリアルタイムな撮像方法を著しく向上させることができる。例えば、このコンパクトかつ低コストな顕微鏡撮像技法を用いることにより、ペトリ皿を用いた実験は、従来の労力を要するプロセスから自動化及び簡素化されたプロセスに変換され得る。さらに、本技法は、ラボでの機器の使用及び汚染リスクを抑制することができる。また、非自律的なペトリ皿から自己撮像型のペトリ皿へのこの将来的な技術の移行は、時宜を得ている。なぜなら、(携帯電話のカメラ及びウェブカメラに広く用いられている)高性能CMOS撮像センサは最近、リサイクル部品又は使い捨て部品として用いることが可能な価格に達したからである。Eペトリ及びSPLMの装置及びシステムは、上記の性能により、長期的な(細胞培養の)撮像及び追跡の用途に適したスマートペトリ皿のプラットフォームを提供する。例えば、Eペトリ及びSPLMの装置及びシステムは、従来の方法(例えば、大きくて扱いにくい顕微鏡又はプレートリーダ)を用いて各細胞を生体内で並列的に計数及び追跡するのが困難であるシステム生物学、細胞成長及び生体外薬物スクリーニングの研究において、時間分解情報を考察するために用いることができる。

Eペトリ及びSPLMの装置及びシステムの上記実施形態等について、以下、添付の図面を参照しながら説明する。実施形態は、Eペトリシステムを有し、当該Eペトリシステムは、試料面と、撮像される試料が載置及び収容されるウェルとを備えたEペトリ皿を有する1つ又は複数のEペトリ装置を有する。また、本発明の実施形態によれば、Eペトリシステムは、培養器、外部プロセッサ及び/又はその他の構成部品を有する。さらに、Eペトリ皿は、検出面を有する光検出器(例えば、CMOS撮像センサチップ)と、検出面及び試料面の間の透過層とを有する。また、Eペトリ装置は、Eペトリ皿と、当該Eペトリ皿の試料面に置かれた試料に対して、様々な時間に様々な照射角度から照射を行うための照射源(例えば、スマートフォン)とを有する。それぞれの照射角度からの照射は、試料の投影を検出面に生成する。光検出器は、試料の検出面でのサブピクセルシフトされた投影画像列を撮影する。また、Eペトリシステムは、プロセッサを有する。プロセッサは、システムの任意の構成部品に一体化しても良いしそうしなくても良い。プロセッサは、光検出器により撮影されたサブピクセルシフト投影画像列から、より高解像度の画像を再構築することができる。他の実施形態は、撮像される試料が載置される試料面と、照射源と、検出面を有する光検出器と、検出面及び試料面の間の透過層と、プロセッサとを有するSPLM装置を有する。

Eペトリ及びSPLMの装置及びシステムは、同様の一般的な撮像方法を利用したものである。まず、装置の試料面に試料を置く。照射サイクル中に、照射源は、異なる照射角度から試料に対して照射を行う。例えば、LCDを用いた場合は、光素子は、光素子の位置を変化させるように様々なタイミングで点灯する光ピクセルの様々なセットの形態とすることができる。発光コンポーネントの様々なセットの位置については、試料のサブピクセルシフトされた投影を光検出器の検出面に生成するようなパターンとすることができる。光検出器は、検出面でのサブピクセルシフトされた投影画像(フレーム)の列を撮影することができる。プロセッサは、適切な推定アルゴリズムを用いて、サブピクセルシフトされた投影の動きベクトルを算出することができる。そして、プロセッサは、超解像アルゴリズムを用いて、サブピクセルシフトされた投影画像列及び算出された動きベクトルから、試料のサブピクセル解像度又はその他のHRの画像を構築することができる。様々な撮像方法の下で、Eペトリ及びSPLMの装置/システムは、HRモノクロ2D画像、HRモノクロ3D画像、HRカラー2D画像及び/又はHRカラー3D画像を生成することができる。デジタルフォーカス方法においては、こうした装置/システムは、試料を通る平面での動きベクトルを用いることにより、その平面で試料のHR画像のピントを合わせて、HR画像を構築することができる。

上記撮像方法は、最近の高性能撮像センサチップの広範かつ安価な利用可能性を利用して、低コストな自動化された顕微鏡方法を提供する。主要な2種類のレンズレス顕微鏡方法、すなわち、流体光学顕微鏡及びインラインホログラフィック顕微鏡とは異なり、上記撮像方法は、細胞培養又は細胞が密接に結合しているいかなる試料にも十分対応することができる。

本発明の実施形態は、1つ又は複数の技術的効果を実現する。実施形態においては、照射源は、試料と検出面との間の距離に比べて、検出面から遠い距離に置かれている。したがって、光素子のわずかな並進が、検出面における投影の大きな並進に対応する。このような構成により、照射源は、投影のサブピクセルシフトを容易かつ正確に制御及び維持することができる。そして、上記装置は、正確に制御されたサブピクセルシフトされた投影に基づいて、正確なサブピクセル解像度画像を生成することができる。いくつかの実施形態において、装置は、従来の対物レンズ(20x〜40X)を用いた顕微鏡と互換性のある解像度を有する画像を生成することができる。これにより、オブジェクトのサブピクセルの動きを制御するためのアクチュエータ及びコントローラ又はオブジェクトを保持するためのプラットフォームを用いるその他のシステム(例えば、従来のマイクロ走査システム)に比べて、効果を実現することができる。

実施形態の他の効果としては、上記方法は、コンフルエントな試料及びオブジェクトが相当な長さにわたって密接に結合しているその他の試料の高解像度撮像のための自律的、費用効果的及び高品質な顕微鏡の解決方法を提供することができる、という点が挙げられる。1つの効果は、システム及び装置を、従来の顕微鏡に比べて低いコストでコンパクト(例えば、チップ規模)にすることができるというものである。上記のシステム及び装置は、コンパクトかつ低コストにすることができるため、複数の装置を容易に並列的に用いて多数の試料を撮像することができる。例えば、いくつかのEペトリ装置を1つの培養器に置きながら、1つのラップトップコンピュータのディスプレイで監視することができる。こうしたコンパクトなプラットフォームにより、ラボ試験はより能率的となり、より少ないラボ機器を配置するだけで済む。別の効果は、システム及び装置は、その他のデータを自動的に撮像することができ、それにより、ラボ実験の人的労力が削減できるというものである。自動撮像のいくつかの利点は、Levin-Reisman, I.らによる論文、「Automated imaging with ScanLag reveals previously undetectable bacterial growth phenotypes」、Nat Meth第7巻(9号)、737-739頁(2010年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。実施形態の装置により用いられる撮像の自動化された特性により、汚染リスクは低減され得る。また、実験手順を大幅に効率化し、より正確にすることができる。

SPLMのシステム及び装置の構成部品については、第I項で詳細に説明する。なお、第I項では、Eペトリのシステム及び装置のいくつかの構成部品についても説明する。SPLM及びEペトリのシステム及び装置で用いる撮像方法については、第II項で説明する。Eペトリのシステム及び装置の構成部品については、第III項で詳細に説明する。ただし、Eペトリのシステム及び装置のいくつかの構成部品については、第I項でも説明する。

I.走査型投影レンズレス顕微鏡(SPLM)システム

図1は、本発明の実施形態に従った、SPLMシステム10の構成部品及び部分構成部品を示す概略図である。SPLMシステム10は、SPLM装置100及びホストコンピュータ200を有する。

SPLM装置100は、試料(例えば、コンフルエントな試料)が置かれる試料面140を有する。SPLMシステム10は、試料150の少なくとも一部を撮影することができる。図示された例においては、5つのオブジェクト152(例えば、細胞)を有する試料150が試料面140に置かれている。5つのオブジェクト152が示されているが、試料150は、任意の適切な数(例えば、1、2、10、100及び1000等)のオブジェクト152又はオブジェクト152の1つまたは複数の部分を有していてもよい。

SPLM装置100はさらに、走査照射源110を有し、当該走査照射源110は、第一プロセッサ112、第一のコンピュータ読み取り可能な媒体(CRM)114及び照射ディスプレイ116(例えば、LCD及び発光ダイオード(LED)ディスプレイ等)を有する。第一プロセッサ112は、照射ディスプレイ116及び第一CRM114と電子通信状態にある。照射ディスプレイ116は、照射118(例えば、コヒーレント光)を生成することが可能な光素子117(例えば、LCD又はLEDの1つ又は複数のピクセル)を有する。照射ディスプレイ116はさらに、ディスプレイ面119を有する。光素子117は、図示された例では、ディスプレイ面119上に位置する。他の実施形態においては、ディスプレイ面119と光素子117との間に透過層を置くことができる。また、透過層は、いくつかの実施形態においては、ディスプレイ面119の外部に置くことができる。また、走査照射源110は、x軸、y軸(図示しない)及びz軸を有する。x軸及びy軸は、ディスプレイ面119と同一平面に在る。z軸は、上記平面に直交している。

走査照射源110は、試料150に対して様々な照射角度から照射118を行うため、光素子117をディスプレイ面119の様々な走査位置に走査(掃照)又はそうでなければ並進させることができる。照射118のためのシフト光素子117(源)は、試料150の(図3に示されているような)シフトされた投影170を検出面162に生成する。図1において、光素子117は、撮像ラン(imaging run)の走査サイクルにおけるある時間tの走査位置で示されている。SPLM装置100の各走査サイクルとは、例えば、その走査サイクルにおいて、走査照射源110が、光素子117を走査位置に走査又はそうでなければ並進させる時間間隔のことを言う。SPLM装置100の撮像ランとは、例えば、SPLMシステム10の1つ又は複数の動作により、1つ又は複数の走査サイクルにおいて収集された光データに基づくHR画像が生成される時間間隔のことを言う。実施形態において、光素子117は、走査サイクル中に、ディスプレイ面119上の走査位置:(x_{i=1 to n}, y_{j= 1 to m})の二次元(n x m)アレイにおけるn x m個の走査位置にシフトすることができる。

また、SPLM装置100は、投影画像を撮影するための光検出器160を有する。光検出器160は、検出領域164を備えた検出面162を有する。検出面162は、ディスプレイ面119から距離dの位置に置かれている。光検出器160はさらに、試料面140と検出面162との間に置かれた透過層165(例えば、薄厚の透過保護層)を有する。走査サイクル中に、光素子117からの照射118は、試料150の(図3に示されているような)投影170を検出面162に生成する。光検出器160は、走査サイクル中に、試料150の1つ又は複数のサブピクセルシフトされたLR投影画像列をサンプリング(撮影)することができる。サブピクセルシフトされたLR投影画像とはそれぞれ、例えば、その画像列における一つのLR投影画像からサブピクセル分の距離だけシフトされた、隣接するLR投影画像のことを言う。画像列における隣接するLR投影画像とは、例えば、距離が近い2つのLR投影画像のことを言う。いくつかの場合において、隣接するLR投影画像は、走査サイクル中に時間的に連続して撮影された投影画像のことを示すこともある。

点線で示されているように、光検出器160は、任意選択的に、第一プロセッサ112と電子通信させて、光検出器160によるサンプリングを走査照射源110による走査と同期させることができる。光検出器160はさらに、x'軸、y'軸(図示しない)及びz'軸を有する。X'軸及びy'軸は、光検出器160の検出面162と同一平面に在る。z'軸は、上記平面に直交している。

さらに、SPLM 10は、ホストコンピュータ200を有し、当該ホストコンピュータ200は、第二プロセッサ210、第二プロセッサ210と電子通信状態にある第二CRM220及び第二プロセッサ210と電子通信状態にある画像ディスプレイ230を有する。第二プロセッサ210は、光検出器150からの1つ又は複数のサブピクセルシフトされたLR投影画像列に関連するデータを受信することができる。第二プロセッサ210はさらに、上記データに基づいて、投影170の検出面162での動きベクトルを特定することができる。第二プロセッサ210はそれから、適切な超解像アルゴリズム(SRアルゴリズム)を用いて、上述した動きベクトル及び1つ又は複数のサブピクセルシフトされたLR投影画像列データに基づく試料150の1つ又は複数のHR(例えば、サブピクセル解像度の)画像を生成することができる。第二プロセッサ210は、上記HR画像及び/又はその他の画像を表示するために、画像ディスプレイ230と電子通信状態にある。

図1のSPLMシステム10の例示的な撮像ランにおいて、走査照射源110は、ディスプレイ面119上の座標(x_{i=1 to n}, y_{j= 1 to m})を有するn x m個の走査位置の二次元(n x m)アレイに光素子117を走査又はそうでなければ並進させることができる。走査照射源110は、走査パターンに応じて、光素子117を走査位置に走査(掃照)又はそうでなければ並進させる。光素子117からのそれぞれの走査位置への照射118は、試料150のシフトされた投影170を光検出器160の検出面162に生成する。走査中に、光検出器160は、1つ又は複数のサブピクセルシフトされたLR投影画像列を検出領域164で撮影する。第二プロセッサ210は、光検出器160から、上記の1つ又は複数の画像列のうち少なくとも1つの画像列のデータを受信する。第二プロセッサ210は、上記データから、サブピクセルシフトされた投影170の検出面162での動きベクトルを特定する。第二プロセッサ210はさらに、上述した試料150の少なくとも1つのサブピクセルシフトされたLR投影画像列からのデータ及び/又は特定された動きベクトルと共に、適切な超解像アルゴリズムを用いて、試料150の1つ又は複数のHR画像を構築することができる。

図2は、本発明の実施形態に従った、SPLM装置100又はEペトリ装置の構成部品及び部分構成部品を示す斜視図である。SPLM装置100又はEペトリ装置は、携帯通信装置(例えば、携帯電話及びタブレット等)の形態の走査照射源110と、光検出素子166の二次元アレイ(例えば、CMOS撮像センサ)の形態の光検出器160とを有する。光検出器160は、検出面162及び薄厚の透過層165を有する。1つのオブジェクト152(例えば、細胞)を有する試料150が試料面140(図示しない)に置かれている。薄厚の透過層165は、検出面162と試料面140との間に在る。この例において、走査照射装置110は、LCDの形態の照射ディスプレイ116(図示しない)を有する。LCDは、発光素子(例えば、ピクセル)の二次元アレイを有する。走査された光素子117は、走査パターンに応じて照射118を行う、LCD116の連続する発光素子のセットの形態である。各セットは、1つ又は複数の発光コンポーネントを有する。連続する発光コンポーネントのセットは、ディスプレイ面119上の(x_{i=1 to n}, y_{j= 1 to m})に位置するn x m個の走査位置の二次元(n x m)アレイで照射118を行う。図2において、光素子117は、走査サイクルの1つの走査位置で示されている。光素子117からの照射118は、オブジェクト152の1つの投影170を光検出器160の検出面162に生成する。

図3(a)、(b)及び(c)は、本発明の実施形態に従った、撮像ランの走査サイクルにおけるSPLM装置100又はEペトリ装置の構成部品及び部分構成部品を示す斜視図である。SPLM装置100又はEペトリ装置は、照射118を行う走査照射源110と、光検出素子166の二次元アレイの形態の光検出器160とを有する。光検出器160は、検出面162及び薄厚の透過層165を有する。1つのオブジェクト152(例えば、細胞)を有する試料150が試料面140に置かれている。薄厚の透過層165は、検出面162と試料面140との間に在る。また、SPLM装置100又はEペトリ装置は、x軸、y軸及びz軸を有する。x軸及びy軸は、光検出器160の検出面162と同一平面に在る。z軸は、上記平面に直交している。光素子117(図示しない)は、照射118を行い、光検出器160の光点を生成する。

図3(a)、(b)及び(c)において、光素子117(図示しない)はそれぞれ、時間t = t_a、t_b及びt_c (a > b > c)において、x'軸に沿った3つの走査位置に在る。照射118は、3つの異なる走査位置から行われ、3つのシフトされた投影170(a)、170(b)及び170(c)がそれぞれ検出面162に生成されている。光素子117がいくらかシフトすると、オブジェクトの投影(影)は、光検出器アレイの光検出素子166(例えば、センサピクセル)でサブピクセル(すなわち、ピクセルサイズより小さい)単位でシフトされ得る。時間t = t₁、t₂及びt₃において、光検出器160は、3つの投影170(a)、170(b)及び170(c)にそれぞれ対応する3つのLR投影画像の列を撮影する。任意の適切な数のサブピクセルシフトされた投影が、時間t_aと時間t_bとの間又は時間t_bと時間t_cとの間の走査時間に撮影されていてもよい。投影170(a)、170(b)及び170(c)の検出面162での動きベクトルは、サブピクセルシフトされたLR投影画像列からのデータに基づいて特定され得る。光検出器160で撮影されたサブピクセルシフトLR投影画像列からのデータに基づいて、適切なSRアルゴリズムを用いて、オブジェクト152のHR画像が構築され得る。

任意の適切な試料150がSPLMシステム10又はSPLM装置100より撮像され得る。殆どの場合において、試料150は走査サイクルにおいて移動しない。適切な試料150の例としては、1つ又は複数のオブジェクト152(例えば、細胞)を有するコンフルエントな試料(例えば、コンフルエントな細胞培養)が挙げられる。適切な試料150の別の例としては、オブジェクト152が密接に結合している試料が挙げられる。撮像される試料150には、あらゆる適切なタイプのオブジェクト150が含まれ、任意の適切な数(例えば、1、10、100及び1000等)のオブジェクト150又はオブジェクト150の1つ又は複数の部分が含まれ得る。適切なタイプのオブジェクト150は、生物学的又は無機性の実体物であり得る。生物学的実体には、細胞全体、細胞成分、微生物(例えば、細菌又はウイルス)及び細胞構成体(例えば、蛋白質等)が含まれる。無機性の実体物も本発明の実施形態により撮像され得る。

本明細書中で用いられる走査照射源110とは、例えば、光素子117をn個の走査位置に走査又はそうでなければ並進させて、撮像される試料150のサブピクセルシフトされた投影170を光検出器160の検出面162に生成することが可能な任意の適切な装置又は装置の組み合わせのことを言う。任意の数nの走査位置を用いることができる(n = 1、2、3、4、5、10、20及び100等)。光素子117を移動させることにより、走査照射源110は、試料150に対して行う照射118の照射角度を変化させる。実施形態において、走査照射源110は、検出面又はその他の関心平面の法線周囲のX/Y方向の小さな照射角度範囲(例えば、+/- 2度)を生じさせるような走査位置に光素子117を移動させる。

適切な走査照射源110の例としては、携帯通信装置(例えば、携帯電話及びタブレット等)が挙げられる。適切な走査照射源110は、市販されている。図2及び図4には、適切な走査照射源110として、スマートフォンの形態のものが例示されている。適切な走査照射源110の別の例としては、空間光変調器を用いて照射を走査させるトモグラフィック位相顕微鏡が挙げられる。

実施形態において、走査照射源110は、光素子117を走査させて、サブピクセルシフトされた投影170を検出面162に生成するための照射ディスプレイ116を有することができる。照射ディスプレイ116とは、例えば、光素子117をディスプレイ面119の少なくとも一部にわたって走査位置に並進させることが可能な任意の適切なディスプレイのことを言う。適切な照射ディスプレイ116は、市販されている。適切な照射ディスプレイ116のいくつかの例としては、モノクロ、カラー又はグレースケールのLCD、LEDディスプレイ(例えば、ディスプレイパネル)、テレビ画面及びLCDマトリクス等が挙げられる。そうした実施形態においては、照射ディスプレイ116は発光コンポーネント(例えば、ピクセル)の二次元アレイを有することができる。発光コンポーネントのアレイは、任意の適切な寸法(例えば、1000 x 1000、1000 x 4000及び3000 x 5000等)を有することができる。ディスプレイ面119とは、例えば、照射118を行う照射ディスプレイ116の面のことを言う。例えば、走査照射源110は、図2及び図4に示されているように、LCD画面の形態の照射ディスプレイ116を有するスマートフォンの形態とすることができる。実施形態において、走査照射源110は、光素子117を走査させて、サブピクセルシフトされた投影170を検出面162に生成することが可能なその他の装置又は複数の装置の組み合わせを有することができる。

いくつかの実施形態において、走査照射源110は、走査中は光検出器160及び透過層165に対して固定位置に保持され得る。そうした実施形態において、SPLM100は、走査照射源110及び光検出器160を固定位置に保持するための適切な構造体(例えば、プラットフォーム及びフレーム等)を1つ又は複数有することができる。図1に示されている例のようないくつかの場合においては、走査中に、ディスプレイ面119が光検出器160の検出面162に略平行かつ当該検出面162から距離dの位置で保たれるように、走査照射源110を保持することができる。そうした場合には、照射ディスプレイ116は、ディスプレイ面119に垂直に照射118を行うことができる。他の場合においては、ディスプレイ面119が法線に対してある角度で傾き得るように、走査照射源110を保持することができる。その角度で、より極端な照射角度からの投影170が撮影されると、さらに完全な3D再構築が得られる場合もある。一実施形態において、走査照射源110は、照射ディスプレイ116(例えば、LCDアレイ)が法線に対してある角度を成すよう当該照射ディスプレイ116の位置を変化させるためのアクチュエータ、コントローラ又はその他の機構を有することができる。

光素子117とは、例えば、照射118を行うことが可能な適切な装置のことを言う。光素子117により生成される照射118の特性としては、任意の適切な値を有することができる。照射118のいくつかの特性には、強度、波長、周波数、偏光、位相、スピン角運動量及び光素子117により生成される照射118に関連するその他の光特性が含まれる。実施形態において、照射118は、コヒーレント光である。光素子117の1つまたは複数のコンポーネントは、時間と共に変化させることが可能である。例えば、LCDの場合は、様々なピクセルを様々な時間に点灯させて、光素子117の位置を変化させることができる。

発光コンポーネント(例えば、ピクセル)の二次元アレイの形態の照射ディスプレイ116を有する実施形態において、ある走査時間tにおける光素子117は、二次元アレイ(例えば、LCDアレイ)における適切な数(例えば、1、5、10及び100等)の点灯された発光コンポーネント(例えば、LCD点灯/ピクセル)のセットとすることができる。各発光コンポーネントは、(x_i, y_j)で表される走査位置を有することができ、ここで、i = 1…N及びj = 1…Nである。光素子117は、走査サイクル中のある走査時間に点灯されたアレイのピクセルであり得る。光素子117の走査位置とは、この場合は、例えば、点灯された発光コンポーネントのセットの中心座標のことを言う。そうした実施形態において、連続的に点灯された照射ディスプレイ116の発光コンポーネントのセットは、走査サイクル中に、様々な走査位置に光素子117を存在させることができる。

光素子117の特性(例えば、サイズ、照射118の特性及び形状等)としては、任意の適切な値を有することができる。実施形態において、光素子117の1つ又は複数の特性は、走査サイクル中の走査位置によって変化され得る。他の実施形態において、光素子117の特性は、走査サイクル中に一定とすることができる。光素子117の適切な形状のいくつかの例としては、矩形、円形、点状及び棒状等が挙げられる。発光コンポーネントの二次元アレイの形態の照射ディスプレイ116を有する実施形態において、光素子117の特性は、当該発光素子117を形成する発光コンポーネント(例えば、ピクセル)のセットにおける発光コンポーネントの数を変更することにより変化させることができる。例えば、光素子117により生成される照射118の強度は、発光コンポーネント(例えば、ピクセル)の数を変更することにより変化させることができる。実施形態において、光素子117により生成される照射118の1つ又は複数の特性は、走査位置によって変化させることができる。

実施形態において、光素子117により生成される照射118は、光素子117のサイズを変更することにより制御できる。一実施形態において、検出面162の平面上の一点で略同一の強度の光が生成されるよう、光素子117のサイズは、走査位置によって変化し得る。そうした実施形態において、走査位置の光素子117のサイズSは、その走査位置から適当な位置までの距離Lに比例し得る。適当な位置としては、例えば、a)走査位置のアレイの中心又はb)照射ディスプレイ116の中心(例えば、スマートフォンのLCDの中心)が挙げられる。例えば、走査位置の光素子117のサイズSは、S = S_center x (1 + L)として規定され得る。ここで、S_centerは、走査位置のアレイの中心における光素子117のサイズである。このように、いくつかの場合において、ディスプレイ面119の走査位置の中心に垂直な検出面162の位置で受光される光強度は、略一定に保つことができる。別の例としては、走査サイクル中の走査位置の光素子117のサイズSは、S = S_A x (1+A)として規定され得る。ここで、S_Aは、照射ディスプレイ116の位置Aでの光素子117のサイズであり、Aは、その走査位置から位置Aまでの距離である。

一実施形態において、光素子117は、走査サイクル中の様々な走査時間において、n個の異なる波長λ₁, …, λ_nの照射118を行うことができる。いくつかの例においては、光素子117は走査サイクル中に走査位置を移動するため、照射118は、一連の異なる波長を連続的に繰り返す形とすることができる。一実施形態において、光素子117は、赤色、緑色及び青色にそれぞれ対応する3つの波長λ₁,λ₂,及びλ₃のRGB照射を行うことができる。光素子117は、走査サイクルの複数の走査時間に、3つの波長λ₁,λ₂,及びλ₃の照射118を連続的に行うことができる。一例において、照射118は、走査時間t₁には波長λ₁を有し、走査時間t₂には波長λ₂を有し、走査時間t₃には波長λ₃を有し、走査時間t₄には波長λ₁を有し、走査時間t₅には波長λ₂を有することにしてもよい。

走査位置とは、例えば、光素子117の中心のことを言う。任意の適切な数(例えば、1、100及び1000等)の走査位置を走査サイクルで用いることができる。集合として、走査サイクルの走査位置は、任意の適切な領域を覆うことができる。ディスプレイ面119を有する実施形態において、走査位置は、ディスプレイ面119全体又はディスプレイ面119の一部を覆うことができる。

試料152の検出面162での投影170をシフトするために、走査照射源110は、異なる照射角度を生じさせる様々な走査位置に光素子117を並進することができる。いくつかの実施形態においては、試料152のサブピクセルシフトされた一連の投影170を検出面162に生成するために、走査照射源110は、サブピクセルシフトされた投影170を生成するよう設計された複数の走査位置に光素子117を移動させることができる。こうした場合において、複数の走査位置における一つの走査位置とそれに隣接する走査位置とが、投影画像列の隣接する投影画像170間のサブピクセルシフトに対応する。隣接する走査位置とは、例えば、距離が近い2つの走査位置のことを言う。いくつかの場合において、隣接する走査位置とは、走査サイクル中の連続する走査時間を有する、時間的に連続する位置のことであってもよい。

走査位置は、任意の適切な配置(例えば、アレイ、円、正方形及び三角形等)を形成することができる。実施形態において、走査位置は、走査位置のアレイ(例えば、一次元のアレイ、二次元のアレイ又は一次元及び二次元のアレイの組み合わせ)の形態とすることができる。そうした実施形態において、走査位置のアレイは、任意の適切な寸法(例えば、1 x 100、1 x 10、100 x 100、3000 x 20及び400 x 300等)を有することができる。例えば、走査位置は、n x m個の走査位置の二次元(n x m)アレイの(x_{i=1 to n}, y_{j= 1 to m})に配することができる。

発光コンポーネント(例えば、ピクセル)の二次元アレイの形態の照射ディスプレイ116(例えば、LCDディスプレイ)を有する実施形態において、光素子117の走査位置とは、例えば、二次元アレイにおいて連続的に点灯される発光コンポーネントのことを言う。そうした実施形態において、光素子117の走査位置は、ディスプレイ面119に位置付けることができる。例えば、走査位置は、ディスプレイ面119のn x m個の走査位置の二次元(n x m)アレイの(x_{i=1 to n}, y_{j= 1 to m})に配することができる。

実施形態において、走査照射源110は、走査サイクル中に光素子117を走査パターンに応じて走査させる。走査パターンとは、例えば、走査サイクル中の様々な時間の走査位置(すなわち、光素子117の位置)の記述及び走査サイクルにおける各走査位置の光素子117の特性(例えば、サイズ及び形状等)のことを言う。例えば、走査パターンは、走査位置の二次元アレイ及び光素子117が各列を一定の速度で連続的に移動するための記述を含むことができる。別の例において、走査パターンは、走査位置の二次元アレイ及び光素子117が各列を一定の速度で連続的に移動するための記述を含むことができる。さらに別の例において、走査パターンは、走査位置の二次元アレイ及び光素子117がアレイをランダムに移動するための記述を含むことができる。また、走査パターンは、連続するLR投影画像に所望されるサブピクセルシフト量を含むことができる。走査パターンはさらに、所望されるLR投影画像及び/又はHR画像の総数を含むことができる。また、走査パターンは、第一CRM114又は第二CRM220のコードとして記憶することができる。図4の場合のようなスマートフォンの形態の走査照射源110を有する実施形態においては、走査パターンは、スマートフォンのメモリに記憶されたアプリケーション(App)であってもよい。

図1に例示されているような実施形態において、SPLM装置100はさらに、試料面140と検出面162との間に置かれた透過層165を有する。透過層165は、光検出器160の感光領域から試料150を隔離することができる。透過層165は、例えば、ポリジメチルシロキサン(PDMS)といった任意の適切な材料から作ることができる。透過層165は、任意の適切な厚み(例えば、数百nm〜μmの範囲の厚み)を有することができる。いくつかの場合において、透過層165は、光検出器160に載置された層とすることができる。例えば、透過層165は、撮像センサチップの上にコーティング又は配置された保護層とすることができる。他の場合においては、透過層165は、光検出器160から隔離することができる。さらに他の実施形態においては、SPLM装置100は、透過層165を有さず、検出面162が試料面140と一致する。なお、透過層は、複数の層から成るものとしてもよい。例えば、透過層は、光検出器160に近い保護層及びプロテクティブコーティングから成るものとすることができる。

隣接する投影170同士の距離は、透過層165の厚み及び光素子117の傾斜/シフトの大きさに比例する。光素子117の傾斜/シフトの大きさとは、例えば、隣接する走査位置間の距離又は照射角度の変化のことを言う。いくつかの実施形態において、走査サイクルの複数の走査位置の隣接する走査位置間の距離は、サブピクセルシフトされた投影170を生成するように設計され得る。そうした場合において、隣接する走査位置間の距離は、透過層165の厚み及び隣接する投影170間の所望の増加サブピクセルシフトに基づいて決定され得る。

一実施形態において、複数の走査位置の隣接する走査位置間の距離は、投影画像列の隣接する投影170間にサブピクセルシフトを生じさせるよう決定され得る。そうした実施形態において、複数の走査位置の隣接する走査位置間の決定された距離は、検出面162の投影170のサブピクセルシフトに正に対応する。そうした実施形態において、複数の走査位置は、サブピクセルシフトされた投影画像列に正に対応する。

実施形態において、隣接する走査位置間の距離は、適切な値とすることができる。いくつかの場合において、ある走査サイクルにおける隣接する走査位置間の距離は、一定とすることができる。他の場合においては、上記距離は変化させることができる。

走査速度とは、例えば、走査サイクルにおける連続する走査位置間の時間単位当たりのシフトの変化量のことを言う。サンプリング速度とは、例えば、光検出器160により撮影される時間単位当たりの投影画像(フレーム)(例えば、秒当たりのフレーム)の変化量のことを言う。サンプリング/走査速度は、いくつかの実施形態においては一定とし、他の実施形態においては変化させることができる。実施形態において、走査速度とサンプリング速度とは同期されている。

図4(a)及び(b)は、本発明の実施形態に従った、照射ディスプレイ116の走査パターンを示す図である。この例において、走査照射源110は、スマートフォンの形態であり、照射ディスプレイ116は、スマートフォンのLCD画面の形態である。LCD画面は、ピクセルサイズ640 x 640のピクセルの二次元アレイを有する。走査中は、スマートフォンは、光検出器160(例えば、撮像センサチップ)から適切な距離dだけ上方の位置に置くことができる。照射ディスプレイ116のディスプレイ面119及び光検出器160の検出面162は、略平行の状態に保つことができる。スマートフォンは、照射ディスプレイ116のディスプレイ面119の中心が光検出器160の検出面162の検出領域164の上方に来るよう位置付けられる。照射ディスプレイ116は、x軸及びy軸を有する。x軸及びy軸は、ディスプレイ面119と同一平面に在る。

図4(a)は、照射ディスプレイ116上の直径約1cmの円形の輝点の形態の約640個のピクセルのセットを有する光素子117を示す。走査サイクル中のある走査時間のある走査位置における光素子117が示されている。光素子117は、照射ディスプレイ116のディスプレイ面119に位置付けることができる。

図4(b)において、走査パターン図は、走査サイクルにおける光素子117の走査位置(ステップ)の15 x 15個のアレイを有する。走査位置は、照射ディスプレイ116のディスプレイ面119の平面上のx軸及びy軸に沿った位置に示されている。図示された例において、走査パターンは、x軸方向における15個の走査位置及びy軸方向における15個の走査位置を有する。この例において、光検出器160は、走査パターンの225個の走査位置に基づいて225個のLR投影画像を撮影することができる。走査位置のアレイは、照射ディスプレイ116内の中央に位置付けることができる。図4(b)の矢印は、走査サイクル中の走査位置の順序を示す。この場合において、光素子117は、走査パターンにおける走査位置の二次元アレイの各行を連続的に移動する。光素子117がディスプレイ面119の中央から遠ざかる形で移動しながらも一定のサイズのまま保たれると、入射角が大きくなるため、光検出器160(例えば、撮像センサチップ)からの読み出し強度は減少する。一実施形態において、より一定な読み出し強度を維持するために、光素子117が照射ディスプレイ116(例えば、スマートフォン画面)の中央から遠ざかる形で移動するにつれて当該光素子117のサイズ(例えば、輝点のサイズ)を線形に増加させることが可能である。

図1を再び参照すると、走査照射源110は、照射ディスプレイ116と電子通信状態にある第一プロセッサ112と、第一プロセッサ112と通信状態にある第一CRM114とを有する。第一プロセッサ112(例えば、マイクロプロセッサ)は、第一CRM114(例えば、メモリ)に記憶されたコードを実行して、走査照射源110のいくつかの機能を実行することができる。例えば、第一プロセッサ112は、第一CRM114に記憶された走査パターンを含むコードを実行することができる。CRM114は、例えば、走査パターンを含むコード、光素子117を走査するための他のコード及び走査照射源110の他の機能のための他のコードを有することができる。第一CRM114はさらに、当業者により作成することが可能な信号処理機能又はその他のソフトウェア関連機能のいずれかを実行するためのコードを有することができる。コードは、C、C++及びパスカルを含む任意の適切なプログラミング言語で書くことができる。

実施形態において、光検出器160を、走査照射源110の第一プロセッサ112と電子通信させて、光検出器160によるサンプリングを走査位置の光素子117と同期させることができる。そうした実施形態において、光検出器160のサンプリングレートは、走査照射源110の走査速度と同期させて、各走査位置の少なくとも1つの投影画像170を撮影することができる。一実施形態において、電気的なサンプリング開始信号が、走査照射源110から光検出器160に送られて、光素子117が走査位置に来るとLR投影画像が撮影される。

SPLM装置100はさらに、光検出器160(例えば、CMOS撮像センサ)を有する。本明細書中で用いられる光検出器160とは、例えば、投影画像170を撮影して、撮影された投影画像170に関連するデータ又は撮像に関連するその他のデータを含む1つ又は複数の信号を生成することが可能な任意の適切な装置又は装置の組み合わせのことを言う。また、データを含む信号は、光電効果に基づく電流の形態とすることができる。

光検出器160は、検出面162を有する。本明細書中で用いられる検出面162とは、例えば、光検出器160の能動検出層のことを言う。検出面162は、検出領域164を有する。検出領域164とは、例えば、走査サイクル中に投影170を能動的に撮影する検出面162の適切な領域のことを言う。いくつかの場合においては、検出面162の全領域が検出領域164である。実施形態において、撮像される試料150は、検出領域162に近い試料面140のある領域に置かれ得る。光検出器160はさらに、検出面162と同一平面上に局所的なx'軸及びy'軸を有する。

実施形態において、図2及び図3に示されているように、光検出器160は、光検出素子166の二次元アレイの形態の個々の検出素子166(例えば、ピクセル)を有する。光検出素子166は、光検出器160の表面層の上又は内部の検出面162に置くことができる。図2及び図3に示されているように、光検出素子166の二次元アレイは、x'軸が照射ディスプレイ116のx軸に平行になるよう方向付けられているが、二次元アレイは、他の実施形態においては任意の適切な角度に方向付けることができる。

任意の適切な光検出器160が用いられ得る。光検出素子166の二次元アレイを有する適切な光検出器160のいくつかの例としては、電荷結合素子(CCD)アレイ、CMOS撮像センサアレイ、アバランシェフォトダイオード(APD)アレイ、フォトダイオード(PD)アレイ及び光電子増倍管(PMT)アレイが挙げられる。これらの光検出器160等は、市販されている。さらに、光検出器160は、モノクロ検出器又はカラー検出器(例えば、RGB検出器)とすることができる。

光検出素子166は、任意の適切なサイズ(例えば、1〜10μm)及び任意の適切な形状(例えば、円形、矩形及び正方形等)にすることができる。例えば、CMOS又はCCDの光検出素子166は、1〜10μmにすることができ、APD又はPMTの光検出素子166は、1〜4mmまで大きくすることができる。

撮像される試料150を通過する光118の散乱角により、試料150が光検出器160の検出面162から遠く離れた位置に在る場合は、投影画像品質が劣化し得る。実施形態において、光検出器160は、カラーフィルタ及びマイクロレンズ層を有さない。これは、各光検出素子の受光角及びオブジェクト152と検出面120(すなわち、能動的検出層)との間の距離を減少させるためである。光検出器160(例えば、CMOS撮像センサチップ)が、カラーフィルタ及びマイクロレンズ層と共に予め製造された場合は、これらの構成部品を除去して、各ピクセルの受光角及びオブジェクト152と表面層との間の距離を減少させることができる。

実施形態において、透過層165は、製造中に光検出器160に載置することができる。透過層165を光検出器160に載置するために、半導体及び/又はミクロ/ナノ製造方法が用いられ得る。いくつかの場合において、透過層165は、カラーフィルタ及びマイクロレンズ層が除去された後に光検出器160に載置することができる。一つの場合において、カラーフィルタ及びマイクロレンズ層は、予め製造された撮像センサを酸素プラズマ下で一定時間(例えば、80Wで10分間)処理することにより除去可能である。透過層165は、カラーフィルタ及びマイクロレンズ層の除去後に撮像センサに載置するか、又はマイクロレンズ層を有する光検出器に載置することができる。一つの場合において、透過層165は、主剤と硬化剤とを1:10に混合して、それから、3インチのシリコンウェハ上でスピンコートし、その後80℃でベーキングすることにより準備することができる。

光データとは、例えば、光検出器160の光検出素子166により撮影された1つ又は複数の投影170に関連する任意の適切な情報のことを言う。例えば、光データは、受光された投影光の特性に関する情報(例えば、光強度、光の波長、光の1つ又は複数の周波数、光の偏光、光の位相、光の角運動量及び/又は光検出素子166により受光される光に関連するその他の光特性を含むことができる。光データはさらに、受光する光検出素子166の位置、光が受光された時間(サンプリング時間又は走査時間)又は受信された投影170に関連するその他の情報を含むことができる。実施形態において、各光検出素子166は、投影170に関連する光であり、光検出素子166により受光された光に基づく光データを含む信号を生成することができる。

LR投影画像(フレーム)とは、例えば、走査サイクル中に生じるサンプリング時間に、光検出器160によりサンプリング(撮影)されたスナップショット画像のことを言う。実施形態において、光検出器160は、各走査時間にLR投影画像を撮影する。光検出器160によりサンプリングされた各LR投影画像は、2DのLR投影画像を表示するために用いることができる。カラー光検出器160を有する実施形態において、LR投影画像は、カラー画像とすることができる。モノクロ光検出器160を有する実施形態において、LR投影画像は、白黒画像とすることができる。

サブピクセルシフトされたLR投影画像列とはそれぞれ、例えば、n回のサンプリング回数でサンプリングされたLR投影画像のことを言う。ここで、時間的に隣接する投影画像同士の間には、ピクセルサイズより小さな間隔が空けられている(すなわち、サブピクセルシフト)。走査サイクル中に、n個のLR投影画像(I₁,…, I_n)がn個のサンプリング時間(t₁,…t_n)に撮影され得る。任意の適切な数n(例えば、1、3、5、10及び100等)のLR投影画像が走査サイクル中に撮影され得る。また、任意の適切な数n(例えば、1、3、5、10及び100等)のサブピクセルシフトされたLR投影画像列が走査サイクル中に光検出器160により撮影され得る。複数の画像列が撮影される場合は、当該画像列は、異なるLR画像グループを含むか、又は、1つ又は複数のLR投影画像を重複する形で共有することができる。一例において、9つのLR画像(I₁, I₂, I₃, I₄, I₅, I₆, I₇, I₈, I₉)を9つのサンプリング時間(t₁, t₂, t₃, t₄, t₅, t₆, t₇, t₈, t₉)に撮影することができる。上記例の画像が重複する場合においては、画像列は、1)I₁, I₂, I₆及びI₈並びに2)I₆, I₇, I₈及びI₉であり得る。上記例の画像が重複しない場合においては、画像列は、1)I₁, I₂, I₃及びI₄並びに2)I₅, I₆, I₇及びI₈であり得る。他の例においては、サブピクセルシフトされたLR投影画像列は、非連続的なサンプリング時間に基づくものとすることができる。例えば、9つのLR画像(I₁, I₂, I₃, I₄, I₅, I₆, I₇, I₈, I₉)が9つのサンプリング時間(t₁, t₂, t₃, t₄, t₅, t₆, t₇, t₈, t₉)に撮影され、投影画像列は(I₆, I₂, I₉, I₁)であり得る。

実施形態において、光検出器160は、走査サイクル中の各走査時間にLR投影画像を撮影することができる。例えば、光検出器160は、図4(b)に示されているような走査パターンで各走査位置に関連するLR投影画像を撮影することができる。この例においては、光素子117が走査位置の二次元アレイの各行を上記走査パターンで連続的に移動すると、光検出器160は、各走査時間に投影画像を撮影することができる。各行の走査位置がサブピクセルシフトされた投影170に関連付けられている場合は、光検出器160は走査サイクル中に15個のサブピクセルシフトされた投影画像列を撮影することができる。こうした場合において、各画像列は、走査パターンにおける走査位置の1つの行に関連する。

動きベクトルとは、例えば、LR投影画像列における投影画像の並進のことであり、LR投影画像列の動きベクトルを集合的に呼称している。動きベクトルは、平面上の投影画像のシフト量に基づく。サブピクセルシフトされたLR投影画像列の動きベクトルは、光検出器160により撮影された関連先の投影画像から算出され得る。動きベクトルは、任意の関心平面で算出され得る。例えば、動きベクトルは、検出面162の平面で特定され得る。この例において、動きベクトルは、光検出器160の検出面162の局所的なx'軸及びy'軸に関して特定される。別の例においては、動きベクトルは、観察されるオブジェクト152を通る他の平面で算出され得る。オブジェクト152を通る平面は、いくつかの場合においては、検出面162の平面と平行であってもよい。

実施形態において、サブピクセルシフトされたLR投影画像列及び当該画像列のサブピクセルシフトされたLR投影の動きベクトルに関連するデータに基づいて、適切な超解像度(SR)アルゴリズムを用いて、試料150のHR画像を構築することができる。SPLMシステム10の実施形態により実現可能な画像解像度の一例としては、約0.66μmが挙げられる。

SRアルゴリズムとは、例えば、サブピクセルシフトされたLR投影画像列からHR画像(例えば、サブピクセル解像度画像)を構築する画像処理技術のことを言う。任意の適切なSRアルゴリズムをSPLMシステム10の実施形態で用いることができる。適切なSRアルゴリズムの例としては、シフト加算ピクセルSRアルゴリズムが挙げられる。また、適切なSRアルゴリズムのいくつかの例は、Lange, D.、Storment, C. W.、Conley, C. A.及びKovacs, G. T. A.による論文、「A microfluidic shadow imaging system for the study of the nematode Caenorhabditis elegans in space」、Sensors and Actuators B Chemical、第107巻、904-914頁(2005年)(「Lange」と呼称する)、Wei, L.、Knoll, T.及びThielecke, H.による論文、「On-chip integrated lensless microscopy module for optical monitoring of adherent growing mammalian cells」、Engineering in Medicine and Biology Society (EMBC)、2010 Annual International Conference of the IEEE、1012-1015頁(2010年)(「Wei」と呼称する)、Milanfar, P.による著書、「Super-Resolution Imaging」(CRC Press、2010年)(「Milanfar」と呼称する)及びHardie, R.、Barnard, K.及びArmstrong, E.による論文、「Joint MAP registration and high-resolution image estimation using a sequence of undersampled images」、IEEE Transactions on Image Processing 6、1621-1633頁(1997年)(「Hardie」と呼称する)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。適切な超解像アルゴリズムの一例としては、セクションIIで説明される一般的なピクセルの超解像度モデル及び解法が挙げられる。

また、図1のSPLMシステム10は、光検出器160に通信可能に接続されたホストコンピュータ200を有する。ホストコンピュータ200は、第二プロセッサ210(例えば、マイクロプロセッサ)、第二CRM220及び画像ディスプレイ230を有する。画像ディスプレイ230及び第二CRM220は、第二プロセッサ210に通信可能に接続されている。あるいは、ホストコンピュータ200は、SPLMシステム10とは別個の装置とすることもできる。また、ホストコンピュータ200は、任意の適切なコンピュータ装置(例えば、スマートフォン、ラップトップ及びタブレット等)とすることができる。

第二プロセッサ210は、第二CRM220に記憶されたコードを実行して、SPLM10のいくつかの機能を実行する。それらの機能とは、例えば、光検出器160からの1つ又は複数の信号の形態で撮影及び通信される1つ又は複数のサブピクセルシフトされたLR投影画像列からのデータを解釈する機能、サブピクセルシフトされた投影列の動きベクトルを特定する機能、サブピクセルシフトされたLR投影画像列に関連するデータから2DのHR画像を構築する機能、サブピクセルシフトされたLR投影画像列に関連するデータから3DのHR画像を構築する機能及び1つ又は複数のHR画像を画像ディスプレイ230に表示する機能等である。

第二プロセッサ210は、光データ及びその他のデータを含む1つ又は複数の信号を光検出器160から受信することができる。例えば、プロセッサ210は、対応するn個の走査時間列(t₁, t₂, t₃, …t_n)にサンプリングされた1つ又は複数のサブピクセルシフトされたLR投影画像列に関連する光データを含む1つ又は複数の信号を受信することができる。第二プロセッサ210はさらに、サブピクセルシフトされたLR投影画像に基づいて、動きベクトルを特定することができる。第二プロセッサ210はさらに、特定された動きベクトル及び少なくとも1つのサブピクセルシフトされたLR投影画像列に基づいて、HR画像及び関連する画像データを構築することができる。いくつかの場合において、構築されたオブジェクト150のHR画像は、白黒の2D/3D画像である。他の場合においては、構築されたオブジェクト150のHR画像は、カラーの2D/3D画像である。

一実施形態において、異なる照射118の波長を様々なサンプリング時間に用いて、複数のサブピクセルシフトされたLR投影画像列を光検出器160に生成することにより、HRカラー画像を生成することができる。各画像列は、異なる波長に関連付けられている。第二プロセッサ210は、異なる波長に関連するそれぞれの画像列に基づいて、HRカラー画像及び関連する画像データを生成することができる。例えば、光素子117により3つの光の波長(例えば、赤色、緑色及び青色(RGB)に関連する波長)を連続的に生成して、当該3つの光の波長に関連する3つのサブピクセルシフトされた投影画像列を生成することができる。プロセッサ210は、それぞれの波長に関連する投影画像列からの画像データを結合して、多重波長又はカラーの画像データ(例えば、RGBカラー画像データ)を生成することができる。多重波長又はカラーのHR画像データは、多重波長又はカラーのHR画像を画像ディスプレイ230に生成するために用いることができる。

第二CRM(例えば、メモリ)220は、SPLMシステム10のいくつかの機能を実行するためのコードを記憶することができる。上記コードは、第二プロセッサ210により実行可能である。例えば、実施形態による第二CRM220は、a)SRアルゴリズムを用いたコード、b)トモグラフィーアルゴリズムを用いたコード、c)光検出器160から1つ又は複数の信号の形態で受信される光データを解釈するためのコード、d)3DのHR画像を生成するためのコード、e)カラーサブピクセル画像を構築するためのコード、f)SRの二次元及び/又は三次元の画像を表示するためのコード及び/又はg)SPLMシステム10の機能を実行するための任意のその他の適切なコードを有することができる。第二CRM220はさらに、当業者により作成することが可能な信号処理機能又はその他のソフトウェア関連機能のいずれかを実行するためのコードを有することができる。コードは、C、C++及びパスカルを含む任意の適切なプログラミング言語で書くことができる。

また、SPLMシステム10は、プロセッサ210に通信可能に接続されており、データを受信して、例えばHR画像等の出力をSPLMシステム10のユーザに対して行う画像ディスプレイ230を有する。任意の適切なディスプレイを用いることができる。例えば、画像ディスプレイ230は、カラーディスプレイ又は白黒ディスプレイとすることができる。また、画像ディスプレイ230は、二次元ディスプレイ又は三次元ディスプレイとすることができる。一実施形態において、画像ディスプレイ230は、オブジェクト150の複数視点画像を表示することが可能であってもよい。

本発明の範囲から逸脱することなく、変形、追加又は置換をSPLMシステム10又はSPLM装置100に加えることが可能である。また、SPLMシステム10又はSPLM装置100の構成部品は、特定の用途に応じて、一体化又は分離することが可能である。例えば、いくつかの実施形態においては、第二プロセッサ210を光検出器160に一体化させて、光検出器160が第二プロセッサ210の1つ又は複数の機能を実行することにしてもよい。別の例としては、第二プロセッサ210、第二CRM220及び画像ディスプレイ230は、SPLMシステム10とは別個のコンピュータの構成要素であり、SPLMシステム10と通信状態にあるものとすることができる。さらに別の例としては、第二プロセッサ210、第二CRM220及び/又は画像ディスプレイ230は、SPLM装置100の一部として一体化させることができる。例えば、画像ディスプレイ230を照射ディスプレイ116の一部とするか、第一プロセッサ112及び第二プロセッサ210を単一のプロセッサとして一体化するか、又は第一CRM114及び第二CRM220を単一のCRMとして一体化することができ、これらの組み合わせを行うこともできる。

II.SPLM及びEペトリのシステム及び装置で用いる撮像方法

A.原理及び解像度

ナイキスト判定法の考察によると、撮像センサ(例えば、CMOS撮像センサ)からの原投影(影)画像の解像度は、ピクセルサイズの2倍にすぎない。実施形態によるSPLM及びEペトリのシステムは、時間領域における高いサンプリング速度を用いて、投影画像の空間領域におけるサブナイキストレートでのサンプリングを相殺し、超解像度撮像において得られる効果を高度なセンサ(例えば、CMOS)技術と結合して、著しく解像度を向上させた低コストのHR顕微鏡装置を提供する。

実施形態において、SPLM及びEペトリのシステムは、光検出器160と撮像されるオブジェクト152との間に薄厚の透過層165を有する。透過層165は、オブジェクト152(例えば、細胞)を光検出器160(例えば、センサチップ)の実際の感光領域から隔離する。走査時は、走査照射源110は光素子117を走査位置にシフト/走査又はそうでなければ異なる位置に移動させて、試料150上方の様々な照射角度から照射118(例えば、インコヒーレント光照射)を行う。光検出器160は、1つ又は複数のLR投影画像列を得る。照射118の移動により、投影画像は、図3に示すように、光検出素子166(例えば、センサピクセル)でシフトされる。影のシフト量は、透過層165の厚み及び光素子117の傾斜/シフトの大きさに比例する。各LR投影画像列におけるそれぞれの原投影画像同士のシフトが光検出素子の物理サイズ(例えば、ピクセルサイズ)未満でありさえすれば、複数のサブピクセルシフトされたLR影画像の情報を用いて、適切な超解像アルゴリズムにより1つのHR(サブピクセル解像度)画像を生成することが可能である。

従来の超解像度顕微鏡システムにおいては、試料がステージに載置され、ステージがサブピクセル単位で走査された。こうした従来の方法においては、ステージの位置をサブピクセル単位で厳密に制御する必要があった。一般的に、所望の正確なステージ位置を制御するために、コントローラ及びアクチュエータが用いられた。高度に正確であることは、これらのシステムで高コストなセットアップ及び位置合わせが必要であることを意味していた。

従来の超解像度流体光学システムにおいては、LR投影画像からHR画像を高スループットに生成できるように、流体光学が組み込まれている。こうしたシステムにおいては、CMOS撮像センサ(ピクセル)アレイを並進する試料の画像列を撮影するために、流体光学による試料移動方法が用いられる。システムは、超解像度処理技術を用いて、LR投影画像列からHR画像を取得する。このことは、米国特許出願第13/069,651号に記載されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。また、「Zheng」にも記載されている。この方法は、オブジェクト(例えば、細胞)が光検出器(例えば、CMOS撮像センサアレイ)を通過する形で流体チャネルを流れると、当該オブジェクト(例えば、細胞)のLR投影画像列が撮影される、というものである。しかし、このシステムの撮像は、走査領域において試料の流体(例えば、マイクロ流体)の流れを必要とする。粘着性、コンフルエント又は密接に配置された試料は断じて、流体モードの撮像と相容れない。例えば、流体チャネルにオブジェクトの流れを生じさせるためには、オブジェクトが画像ピクセルの面に付着することはない(すなわち、オブジェクトと画像ピクセルとの間には距離が置かれている)。そうした距離により、オブジェクト画像にぼけが生じる。さらに、実視野は、流体チャネルの構成により制限され得る。

SPLM及びEペトリのシステム及び装置は、走査照射源110を用いて、光素子117を試料150の上に位置付ける。この方法においては、正確な位置合わせは不必要であり得る。走査照射源110は、オブジェクト152に比べて、検出面162からより大きな距離を空けた位置に置かれている。そのため、光素子117のシフトが、検出面162における投影170の、より小さなシフトに対応する。走査照射源110は、走査照射源110における光素子117の、より制御可能な大きなシフトにより、検出面162での投影のサブピクセルシフトを直接制御することができる。このように、走査照射源110は、従来のシステム(例えば、マイクロ走査システム及び流体光学システム等)よりも容易かつ正確に投影シフトをサブピクセル値で維持することができる。さらに、機械的走査又はマイクロ流体の流れを必要とすることがなく、走査速度が大幅に速い。走査照射源110は、kHz域の範囲の速度で光を走査することができる。これは、従来の機械的なマイクロ走査方法に比べて、2桁高い速度である。さらに、上記装置は、例えば、LED画面又はLEDマトリクスといった走査照射源110を用いるため、そのコストは大幅に低減され得る。

図5(a)は、本発明の実施形態に従った、ある1つのサンプリング時間にSPLMシステム10又はEペトリシステムの光検出器160で撮影された投影画像を示す図である。この例において、撮像された試料150は、3μmの微小球の集合を含む。図5(b)は、本発明の実施形態に従った、SPLMシステムに10又はEペトリシステムにより再構築されたHR画像を示す図である。上記システムが、図5(a)に示されているLR投影画像を含むサブピクセルシフトされたLR投影画像列からのデータに基づいて、HR画像を再構築したものである。

図6(a)は、本発明の実施形態に従った、ある1つのサンプリング時間にSPLMシステム10の光検出器160で撮影されたヒーラ細胞試料の一部のLR投影画像を示す図である。図6(b)は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステムにより再構築されたHR画像を示す図である。SPLMシステム10又はEペトリシステムが、図6(a)に示されているLR投影画像を含む225個のサブピクセルシフトされたLR投影画像の列からのデータに基づいて、HR画像を再構築したものである。

図7(a)は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステムにより構築されたコンフルエントなヒーラ細胞試料150の広視野なカラーHR画像を示す図である。試料150は、染色ギムザであった。再構築においては、LR投影画像レベルにおける各ピクセル(2.2μm)が、再構築されたHR画像においては13*13のピクセルブロックに高精度化された。カラーHR画像は、約8.45 x 10⁸個のピクセルを有する。検出領域164(画像領域)は、6 mm x 4 mmであった。15 x 15個の走査位置のアレイが、各カラー照射118について用いられた。図7(b1)、(c1)は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステムの光検出器160で撮影された画像であり、図7(b1)は、図7(a)の小領域からのLR投影画像を示す図であり、図7(c1)は、図7(b1)の小領域のLR投影画像を示す図である。図7(b2)、(c2)は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステムで構築された画像であり、図7(b2)は、図7(a)の小領域から再構築されたHR画像を示す図であり、図7(c2)は、図7(b2)の小領域から得られる再構築されたHR投影画像を示す図である。図7(d)は、対物レンズ(40X、NA = 0.66)を有する顕微鏡を用いた、同様の細胞の従来の顕微鏡画像を示す図である。図7(b2)及び(c2)の再構築されたHR画像から、ヒーラ細胞の細胞器官が、例えば、複数の核の微粒(赤色の矢印で示されている)及び核等として識別され得る。また、再構築されたHR画像は、同様の細胞から得られた従来の顕微鏡画像に緊密に対応していた。

図8(a)は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステムで構築された、500nmの微粒子を有する試料150(Polysciences社)のHR画像を示す図である。HR画像の構築に用いた撮像プロセスは、図7のHR画像の構築に用いたものと同一であった。ある500nmの微小球について、図8(a)に示されているように、微小球の輝点が明確に解像され、半値幅は690nmであった。図8(b)は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステムで構築された、図7の染色ヒーラ細胞試料150の微小特徴を拡大して示すHR画像を示す図である。

顕微鏡の解像度は、いくつかの場合においては、所定の顕微鏡の性能、すなわち、2つの位置的に近接する特徴点の解像性能に基づくため、2つの位置的に近接する微小球を分析して、実施形態によるSPLMシステム10又はEペトリシステムの解像度を設定することができる。図8(a)は、中心から中心までの距離が660nmである2つの密接する500nmの微小球の再構築画像を示す図である。図8(a)のデータ追跡は、2つのピーク間の谷を示しており、したがって、解像度は、いくつかの実施形態において、660nm以上であり得ることを実証している。この点をさらに確認するために、図8(b)は、図7のヒーラ細胞試料の微小特徴を拡大して示す図であり、当該特徴の半値幅は、約710nmであると評価された。

B.コンセプト

図1に例示されているような実施形態において、試料150は、検出面162の能動検出領域164のわずかに上方に位置する試料面140に置かれる。走査照射装置110(例えば、携帯通信装置)の照射ディスプレイ116(例えば、モノクロ又はカラーのLCD)は、検出面162から距離d(例えば、約5〜10mm)の位置に置かれている。照射ディスプレイ117の光素子117(例えば、1つ又は複数の発光素子(例えば、ピクセル))は、照射118(例えば、インコヒーレント光照射)を行う。照射118は、投影170(影)を光検出器162に生成する。光検出器160は、LR投影画像を撮影することができる。このLR投影画像は、(図2に示されているような)光検出素子166のサイズ制限(例えば、ピクセルのサイズ制限)が与えられた時に達成できる最善のものではあるが、試料150の特徴サイズが光検出素子166のサイズ(例えば、ピクセルサイズ)よりも大幅に小さい場合があるという点で「低解像度」である。

実施形態においては、解像度の向上のために、サブピクセルシフトされたLR投影画像列が撮影され、そのために、照射ディスプレイ116(例えば、LCD)の発光コンポーネント(例えば、ピクセル)が照射118を行う。それらのLR投影画像はそれぞれ、試料150のサブピクセルシフトされた投影画像である。サブピクセルシフトされたLR投影画像列は、例えば、走査サイクル中の光素子117の走査位置に基づいている。公知のサブピクセル移動として、それらのサブピクセルシフトされたLR投影画像を用いて、ピクセル超解像度技術を用いたHR(例えば、サブピクセル解像度)の2D画像を作成することができる。HR画像はさらに、ピクセルの点像分布関数及び試料の焦点画像を回復するための光学システムを用いて解析することができる。SPLMシステム10及びEペトリシステムは、ピクセル超解像度画像処理技術を用いた光素子117の正確な走査を可能とした。

さらに、このような撮像のコンセプトは、二次元を超えて拡張可能である。複数の投影を生成する様々な光の入射角を用いたコンピュータ断層撮影は、オブジェクトの三次元の再構築を生成するために用いることができる。断層撮影を用いて3D画像が生成される一例は、Miao, J. R. R. Qin、Tourovskaia, Anna、Meyer, Michael G.、Neumann, Thomas、Nelson, Alan C.及びSeibel, Eric J.による論文、「Dual-modal three-dimensional imaging of single cells with isometric high resolution using an optical projection tomography microscope」、J. Biomed., Opt.、第14巻、064034(2009年12月21日)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。本発明の方法においては、照射ディスプレイ116(例えば、LCD)にわたってシフトされる光素子117(例えば、ピクセルのセット)は、3D撮像に必要な異なる入射光角を提供することができる。

C.動作原理

一動作において、試料150は、光検出器160(例えば、CMOS撮像センサアレイ)の検出面162(例えば、外表面)のわずかに(例えば、数百nm〜μmの範囲で)上方に置かれる。照射ディスプレイ(例えば、LCD)上の発光コンポーネント166(例えば、ピクセル)の個々又は小さなセットが連続的に点灯して、ある距離(例えば、5mm〜10mm)だけ離れた試料150に照射を行い、光検出器160が1つ又は複数のサブピクセルシフトされたLR投影画像列を記憶することを可能にする。なお、これらの画像は「ピクセル化」されている。1つ又は複数のサブピクセルシフトされたLR投影画像列は、超解像度技術を用いて処理され、多数のLR投影画像が結合されて、より小さなHR画像列が生成され得る。超解像度技術の一例は、Richard, L.M.、Shultz, R.及びStevenson, Robert L.による論文、「Subpixel motion estimation for superresolution image sequence enhancement」、Journal of Visual Communication and Image Representation(1998年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。

超解像又は超解像技術とは、低解像度画像列から一つのHR画像を生成する画像処理に関する多数の有望な新技術を示す一般名称のことを言う。いくつかの超解像技術は、Park, Sung Cheol、Park, Min Kyu及びKang, Moon Giによる論文、「Super-resolution image reconstruction: a technical overview」、IEEE Signal Processing Magazine、21-36頁(2003年5月)(「Park」と呼称する)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。一般的な原理としては、対象物がナイキスト速度未満でサンプリングされ、LR投影画像列が撮影されるが、そのために続くフレームにおいてはわずかなサブピクセル並進シフトが行われる。この原理は、Russell, K.J. B.、Hardie, C.、Bognar, John G.、Armstrong, Ernest E.及びWatson Edward A.による論文、「High resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system」、Optical Engineering(1997年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。こうした並進シフトが分かれば、一つのHR画像を生成するためのサブピクセル値を求める連立行列方程式を、低解像度画像列から立てることができる。一般的には、HRの原画像は、理論的には著しい損傷、ぼけ、並進及び回転を有する低解像度画像列からでさえ回復され得る。つまり、「Park」に記載されているように、解像度は、回折限界及び雑音のみにより制限される。

D.例示的な動作方法のフローチャート

図9は、本発明の実施形態に従った、SPLM装置100又はEペトリ装置の例示的な動作を示すフローチャートである。SPLM装置100及びEペトリ装置は、撮像されるオブジェクト152に対して様々な照射角度から照射を行うように、光素子117をシフト又はそうでなければ位置付ける走査照射源110を有する。セクションDではオブジェクト152の撮像について説明するが、上記方法は、任意の適切な数のオブジェクト152を有する試料150を撮像するために用いることができる。SPLM装置100及びEペトリ装置はさらに、試料面140、検出面162を有する光検出器160、検出面162と試料面140との間の薄厚の透過層165及びプロセッサ(第一プロセッサ112及び/又は第二プロセッサ210)を有する。走査照射源110は、検出面162から距離dを空けた位置に置かれている。本例示的動作は、1つの走査(照射)サイクルを含む撮像ランを有する。他の実施形態は、複数の走査(照射)サイクルを含む撮像ランを有することとしてもよい。

ステップ310において、オブジェクト152がSPLM装置100又はEペトリ装置の試料面140に置かれる。オブジェクト152は、光検出器160の能動層での検出面162の検出領域164に近い位置に置くことができる。

ステップ320において、プロセッサは、走査パターンを決定する。図4(a)及び(b)は、走査パターンの一例を示す。走査パターンは、走査のサイクルの様々な時間に異なる走査位置を有することができ、さらに、走査位置によって、様々な光素子117の特性(例えば、使用される光の波長、光素子のサイズ及び形状並びに光素子の1つ又は複数の強度等)を有することができる。走査パターンはさらに、連続するLR投影画像とLR投影画像との間に所望されるサブピクセルシフト量、走査及び/又はLR投影画像列において所望されるLR投影画像の総数、撮像ランにおいて所望されるHR画像の総数並びにSPLMシステム10又はEペトリシステムの動作に関するその他の適切な情報を有する。プロセッサは、所定の走査パターンをCRM(第一CRM114あるいは第二CRM220)から読み出すか、又は、走査パターンをSPLMシステム10又はEペトリシステムのユーザからの入力に基づいて決定することができる。例えば、ユーザは、光素子の特性、連続するLR投影画像とLR投影画像との間に所望されるサブピクセルシフト量、所望されるHR画像の総数及びその他の適切な入力等の情報を提供することができる。

走査パターンの走査位置は、サブピクセルシフトされた投影列を検出面162に生成するよう決定され得る。投影170のシフト量は、透過層165の厚み及び傾斜/シフトの大きさ(すなわち、隣接する走査位置同士の間の距離又は照射角度の変化)に比例する。投影170のサブピクセルシフトを生じさせる、隣接する走査位置間での光素子170の並進量は、透過層165の厚み及び所望のサブピクセルシフト値に基づいて決定され得る。走査パターンの走査位置は、隣接する走査位置間での光素子170の並進量に基づくものとすることができる。

ステップ330において、走査照射源110は、走査パターンに従って光素子117を走査又はそうでなければ位置付けて、光素子117の特性を変化させる。一実施形態において、走査照射源110(例えば、スマートフォン)は、LCDの形態の照射ディスプレイ116を有する。この例において、走査パターンは、走査位置の二次元アレイ及び当該走査位置に関連付けられた走査時間を有し得る。走査中、光素子117は、LCDの発光コンポーネント(例えば、ピクセル)のセットとすることができ、当該発光コンポーネントのセットは、連続的に点灯されて、それにより、光素子117が走査位置の二次元アレイの各行/列をシフトされる。光素子117の特性は、位置によって変化させることができる。例えば、光素子117のサイズ(発光コンポーネントの数)は、検出面162のある位置においては実質的に同じ強度レベルが維持されるように、変化させることができる。

一実施形態において、光素子117は、走査サイクル中の異なる走査時間において、n個の異なる波長λ₁, …, λ_nの照射118を行い、各波長毎の投影画像列を取得することができる。任意の適切な数の波長(例えば、n =1, 2, 3, 4, 5, …, 20)を用いることができる。一実施形態において、光素子117は、異なるサンプリング時間に、赤色、緑色及び青色に対応する3つの波長λ₁、λ₂及びλ₃の照射118を行うことができる。いくつかの場合において、照射118は、ある走査位置と隣接する走査位置とで異なる波長を有することができる。他の場合においては、照射118は、走査位置の第一シリーズ(列)では第一波長を有し、走査位置の第二シリーズ(列)では第二波長を有し、同様に、n個の異なる波長に対応するn個の投影画像列を撮影するまでそれを繰り返すことができる。

ステップ340において、光素子117が異なる走査位置に並進されると、光検出器160は、オブジェクト152の1つ又は複数のサブピクセルシフトされたLR投影画像列を撮影する。光検出器160は、各走査位置のLR投影画像を撮影する。各画像列は、任意の適切な数の画像(例えば、3、5、10、50及び100等)を有するものとすることができる。一例において、走査位置は、二次元アレイの形態とすることができ、ここで、走査位置の各行/列毎に、サブピクセルシフトされた一連の投影170を生成することができる。この例において、サブピクセルLR投影画像列は、光素子117が走査位置の二次元アレイの各行/列をシフトする際に撮影することができる。

ステップ350において、プロセッサは、検出面162の投影170の動きベクトルを特定する適切な方法を利用する。いくつかの場合においては、プロセッサは、オブジェクト152を通る他の平行平面での投影170の動きベクトルを特定することができる。任意の動きベクトル特定方法が用いられ得る。一例において、投影の検出面162での動きベクトルは、隣接する走査位置間の距離及び透過層165の厚みに基づいて特定され得る。別の例においては、投影の検出面162と平行な平面での動きベクトルは、隣接する走査位置間の距離と、透過層165の厚みと、平面及び検出面162の間の距離とに基づいて特定され得る。

ステップ360において、プロセッサは、サブピクセルシフトされたLR投影画像列からのデータ及び対応する1つ又は複数の動きベクトルに基づいて、適切なSRアルゴリズムを用いて、オブジェクト152のHR画像を構築する。例えば、プロセッサは、オブジェクト152を通る平面での動きベクトルを用いることにより、オブジェクト152の2D画像を、その平面に構築する。一例において、プロセッサは、動きベクトルに基づいて構築された複数の2DのHR画像を異なる平面にスタックすることにより、3DのHR画像を生成することができる。光検出器160がモノクロ光検出器の場合は、HR画像は、モノクロのHR画像(白黒のHR画像)となる。光検出器160がカラー光検出器(例えば、カラーCMOS撮像センサ)の場合は、再構築により得られる画像はカラー画像となる。

一実施形態において、サブピクセルシフトされたLR投影画像列からのデータと共に、シフト加算SRアルゴリズムを用いて、HR画像を構築することができる。そうした実施形態においては、HR画像グリッドは、増大因子nで形成され、ここで、HR画像グリッドのそれぞれのn x nのピクセル領域は、LRフレームグリッドの1 x 1のピクセル領域に対応する。この時、HR画像グリッドは、サブピクセルシフトされたLR投影画像列からの対応するピクセル値で満たされる。n x nグリッドにおけるピクセルのマッピングは、特定された動きベクトルから既知である各画像の推定サブピクセルシフト量に基づいて決定される。すなわち、各LR投影画像はその原位置から、オブジェクト152の対応するサブピクセルシフト量だけシフトされ、それから加算されて1つのHR画像を形成する。最後に、ウィーナデコンボリューション法によるぼけ除去を用いて、最終的なHR画像のぼけ及び雑音を除去することができる。

一実施形態において、光素子117は、走査サイクル中の異なる走査時間において、n個の異なる波長λ₁, …, λ_nの照射118を行い、各波長毎の投影画像列を取得することができる。そうした実施形態において、プロセッサは、サブピクセルシフトされたLR投影画像の各列及び動きベクトルに基づいて、適切なSRアルゴリズムを用いて、それぞれの波長又は色についてHR画像を再構築することができる。SPLM装置100又はEペトリ装置は、異なる波長又は色のHR画像を結合して、計算されたカラーHR画像を取得することができる。例えば、RGB照射を用いたSPLM装置100又はEペトリ装置を、計算されたカラー(RGB)HR画像の構築に用いることができる。

ステップ370において、プロセッサは、1つ又は複数のHR画像を適切な画像ディスプレイ230(例えば、二次元ディスプレイ(カラー又はモノクロ)、三次元ディスプレイ(カラー又はモノクロ))に表示することができる。SPLM装置100又はEペトリ装置により生成された任意の適切な画像が表示され得る。適切な画像のいくつかの例には、LR投影画像、2D白黒HR画像、2DカラーHR画像、3D白黒HR画像及び/又は3DカラーHR画像が含まれる。

V. 超解像モデル及び解法

SPLMシステム10及びEペトリシステムの実施形態は、SRアルゴリズムを用いてHR画像を再構築する。SRアルゴリズムの一例は、セクションVで説明される一般的なピクセルの超解像度モデルおよび解法である。こうした一般的なピクセルの超解像度モデル及び解法は、最大尤度の観点で推定最適性を保持する単純かつ高速な非繰り返し法を含む。超解像度モデル及び解法の詳細は、Hardie, Elad, M.及びHel-Or, Y.による論文、「A fast super-resolution reconstruction algorithm for pure translational motion and common space-invariant blur」、IEEE Transactions on Image Processing、第10巻、1187-1193頁(2001年)(「Elad」と呼称する)、Farsiu, Sinaらによる論文、「Fast and robust multiframe super resolution」、IEEE Trans Image Process、第13巻、1327-1344頁(2004年)、並びにFarsiu S.らによる論文、「Multiframe demosaicing and super-resolution of color images」、IEEE Trans Image Process、第15巻、141-159頁(2006年)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。

走査サイクルにおいて、N個の撮影されたLR投影画像の列Y_k（ｋ＝1,2・・・Ｎ）を用いて、向上されたHR画像Xを再構築することができる。画像は、辞書順の列ベクトルにより表すことができる。LR投影画像は、次式によりモデル化することができる。
行列F_kは、画像Xのサブピクセルシフト動作を表す。行列Hは、光検出器160(例えば、CMOS撮像センサ)のピクセル並進関数である。行列Dは、デシメーション動作を表し、計測された画像において観測されるピクセル数の減少を示す。V_kは、平均がゼロであり、自己相関行列
を持つ付加的ガウス測定雑音を表す。

Xの最大尤度評価は、次式のように規定することができる。
の閉形式解は、以下のようになる。
ここで、
である。Rは、対角行列とすることができ、この方法の計算量は、O(nxlog(n))とすることができる。

F.SPLM及びEペトリのシステム及び装置のための別の方法

方法1:2Dモノクロ撮像

第一の方法においては、実施形態によるSPLMシステム10又はEペトリシステムは、LR投影画像列及び動きベクトルに基づいて、適切なSRアルゴリズムを用いて、試料150の2DのモノクロHR画像を構築するよう構成されたものとすることができる。この場合は、既知の並進シフト量及びシステムの空間不変の点拡がり関数Hのみが存在し、関数Hも既知である。したがって、「Elad」で提案されているような以下に示すより効果的かつ計算効率の優れた超解像度技術を適用することができる。SPLMシステム10又はEペトリシステムの所望の出力である試料150の原HR画像Xについて、以下のような試料の低解像度の画像列が得られる。
ここで、F_k は並進シフト、Hは光学システムの点拡がり関数、D_kは原LR投影画像のダウンサンプリング、そしてV_k は自己相関
を持つ白色雑音である。したがって、最小二乗誤差を最小化することにより、N個のLR投影画像列から以下のような計算された高解像度画像
が得られる。

こうした最適化は、「Elad」に記載された繰り返し法によりコンピュータで行うことができる。この最適化の最終結果は、光検出器160(例えば、CMOS撮像センサ)により撮影された原LR投影画像から生成された試料の合焦点HR画像又はHR画像列とすることができる。

実施形態において、SPLMシステム10又はEペトリシステムは、ピクセルアレイ(例えば、矩形のピクセルアレイ)の形態の照射ディスプレイ116を有することができる。例えば、照射ディスプレイ116は、LCDの矩形のピクセルアレイであってもよい。そうした実施形態において、画像列の連続するLR投影画像間のサブピクセルシフトは、照射の走査シーケンスと、検出器のアレイピクセルサイズと、試料150及び照射源/検出器の間の距離とに関連する特徴的なサブピクセル間隔αに関連付けることができる。試料150と照射源110との間の距離はdとすることができ、これは、透過層140の上面とディスプレイ面119との間の距離である。試料150と光検出器160との間の距離は、透過層165の厚みとすることができる。

光検出器160の検出面162及び試料面140に平行なディスプレイ面119を備えた照射ディスプレイ116を有するSPLMシステム10又はEペトリシステムについて、試料面140の平面上のある点の検出平面(すなわち、検出面162の平面)への投影は、sin θに関連する単位でシフトされる。上記角度θは、光素子117(例えば、LCDの照射されたピクセルのセットの中心)から試料150の上記点へと延びる直線の、試料面の平面の法線ベクトルに対する角度である。角度が小さい場合は、サブピクセルシフトは等しいと近似することができ、LR列の動きベクトルの解は、単純なαの一次元最適化により得ることができる。照射(LCD)の平面と検出器の平面が平行である場合は、サブピクセルシフトは、「厳密に」等しくなるはずである。

方法2:2Dカラー撮像

第二の方法においては、実施形態によるSPLMシステム10又はEペトリシステムは、カラー光検出器160により撮影されたLRカラー投影画像列に基づいて、適切なSRアルゴリズムを用いて、試料150の2DカラーHR画像を生成するよう構成されたものとすることができる。この方法において、SPLMシステム10又はEペトリシステムは、サブピクセルシフトされたカラーLR投影画像列を撮影することが可能なカラー光検出器112(例えば、カラーCMOSセンサ)を有する。プロセッサ210は、サブピクセルシフトされたカラーLR投影画像と共に、適切なカラー超解像度技術を用いて、1つ又は複数のSRカラー画像を生成することができる。最も簡単な技術としては、色成分それぞれに対して個別にモノクロ超解像度技術を用いるものが挙げられる。別の例においては、異なる色空間への変換を伴う、より複雑な超解像度技術を用いることもできる。このことは、例えば、Farsiu, Sinaらの論文、「Advances and challenges in super-resolution」、Wiley Periodicals(2004年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。

方法3:2Dの計算されたカラー撮像

第三の方法においては、実施形態によるSPLMシステム10又はEペトリシステムは、それぞれが異なる照射118の波長又は色に関連付けられた複数のLRフレーム列に基づいて、適切なSRアルゴリズムを用いて、試料150の2DカラーHR画像を生成するよう構成されたものとすることができる。SPLMシステム10又はEペトリシステムは、異なる波長/色に関連付けられたそれぞれの列に基づいて、2DのカラーHR画像を構築することができる。SPLMシステム10は、異なる波長に関連付けられた複数の2DのカラーHR画像を結合して、試料150の2DのマルチカラーHR画像を作成することができる。そうした実施形態によるSPLMシステム10又はEペトリシステムは、カラー照射ディスプレイ116(例えば、カラーLCD)又はカラー照射118を生成することが可能なその他の装置を備えた走査照射源100を有する。任意の適切な波長及び波長の数を用いることができる。一例において、可視色の範囲が最も大きな光の波長を選ぶことができる。いくつかの例においては、異なる波長/色を用いた個別の走査を用いて、RGBの投影画像列を別々に撮影することができる。別の場合において、光素子117は、単一の走査において異なる波長/色を連続的に切り替える。

一実施形態において、SPLMシステム10又はEペトリシステムは、RGB照射ディスプレイ116(例えば、RGBのLCD)を備えた走査照射源100を有することができる。そうした実施形態においては、赤色、緑色及び青色(RGB)の走査を個別に用いて、LR投影画像のRGB列(すなわち、赤色の列、緑色の列及び青色の列)を別々に撮影することができる。そうした実施形態によるSPLMシステム10又はEペトリシステムは、それぞれの列に基づいて、HRのRGB画像を生成することができる。SPLMシステム10又はEペトリシステムは、各列に基づく2DのカラーHR画像を結合させて、RGB画像を生成することができる。

方法4:3Dディスプレイを用いた3D撮像

第四の方法においては、実施形態によるSPLMシステム10及びEペトリシステムは、3Dディスプレイ230上での3D撮像のために構成されたものとすることができる。この方法において、SPLMシステム10又はEペトリシステムは、n個の異なる入射角でn個の2DのHR画像を生成して、異なる光素子117の位置に基づくオブジェクト152の様々な視点画像を生成することができる。

上記方法において、走査照射源110は、n個の異なる関心入射角度それぞれの周辺範囲の照射角度からの照射118を生成する位置に光素子117を走査させる。例えば、30度からのオブジェクト152の視点画像が所望される場合は、走査照射源110は、X/Y方向の30 +/- 2度の範囲の照射角度から照射118が生じるように光素子117を走査させることができる。別の例として、-30度からのオブジェクト152の視点画像が所望される場合は、走査照射源110は、X/Y方向の-30 +/- 2度の範囲の照射角度から照射118が生じるように光素子117を走査させることができる。1つのHR画像を得るための「角度」の走査範囲は、3D撮像で様々な視点画像を得るために用いられる大きな角度変化に対して一定かつ小さく(この例においては、4度)することができる。この場合も、HR画像はそれぞれ、照射を走査させて撮影されたLR投影画像列からの再構築により得ることができる。ただし、撮影は、はるかに大きな角度だけずらして行われる。

異なる入射角から得られた上記の2DのHR画像は、結合されて、3Dディスプレイ230(例えば、3Dモニタ)上に又は、回転GIF又は動画ファイルとして表示することができる。このことは、照射LCDの様々な領域を用いて、様々な角度からの試料の高解像度投影画像を生成することにより実現できる。

検出面に平行な平面での視点画像が所望される撮像方法においては、走査照射源110は、当該検出面の法線の周辺範囲の照射角度から照射118が生じるような位置に光素子117を走査することができる。例えば、走査照射源110は、X/Y方向の+/- 2度の領域の照射角度から照射118が生じるように光素子117を走査させることができる。

方法5:3D焦点

第五の方法においては、実施形態によるSPLMシステム10又はEペトリシステムは、試料150を通る様々な関心平面で2DのHR画像の「ピントを合わせる」ように構成されたものとすることができる。また、SPLMシステム10又はEペトリシステムは、「ピント合わせ」された複数の2DのHR画像を様々な平面にスタックして3DのHR画像を生成することができる。三次元の試料について、当該三次元の試料の様々な面での「ピント合わせ」を実現するために、SPLMシステム10又はEペトリシステムは、サブピクセルシフトされたLR投影画像列から、それぞれのサブピクセルシフトに関連する異なる動きベクトルに基づいて、HR画像を構築することができる。

そうした方法においては、SPLMシステム10又はEペトリシステムは、撮影済みの、サブピクセルシフトされたLR投影画像列及び特定された、ある平面での動きベクトルに基づいて、当該平面でピント合わせされた1つの2D画像を構築することができる。例えば、SPLMシステム10又はEペトリシステムは、試料150のスライスの2DのHD画像をある平面で作成することができる。この例において、SPLMシステム10又はEペトリシステムは、LR投影画像の上記平面での動きベクトルを特定する。SPLMシステム10又はEペトリシステムは、関心平面で特定された動きベクトル及び光検出器160により撮影されたサブピクセルシフトされたLR投影画像列に基づいて、ピント合わせされた2DのHD画像を構築する。SPLMシステム10又はEペトリシステムはさらに、複数の動きベクトル及び同一のサブピクセルシフトされたLR投影画像列を用いてHR画像を構築することにより、複数平面でピントを合わせることもできる。

再構築された画像の焦点品質は、LR投影画像のサブピクセルシフトの正確な評価に依存しており、サブピクセルシフトは、光検出器160と照射面との間の試料150の距離に依存するため、再構築のステップにおける様々なサブピクセルシフト(すなわち、様々な動きベクトル)の利用は、光検出器160上方の特定の試料平面へのピント合わせを可能にする。これにより、様々な角度からの投影画像を用いた三次元データを提供する(先述した方法)だけでなく、特定の三次元平面でピントを合わせるための、1つの広範囲な走査LR投影画像列が効果的に得られる。

一実施形態において、走査照射装置110は、広範囲な走査LR投影画像列を生成するために、広範囲の照射角度から照射118を行うように光素子117を掃照させる。図10は、本発明の実施形態に従った、3つの広範囲に及ぶ入射角度θ₁、θ₂及びθ₃から得られる、光検出器160上への3つの投影を概略的に示す図である。光素子117からの光118の照射角度を変化させることにより、オブジェクト152の3つの異なる視点画像1、視点画像2、視点画像3に関連する3つの投影の列を生成することができる。図10において、θ₁は0度であり、z軸の負の方向に在る。光検出器160は、シフトする投影に関連するLR投影画像列を撮影することができる。また、光検出器160は、広範囲の入射角度で掃照された照射に関連する複数のサブピクセルLR投影画像列を撮影することができる。この広範囲な走査LR投影画像列は、様々な視点画像からの投影画像を用いて3Dデータを生成する(先述した方法)だけでなく、特定の3D平面でピントを合わせるためにも用いることができる。

III.Eペトリ

概念的には、Eペトリシステムで用いる顕微鏡撮像方法は容易に理解できる。構造的には、試料(例えば、培養細胞)が光検出器(例えば、CMOS撮像センサ)の面又は当該光検出器に載せられた透過層の面の上に直接置かれる。もし、極小ピクセルの高密度グリッドを備えた理想的な撮像センサを用いて、試料を撮像センサ面に直接置いたならば、当該理想的な撮像センサにより、明瞭性に優れた画像の影(投影)画像を収集することが可能だろう。残念ながら、現在利用可能なセンサチップは、比較的大きなピクセル(例えば、2.2μm)を有する。このことは、従来のセンサチップで収集された顕微鏡オブジェクトの影画像そのものは、本質的にきめが粗いことを意味する。具体的に言えば、原影画像の解像度は、ピクセルサイズの2倍にすぎない(これは、ナイキスト判定法の考察による)。これに対して、以下の手法を用いて、解像度の向上、具体的には、密度が向上された、より小さな「仮想」ピクセルの生成を行うことができる。

まず、試料をセンサチップの実際の感光領域から隔離する透過層(例えば、薄厚の保護層)が存在し得ることに留意が必要である。この認識を踏まえて、インコヒーレントな照射を試料上方で連続的に傾斜/シフトさせると、原画像列を取得することができる。照射が徐々に傾斜/シフトされると、図3に示すように、対象物である試料の影が、センサピクセル上で徐々にシフトされる。影のシフト量は、透過層の厚み及び照射源の傾斜/シフトに比例する。各原画像フレーム間の影のシフトがピクセルの物理サイズより小さいならば、サブピクセルシフトされた影画像列の情報を結合して、適切なピクセル超解像アルゴリズムを用いて1つのHR画像を生成することができる。超解像撮像及び超解像アルゴリズムのいくつかの例は、Milanfar, P.による著書、「Super-Resolution Imaging」(CRC Press、2010年)、Hardie, R.、Barnard, K.及びArmstrong, E.による論文、「Joint MAP registration and high-resolution image estimation using asequence of undersampled images」、IEEE Transactions on Image Processing、第6巻、1621-1633頁(1997年)、Elad, M.及びHel-Or, Y.による論文、「A fast super-resolution reconstruction algorithm for pure translational motion and common space-invariant blur」、IEEE Transactions on Image Processing、第10巻、1187-1193頁(2001年)、Farsiu, S.、Robinson, M.、Elad, M.及びMilanfar, P.による論文、「Fast and robust multiframe super resolution」、IEEE Transactions on Image Processing、第 13巻、1327-1344頁(2004年)(「Elad」と呼称する)、Farsiu, S.、Robinson, D.、Elad, M.及びMilanfar, P.による論文、「Advances and challenges in super resolution」、International Journal of Imaging Systems and Technology、第14巻、47-57頁(2004年)並びにFarsiu S.、Elad, M.及びMilanfar, P.による論文、「Multiframe demosaicing and super-resolution of color images」、IEEE Trans Image Process、第15巻、141-159頁(2006年)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。適切な超解像アルゴリズムを用いた超解像モデル及び解法の一例については、セクションII.E.で説明する。

A.Eペトリシステム

図11は、本発明の実施形態に従った、n個のEペトリ装置610を有するEペトリシステム600の概略図及び当該Eペトリ装置610のうち1つのEペトリ装置の拡大図である。nは、任意の適切な数(例えば、1、2、3、4、10及び20等)とすることができる。Eペトリシステム600のEペトリ装置610はそれぞれ、走査照射源110、Eペトリ皿620及び支持体180を有する。支持体180は、光検出器160に対して走査照射源110を固定位置に保持する。Eペトリシステム600はさらに、中継装置700(例えば、マルチプレクサ)、予め規定された環境を維持するための培養器800及びホストコンピュータ200を有する。中継装置700は、データ受信のために、n個のEペトリ装置610と電子通信状態にある。ホストコンピュータ200は、n個のEペトリ装置610からのデータであり、中継装置700により中継及び制御(多重化)されたデータを受信するために、中継装置700と電子通信状態にある。n個のEペトリ装置610は、培養器800の壁により形成されたチャンバ内に置かれている。ホストコンピュータ200は、第二プロセッサ210(図1に示す)、第二CRM220(図1に示す)及び画像ディスプレイ230を有する。画像ディスプレイ230及び第二CRM220は、第二プロセッサ210と電子通信状態にある。いくつかの場合においては、第二プロセッサ210又は第二CRM220は省略することができ、これらの構成部品の機能を、第一プロセッサ112又は第一CRM114のうち1つ又は複数により行うことができる。

図11において、Eペトリ装置610は、試料150に対して複数の照射角度から照射118を行うことが可能な走査照射源110を有する。走査照射源110は、第一プロセッサ112、第一のコンピュータ読み取り可能な媒体(CRM)114及び照射ディスプレイ116(例えば、LCD及び発光ダイオード(LED)ディスプレイ等)を有する。いくつかの場合においては、第一プロセッサ112及び第一CRM114は、走査照射源110から分離することができる。第一プロセッサ112は、照射ディスプレイ116及び第一CRM114と電子通信状態にある。照射ディスプレイ116は、照射118(例えば、インコヒーレント光)を行う光素子117(例えば、LCD/LEDの1つ又は複数の点灯ピクセルのセット)を有する。照射ディスプレイ116はさらに、ディスプレイ面119を有する。ディスプレイ面162は、検出面119から距離dの位置に置かれている。光素子117は、図示例では、ディスプレイ面119上に位置する。他の実施形態においては、ディスプレイ面119と光素子117との間又はディスプレイ面119の外側に透過層を置くことができる。また、走査照射源110は、x軸、y軸(図示しない)及びz軸を有する。x軸及びy軸は、ディスプレイ面119と同一平面に在る。z軸は、上記平面に直交している。点線で示されているように、光検出器160は、任意選択的に、走査照射源110の第一プロセッサ112と電子通信させて、動作を同期させることができる。

図11において、Eペトリ装置610はさらに、Eペトリ皿620を有する。Eペトリ皿620は、検出面162を有する光検出器160及び当該光検出器160(例えば、市販されている、2.2μmのピクセルを有するCMOS撮像センサ)に置かれた透過層165を有する。他の場合においては、透過層165は、光検出器160の一部とすることができる。検出面162は、検出領域164(例えば、6 mm x 4 mmの領域)を有する。透過層165は、試料150(例えば、細胞培養)及びその他の物質(例えば、培養基)が置かれる試料面140を有する。光検出器160はさらに、x'軸、y'軸(図示しない)及びz'軸を有する。x'軸及びy'軸は、光検出器160の検出面162と同一平面に在る。z'軸は、上記平面に直交している。また、Eペトリ皿620は、周壁172を備えたオプションのウェル170及びオプションのカバー176を有する。

図11においては、ウェル170の壁172の内部において、5つのオブジェクト152(例えば、細胞)を有する試料150が試料面140に置かれている。5つのオブジェクト152が示されているが、その他の実施形態においては、試料150は、任意の適切な数(例えば、1、2、10、100及び1000等)のオブジェクト152又はオブジェクト152の一部(例えば、細胞成分)を有していてもよい。

図11のEペトリシステム600は、多数の機能、用途及び利点を備えた、多モードのオンチップ撮像システムとして機能することができる。こうしたシステムは、低コストかつコンパクトな形で作成することができ、かつ、システムそのものの構成部品で細胞又はその他のオブジェクト152を増殖させる能力を備えることができる。例えば、Eペトリ皿620のチャンバ構造は、光検出器160に培養基が付着される簡素なものとすることができる。この場合、光検出器160でオブジェクト152(例えば、細胞)が培養及び保管され得る。複数のEペトリ装置610を1つの培養器800に置くことができ、それにより、様々な機能が実行され得ると同時に、様々なタイプのデータが生成され得る。例えば、Eペトリ装置610によって、異なる特性(例えば、波長及び強度)を有する光素子117を用いること又はユーザが明視野及び蛍光発光の両方で同時にオブジェクト152を撮像することを可能にするフィルタを用いることができる。複数のチャンバのアレイ又は流体ネットワークを、化学的及び機械的な環境(図示しない)の制御を行うように設計することもできる。したがって、こうした撮像システムは、生体学ラボにおける従来のペトリ皿及びウェルプレートに取って代わり得る。

図12は、本発明の実施形態に従った、1つのEペトリ装置610を有するEペトリシステム600の写真画像である。Eペトリシステム600は、Eペトリ装置610、培養器800及びEペトリ装置610と通信状態にあるホストコンピュータ200を有する。Eペトリ装置610は、スマートフォンの形態の照射源110と、Eペトリ皿620と、照射源110及びEペトリ皿620を保持する支持体180とを有する。Eペトリ装置610は、環境を制御する培養器800の内部に置かれる。ホストコンピュータ200は、第二プロセッサ210(図1に示す)、第二CRM220(図1に示す)及び画像ディスプレイ230を有する。ホストコンピュータ200は、試料150(図示しない)の画像231をディスプレイ230に表示するための画像データを受信できるように、Eペトリ装置610と電子通信状態にある。

図11及び図12のEペトリシステム600の例示的な動作において、照射源110は、様々な照射時間に様々な照射角度から照射を行って、試料150の(図3に示されている)サブピクセルシフトされた光投影170を、光検出器160の検出面162に生成する。光検出器160は、試料150のサブピクセルシフトされた投影画像を様々な照射時間にサンプリング(撮影)する。ホストコンピュータ200の第二プロセッサ210は、1つ又は複数のサブピクセルシフトされた投影画像列に関連するデータを受信することができる。データは、光検出器150から中継装置700を介して中継される。第二プロセッサ210は、1つ又は複数のサブピクセルシフトされた投影画像列から、投影170の動きベクトルを特定することができる。第二プロセッサ210は、動きベクトル及び1つ又は複数のサブピクセルシフトされた投影画像列に基づいて、適切な超解像アルゴリズムを用いて、試料150の1つ又は複数のHR画像を生成することができる。1つ又は複数のHR画像230及びその他の関連画像232は、ディスプレイ230に表示することができる。

Eペトリシステム600の撮像ランとは、例えば、Eペトリシステム600の動作により、1つ又は複数のEペトリ装置610に置かれた試料150又は試料150の一部のサブピクセル解像度画像が生成される時間間隔のことを言う。Eペトリ装置610の照射サイクルとは、例えば、その走査サイクルにおいて、走査照射源110が、複数の照射時間に対応する複数の照射角度から照射118を行う時間間隔のことを言う。任意の適切な数(例えば、1、10、100及び1000等)の照射時間及びそれらに対応する走査角度を用いることができる。複数の照射角度は、試料150の(図3に示されているような)サブピクセルシフトされた一連の投影170を光検出器160の検出面162に生成するように設計することができる。光検出器160は、照射時間に対応するサンプリング時間に、光投影170をサンプリングすることができる。図11には、光素子117は、あるサンプリング時間に対応する照射サイクルにおける、1つの照射時間において示されている。実施形態において、Eペトリシステム600は、ある期間にわたって、定期的又はそうでなければ連続的に試料150を撮像するよう自動化(自動撮像)するように設計することができる。こうした場合においては、Eペトリシステム600は、より長い期間にわたって、複数の撮像ランを実行する。例えば、Eペトリシステム600は、2週間にわたって、細胞培養を一時間毎に定期的に撮像するように構成され得る。

図13(a)は、本発明の実施形態に従った、Eペトリ皿620及びサイズ比較のための25セント硬貨の写真画像を示す図である。Eペトリ皿620は、光検出器160、透過層165及びウェル170を有する。光検出器160は、2.2μmのピクセルで満たされた6mm x 4mmの撮像領域を備える、市販されているCMOS撮像センサチップの形態である。撮像センサピクセル(光検出素子166)への直接的なアクセスが可能となるように、撮像センサチップ上のマイクロレンズ層及びカラーフィルタは除去した。マイクロレンズ層及びカラーフィルタの除去は、センサチップを酸素プラズマ下で10分間(80 W)処理することにより行われた。主剤と硬化剤とを1:10に混合して、それから、検出面162にスピンコートし、その後80℃で1時間ベーキングすることにより、薄厚のPDMS層の形態の透過層165を準備した。ウェル170は、プラスチック製の四角形のウェルであり、その周壁172の内縁が光検出器160の透過層165にポリジメチルシロキサン(PDMS)を用いて接着されている。Eペトリ皿620はさらに、周壁172の外縁にヒンジ留めされたカバー176を有する。図13(a)において、試料150をウェル170に移すピペットが示されている。

図13(b)は、本発明の実施形態に従った、図13(a)のEペトリ皿620を有するEペトリ装置610を部分的に分解した状態の写真画像を示す図である。図示されているように、Eペトリ装置610は、LED画面の形態の照射ディスプレイ116を備えたスマートフォンの形態の走査照射源110を有する。Eペトリ装置610はさらに、図13(a)のEペトリ皿620を有する。Eペトリ装置610はさらに、光検出器160から2.0 cm離れた固定位置に走査照射源110を保持するための支持体180を有する。図示例において、支持体180は、撮像センサソケットボードとスマートフォンとを格納するビルディングブロックから成る。ディスプレイ面119と検出面162とを平行に位置合わせすることは、必ずしも必須の事項ではない。図13(b)において、Eペトリ装置610は、部分的に分解された状態(照射源110がEペトリ装置610の他の構成部品から分離された状態)で示されている。

図13(c)は、本発明の実施形態に従った、図13(b)のEペトリ装置610を組み立てた状態の写真画像を示す図である。図13(c)において、照射源110は、支持体180に置かれている。図示例のEペトリ装置610を用いた撮像ランにおいて、照射源110は、光検出器160の検出面162に対して-60度〜+60度の範囲の透視照射角度から照射118を行った。Eペトリ装置610全体を培養器800において、自動的かつ長期間の細胞の撮像及び追跡を行うことができる。

実施形態によるEペトリ装置610は、試料150(例えば、細胞及び培養基)が保管及び撮像され得るオンチップ撮像装置である。装置は、生体学ラボにおける、ペトリ皿及びウェルプレートを有する従来の顕微鏡の最適な代替物となり得る。実施形態によるEペトリ装置610は、試料150の収容及び撮像のための任意の適切な構造物及び装置の組み合わせを有することができる。図11、図13(a)及び図13(b)において、Eペトリ装置610は、照射源110、Eペトリ皿620及び支持体180を有する。

上記実施形態によるEペトリ皿620は、試料150を保管すること及び場合によっては撮像することができるオンチップ構造である。こうしたオンチップ設計は、生体学ラボにおける従来のペトリ皿及びウェルプレートの最適な代替物となり得る。実施形態によるEペトリ皿620は、試料150の保持、試料150の環境維持及び/又は試料150の撮像のための任意の適切な構造物及び装置の組み合わせを有することができる。例えば、Eペトリ皿620は、細胞及び培養基が保管され得るチャンバ構造(例えば、ウェル170)を有することができ、当該チャンバ構造は、撮像センサチップの上に置くことができる。チャンバ設計は、チャンバのアレイを有することができる。別の例として、Eペトリ皿620はさらに、1つ又は複数の流体チャネルを備えた流体ネットワークを有することができる。流体ネットワークは、Eペトリ皿620の化学的及び機械的な環境を制御するように設計され得る。別の例として、Eペトリ皿620はさらに、試料150又は試料150のオブジェクト152を、例えば、検出領域164といった領域に保持するための1つ又は複数の誘電性のケージを有することができる。別の例として、Eペトリ皿620はさらに、Eペトリ皿620を保持するための支持体180を有することができる。図11、図13(a)及び図13(b)において、Eペトリ皿620は、検出面162を有する光検出器160、試料面140を有する透過層165、ウェル170及びカバー176で構成されている。

実施形態によるEペトリ皿620の透過層165は、試料150を光検出器160の感光領域から隔離することが可能な任意の適切な材料層とすることができる。透過層165は、光検出器160の一部又は光検出器160に載せられた隔離層(例えば、コーティング層)とすることができる。透過層165は、試料150が置かれる試料面140を有する。透過層165は、例えば、ポリジメチルシロキサン(PDMS)といった任意の適切な材料から作ることができる。透過層165は、任意の適切な厚み(例えば、数百nm〜μmの範囲の厚み)を有することができる。一例において、透過層165の厚みは0.9μmである。透過層165が光検出器160に載せられた層である実施形態において、透過層165は、撮像センサチップの上部に塗布又は堆積された保護層とすることができる。透過層165は、いくつかの場合においては、様々な透過材料から成る複数の層で構成することができる。例えば、透過層165は、薄厚の保護層、コーティング及び/又は培養基で構成することが可能である。

Eペトリ皿620はさらに、撮影された投影画像160に関連するデータ及び撮像に関連するその他のデータを含む1つ又は複数の信号を生成することが可能な撮像センサチップの形態の光検出器160を有する。さらに、光検出器160は、モノクロ検出器又はカラー検出器(例えば、RGB検出器)とすることができる。適切な撮像センサチップは市販されている。いくつかの場合において、光検出器160は、(図2に示されている)ディスクリート光検出素子166の二次元アレイを有する。個々の光検出素子166の二次元アレイを有する適切な光検出器160のいくつかの例としては、電荷結合素子(CCD)アレイ、CMOS撮像センサアレイ、アバランシェフォトダイオード(APD)アレイ、フォトダイオード(PD)アレイ及び光電子増倍管(PMT)アレイが挙げられる。光検出素子のアレイは、任意の適切な向きで配置することができる。また、光検出素子166は、任意の適切なサイズ(例えば、1〜10μm)及び任意の適切な形状(例えば、円形、矩形及び正方形等)にすることができる。例えば、CMOS又はCCDの光検出素子166は、1〜10μmにすることができ、APD又はPMTの光検出素子166は、1〜4mmまで大きくすることができる。また、光検出器160は、検出領域164を備えた検出面162を有する。検出領域164とは、例えば、画像投影170を能動的に撮影する検出面162の領域のことを言う。例示的な実施形態は、検出面162の小さな部分を占める検出領域164を示しているが、他の実施形態においては、検出領域は検出面162の大きな部分又は全体を占めることができる。

いくつかの場合において、撮像センサチップの製造中に、適切な製造方法(例えば、半導体及び/又はミクロ/ナノ製造方法)を用いて、当該撮像センサチップの検出面162に透過層165が置かれ得る。一つの場合において、透過層165は、主剤と硬化剤とを1:10に混合して、それから、3インチのシリコンウェハ上でスピンコートし、その後80℃でベーキングすることにより準備することができる。撮像される試料150を通過する光118の散乱角により、試料150が検出面162から遠く離れた位置に在る場合は、投影画像品質が劣化し得る。このため、透過層160は薄膜とされ得る。また、各光検出素子(ピクセル)の受光角と、オブジェクト152及び検出面162の間の距離とを減少させるために、撮像センサチップの層(例えば、カラーフィルタ及びマイクロレンズ層)を除去又は省略してもよい。カラーフィルタ及びマイクロレンズ層を、予め製造された撮像センサチップから除去するためには、チップを酸素プラズマ下で一定時間(例えば、80Wで10分間)処理すればよい。

図11及び図13(a)に示されているような実施形態において、Eペトリ皿620はさらに、ウェルを有する。ウェル170とは、例えば、撮像される試料150を収容又は保持することが可能な任意の適切な1つ又は複数の構造物のことを言う。ウェル170の構成部品(例えば、周壁172)は、PDMSといった任意の材料から作ることができる。図11に示されているような実施形態において、ウェル170は、試料面140に直接連結された周壁172を有する。周壁172は、試料150を収容するための四角形の筐体を形成する。図13(a)に示されているもののような他の実施形態においては、ウェル170は、周壁172と当該周壁172の周縁に取り付けられた透過性の床部とを有する別個の構造物とすることができる。透過性の床部は、試料面140又は光検出器160の検出面162に取り外し可能又はそうでなければ取り外し不可能な形で連結することができる。他の実施形態においては、ウェル170は、チャンバのアレイといった他の構造物を有することができる。各チャンバはそれぞれの試料150を保管することが可能である。

図11及び図13(a)に示されているような実施形態において、Eペトリ皿620はさらに、ウェル170の上に置かれ得るカバー176を有する。カバー176は、試料150に対して適切な保護を提供できさえすれば、いかなる適切な構造物であってもよい。カバー176は、任意の適切な材料(例えば、PDMS)から作ることができ、任意の適切な厚み(例えば、100μm)を有することができる。例えば、カバー176は、ウェル170と外部との間のCO₂交換を可能にしつつ、培養基の蒸発を防ぐPDMSの薄膜とすることができる。カバー176は、いくつかの場合においては、除去可能とすることができる。

図11、図12、図13(b)及び図13(c)に示されているような実施形態において、Eペトリ装置610は、支持体180を有することができる。支持体180とは、例えば、走査照射源110を、光検出器160に対して固定された位置であり、試料面140から距離dの位置に保持することが可能な適切な構造物、装置又はこれらの組み合わせのことを言う。支持体180は、いくつかの場合においては、Eペトリ皿620の一部とすることができる。図11及び図13(b)において、支持体は、Eペトリ皿620が載置及び/又は連結される開口部を備えた底部を有する。図13(b)に示されているような実施形態による支持体180はさらに、走査照射源110を載せるための部分を有する。図11、図13(b)及び図13(c)に示されているようないくつかの場合においては、走査中に、ディスプレイ面119が光検出器160の検出面162に略平行かつ当該検出面162から距離dの位置で保たれるように、走査照射源110を保持することができる。そうした場合には、照射ディスプレイ116は、ディスプレイ面119に垂直に照射118を行うことができる。他の場合においては、ディスプレイ面119が法線に対してある角度で傾き得るように、走査照射源110を保持することができる。その角度で、より極端な照射角度からの投影170が撮影されると、さらに完全な3D再構築が得られる場合もある。一実施形態において、走査照射源110は、照射ディスプレイ116(例えば、LCDアレイ)が法線に対してある角度を成すよう当該照射ディスプレイ116の位置を変化させるためのアクチュエータ、コントローラ又はその他の機構を有することができる。

実施形態において、試料面140に置かれた試料150は、Eペトリ装置610又はSPLM装置100により撮像することができる。試料150は、任意の適切な数(例えば、1、2、10、100及び1000等)のオブジェクト152又はオブジェクト152の一部(例えば、細胞成分)を有していてもよい。試料150はさらに、培養基といった他の材料を有することができる。図11においては、ウェル170の壁172の内部において、5つのオブジェクト152(例えば、細胞)を有する試料150が試料面140に置かれている。任意の試料150を、Eペトリシステム600又はEペトリ装置610により撮像することができる。例えば、適切な試料150は、1つ又は複数のオブジェクト(例えば、細胞)を有するコンフルエントな試料(例えば、細胞培養)とすることができる。適切な試料150の別の例としては、オブジェクト152が密接に結合している試料が挙げられる。試料150は、任意の適切なタイプのオブジェクト150を有することができる。適切なタイプのオブジェクト150は、生物学的又は無機性の実体物であり得る。生物学的実体には、細胞全体、細胞成分、微生物(例えば、細菌又はウイルス)及び細胞構成体(例えば、蛋白質等)が含まれる。無機性の実体物も本発明の実施形態により撮像され得る。

図11、図12、図13(b)及び図13(c)に示されているような実施形態において、Eペトリ装置610は、走査照射源110を有する。走査照射源110は、試料面140に置かれた試料150に対して、様々な照射角度から照射118を行って、試料150のサブピクセルシフトされた投影170を検出面162に生成することが可能な任意の適切な装置又は装置の組み合わせを有することができる。適切な走査照射源110は、市販されている。例えば、走査照射源は、照射ディスプレイ116を有する携帯通信装置(例えば、スマートフォン及びタブレット等)とすることができる。図2、図4、図12、図13(b)及び図13(d)には、適切な走査照射源110として、スマートフォンの形態のものが例示されている。適切な走査照射源110の別の例としては、空間光変調器を用いて照射118を走査させるトモグラフィック位相顕微鏡が挙げられる。図示された実施形態において、走査照射源110は、携帯通信装置の形態である。

図11において、走査照射源110は、第一プロセッサ112、第一CRM114及び照射ディスプレイ116を有する。照射ディスプレイ116は、ディスプレイ面119と、ディスプレイ面119で照射118を行う光素子117とを有する。

照射ディスプレイ116は、照射118を行うことが可能な任意の適切なディスプレイとすることができる。適切な照射ディスプレイ116は、市販されている。適切な照射ディスプレイ116のいくつかの例としては、モノクロ、カラー又はグレースケールのLCD、LEDディスプレイ(例えば、ディスプレイパネル)、テレビ画面及びLCDマトリクス等が挙げられる。照射ディスプレイ116は、任意の適切な値(1000 x 1000、1000 x 4000及び3000 x 5000等)の寸法M x Nを有する発光コンポーネント(例えば、光ピクセル)の二次元アレイの形態とすることができる。二次元アレイの各発光コンポーネントは、(x_i, y_j)で表される位置を有することができ、ここで、i = 1…M及びj = 1…Nである。照射ディスプレイ116はさらに、ディスプレイ面119を有する。照射ディスプレイ116は、照射118を行うことが可能な任意の位置に置くことができる。図11においては、ディスプレイ面119が検出面162に平行かつ当該検出面162から距離dの位置で保たれるように、走査ディスプレイ116が位置付けられている。

光素子117とは、例えば、照射118を行うことが可能な任意の適切な装置のことを言う。図11において、ディスプレイ面119に位置付けられた光素子117が示されている。他の実施形態においては、光素子117は、ディスプレイ面119の下方に位置付けることができる。実施形態において、光素子117は、照射サイクルのある照射時間に点灯される、照射ディスプレイ116の1つ又は複数の発光素子(例えば、LCD照明/素子)のセットとすることができる。セットは、任意の適切な数(例えば、1、5、10及び100等)の発光コンポーネントを有することができる。こうした実施形態において、光素子117は、照射サイクルにおける様々な時間に照射される様々な発光素子のセットとすることができる。光素子117は、任意の適切なサイズ及び形状(例えば、矩形、円形、点状及び棒状等)にすることができる。図4(a)において、光素子117は、照射ディスプレイ116上の直径約1cm分の、約640個の点灯ピクセルのセットを有する円形状のものである。上記位置の他にも、点灯されるそれぞれの発光素子のセットのサイズ及び形状は、経時的に変化させることができる。他の実施形態においては、光素子のサイズ及び形状は一定とすることができる。

照射サイクルにおいて、走査照射源110は、光素子117を様々な時間においてそれぞれの位置に設けることにより、試料150に対して、複数の照射角度から照射118を行うことができる。例えば、光素子117は、照射ディスプレイ116の複数の位置の様々な発光素子のセットとすることができる。走査照射源110は、様々な時間に異なる発光素子のセットを照射することにより、光素子117を複数の異なる位置に変化させることができる。この例において、光素子117の位置とは、例えば、照射された発光コンポーネントのセットの中心座標のことを言う。別の例として、光素子117は、様々な時間に、それぞれ様々な角度で傾き得る。別の例として、光素子117は、複数の位置に移動する1つの光源であり得る。別の例として、光素子117は、様々な時間に点灯される、培養器800の複数位置の異なる光源のセットであり得る。複数位置は、任意の適切な数n(n=1、2、3、4、5、10、20、100及び1000等)の位置を含み得る。複数の照射角度は、試料150のサブピクセルシフトされた投影170を検出面162に生成することが可能な適切な照射角度を含み得る。1つの場合において、光素子117は、検出面162の法線周囲のX/Y方向の小さな照射角度範囲(例えば、+/- 2度)を生じさせるような位置に光素子117を位置付けることができる。

図11、図12、図13(b)及び図13(c)において、照射ディスプレイ116の1つ又は複数の発光コンポーネント(例えば、ピクセル)の様々なセットが様々な時間に点灯されて、光素子117の位置及び/又は光素子117からの照射118の特性が変化される。こうした図示例において、走査照射源110は、発光コンポーネントの二次元アレイの形態の照射ディスプレイ116を有するスマートフォンの形態である。二次元アレイの発光コンポーネントのそれぞれのセットが、照射サイクル中の様々な時間に点灯され得る。

実施形態において、走査照射源110は、光素子117を任意の複数の位置に位置付けることができ、光素子117は、照射サイクルにおいて任意の適切な特性を有し得る。いくつかの場合において、複数の位置は、1つのグループとしてパターン(例えば、アレイ、円、正方形及び三角形等)を形成することができる。一実施形態において、照射ディスプレイ116の発光コンポーネントは、照射サイクル中に走査パターンに応じて点灯され得る。走査パターンとは、例えば、走査サイクル中の様々な照射時間における光素子117の複数の位置と、それぞれの位置における光素子117の特性(例えば、サイズ及び形状等)とを含む記述のことを言う。一実施形態において、走査パターンは、照射ディスプレイ116の光素子117の位置(x_{i = 1 to n}, y_{j = 1 to m})の(大きさn x mの)二次元アレイの形態とすることができる。アレイは、任意の適切な大きさ(例えば、1 x 100、1 x 10、100 x 100、3000 x 20及び400 x 300等)を有することができる。一例において、走査パターンは、走査位置の二次元アレイ及び光素子117が各行を一定の速度で連続的に移動するための記述を含むことができる。別の例において、走査パターンは、走査位置の二次元アレイ及び光素子117が各列を一定の速度で連続的に移動するための記述を含むことができる。さらに別の例において、走査パターンは、走査位置の二次元アレイ及び光素子117がアレイをランダムに移動するための記述を含むことができる。また、走査パターンは、連続する投影画像に所望されるサブピクセルシフト量を含むことができる。走査パターンはさらに、所望される投影画像及び/又はHR画像の総数を含むことができる。

図4(b)は、実施形態に従った、照射サイクルの走査パターンの一例を示す図である。走査パターンは、照射サイクルにおいて、ディスプレイ面119における、光素子117の225個の位置の15 x 15個の二次元アレイ配列の形態である。これらの225個の位置は、照射ディスプレイ116のディスプレイ面119の平面上のx軸及びy軸に沿ったx、y位置に示されている。図示例において、走査パターンは、x軸方向における15個の列位置及びy軸方向における15個の行位置を有する。各位置において、光検出器160は、異なる投影画像を撮影することができる。光検出器160は、走査パターンにおける225個のそれぞれの走査位置に応じて、225個もの異なる投影位置を撮影することができる。光検出器160により撮影される投影画像は、1つ又は複数のサブピクセルシフトされた投影画像列を含み得る。図4(b)に示されている走査パターンの矢印は、照射サイクルにおけるそれぞれの位置の時間的な順序を示す。図示されている矢印によれば、光素子117は、走査パターンにおける二次元アレイの各行を連続的に移動する。

また、走査パターンは、第一CRM114又は第二CRM220のコードとして記憶することができ、第一プロセッサ112又は第二プロセッサ210により実行される。例えば、走査パターンは、第一CRM114に記憶された適切なフォーマットの映像プログラム(例えば、スマートフォン上のアプリ)であり、実行された場合に、照射ディスプレイ116の様々な位置に移動する光素子117の映像を経時的に表示するものとすることができる。図4(a)は、そうした映像の一例を示す。本例において、光素子117は、図4(b)に示されている走査パターンで規定される位置に従って、照射ディスプレイ116にわたって経時的に移動する光点の形態である。図4(a)において、光素子117は、図4(b)に示されている走査パターンの1つの位置にある。本例において、照射ディスプレイ116は、Eペトリ皿620の中央上方に置かれる。光素子117は、位置によって一定又は異なる特性を有することができる。1つの場合においては、光素子117が照射ディスプレイ116の中央から遠ざかる時に、当該光素子117のサイズを一定とすることができる。この場合には、ディスプレイ面119の中央から遠ざかるにつれて、入射角が大きくなるため、試料150に関連する光検出器160からの読み出し強度は減少する。図4(a)及び図4(b)に示されている図示例において、より一定な読み出し強度を維持するためには、光素子117が照射ディスプレイ116(例えば、スマートフォン画面)の中央から遠ざかるにつれて当該光素子117のサイズ(例えば、輝点のサイズ)を線形に増加させればよい。

実施形態において、光素子117の特性(例えば、サイズ、照射118の特性及び形状等)は、照射サイクルの様々な位置によって変化させることができる。様々な位置での光素子117の特性は、光素子117の発光素子数、光素子117の形状及び/又は光素子117の発光素子からの光118の特性を変えることにより、変化させることができる。照射サイクルの照射時間における、光素子117からの照射118の光特性(例えば、強度、波長、周波数、偏光、位相、スピン角運動量及びその他の光特性)は、任意の適切な値を有することができる。いくつかの場合において、照射118は、インコヒーレント光とすることができる。

実施形態において、Eペトリ装置により用いられる撮像方法の光強度要件は、比較的低い。一実施形態において、適切な照射118の強度は、従来のスマートフォン画面からの照射により提供することができる。基準点として、ハロゲンランプを用いた従来の顕微鏡は通常、試料150に対して20W/m²の光強度を与える。他の実施形態においては、LEDディスプレイパネル、テレビ画面又はLEDマトリックスにより、適切な照射118の強度を提供することができる。光検出素子166で受光される適切な光強度は、0.015W/m²とすることができる。

実施形態において、照射ディスプレイ116の光素子117により生成される照射118の強度は、光素子117のサイズを変更することにより制御できる。いくつかの場合において、光素子117のサイズは、照射サイクルの様々な位置によって、光素子117の位置と検出面162の平面上の一点との間の距離に基づいて変化させることができる。それにより、一点での強度が略同一の光を生成することができる。この場合に、光素子117のある位置でのサイズSは、当該位置から適当な点の位置までの距離Lに比例し得る。適当な点としては、例えば、a)走査位置のアレイの中心又はb)照射ディスプレイ116の中心(例えば、スマートフォンのLCDの中心)が挙げられる。例えば、照射サイクルにおける、ある位置での光素子117のサイズSは、S = S_center x (1 + L)として規定され得る。ここで、S_centerは、位置アレイの中心における光素子117のサイズである。このようにして、ディスプレイ面119の光素子117の位置の中心に垂直な検出面162の位置で受光される光強度を、略一定に保つことができる。別の例としては、光素子117のそれぞれの位置でのサイズSは、S = S_A x (1+A)として規定され得る。ここで、S_Aは、照射ディスプレイ116の位置Aでの光素子117のサイズであり、Aは、上記それぞれの位置から位置Aまでの距離である。

実施形態において、光素子117は、照射サイクル中のn個の異なる照射時間において、n個の異なる波長λ₁, …, λ_nの照射118を行うことができる。いくつかの例においては、光素子117は照射サイクル中に別の位置に移動した時に、照射118は、一連の異なる波長を連続的に繰り返す形とすることができる。一例において、光素子117は、赤色、緑色及び青色にそれぞれ対応する3つの波長λ₁,λ₂,及びλ₃のRGB照射を行うことができる。光素子117は、照射サイクルのいくつかの照射時間に、3つの波長λ₁,λ₂,及びλ₃の照射118を順次行うことができる。一つの場合において、照射118は、照射時間t₁には波長λ₁を有し、照射時間t₂には波長λ₂を有し、照射時間t₃には波長λ₃を有し、照射時間t₄には波長λ₁を有し、照射時間t₅には波長λ₂を有することにしてもよい。

照射サイクルにおいて、複数の照射角度からの照射118は、複数の光投影170を検出面162に生成する。各投影画像(フレーム)とは、例えば、照射サイクルの、あるサンプリング時間に光検出器160によりサンプリングされたスナップショット画像のことを言う。いくつかの場合において、光検出器160は、各照射時間に投影画像170を撮影する。光検出器160によりサンプリングされた各投影画像は、2Dの投影画像を表示するために用いることができる。カラー光検出器160を有する実施形態において、2D投影画像は、カラー画像とすることができる。モノクロ光検出器160を有する実施形態において、投影画像は、白黒画像とすることができる。

サブピクセルシフトされた投影画像列とはそれぞれ、例えば、n回のサンプリング回数でサンプリングされたn個の投影画像のことを言う。ここで、(時間的又は空間的に)隣接する投影画像同士の間には、ピクセルサイズより小さな間隔が空けられている(すなわち、サブピクセルシフト)。走査サイクル中に、n個の投影画像(I₁, …, I_n)がn個の連続するサンプリング時間(t₁, …t_n)に撮影され得る。また、任意の適切な数n(例えば、1、3、5、10及び100等)の投影画像が照射サイクル中に光検出器160により撮影され得る。また、任意の適切な数n(例えば、1、3、5、10及び100等)のサブピクセルシフトされた投影画像列が照射サイクル中に光検出器160により撮影され得る。複数の画像列が撮影される場合は、当該画像列は、異なる投影画像グループを含むこと又は1つ又は複数の投影画像を重複する形で共有することができる。一例において、9つの投影画像(I₁, I₂, I₃, I₄, I₅, I₆, I₇, I₈, I₉)を9つのサンプリング時間(t₁, t₂, t₃, t₄, t₅, t₆, t₇, t₈, t₉)に撮影することができる。上記例の画像が重複する場合においては、画像列は、1)I₁, I₂, I₆及びI₈並びに2)I₆, I₇, I₈及びI₉であり得る。上記例の画像が重複しない場合においては、画像列は、1)I₁, I₂, I₃及びI₄並びに2)I₅, I₆, I₇及びI₈であり得る。他の例においては、サブピクセルシフトされた投影画像列は、非連続的なサンプリング時間に基づくものとすることができる。例えば、9つの投影画像(I₁, I₂, I₃, I₄, I₅, I₆, I₇, I₈, I₉)が9つの連続するサンプリング時間(t₁, t₂, t₃, t₄, t₅, t₆, t₇, t₈, t₉)に撮影され、投影画像列は(I₆, I₂, I₉, I₁)であり得る。

実施形態において、光検出器160は、走査パターンにおける光素子117の各位置で投影画像を撮影する。例えば、光検出器160は、図4(b)に示されているような走査パターンにおける15 x 15個の位置アレイに関連する225個の投影画像を撮影することができる。この例においては、光素子117が位置の二次元アレイの各行を上記走査パターンで連続的に移動すると、光検出器160は、各位置の投影画像を撮影することができる。各行に含まれる位置が15個のサブピクセルシフトされた投影170に関連付けられている場合は、光検出器160は走査サイクル毎に、15個のサブピクセルシフトされた投影画像をそれぞれ含む15個の画像列を撮影することができる。この場合に、15個の画像列はそれぞれ、走査パターンの一行分に含まれる光素子117の位置に関連する。

図11において、照射源110の第一プロセッサ112は、照射ディスプレイ116、第一CRM114及び光検出器160と電子通信状態にある。第一プロセッサ112(例えば、マイクロプロセッサ)は、第一CRM114(例えば、メモリ)に記憶されたコードを実行して、走査照射源110のいくつかの機能を実行することができる。例えば、第一プロセッサ112は、第一CRM114に記憶された走査パターンを含むコードを実行することができる。CRM114は、例えば、走査パターンを含むコード、光素子117を走査するための他のコード及び走査照射源110の他の機能のための他のコードを有することができる。第一CRM114はさらに、当業者により作成することが可能な信号処理機能又はその他のソフトウェア関連機能のいずれかを実行するためのコードを有することができる。コードは、C、C++及びパスカルを含む任意の適切なプログラミング言語で書くことができる。

光データとは、例えば、光検出器160の光検出素子166により撮影された1つ又は複数の投影170に関連する任意の適切な情報のことを言う。例えば、光データは、受光された投影光の特性に関する情報(例えば、光強度、光の波長、光の1つ又は複数の周波数、光の偏光、光の位相、光の角運動量及び/又は光検出素子166により受光される光に関連するその他の光特性)を含むことができる。光データはさらに、受光する光検出素子166の位置、光が受光された時間(サンプリング時間又は走査時間)又は受信された投影170に関連するその他の情報を含むことができる。実施形態において、各光検出素子166は、投影170に関連する光であり、光検出素子166により受光された光に基づく光データを含む信号を生成することができる。

動きベクトルとは、例えば、投影画像列における投影画像の並進のことであり、集合的に、投影画像列の動きベクトルと呼称される。動きベクトルは、平面上の投影画像のシフト量に基づく。サブピクセルシフトされた投影画像列の動きベクトルは、光検出器160により撮影された関連先の投影画像から算出され得る。動きベクトルは、任意の関心平面で算出され得る。例えば、動きベクトルは、検出面162の平面で特定され得る。この例において、動きベクトルは、光検出器160の検出面162の局所的なx'軸及びy'軸に関して特定される。別の例においては、動きベクトルは、撮像される試料150を通る他の平面で算出され得る。試料150を通る平面は、いくつかの場合においては、検出面162の平面と平行であってもよい。

Eペトリシステム600の実施形態において、サブピクセルシフトされた投影画像の列及び当該投影画像の動きベクトルに関連するデータに基づいて、適切なSRアルゴリズムを用いて、試料150のサブピクセル解像度画像を構築することができる。Eペトリシステム600の実施形態により実現可能な画像解像度の一例としては、約0.66μmが挙げられる。任意の適切なSRアルゴリズムを用いることができる。適切なSRアルゴリズムの例としては、シフト加算ピクセルSRアルゴリズムが挙げられる。SRアルゴリズムの他の例については、セクションIIで説明する。

動きベクトルに基づいて生成されるサブピクセル解像度画像は、動きベクトルに関連する関心平面でピント合わせされる。すなわち、動きベクトルが関心平面に基づいて評価される場合は、サブピクセル解像度画像は、動きベクトルの評価に用いた関心平面でピント合わせされた二次元画像となる。例えば、検出面162の関心平面に基づいて動きベクトルを評価する場合は、生成されるサブピクセル解像度画像は、検出面162の平面上でピント合わせされる。撮像される試料150を通る平面に基づいて動きベクトルを評価する場合は、サブピクセル解像度画像は、試料150を通る平面でピント合わせされた試料150の断面図となる。実施形態において、Eペトリシステム600は、試料150の断面の平面にサブピクセル解像度画像を生成するために用いる動きベクトルの値を変更することにより、当該断面のサブピクセル解像度画面を生成することができる。Eペトリシステム600は、動きベクトルの値を変化させることにより、試料150の様々な断面でピント合わせを行うことができる。実施形態において、Eペトリシステム600は、試料150を通る複数の平面に関連するそれぞれの動きベクトルを用いて生成された複数の二次元のサブピクセル解像度の断面画像に基づいて、三次元のサブピクセル解像度画像を生成することができる。

また、図11のEペトリシステム600は、光検出器160に通信可能に接続されたホストコンピュータ200を有する。ホストコンピュータ200は、第二プロセッサ210(例えば、マイクロプロセッサ)、第二CRM220及び画像ディスプレイ230を有する。画像ディスプレイ230及び第二CRM220は、第二プロセッサ210に通信可能に接続されている。あるいは、ホストコンピュータ200は、Eペトリシステム600とは別個の装置とすることもできる。また、ホストコンピュータ200は、任意の適切なコンピュータ装置(例えば、スマートフォン、ラップトップ及びタブレット等)とすることができる。

第二プロセッサ230は、第二CRM220に記憶されたコードを実行して、Eペトリシステム600のいくつかの機能を実行する。それらの機能とは、例えば、光検出器160からの1つ又は複数の信号の形態で撮影及び通信される1つ又は複数のサブピクセルシフトされた投影画像列からのデータを解釈する機能、サブピクセルシフトされた投影列の動きベクトルを特定する機能、サブピクセルシフトされた画像列に関連するデータから2DのHR画像を構築する機能、サブピクセルシフトされた投影画像列に関連するデータから3DのHR画像を構築する機能、1つ又は複数のHR画像を画像ディスプレイ230に表示する機能及び画像を自動的に再構築して、再構築された画像をユーザが見られるようにディスプレイ230に表示する機能等である。

第二プロセッサ210は、光データ及びその他のデータを含む1つ又は複数の信号を光検出器160から受信することができる。例えば、プロセッサ210は、対応するn個の照射時間列(t₁, t₂, t₃, …t_n)にサンプリングされた1つ又は複数のサブピクセルシフトされた投影画像列に関連する光データを含む1つ又は複数の信号を受信することができる。第二プロセッサ210はさらに、サブピクセルシフトされた投影画像列に基づいて、動きベクトルを特定することができる。第二プロセッサ210はさらに、特定された動きベクトル及び少なくとも1つのサブピクセルシフトされた投影画像列に基づいて、HR画像及び関連する画像データを構築することができる。いくつかの場合において、構築されたオブジェクト150のHR画像は、白黒の2D/3D画像である。他の場合においては、構築されたオブジェクト150のHR画像は、カラーの2D/3D画像である。

一実施形態において、異なる照射118の波長を様々なサンプリング時間に用いて、複数のサブピクセルシフトされた投影画像列を光検出器160に生成することにより、HRカラー画像を生成することができる。各画像列は、異なる波長に関連付けられている。第二プロセッサ210は、異なる波長に関連するそれぞれの画像列に基づいて、HRカラー画像及び関連する画像データを生成することができる。例えば、光素子117により3つの光の波長(例えば、赤色、緑色及び青色(RGB)に関連する波長)を連続的に生成して、当該3つの光の波長に関連する3つのサブピクセルシフトされた投影画像列を生成することができる。プロセッサ210は、それぞれの波長に関連する投影画像列からの画像データを結合して、複数波長又はカラーの画像データ(例えば、RGBカラー画像データ)を生成することができる。複数波長又はカラーのHR画像データは、複数波長又はカラーのHR画像を画像ディスプレイ230に生成するために用いることができる。

第二CRM(例えば、メモリ)220は、Eペトリシステム600のいくつかの機能を実行するためのコードを記憶することができる。上記コードは、第二プロセッサ210により実行可能である。例えば、実施形態による第二CRM220は、a)SRアルゴリズムのコード、b)トモグラフィーアルゴリズムのコード、c)1つ又は複数の信号の形態で光検出器160から受信された光データを解釈するコード、d)3DのHR画像を生成するコード、e)カラーサブピクセル画像を構築するコード、f)SRの二次元及び/又は三次元の画像を表示するコード、g)画像を自動的に再構築して、再構築された画像をユーザが見られるようにディスプレイ230に表示するカスタマイズプログラムのコード及び/又はh)Eペトリシステム600の機能を実行するその他の適切なコードを有することができる。第二CRM220はさらに、当業者により作成することが可能な信号処理機能又はその他のソフトウェア関連機能のいずれかを実行するためのコードを有することができる。コードは、C、C++及びパスカルを含む任意の適切なプログラミング言語で書くことができる。

また、Eペトリシステム600は、プロセッサ210に通信可能に接続されており、データを受信して、例えばHR画像等の出力をEペトリシステム600のユーザに対して行うディスプレイ230を有する。任意の適切なディスプレイを用いることができる。例えば、画像ディスプレイ230は、カラーディスプレイ又は白黒ディスプレイとすることができる。また、画像ディスプレイ230は、二次元ディスプレイ又は三次元ディスプレイとすることができる。一実施形態において、画像ディスプレイ230は、オブジェクト150の複数視点画像を表示することが可能であってもよい。

さらに、実施形態によるEペトリシステム600は、培養器800を有する。培養器とは、例えば、Eペトリシステム600により実行される実験(例えば、長期研究)の期間中に、予め規定された環境をEペトリ皿620において実現することが可能な任意の適切な装置/構造物又は装置及び構造物の組み合わせのことを言う。予め規定された環境は、環境の変数(例えば、温度及び湿度等)を定義するものとすることができる。適切な培養器は、市販されている。図11及び図12に示された例のようないくつかの場合において、培養器800は、壁により画定されたチャンバを有することができる。チャンバは、1つ又は複数のEペトリ装置610を保持するように設計され得る。

さらに、実施形態によるEペトリシステム600は、中継装置700を有する。中継装置700とは、例えば、1つ又は複数のEペトリ装置610からホストコンピュータ200へデータを中継することが可能な適切な装置のことを言う。適切な中継装置は、市販されている。中継装置700は、1つ又は複数のEペトリ装置610からの複数の信号を結合して、ホストコンピュータ200に対する1つの信号にする多重化機能を有することができる。また、中継装置700は、ホストコンピュータ200からの信号のデータを抽出して、1つ又は複数のEペトリ装置610に対して、信号として送信する逆多重化機能を有することができる。中継装置700は、データを無線で送信することができる。

本発明の範囲から逸脱することなく、変形、追加又は省略をEペトリシステム600、Eペトリ装置610又はEペトリ皿620に加えることが可能である。例えば、他の実施形態によるEペトリシステム600は、培養器800及び/又は中継装置700を省略することが可能である。別の例として、他の実施形態によるEペトリ装置610は、支持体180を省略すること又は複数のEペトリ装置610に対して1つの支持体180を有するようにすることが可能である。別の例として、Eペトリシステム600は、ホストコンピュータ200を省略することが可能である。別の例として、Eペトリシステム600は、ウェル170及び壁172を省略することが可能である。

また、Eペトリシステム600、Eペトリ装置610又はEペトリ皿620の構成部品は、特定の用途に応じて、一体化又は分離することが可能である。例えば、Eペトリシステム600は、1つの走査照射源110を有し、当該走査照射源110が複数のEペトリ装置610に対して照射118を行うことにしてもよい。別の例として、中継装置700は、培養器800の外部に置くこともできる。別の例として、別のEペトリシステム600においては、第二プロセッサ210を光検出器160に一体化させて、光検出器160が第二プロセッサ210の1つ又は複数の機能を実行することにしてもよい。別の例として、第二プロセッサ210、第二CRM220及び画像ディスプレイ230は、Eペトリシステム600とは別個のコンピュータの構成要素であり、Eペトリシステム600と通信状態にあるものとすることができる。別の例として、第二プロセッサ210、第二CRM220及び/又は画像ディスプレイ230は、Eペトリ装置610の一部として一体化させることができる。例えば、画像ディスプレイ230を照射ディスプレイ116の一部とするか、第一プロセッサ112及び第二プロセッサ210を単一のプロセッサとして一体化するか、又は第一CRM114及び第二CRM220を単一のCRMとして一体化することができ、これらの組み合わせを行うこともできる。別の例として、2つ以上のEペトリ皿620及び/又は培養器800をEペトリ装置610に一体化することもできる。

B.広視野の撮像性能

実施形態によるEペトリ装置610は、広視野の撮像が可能である。実施形態によるEペトリ装置610は、広視野を実現することにより、細胞培養分析用の従来の顕微鏡に置き換わるものとして又はそれを向上させたものとして好適であり得る。

上記性能の実証のために、図13(c)に示されているように、ヒーラ細胞を含んだ試料150が、実施形態によるEペトリ装置600のEペトリ620の試料面140の上で、48時間の間培養された。細胞接着を促進するために、Eペトリ皿620の試料面162を、ポリ-L-リジン(0.01%)で15分間処理してから、蒸留水で3回洗浄した。まず、ヒーラ細胞を、培養皿で、L-グルタミン(4mM)、ペニシリン(100単位/ml)、ストレプトマイシン(100μg/ml)及び10% (v/v)のウシ胎児血清を添加したダルベッコ変法イーグル培地中で培養して、37°Cにおいて5%のCO₂加湿雰囲気中で維持した。対数成長期に、トリプシン(0.05%トリプシン、EDTA-4Na)によりヒーラ細胞を剥がして、DMEM培地に再縣濁した後、Eペトリ皿620に接種した。

それから、試料150をメタノールに浸して、メチレン青及びエオシンの水溶液を添加することにより形成される黒色沈殿物であるギムザにより染色した。細胞培養の染色には、1)Eペトリ皿620を、無水メタノールを含むコプリンジャーに手短に(2回)浸漬させることにより、気乾試料を無水メタノールに固定するステップと、2)空気を除去し乾燥させるステップと、3)ギムザ希釈染色液(1:20、vol/vol)で20分間染色するステップと、4)Eペトリ皿620を、蒸留水を含むコプリンジャーから/に手短に出し入れする形で(1回又は2回)浸漬させることにより、洗浄を行うステップとを用いた。

図13(c)のEペトリ装置610は、LEDディスプレイの形態の照射ディスプレイ116を備えたスマートフォンの形態の走査照射源110を有する。例示的な照射サイクルにおいて、図4(b)に示されている15 x 15個のアレイの走査パターンに応じた複数の位置における光点の形態の光素子117を含む映像をLEDディスプレイに表示した。図4(a)は、ある位置の光点117を例示する図である。光素子117は、映像において、赤色、緑色及び青色に対応する3つの波長λ₁、λ₂及びλ₃の照射118を異なる位置で行った。撮像ランは、1つの照射サイクルを含むものとした。光検出器160のサンプリング速度(すなわち、画像撮影速度)は、光検出器160の70Mhzのピクセルクロックで、毎秒10フレームを撮影するように設定した。撮像ランのデータ取得処理全体には、約20秒を要した。

図7(a)は、コンフルエントなヒーラ細胞試料の再構築されたカラー投影画像を示す図である。図7(a)に示されているカラー構築画像の意義を説明するために、図7(b2)及び図7(c2)には、ヒーラ試料の選択的領域の再構築画像が示されている。図7(b1)及び図7(c1)は、図7(a)及び図7(b1)の選択的領域の投影画像を示す図である。図7(a)の再構築画像を生成するためのアルゴリズムに用いる画像増大因子は、13に設定した。すなわち、低解像度投影画像レベルにおける各ピクセル(2.2μm)が、再構築された画像においては13*13のピクセルブロックに高精度化された。図7(a)の再構築画像全体で、約8.45x108ピクセルを含む。図13(b)及び図13(c)のEペトリ装置600は、各色の投影画像列を撮影するのに約22秒を要した。再構築画像の解法は、非繰り返し法かつ決定性法であり、最大尤度の観点で最適化されるものとした。グラフィックスプロセッシングユニット(GPU)を用いることで、画像処理時間は、全画像の再構築で1秒未満とすることができる。Eペトリ装置610の主要な用途は、細胞培養成長を培養器内で直接追跡することであるため、データ転送又は処理速度の制限は、システムの効率性を低下させるものであってはならない。

図7(b2)及び(c2)の再構築された高解像度画像から、ヒーラ細胞試料の細胞器官が、例えば、複数の核の微粒(赤色の矢印で示されている)及び核等として識別され得る。図7(d)は、対物レンズ(40X、NA = 0.66)を有する顕微鏡を用いた、同様の細胞の従来の顕微鏡画像を比較のために示す図である。

実験において、ヒーラ細胞試料は、CMOSセンサチップ上で培養され、固定及びギムザ染色された。図14 (a1)、図14(a2)及び図14(a3)は、赤色、緑色及び青色のLED照射(20Xの対物レンズ、0.5N.A.)を用いた従来の顕微鏡画像を示す図である。図14(a4)は、図14 (a1)、図14(a2)及び図14(a3)の赤色、緑色及び青色の画像に基づいて構築されたカラー画像を示す図である。センサチップは透過性ではないため、従来の顕微鏡画像は、反射モードで撮影した。図14(a4)の色は、センサ面と試料との間の光干渉に因る。図14(a1)乃至図14(a4)のグリッドパターンは、撮像センサのピクセル(2.2μmのピクセルサイズ)のアレイである。図14(b1)、図14(b2)及び図14(b3)は、本発明の実施形態に従った、赤色、緑色及び青色それぞれの光源走査条件でEペトリシステム600により得られたヒーラ細胞試料の一部の再構築されたサブピクセル解像度画像を示す図である。図(b4)は、図14(b1)、図14(b2)及び図14(b3)の赤色、緑色及び青色の画像に基づいて再構築されたサブピクセル解像度カラー画像を示す図である。図14の各画像に示されたスケールバーは、20μmである。

C.長期的な細胞の撮像及び追跡

実施形態によるEペトリシステム600は、コンフルエントな細胞試料を、細胞レベル以下の解像度で広視野に、研究又はその他の実験にかかる間隔で撮像するように自動化され得る。そのため、長期的な細胞培養の撮像及び追跡の用途に適している。

上記性能を実証するために、図11及び図12に示されているようなEペトリ600を用いて、比較的長期間にわたる細胞の撮像及び研究を行った。第二CRM220に記憶されているカスタマイズプログラムをホストコンピュータ200の第二プロセッサ210により用いて、自動的に、再構築画像を再構築して、ユーザが見られるようにディスプレイ230に表示した。カスタマイズプログラムは、例えば、実験の間隔、画像の自動的な再構築及び表示の間隔並びにその他の適切な情報といった情報を含むものであった。

Eペトリシステム600は、図12及び図13(c)に示されているようなEペトリ装置610を有するものであった。図13(c)に示されているように、ヒーラ細胞を含む試料150を、実施形態によるEペトリ装置610のEペトリ皿620の試料面140に接種した。この比較的長期間にわたる細胞の撮像及び研究では、図12に示されているような培養器800の中に、Eペトリ装置610を置いた。図12に示されているように、データ送信のために培養器800に載せられたパーソナルコンピュータの形態のホストコンピュータ200に、Eペトリ装置610をイーサネットケーブルにより接続した。この実験においては、48時間の成長の継続時間全体において、自動化された再構築及び表示の撮像ランを15分間隔で行った。各撮像ランは、1つの照射サイクルを含むものとした。48時間の研究期間に、ヒーラ細胞の数は40+から数百に増加した。

図15(a)は、本発明の実施形態に従った、研究期間中の時間t = 10hr(時)、t = 17. 5hr、t = 25hr及びt = 32.5hrを開始時間として、あるサブ位置からEペトリシステム600により得られたヒーラ細胞試料の一部の経時的再構築画像を示す図である。Eペトリ装置610により得られた経時的な細胞画像データに基づいて、Eペトリシステム600は、各細胞の動きの空間的及び時間的な検出及び追跡並びに対応する細胞ファミリの系統樹(すなわち、母細胞と娘細胞との関連)の生成又はそうでなければデータ分析を行うことができる。図15(b)は、本発明の実施形態に従った、生物学者により注釈が付された3つの細胞ファミリの軌跡を表すグラフ232と、Eペトリシステム600のホストコンピュータ200の第2プロセッサ210により処理された細胞ファミリの系統樹とを示す図である。

D.解像度

図8(a)は、本発明の実施形態に従った、Eペトリシステム600により取得され得る500nmの微粒子を有する試料150(Polysciences社)のHR画像の一例を示す図である画像の構築に用いた撮像プロセスは、図7の画像の構築に用いたものと同一であった。ある500nmの微小球について、図8(a)に示されているように、微小球の輝点が明確に解像され、半値幅は690nmであった。図8(b)は、本発明の実施形態に従った、Eペトリシステム600で得られた、図7の染色ヒーラ細胞試料150の微小特徴を拡大して示す再構築画像の一例を示す図である。

顕微鏡の解像度は、いくつかの場合においては、所定の顕微鏡の性能、すなわち、2つの位置的に近接する特徴点の解像性能に基づいて決定され得る。この決定に基づいて実施形態によるEペトリシステム600の解像度を確定するために、2つの位置的に近接する微小球をEペトリシステム600により撮像した。図8(a)は、Eペトリシステム600により取得された、中心から中心までの距離が660nmである2つの密接する500nmの微小球の再構築画像を示す図である。図8(a)のデータ追跡は、2つのピーク間の谷を示しており、したがって、解像度は、いくつかの実施形態において、660nm以上であり得ることを立証している。この点をさらに確認するために、図8(b)は、図7のヒーラ細胞試料の微小特徴を拡大して示す図であり、当該特徴の半値幅は、約710nmであると評価された。一実施形態において、試料150がセンサ面160から上方に大きな距離を空けて置かれる場合には、推定解像度は低下され得る。このことは、Heng, X.らによる論文、「Characterization of light collection through subwavelength aperture from a point source」、Optics express 14、10410-10425頁(2006年)並びにWang, Y. M.、Zheng, G.及びYang, C.による論文、「Characterization of acceptance angles of small circular apertures」、Optics Express 17、23903-23913頁(2009年)に記載されており、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。

E.その他の効果

本発明の実施形態は、1つ又は複数の技術的効果を実現する。コンフルエントな細胞培養を、高解像度でインコヒーレントな光源を用いて撮像することが可能な、レンズレス、サブピクセル解像度及び広視野の撮像装置は、実施形態の一般的な効果であり得る。実施形態で得られる画像は、従来の顕微鏡を用いて得られる画像に匹敵する。実施形態においては、解像度が660nmの画像が得られた。本撮像方法は、低コストのCMOSセンサチップ上で培養又は成長した細胞を、高解像で自動的に撮像することが可能なスマートEペトリ皿で実施することができる。実施形態によるEペトリ皿は、生体外の長期にわたる細胞観察又はその他の長期にわたる研究に有用なツールであり得る。実施形態によるEペトリ装置610が容易に組み立てられることを実証するために、Eペトリ装置を、ブロック、スマートフォン及び撮像センサチップから構成した。

Eペトリ皿620、Eペトリ装置610及びEペトリシステム600の効果は、例えば、低コスト性である。Eペトリ皿620は、CMOS撮像センサチップを細胞培養成長のベース基板として用いることができる。実験後のセンサチップは、処分又は洗浄・再利用することができる。こうしたセンサチップの低コスト性を考慮すれば、最もコストのかかる構成部品には殆どの細胞培養実験においてなり得ない。

Eペトリ皿620の別の効果は、例えば、使い捨て可能又は再利用可能な点である。生体にとって有害な特定の実験においては、センサチップを使い捨て可能なユニットとして取り扱うことができれば、何らかの関連リスクを著しく低減することが可能である。

Eペトリシステム600の別の効果は、例えば、培養器800外部のホストコンピュータ200が、培養器800内部で得られるデータから直接読み出された情報を表示することが可能な点である。図12に示されているように、実施形態によるEペトリ装置610は、従来利用可能な培養器800に容易に組み入れることができる程十分にコンパクトであり得る。実際には、実施形態によるEペトリ装置600の設置面積があれば、図11に示されているように、複数のEペトリ装置610を同一の培養器800に組み入れることが可能である。Eペトリ装置610を外部のプロセッサ210に適切なデータケーブルを介して接続すれば、ユーザは、培養器800からユニットを取り外す必要なく、成長時の細胞培養の画像収集を開始することができる。上記の効果は、労力を削減し、細胞培養が受ける撹乱を減少させる。一実施形態において、Eペトリシステム600は、ポイントオブケア診断(臨床現場での診断)及び/又はその他の用途に適した、コンパクトかつポータブルな培養器800及びEペトリ装置610の組み合わせを有することができる。

Eペトリシステム600の別の効果は、例えば、培養器800から試料150を継続的に監視できる点である。Eペトリシステム600のユーザは、継続的に細胞成長を監視することができる。これは、バイオサイエンスの研究においては、Eペトリシステム600が比較的長期間にわたる研究に好適な手法であることを示している。また、医療用途においては、培養成長に基づく評価が必要な医療手順にかかる診療時間を著しく低減することができる。一例として、Eペトリ皿620は、結核菌、細菌ブドウ球菌及びその他の細菌性の感染の診断に用いられる標準的なペトリ皿の代替物となり得る。標準的な診療行為は、細菌の培養成長から始まり、それから比較的長い間隔毎に成長をチェックする(頻繁なチェックには多くの時間を要する)のに対して、改良されたEペトリ皿620は、成長変化を継続的かつ自動的に監視すること及び重大な変化が検出された場合にユーザに対して試料を精査するように通知することが可能である。

Eペトリ皿620の別の効果は、例えば、プラットフォーム技術であるという点である。実施形態において、センサチップの形態の光検出器160の上面には変更を加えずに済むため、ユーザは自由に利用することができる。Eペトリを単に、多数の精巧なラボオンチップ(チップ上のラボ)設計(例えば、閉鎖形誘電泳動ケージを用いた微生物検出、マイクロ流体を用いた多細胞生物のフェノタイプの撮像及びスクリーニング並びにマラリア感染赤血球の高スループットの分離及び撮像等)のための撮像プラットフォームとして用いることも大いに可能である。適切な閉鎖形誘電泳動ケージの一例は、Medoro, G.らの論文、「A lab-on-a-chip for cell detection and illumination」、Optics letters、第35巻、2188-2190頁(2010年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。マイクロ流体を用いた多細胞生物のフェノタイプの撮像及びスクリーニングの一例は、Crane, M.、Chung, K.、Stirman, J.及びLu, H.による論文、「Microfluidics-enabled phenotyping, imaging, and screening of multicellular organisms」、Lab on a Chip、第10巻、1509-1517頁(2010年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。マラリア感染赤血球の高スループットの分離及び撮像の一例は、Hou, H.らによる論文、「Deformability based cell margination-A simple microfluidic design for malaria infected erythrocyte separation」、Lab on a Chip、第10巻、2605-2613頁(2010年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。Eペトリ皿620に変更を加えて、内蔵式(self-contained)の培養器及び撮像ユニットとして機能させることも可能である。また、蛍光撮像のEペトリ皿620を作成するには、光検出器160を適切なフィルタ材料でコーティングすればよい。

F.フローチャート

実施形態によるEペトリシステム600は、実験中に間隔毎に、Eペトリ皿620上の試料150のサブピクセル解像度画像231及びその他のデータ232を再構築して、当該画像231及びデータ232をユーザが見られるように表示するように、自動化することができる。例えば、細胞試料150は、培養基を有するEペトリ皿620に置くことができる。それから、Eペトリ皿620は、Eペトリ装置610の支持体180に置くことができ、Eペトリ皿620が置かれたEペトリ装置610は、実験継続時間の間培養器180に置くことができる。ホストコンピュータ200は、Eペトリ皿620により撮影されたサブピクセルシフト投影画像に関連するデータを含む信号を受信して、Eペトリ装置610を培養器800から取り出す必要なく、画像231及びその他のデータ232をユーザが見られるように間隔毎にホストコンピュータで再構築することができる。間隔は、T = T₀, T₁ ...T_nとすることができ、ここで、nは、任意の適切な整数(1、2、10及び100等)とすることができる。T₀は、実験が始まる開始時間を示す。

いくつかの場合において、画像231及びその他のデータ232を間隔毎に自動的に再構築及び表示するために、コードを用いることができる。コードは、例えば、第二CRM220に記憶されたカスタマイズプログラムであり得る。第二プロセッサ210は、コードを用いて自動的に、サブピクセル解像度画像を再構築し、当該画像をユーザが見られるようにディスプレイ230に表示することができる。カスタマイズプログラムは、システム及びパラメータの撮像機能に関する任意の適切な情報を含むことができる。例えば、カスタマイズプログラムは、照射サイクル間の間隔、実験期間及び照射サイクルで用いる走査パターン等を含むことができる。

図16は、本発明の実施形態に従った、Eペトリシステム600による実験において、サブピクセル解像度画像231及びその他のデータ232を、間隔毎に自動的に再構築及び表示するための例示的な方法を示すフローチャートである。ステップ910において、試料150をEペトリ皿620の試料面140に置く。Eペトリ皿が周壁172を備えたウェル170を有する場合は、試料150をウェル170の周壁172内かつ試料面140上に置く。Eペトリ皿620は、培養基又はその他の物質をEペトリ皿620の試料面140に置かれた形で有することができる。試料150を移すと、Eペトリ皿620をEペトリ装置600に置く。例えば、Eペトリ皿620は、Eペトリ装置610の支持体180の受け部に置くことができる。

ステップ920において、Eペトリ装置610を予め規定された環境を提供する培養器800内に置く。Eペトリ装置610は、実験継続時間の間、培養器800の内部で保持することができ、それにより汚染リスクを低下することができる。Eペトリシステム600は、培養器に移されると、試料150を間隔T = T₀, T₁ ...T_n毎に自動的に撮像することができる。ここで、nは、任意の適切な整数(1、2、10及び100等)とすることができる。T₀は、実験が始まる開始時間を示す。間隔は、周期的(例えば、15分毎)とすることができる。実験は任意の適切な継続時間を有することができる。また、Eペトリシステム600はEペトリ皿620により回収されたデータに関連するその他のデータ232を生成することができる。例えば、様々な細胞系統の成長を示す様々なグラフを間隔毎に生成及び表示することができる。Eペトリシステム600は、CRM220又はその他の適切なメモリに記憶されたコードを使用することができる。コードは、実験中、自動化された処理命令を含むことができる。例えば、コードは、画像及びその他のデータ232を間隔毎に再構築及び表示する指示を含むことができる。また、コードは、間隔毎の照射サイクルに関する指示及びEペトリシステム600の機能に関するその他の指示を含むことができる。

ステップ930において、実験中の一の間隔に、複数の照射角度から様々な時間に試料150に照射する。Eペトリ装置610は、照射源110を有し、当該照射源110は、試料面142の試料150に対して光118を複数の照射角度から発する検出面162から距離dの位置に在る。複数の照射角度からの光180は、1つ又は複数のサブピクセルシフトされた投影画像列をEペトリ皿620の光検出器160の検出面に生成する。

一実施形態において、照射源110は、実験の間隔における照射サイクルの様々な時間にそれぞれの角度から照射118を行う光素子117を備えた照射ディスプレイ116を有することができる。光素子117は、様々な時間に様々な位置に置かれて、それぞれの角度から照射118を行う。例えば、光素子117は、実験中の様々な時間に点灯される、照射ディスプレイ116の発光素子の様々なセットとすることができる。照射118は、位置によって変化させることができる。例えば、光素子117は、各走査サイクル中の異なる走査時間において、n個の異なる波長λ₁, …, λ_nの照射118を行い、各波長毎の投影画像列を取得することができる。任意の適切な数の波長(例えば、n = 1, 2, 3, 4, 5,…, 20)を用いることができる。一実施形態において、光素子117は、異なるサンプリング時間に、赤色、緑色及び青色に対応する3つの波長λ₁、λ₂及びλ₃の照射118を行うことができる。いくつかの場合において、照射118は、ある走査位置と隣接する走査位置とで異なる波長を有することができる。他の場合においては、照射118は、第一の走査位置列では第一波長を有し、第二の走査位置列では第二波長を有し、同様に、n個の異なる波長に対応するn個の投影画像列を撮影するまでそれを繰り返すことができる。いくつかの場合において、照明源110の第一プロセッサ112は、走査パターンを決定することができる。走査パターンは、様々な時間に異なる走査位置を有することができ、さらに、異なる走査位置で光素子117の様々な特性(例えば、使用される光の波長、光素子117のサイズ及び形状並びに光素子の強度等)を有することができる。走査パターンはさらに、画像列において所望されるサブピクセルシフト量、実験の継続時間、1つ又は複数の間隔時間、各間隔に表示され得るその他のデータの記述及びEペトリシステム600の動作に関するその他の適切な情報を有する。また、走査パターンは、第一CRM114又はその他の適切な記憶装置に、コードとして記憶することができる。

ステップ940において、光検出器160は、実験中の各間隔のそれぞれの照射サイクルに、試料150の1つ又は複数のサブピクセルシフトされた投影画像列を撮影する。光検出器160は、各照射角度で投影画像を撮影することができる。

ステップ950において、プロセッサ230は、適切な方法を用いて、実験中の一の間隔に撮影された1つ又は複数のサブピクセルシフトされた投影画像列の動きベクトルを特定する。動きベクトルは、例えば、検出面162又は試料150を通る平面といった関心平面に基づいて特定される。任意の動きベクトル特定方法が用いられ得る。

ステップ960において、プロセッサ210は、実験中の一の間隔の1つ又は複数のサブピクセルシフトされた投影画像列及び特定された動きベクトルに基づいて、適切なSRアルゴリズムを用いて、試料の1つ又は複数のサブピクセル画像を構築する。1つ又は複数のサブピクセル解像度画像は、動きベクトルを特定するために用いた関心平面で合焦(ピント合わせ)される。方法に応じて、サブピクセル解像度画像は、2Dのモノクロ画像、2Dの白黒画像及び3Dのモノクロ又はカラー画像とすることができる。また、プロセッサ210は、上記間隔に収集されたデータに基づいて、その他のデータ画像(例えば、系統樹)を生成することができる。

ステップ970において、プロセッサ210は、実験中の一の間隔に、1つ又は複数のサブピクセル解像度画像231をディスプレイ230に表示することができる。また、その他のデータ232も表示することができる。

ステップ980において、プロセッサ210は、実験が終了したかどうか判定する。いくつかの場合において、プロセッサ210は、現時刻が実験の継続時間の完了時間であるか判別することにより、実験が終了したか否かを判定する。他の場合においては、Eペトリシステム600のユーザが入力を行って、実験が終了したことを判定する。例えば、ユーザは、ホストコンピュータ200に実験中止コマンドを入力することができる。実験が終了していない場合には、実験の次の間隔が始まり、ステップ930に移動する。実験が終了している場合には、ステップ990で完了する。

IV.サブシステム

図17は、本発明の実施形態に従った、SPLMシステム10又はEペトリシステム600において存在し得るサブシステムを示すブロック図である。例えば、SPLMシステム10及びEペトリシステム600は、プロセッサ410を有する。プロセッサ410は、第一プロセッサ112及び/又は第二プロセッサ210を有することができる。プロセッサ410は、いくつかの場合においては、光検出器160の構成部品とすることができる。プロセッサ410は、いくつかの場合においては、照射源100の構成要素とすることができる。

ここまで説明してきた図中の様々な構成部品は、本明細書に記載の機能を容易にするため、サブシステムの1つ又は複数を用いて動作することができる。図中の構成部品は、任意の適切な数のサブシステムを用いて本明細書に記載の機能を容易にすることができる。図17は、そうしたサブシステム及び/又は構成部品の例を示す。図17に示されているサブシステムは、システムバス425により相互接続されている。例えば、プリンタ430、キーボード432、固定ディスク434(又はコンピュータ読み取り可能な媒体を有するその他のメモリ)及びディスプレイアダプタ438に結合されたディスプレイ436等の追加的なサブシステムが示されている。ディスプレイ436は、照射ディスプレイ116及び/又は画像ディスプレイ230を有することができる。当技術分野で公知の任意数の手段により、周辺機器及びI/Oコントローラ440に結合された入力/出力(I/O)装置を、コンピュータシステムに接続することができる。例えば、シリアルポート442又は外部インタフェース444を用いて、コンピュータ装置を広域ネットワーク(例えば、インターネット)、マウス入力装置又はスキャナに接続することができる。システムバスを介した相互接続は、サブシステム間の情報交換を可能にするだけでなく、プロセッサ410が各サブシステムと通信を行い、システムメモリ446又は固定ディスク434からの命令の実行を制御することを可能にする。システムメモリ446及び/又は固定ディスク434は、第一CRM114及び/又は第二CRM220を具現化することができる。また、上記部品はいずれも、先に説明した構成において存在することができる。

いくつかの実施形態において、SPLMシステム10あるいはEペトリシステム600の出力装置(例えば、プリンタ430又はディスプレイ436)は、様々な形態のデータを出力することができる。例えば、SPLMシステム10あるいはEペトリシステム600は、2D/3DのHRカラー/モノクロ画像、当該画像に関連するデータ又はSPLMシステム10あるいはEペトリシステム600により行われる分析に関連するその他のデータを出力することができる。

なお、上述した本発明は、モジュール又は統合された形のコンピュータソフトウェアを用いた制御ロジックの形態で実装され得る。当業者であれば、本明細書に記載の内容及び教示に基づいて、ハードウェア及びハードウェアとソフトウェアの組み合わせを用いて本発明を実施するための他の手段及び/方法を理解及び認識するだろう。

本明細書に記載されたソフトウェアの要素又は機能はいずれも、例えば、従来技術又はオブジェクト指向技術を用いた適切なコンピュータ言語(例えば、Java(登録商標)、C++及びパール)を用いたプロセッサにより実行されるソフトウェアコードとして実装することができる。ソフトウェアコードは、例えば、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、磁気媒体(例えば、ハードドライブあるいはフロッピーディスク(登録商標))あるいは光学媒体(例えば、CD-ROM)といったCRM上の一連の命令又はコマンドとして記憶されてもよい。このようなCRMは、単一のコンピュータ装置上又は装置内に存在してもよく、システム又はネットワーク内の異なるコンピュータ装置上又は装置内に存在してもよい。

「1つの(a)」、「1つの(an)」又は「その(the)」との記載は、特に逆に示されない限り、「1つ又は複数の」を意味する。

上述した記載は一例であり、これに限定されるものではない。開示された多くの変形例は、本発明を参照した当業者にとって自明である。したがって、本発明の範囲は、上述した記載について確定されるものではなく、係属中の特許請求の範囲の全ての範囲又はその均等物について確定されるものである。

1つ又は複数の実施形態の1つ又は複数の特徴は、本発明の範囲から逸脱しない限り、他の実施形態の1つ又は複数の特徴と組み合わせてもよい。さらに、各実施形態には、本発明の範囲から逸脱することなく、変形、追加又は削除を加えることが可能である。本発明の範囲から逸脱することなく、いずれかの実施形態の構成要素は、特定の要求に応じて集約又は分離することが可能である。

上述された全ての特許、特許出願、刊行物及び記載の全内容は、あらゆる目的で参照により本明細書に組み入れられる。これらは、先行技術として認められるものではない。

Claims (27)

1. Eペトリ皿であって、
   試料面を有する透過層と、
   前記試料面に置かれた試料の、サブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器であり、前記サブピクセルシフトされた投影画像は、照射源により様々な照射角度から発せられる光に関連する光検出器と
   を有するEペトリ皿。
2. 請求項１記載のEペトリ皿において、当該Eペトリ皿はさらに、前記サブピクセルシフトされた投影画像列に基づいて、前記試料のサブピクセル解像度画像を生成するように構成されたプロセッサを有するEペトリ皿。
3. 請求項１記載のEペトリ皿において、当該Eペトリ皿はさらに、前記透過層に連結されたウェルであり、前記試料が置かれるように構成されたウェルを有するEペトリ皿。
4. Eペトリ装置であって、
   試料面を有する透過層と、
   複数の照射角度から前記試料面に置かれた試料に対して光を発するように構成された照射源と、
   前記複数の照射角度に対応する、前記試料のサブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器と
   を有するEペトリ装置。
5. 請求項４記載のEペトリ装置において、当該Eペトリ装置はさらに、前記試料の前記サブピクセルシフトされた投影画像列に基づいて、前記試料のサブピクセル解像度画像を生成するように構成されたプロセッサを有するEペトリ装置。
6. 請求項４記載のEペトリ装置において、当該Eペトリ装置はさらに、前記試料の前記サブピクセルシフトされた投影画像列と、当該サブピクセルシフトされた投影画像列に基づく動きベクトルとに基づいて、前記試料のサブピクセル解像度画像を生成するように構成されたプロセッサを有するEペトリ装置。
7. 請求項６記載のEペトリ装置において、前記プロセッサはさらに、前記動きベクトルを特定するように構成されており、前記動きベクトルは、関心平面に関連しており、前記サブピクセル解像度画像は、前記関心平面でピントが合うEペトリ装置。
8. 請求項４記載のEペトリ装置において、前記照射源は、様々な位置の発光コンポーネントのセットを有し、当該発光コンポーネントのセットは、順次点灯して、前記複数の照射角度から前記光を生成するEペトリ装置。
9. 請求項８記載のEペトリ装置において、前記発光コンポーネントのセットは、位置によって様々な光強度の光を発するEペトリ装置。
10. 請求項８記載のEペトリ装置において、
    前記発光コンポーネントのセットは、異なる位置で複数の波長の光を発し、
    前記サブピクセルシフトされた投影画像列は、前記複数の波長に関連する複数のサブピクセルシフトされた投影画像サブ列を含み、
    上記Eペトリ装置はさらに、前記複数の波長に関連する複数のサブピクセル解像度画像を生成するように、かつ当該複数の波長に関連する当該複数のサブピクセル解像度画像を結合して、前記試料のマルチカラーのサブピクセル解像度画像を生成するように構成されたプロセッサを有するEペトリ装置。
11. 請求項４記載のEペトリ装置において、当該Eペトリ装置はさらに、前記試料面に連結された周壁により画定されたウェルを有するEペトリ装置。
12. 請求項１１記載のEペトリ装置において、当該Eペトリ装置はさらに、上記ウェルの上方に置かれたカバーを有するEペトリ装置。
13. 請求項１１記載のEペトリ装置において、上記ウェルは、チャンバのアレイを含むEペトリ装置。
14. 請求項４記載のEペトリ装置において、当該Eペトリ装置はさらに、誘電性のケージを有するEペトリ装置。
15. 請求項４記載のEペトリ装置において、当該Eペトリ装置はさらに、流体チャネルを有するEペトリ装置。
16. 請求項５記載のEペトリ装置において、前記光検出器は前記プロセッサを含むEペトリ装置。
17. Eペトリシステムであって、
    １つ又は複数のEペトリ装置を有し、各Eペトリ装置は、
    試料面を有する透過層と、
    複数の照射角度から前記試料面に置かれた試料に対して光を発するように構成された照射源と、
    前記複数の照射角度に対応する、前記試料のサブピクセルシフトされた投影画像列をサンプリングするように構成された光検出器と、
    前記１つ又は複数のEペトリ装置のうち少なくとも１つのEペトリ装置からの、前記試料の前記サブピクセルシフトされた投影画像列に基づいて、前記試料のサブピクセル解像度画像を生成するように構成されたプロセッサと
    を有する
    Eペトリシステム。
18. 請求項１７記載のEペトリシステムにおいて、当該Eペトリシステムはさらに、
    前記プロセッサと通信状態にあり、前記１つ又は複数のEペトリ装置からデータを受信する中継装置と、
    前記中継装置と通信状態にあり、前記１つ又は複数のEペトリ装置からデータを受信するホストコンピュータと
    を有するEペトリシステム。
19. 請求項１７記載のEペトリシステムにおいて、前記各Eペトリ装置の前記照射源は、様々な位置の発光コンポーネントのセットを有し、当該発光コンポーネントのセットは、順次点灯して、前記複数の照射角度から前記光を生成するように構成されたEペトリシステム。
20. 請求項１９記載のEペトリシステムにおいて、前記発光コンポーネントのセットは、位置によって様々な光強度の光を発するEペトリシステム。
21. 請求項１９記載のEペトリシステムにおいて、
    前記発光コンポーネントのセットは、異なる位置で複数の波長の光を発し、
    前記サブピクセルシフトされた投影画像列は、前記複数の波長に関連する複数のサブピクセルシフトされた投影画像サブ列を含み、
    上記Eペトリシステムはさらに、前記複数の波長に関連する複数のサブピクセル解像度画像を生成するように、かつ当該複数の波長に関連する当該複数のサブピクセル解像度画像を結合して、前記試料のマルチカラーのサブピクセル解像度画像を生成するように構成されたプロセッサを有するEペトリシステム。
22. 請求項１７記載のEペトリシステムにおいて、当該Eペトリシステムはさらに、予め規定された環境を維持するように構成された培養器を有し、当該培養器内に前記１つ又は複数のEペトリ装置が置かれるEペトリシステム。
23. 請求項１７記載のEペトリシステムにおいて、前記各Eペトリ装置はさらに、前記照射源を前記試料面に対して保持する支持体を有するEペトリシステム。
24. 実験時に、Eペトリシステムを用いて、試料のサブピクセル解像度画像を、間隔毎に自動的に生成する方法であって、
    Eペトリ皿の試料面に試料を移すステップと、
    前記間隔のそれぞれにおいて、前記試料に対して複数の照射角度から光を発するステップと、
    前記間隔のそれぞれにおいて、光検出器を用いて、前記複数の照射角度に対応するサブピクセルシフトされた投影画像列を撮影するステップと、
    前記間隔のそれぞれにおいて、前記サブピクセルシフトされた投影画像列と動きベクトルとに基づいて、前記試料のサブピクセル解像度画像を構築するステップと
    を含む方法。
25. 請求項２４記載の方法において、当該方法はさらに、前記間隔のそれぞれにおいて、前記試料の前記サブピクセル解像度画像を表示するステップをさらに含む方法。
26. 請求項２４記載の方法において、前記試料に対して前記複数の照射角度から光を発する前記ステップは、照射ディスプレイの様々な発光コンポーネントのセットを順次発光させるステップを含む方法。
27. 請求項２４記載の方法において、当該方法はさらに、関心平面での前記動きベクトルを特定することにより、前記関心平面で前記サブピクセル解像度画像のピントを合わせるステップを含む方法。