JP2013545138A - オンチップ型４ｄライトフィールド顕微鏡 - Google Patents
オンチップ型４ｄライトフィールド顕微鏡 Download PDFInfo
- Publication number
- JP2013545138A JP2013545138A JP2013537897A JP2013537897A JP2013545138A JP 2013545138 A JP2013545138 A JP 2013545138A JP 2013537897 A JP2013537897 A JP 2013537897A JP 2013537897 A JP2013537897 A JP 2013537897A JP 2013545138 A JP2013545138 A JP 2013545138A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light field
- array
- image sensor
- ofm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012530 fluid Substances 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 66
- 239000012472 biological sample Substances 0.000 claims description 24
- 229920003229 poly(methyl methacrylate) Polymers 0.000 claims description 21
- 239000004926 polymethyl methacrylate Substances 0.000 claims description 21
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 18
- 239000010931 gold Substances 0.000 claims description 18
- 229910052737 gold Inorganic materials 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 239000004205 dimethyl polysiloxane Substances 0.000 claims description 12
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 238000010295 mobile communication Methods 0.000 claims description 7
- 238000003745 diagnosis Methods 0.000 claims description 6
- 238000010884 ion-beam technique Methods 0.000 claims description 6
- 201000010099 disease Diseases 0.000 claims description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 5
- 239000002184 metal Substances 0.000 claims description 5
- 229910052751 metal Inorganic materials 0.000 claims description 5
- 238000004528 spin coating Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 3
- 229910044991 metal oxide Inorganic materials 0.000 claims description 3
- 150000004706 metal oxides Chemical class 0.000 claims description 3
- 238000003801 milling Methods 0.000 claims description 3
- -1 polydimethylsiloxane Polymers 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 238000002174 soft lithography Methods 0.000 claims description 3
- 238000007740 vapor deposition Methods 0.000 claims description 3
- 235000012431 wafers Nutrition 0.000 claims 4
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000005520 cutting process Methods 0.000 claims 1
- 238000000151 deposition Methods 0.000 claims 1
- 238000000059 patterning Methods 0.000 claims 1
- 239000000523 sample Substances 0.000 description 30
- 238000004458 analytical method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- WZHCOOQXZCIUNC-UHFFFAOYSA-N cyclandelate Chemical compound C1C(C)(C)CC(C)CC1OC(=O)C(O)C1=CC=CC=C1 WZHCOOQXZCIUNC-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Power Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Instruments For Measurement Of Length By Optical Means (AREA)
Abstract
本発明は、流体光学顕微鏡（ＯＦＭ）と、ホログラフィック撮像顕微鏡とを備えて、コンピュテーショナル・フォトグラフィーの原理を取り入れるオンチップ型レンズレス顕微鏡システム（１０）を示す。ＬＦ−ＯＦＭシステム（１０）は、開口（３８）を有する少なくとも１つのプラズモンレンズ（５０）と、少なくとも１つのマイクロ流体流路（２８）と、画像センサアレイ（２４）とを備える。システム（１０）は、コンピュテーショナル・フォトグラフィーにより画像を生成することが可能である。
Description
本発明は、一般に、流体光学顕微鏡とホログラフィック撮像顕微鏡とを備えるオンチップ型レンズレス顕微鏡システムに関する。
２１世紀において個人診断法やポイントオブケアによる健康管理の確保のための課題として、購入しやすい価格の診断法が顕著になってきている。これは、開発途上国（低コスト）と、先進国（高齢化社会による医療インフラの逼迫）との両者にとって重要である。現代のエンジニアリング技術、測定技術、バイオマーカ検出技術により、ヒトの体液（血液、腸内体液、尿、唾液）一滴から重要な情報を取り出して、病気の化学的マーカのサインを認めることができる。通常、生物サンプルは限られており、サンプル中の対象分子や蛋白質の濃度はｐｍｏｌ／Ｌの範囲であることが多いので、サンプル量が最小限の場合には、感度、特異性、精度とも高い検出器が不可欠である。マイクロ流体センサ、あるいは、一般にラブオンチップ（ＬＯＣ）技術は、開発途上国の人々の健康改善について、まだ立証されてはいないが非常に大きな潜在力がある。１９９０年頃にＬＯＣとマイクロ流体技術が導入されて以来、小型であること、必要なサンプルが少なくてすむこと、そして、迅速に分析できることを活かすことにより、遠隔地環境でのこの技術の使用は潜在的に最も強力な用途のひとつであると考えられている。実際、流体の作動処理、サンプルの前処理、サンプルの分離、信号増幅、信号検出を一つの装置に一体化する開発過程の結果、携帯型ＬＯＣ装置が遠隔地環境で使用され始めている。現状のままでは、これらの装置はまだ、開発途上国における極端にリソース不足の環境での使用には適していない。しかし、こうした進歩により、ＬＯＣ研究の分野は、世界の深刻な健康問題に取り組むための重要な位置を占めるようになっている。この分野では、装置設計の課題がおそらく最も難しく、新たなヘルステクノロジーが最も必要である。
米国特許第7751048号、Yang et al.、Optofluidic Microscope Device（流体光学顕微鏡装置）は、光透過領域と、流体流路を流れる物体を撮像するのに使用される光検出器とを備える装置を開示している。
米国特許第7768654号、Ciu et al.、On-Chip Phase Microscope/Beam Profiler Based on Differential Interference Contrast And/Or Surface Plasmon Assisted Interference（微分干渉及び／又は表面プラズモンアシスト干渉に基づくオンチップ位相顕微鏡又はビームプロファイラ）は、ヤングの干渉に基づくＤＩＣ顕微鏡及び／又はライトフィールドプロファイラを開示している。
米国特許第7751048号、Yang et al.、Optofluidic Microscope Device Featuring A Body Comprising A Fluid Channel And Having Light Transmissive Regions（流体流路を備え、光透過領域を有する本体を特徴とする流体光学顕微鏡装置）は、表面を有する流体流路を備え、細菌やウィルス等の対象物が流体流路を流れているときに流体流路の底部の光撮像素子を用いて対象物を撮像する装置を開示している。
ＰＣＴ番号WO2009/088930、Fletcher et al.、High Numerical Aperture Telemicroscopy Apparatus（高開口数の遠隔顕微鏡装置）は、病気診断や症状分析や処置後のモニタリングに用いられるカメラ付き携帯電話機により構成される撮像システムを開示している。
米国特許第7792423号、Raskar et al、4D Light Field Camera（４Ｄライトフィールドカメラ）は、検知前に４Ｄライトフィールドを変調することにより、ある場面の４Ｄライトフィールドを取得するカメラを開示している。
流体光学の観点から、新たな方法で試料を観察する必要がある。
また、流体光学の観点から、画像の解像度を高める必要がある。
また、流体光学の観点から、多くの生体検知プラットフォームでは、貯蔵有効期間が限られた高価なバイオマーカを用いているので、低コストでラベルフリーの生体検知が必要である。
また、流体光学の観点から、偽陰性結果を少なくするために感度を上げる必要がある。
また、流体光学の観点から、偽陽性を少なくするために特異性を得る必要がある。
本発明は、ポイントオブケア装置として広く利用でき、個人診断にも利用できる新規な低コストのラブオンチップ（ＬＯＣ）診断プラットフォームに関する。具体的には、本発明は、プラズモンレンズと、マイクロ流体装置と、ＣＭＯＳ画像センサアレイとを一体化し、コンピュテーショナル・フォトグラフィーにより４Ｄ画像を生成することが可能なオンチップ型流体光学顕微鏡（ＯＦＭ）システムに関する。本案のセンサプラットフォームを携帯電話機に取り付ければ、携帯電話機のカメラをポイントオブケア装置や個人診断用に利用することができる。
本発明は、流体光学の課題に対する解決策を提供することが可能である。また、本発明は、サンプリングレートを上げる（毎秒の画像数を増やす）ことにより高解像度を実現できる。また、本発明は、廉価で効果的な生体検知を可能とする標準的なバルクＣＭＯＳ技術を用いて、低コストでラベルフリーの生体検知を提供することができる。また、本発明は、検査の視点と被写界深度とを変更することにより、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）を実現することができる。多くの生体サンプルは集合体化しているので、本発明は視点の変更を可能にすることにより、個々のセルをカウントして区別する性能を高める。また、本発明は、プラズモンレンズと、マイクロ流体装置と、ＣＭＯＳ（相補型金属酸化膜半導体）画像センサアレイとを一体化し、コンピュテーショナル・フォトグラフィーによる４Ｄライトフィールドを用いて、３Ｄ画像を生成することが可能なオンチップ型ライトフィールド流体光学顕微鏡（ＬＦ-ＯＦＭ）システムを提供することができる。
こうした課題に対応するために、本発明は、流体光学顕微鏡（ＯＦＭ）と呼ばれるオンチップ型レンズレス顕微鏡システムを拡張して、コンピュテーショナル・フォトグラフィーの原理を取り入れる。ＯＦＭ方式では、単純化したマイクロ流体の流れを利用して、ＬＥＤ又ＬＥＤアレイ等の光源により照明される金属被膜ＣＭＯＳ撮像センサ上に直線状に並んだ小径開口アレイを横切るように生物サンプルを移動させる。サンプルが通過すると直線状の開口アレイを介した光の透過が遮断されるので、各開口に対応する時変透過により、生物サンプルのライントレースが得られる。直線状の開口アレイからのライントレースを再構成することにより、開口サイズに匹敵する解像度で、生物サンプルの高解像度画像を再構成できる。直線状の開口アレイを対角線上に配置してもＯＦＭ解像度への影響はない。ＯＦＭから画像を得るため、具体的には、直線状の開口アレイの真下の画素から信号を読み取るように、画像センサのプログラミングを行う。記録されている読み取りレートは１．３ｋＨｚ／ｓである。各開口を介して測定される時変透過の変化により、マイクロ流体流路を通過するサンプルのラインスキャンが得られる。各開口からのラインスキャンを重畳すれば、サンプルの画像を生成することができる。
本発明は、ＯＦＭ顕微鏡にて捕捉した４Ｄライトフィールドの記録及び制御を行うことにより、ＯＦＭの機能性と有用性を拡張する。以降、このＯＦＭ顕微鏡のことを、ライトフィールド流体光学顕微鏡（ＬＦ−ＯＦＭ）と呼ぶ。従来の写真とは異なり、ライトフィールドによって、画像センサの解像度と光学系の回折限界とに従って、スナップショット撮影後に視点と焦点を操作することが可能である。ＬＦ−ＯＦＭで捕捉した画像から、少なくとも捕捉された光線の角度限界まで傾斜した正投影図及び／又は斜視図を生成するためのライトフィールドレンダリング処理を採用することができる。ＬＦ−ＯＦＭは、画像取得と、視点及び焦点の選択とを分けているので、撮影後に信号処理アルゴリズムによる焦点と視点の操作が可能な「デジタルファインダー」として使用することができる。このような選択処理にコンピュータビジョンアルゴリズムを適用すれば、多数の試料を分析するときに顕微鏡操作を大幅に自動化することができる。通常、顕微鏡は正投影画像を記録するので、斜視図は試料に対する新たな観察方法となる。また、適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）とが得られる。
また、捕捉したライトフィールドから、合成開口撮影法を用いて、異なる深度で焦点を合わせた画像を生成することもできる。単一の入力画像から焦点スタックを作成できることで、移動する試料又は光感応性の試料を記録することができる。さらに、これらの焦点スタックに３Ｄ逆畳み込みを行うことにより、断面のスタックを再構成することができ、これは、ボリュームレンダリング処理を用いて視覚化が可能である。
本発明の新規な側面は、開口アレイと画像センサとの距離を長くすることである。これは、ＬＦ−ＯＦＭの空間解像度及び角解像度を高めるのに必要である。より多くの画素が入射光による照明を必要とするからである。
本発明の他の側面は、開口アレイの下の個々の画素を読み込むＯＦＭシステムとは対照的に、タイルと呼ばれる画素列を読み込み、マイクロ流体流路を流れる生物試料の４Ｄライトフィールドを捕捉する。各タイルは高いレートで読み込まれる。各開口からのタイルスキャンを重畳することにより、サンプルの４Ｄライトフィールド画像を生成する。
本発明のさらに他の側面は、ＬＦ−ＯＦＭシステムのウェハレベル処理により（実装された単一の画像センサを用いるのではなく）、大量生産を行うことである。
本発明のさらに他の側面は、使い捨てのマイクロ流体チップをＬＦ−ＯＦＭシステムに挿入できるメカニズムにより、同じＬＦ−ＯＦＭプラットフォームを用いて種々の病気の検知を可能にする。
本発明のさらに他の側面は、並列画像処理を行うシステムであって、異なる層のサンプルを別々に撮像してシステムのスループットを高める。
本発明のさらに他の側面は、移動体通信ネットワークのサービスが得られる遠隔地域で診断を行うために、自動コンピュータ画像認識アルゴリズムを４Ｄライトフィールド画像に適用してセルを識別する（整合フィルタリング、二値画像処理、モーメント計算、パターン分類等）。
本発明のさらに他の側面は方法である。本方法は、流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行うことにより開始する。また、本方法は、ライトフィールドを捕捉することにより、スナップショット撮影後に視点と焦点の操作を可能する。また、本方法は、傾斜した正投影図及び／又は斜視図を生成するライトフィールドレンダリング処理を用いる。また、本方法は、コンピュータビジョンアルゴリズムをライトフィールド画像に適用して、多数の試料を分析するときに顕微鏡動作を大幅に自動化する。また、本方法は、適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）を得る。
本発明は、流体光学顕微鏡（ＯＦＭ）とホログラフィック撮像顕微鏡とを備え、コンピュテーショナル・フォトグラフィーの原理を取り入れたオンチップ型レンズレス顕微鏡システムを示す。これにより、視覚化が向上して、スループットが高い三次元撮像システムが得られる。流体光学顕微鏡とホログラフィック撮像顕微鏡については、１）X.Q.Cui, L.M.Lee, X.Heng, W.W.Zhong, P.W.Sternberg, D.Psaltis, and C.H.Yang, Proc.Natil.Acad.Sci. U.S.A., 2008, 105, 10670-10675、２）X.Heng, D.Erickson, L.R.Baugh, Z.Yaqoob, P.W.Sternberg, D.Psaltis, and C.H.Yang, Lab Chip, 2006, 6, 1274-1276 、３）Seo,S. Su,T.-W., Tseng,D.K., Erlinger,A. and Ozcan,A., Lab Chip 2009, 9, 777-787の各文献に詳細に記載されている。本願では、これら３つの文献をすべて参照することにより援用する。
ＯＦＭ方式では、好ましくは、簡略化したマイクロ流体の流れを利用して、発光ダイオード（ＬＥＤ）又ＬＥＤアレイ等の光源により照明される金属被膜ＣＭＯＳ撮像センサ上に直線状に並んだ小径開口アレイを横切るように生物サンプルを移動させる。サンプルが通過すると直線状の開口アレイを介した光の透過が遮断されるので、各開口に対応する時変透過により、生物サンプルのライントレースが得られる。直線状の開口アレイからのライントレースを再構成することにより、開口サイズに匹敵する解像度で、生物サンプルの高解像度画像を再構成できる。本願で参照により援用する文献X.Q.Cui, L.M.Lee, X.Heng, W.W.Zhong, P.W.Sternberg, D.Psaltis, and C.H.Yang, Proc.Natil.Acad.Sci. U.S.A., 2008, 105, 10670-10675において説明されているように、直線状の開口アレイを対角線上に配置してもＯＦＭ解像度への影響はない。
ＯＦＭから画像を得るため、具体的には、直線状の開口アレイの真下の画素から信号を読み取るように、画像センサのプログラミングを行う。読み取りレートは好ましくは１．３ｋＨｚ／ｓである。各開口を介して測定される時変透過の変化により、マイクロ流体流路を通過するサンプルのラインスキャンが得られる。各開口からのラインスキャンを重畳すれば、サンプルの画像を生成することができる。
また、生物サンプルのレンズフリーの撮像は、ホログラフィック撮像によっても得られる。ホログラフィック撮像では、センサアレイ（ＣＭＯＳ又はＣＣＤ）上のサンプルの回折パターンが得られる。回折パターンは、光源と被撮像サンプルとの間の単一の開口を用いることにより鮮明化される。画像処理アルゴリズムを実行し、サンプル内の各粒子について得られる回折パターンに応じて、センサの特定領域上に存在するサンプルタイプを識別する。
ＯＦＭとホログラフィックシステムとによるレンズレス撮像及びカウント技術により、生物サンプルの高精度な分析のためのプラットフォームが得られる。これら方式の類似点は、１又は多数の開口を使用することであり、これは撮像システムの最適化における重要な要素である。
本発明は、顕微鏡画像にて捕捉した４Ｄライトフィールドの記録及び制御を行うことにより、レンズレス撮像システムの機能性と有用性を拡張する。以降、これをライトフィールド流体光学ホログラフィック顕微鏡（ＬＦ−ＯＦＨＭ）と呼ぶ。従来の写真とは異なり、ライトフィールドによって、画像センサの解像度と光学系の回折限界とに従い、スナップショット撮影後の視点と焦点の操作が可能である。Ren N, Marc Levoy, Mathieu Bredif, Gene Duval, Mark Horowitz and Pat Hanrahan, Stanford Tech report CTSR 2005-02, Light Field Photography with a Hand-held Plenoptic Camera（ハンドヘルド型プレノプティックカメラを用いたライトフィールドフォトグラフィー）、 graphics.standford.edu/papers/1fcamera-150dpi.pdfに開示されているように、ＬＦ−ＯＦＨＭで捕捉した画像から、少なくとも捕捉された光線の角度限界まで傾斜した正投影図及び／又は斜視図を生成するためのライトフィールドレンダリング処理を用いることができる。本願では、この文献を参照することにより援用する。ＬＦ−ＯＦＨＭは、画像取得と、視点及び焦点の選択とを分けているので、撮影後に信号処理アルゴリズムによる焦点と視点の操作が可能な「デジタルファインダー」としてＬＦ−ＯＦＨＭを使用する。
このような選択処理にコンピュータビジョンアルゴリズムを適用すれば、多数の試料を分析するときに顕微鏡操作を大幅に自動化できる。通常、顕微鏡は正投影画像を記録するので、斜視図は試料に対する新たな観察方法となる。また、適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）が得られる。
Levoy,M. & Hanrahan,P. (1996) Light field rendering（ライトフィールドレンダリング処理）, Proc. SIGGRAPH 1996, 31-42及びIsaksen,A., McMillan,L. & Gortler,S.J. (2000) Dynamically reparameterized light fields（動的に再パラメータ化されたライトフィールド）, Proc.Siggraph 2000, 297-306に開示れているように、捕捉したライトフィールドから、合成開口撮影法を用いて、異なる深度で焦点を合わせた画像を生成することもできる。本願では、これらの文献を参照することにより援用する。単一の入力画像から焦点スタックを作成できることから、移動する試料又は光感応性の試料を記録することができる。さらに、Levoy,M., Chen,B., Vaish,V., Horowitz,M., McDowall,I. & Bolas,M. (2004) Synthetic aperture confocal imaging（合成開口共焦点撮像）, ACM Trans. On Graphics (Proc. SIGGRAPH) 23(3), 825-834に開示されているように、これらの焦点スタックに３Ｄ逆畳み込みを行うことにより、Agard,D.A. (1984) Optical sectioning microscopy: cellular architecture in three dimensions（光学切片顕微鏡：三次元のセルラアーキテクチャ）, Ann. Rev. Biophys. Bioeng. 13, 191-219に開示されているように、ボリュームレンダリング処理を用いて視覚化が可能な断面のスタックを再構成する。本願では、これらの文献を参照することにより援用する。
拡張された本システムでは、三次元ホログラフィック撮像システムの実施により、サンプルの３Ｄ視覚化及び分析を行うことができる。この三次元技術により、多数の異なるサンプルの撮像及び分析を平行して行い、高システムスループットを達成することができる。
本発明は、分析対象の生物サンプルについて、濃縮又は希釈、分類、ラベリング、その他の準備ステップを行うためのマイクロ流体成分を開発することで、特に診断装置の開発に有益である。例えば、水質試験に加えて、種々の病気の診断を行うことができる。既存の技術より優れた利点としては、従来の研究所内での大型顕微鏡による方法を用いずに、高精度で迅速で費用効果が高い三次元セル検知ができる。また、本システムにより高スループットが達成可能であることから、各サンプルの分析を平行して行うことができ、分析時間が大幅に短くなるとともに分析精度が向上する。
ＬＦ−ＯＦＨＭの製造の一例として、Micron MT9T013順次走査ＣＭＯＳ画像センサを使用することが好ましい。センサは、好ましくは、２０４８×１５３６の画素アレイからなり、各画素のサイズが１．７５μｍ×１．７５μｍ、撮像領域が３．６１ｍｍ×２．７２ｍｍである。
図１に示すように、システム１０は、ＬＥＤアレイ４０と、生物サンプル３０を有するマイクロ流体流路２８と、使い捨てチップ２３と、画像センサアレイ２４と、開口を有する層５０とを備えている。
図１Ｂに示すように、システム１０’は、光源４０と、開口３８を有する金層２６と、マイクロ流体流路２８と、画像センサアレイ２４と、移動通信装置９９（携帯電話機）とを備えている。
図１Ｂは、生物サンプル３０が所定速度（ｍ／ｓ）でマイクロ流体流路２８を流れている状態の画像センサ２４を上方から示す。図１Ｂを参照して、システム２０は、好ましくは、画像センサ２４と、ＰＭＭＡ層３２と、マイクロ流体流路２８と、金層２６と、ＰＤＭＳ層３４と、ＬＥＤアレイ４０（４０ａ〜４０ｋ）とを備える。金層２６は複数の開口３８を有している。
好ましくは、画像センサ２４の表面２４ａを平坦化するために、厚さ６００ｎｍのポリメチルメタクリレート（ＰＭＭＡ）層３２をスピンコート形成する。本発明において、ＰＭＭＡ層３２の厚さは、好ましくは、ＬＦ−ＯＦＭの空間解像度及び角解像度を高めるために通常より厚い。金層２６は、マイクロ流体流路２８の上方に配置される。熱源を有する金属蒸着装置を用いて、ＰＭＭＡ層３２の上に厚さ３００ｎｍの金層２６を成膜する。（この層厚ならば、ＳＥＭ撮像にて個々の画素の外形が認識でき、層表面は、その後にマイクロ流体流路を含むＰＤＭＳブロックをチップ上に接合するのに十分な程度平坦である。）このステップに続き、集束イオンビーム装置を用いて、金層２６上の開口アレイ３８をフライス加工する。そして、金層２６の上にさらに厚さ２００ｎｍのＰＭＭＡ層３４をスピンコート形成して、開口３８を保護する。開口３８の直径は０．７μｍ程度である。開口３８は、好ましくは、１２．２５μｍ（７画素幅に等しい）の間隔で配置される。また、２列のアレイは１２．２５μｍの間隔で配置される。この比較的広い間隔を取るのは、ＬＦ−ＯＦＭシステムの空間解像度及び角解像度を最適化するためである。これにより、７×７画素＝４７タイルの撮像時に対応可能な空間解像度が得られる。このステップにより、フライス加工の良好な制御を行えば、単一のセンサ画素の真上で確実に各開口３９をフライス加工できる。さらに、ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナー（例えば、Karl Suss社のMJB3）によりセンサ上に配置する。
流路２８は、好ましくは、幅が３５画素分（３５×１．７５μｍ＝６１．２５μｍ）、高さが２０μｍである。流路幅は角解像度を決定するので、ＬＦ−ＯＦＭの重要なパラメータである。上述のパラメータの場合、角解像度は好ましくは３５画素／７画素＝５画素（又は８．７５μｍ）である。流路２８は、好ましくは、開口アレイ２０に対して３度の角度に設定される。４Ｄライトフィールドが使用可能であることから、開口アレイの真下の２つの画素列のそれぞれの下において７画素×７画素＝４９画素からなる画素アレイを読み取る。図１Ｃに示すように、上述の技術により、ＯＦＭの各単一画素を、４９画素（１２．２５μｍ×１２．２５μｍ）からなるより効果的な大画素に効果的に変換する。読み取りレートは好ましくは１．３ｋＨｚ／ｓである。各開口３８を介して測定された時変透過の変化により、マイクロ流体流路２８を通過するサンプルのマトリクススキャンが得られる。各開口３８からのラインスキャンを重畳することにより、サンプルの画像を生成する。
上述のシステムについて、特にＬＦ−ＯＦＭ装置の大量生産のために重要な拡張例として、ウェハレベル処理がある。本実施形態において、画像センサのウェハ（画像センサを個々に切断する前）の処理を行う。画像センサのウェハ全体に６００ｎｍのＰＭＭＡ層をスピンコート形成し、その後、ＰＭＭＡ層の上に３００ｎｍの金層を蒸着する。そして、集束イオンビームを用いて、画像センサの上のアレイ全体に開口アレイをフライス加工する。そして、ＰＤＭＳブロックにパターン形成を行って、個々の画像センサの上にマイクロ流体流路を形成する。このステップの後、ウェハの切断及び実装を行う。
ＬＦ−ＯＦＭシステム１０の基本光路を図２に示す。図２は、システム１０の側面図ある。システム１０は、画像センサ２４と、内部に水３５を充填して試料３０を入れた流路２８とを備えている。プラズモンマスク５０は、照明光４０を透過する開口３８を有している。均一の光源を上方から適用するが、この光源は、好ましくは、実験用ハロゲンライト又はＬＥＤ、又は、開口アレイの位置に合わせたＬＥＤアレイである。プラズモンマスクの設計と、ＬＦ−ＯＦＭシステム１０の基本光路を用いたＬＦ−ＯＦＭの作動原理について、システム１０の側面図である図２に示す。均一の光源を上方から用いるが、この光源は、実験用ハロゲンライト又はＬＥＤ、又は、開口アレイの位置に合わせたＬＥＤアレイとすればよい。
図２に示すように、図１の具体的な設計形状の場合、プラズモンマスク５０の単位セルは７つの開口３０を有し、各開口が直径０．５μｍで、中心間の距離が１．７５μｍである。プラズモンマスク５０は、好ましくは、厚さ３００ｎｍである。平面波照明を用いたプラズモンマスク５０下のライトフィールド分布を図３、図３Ａ、図３Ｂに示す。これらに対応するＣＭＯＳセンサのピクセル化強度を、図３、図３Ａ、図３Ｂにおいて、それぞれ６０、６０ａ、６０ｂで示す。セルの３Ｄ画像の再構成に用いられる異なる強度６０、６０ａ、６０ｂを、異なる色で示す。開口３８は、好ましくは、１２．２５μｍ（７画素幅に等しい）の間隔で配置される。好ましくは、開口３８と画素との位置合わせ及び較正は行う必要がないようにする。ＬＦ−ＯＦＭシステム１０の較正をソフトウェアにて行うことが可能なので、開口アレイを物理的に位置合わせする必要はない。
二次元数値シミュレーションにより、本案のＬＦ−ＯＦＭの作動原理を示す。この具体例の場合、プラズモンマスク５０の単位セルは、直径０．５μｍで中心間の距離が１．７５μｍの穴を７個有する。マスクは厚さ３００ｎｍである。平面波照明を用いたマスク下のライトフィールド分布を図３、図３Ａ、図３Ｂに示す。これらに対応するＣＭＯＳセンサのピクセル化強度を、それぞれ６０、６０ａ、６０ｂで示す。セルの３Ｄ画像の再構成に用いることができる異なる強度６０、６０ａ、６０ｂを、異なる色で示す。
図４、図４Ａ、図４Ｂ、図４Ｃに示すように、異なる深度でサンプルの高速並列処理を行うための多層プロセスに、本システムをさらに拡張する。この技術の多次元的側面により、高スループットのシステムを達成することができ、高精度で迅速なサンプル分析を行うことができる。各マイクロ流体流路２８ａ、２８ｂ、２８ｃは、生物試料３０入りの水３５を有している。各層のサンプル画像７５、７５ａ、７５ｂを図４Ａ、図４Ｂ、図４Ｃに示す。
従来の光学顕微鏡について、Levoy,M. (1998) Display of surface from volume data（ボリュームデータからの表面表示）、Comp. Graphics App. 8(3), 29-37で使用されるコンピュテーショナル・フォトグラフィーを用いた画像再構成手法と同様に、本発明は、一実施形態において、まず画素から開口アレイへのマッピングを見出し、そこから撮像光の位置と方向を見出す。画像捕捉を含む較正処理全体をソフトウェアにて非常に迅速かつ効果的に行う。
本システムはさらに、異なる深度にてサンプルの高速並列処理を行うための多層プロセスに拡張することができる。この技術の多次元的側面により、高スループットのシステムを達成することができ、高精度で迅速なサンプル分析を行うことができる。
図５は、４Ｄライトフィールドを用いる方法１０００である。本方法は、ブロック１００１にて、流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行うことにより開始する。また、本方法は、ブロック１００２にて、ライトフィールドを捕捉して、スナップショット撮影後に視点と焦点を操作することができる。また、本方法は、ブロック１００３にて、ライトフィールドレンダリング処理を用いて、傾斜した正投影図及び／又は斜視図を生成する。また、本方法は、ブロック１００４にて、ライトフィールド画像にコンピュータビジョンアルゴリズムを適用して、多数の試料を分析するときに顕微鏡動作を大幅に自動化する。適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）が得られる。コンピュテーショナル・フォトグラフィーを用いた画像再構成では、従来の光学顕微鏡に用いられる手法と同様に、まず画素から開口アレイへのマッピングを見出し、そこから撮像光の位置と方向を見出すことが可能である。画像捕捉を含む較正処理全体をソフトウェアにて非常に迅速かつ効果的に行うことができる。
図６は、４Ｄライトフィールド画像を生成する方法２０００のフローチャートである。本方法は、ブロック２００１にて、高いレートで複数のタイルを読み取ることにより、マイクロ流体流路を流れる生物試料の４Ｄライトフィールドを捕捉する。また、本方法は、ブロック２００２にて、複数のタイルの読み取り結果をそれぞれ重畳する。また、本方法は、ブロック２００３にて、生物試料の４Ｄライトフィールド画像を生成する。
図７は、ＬＦ−ＯＦＨＭを製造する方法３０００のフローチャートである。本方法は、ブロック３００１にて、少なくとも厚さ６００ｎｍを有するポリメチルメタクリレート（ＰＭＭＡ）層をスピンコート形成し、各画素のサイズが１．７５μｍ×１．７５μｍで、撮像領域が３．６１ｍｍ×２．７２ｍｍである２０８１×１５３６の画素アレイを有する順次走査ＣＭＯＳ画像センサの表面を平坦化する。また、本方法は、ブロック３００２にて、熱源を有する金属蒸着装置を用いて、ＰＭＭＡ層の上に少なくとも厚さ３００ｎｍの金層を成膜する。また、本方法は、ブロック３００３にて、集束イオンビーム装置を用いて、金層上の開口アレイのフライス加工を行う。また、本方法は、ブロック３００４にて、金層の上に２００ｎｍのＰＭＭＡ層をスピンコート形成し、開口を保護する。なお、ここでは、開口の直径は少なくとも０．７μｍであり、各開口が１２．２５μｍの間隔で配置されている。また、本方法は、ブロック３００５にて、ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナーによりセンサ上に配置する。
図８は、ＬＦ−ＯＦＨＭを製造する方法４０００のフローチャートである。本方法は、ブロック４００１にて、複数の画像センサを有するウェハの処理を行う。また、本方法は、ブロック４００２にて、複数の画像センサを有するウェハに、スピンコートにより６００ｎｍのＰＭＭＡ層を形成する。また、本方法は、ブロック４００３にて、ＰＭＭＡ層の上に３００ｎｍの金層を蒸着する。また、本方法は、ブロック４００４にて、集束イオンビームを用いて、画像センサ上の一列全体の開口アレイをフライス処理する。また、本方法は、ブロック４００５にて、ＰＤＭＳブロックにパターン形成を行って、個々の画像センサのそれぞれの上にマイクロ流体流路を形成する。また、本方法は、ブロック４００６にてウェハを切断する。また、本方法は、ブロック４００７にて各画像センサを実装する。
Claims (18)
- 複数のプラズモンレンズと、
少なくとも１つのマイクロ流体流路と、
相補型金属酸化膜半導体画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィーによる４Ｄライトフィールドを用いて、複数の三次元画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。 - 少なくとも１つのプラズモンレンズと、
少なくとも１つのマイクロ流体装置と、
画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィーにより画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。 - カメラを有する移動通信装置をさらに備え、前記移動通信装置が前記画像センサアレイに取り付けられて、前記移動通信装置のカメラが個人診断用に利用されることを特徴とする請求項２に記載のシステム。
- 前記画像センサアレイは、相補型金属酸化膜半導体画像センサアレイであることを特徴とする請求項２に記載のシステム。
- 前記画像は３Ｄ画像であることを特徴とする請求項２に記載のシステム。
- ４Ｄライトフィールドを使用する方法であって、
光源からの光で照明される撮像センサにおける複数の開口からなる直線アレイを横切って、生物サンプルを移動させ、
前記生物サンプルが前記直線アレイを横切って移動する際に前記光源からの光の透過を遮断することにより、複数のライントレースを生成し、前記複数の開口の各開口に対応する時変透過が、前記生物サンプル上を通るライントレースを表し、
前記直線開口アレイから前記複数のライントレースを再構成することにより、前記複数の開口の各開口のサイズに匹敵する解像度にて前記生物サンプルの画像を再構成することを特徴とする方法。 - 前記光源はＬＥＤアレイであることを特徴とする請求項６に記載の方法。
- 前記直線開口アレイの真下の複数の画素から信号を読み取るように、画像センサをプログラミングすることを特徴とする請求項６に記載の方法。
- 前記生物サンプルの前記画像の構成は、前記複数の開口からの前記複数のラインスキャンを重畳することにより行うことを特徴とする請求項６に記載の方法。
- ４Ｄライトフィールドを使用する方法であって、
流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行い、
スナップショット後に視点と焦点を操作し、
ライトフィールドレンダリング処理を行って、複数の傾斜した正投射図と複数の斜視図とを生成し、
前記ライトフィールド画像にコンピュータビジョンアルゴリズムを適用することを特徴とする方法。 - ４Ｄライトフィールド画像を生成する方法であって、
複数のタイルを高いレートで読み取って、マイクロ流体流路を流れる生物サンプルの４Ｄライトフィールドを捕捉し、
前記複数のタイルの読み取り結果を重畳し、
前記生物サンプルの４Ｄライトフィールド画像を生成することを特徴とする方法。 - 複数のＬＥＤからなるアレイと、
厚さが２５０ｎｍから３５０ｎｍの範囲であって、複数の開口が貫通している金層と、
前記金層の上に成膜され、厚さが１５０ｎｍから２５０ｎｍの範囲であるＰＤＭＳ層と、
高さが１５ミクロンから２５ミクロンの範囲であり、幅が５０ミクロンから６５ミクロンの範囲であるマイクロ流体流路と、
厚さが５００ｎｍから７００ｎｍの範囲であるＰＭＭＡ層と、
画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィーにより画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。 - 使い捨てマイクロ流体チップをＬＦ−ＯＦＭシステムに挿入することを可能とし、ＬＦ−ＯＦＭプラットフォームを用いた種々の病気の検知を可能とすることを特徴とする方法。
- 並列画像処理を行うシステムであって、複数のサンプルからなる異なる層を別々に撮像して、前記システムのスループットを高めることを特徴とするシステム。
- 複数の移動体通信ネットワークのサービスが得られる複数の遠隔地域で診断を行うために、自動コンピュータ画像認識アルゴリズムを４Ｄライトフィールド画像に適用してセルを識別することを特徴とする方法。
- ＬＦ−ＯＦＭシステムのウェハレベル処理により大量生産を行う方法。
- 厚さが少なくとも６００ｎｍのポリメチルメタクリレート（ＰＭＭＡ）層をスピンコート形成して、各画素のサイズが１．７５μｍ×１．７５μｍで、撮像領域が３．６１ｍｍ×２．７２ｍｍである２０８１×１５３６画素アレイを有する順次走査ＣＭＯＳ画像センサの表面を平坦化し、
熱源を有する金属蒸着装置を用いて、前記ＰＭＭＡ層の上に少なくとも厚さ３００ｎｍの金層を成膜し、
集束イオンビーム装置を用いて、前記金層上の開口アレイのフライス加工を行い、
前記金層の上に２００ｎｍのＰＭＭＡ層をスピンコート形成して、開口を保護し、前記開口の直径は少なくとも０．７μｍであり、各開口が１２．２５μｍの間隔で配置され、
ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナーによりセンサ上に配置することを特徴とするＬＦ−ＯＦＨＭの製造方法。 - 複数の画像センサを有するウェハの処理を行い、
複数の画像センサを有する前記ウェハに、スピンコートにより６００ｎｍのＰＭＭＡ層を形成し、
前記ＰＭＭＡ層の上に３００ｎｍの金層を蒸着し、
集束イオンビームを用いて、前記画像センサ上の開口アレイを全列にわたってフライス処理し、
ＰＤＭＳブロックにパターン形成を行って、前記個々の画像センサのそれぞれの上にマイクロ流体流路を形成し、
前記ウェハを切断し、
前記画像センサのそれぞれを実装することを特徴とするＬＦ−ＯＦＨＭの製造方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US41091610P | 2010-11-07 | 2010-11-07 | |
| US61/410,916 | 2010-11-07 | ||
| PCT/US2011/059484 WO2012061797A2 (en) | 2010-11-07 | 2011-11-06 | On-chip 4d lightfield microscope |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013545138A true JP2013545138A (ja) | 2013-12-19 |
Family
ID=46025152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013537897A Pending JP2013545138A (ja) | 2010-11-07 | 2011-11-06 | オンチップ型４ｄライトフィールド顕微鏡 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9568723B2 (ja) |
| EP (1) | EP2635871A4 (ja) |
| JP (1) | JP2013545138A (ja) |
| CN (1) | CN103348215A (ja) |
| AU (1) | AU2011323162A1 (ja) |
| IL (1) | IL225955A0 (ja) |
| MX (1) | MX2013005136A (ja) |
| SG (1) | SG190032A1 (ja) |
| WO (1) | WO2012061797A2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101901774B1 (ko) * | 2016-11-17 | 2018-09-28 | 주식회사 제이이노텍 | 정자 활동성 검사장치 |
| JP2022521567A (ja) * | 2018-12-19 | 2022-04-11 | カール ツァイス マイクロスコピー ゲーエムベーハー | 顕微鏡画像化用の試料チャンバの作動方法、装置、及び試料チャンバ |
| JP7518240B2 (ja) | 2018-11-19 | 2024-07-17 | アークレイ株式会社 | 測定システム |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2602608B1 (en) * | 2011-12-07 | 2016-09-14 | Imec | Analysis and sorting of biological cells in flow |
| US9518914B2 (en) * | 2012-09-24 | 2016-12-13 | Brigham And Women's Hospital, Inc. | Portal and method for management of dialysis therapy |
| CN104251811A (zh) * | 2013-06-28 | 2014-12-31 | 西门子医疗保健诊断公司 | 一种数字显微镜及其图像识别方法 |
| US20150112773A1 (en) * | 2013-10-21 | 2015-04-23 | At&T Intellectual Property I, Lp | Facilitating environment views employing crowd sourced information |
| US9403482B2 (en) | 2013-11-22 | 2016-08-02 | At&T Intellectual Property I, L.P. | Enhanced view for connected cars |
| JP6545457B2 (ja) * | 2014-03-07 | 2019-07-17 | パナソニック株式会社 | プレパラート、透明プレート、プレパラートの作製方法、スライドガラス、画像撮影装置、画像撮影方法、プレパラート作製装置、およびプレパラート部品セット |
| EP3146501B1 (en) * | 2014-05-19 | 2020-09-09 | The Regents of the University of California | Fourier ptychographic microscopy with multiplexed illumination |
| CN104237186B (zh) * | 2014-09-15 | 2017-01-25 | 华中科技大学 | 一种荧光成像装置及方法 |
| WO2016178856A1 (en) | 2015-05-01 | 2016-11-10 | The Board Of Regents Of The University Of Texas System | Uniform and scalable light-sheets generated by extended focusing |
| WO2016191142A2 (en) | 2015-05-27 | 2016-12-01 | Verily Life Sciences Llc | Nanophotonic hyperspectral/lightfield superpixel imager |
| US9733188B2 (en) * | 2015-09-21 | 2017-08-15 | International Business Machines Corporation | Enhancing on-chip fluorescence detection |
| CN105424561B (zh) * | 2015-12-16 | 2018-10-02 | 南京理工大学 | 基于led光源的无透镜粒子显微定位装置及其方法 |
| US10876970B2 (en) | 2016-04-12 | 2020-12-29 | The Board Of Regents Of The University Of Texas System | Light-sheet microscope with parallelized 3D image acquisition |
| EP3260840B1 (en) * | 2016-06-22 | 2023-06-07 | Uponor Oyj | Arrangement for in-line holography microscopy |
| WO2018064660A1 (en) * | 2016-09-30 | 2018-04-05 | University Of Utah Research Foundation | Lensless imaging device |
| EP3563141A4 (en) | 2016-12-27 | 2020-08-12 | The Regents of The University of Michigan | LASER EMISSION-BASED MICROSCOPE |
| EP3576881A4 (en) * | 2017-02-06 | 2019-12-25 | EFA - Engineering For All Ltd. | PORTABLE DIGITAL DIAGNOSTIC DEVICE |
| TWI685960B (zh) | 2018-02-03 | 2020-02-21 | 美商伊路米納有限公司 | 使用感測器的主動表面的結構和方法 |
| CN109055213A (zh) * | 2018-08-14 | 2018-12-21 | 深圳职业技术学院 | 一种简易微量细胞培养和计数的装置及该装置的制作方法 |
| US11815507B2 (en) | 2018-08-15 | 2023-11-14 | Deepcell, Inc. | Systems and methods for particle analysis |
| US10611995B2 (en) | 2018-08-15 | 2020-04-07 | Deepcell, Inc. | Systems and methods for particle analysis |
| RU2690757C1 (ru) | 2018-08-21 | 2019-06-05 | Самсунг Электроникс Ко., Лтд. | Система синтеза промежуточных видов светового поля и способ ее функционирования |
| US11879830B2 (en) | 2018-09-28 | 2024-01-23 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Quantitative large area binding sensor for detecting biomarkers |
| CN109470654B (zh) * | 2018-12-06 | 2022-03-15 | 大连海事大学 | 基于光流控式无透镜全息术的石油成分检测装置及评估方法 |
| CN111258046A (zh) * | 2020-02-26 | 2020-06-09 | 清华大学 | 基于前置微透镜阵列的光场显微系统及方法 |
| CN111722392B (zh) * | 2020-07-22 | 2021-06-08 | 南京大学 | 一种基于超构透镜阵列的大视场集成显微成像装置 |
| DE102020122192A1 (de) | 2020-08-25 | 2022-03-03 | Technische Universität Braunschweig | Partikeldetektionseinrichtung, Verfahren zum Betreiben einer Partikeldetektionseinrichtung und Computerprogramm |
| CN112113906A (zh) * | 2020-10-16 | 2020-12-22 | 上海芯像生物科技有限公司 | 一种样本检测装置及其制造方法 |
| CN113031243B (zh) * | 2021-03-26 | 2021-08-31 | 杭州辰景光电科技有限公司 | 一种基于波导片的反射式片上数字全息显微装置 |
| EP4116755A1 (en) * | 2021-07-06 | 2023-01-11 | Universitat de Barcelona | Method and device for obtaining microscopic digital images |
| CN114859543B (zh) * | 2022-05-20 | 2023-05-12 | 清华大学深圳国际研究生院 | 一种基于rgb led光源的高分辨无透镜显微镜 |
| CN116679461B (zh) * | 2022-09-29 | 2024-01-05 | 华为技术有限公司 | 图像传感器、成像装置及方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411406B1 (en) * | 2001-03-12 | 2002-06-25 | Dalhousie University | Holographic microscope and method of hologram reconstruction |
| CN100497653C (zh) * | 2002-12-13 | 2009-06-10 | 中国科学院大连化学物理研究所 | 一种基于微流控芯片的单细胞内涵物的分析方法 |
| US7751048B2 (en) * | 2004-06-04 | 2010-07-06 | California Institute Of Technology | Optofluidic microscope device |
| US7723662B2 (en) | 2005-10-07 | 2010-05-25 | The Board Of Trustees Of The Leland Stanford Junior University | Microscopy arrangements and approaches |
| US9041938B2 (en) * | 2006-05-02 | 2015-05-26 | California Institute Of Technology | Surface wave assisted structures and systems |
| US7768654B2 (en) | 2006-05-02 | 2010-08-03 | California Institute Of Technology | On-chip phase microscope/beam profiler based on differential interference contrast and/or surface plasmon assisted interference |
| US8822894B2 (en) * | 2011-01-07 | 2014-09-02 | California Institute Of Technology | Light-field pixel for detecting a wavefront based on a first intensity normalized by a second intensity |
| US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| CN103033922A (zh) | 2008-01-02 | 2013-04-10 | 加利福尼亚大学董事会 | 高数值孔径远程显微镜设备 |
| US8325349B2 (en) * | 2008-03-04 | 2012-12-04 | California Institute Of Technology | Focal plane adjustment by back propagation in optofluidic microscope devices |
| JP2011513794A (ja) * | 2008-03-04 | 2011-04-28 | カリフォルニア インスティテュート オブ テクノロジー | フォトセンサーアレイを備える光学流体顕微鏡装置 |
| US8039776B2 (en) * | 2008-05-05 | 2011-10-18 | California Institute Of Technology | Quantitative differential interference contrast (DIC) microscopy and photography based on wavefront sensors |
| US8384892B2 (en) * | 2008-10-03 | 2013-02-26 | Board Of Trustees Of The University Of Illinois | Surface enhanced raman spectroscopy on optical resonator (e.g., photonic crystal) surfaces |
| WO2010090849A1 (en) * | 2009-01-21 | 2010-08-12 | California Institute Of Technology | Quantitative differential interference contrast (dic) devices for computed depth sectioning |
| US8416400B2 (en) * | 2009-06-03 | 2013-04-09 | California Institute Of Technology | Wavefront imaging sensor |
| EP3136079B1 (en) * | 2009-10-20 | 2020-02-12 | The Regents of The University of California | Incoherent lensfree cell holography and microscopy on a chip |
| WO2011103507A1 (en) * | 2010-02-19 | 2011-08-25 | Pacific Biosciences Of California, Inc. | Optics collection and detection system and method |
| US9202835B2 (en) * | 2010-10-18 | 2015-12-01 | The Regents Of The University Of California | Microscopy method and system incorporating nanofeatures |
| US9569664B2 (en) * | 2010-10-26 | 2017-02-14 | California Institute Of Technology | Methods for rapid distinction between debris and growing cells |
| US9057702B2 (en) * | 2010-12-21 | 2015-06-16 | The Regents Of The University Of California | Compact wide-field fluorescent imaging on a mobile device |
-
2011
- 2011-11-06 EP EP11838931.1A patent/EP2635871A4/en not_active Withdrawn
- 2011-11-06 SG SG2013032289A patent/SG190032A1/en unknown
- 2011-11-06 MX MX2013005136A patent/MX2013005136A/es not_active Application Discontinuation
- 2011-11-06 JP JP2013537897A patent/JP2013545138A/ja active Pending
- 2011-11-06 CN CN2011800535275A patent/CN103348215A/zh active Pending
- 2011-11-06 AU AU2011323162A patent/AU2011323162A1/en not_active Abandoned
- 2011-11-06 US US13/883,965 patent/US9568723B2/en active Active
- 2011-11-06 WO PCT/US2011/059484 patent/WO2012061797A2/en active Application Filing
-
2013
- 2013-04-25 IL IL225955A patent/IL225955A0/en unknown
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101901774B1 (ko) * | 2016-11-17 | 2018-09-28 | 주식회사 제이이노텍 | 정자 활동성 검사장치 |
| JP7518240B2 (ja) | 2018-11-19 | 2024-07-17 | アークレイ株式会社 | 測定システム |
| JP2022521567A (ja) * | 2018-12-19 | 2022-04-11 | カール ツァイス マイクロスコピー ゲーエムベーハー | 顕微鏡画像化用の試料チャンバの作動方法、装置、及び試料チャンバ |
| JP7399168B2 (ja) | 2018-12-19 | 2023-12-15 | カール ツァイス マイクロスコピー ゲーエムベーハー | 顕微鏡画像化用の試料チャンバの作動方法、装置、及び試料チャンバ |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130222547A1 (en) | 2013-08-29 |
| US9568723B2 (en) | 2017-02-14 |
| WO2012061797A2 (en) | 2012-05-10 |
| WO2012061797A3 (en) | 2012-06-14 |
| EP2635871A2 (en) | 2013-09-11 |
| WO2012061797A9 (en) | 2012-07-26 |
| SG190032A1 (en) | 2013-06-28 |
| CN103348215A (zh) | 2013-10-09 |
| IL225955A0 (en) | 2013-06-27 |
| EP2635871A4 (en) | 2014-06-04 |
| WO2012061797A4 (en) | 2012-09-27 |
| MX2013005136A (es) | 2013-12-12 |
| AU2011323162A1 (en) | 2013-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013545138A (ja) | オンチップ型４ｄライトフィールド顕微鏡 | |
| US10944896B2 (en) | Single-frame autofocusing using multi-LED illumination | |
| Su et al. | High‐throughput lensfree imaging and characterization of a heterogeneous cell solution on a chip | |
| EP2491366B1 (en) | Incoherent lensfree cell holography and microscopy on a chip | |
| Greenbaum et al. | Imaging without lenses: achievements and remaining challenges of wide-field on-chip microscopy | |
| US9569664B2 (en) | Methods for rapid distinction between debris and growing cells | |
| US9426429B2 (en) | Scanning projective lensless microscope system | |
| US7948632B2 (en) | Method and apparatus for analysis of a sample of cells | |
| US7863552B2 (en) | Digital images and related methodologies | |
| CN109884018B (zh) | 一种基于神经网络的亚微米级无透镜显微成像方法及系统 | |
| CN110806636B (zh) | 显微镜分析方法 | |
| US20210217190A1 (en) | Analyzer for three-dimensionally analyzing a medical sample by means of a light field camera | |
| US11482021B2 (en) | Adaptive sensing based on depth | |
| McLeod et al. | Microscopy without lenses | |
| TW201428339A (zh) | 傅利葉重疊關聯成像系統，裝置及方法 | |
| US20230062698A1 (en) | Method for digitally staining cells | |
| Yang et al. | Resolution-enhanced lensless color shadow imaging microscopy based on large field-of-view submicron-pixel imaging sensors | |
| CN108627511A (zh) | 一种显微光学成像检测方法和装置 | |
| Zheng | Chip‐scale microscopy imaging | |
| Grinbaum | Multi-Height-Based Lensfree On-Chip Microscopy for Biomedical Applications |