CN103262203A - E-petri培养皿、设备和系统 - Google Patents

Abstract

e-Petri培养皿包括具有试样表面的透明层和配置成对位于试样表面上的试样的一系列亚像素移动投影图像采样的光探测器。亚像素移动投影图像与照明源从多个照明角度提供的光相关。

Description

E-PETRI培养皿、设备和系统

相关申请的交叉引用

这个非临时申请是2011年10月25日提交的标题为“ScanningProjective Lensless Microscopy System”的美国专利申请号13/281,287的部分继续申请，其是2010年10月26日提交的标题为“Scanning ProjectiveMicroscopy System for2D and3D Imaging”的美国临时专利申请号61/406,916和2011年5月4日提交的标题为“ePetri:An On-Chip CellImaging Platform based on Sub-Pixel Perspective Sweeping Microscopy”的美国临时专利申请号61/482,531的非临时申请并要求这两个临时专利申请的优先权。这个非临时申请也是2011年5月4日提交的标题为“ePetri:AnOn-Chip Cell Imaging Platform based on Sub-Pixel Perspective SweepingMicroscopy”的美国临时专利申请号61/482,531和2011年3月3日提交的标题为“Electronic Petridish with Bright Field and Fluorescence ImagingCapabilities for Cell Culture Monitoring”的美国临时专利申请号61/448,964的非临时申请并要求这两个临时专利申请的优先权。所有这些申请为了所有的目的特此通过引用被全部并入。

这个非临时申请与为了所有的目的特此通过引用被全部并入的下面的共同未决和共同转让的专利申请有关：

●2011年3月23日提交的标题为“Super Resolution OptofluidicMicroscopes for2D and3D Imaging”的美国专利申请号13/069,651。

下面的非临时申请在同一日被提交并为了所有的目的特此通过引用被全部并入：2012年3月2日提交的标题为“Tall Pixel”的美国专利申请号13/411,103。

发明背景

本发明的实施方式通常涉及高分辨率宽视场显微镜和其它成像设备。更具体地，某些实施方式涉及用于高分辨率宽视场成像的e-Petri培养皿（电子培养皿）、e-Petri设备和e-Petri系统。

生物医学成像工具的小型化有可能极大地改变医疗诊断和科学研究的方法。更具体地，紧凑型低成本显微镜可明显扩展负担得起的保健诊断并提供用于检查和自动表征大量细胞的手段，如在为了所有的目的特此通过引用被全部并入的Psaltis,D.等人的“Developing optofluidic technologythrough the fusion of microfluidics and optics”（Nature,Vol.442,pp.381-386(2006)）中讨论的。例如，微型成像系统可提供对生物实验室中的大显微镜的有用的备选方案，允许大量样本的并行成像。紧凑型显微镜的一些例子可在Cui,X等人的“Lensless high-resolution on-chip optofluidicmicroscopes for Caenorhabditis elegans and cell imaging”（Proceedings of theNational Academy of Sciences,105(31),p.10670(2008)）、Seo,S.等人的“Lensfree holographic imaging for on-chip cytometry and diagnostics”（Labon a Chip,2009.9(6),pp.777-787）、Breslauer,D.等人的“Mobile phonebased clinical microscopy for global health applications,”(2009)，Zheng,G.等人的“Sub-pixel resolving optofluidic microscope for on-chip cell imaging”（Lab on a Chip,2010.10(22),pp.3125-3129）中找到。常规光学显微镜具有笨重的光学器件，且证明是昂贵的和难以小型化。

互补金属氧化物半导体（CMOS）成像传感器技术中的快速进步和商业化导致廉价高像素密度成像传感器芯片的广泛可得到性。在过去的几年中，这些成像传感器芯片使新的显微镜实现的发展成为可能，所述显微镜实现比具有笨重的光学器件的常规显微镜设计明显更紧凑和更不昂贵。光流控显微镜和数字同轴全息显微镜是这些新发展的两个例子。光流控显微镜技术的一些例子可在Heng,X.等人的“Optofluidic microscopy—methodfor implementing a high resolution optical microscope on a chip”（Lab Chip,Vol.6,pp.1274-1276）、Cui,Xiquan等人的“Lensless high-resolution on-chipoptofluidic microscopes for Caenorhabditis elegans and cell imaging”（Proceedings of the National Academy of Science,Vol.105,p.10670(2008)）和Zheng,G.、Lee,SA.、Yang,S.、Yang,C.的“Sub-pixel resolving optofluidicmicroscope for on-chip cell imaging.Lab Chip”（Lab Chip,Vol.10,pp.3125-3129(2010)）（“Zheng”）中找到，这些文献为了所有的目的特此通过引用被全部并入。数字同轴全息显微镜的一些例子可在Repetto,L.、Piano,E.、Pontiggia,C.的“Lensless digital holographic microscope withlight-emitting diode illumination”（Opt.Lett,Vol.29,pp.1132-1134(2004)）（“Repetto”）、Mudanyali,O.等人的“Compact,light-weight and cost-effectivemicroscope based on lensless incoherent holography for telemedicineapplications”（Lab Chip,Vol.10,pp.1417-1428(2010)）（“Mudanyali”）、Xu,W.、Jericho,M.、Meinertzhagen,I.、Kreuzer,H.的“Digital in-line holographyfor biological applications”（Proc Natl Acad Sci USA,Vol.98,pp.11301-11305(2001)）（“Xu”）、Garcia-Sucerquia,J.等人的“Digital in-lineholographic microscopy”（Appl.Opt,Vol.45,pp.836-850(2006)）（“Garcia-Sucerquia”）、Malek M.、Allano,D.、Coetmellec,S.、Lebrun,D.的“Digital in-line holography:Influence of the shadow density on particle fieldextraction”（Opt.Express,Vol.12,pp.2270-2279(2004)）（“Malek”）、Isikman,S.O.等人的“Lens-free optical tomographic microscope with a large imagingvolume on a chip”（Proc Natl Acad Sci USA,Vol.108,pp.7296-7301(2011)）中找到，这些文献为了所有的目的特此通过引用被全部并入。

光流控和同轴全息显微镜技术都被设计成在没有透镜的情况下操作，且因此巧妙地避开其光学限制，例如像差和色度。这两种技术都适合于使可分散的样本例如血液、流体细胞培养物以及细胞或有机体的其它悬浮液成像。然而，这些都不能对融合性细胞培养物或细胞在相当大的长度标度上被连续地连接的任何样本很好地起作用。

在光流控显微镜设备的情况下，成像需要试样越过整个扫描区域的流控（例如，微流控）流动。粘附的、融合性的或邻接布置的试样通常与在流控模式中的成像不相容。此外，视场可能被流体通道的几何结构限制。

在数字同轴全息显微镜中，在受控光照明下目标的干涉强度分布被测量，且接着图像重建算法被应用以再现目标的显微图像。算法的两个例子可在Liu,G.、Scott,P.的“Phase retrieval and twin-image elimination or in-lineFresnel holograms”（J Opt Soc Am A,Vol.4,pp.159-165(1987)）（“Liu”）、Fienup,JR.的“Reconstruction of an object from the modulus of its Fouriertransform”（Opt Lett,Vol.3,pp.27-29(1978)）（“Fienup”）、Koren,G.、Polack,F.、Joyeux,D.的“Iterative algorithms for twin-image elimination in in-lineholography using finite-support constraints”（J Opt Soc Am A,Vol.10,pp.423-433(1993)）中找到，这些文献为了所有的目的特此通过引用被全部并入。图像质量关键取决于目标的大小、散射特性和测量过程的信噪比（SNR），测量过程在Mudanyali和Garcia-Sucerquia、Malek、Fienup中以及也在Lai,S.、King,B.、Neifeld,MA的“Wave front reconstruction by meansof phase-shifting digital in-line holography”（Opt Commun,Vol.173,pp.155-160(2000)）（“Lai”）和Rodenburg,J.、Hurst,A.、Cullis,A.的“Transmission microscopy without lenses for objects of unlimited size”（Ultramicroscopy,Vol.107,pp.227-231(2007)）（“Rodenburg”）中被描述，这些文献为了所有的目的特此通过引用被全部并入。该方法对充分隔离的目标例如稀释的血液涂片载玻片很好地起作用。然而，这样的方法看来好像并不适用于在具有亚微米分辨率的总邻接区域覆盖中占据多于0.1mm2的目标，如在Repetto、Madanyali、Xu、Garcia-Sucerquia中以及也在Biener,G.等人的“Combined reflection and transmission microscope for telemedicineapplications in field settings”（Lab Chip,Vol.11,pp.2738-2743(2011)）中找到的，该文献为了所有的目的特此通过引用被全部并入。

对这个限制的原因是公知的：在强度记录过程期间相位信息的遗失。为了恢复相位信息，必须在迭代相位恢复算法中使用物体支持，该算法涉及在成像域（其中强度数据被应用）和物体域（其中适用先验对象约束）之间来回的光场传播，如在Liu中讨论的。当测试物体是真实的或非负的时，容易应用强大的非负性支持约束以从所记录的衍射强度提取相位信息，如在Liu中讨论的。然而，对于数字同轴全息，物体域中的光场是复数取值的，且因此相位恢复只在物体的支持被足够隔离（即，稀疏约束）或边缘被清晰地界定（真实边界）时是可能的，如在Rodenburg和Fienup中和也在Denis,L.、Lorenz,D.、Thiébaut,E.、Fournier,C、Trede,D.的“Inlinehologram reconstruction with sparsity constraints”（Opt Lett,Vol.34,pp.3475-3477(2009)）、Zhang,F、Pedrini,G.、Osten,W.的“Phase retrieval ofarbitrary complex-valued fields through aperture-plane modulation”（Phys RevA,Vol.75,p.043805(2007)）中讨论的，这些文献为了所有的目的特此通过引用被全部并入。此外，该技术的干涉性质暗示基于相干的噪声源例如散斑和交叉干涉将存在且将需要被处理，如在Garcia-Sucerquia和Malek中以及也在Xu,L.、Miao,J.、Asundi,A.的“Properties of digital holographybased on in-line configuration”（Opt Eng,Vol.39,pp.3214-3219(2000)）中讨论的，这些文献为了所有的目的特此通过引用被全部并入。用于减轻数字同轴全息显微镜中的问题的方法在Lai、Rodenburg中和Micó,V.、Garcia,J.、Zalevsky,Z.、Javidi,B.的“Phase-Shifting Gabor Holographic Microscopy”（J Disp Technol,Vol.6,pp.484-489(2010)）中被报告，这些文献为了所有的目的特此通过引用被全部并入。基于这些减轻方法的所产生的图像具有可能从干涉产生的假象，且是可识别地不同的，并由于基于相干的噪声源而具有比使用常规显微镜获取的图像低的质量。

本发明的实施方式目的在于对使用笨重的光学器件的常规光流控和同轴全息系统的改进。

本发明的简要概述

本发明的实施方式涉及用于高分辨率宽视场成像的e-Petri培养皿、e-Petri设备和e-Petri系统。e-Petri培养皿包括用于接纳和包含正被成像的试样的试样表面和井。e-Petri培养皿还包括光探测器，例如具有感测表面的CMOS成像传感器芯片。e-Petri培养皿还包括在感测表面和试样表面之间的透明层。透明层可以是光探测器的部分。e-Petri设备包括e-Petri培养皿和用于接纳e-Petri培养皿的结构。e-Petri设备还包括用于在不同的时间从不同的照明角度向位于试样表面上的试样提供照明的照明源（例如，智能电话）。从不同的照明角度的照明在感测表面上产生试样的投影。光探测器在感测表面处捕获试样的一系列亚像素移动投影图像。e-Petri设备还包括作为光探测器的部分或与光探测器分离的处理器。处理器可从光探测器所捕获的该系列亚像素移动较低分辨率（LR）投影图像重建较高分辨率（HR）图像。

一个实施方式目的在于e-Petri培养皿，其包括具有试样表面的透明层和配置成对位于试样表面上的试样的一系列亚像素移动投影图像采样的光探测器。该系列亚像素移动投影图像与照明源从多个照明角度提供的光相关。

另一实施方式目的在于e-Petri设备，其包括具有试样表面的透明层、配置成向位于试样表面上的试样从多个照明角度提供光的照明源、以及配置成对试样的一系列亚像素移动投影图像采样的光探测器。该系列亚像素移动投影图像相应于多个照明角度。

另一实施方式目的在于包括一个或多个e-Petri设备和处理器的e-Petri系统。每个e-Petri设备包括具有试样表面的透明层、配置成向位于试样表面上的试样从多个照明角度提供光的照明源和配置成对位于试样表面上的试样的一系列亚像素移动投影图像采样的光探测器。该系列亚像素移动投影图像相应于多个照明角度。处理器配置成基于来自一个或多个e-Petri设备中的至少一个的该系列亚像素移动投影图像产生试样的亚像素分辨率图像。

另一实施方式目的在于在实验期间每隔一段时间使用e-Petri系统自动产生试样的亚像素分辨率图像的方法。该方法包括在e-Petri培养皿的试样表面上引入试样。在每个时间间隔期间，该方法从多个照明角度向试样提供光。在每个时间间隔期间，该方法还使用光探测器来捕获相应于多个照明角度的一系列亚像素移动投影图像。在每个时间间隔期间，该方法还基于该系列亚像素移动投影图像和运动矢量构建试样的亚像素分辨率图像。

下面进一步详细地描述本发明的这些和其它实施方式。

附图的简要说明

图1是根据本发明的实施方式的SPLM设备的部件的示意图。

图2是根据本发明的实施方式的SPLM设备或e-Petri设备的部件和部分部件的透视图的图。

图3（a）、3（b）和3（c）是根据本发明的实施方式的在成像过程的扫描周期期间SPLM设备或e-Petri设备的部件和部分部件的透视图的图。

图4（a）和图4（b）是示出根据本发明的实施方式的照明显示器上的扫描图案的图示。

图5（a）是根据本发明的实施方式的在单次采样时间由SPLM系统或e-Petri系统的光探测器捕获的LR投影图像。

图5（b）是根据本发明的实施方式的SPLM系统或e-Petri系统所重建的HR图像。

图6（a）是根据本发明的实施方式的在单次采样时间由SPLM系统或e-Petri系统的光探测器捕获的Hela细胞试样的一部分的LR投影图像。

图6（b）是根据本发明的实施方式的SPLM系统或e-Petri系统所重建的HR图像。

图7（a）根据本发明的实施方式的SPLM系统或e-Petri系统所构建的融合性Hela细胞试样的大视场彩色HR图像。

图7（b1）是根据本发明的实施方式的由SPLM系统或e-Petri系统的光探测器捕获的来自图7（a）的小区域的LR投影图像。

图7（c1）是根据本发明的实施方式的由SPLM系统或e-Petri系统的光探测器捕获的来自图7（b1）的小区域的LR投影图像。

图7（b2）是根据本发明的实施方式的由SPLM系统或e-Petri系统构建的来自图7（a）的同一小区域的重构的HR图像。

图7（c2）是根据本发明的实施方式的由SPLM系统或e-Petri系统构建的来自图7（b2）的小区域的重构的HR图像。

图7（d）是使用具有40X,NA=0.66物镜的显微镜的类似细胞的常规显微镜图像。

图8（a）是根据本发明的实施方式的如SPLM系统或e-Petri系统所构建的具有500nm微球体（polysciences）的试样的HR图像。

图8（b）是根据本发明的实施方式的如SPLM系统或e-Petri系统所构建的图7的染色HeLa细胞试样的放大的小特征的HR图像。

图9是根据本发明的实施方式的SPLM设备或e-Petri设备的示例性操作的流程图。

图10是根据本发明的实施方式的在光探测器上从三个不同的照明角度θ₁、θ₂和θ₃的三个投影的示意图。

图11是根据本发明的实施方式的具有e-Petri设备的e-Petri系统的示意图和e-Petri设备之一的展开图。

图12是根据本发明的实施方式的具有单个e-Petri设备的e-Petri系统的摄影图像。

图13（a）是根据本发明的实施方式的e-Petri培养皿的摄影图像和用于尺寸比较的25美分硬币。

图13（b）是根据本发明的实施方式的具有图13（a）的e-Petri培养皿的部分分解的e-Petri设备的摄影图像。

图13（c）是根据本发明的实施方式的图13（b）的组装好的e-Petri设备的照片。

图14（a1）、图14（a2）和图14（a3）是具有红色、绿色和蓝色LED照明（20X物镜，0.5N.A.）的常规显微图像。

图14（a4）是基于图14（a1）、图14（a2）和图14（a3）中的红色、绿色和蓝色图像而构建的彩色图像。

图14（b1）、图14（b2）和图14（b3）是根据本发明的实施方式的如在红色、绿色和蓝色光源分别扫描下由e-Petri系统获取的HeLa细胞样本的一部分的重构的亚像素分辨率图像。

图14（b4）是根据本发明的实施方式的基于图14（b1）、图14（b2）和图14（b3）中的红色、绿色和蓝色图像的重建的亚像素分辨率彩色图像。

图15（a）是根据本发明的实施方式的在研究的时间段期间在时间t=10小时、t=17.5小时、t=25小时和t=32.5小时时在启动时如e-Petri系统所获取的来自特定的子位置的HeLa细胞样本的一部分的时间推移的重构图像。

图15（b）是根据本发明的实施方式的由生物学家注释的三个细胞族的跟踪轨迹的曲线图和由e-Petri系统的主机计算机的第二处理器处理的这些细胞族的谱系树。

图16是根据本发明的实施方式在e-Petri系统进行的实验期间以某一时间间隔自动重建和显示亚像素分辨率图像和/或其它数据的示例性方法的流程图。

图17是根据本发明的实施方式的可存在于SPLM系统或e-Petri系统中的子系统的方框图。

本发明的详细描述

对用于对增长的和融合性的试样（例如，细胞培养物）自动成像的高分辨率宽视场有成本效益的显微镜解决方案的需要是强烈的需要，如在为了所有的目的特此通过引用被全部并入的Schroeder,T.的“Long-termsingle-cell imaging of mammalian stem cells”（Nature Methods8,pp.S30-S35(2011)）中讨论的。将受益于这样的解决方案的实验的一些例子包括：1）在神经前体细胞的分裂之前女儿宿命的确定，如在Cohen,A.R.、Gomes,F.L.A.F.、Roysam,B.和Cayouette,M.的“Computational prediction of neuralprogenitor cell fates”（2010）中讨论的；2）haemogenic内皮的存在，如在Eilken,H.M.、Nishikawa,S.I.和Schroeder,T.的“Continuous single-cellimaging of blood generation from haemogenic endothelium”（Nature457,pp.896-900(2009)）中讨论的；3）神经和造血干细胞和前体细胞分裂模式以及谱系选择，如在Costa,M.R.等人的“Continuous live imaging of adultneural stem cell division and lineage progression in vitro”（Development138,1057(2011)）中和在Dykstra,B.等人的（National Acad Sciences）中讨论的；4）使用神经红染料的体外组织培养物研究，如在Repetto,G.、del Peso,A.和Zurita,J.L.的“Neutral red uptake assay for the estimation of cell viability/cytotoxicity”（Nature Protocols3,1125-1131(2008)）中讨论的；5）有毒化合物的探测，如在Borenfreund,E.和Puerner,J.A.的“Toxicity determined invitro by morphological alterations and neutral red absorption”（ToxicologyLetters24,pp.119-124(1985)）中讨论的；以及6）药物筛选，如在Cavanaugh,P.F.等人的“A semi-automated neutral red based chemosensitivity assay fordrug screening”（Investigational new drugs8,pp.347-354(1990)）中讨论的。这些参考文献为了所有的目的特此通过引用被并入。实验的劳动密集型性质和对大的被分析物有效地成像的挑战在这些例子和其它例子中困扰实验格式。本发明的实施方式可处理这些和其它挑战。

本发明的实施方式包括提供芯片级无透镜显微镜检查方法的e-Petri培养皿以及SPLM设备和系统，该方法可以在宽视场上以亚像素（例如，亚细胞）分辨率对增长和融合性的试样（例如，细胞培养物）自动成像。在一个实施方式中，例如，e-Petri设备能以660nm分辨率在6mmx4mm的区域对试样成像。这些e-Petri设备以及SPLM设备和系统可自动地随着时间的过去周期性地或以另外方式重复地对试样成像。这些设备和系统也可用于对染色的试样成像。因为e-Petri设备和SPLM设备可以是紧凑的，多个设备可放置在培养箱中以直接在培养箱中对试样变化例如细胞培养物生长成像并跟踪试样变化例如细胞培养物生长。

使用这些能力和其它能力，该自成像显微镜检查方法可明显改进在医学和科学训练中的基于petri的实验（例如，细胞培养物）和其它实时成像过程。例如，通过使用这个紧凑的低成本显微镜成像方法，基于petri培养皿的实验可从传统的劳动密集过程转换到自动化和简化的过程。此外，该方法可减少实验室设备使用和污染风险。惰性petri培养皿到自成像petri培养皿的这个可能的技术转变也可以是及时的，因为高性能CMOS成像传感器（其广泛用在蜂窝电话摄像机和网络摄像头中）的成本最近达到它们可用作可再利用的或一次性的部件的价格点。使用这些能力，e-Petri和SPLM设备和系统提供可非常适合于长期（细胞培养物）成像和跟踪应用的智能petri培养皿平台。例如，e-Petri和SPLM设备和系统可用于探究在研究系统生物学、细胞生长和体外药物筛选时的时间分辨信息，其中使用常规方法例如庞大的显微镜或酶标仪（plate reader），以原位和并行方式对单独的细胞计数并跟踪单独的细胞很难。

下面将参考附图描述e-Petri和SPLM设备和系统以及其它设备和系统的这些实施方式。实施方式包括e-Petri系统，其包括一个或多个e-Petri设备，e-petri设备具有带有用于接纳和包含正被成像的试样的试样表面和井的e-Petri培养皿。e-Petri设备还可包括培养箱、外部处理器和根据本发明的实施方式的其它部件。e-Petri培养皿还包括具有感测表面的光探测器（例如，CMOS成像传感器）和在感测表面和试样表面之间的透明层。e-Petri设备包括e-Petri培养皿连同用于在不同的时间从不同的照明角度向位于试样表面上的试样提供照明的照明源（例如，智能电话）。从不同的照明角度的照明在感测表面上产生试样的投影。光探测器在试样的感测表面处捕获一系列亚像素移动投影图像。e-Petri系统还包括处理器，其可以或可以不与系统的任何部件合并。处理器可从光探测器所捕获的该系列亚像素移动投影图像重建较高分辨率图像。其它实施方式包括SPLM设备，其具有用于接纳正被成像的试样的试样表面、照明源、具有感测表面的光探测器、在感测表面和试样表面之间的透明层、以及处理器。

e-Petri和SPLM设备和系统使用相同的一般成像方法。首先，试样位于设备的试样表面上。在照明周期期间，照明源从不同的照明角度向试样提供光。例如，如果使用LCD，光元件可以是在不同的时间照亮以改变光元件的位置的不同组的光像素的形式。不同组的发光部件的位置可以在设计成在光探测器的感测表面处产生试样的亚像素移动投影的图案中。光探测器可在感测表面处捕获一系列这些亚像素移动投影图像（帧）。处理器可使用适当的估计算法计算亚像素移动投影的运动矢量。处理器可接着使用超分辨率算法来从该系列亚像素移动投影图像和所计算的运动矢量来构建试样的亚像素分辨率图像或其它HR图像。在不同的成像方案下，e-Petri和SPLM设备/系统可产生HR单色2D图像、HR单色3D图像、HR彩色2D图像和/或HR彩色3D图像。在数字聚焦方案中，这些设备/系统可通过使用在穿过试样的平面处计算的运动矢量将试样的HR图像聚焦在该平面处以构建HR图像。

该成像方法利用高性能图像传感器芯片的最近的广泛和廉价的可用性以提供低成本和自动显微镜检查解决方案。与两种主要类别的无透镜显微镜方法——光流控显微镜检查和数字同轴全息显微镜检查不同，该成像方法完全能够对细胞培养物或细胞可被邻接地连接的任何样本起作用。

本发明的实施方式提供一个或多个技术优点。在实施方式中，与试样和感测表面之间的距离比较，扫描照明源位于离感测源的更大距离处。因此，光元件的小平移相应于感测表面上的投影的较大平移。使用这个几何结构，照明源可容易和准确地控制并维持投影的亚像素位移。这些设备可接着基于准确控制的亚像素移动投影产生准确的亚像素分辨率图像。在一些实施方式中，设备可产生具有与常规20x-40x物镜显微镜可比较的分辨率的图像。这可提供优于其它系统例如现有的微扫描系统的优点，所述微扫描系统使用执行器和控制器来控制物体或托住物体的平台的亚像素运动。

实施方式的其它优点是，该方法可提供对融合性试样和其它试样（其中，试样中的物体在相当大的长度上被邻接地连接）的高分辨率成像的自主的、有成本效益的高分辨率显微镜解决方案。一个优点是，系统和设备可被制造地更紧凑（例如，在芯片级上）且以比常规显微镜更低的成本。因为这些系统和设备可以是紧凑和低成本的，多个设备可容易被并行地使用以对很多试样成像。例如，几个e-Petri设备可放置在单个培养箱中并使用显示器在单个膝上型计算机上来监控。使用这个紧凑的平台，实验室测试可能变得更简化且需要较少的实验室设备分配。另一优点是，系统和设备可自动成像并产生其它数据，其可减少在实验室实验中涉及的人类劳动。自动成像的一些益处可在Levin-Reisman,I.等人的“Automated imagingwith ScanLag reveals previously undetectable bacterial growth phenotypes”（Nat Meth,7(9),pp.737-739(2010)）中找到，该文献为了所有的目的特此通过引用被全部并入。由于实施方式的设备所使用的成像的自动化性质，污染危险可减小。此外，实验过程可明显简化，并可能变得更准确。

SPLM系统和设备的部件在第I节中被详细地讨论，第I节也描述了e-Petri系统和设备的一些部件。在第II节中讨论了SPLM和e-Petri系统和设备所使用的成像方法。在第III节中详细讨论了e-Petri系统和设备的部件。在第I节中也详细讨论了e-Petri系统和设备的一些部件。

I.扫描投影无透镜显微镜（SPLM）系统

图1是根据本发明的实施方式的SPLM系统10的部件和部分部件的示意图。SPLM系统10包括SPLM设备100和主机计算机200。

SPLM设备100包括用于接纳试样（例如，融合性样本）的试样表面140。SPLM系统10可对试样150的至少一部分成像。在所示例子中，具有五个物体152（例如，细胞）的试样150位于试样表面140上。虽然示出了五个物体152，试样150可具有任何适当数量（例如，1、2、10、100、1000等）的物体152或物体152的部分。

SPLM设备100还包括具有第一处理器112、第一计算机可读介质（CRM）114和照明显示器116（例如，LCD、发光二极管（LED）显示器等）的扫描照明源110。第一处理器112与照明显示器116并与第一CRM114进行电子通信。照明显示器116包括能够产生照明118（例如，非相干光）的光元件117（例如，LCD或LED显示器的一个或多个像素）。照明显示器116还包括显示表面119。在所示例子中，光元件117位于显示表面119处。在其它实施方式中，透明层可位于显示表面119和光元件117之间。此外，在一些实施方式中，透明层可位于显示表面119外部。扫描照明源110还包括x轴、y轴（未示出）和z轴。x轴和y轴位于显示表面119处的平面中。z轴与该平面正交。

扫描照明源110可将光元件117扫描（扫掠）或以另外方式平移到整个显示表面119上的不同扫描位置，以便从不同的照明角度向试样150提供照明118。移动照明118的光元件117（源）在感测表面162上产生试样150的移动投影170（如图3所示）。在图1中，在成像过程的扫描周期期间的时间t在扫描位置处示出光元件117。SPLM设备100的每个扫描周期可以指时间间隔，在该时间间隔期间，扫描照明源110在那个特定的扫描周期中将光元件117扫描或以另外方式平移到扫描位置。SPLM设备100的成像过程可以指时间间隔，在该时间间隔期间，SPLM系统10的一个或多个操作基于在一个或多个扫描周期期间收集的光数据产生HR图像。在实施方式中，光元件117可在扫描周期期间移动到在显示表面119上的扫描位置的二维阵列（nxm）中的nxm个扫描位置（x_i=1到n,_yi=1到m）。

SPLM设备100还包括用于捕获投影图像的光探测器160。光探测器160包括具有感测区域164的感测表面162。感测表面162位于离显示表面119的距离d处。光探测器160还包括位于试样表面140和感测表面162之间的透明层165（例如，薄透明钝化层）。在扫描周期期间，来自光元件117的照明118在感测表面162上产生试样150的投影170（图2中示出）。光探测器160可在扫描周期期间对试样150的一个或多个系列的亚像素偏移LR投影图像采样（捕获）。每个亚像素移动LR投影图像可以指从该系列中的相邻LR投影图像移动一段亚像素距离的LR投影图像。系列中的相邻LR投影图像可以指在距离上接近的两个LR投影图像。在一些情况下，相邻LR投影图像也可以是在扫描周期期间在时间上被顺序地捕获的投影图像。

如虚线所示的，光探测器160可以可选地与第一处理器112进行电子通信用于使通过光探测器160的采样与通过扫描照明源110的扫描同步。光探测器160还包括x’轴、y’轴（未示出）和z’轴。x’轴和y’轴位于光探测器160的感测表面162处的平面中。z’轴与该平面正交。

SPLM系统10还包括主机计算机200，其具有第二处理器210、与第二处理器210进行电子通信的第二CRM220和与第二处理器210进行电子通信的图像显示器230。第二处理器210可从光探测器150接收与一个或多个系列的亚像素移动LR投影图像相关的数据。第二处理器210还可基于该数据确定在感测表面162处的投影170的运动矢量。第二处理器210可接着基于一个或多个系列的亚像素移动LR投影图像的运动矢量和数据使用适当的超分辨率算法（SR算法）来产生试样150的一个或多个HR（例如，亚像素分辨率）图像。第二处理器210与第二处理器210进行电子通信以显示HR图像和/或其它图像。

在图1的SPLM系统10的示例性成像过程中，扫描照明源110将光元件117扫描或以另外方式平移到在显示表面119上的具有坐标（X_i=1到n,Y_j=1到m）的nxm个扫描位置的二维（nxm）阵列。扫描照明源110根据扫描图案将光元件117扫描（扫掠）或以另外方式平移到扫描位置。来自在不同的扫描位置处的光元件117的照明118在光探测器160的感测表面162上产生试样150的移动投影170。在扫描期间，光探测器160捕获在感测区域164处的一个或多个系列的亚像素移动LR投影图像。第二处理器210从光探测器160接收所述系列中的至少一个系列的数据。第二处理器210可从该数据确定在感测表面162处的亚像素移动投影170的运动矢量。第二处理器210还可使用适当的超分辨率算法以来自试样150的一系列亚像素移动LR投影图像中的至少一个系列的数据和/或所确定的运动矢量来构建试样150的一个或多个HR图像。

图2是根据本发明的实施方式的SPLM设备100或e-Petri设备的部件和部分部件的透视图的图。SPLM设备100或e-Petri设备包括以移动通信设备（例如，蜂窝电话、平板电脑等）的形式的扫描照明源110和以光探测元件166（例如，CMOS成像传感器）的二维阵列的形式的光探测器160。光探测器160具有感测表面162和薄透明层165。包括单个物体152（例如，细胞）的试样150位于试样表面140（未示出）上。薄透明层165位于感测表面162和试样表面140之间。在本例中，扫描照明设备110包括以LCD的形式的照明显示器116（未示出）。LCD包括发光元件（例如，像素）的二维阵列。所扫描的光元件117是以根据扫描图案提供照明118的LCD116上的连续组的发光元件的形式。每个组可包括一个或多个发光元件。连续组的发光元件在显示表面119上的（x_i=1到n,y_j=1到m）处的nxm个扫描位置的二维（nxm）阵列处提供照明118。在图2中，在扫描周期中在单个扫描位置处示出光元件117。来自光元件117的照明118在光探测器160的感测表面162上产生物体152的单个投影170。

图3（a）、3（b）和3（c）是根据本发明的实施方式的在成像过程的扫描周期期间SPLM设备100或e-Petri设备的部件和部分部件的透视图的图。SPLM设备100或e-Petri设备包括提供照明118的扫描照明源110和以光探测元件166的二维阵列的形式的光探测器160。光探测器160具有感测表面162和薄透明层162。包括单个物体152（例如，细胞）的试样150位于试样表面140（未示出）上。薄透明层165位于感测表面162和试样表面140之间。SPLM设备10或e-Petri设备还包括x轴、y轴和z轴。x轴和y轴位于光探测器160的感测表面162处的平面中。z轴与该平面正交。光元件（未示出）117提供照明118并在光探测器160上产生光斑。

在图3（a）、3（b）和3（c）中，光元件117（未示出）在时间t=t_a、t_b和t_c（a>b>c）分别位于沿着x’轴的三个扫描位置处。照明118被示为来自三个不同的扫描位置以在感测表面162上分别产生三个移动投影170（a）、170（b）和170（c）。由于光元件117的某些位移，物体的投影（阴影）可在光探测器阵列的光探测元件166（例如，传感器像素）上以亚像素（即，小于像素尺寸）增量移动。在时间t=t₁、t₂和t₃，光探测器160捕获分别相应于三个投影170（a）、170（b）和170（c）的一系列三个LR投影图像。可在时间t_a和t_b之间以及在时间t_b和t_c之间的扫描时间捕获任何适当数量的亚像素移动投影。可基于来自一系列亚像素移动LR投影图像的数据确定在感测表面162处的投影170（a）、170（b）和170（c）的运动矢量。可使用适当的SR算法并基于来自光探测器160所捕获的一系列亚像素移动LR投影图像的数据来构建物体152的HR图像。

任何适当的试样150可由SPLM系统10或SPLM设备100成像。在大部分情况下，试样150在扫描周期期间是静止的。适当试样150的例子是具有一个或多个物体152（例如，细胞）的融合性样本（例如，融合性细胞培养物）。适当试样150的另一例子是物体152被邻接地连接的样本。正被成像的试样150可包括任何适当类型的物体150并可包括任何适当数量（例如，1、10、100、1000等）的物体150或物体150的部分。适当类型的物体150可以是生物或无机实体。生物实体的例子包括全细胞、细胞成分、微生物例如细菌或病毒、细胞成分例如蛋白质等。无机实体也可通过本发明的实施方式成像。

如本文使用的，扫描照明源110可以指能够将光元件117扫描或以另外方式平移到n个扫描位置处以在光探测器160的感测表面162处产生正被成像的试样150的亚像素移动投影170的任何适当的设备或设备的组合。可使用任何数量n的扫描位置（n=1、2、3、4、5、10、20、100等）。通过移动光元件117，扫描照明设备110改变提供给试样150的照明118的照明角度。在实施方式中，扫描照明源110将光元件117移动到扫描位置，其在感测表面或所关注的其它平面的法线周围的X/Y中产生小范围的照明角度（例如，+/-2度）。

适当扫描照明设备110的例子是移动通信设备（例如，蜂窝电话、平板电脑等）。适当的扫描照明源110是在市场上可买到的。在图2和4中示出了以智能电话的形式的适当扫描照明设备110的所示例子。适当扫描照明设备110的另一例子可以是使用空间光调制器来扫描照明的层析成像相位显微镜。

在实施方式中，扫描照明源110可包括用于扫描光元件117以在感测表面162处产生亚像素移动投影170的照明显示器116。照明显示器116可以指能够将光元件117平移到越过显示表面119的至少一部分的扫描位置的任何适当的显示器。适当的照明显示器116是在市场上可买到的。适当的照明显示器116的一些例子包括单色、彩色或灰度级LCD、LED显示器（例如，显示面板）、电视屏幕、LCD矩阵等。在这些实施方式中，照明显示器116可包括发光元件（例如，像素）的二维阵列。发光元件的阵列可具有任何适当的维度（例如，1000x1000、1000x4000、3000x5000等）。显示表面119可以指提供照明118的照明显示器116的表面。例如，扫描照明源110可以是如图2和4所示的具有以LCD屏幕的形式的照明显示器116的智能电话的形式。在其它实施方式中，扫描照明源110可包括能够扫描光元件117以在感测表面162处产生亚像素移动投影170的另一设备或设备的组合。

在一些实施方式中，扫描照明源110在扫描期间可保持在相对于光探测器160和透明层165的固定位置处。在这些实施方式中，SPLM100可包括一个或多个适当的结构（例如，平台、框架等）以将扫描照明源110和光探测器160保持在固定位置上。在一些情况下，例如图1的所示例子，扫描照明源110可被保持，使得显示表面119保持大致平行于光探测器160的感测表面162且在扫描期间在离感测表面162的距离d处。在这些情况下，照明显示器116可以以垂直于显示表面119的角度提供照明118。在其它情况下，扫描照明源110可被保持，使得显示表面119可与法线成一角度倾斜。在这个角度处，将捕获来自更极端的照明角度的投影170，在一些情况下导致更完整的3D重建。在一个实施方式中，扫描照明源110可包括执行器和控制器或以与法线成一角度重新定位照明显示器116（例如，LCD阵列）的其它机构。

光元件117可以指能够提供照明118的适当设备。由光元件117产生的照明118的特性可具有任何适当的值。照明118的一些特性包括强度、波长、频率、偏振、相位、自旋角动量和与光元件117所产生的照明118相关的其它特性。在实施方式中，照明118是非相关光。光元件117的一个或多个部件可随着时间而改变。例如，在LCD的情况下，不同的像素可在不同的时间照明以改变光元件117的位置。

在具有以发光部件（例如，像素）的二维阵列的形式的照明显示器116的实施方式中，在特定的扫描时间t的光元件117可以是在二维阵列（例如，LCD阵列）中的一组适当数量（例如，1、5、10、100等）的被照亮的发光部件（例如，LCD光线/像素）。每个发光部件可具有被表示为（x_i,y_j）的扫描位置，其中i=1...N且j=1...N。光元件117可以是在扫描周期中的扫描时间在阵列中的被照亮的像素。在这种情况下，光元件117的扫描位置可以指这组被照亮的发光元件的中心的坐标。在这些实施方式中，在照明显示器116上的顺序地照亮的发光部件组可在扫描周期期间在不同的扫描位置处产生发光元件117。

发光元件117的特性（例如，尺寸、照明118的特性、形状等）可具有任何适当的值。在实施方式中，光元件117的一个或多个特性可在扫描周期中在不同的扫描位置处改变。在其它实施方式中，光元件117的特性在扫描周期期间可以是不变的。光元件117的适当形状的一些例子是矩形、圆形、斑点、条纹等。在具有以发光部件的二维阵列的形式的照明显示器116的实施方式中，可通过改变在形成光元件117的这组发光部件（例如，像素）中的发光部件的数量来改变光元件117的特性。例如，可通过改变发光部件（例如，像素）的数量来改变由光元件117产生的照明118的强度。在实施方式中，由光元件117产生的照明118的一个或多个特性可在不同的扫描位置处改变。

在实施方式中，可通过改变光元件117的尺寸来控制由光元件117产生的照明118的强度。在一个实施方式中，光元件117的尺寸可在不同的扫描位置处改变以在感测表面162的平面处的单个点处产生大约在相同的强度的光。在这个实施方式中，在扫描位置处的光元件117的尺寸S可与从扫描位置到适当的位置例如a）扫描位置的阵列的中心或b）照明显示器116的中心例如在智能电话上的LCD的中心的距离L成比例。例如，在扫描位置处的光元件117的尺寸S可被定义为：S=S_中心x(1+L)，其中S_{中 心}是在扫描位置的阵列的中心处的光元件117的尺寸。以这种方式，在与显示表面119上的扫描位置的中心正交的感测表面162处的位置处接收的光强度在一些情况下可保持大约不变。作为另一例子，在扫描周期中在扫描位置处的光元件117的尺寸S可被定义为：S=S_A x(1+A)，其中S_A是在照明设备116的部位A处的光元件117的尺寸，A是从扫描位置到部位A的距离。

在一个实施方式中，光元件117可在扫描周期期间的不同的扫描时间提供n个不同的波长λ₁…λ_n的照明118。在一些例子中，当光元件117在扫描周期中在扫描位置中移动时，照明118可以顺序地循环过一系列不同的波长。在一个例子中，光元件117可提供分别相应于红色、绿色和蓝色的三个波长λ₁、λ₂和λ₃的RGB照明。光元件117可在扫描周期的扫描时间期间提供三个波长λ₁、λ₂和λ₃的照明118。在一种情况下，在扫描时间t₁，照明118可具有λ₁的波长，在t₂，照明118可具有λ₂的波长，在t₃，照明118可具有λ₃的波长，在t₄，照明118可具有λ₁的波长，在t₅，照明118可具有λ₂的波长，等等。

扫描位置可以指光元件117的中心。可在扫描周期中使用任何适当数量（例如，1、100、1000等）的扫描位置。作为一个组，在扫描周期中的扫描位置可覆盖任何适当的区域。在具有显示表面119的实施方式中，扫描位置可覆盖整个显示表面119或可覆盖显示表面119的一部分。

为了移动在感测表面162处的试样152的投影170，扫描照明源110可将光元件117平移到不同的扫描位置，产生不同的扫描角度。在一些实施方式中，为了产生在感测表面162处的试样152的一系列亚像素移动投影170，扫描照明源110可将光元件117移动到设计成产生亚像素移动投影170的多个扫描位置。在这种情况下，在多个扫描位置中的相邻扫描位置相应于在该系列投影图像中的相邻投影图像170的亚像素位移。相邻扫描位置可以指在距离上接近的两个扫描位置。在一些情况下，相邻扫描位置也可以是在具有在扫描周期期间的连续扫描时间的时间上是连续的位置。

扫描位置可形成任何适当的布置（例如，阵列、圆形、正方形、三角形等）。在实施方式中，扫描位置可以是扫描位置的阵列（例如，一维阵列、二维阵列或一维和二维阵列的组合）的形式。在这些实施方式中，扫描位置的阵列可具有任何适当的维度（例如，1x100、1x10、100x100、3000x20、400x300等）。例如，扫描位置可布置在（x_i=1到n,y_j=1到m）处的nxm个扫描位置的二维（nxm）阵列中。

在具有以发光部件（例如，像素）的二维阵列的形式的照明设备116（例如，LCD显示器）的实施方式中，光元件117的扫描位置可以指在二维阵列中的被连续照亮的发光元件。在这些实施方式中，光元件117的扫描位置可位于显示表面119处。例如，扫描位置可以是显示表面119上的（x_i=1到n,y_j=1到m）处的nxm个扫描位置的二维（nxm）阵列的形式。

在实施方式中，扫描照明源110根据扫描图案在扫描周期期间扫描光元件117。扫描图案可以指在扫描周期期间的不同时间的扫描位置（即，光元件117的位置）和在扫描周期中在每个扫描位置处的光元件117的特性（例如，尺寸、形状等）的描述。例如，扫描图案可包括扫描位置的二维阵列和光元件117以不变的速率顺序地穿过每行移动的描述。在另一例子中，扫描图案可包括扫描位置的二维阵列和元件以不变的速率顺序地穿过每列移动的描述。作为另一例子，扫描图案可包括扫描位置的二维阵列和元件随机地穿过阵列移动的描述。扫描图案还可包括在随后的LR图像之间的期望亚像素位移的量。扫描图案还可包括期望的LR投影图像和/或HR图像的总数量。扫描图案可被存储为在第一CRM114或第二CRM220上的代码。在具有以例如图4中的智能电话的形式的扫描照明源110的实施方式中，扫描图案可以是存储在智能电话的存储器中的应用（App）。

在实施方式例如图1的所示例子中，SPLM设备100还包括位于试样表面140和感测表面162之间的透明层165。透明层165可分离试样150与光探测器160的光敏感区。透明层165可由任何适当的材料例如聚二甲硅氧烷（PDMS）制成。透明层165可具有任何适当的厚度（例如，在几百纳米到微米的范围内的厚度）。在一些情况下，透明层165可以是放置在光探测器160上的层。例如，透明层165可以是涂覆或沉积在成像传感器芯片的顶部上的钝化层。在其它情况下，透明层165可与光探测器160分离。在其它实施方式中，SPLM设备100没有透明层165，且感测表面162与试样表面140重合。透明也可由多个层组成。例如，透明层可由邻接光探测器160的钝化层和保护涂层组成。在相邻投影170之间的距离与透明层165的厚度和光元件117的倾斜/位移幅度成比例。光元件117的倾斜/位移幅度可以指相邻扫描位置之间的距离或照明角度变化。在一些实施方式中，在扫描周期的多个扫描位置中的相邻扫描位置之间的距离可设计成产生亚像素移动投影170。在这些情况下，可基于透明层165的厚度和相邻投影170之间的所需递增的亚像素位移来确定在相邻扫描位置之间的距离。

在实施方式中，可确定在多个扫描位置中的相邻扫描位置之间的距离以产生在一系列投影图像中的相邻投影170之间的亚像素位移。在这些实施方式中，在多个扫描位置中的相邻扫描位置之间的所确定的距离直接相应于在感测表面162处的投影170的亚像素位移。在这些实施方式中，多个扫描位置直接相应于一系列亚像素移动投影图像。

在实施方式中，在相邻扫描位置之间的距离可以是适当的值。在一些情况下，在给定扫描周期中的相邻扫描位置之间的距离可以是不变的。在其它情况下，它可改变。

扫描率可以指在每单位时间扫描周期中在连续的扫描位置之间移动的速率。采样率可以指每单位时间由光探测器160捕获的投影图像（帧）的速率例如每秒帧。采样/扫描率在一些实施方式中可以是不变的而在其它实施方式中可以改变。在实施方式中，扫描率和采样率是同步的。

图4（a）和图4（b）是示出根据本发明的实施方式的在照明设备116上的扫描图案的图。在本例中，扫描照明源110是以智能电话的形式，而照明显示器116是以智能电话的LCD屏幕的形式。LCD屏幕包括640x640像素尺寸的像素的二维阵列。在扫描期间，智能电话可位于在光探测器160（例如，图像传感器芯片）之上的适当的距离d处。照明显示器116的显示表面119和光探测器160的感测表面162可保持大约平行。智能电话可被定位成使得照明显示器116的显示表面119的中心在光探测器160的感测表面162的感测区域164之上。照明显示器116包括x轴和y轴。x轴和y轴位于照明显示器116的显示表面119处的平面中。

图4（a）示出在照明显示器116上的光元件117，其包括以直径大约1cm的亮圆斑点的形式的一组大约640个像素。光元件117在扫描周期期间的扫描时间被示为在扫描位置处。光元件117可位于照明显示器116的显示表面119处。

在图4（b）中，扫描图案的图包括在扫描期间光元件117的扫描位置（步长）的15x15阵列。扫描位置被示为在沿着照明显示器116的显示表面119的平面中的x轴和y轴的位置处。在所示例子中，扫描图案包括在x方向上的15个扫描位置和在y方向上的15个扫描位置。在本例中，光探测器160可基于扫描图案中的225个扫描位置来捕获225个LR投影图像。扫描位置的阵列可在照明显示器116内居中。图4（b）中的箭头指定在扫描周期期间扫描位置的顺序。在这种情况下，光元件117顺序地穿过在扫描图案中的扫描位置的二维阵列的每行移动。如果光元件117在远离显示表面119的中心移动时保持不变的尺寸，由于大的入射角，从光探测器160（例如，图像传感器芯片）读出的强度将减小。为了维持更恒定的强度读出，在一个实施方式中，当光元件117远离照明显示器116（例如，智能电话屏幕）的中心移动时，光元件117的尺寸（例如，亮斑尺寸）可线性地增加。

返回到图1，扫描照明源110包括与照明显示器116进行电子通信的第一处理器112和与第一处理器112进行电子通信的第一CRM114。第一处理器112（例如，微处理器）可执行存储在第一CRM114（例如，存储器）上的代码以执行扫描照明源110的一些功能。例如，第一处理器112可执行具有存储在第一CRM114上的扫描图案的代码。CRM114可包括例如具有扫描图案的代码、用于扫描光元件117的其它代码、以及用于扫描照明源110的其它功能的其它代码。第一CRM114还可包括用于执行可由本领域中的普通技术人员创建的信号处理或其它软件相关的功能中的任一个的代码。代码可以是用任何适当的编程语言，包括C、C++、Pascal等。

在实施方式中，光探测器160可与扫描照明源110的第一处理器112进行电子通信以使光探测器160的采样与位于扫描位置处的光元件117同步。在这些实施方式中，光探测器160的采样率可与扫描照明源110的扫描率同步以捕获在每个扫描位置处的至少一个投影图像170。在一个实施方式中，电子开始采样信号可从扫描照明源110发送到光探测器160以当光元件117在扫描位置时捕获LR投影图像。

SPLM设备100还包括光探测器160（例如，CMOS成像传感器）。如本文所使用的，光探测器160可以指能够捕获投影图像170并产生具有与所捕获的投影图像160相关的数据和与成像相关的其它数据的一个或多个信号的任何适当的设备或设备的组合。具有数据的信号可以是来自光电效应的电流的形式。

光探测器160包括感测表面162。如本文使用的，感测表面162可以指光探测器160的活性感测层。感测表面162包括感测区域164。感测区域164指在扫描周期期间主动捕获投影170的感测表面162的适当区域。在一些情况下，感测表面162的整个区域是感测区域164。在实施方式中，正被成像的试样150可位于接近感测区域162的试样表面140的区域中。光探测器160还包括在感测表面162的平面处的局部x’轴和y’轴。

在实施方式中，光探测器160包括以光探测元件166的二维阵列的形式的分立光探测元件166（例如，像素），如图2和3所示。光探测元件166可位于感测表面162处的光探测器160的表面层上或内。虽然如图2和3所示，光探测元件166的二维阵列被定向成使得x’轴平行于照明设备116的x轴，在其它实施方式中二维阵列可定向为成任何适当的角度。

可使用任何适当的光探测器160。具有光探测元件166的二维阵列的适当光探测器160的一些例子包括电荷耦合器件（CCD）阵列、CMOS成像传感器阵列、雪崩光电二极管（APD）阵列、光电二极管（PD）阵列和光电倍增管（PMT）阵列。这些光探测器160和其它器件是在市场上可买到的。此外，光探测器160可以是单色探测器或彩色探测器（例如，RGB探测器）。

光探测元件166可具有任何适当的尺寸（例如，1-10微米）和任何适当的形状（例如，圆形、矩形、正方形等）。例如，CMOS或CCD光探测元件166可以是1-10微米，且APD或PMT光探测元件166可以大至1-4mm。

由于穿过正被成像的试样150的光118的散射角，如果试样150定位成远离光探测器160的感测表面162，投影图像质量可能降低。在实施方式中，光探测器160没有滤色器和微透镜层，以便减小每个光探测元件的接受角以及物体152和感测表面120（即，活性感测层）之间的距离。如果光探测器160（例如，CMOS成像传感器芯片）被预先制造有滤色器和微透镜层，这些部件可被移除以减小每个像素的接受角以及物体152和表面层之间的距离。

在实施方式中，可在制造期间将透明层165放置在光探测器160上。半导体和/或微米/纳米制造程序可用于将透明层165放置在光探测器160上。在一些情况下，在滤色器和微透镜层被移除之后，透明层165可放置在光探测器160上。在一种情况下，可通过在氧等离子体下处理预先制造的成像传感器一段时间（例如，在80W下10分钟）来移除滤色器和微透镜。透明层165可在滤色器和微透镜层的移除之后放置在成像传感器上，或可放置在具有该层的光探测器上。在一种情况下，透明层165可通过以1:10混合碱基与固化剂来被制备，然后被旋涂在3英寸的硅晶片上，后面是在80摄氏度下烘焙。

光数据可以指与光探测器160的光探测元件166所捕获的一个或多个投影170有关的任何适当的信息。例如，光数据可包括关于所接收的投影光的特性的信息，例如光的强度、光的波长、光的一个或多个频率、光的偏振、光的相位、光的自旋角动量和/或与光探测元件166所接收的光相关的其它光特性。光数据还可包括接收光探测元件166的位置、光被接收的时间（采样时间或扫描时间）、或与所接收的投影170有关的其它信息。在实施方式中，每个光探测元件166可基于与投影170相关的并被光探测元件166接收的光来产生具有光数据的信号。

LR投影图像（帧）可以指在扫描周期期间出现的采样时间由光探测器160采样（捕获）的快照图像。在实施方式中，光探测器160在每个扫描时间捕获LR投影图像。由光探测器160采样的每个LR投影图像可用于显示2D LR投影图像。在具有彩色光探测器160的实施方式中，LR投影图像可以是彩色图像。在具有单色光探测器160的实施方式中，LR投影图像可以是黑白图像。

每个系列的亚像素移动LR投影图像可以指在n个采样时间采样的n个LR投影图像，其中在时间上相邻的投影图像分隔开小于一个像素尺寸（即，亚像素位移）。在扫描周期期间，可在n个连续的采样时间（t₁...t_n）捕获n个LR投影图像（I₁...I_n）。可在扫描周期期间捕获任何适当数量n（例如，1、3、5、10、100等）的LR投影图像。此外，可在扫描周期期间由光探测器160捕获任何适当数量（例如，1、3、5、10、100等）的系列的亚像素移动LR投影图像。如果多个系列被捕获，则这些系列可包括不同组的LR投影图像，或这些系列可与共享的一个或多个LR投影图像重叠。在一个例子中，可在9个连续的采样时间（t₁、t₂、t₃、t₄、t₅、t₆、t₇、t₈、t₉）捕获9个LR图像（I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈、I₉）。在上述例子的重叠情况中，系列可以是：1）I₁、I₂、I₆和I₈以及2）I₆、I₇、I₈和I₉。在非重叠的情况中，系列可以是：1）I₁、I₂、I₃和I₄以及2）I₅、I₆、I₇和I₈。在其它例子中，一系列亚像素移动LR投影图像可基于不连续的采样时间。例如，可在9个连续的采样时间（t₁、t₂、t₃、t₄、t₅、t₆、t₇、t₈、t₉）捕获9个LR图像（I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈、I₉），且该系列投影图像可以是（I₆、I₂、I₉和I₁）。

在实施方式中，光探测器160可在扫描周期期间的每个扫描时间捕获LR投影图像。例如，光探测器160可捕获与在图4（b）所示的扫描图案中的每个扫描位置相关的LR投影图像。在本例中，当光元件117顺序地穿过在扫描图案中的扫描位置的二维阵列的每行移动时，光探测器160可在每个扫描时间捕获LR投影图像。如果在每行中的扫描位置与亚像素移动投影170相关，则光探测器160可在扫描周期期间捕获15个系列的亚像素移动投影图像。在这种情况下，每个系列与扫描图案中的一行扫描位置相关。

运动矢量可以指在一系列LR投影图像中的投影图像的平移运动，其被共同称为该系列LR投影图像的运动矢量。运动矢量基于在平面处的投影图像移动的量。可从光探测器160所捕获的相关投影图像计算一系列亚像素移动LR投影图像的运动矢量。可以在任何感兴趣的平面计算所述运动矢量。例如，可在感测表面162处的平面处确定运动矢量。在本例中，按照在光探测器160的感测表面162处的局部运动矢量x’轴和y’轴确定运动矢量。作为另一例子，可在穿过正被检查的物体152的其它平面处计算运动矢量。穿过物体152的平面在一些情况下可平行于感测表面162的平面。

在实施方式中，可基于与一系列亚像素移动LR投影图像相关的数据和该系列中的亚像素移动LR投影的运算矢量使用适当的超分辨率（SR）算法来构建试样150的HR图像。SPLM系统10的实施方式可得到的图像分辨率的例子可以是大约0.66微米。

SR算法可以指从一系列亚像素移动LR投影图像构建HR图像（例如，亚像素分辨率图像）的图像处理技术。任何适当的SR算法可由SPLM系统10的实施方式使用。适当的SR算法的例子是移动和相加像素SR算法。适当的SR算法的一些例子可在Lange,D.、Storment,C.W,、Conley,C.A.和Kovacs,G.T.A.的“A microfluidic shadow imaging system for the study ofthe nematode Caenorhabditis elegans in space”（Sensors and Actuators BChemical,Vol.107,pp.904-914(2005)）（“Lange”）、Wei,L.、Knoll,T.和Thielecke,H.的“On-chip integrated lensless microscopy module for opticalmonitoring of adherent growing mammalian cells”（Engineering in Medicineand Biology Society(EMBC),2010Annual International Conference of theIEEE,pp.1012-1015(2010)）（“Wei”）、Milanfar,P.的“Super-ResolutionImaging”（CRC Press,2010）（“Milanfar”）、以及Hardie,R.、Barnard,K.和Armstrong,E.的“Joint MAP registration and high-resolution imageestimation using a sequence of undersampled images”（IEEE Transactions onImage Processing6,pp.1621-1633(1997)）（“Hardie”）中找到，这些文献为了所有的目的特此通过引用被全部并入。适当的超级算法的例子是在第II节中描述的通用像素超分辨率模型和解。

图1的SPLM系统10还包括通信地耦合到光探测器160的主机计算机200。主机计算机200包括第二处理器210（微处理器）、第二CRM220和图像显示器230。图像显示器230和第二CRM220通信地耦合到第二处理器210。可选地，主机计算机200可以是与SPLM系统10分离的设备。主机计算机200可以是任何适当的计算设备（例如，智能电话、膝上型计算、平板电脑等）。

第二处理器230执行存储在第二CRM220上的代码以执行SPLM10的一些功能，例如：解释来自在来自光探测器160的一个或多个信号中捕获和传递的一个或多个系列的亚像素移动LR投影图像的数据，确定一系列亚像素移动LR投影图像的运动矢量，从与一系列亚像素移动LR投影图像相关的数据构建2D HR图像，从一系列亚像素移动LR投影图像相关的数据构建3D HR图像，在图像显示器230上显示一个或多个HR图像，等等。

第二处理器210可从光探测器160接收具有光数据和其它数据的一个或多个信号。例如，处理器210可接收具有光数据的一个或多个信号，光数据与在相应系列的n个扫描时间（t₁,t₂,t₃,...t_n）处采样的一个或多个系列的亚像素移动LR投影图像相关。第二处理器210也可基于该系列亚像素移动LR投影图像确定运动矢量。第二处理器210也可基于所确定的运动矢量和与至少一个系列的亚像素移动LR投影图像相关的数据来构建HR图像和相关图像数据。在一些情况下，所构建的物体150的HR图像是黑白2D/3D图像。在其它情况下，所构建的物体150的HR图像是彩色2D/3D图像。

在一个实施方式中，可通过在不同的采样时间使用照明118的不同波长在光探测器160处产生多个系列的亚像素移动LR投影图像来产生HR彩色图像。每个系列与不同的波长相关。第二处理器210可基于与不同的波长相关的不同系列产生HR彩色图像和相关图像数据。例如，光的三个波长（例如，与红色、绿色、蓝色（RGB）相关的波长）可由光元件117顺序地产生以产生与光的三个波长相关的三个系列的亚像素移动投影图像。处理器210可组合来自与不同的波长相关的系列的图像数据以产生多波长或彩色图像数据（例如，RGB彩色图像数据）。多波长或彩色HR图像数据可用于在图像显示器230上产生多波长或彩色HR图像。

第二CRM（例如，存储器）220可存储用于执行SPLM系统10的一些功能的代码。代码可由第二处理器210执行。例如，实施方式的第二CRM220可包括：a）使用SR算法的代码，b）使用断层摄影算法的代码，c）用于解释在来自光探测器160的一个或多个信号中接收的光数据的代码，d）用于产生3D HR图像的代码，e）用于构建彩色亚像素图像的代码，f）用于显示SR二维和/或三维图像的代码，g）和/或用于执行SPLM系统10的功能的任何其它适当的代码。第二CRM220还可包括用于执行可由本领域中的普通技术人员创建的信号处理或其它软件相关的功能中的任一个的代码。代码可以用任何适当的编程语言，包括C、C++、Pascal等。

SPLM系统10还包括通信地耦合到处理器210的图像显示器230，以接收数据并向SPLM系统10的用户提供输出例如HR图像。可使用任何适当的显示器。例如，图像显示器230可以是彩色显示器或黑白显示器。此外，图像显示器230可以是二维显示器或三维显示器。在一个实施方式中，图像显示器230可能能够显示物体150的多个视图。

可对SPLM系统10或SPLM设备100进行修改、添加或省略，而不偏离本公开的范围。此外，可根据特定的需要来合并或分离SPLM10或SPLM设备100的部件。例如，在一些实施方式中，第二处理器210可合并到光探测器160中，使得光探测器160执行第二处理器160的一个或多个功能。作为另一例子，第二处理器160、第二CRM220和图像显示器230可以是与SPLM系统10分离并与SPLM系统10通信的计算机的部件。作为另一例子，第二处理器160、第二CRM220和/或图像显示器230可合并到SPLM设备100的部分中。例如，图像显示器230可以是照明显示器116的部分，第一处理器112和第二处理器210可合并成单个处理器，和/或第二CRM114和CRM220可合并成单个CRM。

II.由SPLM和e-Petri使用的成像方法

A.原理和分辨率

尼奎斯特标准考虑事项规定来自图像传感器（例如，CMOS图像传感器）的原始投影（阴影）图像分辨率可能不比像素尺寸的两倍更好。实施方式的SPLM系统和e-Petri系统使用在时域中的高采样率来使在投影图像的空间域中采样的亚尼奎斯特速率偏移，组合在超分辨率成像中完成的工作与高级传感器（例如CMOS）技术以产生具有明显的分辨率增强的低成本HR显微镜设备。

实施方式的SPLM系统和e-Petri系统包括在光探测器160和正被成像的物体152之间的薄透明层165。透明层165分离物体152（例如，细胞）与光探测器160（例如，传感器芯片）的实际光敏感区。在扫描期间，扫描照明源110将光元件117移动/扫描到不同的位置以从试样150之上的不同的照明角度提供照明118（例如，非相干光）。光探测器160获取一个或多个系列的LR投影图像。由于照明118的移动，投影图像越过光探测元件166（例如，传感器像素）移动，如图3所示。阴影位移的量与透明层165的厚度和光元件117的倾斜/位移幅度成比例。只要在每个系列的LR投影图像中的每个原始投影图像之间的位移小于光探测元件的物理尺寸（例如，像素尺寸），来自多个亚像素移动LR阴影图像的信息就可用于使用适当的超分辨率算法创建单个HR（亚像素分辨率）图像。

在以前的超分辨率微扫描系统中，试样被安装到镜台，且镜台以亚像素增量被扫描。在这个以前的方法中，需要以精确的亚像素步进来准确地控制镜台的位置。一般，控制器和执行器用于控制镜台的所需精确位置。高精度意味着设置的高成本，且这些系统需要对齐。

在以前的超分辨率光流控系统中，光流控学被并入以用高吞吐量方式从LR投影图像产生HR图像。在这个系统中，光流控样本输送方案用于捕获在CMOS成像传感器（像素）阵列上平移的样本的一系列图像。系统使用超分辨率处理技术来从该系列LR投影图像实现HR图像，如在为了所有的目的特此通过引用被全部并入的美国专利申请号13/069,651中描述的和在Zheng中描述的。该方法依赖于当物体越过光探测器（例如，CMOS成像传感器阵列）流经流体通道时捕获物体（例如，细胞）的一系列LR投影图像。然而，在这个系统中成像需要试样越过扫描区域的流控（例如，微流控）流动。只不过，附着的、融合性的或邻接布置的试样与流控模式的成像不相容。例如，为了使物体越过流体通道流动，物体不能附到图像像素的表面（即，在物体和图像像素之间有距离）。这样的距离导致物体的模糊图像。此外，视场可能被流体通道的几何结构限制。

SPLM和e-Petri系统和设备使用扫描照明源110来在试样150之上扫描光元件117。在这个方法中，可能不需要精确对齐。扫描照明源110位于比物体152离感测表面162大得多的距离处。因此，光元件117的位移相应于在感测表面162上的投影170的较小位移。扫描照明源110可直接以在扫描照明源110处的光元件117的更可控的较大位移来控制在感测表面162处的投影的亚像素位移。以这种方式，扫描照明源110可以比以前的系统例如微扫描系统、光流控系统等容易和准确地将投影位移保持在亚像素值处。而且，在不需要机械扫描或微流控流动的情况下，扫描的速度可快得多。扫描照明源110能以高达kHz区的范围的速度扫描光。这比现有的机械微扫描方案高两个数量级。此外，SPLM设备100的成本可能低得多，因为它使用扫描照明源110例如LED屏幕或LED矩阵。

图5（a）是根据本发明的实施方式的由SPLM系统10或e-Petri系统的光探测器160在单个采样时间捕获的投影图像。在本例中，正被成像的试样150包括一组3μm的微球体。图5（b）是根据本发明的实施方式的由SPLM系统10或e-Petri系统重建的HR图像。该系统基于来自包括图5（a）所示的LR投影图像的一系列亚像素移动LR投影图像的数据来重建HR图像。

图6（a）是根据本发明的实施方式的在单个采样时间由SPLM系统10的光探测器160捕获的HeLa细胞试样的一部分的LR投影图像。图6（b）是根据本发明的实施方式的由SPLM系统10或e-Petri系统重建的HR图像。SPLM系统10或e-Petri系统基于来自包括图6（a）所示的LR投影图像的一系列225个亚像素移动LR投影图像的数据来重建HR图像。

图7（a）是根据本发明的实施方式的由SPLM系统10或e-Petri系统构建的融合性Hela细胞试样150的大视场彩色HR图像。用姬姆萨染料给试样150染色。在重建期间，在LR投影图像水平（2.2μm）处的每个像素被增强成在重建的HR图像中的13*13像素块。彩色HR图像包含大约8.45x10⁸个像素。感测区域164（图像区域）是6mmx4mm。使用每个彩色照明118的扫描位置的15x15阵列。根据本发明的实施方式，图7（b1）是来自图7（a）的小区域的LR投影图像，而图7（c1）是来自图7（b1）的小区域的LR投影图像，这些LR投影图像由SPLM系统10或e-Petri系统的光探测器160捕获。根据本发明的实施方式，图7（b2）是来自图7（a）的同一小区域的重建的HR图像，而图7（c2）是来自图7（b2）的小区域的重建的HR图像，这些重建的HR图像由SPLM系统10或e-Petri系统构建。图7（d）是使用具有40X、NA=0.66的物镜的显微镜的类似细胞的常规显微图像。从在图7（b2）和图7（c2）中的重建的HR图像中，可辨别在HeLa细胞内的细胞器，例如多核细胞器（由红箭头指示）和细胞核。重建的HR图像也紧密地相应于从类似的细胞获取的常规显微图像。

图8（a）是根据本发明的实施方式的由SPLM系统10或e-Petri系统构建的具有500nm微球体（Polysciences）的试样150的HR图像。用于构建HR图像的成像过程与用于构建图7中的HR图像的成像过程相同。对于单个500nm微球体，微球体的发亮中心如图8（a）所示的被清楚地分辨，半最大值全宽度（FWHM）为690nm。图8（b）是根据本发明的实施方式的如SPLM系统10构建的图7的染色HeLa细胞试样150的放大的小特征的HR图像。

因为在一些情况下可基于给定显微镜分辨两个紧密间隔开的特征点的能力来定义显微镜分辨率，两个紧密间隔开的微球体的情况可被分析以建立实施方式的SPLM系统10或e-Petri系统的分辨率。图8（a）示出具有660nm的中心间距离的两个密集的500nm微球体的重建的图像。在图8（a）中的数据追踪显示在两个峰值之间的谷，并因此在一些实施方式中确认分辨率可以是660nm或更好。为了进一步验证这点，图8（b）示出图7的染色HeLa细胞试样的放大的小特征，且该特征的FWHM被估计为大约710nm。

B.概念

在实施方式例如图1所示的例子中，试样150放置在试样表面140上，试样表面140稍微在感测表面162的活性感测区域164之上。扫描照明设备110（例如，移动通信设备）的照明显示器116（例如，单色或彩色LCD）位于离感测表面162的一段距离d（例如，大约5-10mm）处。照明显示器117的光元件117（例如，一个或多个发光元件（例如，像素））提供照明118（例如，非相干光）。照明118在光探测器162上产生投影170（阴影）。光探测器160可捕获LR投影图像。给出光探测元件166（如图2所示）的尺寸限制（例如，像素尺寸限制），可最好地实现这个LR投影图像，但是“低分辨率”，因为试样150的特征尺寸可以比光探测元件166的尺寸（例如，像素尺寸）小得多。

在实施方式中，为了提高分辨率，捕获一系列亚像素移动LR投影图像，照明显示器116（例如，LCD）上的发光元件（例如，像素）为所述图像提供照明118。这些LR投影图像中的每个是试样150的亚像素移动投影图像。该系列亚像素移动LR投影图像可基于在扫描周期期间光元件117的扫描位置。对于已知的亚像素移位，这些亚像素移动LR投影图像可用于使用像素超分辨率技术创建HR（例如，亚像素分辨率）2D图像。该HR图像可进一步使用像素的点扩展函数和光学系统被去卷积以恢复试样的聚焦图像。SPLM系统10或e-Petri系统结合像素超分辨率图像处理技术进行光元件117的可能的精确扫描。

此外，这个成像概念可扩展而超出二维。使用光的不同入射角来产生多次投影的计算机断层摄影术可用于创建物体的三维重建。使用断层摄影术来产生3D图像的例子可在Miao、J.R.R.Qin、Tourovskaia、Anna、Meyer、Michael G.、Neumann、Thomas、Nelson、Alan C和Seibel,Eric J.的“Dual-modal three-dimensional imaging of single cells with isometric highresolution using an optical projection tomography microscope”（J.Biomed,Opt,Vol.14,064034(2009年12月21日)）中找到，该文献为了所有的目的特此通过引用被全部并入。在我们的方案中，在整个照明显示器119（例如，LCD）上移动光元件117（例如，像素组）可提供3D成像所必需的不同的入射光角度。

C.操作原理

在一个操作中，试样150稍微放置在光探测器160（例如，CMOS成像传感器阵列）的感测表面162（例如，外表面）之上（例如，在几百纳米到微米的范围内）。照明显示器（例如，LCD）上的单独的光探测元件166或小组的光探测元件166（例如，像素）被连续地照亮以照亮离开一段距离（例如，5mm-10mm）的试样150，允许光探测器160记录一个或多个系列的亚像素移动LR投影图像，其是“像素化的（pixilated）”。可使用超分辨率技术来处理一个或多个系列的亚像素移动LR投影图像以组合很多LR投影图像来创建较小系列的HR图像。超分辨率技术的例子可在Richard,L.M.、Shultz,R.、Stevenson、Robert L.的“Subpixel motion estimationfor superresolution image sequence enhancement”（Journal of VisualCommunication and Image Representation(1998)）中找到，该文献为了所有目的特此通过引用全部并入本文。

超分辨率或超分辨率技术指用于成像处理的很多有希望的新技术的通用名，成像处理可涉及从一系列较低分辨率图像创建单个HR图像。一些超分辨率技术可在Park、Sung Cheol、Park和Min Kyu、Kang、Moon Gi的“Super-resolution image reconstruction:a technical overview”（IEEE SignalProcessing Magazine,pp.21-36(2003年5月)(“Park”）中找到，该文献为了所有的目的特此通过引用全部并入本文。一般原理涉及获取一系列LR投影图像，其中目标以低于尼奎斯特速率的速率被采样，但对此，随后的帧涉及轻微的亚像素平移位移。该原理可在Russell,K.J.B.、Hardie,C、Bognar,John G.、Armstrong和Ernest E.、Watson,Edward A.的“Highresolution image reconstruction from a sequence of rotated and translatedframes and its application to an infrared imaging system”（Optical Engineering(1997)）中找到，该文献为了所有的目的特此通过引用全部并入本文。如果这个平移位移是已知的，则矩阵方程的系统可从低分辨率系列建立以求出亚像素值来创建单个HR图像。通常，原始HR图像可在理论上甚至从明显毁损的、模糊的、平移的和旋转的低分辨率图像系列恢复；分辨率仅由衍射限制和噪声限制，如在Park中描述的。

D.操作的示例性方法的流程图

图9是根据本发明的实施方式的SPLM设备100或e-Petri设备的示例性操作的流程图。SPLM设备100和e-Petri设备包括用于移动或以另外方式定位光元件117以从对正被成像的整个物体152的不同照明角度提供照明的扫描照明源110。尽管本节描述了对物体152的成像，但是，本方法可以被用于对具有任何适合数量的物体152的样本150成像。SPLM设备100和e-Petri设备还包括试样表面140、具有感测表面162的光探测器160、在感测表面162和试样表面140之间的薄透明层165、以及处理器（第一处理器112和/或第二处理器210）。扫描照明源110位于离感测表面162一段距离d处。该示例性操作包括具有单个扫描周期的成像过程。其它实施方式可以有具有多个扫描周期的成像过程。

在步骤310中，物体152放置在SPLM100或e-Petri设备的试样表面140上。物体152可定位成接近光探测器160的活性层处的感测表面162的感测区域164。

在步骤320中，处理器确定扫描图案。扫描图案的例子在图4（a）和4（b）中示出。扫描图案可包括在扫描周期期间的不同时间的扫描位置和在不同的扫描位置处的光元件117的特性（（例如，所使用的光的波长、光元件的尺寸和形状、光元件的强度）、在相继的LR投影图像之间的期望亚像素位移的量、在扫描中和/或该系列LR投影图像中的期望LR投影图像的总数量、在成像过程中的期望HR图像的总数量、以及与SPLM系统10或e-Petri系统的操作有关的其它适当的信息。处理器可从CRM（第一CRM114或第二CRM220）取回预定的扫描图案，或处理器可基于来自SPLM系统10或e-Petri系统的用户的输入确定扫描图案。例如，用户可提供信息例如光元件的特性、在相继的LR投影图像之间的期望亚像素位移的量、期望HR图像的总数量和其它适当的输入。

可确定在扫描图案中的扫描位置以产生在感测表面162处的一系列亚像素移动投影。投影170的位移与透明层165的厚度和倾斜/位移幅度（即，相邻扫描位置之间的距离或照明角度变化）成比例。可基于透明层165的厚度和所需的亚像素位移值来确定将导致投影170的亚像素位移的在相邻扫描位置之间的光元件170的平移的量。在扫描图案中的扫描位置可基于相邻扫描位置之间的光元件170的平移的量。

在步骤330中，扫描照明源110根据扫描图案扫描或以另外方式定位光元件117并修改光元件117的特性。在一个实施方式中，扫描照明源110（例如，智能电话）具有以LCD的形式的照明显示器116。在本例中，扫描图案可包括扫描位置的二维阵列和与扫描位置相关的扫描时间。在扫描期间，光元件117可以是LCD中的一组发光部件（例如，像素），其顺序地被照亮以穿过扫描位置的二维阵列的每行/列移动光元件117。光元件117的特性可在不同的位置变化。例如，光元件117的尺寸（发光部件的数量）可改变以大致维持在感测表面162处的位置处的相同强度水平。

在一个实施方式中，光元件117可在扫描周期期间的不同时间提供n个不同波长λ₁...λ_n的照明118以得到每个波长的一系列投影图像。可使用任何适当数量的波长（例如，n=1、2、3、4、5...20）。在一个实施方式中，光元件117可在不同的采样时间提供相应于红色、绿色、蓝色的三个波长的λ₁、λ₂和λ₃的照明118。在一些情况下，从一个扫描位置到相邻的扫描位置的照明118可具有不同的波长。在其它情况下，照明118可在第一系列扫描位置期间具有第一波长，并接着在第二系列扫描位置期间提供第二波长的照明118，依此类推，直到相应于n个不同波长的n个系列的投影图像被捕获。

在步骤340中，当光元件117平移到不同的扫描位置时，光探测器160捕获物体152的一个或多个系列的亚像素移动LR图像。光探测器160捕获对每个扫描位置的LR投影图像。任何适当数量的图像（例如，3、5、10、50、100等）可以在每个系列中。在一个例子中，扫描位置可以是扫描位置的二维阵列的形式，其中扫描位置的每行/列可产生一行亚像素移动投影170。在这个例子中，当光元件117越过扫描位置的二维阵列中的每行/列移动时，一系列亚像素LR图像可被捕获。

在步骤350中，处理器使用适当的方法来确定在感测表面162处的投影170的运动矢量。在一些情况下，处理器也可确定在穿过物体152的其它平行平面处的投影170的运动矢量。可使用确定运动矢量的任何适当的方法。在一个例子中，可基于相邻扫描位置之间的距离和透明层165的厚度来确定在感测表面162处的投影的运动矢量。在另一例子中，可基于相邻扫描位置之间的距离和透明层165的厚度以及在平行于感测表面162的平面和感测表面162之间的距离来确定该平面处的投影的运动矢量。

在步骤360中，处理器使用适当的SR算法来从来自一系列亚像素移动LR投影图像的数据和相应的运动矢量构建物体152的HR图像。例如，处理器可通过使用在穿过物体152的平面处的运动矢量来在该平面处构建物体152的2D图像。在一个例子中，处理器可通过堆叠基于在不同平面处的运动矢量构建的2D HR图像来产生3D HR图像。如果光探测器160是单色光探测器，则HR图像将是单色HR图像（黑白HR图像）。如果光探测器122是彩色光探测器（例如，彩色CMOS成像传感器），则从这个重建产生的图像是彩色图像。

在一个实施方式中，移动和相加SR算法可用于使用来自一系列亚像素移动LR投影图像的数据构建HR图像。在本实施方式中，HR图像网格形成有n的增强因子，其中HR图像网格的每个nxn像素区域相应于LR帧网格的1x1像素区域。接着，HR图像网格填充有来自该系列亚像素移动LR投影图像的相应像素值。从每个图像的已知估计的亚像素位移、从所确定的运动矢量确定在n x n网格内的像素的映射。换句话说，每个LR投影图像从其原始位置移动了物体152的相对亚像素位移，并接着加在一起以形成HR图像。最后，使用wiener去卷积方法的去模糊可用于移除最终的HR图像中的模糊和噪声。

在一个实施方式中，光元件117可在扫描周期期间的不同时间提供n个不同波长λ₁...λ_n的照明118以得到每个波长的一系列投影图像。在这个实施方式中，处理器可使用适当的SR算法来基于每个系列的亚像素移动LR投影图像和运动矢量来重建每个波长或颜色的HR图像。SPLM设备100或e-Petri设备可组合不同波长或颜色的HR图像以得到计算出的彩色HR图像。例如，使用RGB照明形式的SPLM设备100或e-Petri设备可用于构建所计算的彩色（RGB）HR图像。

在步骤370中，处理器可向适当的图像显示器230（例如，二维显示器（彩色或单色）、三维显示器（彩色或单色））显示一个或多个HR图像。可显示由SPLM设备10或e-Petri设备产生的任何适当的图像。适当图像的一些例子包括：LR投影图像、2D黑白HR图像、2D彩色HR图像、3D黑白HR图像和/或3D彩色图像。

E.超分辨率模型和解

SPLM系统10和e-Petri系统的实施方式使用SR算法来重建HR图像。SR算法的一个例子是在本节中描述的通用像素超分辨率模型和解。该通用像素超分辨率模型和解具有简单、快速和非迭代方法，其在最大似然意义上维持估计最优性。这个超分辨率模型和解的一些细节可在Hardie,Elad,M.和Hel-Or,Y.的“A fast super-resolution reconstruction algorithm or puretranslational motion and common space-invariant blur”（IEEE Transactionson Image Processing,Vol.10,pp.1187-1193(2001)）（“Elad”）、Farsiu,Sina等人的“Fast and robust multiframe super resolution”（IEEE Trans ImageProcess,vol.13,pp.1327-1344(2004)）以及Farsiu S等人的“Multiframedemosaicing and super-resolution of color images”的（IEEE Trans ImageProcess,vol.15,pp.141-159(2006)）中找到，这些文献为了所有的目的特此通过引用被全部并入。

在扫描周期中，一系列N个捕获的LR投影图像Y_k(k=1,2…N)可用于重建改进的HR图像X。图像可由字典式排序的列矢量表示。LR投影图像可通过下列方程建模：

Y_k=DHF_kX+V_k(k=1,2…N)（方程1）

矩阵F_k代表图像X的亚像素移动操作。矩阵H是光探测器160（例如，CMOS图像传感器）的像素转移函数。矩阵D代表小数化操作，其表示在所测量的图像中的观察到的像素的数量的减少。V_k表示具有零平均数和自相关矩阵的高斯加法测量噪声：

X的最大似然估计可被描述为下面的表达式：

且对的闭型解被显示为：

其中 $R={\mathrm{\Σ}}_{k=1}^N{F}_k^T{D}^{T}D{F}_k,P={\mathrm{\Σ}}_{k=1}^N{F}_k^T{D}^T{Y}_k$

R可以是对角矩阵，且该方法的计算复杂度可以是：O(n*log(n))。

F.SPLM和e-Petri系统和设备的不同方案

方案1-2D单色成像

在第一方案中，实施方式的SPLM系统10或e-Petri系统可设计成使用适当的SR算法基于一系列LR投影图像和运动矢量来产生试样150的2D单色HR图像。对于这种情况，只有已知的平移位移和系统的空间不变点扩展函数H，其也是已知的。因此，可应用更有效和在计算上高效的超分辨率技术，例如在Elad中提出的下列内容。对于作为SPLM系统10或e-Petri系统的期望输出的试样150的原始HR图像X，得到样本的低分辨率图像系列：

Y_k=DHF_kX+V_k(k=1,2…N)（方程4）

其中F_k是平移位移，H是光学系统的点扩展函数，D_k是原始LR投影图像的向下采样，且V_k是具有自相关的白噪声：

因此，通过最小化最小二乘误差，如下从一系列N个LR投影图像得到所计算的高分辨率图像

可使用在Elad中描述的迭代方法来计算地完成这个优化。这个优化的最终结果可以是从光探测器160（例如，CMOS图像传感器）所捕获的原始LR投影图像产生的试样的焦点对准的HR图像或一系列HR图像。

在实施方式中，SPLM系统10或e-Petri系统可包括以像素阵列（例如，矩形像素阵列）的形式的照明显示器116。例如，照明显示器116可以是LCD的矩形像素阵列。在这些实施方式中，在一系列相继的LR投影图像之间的亚像素位移可通过特征亚像素间隔a相关，特征亚像素间隔a与照明扫描系列、探测器阵列像素尺寸、以及试样150与源/探测器之间的距离有关。试样150和照明设备110之间的距离可以是透明层140的顶部与显示表面119之间的距离d。试样150和光探测器160之间的距离可以是透明层165的厚度。

对于具有照明显示器116的SPLM系统10或e-Petri系统（显示表面119平行于光探测器160的感测表面162和试样表面140），试样表面140的平面上的点到探测平面（即，感测表面162的平面）上的投影将以与sinθ有关的增量移动。角θ是从光元件117（例如，LDC上的一组照明像素的中心）到试样150的点的线相对于试样表面平面法线矢量的角。对于小角，亚像素位移可近似为相等的，且对LR系列的运动矢量的解可通过a的简单一维优化来找到。在照明（LCD）平面和探测器平面平行的情况下，亚像素位移应是“确切地”相等的。

方案2-2D彩色成像

在第二方案中，实施方式的SPLM系统10或e-Petri系统可设计成使用适当的SR算法基于由彩色光探测器160捕获的一系列LR彩色投影图像来产生试样150的2D彩色HR图像。在这个方案中，SPLM系统10或e-Petri系统包括可捕获一系列亚像素移动彩色LR投影图像的彩色光探测器112（例如，彩色CMOS传感器）。处理器210可使用适当的彩色超分辨率技术以该系列亚像素移动彩色LR投影图像来产生一个或多个SR彩色图像。最简单的技术涉及对每个颜色分量独立地使用单色超分辨率技术。在另一例子中，可使用涉及转换到不同的颜色空间的更复杂的超分辨率技术，如在Farsiu,Sina等人的“Advances and challenges insuper-resolution”（Wiley Periodicals(2004)）中找到的技术，该文献为了所有的目的特此通过引用被全部并入。

方案3-2D计算彩色成像

在第三方案中，实施方式的SPLM系统10或e-Petri系统可设计成使用适当的SR算法基于由多个系列的LR帧来产生试样150的2D彩色HR图像，每个系列与照明118的不同波长或颜色相关。SPLM系统10或e-Petri系统可基于与不同的波长/颜色相关的每个系列构建2D彩色HR图像。SPLM系统10可组合与不同的波长相关的2D彩色HR图像以产生试样150的2D多颜色HR图像。这些实施方式的SPLM系统10或e-Petri系统包括扫描照明源100，其具有彩色照明显示器116（例如，彩色LCD）或可产生彩色照明118的另一设备。可使用任何适当的波长和任何数量的波长。在一个例子中，可选择覆盖最宽的可见颜色范围的光的波长。在一些情况下，使用不同的波长/颜色的单独扫描可被用于捕获LR投影图像的单独RGB系列。在其它情况下，光元件117可在单次扫描中在不同的波长/颜色之间连续地交替。

在一个实施方式中，SPLM系统10或e-Petri系统可包括具有RGB照明显示器116（例如，RGB LCD）的扫描照明源100。在这个实施方式中，单独的红色、绿色和蓝色（RGB）扫描可用于捕获LR投影图像的单独RGB系列（即，红色系列、绿色系列和蓝色系列）。这个实施方式的SPLM系统10或e-Petri系统可基于每个系列产生HR RGB图像。SPLM系统10或e-Petri系统可基于每个系列组合2D彩色HR图像以产生RGB图像。

方案4-使用3D显示器的3D成像

在第四方案中，实施方式的SPLM系统10或e-Petri系统可设计成在3D显示器230上进行3D成像。在这个方案中，SPLM系统10或e-Petri系统可在n个不同的入射角处产生2D HR图像以基于光元件117的不同位置产生物体152的不同视图。

在这个方案中，扫描照明源110将光元件117扫描到从在所关注的n个不同的入射角中的每个周围的范围中的照明角产生照明118的位置。例如，如果从30度看的物体152的视图是期望的，则扫描照明源110可扫描光元件117以从在X/Y中的30+/-2度的范围内的照明角度产生照明118。作为另一例子，如果从-30度看的物体152的视图是期望的，则扫描照明源110可扫描光元件117以从在X/Y中的-30+/-2度的范围内的照明角度产生照明118。单个HR图像的“角度”扫描范围相对于用于得到3D成像的不同视图的大角位移可以是不变的和小的（在本例中是4度）。仍然从由LR图像系列重建来得到每个HR图像，LR图像系列通过扫描照明而被捕获，但以大得多的角度。

从不同的入射角的2D HR图像可组合并显示在3D显示器230（例如，3D监视器）上，或作为旋转gif或视频文件。这可通过使用照明LCD的不同区域来实现以产生样本的高分辨率投影图像，但从不同的角度。

在平行于感测表面的平面处的视图可能被期望的成像方案中，扫描照明源110可将光元件117扫描到从在感测表面的法线周围的范围中的照明角度产生照明118的位置。例如，扫描照明源110可扫描光元件117以从在X/Y中的+/-2度的范围内的照明角度产生照明118。

方案5-3D聚焦

在第五方案中，实施方式的SPLM系统10或e-Petri系统可设计成将2D HR图像“聚焦”在穿过试样150的所关注的不同平面处。SPLM系统10或e-Petri系统也可将“聚焦的”2D HR图像堆叠在不同的平面处以产生3D HR图像。对于三维试样，SPLM系统10或e-Petri系统可基于与不同的亚像素位移相关的不同运动矢量从亚像素移动LR图像的系列构建HR图像，以便在三维样本内实现在不同平面处的“聚焦”。

在这个方案下，SPLM系统10或e-Petri系统可基于所捕获的一系列亚像素移动LR投影图像和在平面处的所确定的运动矢量来在平面处构建每个聚焦的2D图像。例如，SPLM系统10或e-Petri系统可在平面处创建试样150的切片的2D HR图像。在本例中，SPLM系统10或e-Petri系统确定该平面处的LR投影图像的运动矢量。SPLM系统10或e-Petri系统基于在所关注的平面处的确定的运动矢量和光探测器160所捕获的一系列亚像素移动LR投影图像构建聚焦的2D HD图像。SPLM系统10还可通过使用多个运动矢量和同一系列的亚像素移动LR投影图像构建HR图像来重新聚焦在多个平面处。

因为重建的图像的聚焦的质量取决于LR投影图像的亚像素位移的正确估计，且这些亚像素位移取决于在光探测器160和照明平面之间的试样150的距离，使用重建步骤中的不同亚像素位移（即，运动矢量）可允许重新聚焦到光探测器160之上的特定试样平面。这有效地允许单个扩展扫描系列的LR投影图像不仅提供具有从不同角度的投影图像的三维数据（以前的方案），而且聚焦到特定的三维平面。

在一个实施方式中，扫描照明设备110扫掠光元件117以产生在照明角的宽范围之间的照明118，以便产生扩展扫描系列的LR投影图像。图10是根据本发明的实施方式的在光探测器160上的从三个宽范围的入射角θ₁、θ₂和θ₃的三个投影的示意图。改变来自光元件117的光118的照明角度可产生与物体152的不同视图：视图1、视图2和视图3相关的一系列三个投影。在图10中，θ₁=0度，且在负z轴的方向上。光探测器160可捕获与移动的投影相关的一系列LR投影图像。光探测器160也可捕获与宽范围的入射角之间的照明扫掠相关的多个系列的亚像素LR投影图像。这个扩展扫描系列的LR投影图像可用于产生具有从不同视角的投影图像的3D数据（以前的方案），但也提供到特定的3D平面的聚焦。

III.E-Petri

因此，由e-Petri系统使用的显微成像的方法理解起来简单。按几何学原理，试样（例如，正被捕获的细胞）直接放置在光探测器（例如，CMOS图像传感器）的表面上或位于光探测器之上的透明层的表面上。如果具有非常小的像素的高密度栅格的理想化图像传感器被使用且试样正好位于图像传感器表面上，则理想化图像传感器将能够以良好的敏度收集试样的阴影（投影）图像。不幸的是，当前可用的传感器芯片具有相对大的像素（例如，2.2微米）。这暗示由常规传感器芯片收集的微观物体的直接阴影图像本质上是粗糙的。具体地，原始阴影图像分辨率将不比像素尺寸好两倍（如奈奎斯特标准考虑因素所要求的）。为了处理此，采用下面的方法来提高分辨率，或更具体地，产生较小的“虚拟”像素的更密集的栅格。

首先，注意，可能有分离试样与传感器芯片的实际光敏感区的透明层（例如，薄钝化层）。记住这个认识，非相干照明在试样之上被连续地倾斜/移动，且一系列原始图像可被获取。由于照明的递增的倾斜/移动，目标试样的阴影将越过在如图3所示的传感器像素递增地移动。阴影位移的量与透明层厚度和照明源的倾斜/位移成比例。只要在每个原始图像帧之间的阴影位移小于物理像素尺寸，来自一系列亚像素移动阴影图像的信息就可组合以使用适当的像素超分辨率算法产生单个HR图像。超分辨率成像和超分辨率算法的一些例子可在Milanfar,P.的“Super-Resolution Imaging”（CRC Press,(2010)）、Hardie,R.、Barnard,K.和Armstrong,E.的“Joint MAPregistration and high-resolution image estimation using asequence ofundersampled images”（IEEE Transactions on Image Processing6,pp.1621-1633(1997)）、Elad,M.和Hel-Or,Y.的“A fast super-resolutionreconstruction algorithm for pure translational motion and commonspace-invariant blur”（IEEE Transactions on Image Processing10,pp.1187-1193(2001)）、Farsiu,S.、Robinson,M.、Elad,M.和Milanfar,P.的“Fast and robust multiframe super resolution”（IEEE Transactions on ImageProcessing,13,pp.1327-1344(2004)）（“Elad”）、Farsiu,S.、Robinson,D.、Elad,M.和Milanfar,F.的“Advances and challenges in super resolution”（International Journal of Imaging Systems and Technology14,47-57(2004)）以及Farsiu,S.、Elad,M.和Milanfar,P,的“Multiframe demosaicing andsuper-resolution of color images”（IEEE Transactions on Image Processing15,pp.141-159(2006)）中找到，这些文献为了所有的目的特此通过引用被全部并入。在第IIE节中描述了使用适当的超分辨率算法的超分辨率模型和解的例子。

A.E-Petri系统

图11是根据本发明的实施方式的具有n个e-Petri设备610的e-Petri系统600的示意图和e-Petri设备610之一的展开图。n可以是任何适当的数字，例如1、2、3、4、10、20等。e-Petri系统600的每个e-Petri设备610包括扫描照明源110、e-Petri培养皿620、以及用于在相对于光探测器160的固定位置上托住扫描照明源110的支架180。e-Petri系统600还具有中继器700（例如，复用器）、用于维持预先确定的环境的培养箱800以及主机计算机200。中继器700与n个e-Petri设备610进行电子通信以接收数据。主机计算机200与中继器700进行电子通信以从n个e-Petri设备610接收由中继器700转送并控制（例如，复用）的数据。n个e-Petri设备610位于由培养箱800的壁形成的室内。主机计算机200包括第二处理器210（图1中所示）、第二CRM220（图1中所示）和图像显示器230。图像显示器230和第二CRM220与第二处理器210进行电子通信。在一些情况下，可能没有第二处理器210或第二CRM220，且那些部件的功能可由第一处理器112或第一CRM114中的一个或多个执行。

图11中，e-Petri设备610包括能够从多个照明角度向试样150提供照明118的扫描照明源110。扫描照明源110包括第一处理器112、第一计算机可读介质（CRM）114和照明显示器116（例如，LCD、发光二极管（LED）显示器等）。在一些情况下，第一处理器112和第一CRM114可与扫描照明源110分离。第一处理器112与照明显示器116和第一CRM114进行电子通信。照明显示器116包括提供照明118（例如，非相干光）的光元件117（例如，在LCD/LED中的一个或多个照亮的像素的组）。照明显示器116还包括显示表面119。显示表面119位于离感测表面162一段距离d处。在所示例子中，光元件117位于显示表面119处。在其它实施方式中，透明层可位于显示表面119和光元件117之间，或可位于显示表面119之外。扫描照明源110还包括x轴、y轴（未示出）和z轴。x轴和y轴位于显示表面119处的平面中。z轴与该平面正交。如虚线所示，光探测器160可以可选地与扫描照明源110的第一处理器112进行电子通信以使操作同步。

在图11中，e-Petri设备610还包括e-Petri培养皿620。e-Petri培养皿620包括具有感测表面162的光探测器160和位于光探测器160（例如，具有2.2微米像素的市场上可买到的CMOS图像传感器）之上的透明层165。在其它情况中，透明层165可以是光探测器160的部分。感测表面162包括感测区域164（例如，6mmx4mm区域）。透明层165包括用于接纳试样150（例如细胞培养物）和其它材料（例如，培养基）的试样表面140。光探测器160还具有x’轴、y’轴（未示出）和z’轴。x’轴和y’轴位于光探测器160的感测表面162处的平面中。z’轴与该平面正交。e-Petri培养皿620还包括具有周围壁172和可选的盖176的可选的井170。

在图11中，具有五个物体152（例如，细胞）的试样150位于井170的壁172内的试样表面140上。虽然示出五个物体152，其它实施方式的试样150可具有任何适当数量（例如，1、2、10、100、1000等）的物体152或物体152的部分（例如细胞成分）。

图11中的e-Petri系统600可以起具有多种功能、用途和益处的多模芯片上成像系统的作用。该系统可以用低成本和紧凑的方式制成，并可合并使细胞或其它物体152在系统本身的部件上生长的能力。例如，e-Petri培养皿620可包括培养基固定到光探测器160的简单室设计，其中物体152（例如细胞）可被培养和存储。多个e-Petri设备610可放置在单个培养箱800中，以允许各种功能被执行，且不同类型的数据同时产生。例如，不同的e-Petri设备610可使用具有不同的特征（例如，波长、强度）的光元件117或滤波器以允许用户使物体152在亮场和荧光中同时成像。室的多个阵列或流控网络也可设计成提供对化学和机械环境（未示出）的控制。因此，该成像系统可能能够用生物实验室中的常规Petri培养皿和孔板代替成像系统。

图12是根据本发明的实施方式的具有单个e-Petri设备610的e-Petri系统600的摄影图像。e-Petri系统600包括e-Petri设备610、培养箱800和与e-Petri设备610通信的主机计算机200。e-Petri设备610包括以智能电话的形式的照明源110、e-Petri培养皿620以及托住照明源110和e-Petri培养皿620的支架180。e-Petri设备610位于培养箱800内以控制环境。主机计算机200包括第二处理器210（在图1中示出）、第二CRM220（在图1中示出）和图像显示器230。主机计算机200与e-Petri设备610进行电子通信以接收图像数据来在显示器230上显示试样150（未示出）的图像231。

在图11和12的e-Petri系统600的示例性操作期间，照明源110在不同的照明时间从不同的照明角度提供照明118以在光探测器160的感测表面162处产生试样150的亚像素移动光投影170（如图3所示）。光探测器160在不同的照明时间对试样150的一个或多个系列的亚像素移动投影图像采样（或捕获亚像素移动投影图像）。主机计算机200的第二处理器210可接收与该一个或多个系列的亚像素移动投影图像相关的数据。数据通过中继器700从光探测器150转送。第二处理器210可从一个或多个系列的亚像素移动投影图像确定投影170的运动矢量。第二处理器210可使用适当的超分辨率算法来基于一个或多个系列的亚像素移动投影图像的运动矢量和数据来产生试样150的一个或多个HR图像。一个或多个HR图像230和其它相关的图像232可显示在显示器230上。

e-Petri系统600的成像过程可以指e-Petri系统600的操作产生位于一个或多个e-Petri设备610处的试样150或试样150的一部分的亚像素分辨率图像的时间间隔。e-Petri设备610的照明周期可以指扫描照明源110从相应于多个照明时间的多个照明角度提供照明118的时间间隔。可使用任何适当数量（例如1、10、100、1000等）的照明时间和相应的照明角度。多个照明角度可设计成在光探测器160的感测表面162上产生试样150的一系列亚像素移动投影170（如图3所示）。光探测器160可以在相应于照明时间的采样时间对光投影170采样。在图11中，光元件117在相应于采样时间的照明周期期间的单个照明时间被显示。在实施方式中，e-Petri系统600可设计成自动对试样150周期性地或以另外方式重复地在长时期内成像（自动成像）。在这些情况下，e-Petri系统600在较长的时期内执行多个成像过程。例如，e-Petri系统600可设计成在两星期内在每小时的基础上执行细胞培养物的周期性成像。

图13（a）是根据本发明的实施方式的e-Petri培养皿620的摄影图像和用于尺寸比较的25美分硬币。e-Petri培养皿620包括光探测器160、透明层165和井170。光探测器160是以具有填充有2.2微米像素的6mmx4mm成像区域的市场上可买到的CMOS图像传感器芯片的形式。在图像传感器芯片上的微透镜层和滤色器被移除以提供对图像传感器像素（光探测元件166）的直接访问。通过在氧等离子体下处理传感器芯片10分钟（80W）来移除微透镜层和滤色器。以薄PDMS层的形式的透明层165可通过以1:10混合碱基与固化剂来被制备，然后被旋涂在感测表面162上，后面是在80℃下烘焙1个小时。井170是包括周围壁172的塑料正方形井，周围壁172使用聚二甲基硅氧烷（PDMS）在内边缘处粘贴到光探测器160的透明层165。e-Petri培养皿620还包括铰接到周围壁172的外边缘的盖176。在图13（a）中，示出将试样150引入到井170中的吸移管。

图13（b）是根据本发明的实施方式的具有e-Petri培养皿620的部分分解的e-Petri设备610的摄影图像。如所示，e-Petri设备610包括以智能电话的形式的扫描照明源110，智能电话具有以LED屏幕的形式的照明显示器116。e-Petri设备610还包括图13（a）的e-Petri培养皿620。e-Petri设备620还包括用于在离光探测器160一段距离2.0cm处托住在固定位置上的扫描照明源110的支架180。在所示例子中，支架180由容纳图像传感器插座板和智能电话的构块组成。在显示表面119和感测表面162之间的平行对齐可能不是关键考虑因素。在图13（b）中，显示e-Petri设备610被部分地拆卸，照明源110与e-Petri设备610的其它部件分离。

图13（c）是根据本发明的实施方式的图13（b）的e-Petri设备610的照片。在图13（c）中，照明源110位于支架180中。在使用所示例子的e-Petri设备610的成像过程中，照明源110从相对于光探测器160的感测表面162的范围从-60度到+60度的透视照明角度提供照明118。整个e-Petri设备610可放置在培养箱800中用于自动的长期细胞成像和跟踪。

实施方式的e-Petri设备610是芯片上成像设备，其中试样150例如细胞和培养基可被存储和成像。该设备可适合于代替具有在生物实验室中的培养皿和孔板的常规显微设备。实施方式的e-Petri设备610可包括用于存储试样150和对试样150成像的结构和设备的任何适当的组合。在图11、13（a）和13（b）中，e-Petri设备610包括照明源110、e-Petri培养皿620和支架180。

这些实施方式的e-Petri培养皿620是芯片上设计，其中试样150可被存储且在一些情况下被成像。该芯片上设计可适合于代替生物实验室中的常规培养皿和孔板的常规显微镜设备。实施方式的e-Petri培养皿620可包括用于托住试样150、维持试样150的环境和/或使试样150成像的结构和设备的任何适当的组合。例如，e-Petri培养皿620可包括室设计（例如，井170），其可放置在成像传感器芯片上，其中细胞和培养基可被存储。室设计还可包括室的阵列。作为另一例子，e-Petri培养皿620还可包括具有一个或多个流体通道的流控网络。流控网络还可设计成在e-Petri培养皿620中提供对化学和机械环境的控制。作为另一例子，e-Petri培养皿620还可包括用于托住在区域例如感测区域164中的试样150或试样150中的物体152的一个或多个介电笼。作为另一例子，e-Petri培养皿620还可包括用于托住e-Petri培养皿620的支架180。在图11、13（a）和13（b）中，e-Petri培养皿620由具有感测表面162的光探测器160、具有试样表面140的透明层165和井170以及盖176组成。

实施方式的e-Petri培养皿620的透明层165可以是能够对试样150与光探测器160的光敏区分离的任何适当的材料层。透明层165可以是光探测器160的一部分或可以是位于光探测器160上的单独的层（例如，涂层）。透明层165包括用于接纳试样150的试样表面140。透明层165可由任何适当的材料例如聚二甲基硅氧烷（PDMS）构成。透明层165可具有任何适当的厚度（例如，在几百纳米到微米的范围内的厚度）。在一个例子中，透明层165是0.9μm厚。在透明层165是位于光探测器160上的层的实施方式中，透明层165可以是涂覆或沉积在成像传感器芯片的顶部上的钝化层。在一些情况下，透明层165可由多层不同的透明材料组成。例如，透明层165可由薄钝化层、涂层和/或培养基组成。

e-Petri培养皿620还包括以成像传感器芯片的形式的光探测器160，其能够使用与所捕获的投影图像160相关的光数据和与成像相关的其它数据产生一个或多个信号。光探测器160可以是单色探测器或彩色探测器（例如，RGB探测器）。适当的成像传感器芯片是市场上可买到的。在一些情况下，光探测器160包括分立光探测元件166的二维阵列（图2中示出）。具有分立光探测元件166的二维阵列的适当光探测器160的一些例子包括电荷耦合器件（CCD）阵列、CMOS成像传感器阵列、雪崩光电二极管（APD）阵列、光电二极管（PD）阵列和光电倍增管（PMT）阵列。光探测元件的阵列可具有任何适当的方位。此外，光探测元件166可具有任何适当的尺寸（例如，1-10微米）和任何适当的形状（例如，圆形、矩形、正方形等）。例如，CMOS或CCD光探测元件166可以是1-10微米，且APD或PMT光探测元件166可以大至1-4mm。光探测器160还包括具有感测区域164的感测表面162，感测区域164可以指主动捕获图像投影170的感测表面162的区域。虽然所示实施方式显示感测区域164覆盖感测表面162的一小部分，在其它实施方式中，感测区域可覆盖较大部分的或整个感测表面162。

在一些情况下，透明层165可在芯片的制造期间使用适当的制造程序例如半导体和/或微米/纳米制造程序放置在成像传感器芯片的感测表面162上。在一种情况下，透明层165可通过以1:10混合碱基与固化剂来被制备，然后被旋涂在3英寸的硅晶片上，后面是在80℃下烘焙。由于穿过试样150的光118的散射角，如果试样150位于远离感测表面162处，投影图像质量可能降低。由于这个原因，透明层160可以是薄层。此外，成像传感器芯片的层（例如，滤色器和微透镜层）可被移除或省略以减小每个光探测元件（像素）的接受角和试样152与感测表面162之间的距离。为了从预先制造的成像传感器芯片移除滤色器和微透镜层，可在氧等离子体下处理芯片一段时间（例如，在80W下10分钟）。

在实施方式例如图11和13（a）中，e-Petri培养皿620还包括井。井170可以指能够容纳或保持正被成像的试样150的一个或多个任何适当的结构。井170的组成部分例如周围壁172可由任何适当的材料例如PDMS构成。在例如图11所示的实施方式中，井170包括直接耦合到试样表面140的周围壁172。周围壁172形成用于容纳试样150的正方形围墙。在其它实施方式例如图13（a）所示的实施方式中，井170可以是具有周围壁172和在周围壁172的周围边缘处连接的透明底部的单独结构。透明底部可以可移除地或以另外方式耦合到试样表面140或光探测器160的感测表面162。在其它实施方式中，井170可包括其它结构，例如室的阵列。每个室能够容纳其自己的试样150。

在实施方式例如图11和13（a）中，e-Petri培养皿620还包括可放置在井170之上的盖176。盖176可以是可提供对试样150的适当保护的任何适当的结构。盖176可由任何适当的材料（例如，PDMS）构成，并可具有任何适当的厚度（例如，100μm）。例如，盖176可以是PDMS的薄片，其防止培养基的蒸发，同时允许在井170和外部之间的CO₂交换。在一些情况下，盖176可以是可移除的。

在实施方式例如图11、12、13（b）和13（c）中，e-Petri设备610可包括支架180。支架180可以指能够在相对于光探测器160的固定位置上和在离试样表面140一段距离d处托住扫描照明源110的适当结构、设备或其组合。在一些情况下，支架180可以是e-Petri培养皿620的部分。在图11和图13（b）中，支架包括具有用于接纳和/或耦合到e-Petri培养皿620的开口的底部部分。例如图13（b）所示的实施方式的支架180还包括用于接纳扫描照明源110的部分。在一些情况例如图11、图13（b）和图13（c）的所示例子中，扫描照明源110可被保持，使得显示表面119保持大致平行于光探测器160的感测表面162且在扫描期间在离感测表面162一段距离d处。在这些情况下，照明显示器116可提供以与显示表面119正交的角的照明118。在其它情况下，扫描照明源110可被保持，使得显示表面119可与法线成一角度而倾斜。在该角度处，投影170从更极端的照明角度被捕获，在一些情况下导致更完整的3D重建。在一个实施方式中，扫描照明源110可包括执行器和控制器或将照明显示器116（例如，LCD阵列）重新定位成与法线成一角度的其它机构。

在实施方式中，位于试样表面140上的试样150可由e-Petri设备610或SMLM设备100成像。试样150可包括任何适当数量（例如，1、2、10、100、1000等）的物体152或物体152的部分（例如，细胞成分）。试样150还可包括其它材料例如培养基。在图11中，具有五个物体152（例如，细胞）的试样150位于井170的壁172内的试样表面140上。任何适当的试样150可由e-Petri系统600或e-Petri设备610成像。例如，适当的试样150可以是具有一个或多个物体（例如，细胞）的融合性样本（例如，细胞培养物）。作为另一例子，适当的试样150可以是物体152被连续地连接的样本。样本150可包括任何适当类型的物体150。适当类型的物体150可以是生物或无机实体。生物实体的例子包括全细胞、细胞成分、微生物例如细菌或病毒、细胞成分例如蛋白质等。无机实体还可通过本发明的实施方式成像。

在实施方式例如图11、12、13（b）和13（c）中，e-Petri设备610包括扫描照明源110。扫描照明源110可包括能够从不同的照明角度向位于试样表面140上的试样150提供照明118以在感测表面162处产生试样150的亚像素移动投影170的任何适当的设备或设备的组合。适当的扫描照明源110是市场上可买到的。例如，扫描照明源可以是具有照明显示器116的移动通信设备（例如，智能电话、平板电脑等）。在图2、4、12、13（b）和13（d）中示出以智能电话的形式的适当扫描照明设备110的所示例子。适当的扫描照明设备110的另一例子可以是使用空间光调制器来扫描照明118的层析成像相显微镜。在所示实施方式中，扫描照明源110是以移动通信设备的形式。

在图11中，扫描照明源110包括第一处理器112、第一CRM114和照明显示器116。照明显示器116包括显示器表面119和在显示表面119处提供照明118的光元件117。

照明显示器116可以是能够提供照明118的任何适当的显示器。适当的照明显示器116是市场上可买到的。适当的照明显示器116的一些例子包括单色、彩色或灰度级LCD、LED显示器（例如，显示面板）、电视屏幕、LCD矩阵等。照明显示器116可以是具有任何适当值的维MxN（例如，1000x1000、1000x4000、3000x5000等）的发光部件（例如，光像素）的二维阵列的形式。在二维阵列中的每个发光部件可具有被表示为（x_i;y_j）的位置，其中i=1...M且j=1...N。照明显示器116包括显示表面119。照明显示器116可以在任何适当的位置上以提供照明118。在图11中，照明显示器116定位成使得显示表面119平行于感测表面162且在离感测表面162一段距离d处。

光元件117可以指能够提供照明118的任何适当的设备。在图11中，显示光元件117位于显示表面119处。在其它实施方式中，光元件117可位于显示表面119之下。在实施方式中，光元件117可以是在照明周期期间的给定照明时间的照明显示器116的一个或多个照亮的发光元件（例如，亮着的LCD/像素）的组。该组可具有任何适当数量（例如，1、5、10、100等）的发光部件。在这些实施方式中，光元件117可以是在照明周期期间的不同时间被照亮的不同组的发光元件。光元件117可以是任何适当的尺寸和形状（例如，矩形、圆形、斑点、条纹等）。在图4（a）中，光元件117具有圆形斑点的形状，圆形斑点包括在照明显示器116上在直径上大约为1cm的一组640个照亮的像素。除了位置以外，不同组的照明发光元件的尺寸和形状也可随着时间而改变。在其它实施方式中，光元件尺寸和形状可以是不变的。

在照明周期期间，扫描照明源110可在不同的时间在多个位置处提供光元件117以从多个照明角度向试样150提供照明118。例如，光元件117可以是在照明显示器116上的多个位置处的不同组的发光元件。扫描照明源110可通过在不同的时间照亮不同组的发光元件来将光元件117改变到多个不同的位置。在本例中，每个光元件117的位置可以指该组照明发光部件的中心的坐标。作为另一例子，光元件117可在不同的时间以多个不同的角度倾斜。作为另一例子，光元件117可以是移动到多个位置的单个光源。作为另一例子，光元件117可以是在不同的时间被照亮的在培养箱800中的多个位置处的不同组的光源。多个位置可包括任何适当数量n的位置（n=1、2、3、4、5、10、20、100、1000等）。多个照明角度可包括可在感测表面162处产生试样150的亚像素移动投影170的适当照明角度。在一种情况中，光元件117可定位成在感测表面162的法线周围的X/Y中产生小范围的照明角度（例如，+/-2度）。

在图11、12、13（b）和13（c）中，照明显示器116的不同组的一个或多个发光部件（例如，像素）可在不同的时间被照亮以改变光元件117的位置和/或来自光元件117的照明118的特性。在这些所示例子中，扫描照明源110是以具有照明显示器117的智能电话的形式，智能电话具有以发光部件的二维阵列的形式的照明显示器116。在二维阵列中的不同组的发光部件可在照明周期期间的不同时间被照亮。

在实施方式中，扫描照明源110可将光元件117定位在任何适当的多个位置上，且光元件117在照明周期期间可具有任何适当的特性。在一些情况下，多个位置可作为一组形成或图案（例如，阵列、圆形、正方形、三角形等）。在一个实施方式中，可根据扫描图案在照明周期期间照亮照明显示器116的发光部件。扫描图案可以指包括在照明周期期间的不同照明时间的光元件117的多个位置和在每个位置处的光元件117的特性（例如，尺寸、形状等）的描述。在一个实施方式中，扫描图案可以是在照明显示器116的（x_i=1到n,y_j=1到m）处的光元件117的位置的二维阵列（nxm维）的形式。阵列可具有任何适当的维MxN（例如，1x100,1x10,100x100,3000x20,400x300等）。在一个例子中，扫描图案可包括扫描位置的二维阵列、以及光元件117以不变的速率穿过每行顺序地移动的描述。在另一例子中，扫描图案可包括扫描位置的二维阵列、以及元件以不变的速率顺序地穿过每列移动的描述。作为另一例子，扫描图案可包括扫描位置的二维阵列、以及元件随机地穿过阵列移动的描述。扫描图案还可包括在相继的投影图像之间的期望亚像素位移的量。扫描图案还可包括投影图像和/或期望的HR图像的总数量。

图4（b）示出根据实施方式的照明周期的扫描图案的例子。扫描图案在照明周期期间是以显示表面119上的光元件117的225个位置的15x15二维阵列的图形的形式。从沿着照明显示器116的显示表面119的平面中的x和y位置方面显示这225个位置。在所示例子中，扫描图案包括在x方向上的15列位置和在y方向的15行位置。在每个位置处，光探测器160可捕获不同的投影图像。光探测器160可基于扫描图案中的255个不同的扫描位置捕获多达225个不同的投影图像。由光探测器160捕获的投影图像可包括一个或多个系列的亚像素移动投影图像。在图4（b）的扫描图案中的箭头表示在照明周期期间位置的时间系列。根据所示箭头，光元件117顺序地穿过扫描图案中的二维阵列的每行移动。

扫描图案可在第一CRM114或第二CRM220上被存储为代码，并由第一处理器112或第二处理器210执行。例如，扫描图案可以是存储在第一CRM114上的适当格式的视频程序（例如，智能电话上的app），其在被执行时显示随着时间的过去移动到照明显示器116上的不同位置的光元件117的视频。这样的视频的例子在图4（a）中示出。在本例中，光元件117是以光斑的形式，光斑根据在图4（b）中的扫描图案中定义的位置随着时间的过去在照明显示器116移动。在图4（a）中，光元件117在图4（b）所示的扫描图案中的一个位置处。在本例中，照明显示器116在e-Petri培养皿620上位于中心。光元件117在不同的位置处可具有不变或改变的特性。在一种情况下，当光元件117远离照明显示器116的中心移动时，光元件117可保持不变的尺寸。在这种情况下，由于大的入射角，与试样150相关的来自光探测器160的强度示值读数将远离中心而降低。在图4（a）和4（b）示出的所示情况下，为了维持更恒定的强度示值读数，当光元件117远离照明显示器116（例如，智能电话屏幕）的中心移动时，光元件117的尺寸（例如，光斑尺寸）线性地增加。

在实施方式中，光元件117的特性（例如，尺寸、照明118的特性、形状等）可在照明周期期间在不同的位置处改变。可通过改变光元件117中的发光元件的数量、光元件117的形状、和/或来自光元件117中的发光元件的光118的特性来改变在不同位置处的光元件117的特性。在照明周期期间的照明时间来自光元件117的照明118的光特性（例如，强度、波长、频率、偏振、相位、自旋角动量和其它光特性）具有任何适当的值。在一些情况下，照明118可以是非相干光。

在实施方式中，由e-Petri设备使用的成像方案的光强度要求相对低。在一个实施方式中，照明118的适当强度可以由来自常规智能屏幕的照明提供。作为参考点，基于碘钨灯的常规显微镜一般将20W/m²的光强度输送到试样150上。在其它实施方式中，照明118的适当强度可以由LED显示面板、电视屏幕或LED矩阵提供。由光探测元件166接收的适当光强度可以是0.015W/m²。

在实施方式中，可通过改变光元件117的尺寸来控制由照明显示器116中的光元件117产生的照明118的强度。在一些情况下，在照明周期期间在不同位置处的光元件117的尺寸可基于光元件117的位置和感测表面162的平面处的点之间的距离而改变以在该点处产生大约相同强度的光。在这种情况下，在一位置处的光元件117的尺寸S可与从该位置到一点的适当位置例如a）扫描位置的阵列的中心或b）照明显示器116的中心例如在智能电话上的LCD的中心的距离L成比例。例如，在照明周期期间在一位置处的光元件117的尺寸S可被定义为：S=S_中心x(1+L)，其中S_{中 心}是在位置的阵列的中心处的光元件117的尺寸。以这种方式，在与显示表面119上的光元件117的位置的中心正交的感测表面162处的位置处接收的光强度在一些情况下可保持大约不变。作为另一例子，在光元件117的任何位置处的光元件117的尺寸S可被定义为：S=S_Ax(1+A)，其中S_A是在照明设备116的部位A处的光元件117的尺寸，A是从该位置到部位A的距离。

在一个实施方式中，光元件117可在扫描周期期间的不同的照明时间提供n个不同的波长λ₁…λ_n的照明118。在一些例子中，当光元件117在照明周期中在不同的位置中移动时，照明118可以循环过一系列不同的波长。在一个例子中，光元件117可提供分别相应于红色、绿色和蓝色的三个波长λ₁、λ₂和λ₃的RGB照明。光元件117可在照明周期的照明时间期间连续地提供三个波长λ₁、λ₂和λ₃的照明118。在一种情况下，在照明时间t₁，照明118可具有λ₁的波长，在t₂，照明118可具有λ₂的波长，在t₃，照明118可具有λ₃的波长，在t₄，照明118可具有λ₁的波长，在t₅，照明118可具有λ₂的波长，等等。在本实施方式中，光探测器

在照明周期期间，来自多个照明角度的照明118在感测表面162上产生多个光投影170。每个投影图像（帧）可以指在扫描周期期间的采样时间由光探测器160采样（捕获）的快照图像。在一些情况下，光探测器160可在每个扫描时间捕获LR投影图像170。由光探测器160采样的每个投影图像可用于显示2D投影图像。在具有彩色光探测器160的实施方式中，2D投影图像可以是彩色图像。在具有单色光探测器160的实施方式中，投影图像可以是黑白图像。

一系列亚像素移动LR投影图像可以指在n个采样时间采样的n个LR投影图像，其中相邻（在时间或空间）的投影图像分隔开小于一个像素尺寸（即，亚像素位移）。在扫描周期期间，可在n个连续的采样时间（t₁...t_n）捕获n个投影图像（I₁...I_n）。可在照明周期期间由光探测器160捕获任何适当数量n（例如，1、3、5、10、100等）的投影图像。此外，可在照明周期期间由光探测器160捕获任何适当数量（例如，1、3、5、10、100等）的系列的亚像素移动LR投影图像。如果多个系列被捕获，则系列可包括不同组的投影图像，或系列可与共享的一个或多个投影图像重叠。在一个例子中，可在9个连续的采样时间（t₁、t₂、t₃、t₄、t₅、t₆、t₇、t₈、t₉）捕获9个投影图像（I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈、I₉）。在上述例子的重叠情况中，系列可以是：1）I₁、I₂、I₆和I₈以及2）I₆、I₇、I₈和I₉。在非重叠的情况中，系列可以是：1）I₁、I₂、I₃和I₄以及2）I₅、I₆、I₇和I₈。在其它例子中，一系列亚像素移动投影图像可基于不连续的采样时间。例如，可在9个连续的采样时间（t₁、t₂、t₃、t₄、t₅、t₆、t₇、t₈、t₉）捕获9个投影图像（I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈、I₉），且该系列投影图像可以是（I₆、I₂、I₉、I₁）。

在实施方式中，光探测器160可捕获在扫描图案中的光元件117的每个位置处的投影图像。例如，光探测器160可捕获与在图4（b）所示的扫描图案中的位置的15x15阵列相关的225个投影图像。在本例中，当光元件117顺序地穿过在扫描图案中的位置的二维阵列的每行移动时，光探测器160可捕获在每个位置处的投影图像。如果在每行中的位置与15个亚像素移动投影170相关，则光探测器160可在每个照明期间捕获15个系列的15个亚像素移动投影图像。在这种情况下，所捕获的15个系列中的每个与扫描图案中的光元件117的一行位置相关。

在图11中，照明源110的第一处理器112与照明显示器116、第一CRM114和光探测器160进行电子通信。第一处理器112（例如，微处理器）可执行存储在第一CRM114（例如，存储器）上的代码以执行扫描照明源110的一些功能。例如，第一处理器112可执行具有存储在第一CRM114上的扫描图案的代码。CRM114可包括例如具有扫描图案的代码、用于扫描光元件117的另一代码、以及用于扫描照明源110的其它功能的其它代码。第一CRM114还可包括用于执行可由本领域中的普通技术人员创建的任何信号处理或其它软件相关的功能的代码。代码可以用任何适当的编程语言，包括C、C++、Pascal等。

光数据可以指与光探测器160的光探测元件166所捕获的一个或多个投影170有关的任何适当的信息。例如，光数据可包括关于所接收的投影光的特性的信息，例如光的强度、光的波长、光的一个或多个频率、光的偏振、光的相位、光的自旋角动量、和/或与光探测元件166所接收的光相关的其它光特性。光数据还可包括接收光探测元件166的位置、光被接收的时间（采样时间或扫描时间）、或与所接收的投影170有关的其它信息。在实施方式中，每个光探测元件166可基于与投影170相关并由光探测元件166接收的光产生具有光数据的信号。

运动矢量可以指在一系列投影图像中的投影图像的平移运动，其被共同称为该系列投影图像的运动矢量。运动矢量基于在一平面处的投影图像的移动的量。可以从光探测器160所捕获的相关投影图像计算一系列亚像素移动投影图像的运动矢量。可计算在所关注的任何平面处的运动矢量。例如，可确定在感测表面162处的平面处的运动矢量。在本例中，按照光探测器160的感测表面162处的局部x’轴和y’轴来确定运动矢量。作为另一例子，可计算在穿过正被成像的试样150的其它平面处的运动矢量。在一些情况下，穿过试样150的平面可平行于感测表面162的平面。

在e-Petri系统600的实施方式中，可使用适当的SR算法基于与一系列亚像素移动投影图像和该系列中的亚像素移动投影的运动矢量来计算试样150的亚像素分辨率图像。e-Petri系统600的实施方式可得到的图像分辨率的例子可以为大约0.66微米。可使用任何适当的SR算法。适当的SR算法的例子是移动和相加像素SR算法。在第II节中讨论了SR算法的其它例子。

基于运动矢量产生的亚像素分辨率图像将聚焦在与运动矢量相关的所关注的平面处。也就是说，如果运动矢量基于所关注的平面而被估计，则亚像素分辨率图像将是集聚焦在用于估计运动矢量的所关注的平面处的二维图像。例如，如果运动矢量基于在感测表面162处的所关注的平面而被估计，则所产生的亚像素分辨率图像将聚焦在感测表面162的平面处。如果运动矢量基于穿过正被成像的试样150的平面而被估计，则亚像素分辨率图像将是聚焦在穿过试样150的平面处的试样150的横截面图像。在实施方式中，e-Petri系统600可通过修改用于在向横截面处的平面产生亚像素分辨率图像的运动矢量的值来产生试样150的横截面的亚像素分辨率图像。e-Petri系统600可改变运动矢量的值以聚焦在试样150的各种横截面处。在实施方式中，e-Petri系统600可基于使用与穿过试样150的多个平面相关的多个运动矢量值产生的多个二维横截面亚像素分辨率图像来产生三维亚像素分辨率图像。

图11的e-Petri系统600还包括通信地耦合到光探测器160的主机计算机200。主机计算机200包括第二处理器210（例如，微处理器）、第二CRM220和图像显示器230。图像显示器230和第二CRM220通信地耦合到第二处理器210。可选地，主机计算机200可以是与e-Petri系统600分离的设备。主机计算机200可以是任何适当的计算设备（例如，智能电话、膝上型计算机、平板电脑等）。

主机处理器230执行存储在第二CRM220上的代码以执行e-Petri系统600的一些功能，例如：解释来自被捕获并在一个或多个信号中从光探测器160传递的一个或多个系列的亚像素移动投影图像的数据，确定一系列亚像素移动投影的运动矢量，从与一系列亚像素移动投影图像相关的数据构建2D HR图像，从与一系列亚像素移动投影图像相关的数据构建3DHR图像，在图像显示器230上显示一个或多个HR图像，自动重建图像并在显示器230上显示重建的图像用于用户监测，等等。

第二处理器210可接收具有光数据的一个或多个信号或来自光探测器160的其它数据。例如，处理器210可接收具有光数据的一个或多个信号，该光数据与在相应的一系列n个照明时间（t₁、t₂、t₃…t_n）采样的一个或多个系列的亚像素移动投影图像相关。第二处理器210还可基于该系列亚像素移动投影图像确定运动矢量。第二处理器210还可基于所确定的运动矢量和与至少一个系列的亚像素移动投影图像相关的数据来构建HR图像和相关的图像数据。在一些情况下，所构建的物体150的HR图像是黑白2D/3D图像。在其它情况下，所构建的物体150的HR图像是彩色2D/3D图像。

在一个实施方式中，可通过在不同的采样时间使用照明118的不同波长来产生HR彩色图像以在光探测器160处产生多个系列的亚像素移动投影图像。每个系列与不同的波长相关。第二处理器210可基于与不同波长相关的不同系列产生HR彩色图像和相关的图像数据。例如，光的三个波长（例如，与红色、绿色、蓝色（RGB）相关的波长）可顺序地由光元件117产生以产生与光的三个波长相关的三个系列的亚像素移动投影图像。处理器210可组合来自与不同波长相关的系列的图像数据以产生多波长或彩色图像数据（例如，RGB彩色图像数据）。多波长或彩色图像数据可用于在图像显示器230上产生多波长或彩色HR图像。

第二CRM（例如，存储器）220可存储用于执行e-Petri系统600的一些功能的代码。代码可由第二处理器210执行。例如，实施方式的第二CRM220可包括：a）使用SR算法的代码，b）使用断层摄影算法的代码，c）用于解释在一个或多个信号中从光探测器160接收的光数据的代码，d）用于产生3D HR图像的代码，e）用于构建彩色亚像素图像的代码，f）用于显示SR二维和/或三维图形的代码，g）自动重建图像并将重建的图像显示到显示器230上用于用户监测的定制程序的代码；以及h）和/或用于执行e-Petri系统600的功能的任何其它适当的代码。第二CRM220还可包括用于执行可由本领域中的普通技术人员创建的任何信号处理或其它软件相关的功能的代码。代码可以用任何适当的编程语言，包括C、C++、Pascal等。

e-Petri系统600还包括通信地耦合到处理器210的图像显示器230以接收数据并向e-Petri系统600的用户提供输出例如HR图像。可使用任何适当的显示器。例如，图像显示器230可以是彩色显示器或黑白显示器。此外，图像显示器230可以是二维显示器或三维显示器。在一个实施方式中，图像显示器230可以能够显示物体150的多个视图。

实施方式的e-Petri系统600还包括培养箱800。培养箱可以指可在正由e-Petri系统600正执行的实验（例如，长期研究）的时间间隔期间在e-Petri培养皿620提供预先确定的环境的任何适当的设备/结构或设备和结构的组合。预先确定的环境可定义环境变量，例如温度、湿度等。适当的培养箱是市场上可买到的。在一些情况例如图11和12中的所示例子中，培养箱800可包括由壁界定的室。室可设计成容纳一个或多个e-Petri设备610。

实施方式的e-Petri系统600还包括中继器700。中继器700可以指可将数据从一个或多个e-Petri设备610转送到主机计算机200的适当设备。适当设备是市场上可买到的。中继器700可包括多路传输功能以组合来自一个或多个e-Petri设备610的信号与到主机计算机200的信号。中继器700还可包括多路传输功能以从来自主机计算机200的信号提取数据以在信号中发送到一个或多个e-Petri设备610。中继器700可无线地发送数据。

可对e-Petri系统600、e-Petri设备610或e-Petri培养皿620进行修改、添加或省略，而不偏离本公开的范围。例如，其它实施方式的e-Petri系统600可省略培养箱800和/或中继器700。作为另一例子，其它实施方式的e-Petri设备610可省略支架180或可具有对多个e-Petri设备610的单个支架180。作为另一例子，e-Petri系统600可省略主机计算机200。作为另一例子，e-Petri系统610可省略井170和壁172。

此外，可根据特定的需要来集成或分离e-Petri系统600的部件、e-Petri设备610或e-Petri培养皿620。例如，e-Petri系统600可具有向多个e-Petri设备610提供照明118的单个扫描照明源110。作为另一例子，中继器700可位于培养箱800外部。作为另一例子，第二处理器610可集成到光探测器160中，以便光探测器160执行另一e-Petri系统600中的第二处理器160的一个或多个功能。作为另一例子，第二处理器160、第二CRM220和图像显示器230可以是与e-Petri系统600分离并与e-Petri系统600通信的计算机的部件。作为另一例子，第二处理器160、第二CRM220和/或图像显示器230可以集成到e-Petri设备610的部分中。例如，图像显示器230可以是照明显示器116的部分，第一处理器112和第二处理器210可集成为单个处理器，和/或第一CRM114和第二CRM220可集成为单个CRM。作为另一例子，多于一个的e-Petri培养皿620和/或培养箱800可合并到e-Petri设备610中。

B.宽视场成像能力

实施方式的e-Petri设备610有宽视场成像的能力。通过提供宽视场，实施方式的e-Petri设备610可适合于代替或改进常规显微镜用于细胞培养物分析。

为了演示这些能力，具有HeLa细胞的试样150在如图13（c）所示的实施方式的e-Petri系统600的e-Petri培养皿620的试样表面140上被培养48个小时。为了促进细胞粘附，e-Petri培养皿620的试样表面162使用多聚赖氨酸（0.01%）被处理15分钟并使用蒸馏水被冲洗3次。HeLa细胞首先在培养皿中在被补充有1-谷氨酸（4mM）、青霉素（100单位/ml）、链霉素（100μg/ml）和10%（v/v）胎牛血清的杜尔贝科改性伊格尔培养基中被培养，并在37℃下被维持在5%的CO2潮湿大气中。在对数生长期期间，HeLa细胞通过再次悬浮在DMEM中的胰蛋白酶（具有EDTA*4Na的0.05%胰蛋白酶）来收集，并接着被播种在e-Petri培养皿620上。

试样150接着用姬姆萨染料染色，姬姆萨染料是由溶解在甲醇中的次甲基蓝和曙红的水溶液的添加形成的沉淀物。下面的步骤用于对细胞培养物染色：1）通过将ePetri培养皿620短暂地（两次浸蘸）浸在包含无水甲醇的玻片染色缸中来将空气干燥的样本固定在无水甲醇中；2）移除空气并让空气干燥；3）使用蒸馏姬姆萨染料（1:20，vol/vol）染色2分钟；以及4）通过短暂地进出蒸馏水的玻片染色缸浸ePetri培养皿620（一次或两次浸蘸）来冲洗。

图13（c）中的e-Petri培养皿600具有以智能电话的形式的照明源110，智能电话具有以LED显示器的形式的照明显示器116。在示例性照明周期期间，根据图4（b）中显示的15x15阵列扫描图案在多个位置处在LED显示器上显示具有以光斑形式的光元件117的视频。图4（a）是在一个位置处的光斑117的所示例子。光元件117在视频期间在不同的位置处提供相应于红色、绿色和蓝色的三个波长λ₁、λ₂和λ₃的照明118。成像过程包括单个照明周期。光探测器160的采样率（即，图像捕获速率）被设置以使用在70Mhz运行的光探测器160的像素时钟每秒捕获10个帧。成像过程的整个数据采集过程花费大约20秒。

图7（a）示出融合性HeLa细胞样本的重建的彩色投影图像。为了说明图7（a）中所示的构建的彩色图像中的细节的量，在图7（b2）和17（c2）中提供HeLa样本的选定区域的重建的图像。图7（b1）和17（c1）是图7（b2）和17（c2）的选定区域的投影图像。在算法中用于产生图7（a）的重建的图像的图像增强因子被设置在13。换句话说，在低分辨率投影图像水平（2.2μm）处的每个像素被增强到重建的图像的13x13像素块中。图7（a）的整个重建的图像包含大约8.45x108个像素。图13（b）和13（c）的e-Petri设备600花费大约22秒来捕获每种颜色的投影图像的每个系列。对重建的图像的解决方案是非重复的、确定性的，并在最大似然意义上被优化。在使用图形处理单元（GPU）的情况下，图像处理时间对于整个图像重建可小于一秒。因为ePetri设备610的主要用途将是跟踪直接来自培养箱内的细胞培养物生长，数据传输或处理速度限制不应减小系统的效率。

从图7（b2）和7（c2）中的重建的高分辨率彩色图像中，可辨别在HeLa细胞样本内的细胞器，例如多个细胞核颗粒（由红箭头指示）。图7（d）的细胞核是用于比较的使用具有40X、NA=0.66物镜的显微镜的类似细胞的常规显微图像。

在实验中，HeLa细胞样本在CMOS传感器芯片上被培养，并被固定和以姬姆萨染料染色。图14（a1）、图14（a2）和图14（a3）是具有红色、绿色和蓝色LED照明（20X物镜，0.5NA）的常规显微图像。图14（a4）是基于图14（a1）、图14（a2）和图14（a3）中的红色、绿色和蓝色图像而构建的彩色图像。因为传感器芯片不是透明的，常规显微图像在反射模式中被拍摄。图14（a4）中的彩色是由于传感器表面和样本之间的光干涉。在图14（a1）到图14（a4）中的栅格图案是图像传感器的像素阵列（2.2μm像素尺寸）。图14（b1）、图14（b2）和图14（b3）是根据本发明的实施方式的如分别在红、绿和蓝色光源下由e-Petri系统600获取的HeLa细胞样本的一部分的重建的亚像素分辨率图像。图14（b4）是根据本发明的实施方式的基于图14（b1）、图14（b2）和图14（b3）中的红色、绿色和蓝色图像的重建的亚像素分辨率彩色图像。在图14中的每个图像中所示的定标线条是20μm。

C.长期细胞成像和跟踪

实施方式的e-Petri系统600可自动在研究或其它实验的时间间隔以亚细胞分辨率对融合性细胞样本进行大视场成像。因此，它非常适合于长期细胞培养物成像和跟踪应用。

为了演示这些能力，例如图11和12所示的e-Petri系统600用于执行长久的细胞成像和研究。存储在第二CRM220上的定制程序由主机计算机200的第二处理器210使用以自动重建图像并将重建的图像显示在显示器230上用于用户监测。定制程序包括信息，例如实验的时间段、用于自动重建和显示图像的时间间隔和其它适当的信息。

e-Petri系统600具有例如图12和13（c）所示的e-Petri设备610。具有HeLa细胞的试样150被播种到如图13（c）所示的实施方式的e-Petri设备600的e-Petri培养皿620的试样表面140上。e-Petri设备610在长久的细胞成像和研究期间放置在例如图12所示的培养箱800中。以太网电缆将e-Petri设备610连接到以个人计算机的形式的主机计算机200，其位于培养箱800处用于数据传输，如图12所示。在这个实验中，在48个小时的整个生长持续时间期间以15分钟的时间间隔执行自动重建和显示成像过程。每个成像过程包括单个照明周期。在研究的48小时时间段期间，HeLa细胞的数量从40+增长到数百个。

图15（a）是根据本发明的实施方式的来自特定的亚位置的HeLa细胞样本的一部分的延时重建的图像，如e-Petri系统600在研究的时间段期间在时间t=10hr、t=17.5hr、t=25hr和t=32.5hr开始时所获取的。基于e-Petri设备610所获取的延时细胞图像数据，e-Petri系统600可探测并跟踪每个单独的细胞在空间和时间上的运动，并产生相应的谱系树（即，母亲-女儿关系）且以另外方式分析数据。图15（b）是由生物学家注解的三个细胞族的跟踪轨迹和由根据本发明的实施方式的e-Petri系统600的主机计算机200的第二处理器210处理的这些细胞族的图示232。

D.分辨率

图8（a）是根据本发明的实施方式的可由e-Petri系统600获取的具有500nm微球体（polysciences）的试样150的HR图像的例子。用于构建图像的成像过程与用于重建图7中的图像的过程相同。对于单个500nm微球体，微球体的亮中心如图8（a）所示清楚地被分辨，半最大值全宽度（FWHM）为690nm。图8（b）是根据本发明的实施方式的由e-Petri系统600获取的图7的染色HeLa细胞试样150的放大的小特征的重建的图像。

在一些情况下，可基于给定显微镜分辨两个紧密间隔开的特征点的能力来定义显微镜分辨率。为了基于这个定义确立实施方式的e-Petri系统600的分辨率，两个紧密间隔开的微球体由e-Petri系统600成像。图8（a）示出如e-Petri系统600所获取的具有660nm的中心间距离的两个密集的500nm微球体（polysciences）的重建的图像。图8（a）中的数据迹线显示两个峰值之间的谷，且因此确认在一些实施方式中分辨率可以是660nm或更好。为了进一步验证这点，图8（b）示出图7的染色HeLa细胞试样的放大的小特征，且这个特征的FWHM被估计为大约710nm。在一个实施方式中，如果试样150放置在传感器表面160之上相当大的一段距离处，则所估计的分辨率可减小，例如在Heng,X.等人的“Characterization of lightcollection through subwave length aperture from a point source”（Opticsexpress14,pp.10410-10425(2006)）和Wang,Y.M.、Zheng,G.和Yang,C的“Characterization of acceptance angles of small circular apertures”（OpticsExpress17,pp.23903-23913(2009)）中描述的，这些文献为了所有目的特此通过引用被全部并入。

E.额外的优点

本发明的实施方式提供一个或多个技术优点。实施方式的一般优点可以是能够以高分辨率和非相干光源对融合性细胞培养物成像的无透镜亚像素分辨率宽视场成像设备。由实施方式获取的图像可与使用常规显微镜得到的图像非常地可比较的。在实施方式中，获取具有660nm的分辨率的图像。成像方法可在智能e-Petri培养皿上实现，该e-Petri培养皿能够执行在低成本CMOS传感器芯片上涂覆或生长的细胞的高分辨率和自主成像。实施方式的e-Petri培养皿可以是用于体外长期细胞观察或其它长期研究的有用工具。为了演示实施方式的e-Petri设备610可容易被组装，e-Petri设备由块、智能电话和成像传感器芯片构造。

e-Petri培养皿620、e-Petri设备610和e-Petri系统600的优点可以是低成本的。e-Petri培养皿620可使用CMOS成像传感器芯片作为用于细胞培养物生长的底座基片。在实验后，传感器芯片可被丢弃或冲洗和再使用。考虑到这些传感器芯片的低成本，它们不可能在大部分细胞培养物实验中代表主要成本部件。

另一e-Petri培养皿620可以是可能是一次性的或可回收利用的e-Petri培养皿。在某些生物危害性实验中，作为一次性单元处理传感器芯片的能力将明显减少任何相关的风险。

e-Petri系统600的另一优点可以是，在培养箱800外部的主机计算机200可显示来自培养箱800获取的数据的直接示值读数。如图12所示，实施方式的e-Petri设备610可足够紧凑以充裕地安装在常规可用的培养箱800中。事实上，给定实施方式的e-Petri设备600的覆盖区，可能将多个e-Petri设备610安装在同一培养箱800内，如图11所示。当经由适当的数据电缆将e-Petri设备610连接到外部处理器210时，用户可开始收集生长的细胞培养物的图像，而不从培养箱800移除单元。这个优点节省了劳动力并减少了细胞培养物所受到的扰动。在一个实施方式中，e-Petri系统600可包括紧凑和轻便的培养箱800和e-Petri设备610的组合，其适合于及时现场护理诊断和/或其它用途。

e-Petri系统600的另一优点可以是持续地监测来自培养箱800的试样150的能力。e-Petri系统600的用户可能能够持续地监测细胞生长。在生物科学研究中，这代表用于执行长久研究的良好手段。在医学应用中，这可明显减少医学程序的诊断时间，医学程序需要基于培养物生长的评估。作为例子，e-Petri培养皿620可代替标准petri培养皿来用于肺结核、葡萄球菌和其它细菌感染诊断。虽然标准医学实践将开始发起细菌培养物生长并接着以相对长的时间间隔检查生长（频繁地检查将是太耗时的），修改的e-Petri培养皿620可潜在地能够持续和自主地监测生长变化，并在明显的变化被探测到时通知用户检查样本。

另一e-Petri培养皿620可以是，它是平台技术。因为以传感器芯片的形式的光探测器160的顶表面可能在实施方式中未被修改，用户自由地以它作为基础。非常可能对大量复杂的芯片上实验室设计仅使用e-Petri作为成像平台，例如基于封闭介电笼的使用的微生物探测、多细胞生物的基于微流控的显型成像和筛选、以及高通过量疟疾感染的红细胞分离和成像。

适当的封闭介电笼的例子可在Medoro,G等人的“A lab-on-a-chip for celldetection and illumination”（Optics letters35,pp.2188-2190(2010)）中找到，该文献为了所有目的特此通过引用被全部并入。多细胞生物的基于微流控的显型成像和筛选的例子可在Crane,M.、Chung,K.、Stirman,J.和Lu,H.的“Microfluidics-enabled phenotyping,imaging,and screening ofmulticellular organisms”（Lab on a Chip10,pp.1509-1517(2010)）中找到，该文献为了所有目的特此通过引用被全部并入。高通过量疟疾感染的红细胞分离和成像的例子也可在Hou,H.等人的“Deformability based cellmargination-A simple microfluidic design for malaria infected erythrocyteseparation”（Lab on a Chip10,pp.2605-2613(2010)）中找到，该文献为了所有目的特此通过引用被全部并入。也可能修改ePetri培养皿620来用作完备的培养箱和成像单元。此外，为了创建荧光成像e-Petri培养皿620，可用适当的过滤材料涂覆光探测器160。

F.流程图

实施方式的e-Petri系统600可在实验期间每隔一段时间自动重建并显示e-Petri培养皿620上的试样150的亚像素分辨率图像231和其它数据232用于用户监测。例如，细胞试样150可放置在具有培养基的e-Petri培养皿620上。e-Petri培养皿620可接着放置在e-Petri设备610的支架180内，且具有e-Petri培养皿620的e-Petri设备610可为了实验的持续而放置在培养箱180中。主机计算机200可接收具有与e-Petri培养皿620所捕获的亚像素移动投影图像相关的数据的信号，并在实验期间每隔一段时间在主机计算机上重建图像231和其它数据232用于用户监测，而不必从培养箱800移除e-Petri设备610。时间间隔可以是以时间T=T₀、T₁...T_n，其中n可以是任何适当的整数（1、2、10、100等）。T₀指在实验开始时的初始时间。

在一些情况下，代码可用于每隔一段时间自动重建和显示图像231和其它数据232。代码可以是例如存储在第二CRM220上的定制程序。第二处理器210可使用代码来自动重建和在显示器230上显示亚像素分辨率图像用于用户监测。定制程序可包括关于系统的成像功能以及参数的任何适当的信息。例如，定制程序可包括在照明周期之间的时间间隔、实验的时间段、在照明周期期间使用的扫描图案等。

图16是根据本发明的实施方式在实验期间每隔一段时间由e-Petri系统600自动重建和显示亚像素分辨率图像231和其它数据232的示例性方法。在步骤910中，试样150放置在e-Petri培养皿620的试样表面140上。如果e-Petri培养皿包括具有周围壁172的井170，则试样150放置在试样表面140上的井170的周围壁172内。e-Petri培养皿620也可具有位于e-Petri培养皿620的试样表面140上的培养基或其它材料。一旦试样150被引入，e-Petri培养皿620就接着放置在e-Petri设备600内。例如，e-Petri培养皿620可放置在e-Petri设备610的支架180的接收部分中。

在步骤920中，e-Petri设备610位于提供预先确定的环境的培养箱800内。e-Petri设备610可在实验的持续时间期间保持在培养箱800内,这可减少污染风险。一旦在培养箱中，e-Petri系统600就可以按时间间隔T=T₀、T₁...T_n对试样150自动成像，其中n可以是任何适当的整数（1、2、10、100等）。T₀指在实验开始时的初始时间。时间间隔可以在周期性的基础上，例如每15分钟。实验可具有任何适当的持续时间。e-Petri系统600也可产生与e-Petri培养皿620所收集的数据相关的其它数据232。例如，不同的细胞谱系的生长的各种曲线可按每个时间间隔被收集并显示。e-Petri系统600可使用存储在CRM220或其它适当的存储器上的代码。代码包括在实验期间自动化的处理指令。例如，代码可包括关于每隔一段时间重建并显示图像231和其它数据232的指令。代码还可包括关于以每个时间间隔的照明周期的指令和关于e-Petri系统600的功能的其它指令。

在步骤930中，在实验的时间间隔期间的不同时间从多个照明角度照亮试样150。e-Petri设备610包括离感测表面162一段距离d处的扫描照明源110，其从多个照明角度向试样表面142上的试样150提供光118。来自多个照明角度的光180在e-Petri培养皿620的光探测器160的感测表面162上产生一个或多个系列的亚像素移动投影图像。

在一个实施方式中，照明源110可具有带有光元件117的照明显示器116，光元件117在实验的时间间隔期间在照明周期期间的不同时间从不同的角度提供照明118。光元件117在不同的时间位于不同的位置以从不同的角度提供照明118。例如，光元件117在实验期间的不同时间可以是照明显示器116的不同组的照明发光元件。照明118可在不同的位置改变。例如，光元件117可在每个照明周期期间的不同时间提供n个不同波长λ₁...λ_n的照明118以对每个波长得到一系列投影图像。可使用任何适当数量的波长（例如，n=1、2、3、4、5…20）。在一个实施方式中，光元件117可在不同的采样时间提供相应于红色、绿色和蓝色的三个波长λ₁、λ₂和λ₃的照明118。在一些情况下，从一个扫描位置到邻近扫描位置的照明118可具有不同的波长。在其它情况下，照明118可在第一系列的扫描位置期间具有第一波长，并接着在第二系列的扫描位置期间提供第二波长的照明118，依此类推，直到相应于n个不同波长的n个系列的投影图像被捕获。在一些情况下，照明源110的第一处理器112可确定在不同的时间有不同的位置的扫描图案、在不同的扫描位置处的光元件117的特性（例如，所使用的光的波长、光元件117的尺寸和形状、光元件的强度等）、系列中的所期望的亚像素位移的量、实验的持续时间、间隔时间、可在每个时间间隔期间显示的其它数据的描述、以及与e-Petri系统600的操作有关的其它适当的信息。扫描图案可在第一CRM114或其它适当的存储器上被存储为代码。

在步骤940中，光探测器160在实验期间在每个时间间隔的每个照明周期期间捕获试样150的一个或多个系列的亚像素移动投影图像。光探测器160可捕获在每个照明角度的投影图像。

在步骤950中，处理器230使用适当的方法来确定在实验的时间间隔期间捕获的一个或多个系列的亚像素移动投影图像的运动矢量。基于所关注的平面例如感测表面162或穿过试样150的平面来确定运动矢量。可使用确定运动矢量的任何适当的方法。

在步骤960中，处理器210使用适当的SR算法来从实验的时间间隔期间的一个或多个系列的亚像素移动投影图像和所确定的运动矢量构建试样的一个或多个亚像素图像。一个或多个亚像素分辨率图像位于（聚焦于）用于确定运动矢量的所关注的平面处。根据方案，亚像素分辨率图像可以是2D单色图形、2D彩色图像、3D单色或彩色图像。处理器210也可基于在时间间隔期间收集的数据产生其它数据图像232（例如，谱系树）。

在步骤970中，处理器210可在实验的时间间隔期间向显示器230显示一个或多个亚像素分辨率图像231。此外，可显示其它数据232。

在步骤980中，处理器210确定实验是否完成。在一些情况下，处理器210通过确定当前时间在实验的持续时间的末尾来确定实验是否完成。在其它情况下，e-Petri系统600的用户可提供确定实验完成的输入。例如，用户可在主机计算机200输入停止实验命令。如果实验没有完成，则实验的下一时间间隔开始，且过程转到步骤930。如果实验完成，则过程在步骤990结束。

IV.子系统

图17是根据本发明的实施方式的可存在于SPLM系统10中或e-Petri系统600中的子系统的方框图。例如，SPLM系统10和e-Petri系统600包括处理器410。处理器410可包括第一处理器112和/或第二处理器210。在一些情况下，处理器410可以是光探测器160的部件。在一些情况下，处理器410可以是扫描照明源100的部件。

以前在附图中描述的各种部件可使用一个或多个子系统来操作以便于本文所述的功能。附图中的任何部件可使用任何适当数量的子系统来便于本文所述的功能。这样的子系统和/或部件的例子在图17中示出。图17所示的子系统经由系统总线425互连。示出了额外的子系统，例如打印机430、键盘432、固定磁盘434（或包括计算机可读介质的其它存储器）、耦合到显示器适配器438的显示器436、以及其它部件。显示器436可包括照明显示器116和/或图像显示器230。耦合到I/O控制器440的外围和输入/输出设备（I/O）可通过本领域中已知的任何数量的装置例如串行端口442连接到计算机系统。例如，串行端口442或外部接口444可用于将计算机装置连接到广域网例如互联网、鼠标输入设备或扫描仪。经由系统总线的互连允许处理器410与每个子系统通信并控制来自系统存储器446或固定磁盘434的指令的执行以及子系统之间的信息的交换。系统存储器446和/或固定磁盘434可包括第一CRM114和/或第二CRM220。这些元件中的任一个可存在于以前描述的特征中。

在一些实施方式中，输出设备例如SPLM系统10或e-Petri系统600的打印机430或显示器436可输出各种形式的数据。例如，SPLM系统10或e-Petri系统600可输出2D/3D HR彩色/单色图像、与这些图像相关的数据、或与SPLM系统10或e-Petri系统600所执行的分析相关的其它数据。

应理解，可使用计算机软件以模块化或集成的方式以控制逻辑的形式实现如上所述的本发明。基于本文提供的公开和教导，本领域中的普通技术人员将知道和认识到使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。

在本申请中描述的软件部件或功能中的任一个可被实现为由处理器使用任何适当的计算机语言例如Java、C++或Perl使用例如常规或面向对象的技术来执行的软件代码。软件代码可被存储为在CRM例如随机存取存储器（RAM）、只读存储器（ROM）、磁性介质例如硬盘驱动器或软盘或光学介质例如CD-ROM上的一系列指令或命令。任何这样的CRM可存在于单个计算装置上或内，或可存在于系统或网络内的不同计算装置上或内。

“一”、“一个”或“所述”的陈述用来意指“一个或多个”，除非特别相反地指示。

上面的描述是例证性的而不是限制性的。当审查本公开时，本公开的很多变化对本领域中的技术人员将是明显的。因此，本公开的范围不应参考上面的描述来确定，而替代地应参考待定的权利要求连同其完整的范围或等效形式来确定。

来自任何实施方式的一个或多个特征可与任何其它实施方式的一个或多个特征组合，而不偏离本公开的范围。此外，可对任何实施方式进行修改、添加或省略，而不偏离本公开的范围。可根据特定的需要来集成或分离任何实施方式的部件，而不偏离本公开的范围。

上面提到的所有专利、专利申请、公开和描述为了所有的目的特此通过引用被全部并入。没有一个被承认是现有技术。

Claims (27)

1.一种e-Petri培养皿，包括：

透明层，其具有试样表面；以及

光探测器，其配置成对位于所述试样表面上的试样的一系列亚像素移动投影图像采样，所述亚像素移动投影图像与照明源从多个照明角度提供的光相关。

2.如权利要求1所述的e-Petri培养皿，还包括配置成基于所述一系列亚像素移动投影图像来产生所述试样的亚像素分辨率图像的处理器。

3.如权利要求1所述的e-Petri培养皿，还包括耦合到所述透明层的井，所述井配置成接收所述试样。

4.一种e-Petri设备，包括：

透明层，其具有试样表面；

照明源，其配置成向位于所述试样表面上的试样从多个照明角度提供光；以及

光探测器，其配置成对所述试样的一系列亚像素移动投影图像采样，其中所述一系列亚像素移动投影图像相应于多个照明角度。

5.如权利要求4所述的e-Petri设备，还包括配置成基于所述试样的所述一系列亚像素移动投影图像来产生所述试样的亚像素分辨率图像的处理器。

6.如权利要求4所述的e-Petri设备，还包括配置成基于所述试样的所述一系列亚像素移动投影图像和以所述一系列亚像素移动投影图像为基础的运动矢量来产生所述试样的亚像素分辨率图像的处理器。

7.如权利要求6所述的e-Petri设备，其中所述处理器还配置成确定所述运动矢量，其中所述运动矢量与所关注的平面相关，且所述亚像素分辨率图像聚焦于所关注的平面。

8.如权利要求4所述的e-Petri设备，其中所述照明源包括在不同位置处的数组发光部件，所述数组发光部件配置成顺序地照明以从所述多个照明角度产生光。

9.如权利要求8所述的e-Petri设备，其中所述数组发光部件在不同的位置提供不同光强度的光。

10.如权利要求8所述的e-Petri设备，

其中所述数组发光部件在不同的位置提供多个波长的光；

其中所述一系列亚像素移动投影图像包括与所述多个波长相关的亚像素移动投影图像的多个子系列；以及

还包括处理器，所述处理器配置成产生与所述多个波长相关的多个亚像素分辨率图像，并配置成组合与所述多个波长相关的所述多个亚像素分辨率图像以产生所述试样的多颜色亚像素分辨率图像。

11.如权利要求4所述的e-Petri设备，还包括由耦合到所述试样表面的周围壁限定的井。

12.如权利要求11所述的e-Petri设备，还包括位于所述井之上的盖。

13.如权利要求11所述的e-Petri设备，其中所述井包括室的阵列。

14.如权利要求4所述的e-Petri设备，还包括介电笼。

15.如权利要求4所述的e-Petri设备，还包括流体通道。

16.如权利要求4所述的e-Petri设备，其中所述光探测器包括所述处理器。

17.一种e-Petri系统，包括：

一个或多个e-Petri设备，每个e-Petri设备包括：

透明层，其具有试样表面；

照明源，其配置成向位于所述试样表面上的试样从多个照明角度提供光；以及

光探测器，其配置成对所述试样的一系列亚像素移动投影图像采样，其中所述一系列亚像素移动投影图像相应于所述多个照明角度；以及

处理器，其配置成基于来自所述一个或多个e-Petri设备中的至少一个的所述一系列亚像素移动投影图像产生所述试样的亚像素分辨率图像。

18.如权利要求17所述的e-Petri系统，

还包括与所述处理器通信的中继器以从所述一个或多个e-Petri设备接收数据；以及

还包括与所述中继器通信的主机计算机以从所述一个或多个e-Petri设备接收数据。

19.如权利要求17所述的e-Petri系统，其中每个e-Petri设备的所述照明源包括在不同位置处的数组发光部件，所述数组发光部件配置成顺序地照明以从所述多个照明角度产生光。

20.如权利要求19所述的e-Petri系统，其中所述数组发光部件在不同的位置提供不同光强度的光。

21.如权利要求19所述的e-Petri系统，

其中所述数组发光部件在不同的位置提供多个波长的光；

其中所述一系列亚像素移动投影图像包括与所述多个波长相关的亚像素移动投影图像的多个子系列；以及

还包括处理器，所述处理器配置成产生与所述多个波长相关的多个亚像素分辨率图像，并配置成组合与所述多个波长相关的所述多个亚像素分辨率图像以产生所述试样的多颜色亚像素分辨率图像。

22.如权利要求17所述的e-Petri系统，还包括配置成维持预先确定的环境的培养箱，所述一个或多个e-Petri设备位于所述培养箱内。

23.如权利要求17所述的e-Petri系统，其中每个e-Petri设备还包括相对于所述试样表面保持所述照明源的支架。

24.一种在实验期间每隔一段时间使用e-Petri系统自动产生试样的亚像素分辨率图像的方法，所述方法包括：

在e-Petri培养皿的试样表面上引入试样；

在每个时间间隔期间，从多个照明角度向所述试样提供光，

在每个时间间隔期间，使用光探测器来捕获相应于所述多个照明角度的一系列亚像素移动投影图像；以及

在每个时间间隔期间，基于所述一系列亚像素移动投影图像和运动矢量构建所述试样的亚像素分辨率图像。

25.如权利要求24所述的方法，还包括在每个时间间隔期间，显示所述试样的所述亚像素分辨率图像。

26.如权利要求24所述的方法，其中从多个照明角度提供光包括顺序地照亮照明显示器的不同组的发光部件。

27.如权利要求24所述的方法，还包括通过基于所关注的平面确定所述运动矢量来将所述亚像素分辨率图像聚焦在所述所关注的平面处。

Images