CN103154662A

CN103154662A - 扫描投影无透镜显微镜系统

Info

Publication number: CN103154662A
Application number: CN2011800486391A
Authority: CN
Inventors: 郑国安; 塞缪尔·杨; 李承亚; 杨昌辉
Original assignee: California Institute of Technology CalTech
Current assignee: California Institute of Technology CalTech
Priority date: 2010-10-26
Filing date: 2011-10-25
Publication date: 2013-06-12
Also published as: US20120098950A1; US9426429B2; JP2013542468A; WO2012058233A2; WO2012058233A3; EP2633267A2; EP2633267A4

Abstract

扫描投影无透镜显微镜设备包括试样表面、具有光元件的扫描照明源、在试样表面外部的光探测器、和处理器。扫描照明源将光元件扫描到多个扫描位置以对试样表面上的物体提供照明。光探测器对相应于多个扫描位置的一系列亚像素移动投影物体图像采样。处理器基于该系列亚像素移动投影图像和在所关注的平面处的投影的运动矢量来构建物体的高分辨率图像。

Description

扫描投影无透镜显微镜系统

相关申请的交叉引用

本申请是下列专利申请的非临时申请并要求其优先权：2010年10月26日提交的标题为“Scanning Projective Microscopy System for2D and3DImaging”的美国临时专利申请号61/406,916和2011年5月4日提交的标题为“ePetri:An On-Chip Cell Imaging Platform based on Sub-PixelPerspective Sweeping Microscopy”的美国临时专利申请号61/482,531。这些临时申请为了所有的目的特此通过引用被全部并入。

这个非临时申请与为了所有的目的特此通过引用被全部并入的下面的共同未决和共同转让的专利申请有关：

●2009年3月4日提交的标题为“Optofluidic Microscope Device withPhotosensor Array”的美国专利申请号12/398,050。

●2011年3月23日提交的标题为“Super Resolution OptofluidicMicroscopes for2D and3D Imaging”的美国专利申请号13/069,651。

发明背景

本发明的实施方式通常涉及高分辨率（HR）（例如，亚像素分辨率）显微镜设备和其它HR成像设备。更具体地，某些实施方式涉及用于二维（2D）单色HR成像、2D HR彩色成像、三维（3D）单色HR成像和/或3D彩色HR成像的扫描投影无透镜显微镜（SPLM）设备、SPLM系统和SPLM方法。

生物医学成像工具的小型化有可能极大地改变医疗诊断和科学研究的方法。更具体地，紧凑的低成本显微镜可明显扩展负担得起的保健诊断并提供用于检查和自动表征大量细胞的手段，如在为了所有的目的特此通过引用被全部并入的Psaltis,D.等人的“Developing optofluidic technologythrough the fusion of microfluidics and optics”（Nature,Vol.442,pp.381-386(2006)）中讨论的。常规光学显微镜具有笨重的光学器件，且证明是昂贵的和难以小型化。

互补金属氧化物半导体（CMOS）成像传感器技术中的快速进步和商业化导致廉价和高像素密度成像传感器芯片的广泛可得到性。在过去的几年中，这些成像传感器芯片使新的显微镜实现的发展成为可能，所述显微镜实现比具有笨重的光学器件的常规显微镜设计明显更紧凑和更不昂贵。光流体显微镜和数字同轴全息显微镜是这些新发展的两个例子。光流体显微镜技术的一些例子可在Heng,X.等人的“Optofluidic microscopy—methodfor implementing a high resolution optical microscope on a chip”（Lab Chip,Vol.6,pp.1274-1276）、Cui,Xiquan等人的“Lensless high-resolution on-chipoptofluidic microscopes for Caenorhabditis elegans and cell imaging”（Proceedings of the National Academy of Science,Vol.105,p.10670(2008)）和Zheng,G.、Lee,SA.、Yang,S.、Yang,C.的“Sub-pixel resolving optofluidicmicroscope for on-chip cell imaging.Lab Chip”（Lab Chip,Vol.10,pp.3125-3129(2010)）（“Zheng”）中找到，这些文献为了所有的目的特此通过引用被全部并入。数字同轴全息显微镜的一些例子可在Repetto,L.、Piano,E.、Pontiggia,C.的“Lensless digital holographic microscope withlight-emitting diode illumination”（Opt.Lett.,Vol.29,pp.1132-1134(2004)）（“Repetto”）、Mudanyali,O.等人的“Compact,light-weight and cost-effectivemicroscope based on lensless incoherent holography for telemedicineapplications”（Lab Chip,Vol.10,pp.1417-1428(2010)）（“Mudanyali”）、Xu,W.、Jericho,M.、Meinertzhagen,I.、Kreuzer,H.的“Digital in-line holographyfor biological applications”（Proc Natl Acad Sci USA,Vol.98,pp.11301-11305(2001)）（“Xu”）、Garcia-Sucerquia,J.等人的“Digital in-lineholographic microscopy”（Appl.Opt.,Vol.45,pp.836-850(2006)）（“Garcia-Sucerquia”）、Malek M.、Allano,D.、Coetmellec,S.、Lebrun,D.的“Digital in-line holography:Influence of the shadow density on particle fieldextraction”（Opt.Express,Vol.12,pp.2270-2279(2004)）（“Malek”）、Isikman,S.O.等人的“Lens-free optical tomographic microscope with a large imagingvolume on a chip”（Proc Natl Acad Sci USA,Vol.108,pp.7296-7301(2011)）中找到，这些文献为了所有的目的特此通过引用被全部并入。

光流体和同轴全息显微镜技术都被设计成在没有透镜的情况下操作，且因此巧妙地避开其光学限制，例如像差和色度。这两种技术都适合于使可分散的样本例如血液、流体细胞培养物以及细胞或有机体的其它悬浮液成像。然而，这些都不能对融合性细胞培养物或对其中细胞在相当大的长度标度上被连续地连接的任何样本很好地起作用。

在光流体显微镜设备的情况下，成像需要试样的流体（例如，微流体）流越过整个扫描区域。粘附的、融合性的或邻接布置的试样通常与在流体模式中的成像不相容。此外，视场可能被流体通道的几何结构限制。

在数字同轴全息显微镜中，在受控光照明下目标的干涉强度分布被测量，且接着图像重建算法被应用以再现目标的显微图像。算法的两个例子可在Liu,G.、Scott,P.的“Phase retrieval and twin-image elimination or in-lineFresnel holograms”（J Opt Soc Am A,Vol.4,pp.159-165(1987)）（“Liu”）、Fienup,JR.的“Reconstruction of an object from the modulus of its Fouriertransform”（Opt Lett,Vol.3,pp.27-29(1978)）（“Fienup”）、Koren,G.、Polack,F.、Joyeux,D.的“Iterative algorithms for twin-image elimination in in-lineholography using finite-support constraints”（J Opt Soc Am A,Vol.10,pp.423-433(1993)）中找到，这些文献为了所有的目的特此通过引用被全部并入。图像质量关键取决于目标的大小、散射特性和测量过程的信噪比（SNR），测量过程在Mudanyali和Garcia-Sucerquia、Malek、Fienup中以及也在Lai,S.、King,B.、Neifeld,MA的“Wave front reconstruction by meansof phase-shifting digital in-line holography”（Opt Commun.,Vol.173,pp.155-160(2000)）（“Lai”）和Rodenburg,J.、Hurst,A.、Cullis,A.的“Transmission microscopy without lenses for objects of unlimited size”（Ultramicroscopy,Vol.107,pp.227-231(2007)）（“Rodenburg”）中被描述，这些文献为了所有的目的特此通过引用被全部并入。该方法对充分隔离的目标例如稀释的血液涂片载玻片很好地起作用。然而，这样的方法看来好像并不适用于在具有亚微米分辨率的总邻接区域覆盖中占据多于0.1mm2的目标，如在Repetto、Madanyali、Xu、Garcia-Sucerquia中以及也在Biener,G.等人的“Combined reflection and transmission microscope for telemedicineapplications in field settings”（Lab Chip,Vol.11,pp.2738-2743(2011)）中找到的，该文献为了所有的目的特此通过引用被全部并入。

对这个限制的原因是公知的：在强度记录过程期间相位信息的遗失。为了恢复相位信息，必须在迭代相位恢复算法中使用物体支持，该算法涉及在成像域（其中强度数据被应用）和物体域（其中先验的物体约束条件被应用）之间来回的光场传播，如在Liu中讨论的。当测试物体是真实的或非负的时，容易应用强大的非负性支持约束以从所记录的衍射强度提取相位信息，如在Liu中讨论的。然而，对于数字同轴全息，物体域中的光场是复数取值的，且因此相位恢复只在物体的支持被足够隔离（即，稀疏约束）或边缘被清晰地界定（真实边界）时是可能的，如在Rodenburg和Fienup中和也在Denis,L.、Lorenz,D.、Thiebaut,E.、Fournier,C、Trede,D.的“Inline hologram reconstruction with sparsity constraints”（Opt Lett,Vol.34,pp.3475-3477(2009)）、Zhang,F、Pedrini,G.、Osten,W.的“Phase retrievalof arbitrary complex-valued fields through aperture-plane modulation”（PhysRev A,Vol.75,p.043805(2007)）中讨论的，这些文献为了所有的目的特此通过引用被全部并入。此外，技术的干涉性质暗示基于相干的噪声源例如散斑和交叉干涉将存在且将需要被处理，如在Garcia-Sucerquia和Malek中以及也在Xu,L.、Miao,J.、Asundi,A.的“Properties of digital holographybased on in-line configuration”（Opt Eng,Vol.39,pp.3214-3219(2000)）中讨论的，这些文献为了所有的目的特此通过引用被全部并入。用于减轻数字同轴全息显微镜中的问题的方法在Lai、Rodenburg中和Mico,V.、Garcia,J.、Zalevsky,Z.、Javidi,B.的“Phase-Shifting Gabor Holographic Microscopy”（J Disp Technol,Vol.6,pp.484-489(2010)）中被报告，这些文献为了所有的目的特此通过引用被全部并入。基于这些减轻方法的所产生的图像具有可能从干涉产生的假象，且是可识别地不同的，并由于基于相干的噪声源而具有比使用常规显微镜获取的图像低的质量。

本发明的简要概述

本发明的实施方式涉及用于产生HR（例如，亚像素分辨率）单色2D图像、HR单色3D图像、HR彩色2D图像和/或HR彩色3D图像的SPLM设备、SPLM系统和方法。SPLM设备包括用于正被成像的物体的试样表面、扫描照明源、具有感测表面的光探测器（例如，CMOS成像传感器）、和处理器。扫描照明源将光元件（例如，一组像素）扫掠到物体之上的不同的位置以从不同的角度提供照明。该照明在光探测器的感测表面上产生物体的亚像素移动投影。光探测器记录物体的一个或多个系列的亚像素移动低分辨率（LR）投影图像。处理器可使用超分辨率算法来基于一系列亚像素移动LR投影图像构建物体的HR图像。

一个实施方式目的在于SPLM设备，其包括试样表面、包括光元件的扫描照明源、在试样表面外部的光探测器、和处理器。扫描照明源将光元件扫描到多个扫描位置以从对试样表面上的试样的不同的照明角度提供照明。光探测器对试样的一系列亚像素移动投影图像采样。该系列亚像素移动投影图像相应于多个扫描位置。处理器可基于该系列亚像素移动投影图像和投影的运动矢量来构建试样的高分辨率图像。

另一实施方式目的在于包括SPLM设备和处理器的SPLM系统。SPLM设备包括试样表面、包括光元件的扫描照明源、在试样表面外部的光探测器、和处理器。扫描照明源将光元件扫描到多个扫描位置以从对试样表面上的试样的不同的照明角度提供照明。光探测器对试样的一系列亚像素移动投影图像采样。该系列亚像素移动投影图像相应于多个扫描位置。处理器可基于该系列亚像素移动投影图像和投影的运动矢量来构建试样的高分辨率图像。

另一实施方式目的在于使用SPLM设备来产生物体的高分辨率图像的方法，SPLM设备具有试样表面、照明显示器、在试样表面外部的光探测器、和处理器。该方法在试样表面上接收物体。该方法还顺序地照亮在多个扫描位置处的照明显示器的一个或多个像素以从对物体的不同的照明角度提供照明。该方法还捕获与多个扫描位置相关的一系列亚像素移动投影图像。该方法还确定在平面处的亚像素移动投影图像的运动矢量并基于该系列亚像素移动投影图像和运动矢量来构建物体的高分辨率图像。

下面进一步详细地描述本发明的这些和其它实施方式。

附图的简要说明

图1是根据本发明的实施方式的SROFM的部件和部分部件的示意图。

图2是根据本发明的实施方式的SPLM设备的部件和部分部件的透视图的图。

图3（a）、3（b）和3（c）是根据本发明的实施方式的在成像过程的扫描周期期间SPLM设备的部件和部分部件的透视图的图。

图4（a）和图4（b）是示出根据本发明的实施方式的照明显示器上的扫描图案的图示。

图5（a）是根据本发明的实施方式的在单次采样时间由SPLM系统的光探测器捕获的LR投影图像。

图5（b）是根据本发明的实施方式的SPLM系统所重建的HR图像。

图6（a）是根据本发明的实施方式的在单次采样时间由SPLM系统的光探测器捕获的Hela细胞试样的一部分的LR投影图像。

图6（b）是根据本发明的实施方式的SPLM系统所重建的HR图像。

图7（a）是根据本发明的实施方式的SPLM系统所构建的融合性Hela细胞试样的彩色HR图像的大视场。

图7（b1）是根据本发明的实施方式的由SPLM系统的光探测器捕获的来自图7（a）的小区域的LR投影图像。

图7（c1）是根据本发明的实施方式的由SPLM系统的光探测器捕获的来自图7（b1）的小区域的LR投影图像。

图7（b2）是根据本发明的实施方式的由SPLM系统构建的来自图7（a）的同一小区域的重构的HR图像。

图7（c2）是根据本发明的实施方式的由SPLM系统构建的来自图7（b2）的小区域的重构的HR图像。

图7（d）是使用具有40X,NA=0.66物镜的显微镜的类似细胞的常规显微镜图像。

图8（a）是根据本发明的实施方式的如SPLM系统所构建的具有500nm微球体（polysciences）的试样的HR图像。

图8（b）是根据本发明的实施方式的如SPLM系统所构建的图7的染色HeLa细胞试样的放大的小特征的HR图像。

图9是根据本发明的实施方式的SPLM设备的示例性操作的流程图。

图10是根据本发明的实施方式的在光探测器上的从三个不同的照明角度θ₁、θ₂和θ₃的三个投影的示意图。

图11是根据本发明的实施方式的可存在于SPLM系统中的子系统的方框图。

本发明的详细描述

下面参考附图描述本发明的实施方式。一些实施方式包括SPLM设备，其具有带有正被成像的物体的试样表面、扫描照明源（例如，智能电话）、具有感测表面的光探测器（例如，CMOS成像传感器）、在感测表面和试样表面之间的薄透明层、和处理器。在扫描周期期间，扫描照明源使光元件（例如，LCD的一个或多个像素）扫描（或扫掠）或以另外方式平移到不同的扫描位置以从不同的照明角度照亮物体。例如，LCD上的不同组的像素可被顺序地照亮。来自光元件的照明在光探测器的感测表面上产生物体的亚像素移动投影。光探测器在扫描周期期间的不同时间记录与光元件的位置相关的一系列亚像素移动LR投影图像。使用适当的超分辨率（SR）算法，处理器可基于该系列亚像素移动LR投影图像和投影的运动矢量构建物体的HR图像。在不同的成像方案下，SPLM设备可产生HR单色2D图像、HR单色3D图像、HR彩色2D图像和/或HR彩色3D图像。在数字聚焦方案中，SPLM设备可通过使用在穿过物体的平面处的运动矢量将物体的HR图像聚焦在该平面处以构建HR图像。

本发明的实施方式提供一个或多个技术优点。在实施方式的SPLM系统中，在与物体和感测表面之间的距离比较，扫描照明源位于离感测源的更大距离处。因此，光元件的小平移相应于感测表面上的投影的较大平移。使用这个几何结构，扫描照明源可容易和准确地控制并维持投影的亚像素位移。这可提供优于其它系统例如现有的微扫描系统的优点，所述微扫描系统使用执行器和控制器来控制物体或托住物体的平台的亚像素运动。实施方式的另一优点是，该方法可提供对融合性样本和其它样本（其中，物体（例如细胞）在相当大的长度上被邻接地连接）的高分辨率成像的自主的、有成本效益的高质量显微镜解决方案。

I．扫描投影无透镜显微镜（SPLM）系统

图1是根据本发明的实施方式的SPLM系统10的部件和部分部件的示意图。SPLM系统10包括SPLM设备100和主机计算机200。

SPLM设备100包括用于接纳试样（例如，融合性样本）的试样表面140。SPLM系统10可对试样150的至少一部分成像。在所示例子中，具有五个物体152（例如，细胞）的试样150位于试样表面140上。虽然示出了五个物体152，试样150可具有任何适当数量（例如，1、2、10、100、1000等）的物体152或物体152的部分。

SPLM设备100还包括具有第一处理器112、第一计算机可读介质（CRM）114和照明显示器116（例如，LCD、发光二极管（LED）显示器等）的扫描照明源110。第一处理器112与照明显示器116并与第一CRM114进行电子通信。照明显示器116包括能够产生照明118（例如，非相干光）的光元件117（例如，LCD或LED显示器的一个或多个像素）。照明显示器116还包括显示表面119。在所示例子中，光元件117位于显示表面119处。在其它实施方式中，透明层可位于显示表面119和光元件117之间。此外，在一些实施方式中，透明层可位于显示表面119外部。扫描照明源110还包括x轴、y轴（未示出）和z轴。x轴和y轴位于显示表面119处的平面中。z轴与该平面正交。

扫描照明源110可将光元件117扫描（扫掠）或以另外方式平移到整个显示表面119上的不同扫描位置，以便从不同的照明角度向试样150提供照明118。移动照明118的光元件117（源）在感测表面162上产生试样150的移动投影170（如图3所示）。在图1中，在成像过程的扫描周期期间的时间t，示出了在扫描位置处的光元件117。每个扫描周期可以指时间间隔，在该时间间隔期间，扫描照明源110在那个特定的扫描周期中将光元件117扫描或以另外方式平移到扫描位置。成像过程可以指时间间隔，在该时间间隔期间，SPLM系统10的一个或多个操作基于在一个或多个扫描周期期间收集的光数据产生HR图像。在实施方式中，光元件117可在扫描周期期间移动到在显示表面119上的扫描位置的二维阵列（n x m）中的n x m个扫描位置（x_i=1到n,y_i=1到m）。

SPLM设备100还包括用于捕获投影图像的光探测器160。光探测器160包括具有感测区域164的感测表面162。感测表面162位于离显示表面119的距离d处。光探测器160还包括位于试样表面140和感测表面162之间的透明层165（例如，薄透明钝化层）。在扫描周期期间，来自光元件117的照明118在感测表面162上产生试样150的投影170（图3中示出）。光探测器160可在扫描周期期间对试样150的一个或多个系列的亚像素偏移LR投影图像采样（捕获）。每个亚像素移动LR投影图像可以指从该系列中的相邻LR投影图像移动一段亚像素距离的LR投影图像。系列中的相邻LR投影图像可以指在距离上接近的两个LR投影图像。在一些情况下，相邻LR投影图像也可以是在扫描周期期间在时间上被顺序地捕获的投影图像。

如虚线所示的，光探测器160可以可选地与第一处理器112电通信用于使通过光探测器160的采样与通过扫描照明源110的扫描同步。光探测器160还包括x’轴、y’轴（未示出）和z’轴。x’轴和y’轴位于光探测器160的感测表面162处的平面中。z’轴与该平面正交。

SPLM系统10还包括主机计算机200，其具有第二处理器210、与第二处理器210电通信的第二CRM220和与第二处理器210电通信的图像显示器230。第二处理器210可从光探测器150接收与一个或多个系列的亚像素移动LR投影图像相关的数据。第二处理器210还可基于该数据确定在感测表面162处的投影170的运动矢量。第二处理器210可接着基于一个或多个系列的亚像素移动LR投影图像的运动矢量和数据使用适当的超分辨率算法（SR算法）来产生试样150的一个或多个HR（例如，亚像素分辨率）图像。第二处理器210与第二处理器210电通信以显示HR图像和/或其它图像。

在图1的SPLM系统10的示例性成像过程中，扫描照明源110将光元件117扫描或以另外方式平移到在显示表面119上的具有坐标（X_i=1到n,Y_j=1到m）的n x m个扫描位置的二维（n x m）阵列。扫描照明源110根据扫描图案将光元件117扫描（扫掠）或以另外方式平移到扫描位置。来自在不同的扫描位置处的光元件117的照明118在光探测器160的感测表面162上产生试样150的移动投影170。在扫描期间，光探测器160捕获在感测区域164处的一个或多个系列的亚像素移动LR投影图像。第二处理器210从光探测器160接收所述系列中的至少一个的数据。第二处理器210可从该数据确定在感测表面162处的亚像素移动投影170的运动矢量。第二处理器210还可使用适当的超分辨率算法利用来自试样150的一系列亚像素移动LR投影图像中的至少一个的数据和/或所确定的运动矢量来构建试样150的一个或多个HR图像。

图2是根据本发明的实施方式的SPLM设备100的部件和部分部件的透视图的图。SPLM设备100包括以移动通信设备（例如，蜂窝电话、平板电脑等）的形式的扫描照明源110和以光探测元件166（例如，CMOS成像传感器）的二维阵列的形式的光探测器160。光探测器160具有感测表面162和薄透明层165。包括单个物体152（例如，细胞）的试样150位于试样表面140（未示出）上。薄透明层165位于感测表面162和试样表面140之间。在本例中，扫描照明设备110包括以LCD的形式的照明显示器116（未示出）。LCD包括发光元件（例如，像素）的二维阵列。所扫描的光元件117是以根据扫描图案提供照明118的LCD116上的连续的发光元件集合的形式。每个集合可包括一个或多个发光元件。连续的发光元件集合在显示表面119上的（x_i=1到n,y_j=1到m）处的n x m个扫描位置的二维（n x m）阵列处提供照明118。在图2中，在扫描周期中在单个扫描位置处示出光元件117。来自光元件117的照明118在光探测器160的感测表面162上产生物体152的单个投影170。

图3（a）、3（b）和3（c）是根据本发明的实施方式的在成像过程的扫描周期期间SPLM设备100的部件和部分部件的透视图的图。SPLM设备100包括提供照明118的扫描照明源110和以光探测元件166的二维阵列的形式的光探测器160。光探测器160具有感测表面162和薄透明层162。包括单个物体152（例如，细胞）的试样150位于试样表面140（未示出）上。薄透明层165位于感测表面162和试样表面140之间。SPLM设备10还包括x轴、y轴和z轴。x轴和y轴位于光探测器160的感测表面162处的平面中。z轴与该平面正交。光元件（未示出）117提供照明118并在光探测器160上产生光斑。

在图3（a）、3（b）和3（c）中，光元件117（未示出）在时间t=t_a、t_b和t_c（a>b>c）分别位于沿着x’轴的三个扫描位置处。照明118被示为来自三个不同的扫描位置以在感测表面162上分别产生三个移动投影170（a）、170（b）和170（c）。由于光元件117的某些位移，物体的投影（阴影）可在光探测器阵列的光探测元件166（例如，传感器像素）上以亚像素（即，小于像素尺寸）增量移动。在时间t=t₁、t₂和t₃，光探测器160捕获分别相应于三个投影170（a）、170（b）和170（c）的一系列三个LR投影图像。可在时间t_a和t_b之间以及在时间t_b和t_c之间的扫描时间捕获任何适当数量的亚像素移动投影。可基于来自一系列亚像素移动LR投影图像的数据确定在感测表面162处的投影170（a）、170（b）和170（c）的运动矢量。可使用适当的SR算法并基于来自光探测器160所捕获的一系列亚像素移动LR投影图像的数据来构建物体152的HR图像。

任何适当的试样150可由SPLM系统10或SPLM设备100成像。在大部分情况下，试样150在扫描周期期间是静止的。适当试样150的例子是具有一个或多个物体152（例如，细胞）的融合性样本（例如，融合性细胞培养物）。适当试样150的另一例子是物体152被邻接地连接的样本。正被成像的试样150可包括任何适当类型的物体150并可包括任何适当数量（例如，1、10、100、1000等）的物体150或物体150的部分。适当类型的物体150可以是生物或无机实体。生物实体的例子包括全细胞、细胞成分、微生物例如细菌或病毒、细胞成分例如蛋白质等。无机实体也可通过本发明的实施方式成像。

如本文使用的，扫描照明源110可以指能够将光元件117扫描或以另外方式平移到n个扫描位置处以在光探测器160的感测表面162处产生正被成像的试样150的亚像素移动投影170的任何适当的设备或设备的组合。可使用任何数量n的扫描位置（n=1、2、3、4、5、10、20、100等）。通过移动光元件117，扫描照明设备110改变提供给试样150的照明118的照明角度。在实施方式中，扫描照明源110将光元件117移动到扫描位置，其在感测表面或所关注的其它平面的法线周围的X/Y中产生小范围的照明角度（例如，+/-2度）。

适当扫描照明设备110的例子是移动通信设备（例如，蜂窝电话、平板电脑等）。适当的扫描照明源110是在市场上可买到的。在图2和4中示出了以智能电话的形式的适当扫描照明设备110的所示例子。适当扫描照明设备110的另一例子可以是使用空间光调制器来扫描照明的层析成像相位显微镜。

在实施方式中，扫描照明源110可包括用于扫描光元件117以在感测表面162处产生亚像素移动投影170的照明显示器116。照明显示器116可以指能够将光元件117平移到越过显示表面119的至少一部分的扫描位置的任何适当的显示器。适当的照明显示器116是在市场上可买到的。适当的照明显示器116的一些例子包括单色、彩色或灰度级LCD、LED显示器（例如，显示面板）、电视屏幕、LCD矩阵等。在这些实施方式中，照明显示器116可包括发光元件（例如，像素）的二维阵列。发光元件的阵列可具有任何适当的维度（例如，1000x1000、1000x4000、3000x5000等）。显示表面119可以指提供照明118的照明显示器116的表面。例如，扫描照明源110可以是如图2和4所示的具有以LCD屏幕的形式的照明显示器116的智能电话的形式。在其它实施方式中，扫描照明源110可包括能够扫描光元件117以在感测表面162处产生亚像素移动投影170的另一设备或设备的组合。

在一些实施方式中，扫描照明源110在扫描期间可保持在相对于光探测器160和透明层165的固定位置处。在这些实施方式中，SPLM100可包括一个或多个适当的结构（例如，平台、框架等）以将扫描照明源110和光探测器160保持在固定位置上。在一些情况下，例如图1的所示例子，扫描照明源110可被保持，使得显示表面119保持大致平行于光探测器160的感测表面162且在扫描期间在离感测表面162的距离d处。在这些情况下，照明显示器116可以以垂直于显示表面119的角度提供照明118。在其它情况下，扫描照明源110可被保持，使得显示表面119可与法线成一角度倾斜。在这个角度处，待捕获的从更极端的照明角度的投影170在一些情况下导致更完整的3D重建。在一个实施方式中，扫描照明源110可包括执行器和控制器或以与法线成一角度重新定位照明显示器116（例如，LCD阵列）的其它机构。

光元件117可以指能够提供照明118的适当设备。由光元件117产生的照明118的特性可具有任何适当的值。照明118的一些特性包括强度、波长、频率、偏振、相位、自旋角动量和与光元件117所产生的照明118相关的其它特性。在实施方式中，照明118是非相关光。

在具有以发光部件（例如，像素）的二维阵列的形式的照明显示器116的实施方式中，在特定的扫描时间t的光元件117可以是在二维阵列（例如，LCD阵列）中的一组适当数量（例如，1、5、10、100等）的被照亮的发光部件（例如，LCD灯/像素）。每个发光部件可具有被表示为（x_i,y_j）的扫描位置，其中i=1...N且j=1...N。光元件117可以是在扫描周期中的扫描时间在阵列中的被照亮的像素。在这种情况下，光元件117的扫描位置可以指这组被照亮的发光元件的中心的坐标。在这些实施方式中，在照明显示器116上的顺序地照亮的发光部件组可在扫描周期期间在不同的扫描位置处产生发光元件117。

发光元件117的特性（例如，尺寸、照明118的特性、形状等）可具有任何适当的值。在实施方式中，光元件117的一个或多个特性可在扫描周期中在不同的扫描位置处改变。在其它实施方式中，光元件117的特性在扫描周期期间可以是不变的。光元件117的适当形状的一些例子是矩形、圆形、斑点、条纹等。在具有以发光元件的二维阵列的形式的照明显示器116的实施方式中，可通过改变在形成光元件117的发光部件（例如，像素）的集合中的发光部件的数量来改变光元件117的特性。例如，可通过改变发光部件（例如，像素）的数量来改变由光元件117产生的照明118的强度。在实施方式中，由光元件117产生的照明118的一个或多个特性可在不同的扫描位置处改变。

在实施方式中，可通过改变光元件117的尺寸来控制由光元件117产生的照明118的强度。在一个实施方式中，光元件117的尺寸可在不同的扫描位置处改变以在感测表面162的平面处的单个点处产生大约在相同的强度的光。在这个实施方式中，在扫描位置处的光元件117的尺寸S可与从扫描位置到适当的位置例如a）扫描位置的阵列的中心或b）照明显示器116的中心例如在智能电话上的LCD的中心的距离L成比例。例如，在扫描位置处的光元件117的尺寸S可被定义为：S=S_中心x(1+L)，其中S_中 _心是在扫描位置的阵列的中心处的光元件117的尺寸。以这种方式，在与显示表面119上的扫描位置的中心正交的感测表面162处的位置处接收的光强度在一些情况下可保持大约不变。作为另一例子，在扫描周期中在扫描位置处的光元件117的尺寸S可被定义为：S=S_A x(1+A)，其中S_A是在照明设备116的位置A处的光元件117的尺寸，A是从扫描位置到位置A的距离。

在一个实施方式中，光元件117可在扫描周期期间的不同的扫描时间提供n个不同的波长λ₁…λ_n的照明118。在一些例子中，当光元件117在扫描周期中在扫描位置中移动时，照明118可以顺序地循环过一系列不同的波长。在一个例子中，光元件117可提供分别相应于红色、绿色和蓝色的三个波长λ₁、λ₂和λ₃的RGB照明。光元件117可在扫描周期的扫描时间期间提供三个波长λ₁、λ₂和λ₃的照明118。在一种情况下，在扫描时间t₁，照明118可具有λ₁的波长，在t₂，照明118可具有λ₂的波长，在t₃，照明118可具有λ₃的波长，在t₄，照明118可具有λ₁的波长，在t₅，照明118可具有λ₂的波长，等等。

扫描位置可以指光元件117的中心。可在扫描周期中使用任何适当数量（例如，1、100、1000等）的扫描位置。作为一个组，在扫描周期中的扫描位置可覆盖任何适当的区域。在具有显示表面119的实施方式中，扫描位置可覆盖整个显示表面119或可覆盖显示表面119的一部分。

为了移动在感测表面162处的试样152的投影170，扫描照明源110可将光元件117平移到不同的扫描位置，产生不同的扫描角度。在一些实施方式中，为了产生在感测表面162处的试样152的一系列亚像素移动投影170，扫描照明源110可将光元件117移动到设计成产生亚像素移动投影170的多个扫描位置。在这种情况下，在多个扫描位置中的相邻扫描位置相应于在该系列投影图像中的相邻投影图像170的亚像素位移。相邻扫描位置可以指在距离上接近的两个扫描位置。在一些情况下，相邻扫描位置也可以是在具有在扫描周期期间的连续扫描时间的时间上是连续的。

扫描位置可形成任何适当的布置（例如，阵列、圆形、正方形、三角形等）。在实施方式中，扫描位置可以是扫描位置的阵列（例如，一维阵列、二维阵列或一维和二维阵列的组合）的形式。在这些实施方式中，扫描位置的阵列可具有任何适当的维度（例如，1x100、1x10、100x100、3000x20、400x300等）。例如，扫描位置可布置在（x_i=1到n,y_j=1到m）处的n x m个扫描位置的二维（n x m）阵列中。

在具有以发光元件（例如，像素）的二维阵列的形式的照明设备116（例如，LCD显示器）的实施方式中，光元件117的扫描位置可以指在二维阵列中的被相继照亮的发光元件。在这些实施方式中，光元件117的扫描位置可位于显示表面119处。例如，扫描位置可以是显示表面119上的（x_i=1到n,y_j=1到m）处的n x m个扫描位置的二维（n x m）阵列的形式。

在实施方式中，扫描照明源110根据扫描图案在扫描周期期间扫描光元件117。扫描图案可以指在扫描周期期间的不同时间的扫描位置（即，光元件117的位置）和在扫描周期中在每个扫描位置处的光元件117的特性（例如，尺寸、形状等）的描述。例如，扫描图案可包括扫描位置的二维阵列和光元件117以不变的速率顺序地穿过每行移动的描述。在另一例子中，扫描图案可包括扫描位置的二维阵列和光元件117以不变的速率顺序地穿过每列移动的描述。作为另一例子，扫描图案可包括扫描位置的二维阵列和元件随机地穿过阵列移动的描述。扫描图案还可包括在相继的LR图像之间的期望亚像素位移的量。扫描图案还可包括期望的LR投影图像和/或HR图像的总数量。扫描图案可被存储为在第一CRM114或第二CRM220上的代码。在具有以例如图4中的智能电话的形式的扫描照明源110的实施方式中，扫描图案可以是存储在智能电话的存储器中的应用（App）。

在实施方式例如图1的所示例子中，SPLM设备100还包括位于试样表面140和感测表面162之间的透明层165。透明层165可分离试样150与光探测器160的光敏感区。透明层165可由任何适当的材料例如聚二甲硅氧烷（PDMS）制成。透明层165可具有任何适当的厚度（例如，在几百纳米到微米的范围内的厚度）。在一些情况下，透明层165可以是放置在光探测器160上的层。例如，透明层165可以是涂覆或沉积在成像传感器芯片的顶部上的钝化层。在其它情况下，透明层165可与光探测器160分离。在其它实施方式中，SPLM设备100没有透明层165，且感测表面162与试样表面140重合。

在相邻投影170之间的距离与透明层165的厚度和光元件117的倾斜/位移幅度成比例。光元件117的倾斜/位移幅度可以指相邻扫描位置之间的距离或照明角度变化。在一些实施方式中，在扫描周期的多个扫描位置中的相邻扫描位置之间的距离可设计成产生亚像素移动投影170。在这些情况下，可基于透明层165的厚度和相邻透镜170之间的所需递增的亚像素位移来确定在相邻扫描位置之间的距离。

在实施方式中，可确定在多个扫描位置中的相邻扫描位置之间的距离以产生在一系列投影图像中的相邻投影170之间的亚像素位移。在这些实施方式中，在多个扫描位置中的相邻扫描位置之间的所确定的距离直接相应于在感测表面162处的投影170的亚像素位移。在这些实施方式中，多个扫描位置直接相应于一系列亚像素移动投影图像。

在实施方式中，在相邻扫描位置之间的距离可以是适当的值。在一些情况下，在给定扫描周期中的相邻扫描位置之间的距离可以是不变的。在其它情况下，它可改变。

扫描率可以指在每单位时间扫描周期中在连续的扫描位置之间移动的速率。采样率可以指每单位时间例如每秒帧由光探测器160捕获的投影图像（帧）的速率。采样/扫描率在一些实施方式中可以是不变的而在其它实施方式中可以改变。在实施方式中，扫描率和采样率是同步的。

图4（a）和图4（b）是示出根据本发明的实施方式的在照明设备116上的扫描图案的图。在本例中，扫描照明源110是以智能电话的形式，而照明显示器116是以智能电话的LCD屏幕的形式。LCD屏幕包括640x640像素尺寸的像素的二维阵列。在扫描期间，智能电话可位于在光探测器160（例如，图像传感器芯片）之上的适当的距离d处。照明显示器116的显示表面119和光探测器160的感测表面162可保持大约平行。智能电话可被定位成使得照明显示器116的显示表面119的中心在光探测器160的感测表面162的感测区域164之上。照明显示器116包括x轴和y轴。x轴和y轴位于照明显示器116的显示表面119处的平面中。

图4（a）示出在照明显示器116上的光元件117，其包括以直径大约1cm的亮圆斑点的形式的一组大约640个像素。光元件117在扫描周期期间的扫描时间被示为在扫描位置处。光元件117可位于照明显示器116的显示表面119处。

在图4（b）中，扫描图案的图包括在扫描周期期间光元件117的扫描位置（步长）的15x15阵列。扫描位置被示为在沿着照明显示器116的显示表面119的平面中的x轴和y轴的位置处。在所示例子中，扫描图案包括在x方向上的15个扫描位置和在y方向上的15个扫描位置。在本例中，光探测器160可基于扫描图案中的225个扫描位置来捕获225个LR投影图像。扫描位置的阵列可居中地位于照明显示器116内。图4（b）中的箭头指定在扫描周期期间扫描位置的顺序。在这种情况下，光元件117顺序地穿过在扫描图案中的扫描位置的二维阵列的每行移动。如果光元件117在远离显示表面119的中心移动时保持不变的尺寸，由于大的入射角，从光探测器160（例如，图像传感器芯片）读出的强度将降低。为了维持更恒定的强度读出，在一个实施方式中，当光元件117远离照明显示器116（例如，智能电话屏幕）的中心移动时，光元件117的尺寸（例如，亮斑尺寸）可线性地增加。

返回到图1，扫描照明源110包括与照明显示器116电通信的第一处理器112和与第一处理器112电通信的第一CRM114。第一处理器112（例如，微处理器）可执行存储在第一CRM114（例如，存储器）上的代码以执行扫描照明源110的一些功能。例如，第一处理器112可执行具有存储在第一CRM114上的扫描图案的代码。CRM114可包括例如具有扫描图案的代码、用于扫描光元件117的其它代码、以及用于扫描照明源110的其它功能的其它代码。第一CRM114还可包括用于执行可由本领域中的普通技术人员创建的信号处理或其它软件相关的功能中的任一个的代码。代码可以是用任何适当的编程语言，包括C、C++、Pascal等。

在实施方式中，光探测器160可与扫描照明源110的第一处理器112电通信以使光探测器160的采样与位于扫描位置处的光元件117同步。在这些实施方式中，光探测器160的采样率可与扫描照明源110的扫描率同步以捕获在每个扫描位置处的至少一个投影图像170。在一个实施方式中，电子开始采样信号可从扫描照明源110发送到光探测器160以当光元件117在扫描位置时捕获LR投影图像。

SPLM设备100还包括光探测器160（例如，CMOS成像传感器）。光探测器160可以指能够捕获投影图像170并产生具有与所捕获的投影图像160相关的数据和与成像相关的其它数据的一个或多个信号的任何适当的设备或设备的组合。具有数据的信号可以是来自光电效应的电流的形式。

光探测器160包括感测表面162。感测表面162可以指光探测器160的活性感测层。感测表面162包括感测区域164。感测区域164指在扫描周期期间主动捕获投影170的感测表面162的适当区域。在一些情况下，感测表面162的整个区域是感测区域164。在实施方式中，正被成像的试样150可位于接近感测区域162的试样表面140的区域中。光探测器160还包括在感测表面162的平面处的局部x’轴和y’轴。

在实施方式中，光探测器160包括以光探测元件166的二维阵列的形式的分立光探测元件166（例如，像素），如图2和3所示。光探测元件166可位于感测表面162处的光探测器160的表面层上或内。虽然如图2和3所示，光探测元件166的二维阵列被定向成使得x’轴平行于照明设备116的x轴，在其它实施方式中二维阵列可定向为成任何适当的角度。

可使用任何适当的光探测器160。具有光探测元件166的二维阵列的适当光探测器160的一些例子包括电荷耦合器件（CCD）阵列、CMOS成像传感器阵列、雪崩光电二极管（APD）阵列、光电二极管（PD）阵列和光电倍增管（PMT）阵列。这些光探测器160和其它器件是在市场上可买到的。此外，光探测器160可以是单色探测器或彩色探测器（例如，RGB探测器）。

光探测元件166可具有任何适当的尺寸（例如，1-10微米）和任何适当的形状（例如，圆形、矩形、正方形等）。例如，CMOS或CCD光探测元件166可以是1-10微米，且APD或PMT光探测元件166可以大至1-4mm。

由于穿过正被成像的试样150的光118的散射角，如果试样150定位成远离光探测器160的感测表面162，投影图像质量可能降低。在实施方式中，光探测器160没有滤色器和微透镜层，以便减小每个光探测元件的接受角以及物体152和感测表面120（即，活性感测层）之间的距离。如果光探测器160（例如，CMOS成像传感器芯片）被预先制造有滤色器和微透镜层，这些部件可被移除，以减小每个像素的接受角以及物体152和表面层之间的距离。

在实施方式中，可在制造期间将透明层165放置在光探测器160上。半导体和/或微米/纳米制造程序可用于将透明层165放置在光探测器160上。在一些情况下，在滤色器和微透镜层被移除之后，透明层165可放置在光探测器160上。在一种情况下，可通过氧等离子体处理预先制造的成像传感器一段时间（例如，在80W下10分钟）来移除滤色器和微透镜。透明层165可在滤色器和微透镜层的移除之后放置在成像传感器上，或可放置在具有该层的光探测器上。在一种情况下，透明层165可通过以1:10混合碱基与固化剂来被制备，然后被旋涂在3英寸的硅晶片上，接着是在80摄氏度下烘焙。

光数据可以指与光探测器160的光探测元件166所捕获的一个或多个投影170有关的任何适当的信息。例如，光数据可包括关于所接收的投影光的特性的信息，例如光的强度、光的波长、光的一个或多个频率、光的偏振、光的相位、光的自旋角动量和/或与光探测元件166所接收的光相关的其它光特性。光数据还可包括接收光探测元件166的位置、光被接收的时间（采样时间或扫描时间）、或与所接收的投影170有关的其它信息。在实施方式中，每个光探测元件166可基于与投影170相关的并被光探测元件166接收的光来产生具有光数据的信号。

LR投影图像（帧）可以指在扫描周期期间出现的采样时间由光探测器160采样（捕获）的快照图像。在实施方式中，光探测器160在每个扫描时间捕获LR投影图像。由光探测器160采样的每个LR投影图像可用于显示2D LR投影图像。在具有彩色光探测器160的实施方式中，LR投影图像可以是彩色图像。在具有单色光探测器160的实施方式中，LR投影图像可以是黑白图像。

每个系列的亚像素移动LR投影图像可以指在n个采样时间采样的n个LR投影图像，其中在时间上相邻的投影图像分隔开小于一个像素尺寸（即，亚像素位移）。在扫描周期期间，可在n个连续的采样时间（t₁...t_n）捕获n个LR投影图像（I₁...I_n）。可在扫描周期期间捕获任何适当数量n（例如，1、3、5、10、100等）的LR投影图像。此外，可在扫描周期期间由光探测器160捕获任何适当数量（例如，1、3、5、10、100等）的系列的亚像素移动LR投影图像。如果多个系列被捕获，则这些系列可包括不同组的LR投影图像，或这些系列可重叠，共享的一个或多个LR投影图像。在一个例子中，可在9个连续的采样时间（t₁、t₂、t₃、t₄、t₅、t₆、t₇、t₈、t₉）捕获9个LR图像（I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈、I₉）。在上述例子的重叠情况中，系列可以是：1）I₁、I₂、I₆和I₈以及2）I₆、I₇、I₈和I₉。在非重叠的情况中，系列可以是：1）I₁、I₂、I₃和I₄以及2）I₅、I₆、I₇和I₈。在其它例子中，一系列亚像素移动LR投影图像可基于不连续的采样时间。例如，可在9个连续的采样时间（t₁、t₂、t₃、t₄、t₅、t₆、t₇、t₈、t₉）捕获9个LR图像（I₁、I₂、I₃、I₄、I₅、I₆、I₇、I₈、I₉），且该系列投影图像可以是（I₆、I₂、I₉和I₁）。

在实施方式中，光探测器160可在扫描周期期间的每个扫描时间捕获LR投影图像。例如，光探测器160可捕获与在图4（b）所示的扫描图案中的每个扫描位置相关的LR投影图像。在本例中，当光元件117顺序地穿过在扫描图案中的扫描位置的二维阵列的每行移动时，光探测器160可在每个扫描时间捕获LR投影图像。如果在每行中的扫描位置与亚像素移动投影170相关，则光探测器160可在扫描周期期间捕获15个系列的亚像素移动投影图像。在这种情况下，每个系列与扫描图案中的一行扫描位置相关。

运动矢量可以指在一系列LR投影图像中的投影图像的平移运动，其被共同称为该系列LR投影图像的运动矢量。运动矢量基于在平面处的投影图像移动的量。可从光探测器160所捕获的相关投影图像计算一系列亚像素移动LR投影图像的运动矢量。可以在任何感兴趣的平面计算所述运动矢量。例如，可在感测表面162处的平面处确定运动矢量。在本例中，按照在光探测器160的感测表面162处的局部x’轴和y’轴确定运动矢量。作为另一例子，可在穿过正被检查的物体152的其它平面处计算运动矢量。穿过物体152的平面在一些情况下可平行于感测表面162的平面。

在实施方式中，可基于与一系列亚像素移动LR投影图像相关的数据和该系列中的亚像素移动LR投影的运动矢量使用适当的超分辨率（SR）算法来构建试样150的HR图像。SPLM系统10的实施方式可得到的图像分辨率的例子可以是大约0.66微米。

SR算法可以指从一系列亚像素移动LR投影图像构建HR图像（例如，亚像素分辨率图像）的图像处理技术。任何适当的SR算法可由SPLM系统10的实施方式使用。适当的SR算法的例子是移动和相加像素SR算法。适当的SR算法的一些例子可在Lange,D.、Storment,C.W.,、Conley,C.A.和Kovacs,G.T.A.的“A microfluidic shadow imaging system for the study ofthe nematode Caenorhabditis elegans in space”（Sensors and Actuators BChemical,Vol.107,pp.904-914(2005)）（“Lange”）、Wei,L.、Knoll,T.和Thielecke,H.的“On-chip integrated lensless microscopy module for opticalmonitoring of adherent growing mammalian cells”（Engineering in Medicineand Biology Society(EMBC),2010Annual International Conference of theIEEE,pp.1012-1015(2010)）（“Wei”）、Milanfar,P.的“Super-ResolutionImaging”（CRC Press,2010）（“Milanfar”）、以及Hardie,R.、Barnard,K.和Armstrong,E.的“Joint MAP registration and high-resolution imageestimation using a sequence of undersampled images”（IEEE Transactions onImage Processing6,pp.1621-1633(1997)）（“Hardie”）中找到，这些文献为了所有的目的特此通过引用被全部并入。适当的超级算法的例子是在章节V中描述的通用像素超分辨率模型和解。

图1的SPLM系统10还包括通信地耦合到光探测器160的主机计算机200。主机计算机200包括第二处理器210（微处理器）、第二CRM220和图像显示器230。图像显示器230和第二CRM220通信地耦合到第二处理器210。可选地，主机计算机200可以是与SPLM系统10分离的设备。主机计算机200可以是任何适当的计算设备（例如，智能电话、膝上型计算、平板电脑等）。

第二处理器230执行存储在第二CRM220上的代码以执行SPLM10的一些功能，例如：解释来自在来自光探测器160的一个或多个信号中捕获和传递的一个或多个系列的亚像素移动LR投影图像的数据，确定一系列亚像素移动LR投影图像的运动矢量，从与一系列亚像素移动LR投影图像相关的数据构建2D HR图像，从一系列亚像素移动LR投影图像相关的数据构建3D HR图像，在图像显示器230上显示一个或多个HR图像，等等。

第二处理器210可从光探测器122接收具有光数据和其它数据的一个或多个信号。例如，处理器210可接收具有光数据的一个或多个信号，光数据与在相应系列的n个扫描时间（t₁,t₂,t₃,...t_n）处采样的一个或多个系列的亚像素移动LR投影图像相关。第二处理器210也可基于该系列亚像素移动LR投影图像确定运动矢量。第二处理器210也可基于所确定的运动矢量和与至少一个系列的亚像素移动LR投影图像相关的数据来构建HR图像和相关图像数据。在一些情况下，物体150的所构建的HR图像是黑白2D/3D图像。在其它情况下，物体150的所构建的HR图像是彩色2D/3D图像。

在一个实施方式中，可通过在不同的采样时间使用照明118的不同波长在光探测器160处产生多个系列的亚像素移动LR投影图像来产生HR彩色图像。每个系列与不同的波长相关。第二处理器210可基于与不同的波长相关的不同系列产生HR彩色图像和相关图像数据。例如，光的三个波长（例如，与红色、绿色、蓝色（RGB）相关的波长）可由光元件117顺序地产生以产生与光的三个波长相关的三个系列的亚像素移动投影图像。处理器210可组合来自与不同的波长相关的系列的图像数据以产生多波长或彩色图像数据（例如，RGB彩色图像数据）。多波长或彩色HR图像数据可用于在图像显示器230上产生多波长或彩色HR图像。

第二CRM（例如，存储器）220可存储用于执行SPLM系统10的一些功能的代码。代码可由第二处理器210执行。例如，实施方式的第二CRM220可包括：a）使用SR算法的代码，b）使用断层摄影算法的代码，c）用于解释在来自光探测器122的一个或多个信号中接收的光数据的代码，d）用于产生3D HR图像的代码，e）用于构建彩色亚像素图像的代码，f）用于显示SR二维和/或三维图像的代码，g）和/或用于执行SPLM系统10的功能的任何其它适当的代码。第二CRM220还可包括用于执行可由本领域中的普通技术人员创建的信号处理或其它软件相关的功能中的任一个的代码。代码可以用任何适当的编程语言，包括C、C++、Pascal等。

SPLM系统10还包括通信地耦合到处理器210的图像显示器230，以接收数据并向SPLM系统10的用户提供输出例如HR图像。可使用任何适当的显示器。例如，图像显示器230可以是彩色显示器或黑白显示器。此外，图像显示器230可以是二维显示器或三维显示器。在一个实施方式中，图像显示器230可能能够显示物体150的多个视图。

可对SPLM系统10或SPLM设备100进行修改、添加或省略，而不偏离本公开的范围。此外，可根据特定的需要来合并或分离SPLM10或SPLM设备100的部件。例如，在一些实施方式中，第二处理器210可合并到光探测器160中，使得光探测器160执行第二处理器160的一个或多个功能。作为另一例子，第二处理器160、第二CRM220和图像显示器230可以是与SPLM系统10分离并与SPLM系统10通信的计算机的部件。作为另一例子，第二处理器160、第二CRM220和/或图像显示器230可合并到SPLM设备100的部分中。例如，图像显示器230可以是照明显示器116的部分，第一处理器112和第二处理器210可合并成单个处理器，和/或第二CRM114和CRM220可合并成单个CRM。

II．扫描投影无透镜显微镜的原理和分辨率

尼奎斯特标准考虑事项规定来自图像传感器（例如，CMOS图像传感器）的原始投影（阴影）图像分辨率可能不比像素尺寸的两倍更好。实施方式的SPLM系统10使用在时域中的高采样率来使在投影图像的空间域中采样的亚尼奎斯特速率偏移，组合在超分辨率成像中完成的工作与高级传感器（例如CMOS）技术，以产生具有明显的分辨率增强的低成本HR显微镜设备。

在实施方式中，SPLM设备100包括在光探测器160和正被成像的物体152之间的薄透明层165。透明层165分离物体152（例如，细胞）与光探测器160（例如，传感器芯片）的实际光敏感区。在扫描期间，扫描照明源110将光元件117移动/扫描到扫描位置以从试样150之上的不同的照明角度提供照明118（例如，非相干光）。光探测器160获取一个或多个系列的LR投影图像。由于照明118的移动，投影图像越过光探测元件166（例如，传感器像素）移动，如图3所示。阴影位移的量与透明层165的厚度和光元件117的倾斜/位移幅度成比例。只要在每个系列的LR投影图像中的每个原始投影图像之间的位移小于光探测元件的物理尺寸（例如，像素尺寸），来自多个亚像素移动LR阴影图像的信息就可用于使用适当的超分辨率算法创建单个HR图像。

在以前的超分辨率微扫描系统中，试样被安装到镜台，且镜台以亚像素增量被扫描。在这个以前的方法中，需要在确切的亚像素步骤中准确地控制镜台的位置。一般，控制器和执行器用于控制镜台的所需精确位置。高精度意味着这些系统需要设置和对齐的高成本。

在以前的超分辨率光流体系统中，光流体学被并入以用高吞吐量方式从LR投影图像产生HR图像。在这个系统中，光流体样本输送方案用于捕获在整个CMOS成像传感器（像素）阵列中平移的一系列样本图像。系统使用超分辨率处理技术来从该系列LR投影图像实现HR图像，如在为了所有的目的特此通过引用被全部并入的美国专利申请号13/069,651中描述的和在Zheng中描述的。该方法依赖于当物体（例如，细胞）越过光探测器（例如，CMOS成像传感器阵列）流经流体通道时捕获物体的一系列LR投影图像。然而，在这个系统中成像需要试样越过扫描区域的流体（例如，微流体）流动。附着的、融合性的或邻接布置的试样完全与以流体模式的成像不相容。例如，为了使物体流过流体通道，物体不能附到图像像素的表面（即，在物体和图像像素之间有距离）。这样的距离导致物体的模糊图像。此外，视场可能被流体通道的几何结构限制。

在SPLM系统10中，SPLM设备100使用扫描照明源110来在试样150之上扫描光元件117。在这个方法中，可能不需要精确对齐。扫描照明源110位于比物体152离感测表面162大得多的距离处。因此，光元件117的小位移相应于在感测表面162上的投影170的较大位移。扫描照明源110可直接以在扫描照明源110处的光元件117的更可控的较大位移来控制在感测表面162处的投影的亚像素位移。以这种方式，扫描照明源110可以比以前的系统例如微扫描系统、光流体系统等容易和准确地将投影位移保持在亚像素值处。而且，在不需要机械扫描或微流体流动的情况下，扫描的速度可快得多。扫描照明源110能以高达kHz区的范围的速度扫描光。这比现有的机械微扫描方案高两个数量级。此外，SPLM设备100的成本可能低得多，因为它使用扫描照明源110例如LED屏幕或LED矩阵。

图5（a）是根据本发明的实施方式的由SPLM系统10的光探测器160在单个采样时间捕获的LR投影图像。在本例中，正由SPLM系统10成像的试样150包括一组3um微球体。图5（b）是根据本发明的实施方式的由SPLM系统10重建的HR图像。SPLM系统10基于来自包括图5（a）所示的LR投影图像的一系列亚像素移动LR投影图像的数据来重建HR图像。

图6（a）是根据本发明的实施方式的在单个采样时间由SPLM系统10的光探测器160捕获的HeLa细胞试样的一部分的LR投影图像。图6（b）是根据本发明的实施方式的由SPLM系统10重建的HR图像。SPLM系统10基于来自包括图6（a）所示的LR投影图像的一系列225个亚像素移动LR投影图像的数据来重建HR图像。

图7（a）是根据本发明的实施方式的由SPLM系统10构建的融合性Hela细胞试样150的大视场彩色HR图像。用姬姆萨染料给试样150染色。在重建期间，在LR投影图像水平（2.2μm）处的每个像素被增强成在重建的HR图像中的13*13像素块。彩色HR图像包含大约8.45x10⁸个像素。感测区域164（图像区域）是6mm x4mm。对每个彩色照明118，使用扫描位置的15x15阵列。根据本发明的实施方式，图7（b1）是来自图7（a）的小区域的LR投影图像，而图7（c1）是来自图7（b1）的小区域的LR投影图像，这些LR投影图像由SPLM系统10的光探测器160捕获。根据本发明的实施方式，图7（b2）是来自图7（a）的同一小区域的重建的HR图像，而图7（c2）是来自图7（b2）的小区域的重建的HR图像，这些重建的HR图像由SPLM系统10构建。图7（d）是使用具有40X、NA=0.66的物镜的显微镜的类似细胞的常规显微图像。从在图7（b2）和图（c2）中的重建的HR图像中，可辨别在HeLa细胞内的细胞器，例如多个核颗粒（由红箭头指示）和细胞核。重建的HR图像也准确地相应于从类似的细胞获取的常规显微图像。

图8（a）是根据本发明的实施方式的由SPLM系统10构建的具有500nm微球体（Polysciences）的试样150的HR图像。用于构建HR图像的成像过程与用于构建图7中的HR图像的成像过程相同。对于单个500nm微球体，微球体的发亮中心如图8（a）所示的被清楚地分辨，半最大值全宽度（FWHM）为690nm。图8（b）是根据本发明的实施方式的如SPLM系统10构造的图7的染色HeLa细胞试样150的放大的小特征的HR图像。

因为在一些情况下可基于给定显微镜分辨两个紧密间隔开的特征点的能力来定义显微镜分辨率，两个紧密间隔开的微球体的情况可被分析以建立实施方式的SPLM系统10的分辨率。图8（a）示出具有660nm的中心间距离的两个密集的500nm微球体的重建的图像。在图8（a）中的数据迹线显示在两个峰值之间的谷，并因此在一些实施方式中确认分辨率可以是660nm或更好。为了进一步验证这点，图8（b）示出图7的染色HeLa细胞试样的放大的小特征，且该特征的FWHM被估计为大约710nm。

III．概念

在实施方式例如图1所示的例子中，试样150放置在试样表面140上，试样表面140稍微在感测表面162的活性感测区域164之上。扫描照明设备110（例如，移动通信设备）的照明显示器116（例如，单色或彩色LCD）位于离感测表面162的一段距离d（例如，大约5-10mm）处。照明显示器117的光元件117（例如，一个或多个发光元件（例如，像素））提供照明118（例如，非相干光）。照明118在光探测器162上产生投影170（阴影）。光探测器160可捕获LR投影图像。给出光探测元件166（如图2所示）的尺寸限制（例如，像素尺寸限制），可最好地实现这个LR投影图像，但是“是低分辨率的”，因为试样150的特征尺寸可以比光探测元件166的尺寸（例如，像素尺寸）小得多。

在实施方式中，为了提高分辨率，捕获一系列亚像素移动LR投影图像，照明显示器116（例如，LCD）上的发光元件（例如，像素）为所述图像提供照明118。这些LR投影图像中的每个是试样150的亚像素移动投影图像。该系列亚像素移动LR投影图像可基于在扫描周期期间光元件117的扫描位置。对于已知的亚像素移位，这些亚像素移动LR投影图像可用于使用像素超分辨率技术创建HR（例如，亚像素分辨率）2D图像。该HR图像可进一步使用像素的点扩展函数和光学系统被去卷积以恢复试样的聚焦图像。SPLM系统10结合像素超分辨率图像处理技术进行光元件117的可能的精确扫描。

此外，这个成像概念可扩展而超出二维。使用光的不同入射角来产生多次投影的计算机断层摄影术可用于创建物体的三维重建。使用断层摄影术来产生3D图像的例子可在Miao、J.R.R.Qin、Tourovskaia、Anna、Meyer、Michael G.、Neumann、Thomas、Nelson、Alan C和Seibel,Eric J.的“Dual-modal three-dimensional imaging of single cells with isometric highresolution using an optical projection tomography microscope”（J.Biomed.,Opt.,Vol.14,064034(12月21日,2009)）中找到，该文献为了所有的目的特此通过引用被全部并入。在我们的方案中，在整个照明显示器119（例如，LC）上移动光元件117（例如，像素组）可提供3D成像所必需的不同的入射光角度。

IV．操作原理

在一个操作中，试样150稍微放置在光探测器160（例如，CMOS成像传感器阵列）的感测表面162（例如，外表面）之上（例如，在几百纳米到微米的范围内）。照明显示器（例如，LCD）上的单独的发光元件166或小组的发光元件166（例如，像素）被连续地照亮以照亮离开一段距离（例如，5mm-10mm）的试样150，允许光探测器160记录一个或多个系列的亚像素移动LR投影图像，其是“像素化的（pixilated）”。可使用超分辨率技术来处理一个或多个系列的亚像素移动LR投影图像以组合很多LR投影图像来创建较小系列的HR图像。超分辨率技术的例子可在Richard,L.M.、Shultz,R.、Stevenson、Robert L.的“Subpixel motion estimation forsuperresolution image sequence enhancement”（Journal of VisualCommunication and Image Representation(1998)）中找到，该文献为了所有目的特此通过引用全部并入本文。

超分辨率或超分辨率技术指用于成像处理的很多有希望的新技术的通用名，其可涉及从一系列较低分辨率图像创建单个HR图像。一些超分辨率技术可在Park、Sung Cheol、Park和Min Kyu、Kang、Moon Gi的“Super-resolution image reconstruction:a technical overview”（IEEE SignalProcessing Magazine,pp.21-36(2003年5月)(“Park”）中找到，该文献为了所有的目的特此通过引用全部并入本文。一般原理涉及获取一系列LR投影图像，其中目标以低于尼奎斯特速率的速率被采样，但对此，随后的帧涉及轻微的亚像素平移位移。该原理可在Russell,K.J.B.、Hardie,C、Bognar,John G.、Armstrong和Ernest E.、Watson,Edward A.的“Highresolution image reconstruction from a sequence of rotated and translatedframes and its application to an infrared imaging system”（Optical Engineering(1997)）中找到，该文献为了所有的目的特此通过引用全部并入本文。如果这个平移位移是已知的，则矩阵方程的系统可从低分辨率系列建立以求出亚像素值来创建单个HR图像。通常，原始HR图像可在理论上甚至从明显毁损的、模糊的、平移的和旋转的低分辨率图像系列恢复；分辨率仅由衍射限制和噪声限制，如在Park中描述的。

图9是根据本发明的实施方式的SPLM设备100的示例性操作的流程图。SPLM100包括用于在正被成像的整个物体152上移动或以另外方式扫描光元件117的扫描照明源110。SPLM100还包括试样表面140、具有感测表面162的光探测器160、在感测表面162和试样表面140之间的薄透明层165、以及处理器（第一处理器112和/或第二处理器210）。扫描照明源110位于离感测表面162一段距离d处。该示例性操作包括具有单个扫描周期的成像过程。其它实施方式可以有具有多个扫描周期的成像过程。

在步骤310中，物体152放置在SPLM100的试样表面140上。物体152可定位成接近光探测器160的活性层处的感测表面162的感测区域164。

在步骤320中，处理器确定扫描图案。扫描图案的例子在图4（a）和4（b）中示出。扫描图案可包括在扫描周期期间的不同时间的扫描位置和在不同的扫描位置处的光元件117的特性（（例如，所使用的光的波长、光元件的尺寸和形状、光元件的强度）、在相继的LR投影图像之间的期望亚像素位移的量、在扫描中和/或该系列LR投影图像中的期望LR投影图像总数量、在成像过程中的期望HR图像的总数量、以及与SPLM系统10的操作有关的其它适当的信息。处理器可从CRM（第一CRM114或第二CRM220）取回预定的扫描图案，或处理器可基于来自SPLM系统10的用户的输入确定扫描图案。例如，用户可提供信息例如光元件的特性、在相继的LR投影图像之间的期望亚像素位移的量、期望HR图像的总数量和其它适当的输入。

可确定在扫描图案中的扫描位置以产生在感测表面162处的一系列亚像素移动投影。投影170的位移与透明层165的厚度和倾斜/位移幅度（即，相邻扫描位置之间的距离或照明角度变化）成比例。可基于透明层165的厚度和所需的亚像素位移值来确定将导致投影170的亚像素位移的在相邻扫描位置之间的光元件170的平移的量。在扫描图案中的扫描位置可基于相邻扫描位置之间的光元件170的平移的量。

在步骤330中，扫描照明源110根据扫描图案扫描光元件117并修改光元件117的特性。在一个实施方式中，扫描照明源110（例如，智能电话）具有以LCD的形式的照明显示器116。在本例中，扫描图案包括扫描位置的二维阵列和与扫描位置相关的扫描时间。在扫描期间，光元件117可以是LCD中的一组发光部件（例如，像素），其顺序地被照亮以穿过扫描位置的二维阵列的每行来移动光元件117。光元件117的特性可在不同的位置变化。例如，光元件117的尺寸（发光部件的数量）可改变以大致维持在感测表面162处的位置处的相同强度水平。

在一个实施方式中，光元件117可在扫描周期期间的不同时间提供n个不同波长λ₁...λ_n的照明118以得到每个波长的一系列投影图像。可使用任何适当数量的波长（例如，n=1、2、3、4、5...20）。在一个实施方式中，光元件117可在不同的采样时间提供相应于红色、绿色、蓝色的三个波长的λ₁、λ₂和λ₃的照明118。在一些情况下，从一个扫描位置到相邻的扫描位置的照明118可具有不同的波长。在其它情况下，照明118可在第一系列扫描位置期间具有第一波长，并接着在第二系列扫描位置期间提供第二波长的照明118，依此类推，直到相应于n个不同波长的n个系列的投影图像被捕获。

在步骤340中，当光元件117平移到不同的扫描位置时，光探测器160捕获物体152的一个或多个系列的亚像素移动LR图像。对每个扫描位置，光探测器160捕获LR投影图像。

任何适当数量的图像（例如，3、5、10、50、100等）可以在每个系列中。在一个例子中，扫描位置可以是扫描位置的二维阵列的形式，其中扫描位置的每行/列可产生一行亚像素移动投影170。在这个例子中，当光元件117越过扫描位置的二维阵列中的每行/列移动时，一系列亚像素LR图像可被捕获。

在步骤350中，处理器使用适当的方法来确定在感测表面162处的投影170的运动矢量。在一些情况下，处理器也可确定在穿过物体152的其它平行平面处的投影170的运动矢量。可使用确定运动矢量的任何适当的方法。在一个例子中，可基于相邻扫描位置之间的距离和透明层165的厚度来确定在感测表面162处的投影的运动矢量。在另一例子中，可基于相邻扫描位置之间的距离和透明层165的厚度以及在平行于感测表面162的平面和感测表面162之间的距离来确定该平面处的投影的运动矢量。

在步骤360中，处理器使用适当的SR算法来从来自一系列亚像素移动LR投影图像的数据和相应的运动矢量构建物体152的HR图像。例如，处理器可通过使用在穿过物体152的平面处的运动矢量来在该平面处构建物体152的2D图像。在一个例子中，处理器可通过堆叠基于在不同平面处的运动矢量构建的2D HR图像来产生3D HR图像。如果光探测器160是单色光探测器，则HR图像将是单色HR图像（黑白HR图像）。如果光探测器122是彩色光探测器（例如，彩色CMOS成像传感器），则从这个重建产生的图像是彩色图像。

在一个实施方式中，移动和相加SR算法可用于使用来自一系列亚像素移动LR投影图像的数据构建HR图像。在本实施方式中，HR图像网格形成有n的增强因子，其中HR图像网格的每个n x n像素区域相应于LR帧网格的1x1像素区域。接着，HR图像网格填充有来自该系列亚像素移动LR投影图像的相应像素值。从每个图像的已知的估计的亚像素位移、从所确定的运动矢量确定在n x n网格内的像素的映射。换句话说，每个LR投影图像从其原始位置移动了物体152的相对亚像素位移，并接着加在一起以形成HR图像。最后，使用wiener去卷积方法的去模糊可用于移除最终的HR图像中的模糊和噪声。

在一个实施方式中，光元件117可在扫描周期期间的不同时间提供n个不同波长λ₁...λ_n的照明118以得到每个波长的一系列投影图像。在这个实施方式中，处理器可使用适当的SR算法来基于每个系列的亚像素移动LR投影图像和运动矢量来重建每个波长或颜色的HR图像。SPLM设备100可组合不同波长或颜色的HR图像以得到计算出的彩色HR图像。例如，使用RGB照明形式的SPLM设备100可用于构建所计算的彩色（RGB）HR图像。

在步骤370中，处理器可向适当的图像显示器230（例如，二维显示器（彩色或单色）、三维显示器（彩色或单色））显示一个或多个HR图像。可显示由SPLM设备10产生的任何适当的图像。适当图像的一些例子包括：LR投影图像、2D黑白HR图像、2D彩色HR图像、3D黑白HR图像和/或3D彩色图像。

V．超分辨率模型和解

SPLM系统10的实施方式使用SR算法来重建HR图像。SR算法的一个例子是在本章节中描述的通用像素超分辨率模型和解。该通用像素超分辨率模型和解具有简单、快速和非迭代方法，其在最大似然意义上维持估计最优性。这个超分辨率模型和解的一些细节可在Hardie,Elad,M.和Hel-Or,Y.的“A fast super-resolution reconstruction algorithm or puretranslational motion and common space-invariant blur”（IEEE Transactionson Image Processing,Vol.10,pp.1187-1193(2001)）（“Elad”）、Farsiu,Sina等人的“Fast and robust multiframe super resolution”（IEEE Trans ImageProcess,vol.13,pp.1327-1344(2004)）以及Farsiu S等人的“Multiframedemosaicing and super-resolution of color images”的（IEEE Trans ImageProcess,vol.15,pp.141-159(2006)）中找到，这些文献为了所有目的特此通过引用被全部并入。

在扫描周期中，一系列N个捕获的LR投影图像Y_k(k=1,2…N)可用于重建改进的HR图像X。图像可由字典顺序列矢量表示。LR投影图像可通过下列方程建模：

Y_k=DHF_k X+V_k(k=1,2…N) （方程1）

矩阵F_k代表图像X的亚像素移动操作。矩阵H是光探测器160（例如，CMOS图像传感器）的像素转移函数。矩阵D代表小数化操作，其表示在所测量的图像中的观察到的像素的数量的减少。V_k表示具有零平均数和自相关矩阵的高斯加法测量噪声：

X的最大似然估计可被描述为下面的表达式：

（方程2）

且显示对

的闭型解为：

（方程3）

其中，

R = Σ_{k = 1}^{N} F_{k}^{T} D^{T} {DF}_{k}, P = Σ_{k = 1}^{N} F_{k}^{T} D^{T} Y_{k}

R可以是对角矩阵，且该方法的计算复杂度可以是：O(n*log(n))。

VI．不同的方案

A．方案1-2D单色SPLM系统

在第一方案中，实施方式的SPLM系统10可设计成使用适当的SR算法基于一系列LR投影图像和运动矢量来产生试样150的2D单色HR图像。对于这种情况，只有已知的平移位移和系统的空间不变点扩展函数H，其也是已知的。因此，可应用更有效和在计算上高效的超分辨率技术，例如在Elad中提出的下列内容。对于作为SPLM系统10的期望输出的试样150的原始HR图像X，样本的低分辨率图像系列：

Y_{k} = {DHF}_{k} X + V_{k} (k = 1,2 . . . N)

（方程4）

其中F_k是平移位移，H是光学系统的点扩展函数，D_k是原始LR投影图像的向下采样，且V_k是具有自相关的白噪声：

W_{k} = E {V_{k} V_{k}^{T}} .

因此，通过最小化最小二乘误差，如下从一系列N个LR投影图像得到所计算的高分辨率图像

（方程5）

可使用在Elad中描述的迭代方法来计算地完成这个优化。这个优化的最终结果可以是从光探测器160（例如，CMOS图像传感器）所捕获的原始LR投影图像产生的试样的焦点对准的HR图像或一系列HR图像。

在实施方式中，SPLM系统10可包括以像素阵列（例如，矩形像素阵列）的形式的照明显示器116。例如，照明显示器116可以是LCD的矩形像素阵列。在这些实施方式中，在一系列相继的LR投影图像之间的亚像素位移可通过特征亚像素间隔a相关，特征亚像素间隔a与照明扫描系列、探测器阵列像素尺寸、以及试样150与源/探测器之间的距离有关。试样150和照明设备110之间的距离可以是透明层140的顶部与显示表面119之间的距离d。试样150和光探测器160之间的距离可以是透明层165的厚度。

对于具有照明显示器116的SPLM系统10（显示表面119平行于光探测器160的感测表面162和试样表面140），试样表面140的平面上的点到探测平面（即，感测表面162的平面）上的投影将以与sinθ有关的增量移动。角θ是从光元件117（例如，LDC上的一组照明像素的中心）到试样150的点的线相对于试样表面平面法线矢量的角。对于小角，亚像素位移可近似为相等的，且对LR系列的运动矢量的解可通过a的简单一维优化来找到。在照明（LCD）平面和探测器平面平行的情况下，亚像素位移应是“确切地”相等的。

B．方案2-2D彩色SPLM系统

在第二方案中，实施方式的SPLM系统10可设计成使用适当的SR算法基于由彩色光探测器160捕获的一系列LR彩色投影图像来产生试样150的2D彩色HR图像。在这个方案中，SPLM系统10包括可捕获一系列亚像素移动彩色LR投影图像的彩色光探测器112（例如，彩色CMOS传感器）。处理器210可使用适当的彩色超分辨率技术以该系列亚像素移动彩色LR投影图像来产生一个或多个SR彩色图像。最简单的技术涉及对每个颜色分量独立地使用单色超分辨率技术。在另一例子中，可使用涉及转换到不同的颜色空间的更复杂的超分辨率技术，如在Farsiu,Sina等人的“Advances and challenges in super-resolution”（Wiley Periodicals(2004)）中找到的技术，该文献为了所有目的特此通过引用被全部并入。

C．方案3-2D计算彩色SPLM系统

在第三方案中，实施方式的SPLM系统10可设计成使用适当的SR算法基于由多个系列的LR帧来产生试样150的2D彩色HR图像，每个系列与照明118的不同波长或颜色相关。SPLM系统10可基于与不同的波长/颜色相关的每个系列构建2D彩色HR图像。SPLM系统10可组合与不同的波长相关的2D彩色HR图像以产生试样150的2D多颜色HR图像。这些实施方式的SPLM系统10包括扫描照明源100，其具有彩色照明显示器116（例如，彩色LCD）或可产生彩色照明118的另一设备。可使用任何适当的波长和任何数量的波长。在一个例子中，可选择覆盖最宽的可见颜色范围的光的波长。在一些情况下，使用不同的波长/颜色的单独扫描可用于捕获LR投影图像的单独RGB系列。在其它情况下，光元件117可在单次扫描中在不同的波长/颜色之间连续地交替。

在一个实施方式中，SPLM系统10可包括具有RGB照明显示器116（例如，RGB LCD）的扫描照明源100。在这个实施方式中，单独的红色、绿色和蓝色（RGB）扫描可用于捕获LR投影图像的单独RGB系列（即，红色系列、绿色系列和蓝色系列）。这个实施方式的SPLM系统10可基于每个系列产生HR RGB图像。SPLM系统10可基于每个系列组合2D彩色HR图像以产生RGB图像。

D．方案4-具有3D显示器的3D SPLM系统

在第四方案中，实施方式的SPLM系统10可设计成在3D显示器230上进行3D成像。在这个方案中，SPLM系统10可在n个不同的入射角处产生2D HR图像以基于光元件117的不同位置产生物体152的不同视图。

在这个方案中，扫描照明源110将光元件117扫描到从在所关注的n个不同的入射角中的每个周围的范围中的照明角产生照明118的位置。例如，如果从30度看的物体152的视图是期望的，则扫描照明源110可扫描光元件117以从在X/Y中的30+/-2度的范围内的照明角度产生照明118。作为另一例子，如果从-30度看的物体152的视图是期望的，则扫描照明源110可扫描光元件117以从在X/Y中的-30+/-2度的范围内的照明角度产生照明118。单个HR图像的“角度”扫描范围相对于用于得到3D成像的不同视图的大角位移可以是不变的和小的（在本例中是4度）。仍然从由LR图像系列重建来得到每个HR图像，LR图像系列通过扫描照明而被捕获，但以大得多的角度。

从不同的入射角的2D HR图像可组合并显示在3D显示器230（例如，3D监视器）上，或作为旋转gif或视频文件。这可通过使用照明LCD的不同区域来实现以产生样本的高分辨率投影图像，但从不同的角度。

在平行于感测表面的平面处的视图可能被期望的成像方案中，扫描照明源110可将光元件117扫描到从在感测表面的法线周围的范围中的照明角度产生照明118的位置。例如，扫描照明源110可扫描光元件117以从在X/Y中的+/-2度的范围内的照明角度产生照明118。

D．方案5-3D聚焦SPLM系统

在第五方案中，实施方式的SPLM系统10可设计成将2D HR图像“聚焦”在穿过试样150的所关注的不同平面处。SPLM系统10也可将“聚焦的”2D HR图像堆叠在不同的平面处以产生3D HR图像。对于三维试样，SPLM系统10可基于与不同的亚像素位移相关的不同运动矢量从亚像素移动LR图像的系列构建HR图像，以便在三维样本内实现在不同平面处的“聚焦”。

在这个方案下，SPLM系统10可基于所捕获的一系列亚像素移动LR投影图像和在平面处的所确定的运动矢量来在平面处构建每个聚焦的2D图像。例如，SPLM系统10可在平面处创建试样150的切片的2D HR图像。在本例中，SPLM系统10确定该平面处的LR投影图像的运动矢量。SPLM系统10基于在所关注的平面处的确定的运动矢量和光探测器160所捕获的一系列亚像素移动LR投影图像构建聚焦的2D HD图像。SPLM系统10还可通过使用多个运动矢量和同一系列的亚像素移动LR投影图像构建HR图像来重新聚焦在多个平面处。

因为重建的图像的聚焦的质量取决于LR投影图像的亚像素位移的正确估计，且这些亚像素位移取决于在光探测器160和照明平面之间的试样150的距离，使用重建步骤中的不同亚像素位移（即，运动矢量）可允许重新聚焦到光探测器160之上的特定试样平面。这有效地允许单个扩展扫描系列的LR投影图像不仅提供具有从不同角度的投影图像的三维数据（以前的方案），而且聚焦到特定的三维平面。

在一个实施方式中，扫描照明设备110扫掠光元件117以产生在照明角的宽范围之间的照明118，以便产生扩展扫描系列的LR投影图像。图10是根据本发明的实施方式的在光探测器160上的从三个宽范围的入射角θ₁、θ₂和θ₃的三个投影的示意图。改变来自光元件117的光118的照明角度可产生与物体152的不同视图：视图1、视图2和视图3相关的一系列三个投影。在图10中，θ₁=0度，且在负z轴的方向上。光探测器160可捕获与移动的投影相关的一系列LR投影图像。光探测器160也可捕获与宽范围的入射角之间的照明扫掠相关的多个系列的亚像素LR投影图像。这个扩展扫描系列的LR投影图像可用于产生具有从不同视角的投影图像的3D数据（以前的方案），但也提供到特定的3D平面的聚焦。

VI．子系统

图11是根据本发明的实施方式的可存在于SPLM系统10中的子系统的方框图。例如，SPLM系统10包括处理器410。处理器410可包括第一处理器112和/或第二处理器210。在一些情况下，处理器410可以是光探测器122的部件。在一些情况下，处理器410可以是扫描照明源100的部件。

以前在附图中描述的各种部件可使用一个或多个子系统来操作以便于本文所述的功能。附图中的任何部件可使用任何适当数量的子系统来便于本文所述的功能。这样的子系统和/或部件的例子在图11中示出。图11所示的子系统经由系统总线425互连。示出了额外的子系统，例如打印机430、键盘432、固定磁盘434（或包括计算机可读介质的其它存储器）、耦合到显示器适配器438的显示器436、以及其它部件。显示器436可包括照明显示器116和/或图像显示器230。耦合到I/O控制器440的外围和输入/输出设备（I/O）可通过本领域中已知的任何数量的装置例如串行端口442连接到计算机系统。例如，串行端口442或外部接口444可用于将计算机装置连接到广域网例如互联网、鼠标输入设备或扫描仪。经由系统总线的互连允许处理器410与每个子系统通信并控制来自系统存储器446或固定磁盘434的指令的执行以及子系统之间的信息的交换。系统存储器446和/或固定磁盘434可包括第一CRM114和/或第二CRM220。这些元件中的任一个可存在于以前描述的特征中。

在一些实施方式中，输出设备例如SPLM系统10的打印机430或显示器436可输出各种形式的数据。例如，SPLM系统10可输出2D/3D HR彩色/单色图形、与这些图像相关的数据、或与SPLM系统10所执行的分析相关的其它数据。

应理解，可使用计算机软件以模块化或集成的方式以控制逻辑的形式实现如上所述的本发明。基于本文提供的公开和教导，本领域中的普通技术人员将知道和认识到使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。

在本申请中描述的软件部件或功能中的任一个可被实现为由处理器使用任何适当的计算机语言例如Java、C++或Perl使用例如常规或面向对象的技术来执行的软件代码。软件代码可被存储为在CRM例如随机存取存储器（RAM）、只读存储器（ROM）、磁性介质例如硬盘驱动器或软盘或光学介质例如CD-ROM上的一系列指令或命令。任何这样的CRM可存在于单个计算装置上或内，或可存在于系统或网络内的不同计算装置上或内。

“a”、“an”或“the”的陈述用来意指“一个或多个”，除非特别相反地指示。

上面的描述是例证性的而不是限制性的。当查看本公开时，本公开的很多变化对本领域中的技术人员将是明显的。因此，本公开的范围不应参考上面的描述来确定，而替代地应参考待定的权利要求连同其完整的范围或等效形式来确定。

来自任何实施方式的一个或多个特征可与任何其它实施方式的一个或多个特征组合，而不偏离本公开的范围。此外，可对任何实施方式进行修改、添加或省略，而不偏离本公开的范围。可根据特定的需要来集成或分离任何实施方式的部件，而不偏离本公开的范围。

上面提到的所有专利、专利申请、申请和描述为了所有的目的特此通过引用被全部并入。没有一个被承认是现有技术。

Claims

1.一种扫描投影无透镜显微镜设备，包括：

试样表面；

包括光元件的扫描照明源，所述扫描照明源配置成将所述光元件扫描到多个扫描位置以向所述试样表面上的试样提供照明；

在所述试样表面外部的光探测器，所述光探测器配置成对相应于所述多个扫描位置的一系列亚像素移动投影图像采样；以及

处理器，其配置成基于所述一系列亚像素移动投影图像和运动矢量来构建所述试样的高分辨率图像。

2.如权利要求1所述的扫描投影无透镜显微镜设备，还包括位于所述试样表面和所述光探测器之间的透明层。

3.如权利要求1所述的扫描投影无透镜显微镜设备，其中所述照明是非相干光。

4.如权利要求1所述的扫描投影无透镜显微镜设备，

其中所述扫描照明源还包括像素的二维阵列，以及

其中所述光元件是以像素的所述二维阵列的顺序地照亮的像素组的形式。

5.如权利要求4所述的扫描投影无透镜显微镜设备，其中所述二维阵列是LCD。

6.如权利要求1所述的扫描投影无透镜显微镜设备，其中所述照明的强度在不同的扫描位置处变化。

7.如权利要求1所述的扫描投影无透镜显微镜设备，其中来自在每个扫描位置处的所述光元件的照明的强度基于该扫描位置和扫描位置阵列的中心之间的距离。

8.如权利要求1所述的扫描投影无透镜显微镜设备，其中在每个扫描位置处的所述光元件的尺寸基于该扫描位置和扫描位置阵列的中心之间的距离。

9.如权利要求1所述的扫描投影无透镜显微镜设备，其中所述试样是融合性试样。

10.如权利要求1所述的扫描投影无透镜显微镜设备，

其中所述光探测器是彩色传感器阵列，以及

其中所述高分辨率图像是彩色图像。

11.如权利要求1所述的扫描投影无透镜显微镜设备，

其中所述光元件配置成在不同的扫描位置处产生多个波长的照明；

其中所述光探测器还配置成对多个系列的亚像素投影图像采样，每个系列与所述多个波长中的不同波长相关，以及

其中所述处理器还配置成基于所述多个系列的亚像素投影图像产生多个高分辨率图像，以及组合所述多个高分辨率图像以产生彩色高分辨率图像。

12.如权利要求1所述的扫描投影无透镜显微镜设备，其中所述处理器还配置成确定在所关注的平面处的多个亚像素移动投影的运动矢量。

13.如权利要求1所述的扫描投影无透镜显微镜设备，

其中所述运动矢量与穿过所述试样的聚焦平面相关，

其中所述高分辨率图像被聚焦在所述聚焦平面处。

14.如权利要求1所述的扫描投影无透镜显微镜设备，其中在所述多个扫描位置中的相邻扫描位置之间的距离相应于在所述一系列亚像素移动投影图像中的亚像素位移。

15.一种扫描投影显微镜系统，包括：

扫描投影无透镜显微镜设备，其包括：

试样表面；

包括光元件的扫描照明源，所述扫描照明源配置成将所述光元件扫描到多个扫描位置以向所述试样表面上的试样提供照明；以及

16.如权利要求15所述的扫描投影无透镜显微镜系统，还包括与所述处理器电通信的显示器，所述显示器配置成显示所述高分辨率图像。

17.一种使用扫描投影无透镜显微镜设备来产生物体的高分辨率图像的方法，所述扫描投影无透镜显微镜设备具有试样表面、照明显示器、在试样表面外部的光探测器、和处理器，所述方法包括：

在所述试样表面上接收所述物体；

顺序地照亮在多个扫描位置处的所述照明显示器的一个或多个像素以从对所述物体的不同的照明角度提供照明；

捕获与所述多个扫描位置相关的一系列亚像素移动投影图像；

确定在一平面处的所述亚像素移动投影图像的运动矢量；以及

基于所述一系列亚像素移动投影图像和所述运动矢量来构建所述物体的高分辨率图像。