具体实施方式
图1显示一个示例性无透镜的成像系统100,用于检测沉积在传感器装置150上的样品160中的粒子162。传感器装置150具有图像传感器110和直接布置在图像传感器110的光接收表面112上的流体腔室120,其紧密靠近图像传感器110的光敏像素组件115。无透镜的成像系统100可包括光源130,其照明流体腔室120及含有粒子162在其内的样品160的至少一部分。
由于流体腔室120被直接设置在光接收表面112上,且紧靠着图像传感器110的光敏像素数组114(由光敏像素115组成),故没有必要包括成像物镜,用来使样品160的粒子162成像在图像传感器110的光敏像素数组114上。因此,无透镜的成像系统100在流体腔室120和光敏像素数组114之间不包括成像物镜,而可执行流体腔室120中的样品160的“无透镜成像”。在本发明中,“无透镜成像”是指不使用成像物镜的成像,即,不使用聚焦(折射或衍射)组件,诸如用来形成图像的透镜或针孔孔径,而使图像被形成在图像传感器110上。无透镜成像系统100是利用流体腔室120与光敏像素数组114之间的紧密接近,使用图像传感器110来产生流体腔室120中的样本160的一个或多个图像140。样本160的粒子162可以是在图像140中呈现为粒子图像164而被看见。为了清楚地说明,图1中只有一个粒子162,一个粒子图像164,以及一个像素115被标示。尽管图1显示出像素数组114延伸至图像传感器110的边缘,像素数组114可以仅占据图像传感器110的一部分而不偏离本发明的范围。同样地,像素数组114可以从光接收面112凹进图像传感器110之内而不偏离本发明的范围。
选择性地,无透镜的成像系统100包括分析模块170,其用来分析图像140以得到结果,如感兴趣的粒子的数量和/或浓度。
样品160,例如,是血液样品,人的血液样品,鼻子的擦拭样品,尿液样品,或另外的生物样品。在样品160中感兴趣的粒子162可以包括一个或多个血细胞,组织细胞,细菌,和病原体。
在实施例中,图像传感器110是互补金属氧化物半导体(CMOS)图像传感器。举例来说,图像传感器110是背侧照明的CMOS图像传感器,相比于前侧照明的CMOS图像传感器,其具有改进的光灵敏度。可替代地,图像传感器110是电荷耦合器件(CCD)图像传感器。光源130,例如,是一个发射可见光的发光二极管(LED)或多个LED。光源130可以包括将光导向流体腔室120的聚焦组件,例如将光聚焦到流体腔室120或提供校直的光到流体腔室120。在另一个实例中,光源130包括雷射二极管。光源130可被一体集成于传感器装置150上,例如上述的流体腔室120,而不偏离本发明的范围。
无透镜成像系统100提供简单且相对便宜的对如某类型的血细胞的粒子的检测。因为无透镜成像系统100执行样品160的无透镜成像,故无透镜成像系统100的制造不需要制造成像物镜,也不需要成像物镜相对于图像传感器110和/或光源130的校准;这简化了无透镜成像系统100的制造,并减少了包含在无透镜成像系统100的材料的量,且提高了紧凑性。因此,无透镜成像系统100可以提供比竞争的基于透镜的成像系统更紧凑和成本有效的解决方案。
在某些实施例中,流体腔室120的成像部分具有一个已知的体积,使得特定类型的粒子的浓度可以从图像140检测出的粒子的数目推导出。在一个实施例中,无透镜成像系统100是以静态模式操作,其中样品160首先被装载到流体腔室120中,然后被固定其中,再由图像传感器110来成像。在另一个实施例中,无透镜成像系统是以流动模式操作,其中样品160在流经流体腔室120时,由图像传感器110来成像。后面的实施例允许体积超过流体腔室120的体积的样品可被成像。选择性地,样品160通过流体腔室120的流动,在成像期间可被中断以产生一系列的图像140,每一个图像代表样品160不同部分的静态的图像。无透镜成像系统100的这个实施例可以包括利用适当的机制将样品160泵送流经流体腔室120。图像140,例如,是阴影图像或荧光图像。
在完成样品160的成像之后,可以由流体腔室120中清理掉样品160,以制备用于另一样品160的成像的传感器装置150,使得传感器装置150可重复使用于多个不同的样品160的成像。
图2A和2B显示传感器装置150(图1)的进一步的示例性细节。图2A显示传感器装置150的横截面视图,其中横截面是取自传感器装置150的图像传感器110的平面。图2B显示传感器装置150的横截面视图,其中横截面是取自图像传感器110的沿图2A的线2B-2B的垂直的平面。
光接收表面112是像素数组114的表面,或是,如图2B所示,设置在像素数组114上的层210的顶部。在实施例中,光接收表面112和像素数组114之间的距离远小于被传感器装置150探测的粒子162的大小。例如,光接收表面112和像素数组114之间的距离小于这种粒子的直径,或其他相关的物理尺寸,例如长度或宽度的10%。在另一个实施例中,流体腔室120的位置到像素数组114之间的最短距离远小于粒子162的大小。例如,最短距离小于感兴趣的粒子的直径,或其他相关的物理尺寸如长度或宽度的10%。这两个实施例的紧密接近有助于沉积在流体腔室120中的样品160,使用图像传感器110的无透镜的成像(图1)。
在图2A和2B的实施例中,光接收表面112,壁220,和盖230形成流体腔室120。壁220是例如不透明的,而盖230至少部分是透光的。因此,光源130产生的光的至少一部分可以穿过盖230而照射在流体腔室120的样品160上。壁220可以由黏附到光接收表面112和盖230的柔性层来形成,如双面胶。可替代地,壁220可以由一个或多个黏合到光接收表面112和盖230的刚性隔离物来形成。壁220也可被布置在像素数组114的一部分上,例如,数组114的像素216上;另一方面,像素218位于流体腔室120下方,以便使在其中的样本160可以成像。像素216和218是像素115(图1)的实施例。为了清楚说明,在图2A和2B各图中只有一个像素218被标记。非位于流体腔室120下方的像素,如像素216,可以是暗像素。暗像素是不接收光的像素,因此可用于评估电子的噪音,例如与像素的读出相关联的数据。为清楚地说明,在图2B中不是所有的像素216被标记。
像素数组114可包含多于示于图2A和2B中的像素,而不脱离本发明的范围。同样地,像素数组114的较小或较大部分可位于流体腔室120之下,且流体腔室120可另具有不同于图2A的形状,其也不脱离本发明的范围。例如,流体腔室120可以占据光接收表面112的具有大纵横比的矩形部分。在一个实施例中,像素数组114的每一个像素218包括微透镜,其可将光聚焦入射在像素上的光电二极管上。由于每一个这样的微透镜只能作用于个别的像素218,它们无助于像素数组114的图像的形成。在另一个实施例中,像素数组114的像素是无透镜的,其简化了传感器装置150的制造。同样地,不一定需要能使图像传感器110俘获彩色图像的彩色滤波器,诸如拜尔滤波器(Bayerfilter)。因此,在某些实施例中,图像传感器110是单色图像传感器。
如图2A所示,流体腔室120包括两个流体端口222和224。尽管图2A显示流体端口222和224是由传感器装置150边缘的光接收表面112与盖230之间的间隙所形成,一个或两个的流体端口222和224可以以盖230中的孔来形成,而没有背离本发明的范围。
在一个实施例中,形成流体腔室120的光接收表面112,和选择性地壁220,和盖230,是耐腐蚀的,使得在流体腔室120的流体不会使与样品160接触的光接收表面112,和其它表面腐蚀损坏。因此形成流体腔室120的光接收表面112,及壁220和盖230的一部分可以是生物兼容的,使得在流体腔室120中的样品不会受到流体腔室120的内表面的材料的影响。
图3显示一个示例性的无透镜成像系统300,其用于检测沉积在样品的图像传感器上的样品中的粒子,图像传感器用于使样品成像。无透镜成像系统300是无透镜成像系统100(图1)的实施例。至少无透镜成像系统300的一部分被一体集成在图1的图像传感器110上。无透镜成像系统300包括传感器装置150(图1,2A,和2B),光源130(图1),以及控制模块350。控制模块350控制传感器装置150的至少一部分的功能,及,选择性地,光源130的操作。光源130照射流体腔室120,如图2A和2B所示,其与光接收面112(图2B)直接接触。至少一部分的像素数组114(图2A和2B)通过光接收表面112捕获流体腔室120的图像。
无透镜成像系统300被显示为具有分析模块310,其用于分析由图像传感器110所捕获的图像。分析模块310是分析模块170(图1)的实施例,其包括处理器312和内存320。内存320包括编码于内存存储器中的非挥发性部分的机器可读指令330,选择性地,内存320还包括数据存储器340,用于存储由图像传感器110所捕获的图像和/或从其中提取的资料。
在实施例中,无透镜成像系统300包括外壳390。虽然在图3中未显示出,无透镜成像系统300可以被配置为接收传感器装置150的读出装置,以使其内的样品成像。
无透镜成像系统300包括通讯接口385,其用于与操作者或外部系统诸如外部计算器通讯。通讯接口385接收来自操作者或外部系统的指令,并将这些指令连通到控制模块350和/或分析模块310。通讯接口385也用于将数据,例如流体腔室120的图像和/或从中提取的数据,从分析模块310连通到操作者或外部系统。虽然在图3中未显示出,通讯接口385可以直接从图像传感器110接收图像传感器110所捕获的图像,而没有背离本发明的范围。
另外,无透镜成像系统300包括电源供应器370,其提供电力给一个或多个图像传感器110,光源130,分析模块310,和通讯接口385。
在一个实施例中,控制模块350,分析模块310,通讯接口385,电源供应器370,和选择性地,光源130,被一体集成在共同的集成电路板上。在另一个实施例中,一个或多个电源供应器370,控制模块350,及分析模块310位于无透镜成像系统300的外面,且通过通讯接口385与粒子辨识系统通讯。
传感器装置150可被并入在不同于无透镜成像系统300的无透镜成像系统,或者是独立的装置,而没有背离本发明的范围。
图4显示一个示例性方法400,其使用样本的图像传感器的无透镜成像来检测沉积在图像传感器上样品中的粒子。方法400利用设置在流体腔室中的样品的无透镜成像,流体腔室一体集成于使样品成像的图像传感器的光接收表面上。方法400的执行,例如,是分别利用图1和3的无透镜成像系统100或300。
在步骤410中,样品被沉积在图像传感器的光接收表面上。例如,样品160(图1)被沉积在流体腔室120(图1,2A,2B,和3)中图像传感器110(图1,2A,2B,和3)的光接收表面112(图2A,2B,和3)上。
在步骤420中,样品在步骤410中被沉积在其上的图像传感器,执行样品的无透镜成像,以产生图像。举例来说,图像传感器110产生样品160的图像,样品160在步骤410中被沉积在光接收面112上。选择性地,步骤420的执行是由控制模块350(图3)所控制,例如根据通过通讯接口385(图3)所接收的指令。可替代地,图像传感器110可自由运作,且在电源打开时以规则间隔捕获图像。在某些实施例中,步骤420被重复一次或多次以产生多个样品的图像。
步骤420包括步骤422和424。在步骤422中,样品被照明。例如,光源130(图1和图3)照射流体腔室120以照明沉积在其中的样品160。在步骤424中,图像传感器利用光敏像素数组来检测光。例如,图像传感器110利用像素数组114(图1,2A,2B,和3),来检测入射到光接收表面112上的光。由于流体腔室120与图像传感器110的光接收表面112彼此直接接触,故沉积在流体腔室120中的样品紧密靠近像素数组114。这有助于沉积在流体腔室120中的样品的无透镜成像。
在选择性的步骤430中,检测步骤420所产生的图像中的感兴趣的粒子,例如分析模块310(图3)的处理器312(图3)执行指令330(图3)以检测接收自图像传感器110的图像中的感兴趣的粒子。步骤430可以进一步包括处理检测到的感兴趣的粒子,以产生其他的结果,如一种或多种的感兴趣的粒子的浓度或一种或多种的感兴趣的粒子的性质。
在选择性的步骤440中,将步骤420所产生的图像和/或从选择性的步骤440所提取的结果输出。在一个例子中,图像传感器110将图像传感器110所产生的图像输出到通讯接口385。在另一个例子中,分析模块310将图像传感器110所产生的图像和/或从选择性的步骤430所提取的结果输出到通讯接口385。
图5显示一个示例性方法500,其利用流经流体腔室的样品的无透镜成像来检测粒子,流体腔室被一体集成在使样品成像的图像传感器的光接收表面上。方法500的执行,例如,是分别通过图1和3中的无透镜成像系统100或300。
在选择性的步骤510中,样品流经形成在图像传感器的光接收表面上的流体腔室。例如,样品160(图1)使用本领域已知的方法流经流体腔室120。在步骤520中,方法500执行方法400(图4)的步骤420。步骤510和520被重复执行,以产生样品的多个图像。
选择性地,方法500包括分别执行方法400的步骤430和440的步骤530和540的一个或两个。虽然图5显示其执行是在步骤510和520的所有的重复之后,但步骤530和540可以在步骤510和520的重复时进行。例如,一旦在步骤520中生成图像,则立即在步骤530中检测粒子。
图6显示一个示例性传感器装置600,其执行样品的无透镜成像,诸如图1的样品160,以产生样品的阴影图像。传感器装置600是传感器装置150(图1,2A,和2B)的实施例,其专为样品的阴影成像。传感器装置600包括图像传感器610和设置在其上的流体腔室120(图1,2A,和2B)。图像传感器610是图像传感器110(图1,2A,和2B)的实施例。图6描绘了传感器装置600的横截面视图,如同图2B的传感器装置150。
图像传感器610包括光接收表面612,和光敏像素数组614。光接收表面612,例如,是像素数组614的表面,或者,如图6所示,由设置在像素数组614的层615所提供。光接收表面612,像素数组614,和层615分别是图2A和2B的光接收表面112,像素阵1614,和层210的实施例。在例子中,层615,或者包括抗反射涂层。
流体腔室120由光接收表面612与壁220(图2B)及盖230(图2B)所形成,其类似于图2A和2B所讨论的传感器装置150的情况。像素数组614包括位于流体腔室120下方的像素618,及位于壁220下方的像素616,流体腔室120用来使其中的样品成像。像素616可能是暗像素,像素618和616分别是图2B的像素218和216的实施例。为清楚地说明,在图6中并未标记所有的像素618和616。
图像传感器610被配置用来捕获流体腔室120中的阴影图像。阴影图像是用照明640来曝光流体腔室120而形成,例如由光源130(图1)产生。在图6中所示的示例性场景,照明640至少部分地被在光接收表面612上的粒子650(1),650(2)和650(3)所阻挡,而形成相应的阴影660(1),660(2)和660(3),因此,在图像传感器610使用像素数组614所捕获的阴影图像中,粒子650(1),650(2)和650(3)分别可以阴影660(1),660(2)和660(3)来辨识。照明640实质上可以被校准,如图6的所示,或者被校准而偏移,而没有背离本发明的范围。在实施例中,传感器装置600被配置用来接收具有可见光谱波长的照明640,例如在400奈米到600奈米的范围。
在某些实施例中,传感器装置600被配置用于检测流体腔室120中的粒子的几何性质,例如大小和/或形状,其是通过确定与粒子相关的阴影的形状和大小。利用传感器装置610所产生的图像来确定感兴趣的粒子的几何性质,其准确度受到传感器装置600的几个属性所影响,包括(a)像素数组614的分辨率,(b)照明640的波长,(c)从像素数组614到光接收表面612的距离671,以及在某些情况下,(d)流体腔室120的高度672。这些因素另影响到两个或多个在一起的粒子的正确识别和分离的能力。这种粒子的正确识别和分离有利于高粒子浓度时粒子的鉴别。在下面的描述中,这些因素被讨论于决定单一粒子的几何特性的上下文中。然而,该讨论也适用于结块粒子的几何性质的确定,其可用来在粒子的团块中识别个别的粒子。
在实施例中,像素618的大小远小于流体腔室120中粒子的感兴趣的几何特性的大小。例如,像素618足够小,使得图像传感器610捕获的图像显示阴影660(3)远小于阴影660(1)和660(2)。在这种情况下,图像可以具有所需要的信息,用来确定小于粒子650(1)和650(2)的截面积的粒子650(3)的截面积,其中横截面取自与光接收面612平行的面。在一种示例性利用的情形中,传感器装置600被用于识别一种或多种类型的人类血细胞。红血细胞一般具有6-8微米的直径,而白血细胞的直径在8至18微米的范围。因此,红血细胞和白血细胞之间的区别需要次微米的分辨率,或至少微米级的分辨率。因此,在实施例中,像素618具有微米数量级的大小。
在实施例中,照明640的波长和从像素数组614到流体腔室120中感兴趣的粒子的距离匹配于感兴趣的粒子的大小,用以最小化或减少图像传感器610捕获的图像的绕射效应。当照明640与流体腔室120中的粒子相互作用时会发生绕射效应。像素数组614上的粒子形成的阴影所呈现的绕射效应的程度决定于菲涅耳数(Fresnelnumber)F=a2/λd,其中a是粒子的特征尺寸,例如粒子的半径,λ是照明640的波长,而d是粒子到像素数组614的距离。菲涅耳数远小于远场绕射的代表性的值,远场绕射即观察屏幕离开粒子的距离远大于粒子的大小,并且可以以被称为夫朗和费绕射(Fraunhoferdiffraction)来做近似的说明。接近1且大于1的菲涅耳数相关于近场绕射,其中观察的距离不再被视为远大于粒子的粒径。近场绕射由菲涅耳绕射来说明。粒子的轮廓的精确的成像,或者甚至是近似的成像,需要以菲涅耳数大于1的近场来形成。因此,流体腔室120中的粒子的轮廓的精确的成像,或者甚至是近似的成像,需要从像素数组614到粒子的距离小于粒子的特征尺寸。
图7显示入射在直的边缘的障碍物上的光的平面波的绕射效应,其中,边缘的一侧的区域,其由垂直于入射光的传播方向上的平面内的边缘延伸出,是不透明的,而边缘的另一侧的区域是透明的。对于直的边缘,在边缘后面的观察屏上所观察到的光的强度I(x)可表示为
其中C(x)和S(x)是菲涅耳积分(Fresnelintegrals),x是在垂直于边缘及垂直于入射光的传播方向上从边缘到观察点的距离。边缘位于x=0处。
曲线710,720和730显示三个不同的菲涅耳数的I(x),其中菲涅耳数(由于直边是无限的,故没有特征尺寸,因此,菲涅耳数并不适用于直边的例子。)。每条曲线710,720,以及730所显示的强度分布I(x)的单位702是任意的,其是x的函数,x的单位为微米。x的负值对应于障碍物的遮光部分,而x的正值对应于空间的未遮掩部分。曲线710显示对于FS=1.58的强度分布I(x),其被标记为712。本例子代表,例如,500奈米(nm)的波长的照明640入射在流体腔室120中距离像素数组114约10微米的直边缘障碍物上,其最大强度的点的位置离开边缘约2微米(由箭头714表示)。曲线720显示对于FS=0.5的强度分布I(x),其被标记为722。在这种情况下,其最大强度的点的位置离开边缘约0.6微米(由箭头724表示)。此曲线代表,例如,500奈米(nm)的波长的照明640入射在流体腔室120中距离像素数组114约1微米的直边缘障碍物上。曲线730显示对于FS=0.158的强度分布I(x),其被标记为732。在这种情况下,其最大强度的点的位置离开边缘约0.2微米(由箭头734表示)。该曲线代表,例如,500奈米(nm)的波长的照明640入射在流体腔室120中距离像素数组114约0.1微米的直边缘障碍物上。一般情况下,最大强度的点离开边缘的位置的偏移可被认为是绕射造成的模糊的量度。
Jennings等人显示(天文期刊(TheAstronomicalJournal),118:3061-3067,1999):比较大的圆形障碍物可用直边近似来处理,其与精确解的偏差可以忽略不计。因此,至少曲线720和730的结果是圆形粒子所具有的精确的表示,其中术语圆形粒子是指粒子为圆形,椭圆形,长圆形,或它们的组合。曲线710与精确解之间可能存在一些不可忽略的偏差,曲线710至少定性地适用于目前的讨论。在1.58的菲涅耳数,如曲线710的所示,障碍物的阴影图像会显示相当模糊的轮廓。最大强度的点移位了约2微米,且强度分布另与长尺度的强度振荡相关联,其从障碍物的实际位置向外延伸了几微米。对于半径在3和10微米之间的感兴趣的粒子,其是人类血细胞典型的大小范围,曲线710所示的绕射效应是显著的。另一方面,在曲线730的情况,移位734和相关联的轮廓的模糊可以忽略不计,且允许精确地来确定人血液细胞的大小。与曲线720相关联的移724也是足够地小,足以允许测定人血细胞的大小。
图8显示传感器装置600的几个不同的示范性配置的菲涅耳数和最大强度的点离开粒子的实际位置的移位之间的关系。在直边的近似中,对于在像素数组614上的流体腔室120中的粒子,其与阴影相关联的光的最大强度的点离开粒子的边缘的移位为 因此,移位ΔX可以表示为粒子的特征尺寸和菲涅耳数的函数。相对偏移被定义为Δx/a且可被表示为因此,相对偏移可被表示为只是菲涅耳数的函数。
曲线图801显示相对偏移Δx/a,其被标记为820,其是以相对偏移812对菲涅耳数811绘图。曲线图801显示需要大约75或更大的菲涅耳数,以获得小于10%的相对偏移。曲线图802显示几个不同的粒径的绝对位移ΔX,其是以微米为单位的绝对位移813对菲涅耳数811绘图。迹线831,832,833,834,835,836,和837分别显示6微米,7微米,8微米,10微米,12微米,16微米,和20微米的粒径的绝对位移。
如上所述,红血细胞和白血细胞之间的区别可能需要次微米的分辨率,或至少是微米级的分辨率。同样地,不同类型的白血细胞之间的区分可能需要近微米或次微米的分辨率。因此,在实施例中,传感器装置600被配置成与照明640合作,以产生大于75的菲涅耳数,使得相对偏移小于10%,或是对于10微米粒径的粒子其移位小于1微米。对于红血细胞和更小的白血细胞的次微米的分辨率,其为10%或更少量的相对偏移。例如,从光接收面612到像素数组614的距离671小于0.67微米,使得位于光接收表面612且被500奈米波长的照明640照射的10微米直径的粒子,与至少75的菲涅耳数相关联。在另一个实施例中,菲涅耳数,距离671小于0.33微米,使得位于光接收表面612且被500奈米波长的照明640照射的7微米直径的粒子,与至少75的菲涅耳数相关联。在又另一个实施例中,距离671小于0.33微米,使得7微米直径的粒子,诸如位于光接收表面612且被500奈米波长的照明640照射的红细胞,与75的菲涅耳数相关联。在另一个实施例中,距离671足够小,使得与照明640和位于光接收面612的感兴趣的粒子相关联的菲涅耳数产生小于一个像素618的大小的ΔX;其中像素的大小被定义为在平行于光接收表面612的平面上的像素618的最大尺寸。
对于分散在离开光接收表面612的整个样品的粒子的成像,当流体腔室120的高度672是小的时候,绕射效应可减到最小。因此,在传感器装置600的某些实施例中,高度672是允许感兴趣的粒子沉积在流体腔室120中的最小的高度。例如,对于人类血液的样品,高度672是接近或小于20微米。
图9显示一个示例性的用于检测粒子的无透镜成像系统900,其利用沉积在用于捕捉阴影图像的图像传感器上的样品的无透镜阴影成像。无透镜成像系统900是一个类似于无透镜成像系统300(图3)的无透镜成像系统100(图1)的实施例。比较于无透镜成像系统300,无透镜成像系统900包括传感器装置600(图6),而不是传感器装置150(图1,2和3),且包括分析模块910,而不是分析模块310(图3)。分析模块910包括处理器312(图3)和内存920。内存920包括选择性的数据存储器340(图3)和编码于内存920的非易失性部分的机器可读指令930。指令930包括阴影图像分析932,其被处理器312执行时,可确定传感器装置600所产生的阴影图像中的感兴趣的粒子。指令930还包括几何准则934。处理器312检索几何准则934,依据传感器装置600所产生的阴影图像中的阴影的几何性能来识别感兴趣的粒子。
图10显示一个示例性方法1000,用于产生沉积在图像传感器上的样品的阴影图像,其是使用图像传感器的样品的无透镜成像。方法1000是方法400(图4)的步骤420的一个实施例,且可以通过无透镜成像系统900(图9)来执行。
在步骤1010中,图像传感器执行无透镜成像以产生位于图像传感器的光接收表面上的样品的阴影图像。步骤1010包括并行的步骤1012和1014。在步骤1012中,样品被照明。例如,光源130(图1和9)提供照明640(图6),用以照明样品,如样品160(图1),其位于传感器装置600(图6和9)的流体腔室120(图1和9)中。在步骤1014中,使用图像传感器的光敏像素数组来检测样品发送的光。例如,像素数组614(图6)检测照明640样品发送的光。在实施例中,步骤1014包括步骤1015,其执行使阴影图像的绕射效应最小化或减少的菲涅耳数的检测,如在图6,7和8中所讨论的。
图11显示一个示例性方法1100,其用于检测阴影图像中感兴趣的粒子,例如通过方法1000所产生的阴影图像。方法1100是步骤430(图4)的实施例。方法1100可以由无透镜成像系统900(图9)来执行。
在步骤1110中,检测阴影图像中的感兴趣的粒子。步骤1110包括步骤1112和1114,在步骤1112中,辨识阴影图像中的阴影。例如,处理器312(图3和9)执行阴影图像分析932,以辨识图像传感器610接收到(图6和9)的图像阴影中的阴影。为了这个目的,阴影图像分析932可以包括本领域中已知的方法,如阈值化方法和斑点调查方法。在步骤1114中,几何准则被用来辨识与感兴趣的粒子相关联的阴影。例如,处理器312利用几何准则934(图9)来识别与感兴趣的粒子相关联的阴影。步骤1114可以包括步骤1115和1116中的一个或两个,其分别引用大小准则和形状准则。例如,处理器312从几何准则934检索大小标准和/或形状标准,以辨识与感兴趣的粒子相关联的阴影。
图12显示一个示例性传感器装置1200,其被构造用来对沉积在图像传感器上的样品进行无透镜荧光成像。传感器装置1200是传感器装置150(图1,2A,和2B)的一个实施例,其专为荧光成像。传感器装置1200包括图像传感器1210和设置其上的流体腔室120(图1,2A,和2B)。图像传感器1210是图像传感器110(图1,2A和2B)的一个实施例。图12显示传感器装置1200的横截面视图,如图2B的传感器装置150。
图像传感器1210包括光接收表面1212,和光敏像素数组1214。光接收表面1212,例如,是像素数组1214的表面,或者,如图12的所示,由布置在像素数组1214上的层1215所提供。光接收表面1212,像素数组1214,和层1215分别是图2B的光接收表面112,像素数组114,和层210的实施例。像素数组1214,例如,是图6的像素数组614。
流体腔室120是由光接收表面1212与壁220(图2B)和盖1230(图2B)所形成,其类似于图2A和2B所示的传感器装置150的情况。像素数组1214包括位于流体腔室120下方的像素1218,其用来使其中的样本成像,及位于壁220下方的像素1216。像素1216可能是暗像素。像素1218和1216分别是图2B的像素218和216的实施例。为清楚地说明,不是所有的像素1218和1216都被标记在图12中。
盖1230包括波长滤波器1231,其可以过滤例如由光源130(图1)产生的照明1240,以形成荧光激发照明1241。波长滤波器1231可以被包括在用于照明传感器装置1200的光源,如光源130中,或位于传感器装置1200与光源之间,而不偏离本发明的范围。层1215是,或包括,波长滤波器,其用于至少透射因荧光激发照明1241而在流体腔室120内产生的荧光发射的部分。波长滤波器1231例如是短通滤波器或带通滤波器。层1215的波长滤波器例如是长通滤波器或带通滤波器。在任一种情况下,至少部分地阻挡特定波长以下的光线。在实施例中,波长滤波器1231和层1215的波长滤波器在定义为正常的入射光的传输范围内是相互排斥的,使得没有或只有非常小部分的荧光激发照明1241能够到达像素数组1214。在实施例中,波长滤波器1231层1215的波长滤波器在定义为正常的入射光的传输范围内是相互排斥的,且进一步被分离有限的波长范围,以交待入射在波长滤波器1231和层1215波长滤波器的一个或两个上的非正常角度的入射。在实施例中,照明1240基本上被效直。在例子中,照明1240包括光可见光谱波长范围内的光,波长滤波器1231阻挡至少大部分的波长大于500奈米的照明1240,而层1215阻挡至少大部分的波长小于500奈米的照明1240。
图像传感器1210被配置用来捕获流体腔室120中的样品的荧光图像。荧光图像是将流体腔室120曝光于荧光激发照明1241所形成。在示于图12中的示例性场景中,照明1240激发荧光标记的感兴趣的粒子1250(1)和1250(2)之上和/或其内的荧光团。荧光标记的粒子1250(1)和1250(2)响应荧光激发照明而分别发射荧光放射1242(1)和1242(2)。粒子1250(3)是未被荧光标记的粒子,因此,粒子1250(3)不发射荧光放射。当以荧光激发照明1241照射时,至少一部分的荧光放射1242(1)和1242(2)由层1215发送到像素数组1214。因此像素数组1214会检测到至少一部分的荧光放射1242(1)和1242(2),由此像素数组1214可检测被荧光标记的粒子1250(1)和1250(2)。因为粒子1250未被荧光标记,故粒子1250未被像素数组1214检测到。因此,图像传感器1210产生沉积在流体腔室120中的样品中的被荧光标记的粒子的荧光图像。
图12进一步显示传感器装置1200的子部分1201,其包括被荧光标记的粒子1250(1)。每一个像素1218具有一个接受角1219。为了清楚地说明,仅有一个像素1218标示接受角1219。在实施例中,从光接受表面1212到像素数组1214的接受角1219和距离1271是如此,使得仅有靠近被荧光标记的粒子1250(1)的像素1218能够检测到来自被荧光标记的粒子1250(1)的荧光放射。这些像素被标记为1218'。对于像素1218’,线1243显示接受角1219的部分的轮廓,其包括到荧光标记的粒子1250(1)的视线。其它像素1218不包括在接受角1219之内的到荧光标记的粒子1250(1)的视线。
在实施例中,接受角1219和距离1271是如此,使得只有位置在平行于光接收表面1212的方向上小于一个像素1218的距离的像素1218,才能够检测到在光接收面1212上的荧光标记的粒子的荧光放射。在此实施例中,图像传感器1210产生在光接收表面1212上的荧光标记的粒子的最小模糊的荧光图像。在另一个实施例中,接受角1219和距离1271协作,使得在样品的图像传感器1210所捕获的图像中,重迭的荧光事件的发生率低于期望的阈值,该样品含有典型浓度的感兴趣的荧光标记的粒子。例如,阈值被如此设定,使得荧光标记的人血细胞可在符合临床要求的精度下被计数。在又一个实施例中,接受角1219足够小,使得在样品的图像传感器1210所捕获的图像中,没有重迭的荧光事件,该样品含有典型浓度的均匀分布的感兴趣的荧光标记的粒子。
对于样品的成像,在该样品中感兴趣的粒子不一定沉淀到光接收表面1212上,当流体腔室120的高度1272是小的时,模糊可最小化。因此,在传感器装置1200的某些实施例中,高度1272是可允许感兴趣的粒子沉积在流体腔室120的最小的高度。
在一个实施例中,像素1218的大小远小于流体腔室120中的荧光标记的感兴趣的粒子的大小,其中,像素1218的大小被定义在平行于光接收表面1212的面上的像素1218中的最大尺寸。此允许感兴趣的荧光标记的粒子的准确大小的确定,并且进一步允许,可以依据荧光的检测及图像传感器1210产生的荧光图像中荧光事件的大小,对荧光标记的感兴趣的粒子的辨识。例如,荧光标记的感兴趣的粒子可以以检测到的荧光事件且另满足特定的大小准则的子集被发现。如形状的其它的几何准则也可以被利用来辨识荧光标记的感兴趣的粒子。
图13显示一个用于检测粒子的示例性的无透镜成像系统1300,其利用样品的无透镜荧光成像,该样品沉积在捕获荧光图像的图像传感器上。无透镜成像系统1300是无透镜成像系统100(图1)类似于无透镜成像系统300(图3)的实施例。相比于无透镜成像系统300,无透镜成像系统1300包括传感器装置1200(图12)而不是传感器装置150(图1,2和3),且包括分析模块1310而不是分析模块310(图3)。分析模块1310包括处理器312(图3)和内存1320。内存1320包括选择性的数据存储器340(图3)和编码在内存1320的非易失性部分的机器可读指令1330。指令1330包括荧光图像分析指令1332,当处理器312执行时,可在传感器装置1200所产生的阴影图像中确认感兴趣的粒子。在实施例中,指令1330还包括亮度准则1334和几何准则1336中的一个或两个。处理器312检索亮度准则和/或几何准则1336,从传感器装置1200所产生的荧光图像的荧光事件,分别依据亮度和几何特性,来确定感兴趣的粒子。
图14显示一个示例性方法1400,其用于沉积在图像传感器上的样品的图像传感器的无透镜荧光成像。方法1400是方法400的步骤420(图4)的实施例,且可以通过无透镜成像系统1300(图13)来执行。
在步骤1410中,图像传感器执行无透镜成像来产生位于图像传感器的光接收表面上的样品的荧光图像。步骤1410包括步骤1412和1414。在步骤1412中,以荧光激发光照明样品。例如,光源130(图1和13)产生照明1240(图12),其被波长滤波器1231(图12)过滤,以提供荧光激发照明1241(图12)到样品上,如样品160(图1),位于传感器装置1200(图12和13)的流体腔室120(图1和13)。样品160例如是人类血液样本,其具有以荧光标记特别标记的一种或多种类型的血细胞。在步骤1414中,使用图像传感器的光敏像素数组检测透射通过荧光发射滤波器的光。此透射光为,或者包含,荧光发射。例如,像素数组1214(图12)检测层1215的波长滤波器(图12)发送的部分的荧光发射1242(1)和1242(2)。在实施例中,步骤1414包括步骤1415,步骤1415以接受的角度和从样品到光敏像素数组的距离进行检测,其减小或最小化荧光图像的模糊,如以图12所讨论的。
在一个实施例中,步骤1412和1414同时被执行。在另一个实施例中,步骤1414在步骤1412之后被执行。此实施例相关于以长寿命的荧光物标记的粒子的荧光成像,且在样品不暴露于荧光激发光时由于荧光图像被捕获而可提供改进的信号-背景的比率。
图15显示一个示例性方法1500,用于检测在荧光图像中的感兴趣的粒子,如在方法1400中产生的荧光图像。方法1500是步骤430(图4)的实施例。方法1500的执行是通过,例如,无透镜成像系统1300(图13)。
在步骤1510中,感兴趣的粒子在荧光图像中被检测。步骤1510包括步骤1512和选择性的步骤1514,在步骤1512中,荧光事件在荧光图像中被标识。例如,处理器312(图3和13)执行荧光图像分析指令1332,以确定来自图像传感器1210(图12和13)的荧光图像中的荧光的事件。为了这个目的,荧光图像分析指令1332可以包括本领域中已知的方法,如阈值化方法和斑点调查方法。在选择性的步骤1514中,准则被引用来确定与感兴趣的粒子相关的荧光事件。例如,处理器312执行步骤1515和1516中的一个或两个,以确定与感兴趣的粒子相关的荧光事件。在步骤1515中,亮度准则1515被引用来识别亮度与特定亮度标准一致的荧光事件。例如处理器312利用亮度准则1334(图13)来识别与感兴趣的粒子相关的荧光事件,和潜在地,排除与感兴趣的粒子不相关的荧光事件。在步骤1516中,几何准则被引用来识别与感兴趣的粒子相关的几何特性,如大小和/或形状,的荧光事件。例如,处理器312利用几何准则1336(图13),来识别大小和/或形状与感兴趣的粒子一致的荧光事件,且,潜在地,排除与感兴趣的粒子不相关的荧光事件。
特点的组合
如上所述的特点及如下所述的权利要求可以以各种方式组合,而不脱离本发明的范围。例如,应该理解到,本文所描述的无透镜成像系统,装置,或方法的各方面可以结合或交换本文所描述的其他的无透镜成像系统,装置,或方法的特点。下面的例子说明上述实施例的可能的非限制性的组合。明显地,可以对本发明的系统,装置,和方法做许多其他的变化和修改而不脱离本发明的精神和范围:
(A1)用于检测沉积在图像传感器上的样品中的粒子的无透镜成像系统可以包括用于保持样品的流体腔室和用于使样品成像的图像传感器,其中图像传感器具有光接收表面和多个设置在光接收表面下方的光敏像素,其中流体腔室至少部分由光接收表面形成。
(A2)如(A1)所示的无透镜成像系统还可以包括光源,用于照明样本以便在至少部分的多个光敏像素上形成样品的图像。
(A3)在如(A1)和(A2)所示的无透镜成像系统中,图像传感器可以是互补金属氧化物半导体(CMOS)图像传感器。
(A4)在如(A3)所示的无透镜成像系统中,图像传感器可以是背侧照明的CMOS图像传感器。
(A5)在如(A1)至(A5)所示的无透镜成像系统中,光接收表面至少部分可让光源发射的光透射,且图像可以是阴影图像,其包括样品中的粒子遮挡至少一部分的光源所发射的光所形成的阴影。
(A6)在如(A1)至(A5)所示的无透镜成像系统中,光接收表面和多个光敏像素之间的距离可小于1微米。
(A7)在如(A5)和(A6)所示的无透镜成像系统中,光接收表面到多个光敏像素之间的距离,感兴趣的粒子的大小,和光源发射的光的波长可以是如此,使得来自光源而被感兴趣的粒子所绕射的光的最大强度的位置,在平行光接收表面的方向上离开感兴趣的粒子的距离少于一个光敏像素,该感兴趣的粒子在样品中且位于光接收表面上。
(A8)在如(A5)至(A7)所示的无透镜成像系统中,感兴趣的粒子可以是人血细胞,且光接收表面到多个光敏像素之间的距离,感兴趣的粒子的大小,和光源发射的光的波长可以是如此,使得来自光源而被感兴趣的粒子所绕射的光的最大强度的位置,在平行光接收表面的方向上离开感兴趣的粒子的距离少于一个光敏像素,该感兴趣的粒子在样品中且位于光接收表面上。
(A9)在如(A5)至(A8)所示的无透镜成像系统中,光接收表面到多个光敏像素之间的距离,感兴趣的粒子的大小,和光源发射的光的波长可以形成大于75的菲涅耳数。
(A10)在如(A5)至(A9)所示的无透镜成像系统中,光接收表面到多个光敏像素之间的距离,感兴趣的粒子的大小,和光源发射的光的波长可以是如此,使得样品中感兴趣的粒子可以利用大小的选择准则来辨识。
(A11)如(A1)至(A10)所示的无透镜成像系统,可以进一步包括:(i)处理器,和(ii)指令,其包括大小选择准则和形状选择准则中的至少一个,处理器可以使用大小选择准则和形状选择准则中的至少一个来辨识感兴趣的粒子。
(A12)在如(A1)至(A4)所示的无透镜成像系统中,图像可以是样品中的荧光标记的粒子的荧光图像。
(A13)如(A12)所示的无透镜成像系统,可以进一步包括波长滤波器,用于将荧光激发照明发送到样品,且至少部分地阻挡不同于荧光激发照明的波长的光。
(A14)在如(A12)和(A13)所示的无透镜成像系统中,光接收表面可以包括波长滤波器,用于发送荧光发射且至少部分地阻挡荧光激发照明。
(A15)如(A12)至(A14)所示的无透镜成像系统,可以进一步包括(i)处理器,和(ii)指令,其包括荧光亮度准则,处理器在执行时可使用荧光亮度准则来辨识感兴趣的粒子。
(A16)在如(A1)至(A15)所示的无透镜成像系统中,流体腔室可位于多个光敏像素的一部分之上,且非位于流体腔室的下方的多个光敏像素的另一部分是暗像素。
(A17)在如(A1)至(A17)所示的无透镜成像系统中,感兴趣的粒子可以包括人类血细胞,或是一种或多种类型的人类血细胞。
(B1)一种检测沉积在图像传感器上的样品中的感兴趣的粒子的方法,是利用图像传感器的无透镜成像方法,其可以包括照明沉积在图像传感器的光接收表面上的样品来产生样品的图像。
(B2)如(B1)所示的方法还可以包括检测图像中感兴趣的粒子。
(B3)在如(B1)和(B2)所示的方法中,产生图像的步骤还可以包括使用图像传感器的光敏像素来检测光,其中光从样品传播到光敏像素时仅通过平坦表面。
(B4)在如(B1)至(B3)所示的方法中,产生图像的步骤可以包括当样品流过光接收表面的至少一部分时产生图像。
(B5)在如(B1)至(B4)所示的方法中,产生图像的步骤可以包括照明图像传感器及其上的样品以形成在图像传感器上的样品的阴影图像。
(B6)如(B5)所示的方法,可以包括引用大小准则和形状准则中的至少一个来检测感兴趣的粒子。
(B7)在如(B5)和(B6)所示的方法中,产生图像的步骤可以包括产生样品的图像,其中样品被沉积在光接收表面的垂直方向上离开图像传感器的光敏像素一个距离,使得与照明的步骤及由任何个别的感兴趣的粒子所绕射有关的光的最大强度的位置,在平行于光接收表面的方向上,离开个别的感兴趣的粒子的距离小于一个光敏像素。
(B8)在如(B5)至(B7)所示的方法中,产生图像的步骤可以包括产生样品的图像,其中样品被沉积在光接收表面的垂直方向上离开图像传感器的光敏像素一个距离,使得与照明的步骤及由任何个别的感兴趣的粒子所绕射有关的光的最大强度的位置,在平行于光接收表面的方向上,离开个别的感兴趣的粒子的距离小于两个微米。
(B9)如(B8)所示的方法,可以包括检测图像中的感兴趣的粒子,其包括人血细胞或一种类型的人血细胞。
(B10)在如(B1)至(B4)所示的方法中,产生的步骤可以包括:(i)将样品暴露于荧光激发光,和(ii)至少部分地,将来自样品的荧光发射传送到图像传感器的光敏像素上,以形成在图像传感器上的样品的荧光标记的粒子的荧光图像。
(B11)在如(B10)所示的方法中,曝光的步骤可以包括波长过滤光源朝向样品传播的光,以产生荧光的激发光。
(B12)在如(B10)至(B11)所示的方法中,发送荧光发射的步骤可以包括波长过滤样品朝向光敏像素传播的光,以至少部分地发送荧光发射,且至少部分地阻挡荧光激发光。
(B13)如(B10)至(B12)所示的方法可进一步包括通过辨识荧光图像中的荧光标记的粒子来检测感兴趣的粒子。
(B14)在如(B1)至(B13)所示的方法中,感兴趣的粒子可以包括人类血细胞,或一种或多种类型的人类血细胞。
对上述的系统和方法可以做出改变而不脱离本发明的范围。因此应当指出,包含在上述的描述及显示在附图中的内容应当被解释为说明性的而不是限制性的。下面的权利要求旨在覆盖本文中所描述的一般的和具体的特征,以及本发明的方法和装置的范围的所有陈述,其中它们只是语言的关系,都可以被认为是属于其间。