CN109270670A - Led阵列光源、无透镜显微镜及图像处理方法 - Google Patents
Led阵列光源、无透镜显微镜及图像处理方法 Download PDFInfo
- Publication number
- CN109270670A CN109270670A CN201811287643.3A CN201811287643A CN109270670A CN 109270670 A CN109270670 A CN 109270670A CN 201811287643 A CN201811287643 A CN 201811287643A CN 109270670 A CN109270670 A CN 109270670A
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- super
- led array
- holography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 9
- 238000001093 holography Methods 0.000 claims description 62
- 239000013307 optical fiber Substances 0.000 claims description 20
- 238000004020 luminiscence type Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 230000001427 coherent effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000006854 communication Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000010587 phase diagram Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 4
- 239000005357 flat glass Substances 0.000 description 13
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供一种LED阵列光源、无透镜显微镜及图像处理方法,用于对密集样本进行无掩模成像,可以在大视野内实现亚微米级的分辨率,具有低成本,设计紧凑的特点。通过记录不同距离(样本到传感器的距离)的全息光强度分布,用算法恢复全息光场的相位分布,从而得到光经过样品后的全息光场复振幅分布,进而可以得到包括物面在内的任意位置的光场分布。成像过程不需要使用物镜,成像范围近似等于传感器尺寸,比传统光学显微镜视场大数百倍,可广泛用于各种生物切片等样本的快速亚微米显微成像。
Description
技术领域
本发明涉及光学成像领域,特别是涉及一种LED阵列光源、无透镜显微镜及图像处理方法。
背景技术
光学显微镜应用于物理科学在内的各个领域,包括工程学,生物学和医学等。然而,现有的光学显微镜仍然体积庞大且价格昂贵,这使得它很大程度局限在实验室环境中。
通过建立基于计算的显微镜(如全息成像)替代传统的显微镜,可以达到成本低,设计简单紧凑,并可以在野外甚至偏远地区使用的目的。
最近的一个发展方向是,无透镜超分辨全息显微镜,它能在一个大的视野范围内实现亚微米空间分辨率。它的工作原理是,使用多个光源,在距离为3cm~6cm的地方,实现无透镜数字在线全息技术。
样品平面在给定的时间内只有一个光源照亮了物体,在CMOS传感器芯片上投射出了在线全息图。由于对象放置在非常靠近传感器芯片的位置(大约1mm~2mm),所以传感器的整个活动区域成为我们的图像视场。但不幸的是,由于CMOS芯片的像素尺寸有限(大约2μm~3μm),所以这些全息衍射特征采样不足,并且这个超分辨(SR)在线全息图仍然受到双图像伪影的困扰。
在之前的工作中,使用了基于迭代对象支持的相位恢复方法来消除双图像伪影,创造了样品的广域显微镜图像。这种伪影消除方法需要在图像视场中输入对象的位置估计,为此,一个简单的阈值或分割算法就可以用来自动估计对象的位置(创建对象支持)以获得相对稀疏的样本。然而,对于密集的样本却很难估计,这在去除伪影的工作中也具有挑战性。
因此,如何解决密集样本的双图像伪影困扰,提高显示精度,实现密集样本的超分辨显微成像已成为本领域技术人员亟待解决的问题之一。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种LED阵列光源、无透镜显微镜及图像处理方法,用于解决现有技术中密集样本难以估计,精度低等问题。
为实现上述目的及其他相关目的,本发明提供一种LED阵列光源,至少包括:
多个呈阵列排布的发光单元,各发光单元均包括LED、聚光透镜及光纤;
其中,所述聚光透镜设置于所述LED的发光侧,对所述LED发出的光进行会聚;所述光纤设置于所述聚光透镜的聚光侧,用于接收并传输所述LED发出的光。
优选地,所述LED阵列光源至少包括4个光源。
更优选地,所述LED阵列光源为4*4的阵列。
更优选地,各光纤之间的间距设定为50μm~150μm。
更优选地,各光纤的直径设定为80μm~120μm。
更优选地,各LED的光谱照明带宽为5nm~10nm。
为实现上述目的及其他相关目的,本发明提供一种无透镜显微镜,至少包括:
上述LED阵列光源,样品台及图像传感器;
所述LED阵列光源中的发光单元逐个点亮,用于提供不同位置的光源,所述LED阵列光源的出光面朝向所述样品台及所述图像传感器;
所述样品台设置于所述LED阵列光源与所述图像传感器之间,用于放置样品,并设定所述样品与所述图像传感器之间的距离进而确定样品高度;
所述图像传感器设置于所述样品台接收光照的相对一侧,用于采集不同样品高度的所述样品的全息光强信息。
优选地,所述LED阵列光源的出光面与所述样品台上表面的距离设定为8cm~15cm。
优选地,所述样品台上表面与所述图像传感器的距离设定为1mm以内。
更优选地,所述图像传感器还连接一位移装置,通过所述位移装置控制所述图像传感器上下移动,以调整样品高度。
为实现上述目的及其他相关目的,本发明提供一种无透镜显微镜的图像处理方法,至少包括:
1)改变样品高度,采集不同样品高度的样品全息光强信息,进而得到不同样品高度对应的图像堆栈;
2)将各图像堆栈分别合成为不同样品高度对应的超分辨率亚像素全息光强图像;
3)对各超分辨率亚像素全息光强图像进行注册,以对准各超分辨率亚像素全息光强图像;
4)对各超分辨率亚像素全息光强图像进行相位恢复,得到样本的振幅图像及相位图像。
具体地,步骤1)包括:基于不同位置的光源照射一设定样品高度的样品,获得不同入射角的光的多个原始全息光强图像,各原始全息光强图像构成一组图像堆栈;调整样品高度,进而获得不同样品高度对应的图像堆栈。
更具体地,所述光源为部分相干光。
具体地,步骤2)采用像素超分辨率算法将各图像堆栈分别合成为超分辨率亚像素全息光强图像。
更具体地,利用高分辨率网格中像素值的线性组合表示低分辨率网格的像素值,通过最小化成本函数来得到最终的超分辨率亚像素全息光强图像,所述成本函数满足如下关系式:
其中,Y为超分辨率亚像素全息光强图像,C(Y)为成本函数,k,i为水平及竖直方向上的像素编号;p,M为自然数;Xk,i为低分辨率像素值;X'k,i为对应低分辨率网格覆盖的高分辨率像素值;α为高频权重;为高分辨率图像的高通滤波矩阵的转置;Yfil为高分辨率图像的高通滤波矩阵。
具体地,步骤4)包括:依次将上一超分辨率亚像素全息光强图像所在输入平面光场的相位部分传播到下一超分辨率亚像素全息光强图像所在输入平面,对下一超分辨率亚像素全息光强图像所在输出平面执行振幅约束,并更新输入平面光场,在传播过程中,相位保持不变;满足约束条件后完成相位恢复。
更具体地,振幅约束满足如下关系式:
SSE=[∫∫(|g(u,v)|-|G(u,v)|)2dudv]/[∫∫|G(u,v)|2dudv]<ε
其中,SSE为均方差之和;g(u,v)为输出平面光场,通过输入平面光场傅里叶变换得到;|G(u,v)|为设定的振幅分布;ε为预设量。
如上所述,本发明的LED阵列光源、无透镜显微镜及图像处理方法,具有以下有益效果:
本发明的LED阵列光源、无透镜显微镜及图像处理方法利用多高度全息方法通过记录不同距离(样本到传感器的距离)的全息光强度分布,用算法恢复全息光场的相位分布,从而得到光经过样品后的全息光场复振幅分布,进而可以得到包括物面在内的任意位置的光场分布;消除了在样品平面上估计对象支持的需要,在一个大的视野范围内,即使是密集的和连接的标本,也可以消除内部几何图形的伪影,实现超分辨显微成像,具有低成本,设计紧凑的特点;成像过程不需要使用物镜,成像范围近似等于传感器尺寸,比传统光学显微镜视场大数百倍,可广泛用于各种生物切片等样本的快速亚微米显微成像。
附图说明
图1显示为本发明的LED阵列光源的俯视示意图。
图2显示为本发明的LED阵列光源中发光单元的结构示意图。
图3显示为本发明的无透镜显微镜的结构示意图。
图4显示为本发明的无透镜显微镜的图像处理方法的流程示意图。
图5显示为本发明的无透镜显微镜的图像处理方法的原理示意图。
图6显示为本发明的相位恢复算法的原理示意图。
图7显示为本发明的无透镜显微镜得到的完整FOV的低分辨率无透镜全息图。
图8显示为利用本发明的无透镜显微镜的图像处理方法对图7中的密集血液涂片处理后的局部放大图。
元件标号说明
1 LED阵列光源
11 发光单元
111 LED
112 聚光透镜
113 光纤
2 样品台
3 图像传感器
31 感光阵列
32 面板
4 样品
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1~图8。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
实施例一
如图1~图2所示,本实施例提供一种LED阵列光源1,所述LED阵列光源1包括:
多个发光单元11,用于提供光源。
具体地,如图1所示,在本实施例中,所述发光单元11的数量设定为16个,形成4*4的阵列。在实际使用中,可根据需要设定所述发光单元11的数量,优选为不小于4个;阵列的排布方式也不限于正方形,行和列的数量可不相等,不以本实施例为限。
具体地,如图2所示,所述发光单元11包括LED111、聚光透镜112及光纤113。
更具体地,所述LED111提供部分相干光,部分相干光介于相干光(例如,激光)与非相干光(例如,自然光)之间,所述LED111的光谱照明带宽设定为5nm~10nm,可减少相干光照明产生的散斑噪声及多次反射,提高成像质量。所述LED111的发光面朝向所述聚光透镜112。
更具体地,所述聚光透镜112设置于所述LED111的发光侧,对所述LED111发出的光进行会聚,以将所述LED111发出的光耦合到所述光纤113中,在本实施例中,所述聚光透镜112为凸透镜,在实际使用中,任意能将所述LED111的光会聚到所述光纤113中的凹透镜均适用。
更具体地,所述光纤113设置于所述聚光透镜112的聚光侧,用于接收并传输所述LED111发出的光。在本实施例中,所述光纤113的入射端面位于所述聚光透镜112的焦平面上,以提高光线的接收效率。在实际使用中,所述光纤113的入射端面略超前或落后于所述聚光透镜112的焦平面均可,不限于本实施例。所述光纤113的直径D1设定为80μm~120μm,在本实施例中采用100μm;各光纤113之间的间距D2设定为50μm~150μm,在本实施例中采用100μm;具体参数可根据需要进行设定。
需要说明的是,在本实施例中,所述LED111、所述聚光透镜112及所述光纤113的轴线为同一直线。
实施例二
如图1~图3所示,本实施例提供一种无透镜显微镜,所述无透镜显微镜包括:
LED阵列光源1,样品台2及图像传感器3。
如图3所示,所述LED阵列光源1中的发光单元逐个点亮,用于提供不同位置的光源。
具体地,在本实施例中,所述LED阵列光源1设置于所述样品台2及所述图像传感器3的上方。所述LED阵列光源1的具体结构可参阅实施例一,在此不一一赘述。
如图3所示,所述样品台2设置于所述LED阵列光源1与所述图像传感器3之间,用于放置样品4,并设定所述样品4与所述图像传感器3之间的距离进而确定样品高度Z2。
具体地,在本实施例中,所述样品台2设置于所述图像传感器3的上方。所述样品台2的上表面与所述LED阵列光源1出光面的距离Z1设定为8cm~15cm,在本实施例中,优选为10cm。所述样品台2的上表面放置带有所述样品4的载玻片(图中未显示)。
如图3所示,所述图像传感器3设置于所述样品台2接收光照的相对一侧,用于采集不同样品高度Z2的所述样品4的全息光强信息。
具体地,所述图像传感器3至少包括感光阵列31及设置于所述感光阵列31上的面板32,所述图像传感器3的结构以具体装置为准,在此不一一赘述。所述图像传感器3包括但不限于CMOS图像传感器或CCD图像传感器,在本实施例中,优选为CMOS图像传感器。
如图3所示,所述样品台2的上表面与所述图像传感器3的感光阵列31上表面的距离定义为样品高度Z2,所述样品高度Z2设定为1mm以内,在本实施例中,优选为0.7mm~1mm。
更具体地,作为本发明的一种实现方式,所述样品台2包括多个不同厚度的玻璃片,通过替换不同厚度的玻璃片设定不同样品高度Z2(各玻璃片的厚度小于样品高度Z2),各玻璃片的厚度设定为50μm~250μm,在本实施例中,各玻璃片的厚度差值设定为50μm。
更具体地,作为本发明的另一种实现方式,所述图像传感器3还连接一位移装置(图中未显示),通过所述位移装置控制所述图像传感器3上下移动,以调整所述样品高度Z2。
需要说明的是,所述LED阵列光源1,所述样品台2及所述图像传感器3不限于依次从上往下设置,只需满足所述样品台2及所述图像传感器3依次位于所述LED阵列光源1发出光线的光路上即可,不以本实施例为限。
对比例一
本对比例提供一种无透镜显微镜,所述无透镜显微镜与实施例二的不同之处在于,其光源由氙灯附在单色器后耦合到多模光纤实现,其中,所述氙灯的光谱照明带宽设定为5nm,550nm为中心;所述多模光纤的直径设定为100μm,通过光源的平移得到不同视场的图像。其他结构与实施例二相同,在此不一一赘述。
实施例二的无透镜显微镜通过LED阵列光源中的发光单元逐个点亮来得到不同位置的光源,以此获得不同视场的原始全息光强图像,无需移动光源,相较于对比例一装置结构简单,且可避免光源移动过程中带来的控制误差,有效提高成像质量及准确性。
实施例三
如图4~图6所示,本实施例提供一种无透镜显微镜的图像处理方法,在本实施例中,采用实施例二所述的无透镜显微镜获得图像,在实际应用中,可采用对比例一的装置获得图像,不以本实施例为限。所述无透镜显微镜的图像处理方法包括:
如图4~图5所示,1)改变样品高度Z2,采集不同样品高度Z2的样品全息光强信息,进而得到不同样品高度Z2对应的图像堆栈,具体包括:
11)将样品4放置于第一玻璃片上,所述第一玻璃片放置于图像传感器3上,所述第一玻璃片具有第一设定厚度,将所述第一玻璃片的上表面与所述图像传感器3的感光阵列31上表面之间的距离定义为第一样品高度(第一样品高度大于第一设定厚度)。依次点亮所述LED阵列光源1中的各发光单元11,从不同入射角的光获取所述第一样品高度对应的多个原始全息光强图像构成的图像堆栈,同一样品高度Z2对应的原始全息光强图像的数量与所述LED阵列光源1中的发光单元11的数量一致,在本实施例中,同一样品高度Z2对应的原始全息光强图像的数量为16个。
12)将所述样品4放置于第二玻璃片上,所述第二玻璃片放置于所述图像传感器3上,样品高度Z2被调整为第二样品高度。依次点亮所述LED阵列光源1中的各发光单元11,从不同视角获取第二样品高度对应的图像堆栈。
13)更换不同厚度的玻璃片,基于各不同厚度的玻璃片得到不同样品高度Z2对应的图像堆栈。在本实施例中,各玻璃片的厚度设定为50μm~250μm,各样品高度Z2设定为0.7mm~1mm,样品高度Z2选取M个,M为大于1的自然数。在实际应用中,各参数可根据需要进行设定,不限于本实施例。依据样品高度Z2从大到小将得到的图像堆栈依次定义为第一~第M图像堆栈。
如图4~图5所示,2)将各图像堆栈分别合成为不同样品高度Z2对应的超分辨率亚像素全息光强图像,具体包括:
在本实施例中,所述图像传感器3的像素尺寸为2.2μm*2.2μm,这个相对较大的像素尺寸会导致采样问题,因此,采用图像超分辨率算法可有效地降低图像传感器的像素的大小。在实际应用中,可采用任意图像超分辨率算法实现分辨率的提高,包括但不限于超分辨率重建算法及像素超分辨率算法。在本实施例中采用像素超分辨率算法合并图像,得到第一~第M超分辨率亚像素全息光强图像,像素超分辨率算法可克服衍射极限,进一步提高图像分辨率。
更具体地,将原始全息光强图像中各像素的边界作为低分辨率网格,并设置虚拟的高分辨率网格,将多个原始全息光强图像基于所述低分辨率网格进行移动,以更好地近似所述高分辨率网格上的图像,每个低分辨率网格的输出是所述高分辨率网格中像素值的线性组合;然后通过最小化成本函数C(Y)来得到最终的高分辨率图像Y,所述成本函数C(Y)满足下式:
其中,k,i为水平及竖直方向上的像素编号;p,M为自然数;Xk,i为低分辨率像素值;X'k,i为对应低分辨率网格覆盖的高分辨率像素值;α为高频权重;为高分辨率图像Y的高通滤波矩阵的转置;Yfil为高分辨率图像Y的高通滤波矩阵。
如图4~图5所示,3)对各超分辨率亚像素全息光强图像进行注册,以对准各超分辨率亚像素全息光强图像,确保各超分辨率亚像素全息光强图像本质上都是以相同的视场对样品成像得到,(在传感器和样品距离改变时候,样品相对于图像传感器会有稍微平移,需要通过注册算法来消除位置偏差),具体包括:
31)选择任意一幅超分辨率亚像素全息光强图像作为参考图像,选取所述参考图像中的多个像素点作为控制点。
更具体地,在本实施例中,以样品高度Z2最小的超分辨率亚像素全息光强图像(即第M超分辨率亚像素全息光强图像)作为参考图像,由于所述第M超分辨率亚像素全息光强图像最靠近所述图像传感器,理论上其清晰度最高,以此可提高图像数字注册的准确性。在实际应用中,任意一幅超分辨率亚像素全息光强图像均可作为参考图像,不以本实施例为限。
更具体地,在本实施例中,所述控制点的数量设定为三个,且所述控制点均匀分布于所述第M超分辨率亚像素全息光强图像中,以便在相对较大的距离上实现很小的注册错误。在实际应用中,所述控制点的数量可根据需要设定,不以本实施例为限。
32)在除了参考图像外的超分辨率亚像素全息光强图像中分别找到与所述参考图像中控制点位置对应的控制点。
更具体地,基于所述第M超分辨率亚像素全息光强图像中的控制点,找到所述第M-1超分辨率亚像素全息光强图像~第一超分辨率亚像素全息光强图像中对应位置的控制点,不同超分辨率亚像素全息光强图像中对应的控制点圆对称,且不同超分辨率亚像素全息光强图像中对应的控制点的位移正常相关,以利于克服由于图像旋转造成的偏差。
33)对各超分辨率亚像素全息光强图像中控制点附近的设定区域进行数字插值,以形成若干模板。
更具体地,分别对第M-1超分辨率亚像素全息光强图像~第1超分辨率亚像素全息光强图像中的控制点附近区域进行裁剪,在实际应用中,可根据需要设定裁剪区域的面积,不以本实施例为限。然后对各裁剪区域进行数字插值,在本实施例中,数字插值的次数设定为4~6次,在实际应用中,可根据需要设定数字插值的次数,不以本实施例为限。将完成数字插值的各裁剪区域作为模板。数字插值的方法包括但不限于最邻近插值法、平均值插值法、拉格朗日插值法、阿基玛插值法、牛顿插值法或线性插值法。
34)基于各模板利用自动对焦算法计算不同样品高度获得的超分辨率亚像素全息光强图像在高度上的差值,进而获取各控制点的坐标。
更具体地,自动对焦算法进一步包括:分别获取各模板的帧图像,计算各帧图像的清晰度,确定对焦位置,获得新的帧图像;继续计算新的帧图像的清晰度,获得新的对焦位置,不断循环直至达到最高清晰度(或设定清晰度)对应的对焦位置,完成自动对焦。
更具体地,根据各对焦位置计算各超分辨率亚像素全息光强图像对应的样品高度的差值,以此计算出各超分辨率亚像素全息光强图像的控制点之间的坐标变换,确定各控制点的坐标。
35)基于各控制点的坐标,建立仿射变换将除了参考图像外的超分辨率亚像素全息光强图像的数字信息记录到所述参考图像中,进而对准各超分辨率亚像素全息光强图像,保持各超分辨率亚像素全息光强图像的一致性。
更具体地,基于各控制点的坐标建立仿射变换,仿射变换通过线性变换及平移实现图像在不同平面内的转移,仿射变换从几何上有三个要点:变换前是直线的,变换后依然是直线;直线比例保持不变。以此实现各超分辨率亚像素全息光强图像的数字注册,消除各超分辨率亚像素全息光强图像的旋转、平移、推移或翻转。
需要说明的是,任意可实现各超分辨率亚像素全息光强图像对准的方法均适用于本发明,不以本实施例为限。
如图4~图5所示,4)对各超分辨率亚像素全息光强图像进行相位恢复,具体包括:
在实际应用中,可根据需要采用ER算法(Error-Reducation)、HIO算法(HybridInput-Output)、最速下降算法(Steepest-Descent Method)或Y-G算法实现相位恢复。在本实施例中,采用GS算法(Gerchberg-Saxton)对各超分辨率亚像素全息光强图像进行相位恢复,具体步骤如下:
41)如图6所示,将第一超分辨率亚像素全息光强图像所在输入平面光场(零初始阶段)的相位部分向前传播到第二超分辨率亚像素全息光强图像所在平面中。
42)如图6所示,对所述第二超分辨率亚像素全息光强图像所在输出平面执行振幅约束,并将由此产生的更新的输入平面光场的相位部分向前传播到第三超分辨率亚像素全息光强图像所在输入平面中。
43)如图6所示,重复执行步骤42)依次对各超分辨率亚像素全息光强图像所在输出平面执行振幅约束,并将更新的输入平面光场的相位部分向前传播到下一超分辨率亚像素全息光强图像所在输入平面中,直至到达第M超分辨率亚像素全息光强图像所在输入平面。
44)到达所述第M超分辨率亚像素全息光强图像所在输入平面后,执行振幅约束,并将更新的输入平面光场的相位部分返向传播到所述第M-1超分辨率亚像素全息光强图像所在输入平面中。
45)依次对各超分辨率亚像素全息光强图像所在输出平面执行振幅约束,并将更新的输入平面光场的相位部分向后传播到下一超分辨率亚像素全息光强图像所在输入平面中,直至到达所述第一超分辨率亚像素全息光强图像所在平面,完成第一次迭代。
需要说明的是,在传播过程中,相位保持不变;在步骤45)中得到的输入平面光场的相位部分将作为下一次迭代的输入,一般情况下,需完成1~70次迭代才能得到满意的结果,最终获得的复杂光场返回到目标平面,以获取芯片上密集样本的相位图像和振幅图像,完成图像处理。
更具体地,执行振幅约束并产生更新的输入平面光场的步骤包括:将传播过来的输入平面光场的相位部分的期望与当前超分辨率亚像素全息光强图像所在输入平面上测量的光波振幅分布|F|相乘,得到当前超分辨率亚像素全息光强图像所在输入平面光场f(x,y),满足:对当前超分辨率亚像素全息光强图像所在输入平面光场作傅里叶变换,得到对应输出平面光场g(u,v),满足:g(u,v)=|g(u,v)|ei Φ(u,v);保留输出平面光场g(u,v)的相位部分,将输出平面光场的振幅分布替换为对应平面设定的振幅分布|G(u,v)|(希望得到的),更新输出平面光场g'(u,v),满足:g'(u,v)=|G(u,v)|eiΦ(u,v);对更新后的输出平面光场g'(u,v)作傅里叶逆变换,得到更新的输入平面光场f'(x,y);将更新的输入平面光场f'(x,y)的相位部分传播到下一平面,代替振幅约束通过约束均方差之和实现,当均方差之和SSE小于预设量ε时,约束终止,得到满意结果,满足如下关系式:
SSE=[∫∫(|g(u,v)|-|G(u,v)|)2dudv]/[∫∫|G(u,v)|2dudv]<ε。
如图7所示,采用实施例二的无透镜显微镜得到的完整FOV(Field of View,视场角)(24mm2)的低分辨率无透镜全息图。
如图8所示,基于实施例三的无透镜显微镜的图像处理方法,利用5个不同的样品高度Z2(711μm,767μm,821μm,876μm,946μm)对图7中的密集血液涂片处理后的局部放大图,这5个样品高度Z2通过自动对焦算法自动计算得到。有图8可知,本发明实现了对密集样本的高精度还原,消除内部几何图形的伪影,实现超分辨显微成像。
本发明通过LED阵列光源获得不同位置的光源,再基于图像传感器阵列对样品进行采样,得到无透镜全息图;对不同样品高度上的样品进行多重强度测量;利用像素超分辨率算法,有效减少了像素的大小;并对成像数据进行数字注册、对准,解决在线全息图可能出现的旋转和变化;然后经过迭代处理,恢复缺失的光学相位,以此在不需要任何空间掩模步骤的情况下,自动重建样本的显微图像。本发明首次实现无掩模多高度相位恢复,并首次在多高度相位恢复中实现像素超分辨,以数字方式减少全息图像中的伪影。本发明提供一种轻量级的,具有成本效益的设计,可以在资源匮乏的地区,野外使用,这对于显微技术和病理学都是相当重要的。本发明结合迭代相位恢复法和像素超分辨技术,有效的减少了物体平面的未知数。
综上所述,本发明提供一种LED阵列光源、无透镜显微镜及图像处理方法,包括:多个呈阵列排布的发光单元构成的LED阵列光源,各发光单元均包括LED、聚光透镜及光纤;其中,所述聚光透镜设置于所述LED的发光侧,对所述LED发出的光进行会聚;所述光纤设置于所述聚光透镜的聚光侧,用于接收并传输所述LED发出的光。所述设置于所述LED阵列光源与图像传感器之间的样品台,用于放置样品,并设定所述样品与所述图像传感器之间的距离进而确定样品高度。设置于所述样品台接收光照的相对一侧的图像传感器,用于采集不同样品高度的所述样品的全息光强信息。本发明的LED阵列光源、无透镜显微镜及图像处理方法利用多高度全息方法通过记录不同距离(样本到传感器的距离)的全息光强度分布,用算法恢复全息光场的相位分布,从而得到光经过样品后的全息光场复振幅分布,进而可以得到包括物面在内的任意位置的光场分布;消除了在样品平面上估计对象支持的需要,在一个大的视野范围内,即使是密集的和连接的标本,也可以消除内部几何图形的伪影,实现超分辨显微成像,具有低成本,设计紧凑的特点;成像过程不需要使用物镜,成像范围近似等于传感器尺寸,比传统光学显微镜视场大数百倍,可广泛用于各种生物切片等样本的快速亚微米显微成像。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (17)
1.一种LED阵列光源,其特征在于,所述LED阵列光源至少包括:
多个呈阵列排布的发光单元,各发光单元均包括LED、聚光透镜及光纤;
其中,所述聚光透镜设置于所述LED的发光侧,对所述LED发出的光进行会聚;所述光纤设置于所述聚光透镜的聚光侧,用于接收并传输所述LED发出的光。
2.根据权利要求1所述的LED阵列光源,其特征在于:所述LED阵列光源至少包括4个光源。
3.根据权利要求2所述的LED阵列光源,其特征在于:所述LED阵列光源为4*4的阵列。
4.根据权利要求1或2所述的LED阵列光源,其特征在于:各光纤之间的间距设定为50μm~150μm。
5.根据权利要求1或2所述的LED阵列光源,其特征在于:各光纤的直径设定为80μm~120μm。
6.根据权利要求1或2所述的LED阵列光源,其特征在于:各LED的光谱照明带宽为5nm~10nm。
7.一种无透镜显微镜,其特征在于,所述无透镜显微镜至少包括:
如权利要求1~6任意一项所述的LED阵列光源,样品台及图像传感器;
所述LED阵列光源中的发光单元逐个点亮,用于提供不同位置的光源,所述LED阵列光源的出光面朝向所述样品台及所述图像传感器;
所述样品台设置于所述LED阵列光源与所述图像传感器之间,用于放置样品,并设定所述样品与所述图像传感器之间的距离进而确定样品高度;
所述图像传感器设置于所述样品台接收光照的相对一侧,用于采集不同样品高度的所述样品的全息光强信息。
8.根据权利要求7所述的无透镜显微镜,其特征在于:所述LED阵列光源的出光面与所述样品台上表面的距离设定为8cm~15cm。
9.根据权利要求7所述的无透镜显微镜,其特征在于:所述样品台上表面与所述图像传感器的距离设定为1mm以内。
10.根据权利要求7~9任意一项所述的无透镜显微镜,其特征在于:所述图像传感器还连接一位移装置,通过所述位移装置控制所述图像传感器上下移动,以调整样品高度。
11.一种无透镜显微镜的图像处理方法,其特征在于,所述无透镜显微镜的图像处理方法至少包括:
1)改变样品高度,采集不同样品高度的样品全息光强信息,进而得到不同样品高度对应的图像堆栈;
2)将各图像堆栈分别合成为不同样品高度对应的超分辨率亚像素全息光强图像;
3)对各超分辨率亚像素全息光强图像进行注册,以对准各超分辨率亚像素全息光强图像;
4)对各超分辨率亚像素全息光强图像进行相位恢复,得到样本的振幅图像及相位图像。
12.根据权利要求11所述的无透镜显微镜的图像处理方法,其特征在于:步骤1)包括:基于不同位置的光源照射一设定样品高度的样品,获得不同入射角的光的多个原始全息光强图像,各原始全息光强图像构成一组图像堆栈;调整样品高度,进而获得不同样品高度对应的图像堆栈。
13.根据权利要求12所述的无透镜显微镜的图像处理方法,其特征在于:所述光源为部分相干光。
14.根据权利要求11所述的无透镜显微镜的图像处理方法,其特征在于:步骤2)采用像素超分辨率算法将各图像堆栈分别合成为超分辨率亚像素全息光强图像。
15.根据权利要求14所述的无透镜显微镜的图像处理方法,其特征在于:利用高分辨率网格中像素值的线性组合表示低分辨率网格的像素值,通过最小化成本函数来得到最终的超分辨率亚像素全息光强图像,所述成本函数满足如下关系式:
其中,Y为超分辨率亚像素全息光强图像,C(Y)为成本函数,k,i为水平及竖直方向上的像素编号;p,M为自然数;xk,i为低分辨率像素值;x’k,i为对应低分辨率网格覆盖的高分辨率像素值;α为高频权重;为高分辨率图像的高通滤波矩阵的转置;Yfil为高分辨率图像的高通滤波矩阵。
16.根据权利要求11所述的无透镜显微镜的图像处理方法,其特征在于:步骤4)包括:依次将上一超分辨率亚像素全息光强图像所在输入平面光场的相位部分传播到下一超分辨率亚像素全息光强图像所在输入平面,对下一超分辨率亚像素全息光强图像所在输出平面执行振幅约束,并更新输入平面光场,在传播过程中,相位保持不变;满足约束条件后完成相位恢复。
17.根据权利要求16所述的无透镜显微镜的图像处理方法,其特征在于:振幅约束满足如下关系式:
SSE=[∫∫(|g(u,v)|-|G(u,v)|)2dudv]/[∫∫|G(u,v)|2dudv]<ε
其中,SSE为均方差之和;g(u,v)为输出平面光场,通过输入平面光场傅里叶变换得到;|G(u,v)|为设定的振幅分布;ε为预设量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811287643.3A CN109270670A (zh) | 2018-10-31 | 2018-10-31 | Led阵列光源、无透镜显微镜及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811287643.3A CN109270670A (zh) | 2018-10-31 | 2018-10-31 | Led阵列光源、无透镜显微镜及图像处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109270670A true CN109270670A (zh) | 2019-01-25 |
Family
ID=65191887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811287643.3A Pending CN109270670A (zh) | 2018-10-31 | 2018-10-31 | Led阵列光源、无透镜显微镜及图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109270670A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110277057A (zh) * | 2019-06-28 | 2019-09-24 | 京东方科技集团股份有限公司 | 一种显示面板、信号处理方法及显示装置 |
CN112130306A (zh) * | 2020-09-17 | 2020-12-25 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
WO2021073335A1 (zh) * | 2019-10-18 | 2021-04-22 | 南京大学 | 一种基于卷积神经网络的无透镜全息显微微粒表征方法 |
CN113311682A (zh) * | 2021-05-08 | 2021-08-27 | 江苏大学 | 一种无透镜同轴数字全息的微颗粒成像系统及方法 |
CN113395417A (zh) * | 2020-03-11 | 2021-09-14 | 江苏长电科技股份有限公司 | 基于sip封装的野外显微图像传感装置 |
CN113472985A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种基于微分干涉显微镜采集图像的视频处理方法和装置 |
CN116642881A (zh) * | 2023-03-07 | 2023-08-25 | 华为技术有限公司 | 成像系统及方法 |
CN116642881B (zh) * | 2023-03-07 | 2024-06-04 | 华为技术有限公司 | 成像系统及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030042493A1 (en) * | 2001-08-31 | 2003-03-06 | Yuri Kazakevich | Solid-state light source |
US20070086206A1 (en) * | 2005-10-14 | 2007-04-19 | Allen Weng | Light guiding structure for optical fiber |
US20120248292A1 (en) * | 2011-03-31 | 2012-10-04 | The Regents Of The University Of California | Lens-free wide-field super-resolution imaging device |
US20140300696A1 (en) * | 2011-11-07 | 2014-10-09 | Aydogan Ozcan | Maskless imaging of dense samples using multi-height lensfree microscope |
CN104765138A (zh) * | 2015-04-17 | 2015-07-08 | 南京理工大学 | 基于led阵列的多模式显微成像系统及其方法 |
CN105158887A (zh) * | 2015-09-29 | 2015-12-16 | 南京理工大学 | 基于可编程led阵列照明的多模式显微成像方法 |
CN106610522A (zh) * | 2015-10-26 | 2017-05-03 | 南京理工大学 | 一种立体显微成像装置及方法 |
CN106842880A (zh) * | 2017-03-27 | 2017-06-13 | 深圳市美誉镜界光电科技有限公司 | 全息图像生成方法、处理器及全息图像显示装置、设备 |
CN209117966U (zh) * | 2018-10-31 | 2019-07-16 | 上海理鑫光学科技有限公司 | Led阵列光源及无透镜显微镜 |
CN112634380A (zh) * | 2020-12-01 | 2021-04-09 | 西安电子科技大学 | 一种单帧超光学记忆效应的多目标彩色散射成像方法 |
-
2018
- 2018-10-31 CN CN201811287643.3A patent/CN109270670A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030042493A1 (en) * | 2001-08-31 | 2003-03-06 | Yuri Kazakevich | Solid-state light source |
US20070086206A1 (en) * | 2005-10-14 | 2007-04-19 | Allen Weng | Light guiding structure for optical fiber |
US20120248292A1 (en) * | 2011-03-31 | 2012-10-04 | The Regents Of The University Of California | Lens-free wide-field super-resolution imaging device |
US20140300696A1 (en) * | 2011-11-07 | 2014-10-09 | Aydogan Ozcan | Maskless imaging of dense samples using multi-height lensfree microscope |
CN104765138A (zh) * | 2015-04-17 | 2015-07-08 | 南京理工大学 | 基于led阵列的多模式显微成像系统及其方法 |
CN105158887A (zh) * | 2015-09-29 | 2015-12-16 | 南京理工大学 | 基于可编程led阵列照明的多模式显微成像方法 |
CN106610522A (zh) * | 2015-10-26 | 2017-05-03 | 南京理工大学 | 一种立体显微成像装置及方法 |
CN106842880A (zh) * | 2017-03-27 | 2017-06-13 | 深圳市美誉镜界光电科技有限公司 | 全息图像生成方法、处理器及全息图像显示装置、设备 |
CN209117966U (zh) * | 2018-10-31 | 2019-07-16 | 上海理鑫光学科技有限公司 | Led阵列光源及无透镜显微镜 |
CN112634380A (zh) * | 2020-12-01 | 2021-04-09 | 西安电子科技大学 | 一种单帧超光学记忆效应的多目标彩色散射成像方法 |
Non-Patent Citations (1)
Title |
---|
左言胜: "光场的计算与相位恢复的方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 1, pages 136 - 80 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110277057A (zh) * | 2019-06-28 | 2019-09-24 | 京东方科技集团股份有限公司 | 一种显示面板、信号处理方法及显示装置 |
CN110277057B (zh) * | 2019-06-28 | 2021-01-26 | 京东方科技集团股份有限公司 | 一种显示面板、信号处理方法及显示装置 |
WO2021073335A1 (zh) * | 2019-10-18 | 2021-04-22 | 南京大学 | 一种基于卷积神经网络的无透镜全息显微微粒表征方法 |
CN113395417A (zh) * | 2020-03-11 | 2021-09-14 | 江苏长电科技股份有限公司 | 基于sip封装的野外显微图像传感装置 |
CN112130306A (zh) * | 2020-09-17 | 2020-12-25 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
CN112130306B (zh) * | 2020-09-17 | 2022-02-18 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
CN113311682A (zh) * | 2021-05-08 | 2021-08-27 | 江苏大学 | 一种无透镜同轴数字全息的微颗粒成像系统及方法 |
CN113472985A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种基于微分干涉显微镜采集图像的视频处理方法和装置 |
CN116642881A (zh) * | 2023-03-07 | 2023-08-25 | 华为技术有限公司 | 成像系统及方法 |
CN116642881B (zh) * | 2023-03-07 | 2024-06-04 | 华为技术有限公司 | 成像系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109270670A (zh) | Led阵列光源、无透镜显微镜及图像处理方法 | |
McLeod et al. | Unconventional methods of imaging: computational microscopy and compact implementations | |
US11397405B2 (en) | Method and system for pixel super-resolution of multiplexed holographic color images | |
US9426429B2 (en) | Scanning projective lensless microscope system | |
CN107065159B (zh) | 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法 | |
CN108051930B (zh) | 大视场超分辨率动态相位无透镜显微成像装置与重构方法 | |
CN110262026B (zh) | 孔径扫描傅立叶重叠关联成像 | |
US9569664B2 (en) | Methods for rapid distinction between debris and growing cells | |
US9643184B2 (en) | e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images | |
US20180329194A1 (en) | Autofocus system for a computational microscope | |
JP5992456B2 (ja) | 装置、システム及び方法 | |
CN109413407B (zh) | 高空间分辨率光场采集装置与图像生成方法 | |
JP2022529366A (ja) | ディープラーニングベースのカラーホログラフィック顕微鏡のためのシステム及び方法 | |
WO2013184835A1 (en) | Wide-field microscopy using self-assembled liquid lenses | |
CN104181686A (zh) | 基于fpm的光场显微方法 | |
WO2024016774A1 (zh) | 基于波长扫描的无透镜傅里叶叠层衍射层析显微成像方法 | |
WO2021217031A1 (en) | Ultrafast light field tomography | |
CN108537862A (zh) | 一种自适应降噪的傅里叶衍射扫描显微镜成像方法 | |
CN209117966U (zh) | Led阵列光源及无透镜显微镜 | |
CN111610623B (zh) | 基于傅里叶叠层的显微成像方法 | |
CN113850902A (zh) | 一种基于光场显微系统的光场三维重建方法 | |
CN110989155B (zh) | 一种基于滤光片阵列的无透镜显微成像装置及重构方法 | |
CN111917964A (zh) | 一种无透镜荧光显微成像装置及其图像重建方法 | |
CN113534434B (zh) | 一种基于led阵列的光谱显微成像装置及其实现方法 | |
CN208766383U (zh) | 一种多角度照明光源及基于此光源的傅立叶层叠成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |