CN112580808B - 一种基于改进型led矩阵无透镜成像方法 - Google Patents

Abstract

本发明公开了一种基于改进型LED矩阵无透镜成像方法，克服了现有技术中每次只点亮一个LED灯，导致成像质量低的问题，它包括下列步骤：S1：单片机对LED矩阵光源进行编码曝光，使LED灯按规律依次点亮，每次点亮的光通过成像装置，然后在电荷耦合元件传感器上获得低分辨率的强度图像I_n；S2：将获得的强度图像I_n根据迭代算法重建出一张高分辨率的图像；S3：深度神经网络对成像质量进行自动判别，输出高质量的图片。按照规律每次点亮不同位置、不同数量LED灯，提高了成像质量；同时能对成像质量进行判别，输出高质量图片。

Description

一种基于改进型LED矩阵无透镜成像方法

技术领域

本发明涉及计算成像，及无透镜显微成像技术领域，特别涉及了一种基于改进型LED矩阵无透镜成像方法。

背景技术

目前的生物医学检测，通常使用显微镜对病理细胞进行检查从而观察病理变化、进行病理诊断，但使用显微镜进行观察存在观察的分辨率与视场不可兼得的问题。

因此新型的显微成像技术应运而生，与传统的基于镜头的成像相比，无镜头成像由于其简单性，便携性和紧凑性而在各种应用中变得越来越流行。由于不涉及透镜就不存在分辨率与视场不可兼得的问题，因此可以通过无透镜成像实现衍射极限分辨率。无透镜成像的另一个大优点是可以获取相位信息，与传统的明场强度图像相比，它可以提供更好的对比度，特别是对于弱散射生物样本，可以实现无创无标签成像。

但是目前基于无透镜的成像技术还不成熟，无透镜成像仍存在诸多问题。如中国专利局2015年12月16日公开了一种名称为一种基于彩色LED阵列照明的无透镜相位显微层析装置及其图像重构方法的发明，其公开号为CN105158894A。该发明公开了一种基于彩色LED阵列照明的无透镜相位显微层析装置及其图像重构方法，包括依次设置的LED阵列、样品台、相机构成成像系统，该LED阵列安放于整个成像系统的最下方，并且LED阵列的中央LED像素的光敏面位于整个成像系统的光轴上，通过该装置实现的图像重构。该发明不借助于任何成像光学元件，就可以获得样品的折射率层析图像，从而实现生物细胞样品的无标记“真三维成像”，显著提升了显微镜的灵活性与多功能性；但每次只点亮一个LED光源，存在照明光源LED间的角度差，亮度差，功率差等问题，使得照射待测样品的光强不一致，从而导致成像质量变差。

发明内容

本发明的目的是克服现有技术中基于LED矩阵的无透镜显微成像获取到的大多数的都是暗场图像，信噪相较于明场图像更低，成像质量较差的问题，针对实际应用中对成像结果专业性知识的高要求性，提供了一种基于改进型LED矩阵无透镜成像方法，主要对照明的LED进行改进，使得光源照射样品时光强一致，促进成像速度与成像质量的提升。

为了实现上述目的，本发明采用以下技术方案：一种基于改进型LED矩阵无透镜成像方法，其特征在于，它包括下列步骤：

S1：单片机对LED矩阵光源进行编码曝光，使LED灯按规律依次点亮，每次点亮的光通过成像装置，然后在电荷耦合元件传感器上获得低分辨率的强度图像I_n；

S2：将获得的强度图像I_n根据迭代算法重建出一张高分辨率的图像；

S3：深度神经网络对成像质量进行自动判别，输出高质量的图片。

编码曝光指将传统门函数曝光方式进行编码，改为按编码方式控制LED矩阵光源曝光，可以更好的恢复出模糊图像。同时，采用单片机控制LED灯按规律点亮，逐步增加每次照明的LED灯的数量，使得照射待测样品的光强一致，有利于重建处高分辨率的图像。电荷耦合元件传感器为一种光传感器，可以记录图像的衍射图像，具有图像质量高的优点。迭代相位恢复算法为一种现有技术，是在光束整形衍射光学元件的设计中，为提高目标衍射图样的重构精度，提出的一种算法。早在1971年，这种算法就已经提出了。至今为止，已经有多种不同的迭代算法，如GS算法、IFT算法以及杨顾算法，也有多篇关于迭代相位恢复算法的论文。目前的LED无透镜成像方法也基本采用的迭代算法来重建高分辨率图像。因此，我们可以直接依据已有的迭代相位恢复算法，由获取的一系列低分辨率的强度衍射图像，重建出超出物镜截止频率的样品频谱，最终得到高分辨率的样品显微图像。然后使用深度学习神经网络对成像质量进行自动判别，只有当满足判别条件时，高质量的图片才会得到输出，提高了最终输出图片的质量。

作为优选，步骤S1中，单片机控制LED灯点亮的方式为：

单片机通过编码控制其相应引脚的电压变化来控制LED矩阵中LED灯的亮灭；单片机控制LED矩阵每一次点亮不同数量、不同位置的LED灯，N×N的LED矩阵一共进行N/2+1次点亮，第n次点亮4(n-1)个灯，n>2。

由于光的波动性，当LED散发出来的光照射到待测样品上会发生衍射现象，我们记录的也是衍射图样。在传统的基于LED矩阵的无透镜成像方式是使不同角度的入射光波照射待测样品不同位置，每次只点亮一个，每次照明都要与其他部分重叠，在频域观察就是每次照明得到的频谱都要叠加。但是越角落的LED灯照在待测样品上的光强也越小，获得的都是暗场图像，成像质量低。使用单片机编码对LED矩阵点亮的次数以及每次点亮的LED灯的位置和个数进行控制，改变每次点亮的LED灯的位置，提升每次照明的LED个数，提高了照明的光强，提高了成像质量。

作为优选，步骤S1进一步包括：

S1.1：第一次点亮，单片机控制LED矩阵使用i₁安培的电流点亮位于成像系统轴向位置的LED，LED发出的总光强为：

e₁(r)＝e_1,1(r)

然后光通过成像装置，在电荷耦合元件传感器上得到其中1,1表示第一次点亮时的第一个LED，e_1,1(r)表示点亮的一个LED灯发出的光强，/>表示第一次点亮时电荷耦合元件传感器上获取的强度信息；

S1.2：第二次点亮，单片机分别使用：

安培的电流点亮四个分别位于中心LED外一维四个角上的LED，发出的总光强为：

e₂(r)＝e_2,1(r)+e_2,2(r)+e_2,3(r)+e_2,4(r)

然后光通过成像装置，在电荷耦合元件传感器上得到

其中d_2,1表示第二次点亮时外一维四个角上的LED到中心LED的距离，h表示中心LED距离待测样品的距离，e_2,1(r)，e_2,2(r)，e_2,3(r)，e_2,4(r)分别为四个LED发出的光强，表示第二次点亮时电荷耦合元件传感器上获取的强度信息；

S1.3：第三次点亮，单片机使用：

安培的电流点亮四个分别位于中心LED的外二维四条边上等距分布的LED灯，分别使用：

安培的电流点亮四个分别位于中心LED的外二维四角上的LED灯，第三次点亮时发出的总光强为：

e₃(r)＝e_3,1(r)+e_3,2(r)+e_3,3(r)......+e_3,7(r)+e_3,8(r)

然后光通过成像装置，在电荷耦合元件传感器上得到I_u3；

其中d_3,1表示外二维四条边上等距分布的四个LED到中心LED的距离，d_3,2表示外二维四角上四个LED到中心LED的距离，e_3,1(r)，e_3,2(r)，e_3,3(r)……e_3,7(r)，e_3,8(r)分别为八个LED灯发出的光强，I_u3表示第三次点亮时电荷耦合元件传感器上获取的强度信息；

S1.4：第n次点亮，单片机分别使用：

安培的电流点亮分别位于中心LED的外(n-1)维四条边上等距分布的4(n-2)个LED，分别使用：

安培的电流点亮四个分别位于中心LED的外(n-1)维四角上的LED灯，第n次点亮时发出的总光强为：

e_n(r)＝e_n,1(r)+e_n,2(r)+......+e_n,4(n-1)(r)

然后光通过成像装置，在电荷耦合元件传感器上得到

其中d_n1表示外(n-1)维四条边上等距分布的4(n-2)个LED到中心LED的距离，d_n,2表示外(n-1)维四角上四个LED到中心LED的距离，e_n,1(r)，e_n,2(r)，……e_n,4(n-1)(r)分别为4(n-1)个LED发出的光强，表示第n次点亮时电荷耦合元件传感器上获取的强度信息。

传统的基于LED矩阵的无透镜成像方式每次只点亮一个，其各个角度LED照射待测样品时光强都是不均匀的，尤其是对于在LED矩阵边缘斜入射的LED光强是要远小于成像系统轴向(即LED矩阵中间的LED)的LED光强，将成像系统轴向LED的光强记为参考光I_r与成像系统轴向LED成α的LED光强记为I_n，依据朗伯定律：I_n＝I_rcos(α)⁸，角度偏差越大时光强也就越小而较低的光强使得采集到的图像都是暗场图像，不利于重建处高分辨率的图像。因此，本发明采用单片机控制LED灯按规律点亮，第一次点亮轴向位置的一个LED灯，第二次点亮外一维四个角上的共四个LED灯，第三次点亮外二维四个角上的LED灯加四个分别位于中心LED的外二维四条边上等距分布的LED灯共8个灯，第n次点亮外(n-1)维四个角上的LED灯加4(n-2)个分别位于中心LED的外(n-1)维四条边上等距分布的LED灯共4(n-1)个LED，n>2,同时不同位置的LED灯，点亮其的电流也不一样。即通过单片机提升每次照明的LED个数的同时还控制了LED的电流使得每次点亮的总光强相等，从而提升了成像质量。

作为优选，步骤S1中，光通过成像装置的过程进一步包括：

S a：LED光通过成像装置上的针孔进行光线的汇聚，光通过针孔后的光强表示为：

U₁＝P_M(r)·e_n

其中P_M(r)为针孔在迭代算法中的表示，e_n表示LED灯发出的光的光强；

S b：通过针孔的光，传播到待测样品平面发生衍射现象。

针孔可以对光的照射范围进行限制，当光照射到针孔时只有孔径范围内的光可以透过，而孔径范围外的光是不能通过的，增强了成像的鲁棒性。

作为优选，步骤S b中光通过针孔后传播到待测样品的步骤进一步包括：

S b1：针孔的出射波U₁，通过一段空间距离传播到待测样品的表面，入射波的光强表示为：

U₂＝PSF₁*U₁

PSF₁为点扩散函数，表示光波在空间传播，*表示卷积；

S b2：入射波与待测样品O发生衍射现象，出射波的光强为：

U₃＝U₂·O

得到LED灯发出的光经过成像装置后的出射波的光强，便于之后计算电荷耦合元件传感器上获得的图像的强度信息。

作为优选，步骤S1中，在电荷耦合元件传感器上获得低分辨率的强度图像I_n的步骤进一步包括：

S c：待测样品的出射波U₃通过一段空间距离传播到电荷耦合元件传感器，此时光强表示为：

U₄＝PSF₂*U₃

S d：电荷耦合元件传感器上得到一张待测样品的低分辨率的强度衍射图像，表示为：

I_n＝|U₄|²

电荷耦合元件传感器可以采集每次点亮LED灯时光通过成像装置后的强度信息然后将其传递到计算机上进行迭代运算处理。

作为优选，步骤S3进一步包括：

S3.1：将重建出的高分辨率图像和LED的点亮电流等相应参数输入到深度神经网络中，依据一个线性模型对成像质量进行自动判别；

S3.2：深度神经网络将信息反馈到单片机，对单片机控制LED的电流进行调整。

神经网络是一个训练完成的神经网络，根据神经网络可以判别图像质量是否良好，只有成像质量满足一定要求时才会作为输出结果输出图像，以及对单片机控制LED的电流进行调整，使得每次照明时待测物体接受到的光强一致，有效减少了成像时间，提高了成像质量。

因此，本发明具有如下有益效果：1、通过单片机将LED矩阵设置为每次按照特定规律依次点亮多个LED灯，提升了照明的光强，从而提升了图像的信噪比，提高了每次成像的速度和质量；2、将通过迭代算法生成的图像，及相应的参数输入到深度神经网络中，依据一个线性模型对成像质量进行判别，同时可以依据神经网络对单片机控制LED的电流进行调整，使得每次照明时待测物体接受到的光强一致，提高了最终成像的质量，有效的减少了成像的时间。

附图说明

图1为本发明的具体操作流程图；

图2本发明的LED点亮图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

如图1所示的实施例中，可以看到一种基于改进型LED矩阵无透镜成像方法，其操作流程为：单片机对LED矩阵进行编码，控制LED矩阵中LED灯依次点亮；LED光源对待测样品进行照明，光线通过改进型无透镜显微成像装置后，传播到电荷耦合元件传感器上，获得低分辨率的强度图像I_n；计算机通过迭代算法将获得的多幅低分辨率的强度图像进行重建，得到高分辨率图像，同时将重建出的图像和相应的参数输入到深度神经网络中；深度神经网络一方面依据一个线性模型对重建出的图像进行自适应的判别，通过判别的图像才能输出，由此获得高分辨率图像，另一方面将数据反馈到单片机，对LED灯的亮度进行校正。

如图二所示的实施例中，单片机点亮LED灯的步骤为：

a：第一次点亮，单片机使用i₁安培的电流点亮位于成像系统轴向位置的LED，使得发出的总光强记为：

e₁(r)＝e_1,1(r)

然后光通过成像装置，在电荷耦合元件传感器上得到接着进行第二次点亮。

其中1,1表示第一次点亮时的第一个LED，e_1,1(r)表示点亮的一个LED灯发出的光强，表示第一次点亮时电荷耦合元件传感器上获取的强度信息。

b：第二次点亮，依据I_n＝I_rcos(α)⁸，第二次点亮时需要点亮四个到中心LED距离为的LED，单片机分别使用：

安培的电流点亮四个分别位于中心LED外一维四个角上的LED，所以在第二次点亮时发出的总光强可以记为它们各自光强的线性相加：

e₂(r)＝e_2,1(r)+e_2,2(r)+e_2,3(r)+e_2,4(r)

然后光通过成像装置，在电荷耦合元件传感器上得到接着进行第三次点亮。

其中d_2,1表示第二次点亮时外一维四个角上的LED到中心LED的距离，h表示中心LED距离待测样品的距离，e_2,1(r)，e_2,2(r)，e_2,3(r)，e_2,4(r)分别为四个LED发出的光，表示第二次点亮时电荷耦合元件传感器上获取的强度信息。

c：第三次点亮，依据I_n＝I_rcos(α)⁸，第三次点亮时需要点亮八个LED，单片机分别使用：

安培的电流点亮这四个分别位于中心LED的外二维四条边上等距分布的四个LED；分别使用：

安培的电流点亮分别位于中心LED的外二维四角上四个LED，八个LED发出的光强分别为：

e_3,1(r)，e_3,2(r)，e_3,3(r)……e_3,7(r)，e_3,8(r)

在第三次点亮时发出的总光强可以记为它们各自光强的线性相加：

e₃(r)＝e_3,1(r)+e_3,2(r)+e_3,3(r)......+e_3,7(r)+e_3,8(r)

然后光通过成像装置，在电荷耦合元件传感器上得到I_u3，接着进行第四次点亮。

其中d_3,1为四个距离中心LED较近的距离，d_3,2为四个距离中心LED较远的距离，I_u3表示第三次点亮时电荷耦合元件传感器上获取的强度信息。

d：第四次点亮，依据I_n＝I_rcos(α)⁸，第四次点亮时需要点亮十二个LED，单片机分别使用：

安培的电流点亮分别位于中心LED的外三维四条边上等距分布的八个LED；分别使用:

安培的电流点亮四个分别位于中心LED的外二维四角上的LED，第四次点亮时发出的总光强可以记为：

e₄(r)＝e_4,1(r)+e_4,2(r)+e_4,3(r)...+e_4,11(r)+e_4,12(r)

然后光通过成像装置，在电荷耦合元件传感器上得到I_u4，接着进行第五次点亮。

其中d_4,1表示外三维四条边上等距分布的8个LED到中心LED的距离，d_4,2表示外三维四角上四个LED到中心LED的距离，I_u4表示第四次点亮时电荷耦合元件传感器上获取的强度信息，e_4,1(r)，e_4,2(r)，e_4,3(r)……e_4,11(r)，e_4,12(r)分别为点亮的12个LED发出的光的光强。

由此，单片机每次控制LED矩阵中LED灯亮的个数的规律为第一次点亮位于成像系统轴向位置的LED；第二次点亮位于中心LED外一维四个角上的LED；第n(n>2)次点亮位于中心LED外(n-1)维四个角上的LED，以及外(n-1)维四条边上等距分布的LED灯，每次多点亮四个。单片机控制LED矩阵中LED灯点亮的次数取决于选择LED矩阵的大小，N×N的LED矩阵一共进行N/2+1次点亮。多次点亮，获取多幅低分辨率的强度图像，然后根据迭代算法重建图像。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.一种基于改进型LED矩阵无透镜成像方法，其特征在于，它包括下列步骤：

S1：单片机对LED矩阵光源进行编码曝光，使LED灯按规律依次点亮，每一次点亮不同数量、不同位置的LED灯，点亮LED灯的电流不同，第一次点亮轴向位置的一个LED灯，第n次点亮外(n-1)维四个角上的LED灯加分别位于中心LED的外(n-1)维四条边上等距分布的LED灯，N×N的LED矩阵一共进行N/2+1次点亮，第n次点亮4(n-1)个灯，n≥2，每次点亮的LED光通过成像装置上的针孔进行光线的汇聚，通过针孔的光，传播到待测样品平面发生衍射现象，然后在电荷耦合元件传感器上获得低分辨率的强度图像I_n；

S2：将获得的强度图像I_n根据迭代算法重建出一张高分辨率的图像；

S3：深度神经网络对成像质量进行自动判别，输出高质量的图片。

2.根据权利要求1所述的一种基于改进型LED矩阵无透镜成像方法，其特征在于，所述的步骤S1中，单片机控制LED灯点亮的方式为：单片机通过编码控制其相应引脚的电压变化来控制LED矩阵中LED灯的亮灭。

3.根据权利要求1所述的一种基于改进型LED矩阵无透镜成像方法，其特征在于，所述的步骤S1进一步包括：

S1.1：第一次点亮，单片机控制LED矩阵使用i₁安培的电流点亮位于成像系统轴向位置的LED，LED发出的总光强为：

e₁(r)＝e_1,1(r)

然后光通过成像装置，在电荷耦合元件传感器上得到

其中1,1表示第一次点亮时的第一个LED，e_1,1(r)表示点亮的一个LED灯发出的光强，表示第一次点亮时电荷耦合元件传感器上获取的强度信息；

S1.2：第二次点亮，单片机分别使用：

安培的电流点亮四个分别位于中心LED外一维四个角上的LED，发出的总光强为：

e₂(r)＝e_2,1(r)+e_2,2(r)+e_2,3(r)+e_2,4(r)

然后光通过成像装置，在电荷耦合元件传感器上得到I_u2；

其中d_2,1表示第二次点亮时外一维四个角上的LED到中心LED的距离，h表示中心LED距离待测样品的距离，e_2,1(r)，e_2,2(r)，e_2,3(r)，e_2,4(r)分别为四个LED发出的光强，表示第二次点亮时电荷耦合元件传感器上获取的强度信息；

S1.3：第三次点亮，单片机分别使用：

安培的电流点亮四个分别位于中心LED的外二维四条边上等距分布的LED灯，分别使用：

安培的电流点亮四个分别位于中心LED的外二维四角上的LED灯，第三次点亮时发出的总光强为：

e₃(r)＝e_3,1(r)+e_3,2(r)+e_3,3(r)......+e_3,7(r)+e_3,8(r)

然后光通过成像装置，在电荷耦合元件传感器上得到I_u3；

其中d_3,1表示外二维四条边上等距分布的四个LED到中心LED的距离，d_3,2表示外二维四角上四个LED到中心LED的距离，e_3,1(r)，e_3,2(r)，e_3,3(r)……e_3,7(r)，e_3,8(r)分别为八个LED灯发出的光强，I_u3表示第三次点亮时电荷耦合元件传感器上获取的强度信息；

S1.4：第n次点亮，单片机分别使用：

安培的电流点亮分别位于中心LED的外(n-1)维四条边上等距分布的4(n-2)个LED，分别使用：

安培的电流点亮四个分别位于中心LED的外(n-1)维四角上的LED灯，第n次点亮时发出的总光强为：

e_n(r)＝e_n,1(r)+e_n,2(r)+......+e_n,4(n-1)(r)

然后光通过成像装置，在电荷耦合元件传感器上得到

其中d_n,1表示外(n-1)维四条边上等距分布的4(n-2)个LED到中心LED的距离，d_n,2表示外(n-1)维四角上四个LED到中心LED的距离，e_n,1(r)，e_n,2(r)，……e_n,4(n-1)(r)分别为4(n-1)个LED发出的光强，表示第n次点亮时电荷耦合元件传感器上获取的强度信息。

4.根据权利要求1所述的一种基于改进型LED矩阵无透镜成像方法，其特征在于，所述的步骤S1中，光通过针孔后的光强表示为：

U₁＝P_M(r)·e_n

其中P_M(r)为针孔在迭代算法中的表示，e_n表示LED灯发出的光的光强。

5.根据权利要求1或4所述的一种基于改进型LED矩阵无透镜成像方法，其特征在于，所述光通过针孔后传播到待测样品的步骤进一步包括：

S b1：针孔的出射波U₁，通过一段空间距离传播到待测样品的表面，入射波的光强表示为：

U₂＝PSF₁*U₁

PSF₁为点扩散函数，表示光波在空间传播，*表示卷积；

S b2：入射波与待测样品O发生衍射现象，出射波的光强为：

U₃＝U₂·O。

6.根据权利要求1所述的一种基于改进型LED矩阵无透镜成像方法，其特征在于，所述的步骤S1中，在电荷耦合元件传感器上获得低分辨率的强度图像I_n的步骤进一步包括：

S c：待测样品的出射波U₃通过一段空间距离传播到电荷耦合元件传感器，此时光强表示为：

U₄＝PSF₂*U₃

S d：电荷耦合元件传感器上得到一张待测样品的低分辨率的强度衍射图像，表示为：

I_n＝|U₄|²。

7.根据权利要求1所述的一种基于改进型LED矩阵无透镜成像方法，其特征在于，所述的步骤S3进一步包括：

S3.1：将重建出的高分辨率图像和LED的点亮电流输入到深度神经网络中，依据一个线性模型对成像质量进行自动判别；

S3.2：深度神经网络将信息反馈到单片机，对单片机控制LED的电流进行调整。