CN112131945A - 一种基于深度学习的无透镜显微成像系统及方法 - Google Patents

Abstract

本发明提供一种基于深度学习的无透镜显微成像系统及方法，涉及无透镜显微成像领域，包括：无透镜显微成像模块，包括样品微腔，用于装载细胞样品，样品微腔的底部紧贴图像传感器芯片的表面，图像传感器芯片用于记录细胞样品的投影显微图像；光源模块，用于在细胞样品成像时提供光源；微流控模块，用于向样品微腔中定量注入细胞样品；明场显微镜，用于记录细胞样品的明场显微图像；图像处理与显示模块，用于将相同视场下的投影显微图像和明场显微图像一一对应生成图像对，并根据各图像对训练得到深度学习网络模型，并显示模型训练结果。有益效果是在保持无透镜显微的大视场优势的同时提高了成像分辨率，也能在成像风格上更接近于显微镜的效果。

Description

一种基于深度学习的无透镜显微成像系统及方法

技术领域

本发明涉及无透镜显微成像技术领域，尤其涉及一种基于深度学习的无透镜显微成像系统及方法。

背景技术

深度学习是当今的一个热门研究方向，其技术广泛运用于科技发展的各个领域，并取得了更好的效果。神经网络是深度学习的主要实现方法，而神经网络中的生成对抗网络(GAN)，更是在图像处理、计算机视觉等领域有着十分重要的作用。生成对抗网络由生成器和判别器两部分的网络组成，生成器G用于生成样本，判别器D用于判断这个样本是否为真实样本。在图像处理方面，G用于产生随机噪声并生成假图，D则根据真假图进行二分类的训练。D根据输入的图像生成相应的分数，分数表示G生成的图像是否接近真实图像，进而进一步的训练G生成更好的图像。

无透镜显微成像是一种在不利用透镜的情况下，使用图像传感器芯片进行显微成像的技术。相比于传统光学显微镜，无透镜显微不仅可以满足大视场、高分辨率的要求，同时因其体积小、操作容易、价格低廉、简易便携等特点，成为了当下热门的研发领域。可以预见，无透镜显微技术未来在医疗普及、细胞检测、医疗救援及远程医疗等方面将会有十分广泛的应用前景。无透镜投影显微技术是无透镜显微技术中的一种特殊情况。其特殊性在于该技术仅分析样本的投影强度，无需进行重建或相位恢复，就可以实现样本识别和计数等功能。投影成像可以被看作是最小化样本-传感器距离的同轴光路，从而可以将图像传感器采集到的原始强度图像直接作为样本的二维投影，从而最小化设备体积和重量，缩短时间，减轻计算平台负担，成为最成熟的无透镜显微成像方法。然而当前的无透镜显微成像设备与光学明场显微镜相比，在分辨率和成像风格上还存在着一定的差距。成像分辨率较低会使观测结果产生误差，成像风格不同会背离观测人员的观察习惯。

发明内容

针对现有技术中存在的问题，本发明提供一种基于深度学习的无透镜显微成像系统，具体包括：

一无透镜显微成像模块，包括样品微腔和图像传感器芯片，所述样品微腔用于装载细胞样品，所述样品微腔的底部紧贴所述图像传感器芯片的表面，所述图像传感器芯片用于记录所述细胞样品的投影显微图像；

一光源模块，设置于所述无透镜显微成像模块的正上方，且所述光源模块的发光面覆盖整个所述图像传感器芯片，所述光源模块用于在所述细胞样品成像时提供光源；

一微流控模块，连接所述样品微腔，所述微流控模块用于向所述样品微腔中定量注入所述细胞样品；

一明场显微镜，用于记录所述细胞样品的明场显微图像；

一图像处理与显示模块，分别连接所述图像传感器芯片和所述明场显微镜，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。

优选的，还包括一时序控制模块，分别连接所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块，用于控制所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块的工作时序。

优选的，所述样品微腔包括顶板、底板以及所述位于所述顶板和所述底板之间的腔体，所述底板紧贴所述图像传感器芯片的表面。

优选的，所述顶板的厚度≥50μm，所述底板的厚度为5μm～100μm，所述腔体的高度为50μm～100μm。

优选的，所述底板为长方形且所述底板完全覆盖所述图像传感器芯片的表面。

优选的，所述腔体的两端分别设有一进样口和一出样口，所述进样口和所述出样口分别与所述底板垂直。

优选的，所述微流控模块包括注射器和橡胶导管，所述橡胶导管分别连接所述注射器和所述进样口，所述注射器通过所述橡胶导管向所述进样口定量注入所述细胞样品。

优选的，所述出样口通过所述橡胶导管连接一废液池，所述样品微腔中的所述细胞样品通过所述出样口并经由所述橡胶导管排出至所述废液池。

优选的，所述光源模块为LED点光源。

优选的，所述图像传感器芯片为COMS图像传感器结构，或半浮栅晶体管结构，或复合介质栅光敏探测器阵列结构。

优选的，所述图像传感器芯片的像素数目≥1000万。

优选的，所述图像处理与显示模块包括：

图像预处理单元，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，将各所述图像对加入一数据集并对所述数据集进行扩充；

模型训练单元，连接所述图像预处理单元，用于构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的所述数据集训练得到深度学习网络模型，并显示模型训练结果。

优选的，所述图像处理与显示模块还包括：

图像处理单元，连接所述模型训练单元，用于获取单幅所述投影显微图像，并将所述投影显微图像输入所述深度学习网络模型进行处理得到具有所述明场显微图像的成像分辨率和成像风格的图像。

优选的，所述生成对抗网络包括生成器网络，所述生成器网络包括一下采样过程和一上采样过程；

所述下采样过程包括一第一卷积块，所述第一卷积块的输出作为一第二卷积块的输入，所述第二卷积块的输出作为一第三卷积块的输入，所述第三卷积块的输出作为一第四卷积块的输入，所述第四卷积块的输出作为一第五卷积块的输入；

所述上采样过程包括一第六卷积块，所述第五卷积块的输出和所述第四卷积块的输出特征融合后作为所述第六卷积块的输入，所述第六卷积块的输出和所述第三卷积块的输出特征融合后作为一第七卷积块的输入，所述第七卷积块的输出和所述第二卷积块的输出特征融合后作为一第八卷积块的输入，所述第八卷积块的输出和所述第一卷积块的输出特征融合后作为一第九卷积块的输入，所述第九卷积块的输出为所述生成器网络的输出。

优选的，所述生成器网络采用的损失函数为L_G，其计算公式如下：

L_G＝[D(G(x))-1]²+αMAE(x,y)

其中，

其中，x表示所述投影显微图像；y表示所述明场显微图像；G(x)表示所述生成器网络输出的图像；D(G(x))表示判别器网络判断所述生成器网络输出的图像是否真实的概率；α表示调节参数；MAE表示平均绝对误差；L表示图像尺寸；m表示图像的行数；n表示图像的列数。

优选的，所述生成对抗网络包括判别器网络，所述判别器网络包括依次连接的六个卷积块、一展平层、一平均池化层和两个全连接层，最后一个所述全连接层的输出为所述判别器网络的输出。

优选的，所述判别器网络采用的损失函数为L_D，其计算公式如下：

L_D＝[D(G(x))]²+[D(y)-1]²

其中，y表示所述明场显微图像；D(y)表示所述判别器网络判断所述明场显示图像是否真实的概率；G(x)表示所述生成器网络输出的图像；D(G(x))表示判别器网络判断所述生成器网络输出的图像是否真实的概率。

优选的，所述判别器网络的训练过程中采用Adam优化器对所述损失函数进行优化。

一种基于深度学习的无透镜显微成像方法，应用于上述任意一项所述的无透镜显微成像系统，所述无透镜显微成像方法包括：

步骤S1，所述微流控模块向所述样品微腔内注入定量的所述细胞样品；

步骤S2，所述光源模块在所述细胞样品成像时提供光源，在所述样品微腔内的所述细胞样品稳定不动后，所述图像传感器芯片采集所述细胞样品的所述投影显微图像，同时所述明场显微镜采集相同视场和相同位置高度的所述细胞样品的所述明场显微图像，并分别上传至所述图像处理与显示模块；

步骤S3，所述图像处理与显示模块将所述投影显微图像和所述明场显微图像一一对应生成图像对，重复执行所述步骤S2直至获取预设数量的所述图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。

优选的，所述步骤S3具体包括：

步骤S31，所述图像处理与显示模块将所述投影显微图像和所述明场显微图像一一对应生成图像对，将各所述图像对加入一数据集并对所述数据集进行扩充；

步骤S32，所述图像处理与显示模块构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的所述数据集训练得到深度学习网络模型，并显示模型训练结果。

优选的，执行所述步骤S32之后，还包括：

所述图像传感器芯片重新采集单幅所述投影显微图像，并将所述投影显微图像输入所述深度学习网络模型进行处理得到具有所述明场显微图像的成像分辨率和成像风格的图像。

上述技术方案具有如下优点或有益效果：

1)本发明通过将同时采集的图像传感器芯片的投影显微图像和同一视场的明场显微图像组成图像对，通过深度学习中生成对抗网络的方法学习明场显微图像的图像特征和训练模型，最终可以实现只需采集一次图像传感器芯片的投影显微图像，可以输出其对应的显微镜下的成像分辨率和风格的图像，不仅可以保持无透镜显微的大视场优势，同时提高了成像分辨率，也能在成像风格上更接近于显微镜的效果；

2)不仅可以用简易的图像传感器芯片代替传统光学显微镜，大幅节约成本、缩小体积，提高了便携性，降低了操作难度，而且可以同时实现高通量、大视场、大体积样品的统计观测；

3)能够为某些特定场景下的生物医学研究的开展提供参考和便利。

附图说明

图1为实施例中，一种基于深度学习的无透镜显微成像系统的结构示意图；

图2为实施例中，一种基于深度学习的无透镜显微成像系统的原理框图；

图3为实施例中，图像处理与显示模块的原理框图；

图4为实施例中，无透镜显微成像模块的结构示意图；

图5为实施例中，无透镜显微成像模块的侧视图；

图6为实施例中，图像处理与显示模块的原理框图；

图7为实施例中，生成器网络的结构示意图；

图8为实施例中，判别器网络的结构示意图；

图9为实施例中，一种基于深度学习的无透镜显微成像方法的流程示意图；

图10为实施例中，图像处理与显示模块对投影显微图像和明场显微图像处理过程的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

实施例一

针对现有无透镜显微成像模块与明场显微镜相比，分辨率不足造成观测结果产生误差以及成像风格不同背离观测人员观察习惯的问题，现提供一种基于深度学习的无透镜显微成像系统，如图1和图2所示，具体包括：

一无透镜显微成像模块1，包括样品微腔2和图像传感器芯片3，样品微腔2用于装载细胞样品，样品微腔2的底部紧贴图像传感器芯片3的表面，图像传感器芯片3用于记录细胞样品的投影显微图像；

一光源模块4，设置于无透镜显微成像模块1的正上方，且光源模块4的发光面覆盖整个图像传感器芯片3，光源模块4用于在细胞样品成像时提供光源；

一微流控模块，连接样品微腔2，微流控模块用于向样品微腔2中定量注入细胞样品；

一明场显微镜5，用于记录细胞样品的明场显微图像；

一图像处理与显示模块6，分别连接图像传感器芯片3和明场显微镜5，用于将相同视场下的投影显微图像和明场显微图像一一对应生成图像对，并根据各图像对训练得到深度学习网络模型，并显示模型训练结果。

具体地，本实施例中，本发明提供一图像采集、处理及显示环境，实现同时采集细胞样品的投影显微图像和明场显微图像，进而通过相同视场的投影显微图像和明场显微图像一一对应组成图像对作为训练数据训练得到深度学习网络模型，并能够显示模型训练结果。作为优选的实施方式，如图3所示，图像处理与显示模块6可以提供一存储单元61，以保存训练得到的深度学习网络模型。在后续的使用过程中，只需采用图像传感器芯片3采集得到单幅投影显微图像，并将该投影显微图像送入图像处理与显示模块6，图像处理与显示模块6根据保存的深度学习网络模型对投影显微图像进行处理后，能够得到具有明场显微图像的成像分辨率和成像风格的图像并进行显示，该图像与采集的原始投影显微图像相比，提高了成像分辨率且成像风格能够适应观测人员的观察习惯，该图像与采用明场显微镜采集得到的明场显微图像相比，具有大视场，且选用的图像传感器芯片代替传统光学显微镜，大幅节约成本、缩小体积，提高了便携性，降低了操作难度。

进一步地，本发明还包括一时序控制模块7，分别连接图像传感器芯片3、光源模块4、明场显微镜5和图像处理与显示模块6，用于控制图像传感器芯片3、光源模块4、明场显微镜5和图像处理与显示模块6的工作时序。作为优选的实施方式，时序控制模块7可以选用现场可编程逻辑门阵列(FPGA)加外围PCB基板的方式实现。

进一步地，如图4和图5所示，采用样本微腔2作为细胞样品的承载体，样品微腔2底部紧贴图像传感器芯片3的表面，样品微腔2的结构包括顶板、底板以及位于顶板和底板之间的腔体，其中，底板厚度为5μm～100μm，腔体的高度为50μm～100μm，顶板的厚度≥50μm，确保只有单层细胞样品直接贴附在图像传感器芯片表面；样品微腔2的腔体底面形状为长方形，腔体可以采用外用透明罩体8将图像传感器芯片3表面的感光区完整覆盖，并封装成倒置棱台状，透明罩体8可采用玻璃、PDMS或者其他高分子透明材料。

进一步地，样品微腔2的腔体的上部分别设有一个金属导管的进样口9和一个出样口10，进样口9和出样口10与样品微腔2的腔体底面空腔垂直相连接，共同形成整个样品微腔2的腔体，使细胞样品11均匀覆盖在图像传感器芯片3表面一层。图像传感器芯片3用于对细胞样品进行成像记录，该图像传感器芯片3可以采用CMOS图像传感器结构，或者采用半浮栅晶体管结构，或者采用复合介质栅光敏探测器阵列结构，且整个图像传感器芯片2具有的像素数目≥1000万。

进一步地，通过设置明场显微镜5记录相同视场下明场显微镜5中的细胞样品的成像结果，即明场显微图像，为后续模型训练准备训练数据。作为优选的实施方式，明场显微镜5可以采用明场光学反射式显微镜，该明场光学反射式显微镜具有一显微镜物镜12。在进行成像时，将显微镜物镜12旋转至垂直对准无透镜显微成像模块1并聚焦在单层细胞样品12上进行成像，并将图像记录下来作为明场显微图像。

进一步地，微流控模块由注射器13和橡胶导管14组成，橡胶导管14与样品微腔2的进样口9和出样口10分别相连，使进样口9连接注射器13，通过注射器13控制细胞样品进入样品微腔2的剂量；出样口10通过橡胶导管14连接废液池15，用于排出废弃的细胞样品。

进一步地，光源模块4用于产生激发光源，对细胞样品进行同轴垂直照射，置于无透镜显微成像模块1的正上方，且光源模块4的发光面覆盖整个图像传感器芯片3。作为优选的实施方式，光源模块4可以采用LED点光源，可满足阴影成像所需的部分相干性或非相干性，且LED点光源使得工作距离更小，所需功率更低，而且在较大的照射角度内准直照射。

作为优选的实施方式，如图6所示，图像处理与显示模块6包括：

图像预处理单元62，用于将相同视场下的投影显微图像和明场显微图像一一对应生成图像对，将各图像对加入一数据集并对数据集进行扩充；

模型训练单元63，连接图像预处理单元62，用于构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的数据集训练得到深度学习网络模型，并显示模型训练结果。

作为优选的实施方式，在数据集中存储有足够数量的图像对后，通过图像预处理单元62对数据集进行扩充，可以将数据集中的每组图像对中的两幅图像取相同位置切割成像素尺寸为256*256的图像对，再将原始的图像对中的两幅图像分别进行相同角度的旋转，再次截取像素尺寸为256*256的图像，以此实现数据集的扩充，并将该数据集作为训练集进行后续模型训练。

进一步地，在训练集准备完成后，还需要构建深度学习网络模型的网络结构，本实施例中，采用生成对抗网络作为深度学习网络模型的网络结构进行训练。其中，生成对抗网络由生成器网络和判别器网络两部分组成。生成器网络G用于生成样本，判别器网络D用于判断这个生成样本是否为真实样本。在图像处理方面，生成器网络G用于产生随机噪声并生成假图，判别器网络D则根据真假图进行二分类的训练。判别器网络D根据输入的图像生成相应的分数，分数表示生成器网络G生成的图像是否接近真实图像，进而进一步的训练生成器网络G生成更好的图像。生成器网络采用了类似于原始U-Net神经网络结构的改进方案，对其原始U-Net网络结构进行了少量修改；判别器网络则是采用改进后的卷积神经网络。将数据集输入已构建的生成对抗网络进行训练，当损失函数的值接近0.5时，模型训练完成。

作为优选的实施方式，生成器网络主要有两大部分组成，前半部分是下采样过程，通过5个最大池化层，实现了网络对图像特征的多尺度特征识别，即从高分辨率(浅层特征)到低分辨率(深层特征)的过程，前半部分的主要作用是特征提取；后半部分是上采样过程，其作用是融合特征提取部分的输出，使得多尺度特征，即浅层特征和深层特征结合起来，这样的连接是贯穿整个网络的，网络中有4次上采样即4次融合过程。也把这样的结构叫做编码器-解码器结构。

具体地，如图7所示，下采样过程包括一第一卷积块101，第一卷积块101的输出作为一第二卷积块102的输入，第二卷积块102的输出作为一第三卷积块103的输入，第三卷积块103的输出作为一第四卷积块104的输入，第四卷积块104的输出作为一第五卷积块105的输入。其中，第一卷积块101包括用于特征提取的两个卷积层和用于下采样的一个最大池化层，卷积核大小为3×3；输出通道数为24，第一个卷积层输入尺寸256×256×1，输出尺寸256×256×24，后加一个ReLU激活函数；第二个卷积层输入尺寸256×256×24，输出尺寸256×256×48，后加一个ReLU激活函数；最大池化层2×2，输出尺寸128×128×48，实现下采样，并依次经过第二卷积块102至第五卷积块105进行4次下采。第五卷积块105，其结构有2个卷积层，用于特征提取；一个反卷积层2×2，用于上采样；卷积核大小为3×3；输出通道数为768。如此又依次经过第六卷积块106至第九卷积块109进行4次上采样，到达生成器网络G的输出，进行生成图像输出。特别的，第六、七、八、九卷积块的输入通道数目，不仅来自于前一级卷积块上采样后得到的数目，还要加上依照网络结构的对称性而相应对称卷积块的输出通道数，以此实现生成图像与输入图像的融合过程。

上采样过程包括一第六卷积块106，第五卷积块105的输出和第四卷积块104的输出特征融合后作为第六卷积块106的输入，第六卷积块106的输出和第三卷积块103的输出特征融合后作为一第七卷积块107的输入，第七卷积块107的输出和第二卷积块102的输出特征融合后作为一第八卷积块108的输入，第八卷积块108的输出和第一卷积块101的输出特征融合后作为一第九卷积块109的输入，第九卷积块109的输出为生成器网络的输出。

作为优选的实施方式，生成器网络的输入图像的像素尺寸为256×256×1，为图像传感器芯片所采集的灰度图。生成器网络的输出尺寸和判别器网络的输入图像的像素尺寸都为256×256×3，3个通道分别对应于明场显微镜下采集的彩色图像分别为红色，绿色和蓝色(RGB)通道。

作为优选的实施方式，生成对抗网络中判别器网络是改进后的卷积神经网络。如图8所示，该卷积神经网络包括依次连接的六个卷积块200、一展平层201、一平均池化层202和两个全连接层203，最后一个全连接层203的输出为判别器网络的输出。

具体地，判别器网络D的第一个卷积块200有3个卷积层，前两个卷积层的输入图像的像素尺寸为256×256×3，输出图像的像素尺寸为256×256×48，卷积核大小为3×3，加ReLU激活函数，用于特征提取；后一个卷积层，输入尺寸256×256×48，输出尺寸128×128×96，卷积核大小为3×3，步长为2，加Leaky ReLU激活函数，用于下采样；经过6个卷积块200和下采样，得到像素尺寸4×4×3072的特征图；再经过一个展平层201和平均池化层202，对其进行平铺操作；得到3072个数据输入两个全连接层203和sigmoid激励函数，实现判别器网络的损失函数的分数读取。当分数接近0.5时，表明生成图像接近真实图像，即明场显微图像。

进一步地，生成对抗网络在训练过程中，生成器网络G的目标就是尽量生成真实的图片去欺骗判别器网络D。而判别器网络D的目标就是尽量把生成器网络G生成的图片和真实的图片分别开来。

作为优选的实施方式，定义x表示输入图片，即投影显微图像，G(x)表示生成器网络的生成图片，y表示标签图片，即明场显微图像。

则生成器网络的损失函数定义为：

L_G＝[D(G(x))-1]²+αMAE(x,y)

其中MAE为平均绝对误差，其计算公式为：

其中，L为图片尺寸大小，本实施例中为L＝256，m、n分别代表图像所在的行、列数。

α为调节参数，用于调节MAE在整个损失函数中的占比情况，若取α＝0.1，则表示MAE误差占总损失函数误差的10％。

作为优选的实施方式，判别器网络的损失函数定义为：

L_D＝[D(G(x))]²+[D(y)-1]²

用于测量生成器图像G(x)与标签图像y的相似程度。

最后通过Adam优化器代替了传统的梯度下降算法对损失函数进行优化，将数据输入模型进行迭代训练。当损失函数的值接近0.5时，模型训练完成。

进一步地，图像处理与显示模块6还包括：

图像处理单元64，连接模型训练单元63，用于在模型训练结束后，获取单幅投影显微图像，并将投影显微图像输入深度学习网络模型进行处理得到具有明场显微图像的成像分辨率和成像风格的图像。

实施例二

一种基于深度学习的无透镜显微成像方法，应用于上述任意一项的无透镜显微成像系统，如图9所示，无透镜显微成像方法包括：

步骤S1，微流控模块向样品微腔内注入定量的细胞样品；

步骤S2，光源模块在细胞样品成像时提供光源，在样品微腔内的细胞样品稳定不动后，图像传感器芯片采集细胞样品的投影显微图像，同时明场显微镜采集相同视场和相同位置高度的细胞样品的明场显微图像，并分别上传至图像处理与显示模块；

步骤S3，图像处理与显示模块将投影显微图像和明场显微图像一一对应生成图像对，重复执行步骤S2直至获取预设数量的图像对，并根据各图像对训练得到深度学习网络模型，并显示模型训练结果。

具体地，本实施例中，首先搭建一图像采集、处理及显示环境，包括样品微腔，该样品微腔的底部紧贴图像传感器芯片的表面形成无透镜显微成像模块；在该无透镜限位成像模块的正上方设置一光源模块，以在细胞成像时提供照明；在样品微腔的上方设置一明场显微镜，以在图像传感器芯片采集细胞样品的投影显微图像的同时，采集与图像传感器芯片同一视场的明场显微图像。还包括微流控模块和废液池，通过微流控模块向样品微腔中注入定量的样品细胞，通过废液池收集废弃的样品细胞。

作为优选的实施方式，采用一时序控制模块，用于控制图像传感器芯片、光源模块、明场显微镜和图像处理与显示模块的工作时序。该时序控制模块可以选用现场可编程逻辑门阵列(FPGA)加外围PCB基板的方式实现。

作为优选的实施方式，在环境搭建完成后，通过微流控模块注入定量细胞样品到样品微腔内，待样品微腔内的细胞样品稳定不动时，开启时序控制模块，控制光源模块发出光束垂直对准样品微腔照射，并通过时序控制模块设置图像传感芯片的参数，包括曝光模式、曝光时间、读取模式等，图像传感器芯片采集细胞样品的二维图像数据作为投影显微图像，同时，设置明场显微镜的参数，调节明场显微镜的显微镜物镜使显微镜的聚焦面对准细胞样品，采集与图像传感器芯片相同视场相同位置高度的细胞样品的显微镜下的图像数据作为明场显微图像，并分别将投影显微图像和明场显微图像上传至图像处理与显示模块。在每次数据采集完成后，还包括将细胞样品排出至废液池中，随后再注入新的细胞样品进行图像采集，重复执行上述过程，直至获取足够数量的图像作为训练集。

作为优选的实施方式，图像处理与显示模块在每次接收到投影显微图像和明场显微图像时，将两幅图像标记成图像对存入数据集，并在图像采集完成后，根据数据集中保存的各图像对训练得到深度学习网络模型，并显示模型训练结果。

作为优选的实施方式，如图10所示，步骤S3具体包括：

步骤S31，图像处理与显示模块将投影显微图像和明场显微图像一一对应生成图像对，将各图像对加入一数据集并对数据集进行扩充；

步骤S32，图像处理与显示模块构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的数据集训练得到深度学习网络模型，并显示模型训练结果。

本作为优选的实施方式，执行步骤S32之后，还包括：

图像传感器芯片重新采集单幅投影显微图像，并将投影显微图像输入深度学习网络模型进行处理得到具有明场显微图像的成像分辨率和成像风格的图像。

具体地，本实施例中，由于在模型训练时，采用的输入数据的像素尺寸为256*256，在将投影显微图像输入深度学习网络模型之前还包括将投影显微图像进行预处理成像素尺寸为256*256的标准大小，在深度学习网络模型处理完成后，读取深度学习网络模型生成的图像作为深度学习网络模型的图像重建结果，即上述具有明场显微图像的成像分辨率和成像风格的图像。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (21)

1.一种基于深度学习的无透镜显微成像系统，其特征在于，具体包括：

一无透镜显微成像模块，包括样品微腔和图像传感器芯片，所述样品微腔用于装载细胞样品，所述样品微腔的底部紧贴所述图像传感器芯片的表面，所述图像传感器芯片用于记录所述细胞样品的投影显微图像；

一光源模块，设置于所述无透镜显微成像模块的正上方，且所述光源模块的发光面覆盖整个所述图像传感器芯片，所述光源模块用于在所述细胞样品成像时提供光源；

一微流控模块，连接所述样品微腔，所述微流控模块用于向所述样品微腔中定量注入所述细胞样品；

一明场显微镜，用于记录所述细胞样品的明场显微图像；

一图像处理与显示模块，分别连接所述图像传感器芯片和所述明场显微镜，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。

2.根据权利要求1所述的无透镜显微成像系统，其特征在于，还包括一时序控制模块，分别连接所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块，用于控制所述图像传感器芯片、所述光源模块、所述明场显微镜和所述图像处理与显示模块的工作时序。

3.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述样品微腔包括顶板、底板以及所述位于所述顶板和所述底板之间的腔体，所述底板紧贴所述图像传感器芯片的表面。

4.根据权利要求3所述的无透镜显微成像系统，其特征在于，所述顶板的厚度≥50μm，所述底板的厚度为5μm～100μm，所述腔体的高度为50μm～100μm。

5.根据权利要求3所述的无透镜显微成像系统，其特征在于，所述底板为长方形且所述底板完全覆盖所述图像传感器芯片的表面。

6.根据权利要求3所述的无透镜显微成像系统，其特征在于，所述腔体的两端分别设有一进样口和一出样口，所述进样口和所述出样口分别与所述底板垂直。

7.根据权利要求6所述的无透镜显微成像系统，其特征在于，所述微流控模块包括注射器和橡胶导管，所述橡胶导管分别连接所述注射器和所述进样口，所述注射器通过所述橡胶导管向所述进样口定量注入所述细胞样品。

8.根据权利要求7所述的无透镜显微成像系统，其特征在于，所述出样口通过所述橡胶导管连接一废液池，所述样品微腔中的所述细胞样品通过所述出样口并经由所述橡胶导管排出至所述废液池。

9.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述光源模块为LED点光源。

10.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述图像传感器芯片为COMS图像传感器结构，或半浮栅晶体管结构，或复合介质栅光敏探测器阵列结构。

11.根据权利要求10所述的无透镜显微成像系统，其特征在于，所述图像传感器芯片的像素数目≥1000万。

12.根据权利要求1所述的无透镜显微成像系统，其特征在于，所述图像处理与显示模块包括：

图像预处理单元，用于将相同视场下的所述投影显微图像和所述明场显微图像一一对应生成图像对，将各所述图像对加入一数据集并对所述数据集进行扩充；

模型训练单元，连接所述图像预处理单元，用于构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的所述数据集训练得到得到深度学习网络模型，并显示模型训练结果。

13.根据权利要求12所述的无透镜显微成像系统，其特征在于，所述图像处理与显示模块还包括：

图像处理单元，连接所述模型训练单元，用于获取单幅所述投影显微图像，并将所述投影显微图像输入所述深度学习网络模型进行处理得到具有所述明场显微图像的成像分辨率和成像风格的图像。

14.根据权利要求12所述的无透镜显微成像系统，其特征在于，所述生成对抗网络包括生成器网络，所述生成器网络包括一下采样过程和一上采样过程；

所述下采样过程包括一第一卷积块，所述第一卷积块的输出作为一第二卷积块的输入，所述第二卷积块的输出作为一第三卷积块的输入，所述第三卷积块的输出作为一第四卷积块的输入，所述第四卷积块的输出作为一第五卷积块的输入；

所述上采样过程包括一第六卷积块，所述第五卷积块的输出和所述第四卷积块的输出特征融合后作为所述第六卷积块的输入，所述第六卷积块的输出和所述第三卷积块的输出特征融合后作为一第七卷积块的输入，所述第七卷积块的输出和所述第二卷积块的输出特征融合后作为一第八卷积块的输入，所述第八卷积块的输出和所述第一卷积块的输出特征融合后作为一第九卷积块的输入，所述第九卷积块的输出为所述生成器网络的输出。

15.根据权利要求14所述的无透镜显微成像系统，其特征在于，所述生成器网络采用的损失函数为L_G，其计算公式如下：

其中，

其中，x表示所述投影显微图像；y表示所述明场显微图像；G(x)表示所述生成器网络输出的图像；D(G(x))表示判别器网络判断所述生成器网络输出的图像是否真实的概率；α表示调节参数；MAE表示平均绝对误差；L表示图像尺寸；m表示图像的行数；n表示图像的列数。

16.根据权利要求12所述的无透镜显微成像系统，其特征在于，所述生成对抗网络包括判别器网络，所述判别器网络包括依次连接的六个卷积块、一展平层、一平均池化层和两个全连接层，最后一个所述全连接层的输出为所述判别器网络的输出。

17.根据权利要求16所述的无透镜显微成像系统，其特征在于，所述判别器网络采用的损失函数为L_D，其计算公式如下：

L_D＝[D(G(x))]²+[D(y)-1]²

其中，y表示所述明场显微图像；D(y)表示所述判别器网络判断所述明场显示图像是否真实的概率；G(x)表示所述生成器网络输出的图像；D(G(x))表示所述判别器网络判断所述生成器网络输出的图像是否真实的概率。

18.根据权利要求17所述的无透镜显微成像系统，其特征在于，所述判别器网络的训练过程中采用Adam优化器对所述损失函数进行优化。

19.一种基于深度学习的无透镜显微成像方法，其特征在于，应用于如权利要求1-18中任意一项所述的无透镜显微成像系统，所述无透镜显微成像方法包括：

步骤S1，所述微流控模块向所述样品微腔内注入定量的所述细胞样品；

步骤S2，所述光源模块在所述细胞样品成像时提供光源，在所述样品微腔内的所述细胞样品稳定不动后，所述图像传感器芯片采集所述细胞样品的所述投影显微图像，同时所述明场显微镜采集相同视场和相同位置高度的所述细胞样品的所述明场显微图像，并分别上传至所述图像处理与显示模块；

步骤S3，所述图像处理与显示模块将所述投影显微图像和所述明场显微图像一一对应生成图像对，重复执行所述步骤S2直至获取预设数量的所述图像对，并根据各所述图像对训练得到深度学习网络模型，并显示模型训练结果。

20.根据权利要求19所述的无透镜显微成像方法，其特征在于，所述步骤S3具体包括：

步骤S31，所述图像处理与显示模块将所述投影显微图像和所述明场显微图像一一对应生成图像对，将各所述图像对加入一数据集并对所述数据集进行扩充；

步骤S32，所述图像处理与显示模块构建生成对抗网络的网络结构和相应的损失函数，根据扩充后的所述数据集训练得到深度学习网络模型，并显示模型训练结果。

21.根据权利要求20所述的无透镜显微成像方法，其特征在于，执行所述步骤S32之后，还包括：

所述图像传感器芯片重新采集单幅所述投影显微图像，并将所述投影显微图像输入所述深度学习网络模型进行处理得到具有所述明场显微图像的成像分辨率和成像风格的图像。

Images