CN115061274B - 一种基于稀疏照明的超分辨内窥镜的成像方法及其装置 - Google Patents

Abstract

本发明涉及一种基于稀疏照明的超分辨内窥镜的成像方法及其装置。幅度调制器以预设的编码对激光器发出的均匀光束进行振幅调制，经会聚透镜、多模光纤、分光片和物镜后将调制光场辐照于待测物体上，物体的反射光经物镜、分光片后成像于面阵探测器；激光光源、幅度调制器和面阵探测器同时由一个同步信号发生器同步触发控制同时工作；结合预训练的深度学习超分辨图像重建算法结果，对面阵探测器所记录的每一帧低分辨图像进行图像复原，再经关联运算，获得待测物体的高分辨率图像。本发明利用目标稀疏特性和光学系统先验信息，采用稀疏照明，成像分辨率可突破光学成像系统衍射极限；采用基于深度学习的超分辨图像重建，可大幅度提升成像帧频。

Description

一种基于稀疏照明的超分辨内窥镜的成像方法及其装置

技术领域

本发明涉及一种基于稀疏照明的超分辨内窥镜的成像装置及其成像方法，属于光学成像技术领域。

背景技术

内窥镜装置是人类窥视自身体内器官的重要工具。自从罗马时期，便出现了内窥镜的雏形，现阶段的传统内窥镜装置包括供电模块、采集模块、照明模块以及处理模块，供电模块为各个模块进行供电，照明模块一般采用LED（Light emitting diode）作为光源为检查部位提供照明，再通过采集模块的CCD（Charge coupled device）相机进行采集信号，使用处理模块对于信号进行重建图像。然而图像质量和检查损伤受限于内窥镜装置的结构和成像技术，在检查过程中，内窥镜装置需要进入人体内部，装置结构的大小对于人体内部的创伤具有显著的区别，内窥镜装置的大小直接影响着受检查者的舒适度，微型化成为内窥镜发展的一个方向。光纤具有良好的传输信息特性、重量低、可弯曲和使用自由度大等特点，打破了传统成像系统沿直线或空间折线的限制，可依靠柔性弯曲度高实现复杂人体结构内的成像，光纤内窥镜的前端插入部采用导像光纤，可保持外径较细，进一步优化装置结构的大小，减轻对人体内部的创伤。然而，传统内窥镜的照明模块只提供照明功能，是一种均匀照明方式；由于该类内窥镜装置较小，物镜口径大小受到限制，导致现有医用内窥镜成像分辨率较低。稀疏照明具有使物体稀疏化的作用，充分利用目标稀疏特性和光学系统先验信息，采用超分辨图像复原算法对稀疏化的物体进行重建，以突破光学系统衍射极限的限制。然而，稀疏照明的信号采集需要扫描采集，多次测量导致成像帧频较低。

发明内容

本发明针对现有内窥镜装置存在的不足，提供一种基于稀疏照明的超分辨内窥镜的成像方法及其装置，实现成像分辨率和成像速度的大幅度提升。

为解决现有技术存在的不足，本发明的技术解决方案是提供一种基于稀疏照明的超分辨内窥镜的成像装置，它包括激光光源，幅度调制器，会聚透镜，多模光纤，分光片，物镜，待测物体，面阵探测器和计算机；

预设编码的幅度调制器对激光光源发出的均匀光束进行0/1幅度调制，调制光束依次经会聚透镜、多模光纤、分光片和物镜后，将调制光场辐照于待测物体上，物体的反射光经物镜和分光片后成像于面阵探测器上；所述的幅度调制器和面阵探测器的输出端与执行深度学习超分辨图像算法和关联运算的计算机输入端连接；所述的激光光源、幅度调制器和面阵探测器由一个同步信号发生器同步触发控制同时工作；结合深度学习超分辨图像重建算法的预训练结果，对面阵探测器所记录的每一帧低分辨散斑图像进行图像复原，再对所复原的图像进行关联运算，获得待测物体的高分辨率图像。

本发明提供的一种基于稀疏照明的超分辨内窥镜的成像装置，其幅度调制器的预设编码为随机产生的M个0/1二值分布的无重叠散斑图像，M个随机产生的散斑图像的对应空间位置叠加呈均匀光分布。所述的深度学习超分辨重建算法的训练数据集由幅度调制器预先设定的编码和相对应面阵探测器记录的低分辨散斑图像所一一配对构成，深度学习超分辨重建算法采用基于U-Net网络模型算法进行运算。

本发明技术方案还包括一种基于稀疏照明的超分辨内窥镜的成像方法，采用上述的成像装置，包括以下步骤：

幅度调制器的编码预设

幅度调制器预先设定的编码方式为产生的M个0/1二值分布的随机散斑图像无重叠，M个随机散斑图像的对应空间位置叠加呈均匀光分布；

基于深度学习超分辨重建算法的预训练

(a)预设编码的幅度调制器对激光光源发出的均匀光束进行0/1幅度调制，调制光束依次经会聚透镜、多模光纤、分光片和物镜后将调制光场辐照于训练物体白板上，物体的反射光经物镜和分光片后成像于面阵探测器上；M个调制光场辐射到白板上被全部反射，由面阵探测器接收记录为低分辨散斑图像；所述的激光光源、幅度调制器和面阵探测器由一个同步信号发生器同步触发控制同时工作，其训练数据集由幅度调制器预先设定的M个编码和相对应面阵探测器记录的M帧低分辨散斑图像所一一配对构成；

(b)将得到的训练数据输入到U-Net网络模型中，进行模型优化，得到训练完成的深度学习超分辨重建算法的预训练网络模型结果，存储到计算机中；

基于深度学习超分辨重建算法的测试

将待测物体替换步骤

(a)中的训练物体白板，将得到的调制光场辐照于待测物体上，重复步骤/>

(a)的操作,待测物体的反射光被面探测器记录，结合步骤/>

(b)深度学习超分辨图像重建算法的预训练网络模型结果，对面阵探测器所记录的每一帧低分辨散斑图像进行图像复原；

对所复原的多帧图像进行关联运算，获得待测物体的高分辨率图像。

本发明技术方案中，将通过深度学习超分辨图像重建算法得到的多帧高分辨散斑重建图像进行关联运算，先计算多帧高分辨散斑重建图像的整体平均值，将每一张高分辨散斑重建图像减去平均值后，平方相加求平均，再开平方，得到待测物体的高分辨率图像。

由于稀疏照明的信号采集需要扫描采集，多次测量导致成像帧频较低，本发将深度学习技术引入基于稀疏照明的内窥镜系统，同时预先的优化和训练，可大幅度减少图像重建时间，有望实现具有超分辨成像能力的实时检测。

本发明提供的成像装置在系统结构上将稀疏照明替代现有技术采用的均匀照明，接收和发射系统使用同轴光路，系统更小；在成像方法上，对物体进行稀疏照明，将物体信息稀疏化，构建稀疏照明模式与对应低分辨率图像序列的数据库，通过深度学习超分辨图像重建算法和关联运算，获得待测物体的高分辨率图像。

深度学习超分辨图像重建算法的训练数据是通过把预先设定的编码和每一帧的低分辨率散斑图像进行配对生成，实现端到端的训练；内窥镜系统存在衍射效应和系统空间噪声，预先设定的编码经过内窥镜系统传播后，面阵探测器得到退化后的低分辨散斑图像，U-Net网络模型通过对上述数据集的训练和学习，学习到低分辨率散斑图重建得到高分辨率散斑图的系统映射关系。

与现有技术相比，本发明具有以下的技术效果：

1.本发明采用的光源由均匀照明改进为稀疏照明，利用目标稀疏特性和光学系统先验信息，成像分辨率可以突破光学成像系统衍射极限。

2.接收系统和发射系统采用同轴光路，系统结构更紧凑。

3.幅度调制器所设定的散斑图预先优化设计且每帧低分辨图像具备稀疏的特征，基于深度学习的超分辨图像重建可大幅度提升成像帧频。

附图说明

图1是本发明实施例提供的基于稀疏照明的超分辨内窥镜成像装置的结构示意图；

图中：1是激光光源；2是振幅调制器；3是会聚透镜；4是多模光纤；5是分光镜；6是物镜；7是待测物体；8是具有高分辨能力的面阵探测器；9是计算机。

图2是采用本发明实施例提供的基于稀疏照明的超分辨内窥镜成像方法中深度学习超分辨图像重建算法的流程图；

图中：10是预训练过程；11是测试过程。

图3是深度学习超分辨图像重建算法的U-Net模型结构图；

图中：a是收缩路径；b是扩展路径；12是输入图像；13是卷积操作；14是下采样操作；15是上采样操作；16是拼接操作；17是输出图像。

具体实施方式

下面结合附图和实施例对本发明技术方案作进一步说明。

实施例1

参见附图1，是本实施例提供的一种基于稀疏照明的超分辨内窥镜成像装置的结构示意图。由图1可见，超分辨内窥镜装置包括激光光源1、幅度调制器2、会聚透镜3、多模光纤4、分光片5、物镜6、待测物体7、面阵探测器8和计算机9。幅度调制器2以事先设定的编码对激光光源1发出的均匀光束进行振幅调制，依次经会聚透镜3、多模光纤4、分光片5和物镜6后将调制光场辐照于待测物体7上，物体的反射光经物镜6、分光片5后成像于面阵探测器8上；幅度调制器2和面阵探测器8的输出端同时连接执行深度学习超分辨图像算法和关联运算的计算机9，激光光源1、幅度调制器2和面阵探测器8同时由一个同步信号发生器同步触发控制同时工作。结合深度学习超分辨图像重建算法的预训练结果，对面阵探测器8所记录的每一帧低分辨图像进行图像复原，接着对所复原的图像进行关联运算，便可以获得待测物体的高分辨率图像。

本装置工作过程中，激光光源1、幅度调制器2和面阵探测器8由一个同步信号发生器（图中未示）同步触发控制同时工作：具体步骤如下：

（1）激光光源1发出的均匀光束经幅度调制器2以事先设定的编码进行振幅调制，经会聚透镜3、多模光纤4、分光片5和物镜6后将调制光场辐照于待测物体7上，物体的反射光经物镜6、分光片5后成像于有高空间分辨能力的面阵探测器8上；

（2）由面阵探测器8接收记录来自待测物体7的反射光的随面阵探测器位置的光强分布信息；

（3）将幅度调制器2的事先设定的编码和面阵探测器8对应每一帧记录的面阵探测器位置的光强分布信息存储在计算机9中；

（4）计算机9对面阵探测器8所记录的每一帧的光强分布信息使用深度学习超分辨图像重建算法的预训练结果进行重建，得到对应每一帧的复原图像；

（5）计算机9对所有复原的图像进行强度关联运算，便可以获得待测物体7的高分辨率图像。

参见附图2，是本实施例深度学习超分辨图像重建算法流程图；计算机进行深度学习超分辨图像重建算法包括预训练过程10（图中实线过程）和测试过程11（图中虚线过程）；具体过程为：

第一，预训练过程包括以下步骤：

装置包含激光光源，沿该光源的前进光束方向通过前方放置的幅度调制器，激光发出的均匀照明光束经过预先设定的编码进行调制产生M个随机稀疏照明模式(i=1～M)，第i个随机稀疏照明模式/>

经放置在前方的会聚透镜耦合进多模光纤中传输，然后经分光镜和物镜，将调制光场辐照于训练物体白板上，白板的反射光经物镜、分光片后成像于面阵探测器上，由所述的面阵探测器接受记录第i个低分辨散斑图像/>

。

重复步骤/>

共M次，i=1～M，直至面阵探测器接受记录到M帧低分辨率散斑图像，即完成M次扫描，在所述的计算机的存储单元中完整地存储第1～M个随机稀疏照明模式以及白板反射光的低分辨率散斑图像，进行配对生成M个训练数据对(/>

，/>

)。

在计算机中，搭建所需的深度学习超分辨重建算法的U-Net网络模型，实现端到端的图像重建，首先将训练数据对(/>

，/>

)输入到U-Net网络模型中进行监督学习，该模型基于梯度下降算法进行优化参数，通过计算损失值对参数的梯度，结合反向传播算法对其模型中所有参数进行更新，得到优化完成的U-Net网络模型结果，存储在计算机中，完成预训练过程。

第二，测试过程包括以下步骤：

对待测物体7重复预训练中步骤/>

共M次，i=1～M，面阵探测器得到待测物体7的M帧低分辨率散斑图像/>

。

将步骤/>

中得到的待测物体的M帧低分辨率散斑图像/>

输入到存储在计算机中的事先训练完成的网络模型之中，得到相对应的M帧高分辨散斑重建图像如式（1）所示：

（1）

其中：

是第i帧高分辨率散斑图像，/>

是第i帧低分辨率散斑图像，R代表神经网络的映射，/>

代表已训练完成U-Net网络模型的参数。

参见附图3，为本实施例所述的U-Net网络模型的结构示意图，该模型由两个路径组成分别为收缩路径a和扩展路径b：收缩路径a每个步骤由3×3的卷积层和relu激活函数构成的卷积操作13和2×2的最大池化层构成的下采样操作14组成，每次下采样操作都会使特征通道数翻倍；扩展路径中每个步骤由转置卷积构成上采样操作15，随后使用2×2的卷积对其通道数减半，并与从收缩路径中相应裁剪的特征图进行级联构成拼接操作16，接着对其使用3×3的卷积层和relu激活函数构成的卷积操作13组成。图片大小及通道数的具体变换如下，当输入图像12为（1，64，64），其中1为通道数，64为图像的高度，64为图像的宽度，经过两次卷积操作13变为（64，64，64），再经过下采样操作14变为（64，32，32），重复上述操作两次变为（128，32，32），再变为（256，16，16)，此时完成收缩路径a的操作。通过上采样操作15变为（128，32，32）的特征图，将收缩路径a上的相同大小的特征图经过拼接操作16拼接成（258，32，32）的特征图，再经过两次卷积操作13变为（128，32，32），重复上述上采样操作15和拼接操作16，变为（64，64，64）的特征图，再经过两次卷积操作13变为输出图17（1，64，64），此时完扩展路径b的操作。此输出图17的通道数和尺寸大小与输入图12保持一致。

本实施例中，计算机进行关联运算过程为：

将通过深度学习超分辨图像重建算法得到的M帧高分辨散斑重建图像按以下公式（2）进行关联运算：

（2）

其中：

是第i帧高分辨率散斑图像；/>

表示/>

的整体平均；I为关联运算重建最终的高分辨图像。

根据预训练过程的描述，可以看出：在装置未正式测试之前，可以通过辐度调制器设定好的编码序列和面阵探测器收集的低分辨散斑图像序列构成训练数据集，对U-Net网络模型进行优化，在计算机中存储已完成优化的模型，其中设定好的编码序列需满足产生的M帧0/1二值分布的随机散斑图像无重叠，并且M帧随机散斑图像对应空间位置叠加后是均匀的。在正式测试过程中，结合事先训练的深度学习超分辨图像重建算法可迅速获取面阵探测器记录的低分辨散斑图像所对应的高分辨重建散斑图，能够实时成像。此外，由于U-Net网络模型重建的多帧高分辨散斑图像含有待测物体的信息，可通过对所重建的多帧图像进行关联运算，进一步提升图像的成像质量。

Claims (3)

1.一种基于稀疏照明的超分辨内窥镜的成像装置，其特征在于：它包括激光光源(1)，幅度调制器(2)，会聚透镜(3)，多模光纤(4)，分光片(5)，物镜(6)，待测物体(7)，面阵探测器(8)和计算机(9)；

预设编码的幅度调制器(2)对激光光源(1)发出的均匀光束进行0/1幅度调制，调制光束依次经会聚透镜(3)、多模光纤(4)、分光片(5)和物镜(6)后将调制光场辐照于待测物体(7)上，物体的反射光经物镜(6)和分光片(5)后成像于面阵探测器(8)上；所述的幅度调制器(2)和面阵探测器(8)的输出端与执行深度学习超分辨图像算法和关联运算的计算机输入端连接；所述的激光光源(1)、幅度调制器(2)和面阵探测器(8)由一个同步信号发生器同步触发控制同时工作；结合深度学习超分辨图像重建算法的预训练结果，对面阵探测器(8)所记录的每一帧低分辨散斑图像进行图像复原，再对所复原的图像进行关联运算，获得待测物体的高分辨率图像；

所述幅度调制器的预设编码为随机产生的M个0/1二值分布的无重叠散斑图像，M个随机产生的散斑图像的对应空间位置叠加呈均匀光分布；

所述的深度学习超分辨重建算法的训练数据集由幅度调制器(2)预先设定的编码和相对应面阵探测器(8)记录的低分辨散斑图像所一一配对构成，深度学习超分辨重建算法采用基于U-Net网络模型算法进行运算。

2. 一种基于稀疏照明的超分辨内窥镜的成像方法，其特征在于：采用权利要求1所述的成像装置，包括如下步骤：

①幅度调制器的编码预设

幅度调制器(2)预先设定的编码方式为产生的M个0/1二值分布的随机散斑图像无重叠，M个随机散斑图像的对应空间位置叠加呈均匀光分布；

②基于深度学习超分辨重建算法的预训练

(a)预设编码的幅度调制器(2)对激光光源(1)发出的均匀光束进行0/1幅度调制，调制光束依次经会聚透镜(3)、多模光纤(4)、分光片(5)和物镜(6)后将调制光场辐照于训练物体白板上，物体的反射光经物镜(6)和分光片(5)后成像于面阵探测器(8)上；M个调制光场辐射到白板上被全部反射，由面阵探测器(8)接收记录为低分辨散斑图像；所述的激光光源(1)、幅度调制器(2)和面阵探测器(8)由一个同步信号发生器同步触发控制同时工作，其训练数据集由幅度调制器(2)预先设定的M个编码和相对应面阵探测器(8)记录的M帧低分辨散斑图像所一一配对构成；

(b)将训练数据输入到U-Net网络模型中，进行模型优化，得到训练完成的深度学习超分辨重建算法的预训练网络模型结果，存储到计算机(9)中；

③基于深度学习超分辨重建算法的测试

将待测物体(7)替换步骤②(a)中的训练物体白板，将步骤②(a)得到的调制光场辐照于待测物体(7)上，重复步骤②(a)的操作，待测物体的反射光被面探测器(8)记录，结合步骤②(b)得到的深度学习超分辨图像重建算法的预训练网络模型结果，对面阵探测器(8)所记录的每一帧低分辨散斑图像进行图像复原；

④对所复原的多帧图像进行关联运算，获得待测物体的高分辨率图像。

3.根据权利要求2所述的一种基于稀疏照明的超分辨内窥镜的成像方法，其特征在于：将通过深度学习超分辨图像重建算法得到的多帧高分辨散斑重建图像进行关联运算，先计算多帧高分辨散斑重建图像的整体平均值，将每一张高分辨散斑重建图像减去平均值后，平方相加求平均，再开平方，得到待测物体的高分辨率图像。

Images