CN111248841B - 一种基于低秩约束的多模光纤内窥镜成像系统 - Google Patents

Abstract

本发明公开了一种基于低秩约束的多模光纤内窥镜成像系统，包括：激光器、偏振片、相位调制器、分束器、光纤耦合器、多模光纤、光纤准直器、光强探测器和低秩约束图像重构模块。激光经偏振片起偏后，经相位调制器加载随机调制相位；由光纤耦合器将调制光耦合入多模光纤；在出射端的光纤准直器后对调制光场预校准；使用预校准光场对待测样品进行成像，通过光强探测器测量样品反射光强；低秩约束图像重构模块根据测量矩阵与光强探测器响应值，应用低秩约束算法对内窥镜图像进行恢复。本发明是一种全新的多模光纤内窥镜成像方式，极大减少内窥镜的尺寸，同时具有一定的抗光纤弯折扰动的特性，相比于现有重构算法可实现更高质量的内窥镜成像。

Description

一种基于低秩约束的多模光纤内窥镜成像系统

技术领域

本发明涉及多模光纤内窥镜成像技术领域，特别涉及一种基于低秩约束的多模光纤内窥镜成像系统。

背景技术

医用内窥镜技术经过多年的发展，已成为临床医学中实现微创或无创的在线活体检查和治疗的重要手段之一。目前已获得应用的内窥镜结构主要可分为三类：硬管式、电子式和光纤式内窥镜。其中，硬管式内窥镜不可弯曲，探头体积大，只可应用于活体表层部位；电子式内窥镜的探头大小也受限于其前端的图像传感器尺寸，无法满足细胞级成像需求。因此，发展具有微小探头的内窥镜深入活体器官或者组织内部，实现细胞级成像，是目前内窥镜技术亟待突破的重要技术问题，而光纤式内窥镜为攻克该问题提供了全新的解决方案。

现有的基于单模光纤的内窥镜仍存在诸多问题：单光纤扫描成像的方案需加入机械扫描结构，探头体积大，难以进行高速成像；多根单模光纤聚束传导图像的方案，其分辨率受限于光纤数目，而单模光纤芯径较小而芯间距较大的特点使其无法满足高分辨成像的需求。鉴于多模光纤中多个导波模式并行传输的特性，单根多模光纤已被广泛用于传输二维图像信息，基于多模光纤的内窥镜技术也因此受到广泛关注。

在已有的研究中，基于压缩感知算法的多模光纤内窥镜成像方案已发现该种内窥镜对光纤扰动有一定的抵抗性，并有着图像质量随着测量次数增加而提高的趋势。但是亦有研究发现，即便重复测量次数不断提升，重构图像中信号部分仍由离散点组成，目标图像不连续，影响对具体目标的识别判定，这是制约压缩感知多模光纤内窥镜图像质量的主要因素。参考文件1：Amitonova,Lyubov V.,and Johannes F.De Boer."Compressiveimaging through a multimode fiber."Optics letters 43.21(2018):5427-5430；参考文件2：Lan,Mingying,et al."Robust compressive multimode fiber imaging againstbending with enhanced depth of field."Optics express 27.9(2019):12957-12962.

利用基于压缩感知算法的多模光纤恢复出的图像存在离散点，主要由其内禀的稀疏约束条件引起，因其需要假定目标在某个变换域上的稀疏先验特性。

发明内容

本发明针对目前多模光纤内窥镜采用压缩感知算法恢复出的图像存在离散点的问题，提出了一种基于低秩约束的多模光纤内窥镜成像系统，基于内窥镜探测中目标的自我相似性特征，利用低秩约束进行图像恢复，能够显著改善重构图像的连续性，兼有抗光纤扰动的特性，并在简单目标的成像中更具有显著优势。

本发明提供的一种基于低秩约束的多模光纤内窥镜成像系统，包括：激光器、偏振片、相位调制器、分束器、光纤耦合器、多模光纤、光纤准直器、光强探测器和低秩约束图像重构模块。激光器发出的一束激光经过偏振片起偏后，照射到相位调制器上。相位调制器中加载预先制作好的一系列随机相位掩模，对激光进行随机相位调制。记录相位调制器中每个相位掩模板上的随机相位分布以及相位掩模的播放顺序。经过相位调制的空间光束经分束器，将透射光束射入光纤耦合器。调节光纤耦合器将调制后的空间光束耦合入多模光纤，在多模光纤的出射端设置光纤准直镜，通过光纤准直镜将多模光纤内传输的光场解耦为空间光束，照射在待测物体上。待测物体的反射光被光强探测器探测。

所述的多模光纤内窥镜成像系统，在进行实际物体测量前，先使用预校准模块对调制光场进行预校准，获取每个随机相位调制对应的预校准光场矩阵。预校准模块放置在光纤准直器之后。预校准过程包括：设置预定采样数N，同时利用相位调制器生成N组随机相位分布；控制相位调制器加载该N组随机相位分布，记录随机相位分布以及加载顺序；激光被相位调制器调制后耦合入多模光纤传输，经光纤准直器出射向预校准模块，使用预校准模块中的相机记录加载每组相位分布后所对应的出射光束的光强分布，记录为预校准光场矩阵。共得到N个预校准光场矩阵。在完成预校准过程后撤去预校准模块。

在利用所述的多模光纤内窥镜进行实际测量时，控制激光器发出一束激光，要求激光与预校准过程中发出的激光的参数相同；激光经过偏振片起偏后照射在相位调制器上，与预校准时照射的位置相同，相位调制器按顺序加载预校准时记录的随机相位分布；激光被相位调制器调制后耦合入多模光纤，经出射端的光纤准直器后射向待测物品。待测物品的反射光被光强探测器探测。每进行一次相位调制，光强探测器记录每个相位掩膜板对应的经过物体反射后对应的总光强。不断进行测量，直到相位调制器按顺序加载完N个相位掩模，光强探测器采集到N个总光强数据。

光强探测器将采集的数据传输给低秩约束图像重构模块。低秩约束图像重构模块根据预校准光场矩阵和光强探测器输入的采集数据进行图像恢复，包括：

去均值预处理，包括：将每一帧预校准光场矩阵相加得到叠加矩阵，并按采样数N计算平均，得到预校准光场矩阵的均值矩阵，将每一帧预校准光场矩阵与该均值矩阵做差，得到预校准光场涨落矩阵；将每帧共M像素的预校准光场涨落矩阵按行重组为共M个元素的行向量，并按采样数N排列为N*M维的测量矩阵A；对光强探测器的N个总光强求均值，并用每一帧总光强减去该均值得到涨落光强，N个涨落光强组成测量值Y；

基于测量矩阵A和测量值Y利用低秩约束算法恢复图像，输出恢复图像x。

本发明与现有技术相比，具有以下优势和积极效果：(1)针对多模光纤内窥镜已有研究中基于压缩感知算法的重构图像不连续，图像质量不理想等问题，本发明应用了低秩约束进行多模光纤内窥镜的图像恢复，该方案基于物体本身存在的相似性与规律性，不仅具有更广泛的应用场景，而且可以规避压缩感知中稀疏约束导致图像中产生离散点、不连续的问题，实现更优质的图像质量。(2)同时，本发明基于低秩重构的多模光纤内窥镜成像系统与压缩感知重构方案的多模光纤内窥镜系统具有相近的抗光纤弯折扰动的鲁棒性，而本发明所涉及的低秩重构方案在对简单目标进行恢复时的鲁棒性优于压缩感知重构方案，具有更广泛的应用价值。(3)经过研究表明，本发明基于低秩约束的多模光纤内窥镜成像系统的图像恢复方案并不局限于简单的物体，对复杂物体进行低秩恢复的性能也有所保证。

附图说明

图1是本发明实施例的多模光纤内窥镜的成像系统的组成示意图；

图2是实施例一中压缩感知梯度投影算法(GPSR)和低秩(LR)约束算法恢复的图像在不同采样率下的信噪比曲线；

图3是实施例一中采样率为10％时压缩感知GPSR算法的恢复图像；

图4是实施例一中采样率为10％时应用本发明系统采用低秩约束算法的恢复图像；

图5是实施例二中压缩感知GPSR算法的恢复图像；

图6是实施例二中应用本发明系统采用低秩约束算法的恢复图像。

图中：

1-激光器；2-偏振片；3-相位调制器；4-分束器；5-光纤耦合器；6-多模光纤；7-光纤准直器；8-待测样品；9-预校准模块；10-光强探测器；11-低秩约束图像重构模块。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提出的基于低秩约束的多模光纤内窥镜成像系统，是一种全新的多模光纤内窥镜成像方式，借助目标本身存在的低秩约束特性进行图像重构，有效避免了稀疏约束压缩感知算法恢复图像不连续的问题，同时相比于其他重构算法可实现更高质量的内窥镜成像，能够提升图像质量，并具有抗光线弯折扰动的特性。采用本发明系统能够极大减少内窥镜的尺寸，减轻内窥镜在医学应用中患者的异物感。

如图1所示，为本发明实施例一和实施例二的多模光纤内窥镜的成像系统，包括：激光器1、偏振片2、相位调制器3、分束器4、光纤耦合器5、多模光纤6、光纤准直器7、预校准模块9、光强探测器10以及低秩约束图像重构模块11。

激光器1发射激光。要求激光的波长在相位调制器3可调制的范围之内。在本实施例中，激光波长在可见光波段(400-800nm)范围内。

偏振片2的作用是保证传输光束中只包含一个偏振方向。

相位调制器3为相位型空间光调制器，加载预先制作好的一系列随机相位掩模，或通过空间光调制器软件中生成一系列随机相位掩模，对激光进行随机相位调制。需要记录每个相位掩模板上的随机相位分布以及掩模板的播放顺序。

光纤准直器7位于多模光纤6的输出端，用于对多模光纤6内传输的光场解耦，将多模光纤6传输的发散的光变为平行光，然后射出。光纤准直器7输出的平行光照射到待测样品8。待测样品8的反射光通过分束器4反射被光强探测器10接收。

如图1所示，多模光纤内窥镜成像系统中的光路为：激光器1发出一束激光，通过一个偏振片2进行起偏，照射到相位调制器3上，激光经相位调制器3进行随机相位调制后，传输至分束器4。经相位调制后的激光光束经过分束器4分束，将反射光路空置，透射光路经光纤耦合器5将调制光束耦合入多模光纤6，并通过光纤输出端的光纤准直器7解耦，将光束准直照射在待测样品8上。待测样品8的反射光经光纤准直器7、多模光纤6、光纤耦合器5传输至分束器4，通过分束器4反射被光强探测器10接收。光强探测器10记录待测样品8的反射光的光强分布数据，然后都传输到低秩约束图像重构模块11中，应用基于低秩约束的图像重构算法进行图像恢复。

在对实际待测样品8进行测量前，需要先利用预校准模块9对多模光纤内窥镜成像系统的调制光场进行预校准。预校准模块9设置在多模光纤6出射端的光纤准直器7后，如图1所示，x方向为光纤耦合器5和光纤准直器7的连线方向，预校准模块9位于光纤准直器7的轴向上。预校准模块9中设置有相机和驱动程序，需要预先设置相机的曝光时间、探测视场参数、采样数N等。

使用预校准模块9对多模光纤内窥镜成像系统的调制光场进行预校准，记录相位调制器3中的随机相位分布以及相位掩模的加载顺序。进行预校准的过程为：(1)通过预校准模块9中驱动程序预先设置采样数N，同时用相位调制器3生成N组随机相位分布，N为自然数，一组随机相位分布对应一个相位掩模；(2)控制相位调制器3加载该N组随机相位分布，记录随机相位分布以及加载顺序；(3)激光器1发出的激光沿光路传输，被相位调制器3调制后耦合入多模光纤6，经光纤准直器7后光束射向预校准模块9，预校准模块9中的相机采集经相位掩模调制后的空间光束对应的光场，即光强分布，记录为预校准光场矩阵。(4)相位调制器3每加载一组随机相位分布，重复(3)，直到满足采样数N，获得N组预校准光场矩阵，完成预校准过程，撤去预校准模块9。设光场在相机中所占的像素数为M，M为正整数，对于一个预校准光场矩阵，其矩阵中的行数*列数＝M。一般情况下，N大于等于0.7倍的像素数时就可以恢复出图像。

在进行实际样品测量时，控制激光器1发出一束激光，要求所发生的激光与预校准过程中发出的激光的光功率、波长、偏振方向等参数相同，经过偏振片2起偏后照射相位调制器3上，照射位置与预校准时照射的位置相同。相位调制器3按顺序加载预校准过程记录的随机相位分布掩模。激光被相位调制器3调制后，经分束器4，由光纤耦合器5耦合入多模光纤6传输，在经出射端的光纤准直器7解耦合，出射平行光照射向待测样品8。每进行一次相位调制，就在光强探测器10记录相位掩膜所对应的经过待测样品8反射后对应的光强分布，并计算总光强。不断重复测量过程，直到满足采样数N，即相位调制器3按顺序加载完N个相位掩模，光强探测器10采集到N个总光强数据。

光强探测器10将采集的数据输入低秩约束图像重构模块11，低秩约束图像重构模块11根据预校准光场矩阵与光强探测器10采集的数据，对测得的数据进行去均值预处理和低秩约束重构算法的图像恢复，输出恢复后的内窥镜图像

低秩约束图像重构模块11，(1)首先，将每一帧预校准光场矩阵相加，即将N个预校准光场矩阵相加，得到叠加矩阵，然后按采样数N计算预校准光场矩阵的均值矩阵，再将每一个预校准光场矩阵与该均值矩阵做差，得到预校准光场涨落矩阵。对于预校准光场矩阵，设将光场在相机中所占的像素数记为M，M为正整数。将每帧共M像素的预校准光场涨落矩阵按行重组为共M个元素的行向量，并按采样数N，将N个预校准光场涨落矩阵排列为N*M维的测量矩阵A。(2)低秩约束图像重构模块11求取光强探测器10输入的N个总光强的均值，并用每一个总光强减去该均值得到的涨落光强，作为低秩约束重构算法中的测量值Y，低秩约束重构算法的优化方程可写为如下：

||Y-Ax||₂≤εs.t.rank(x)≤r

其中，x为待重构图像，在算法中用核范数进行近似求解，||.||₂表示2-范数，ε为设置的迭代阈值，为求解中的迭代截止条件，ε的值越小，表示图像恢复精度越高；s.t.表示约束条件，rank(x)表示图像x的秩，r是预先设置的图像秩的大小，r的取值大小影响图像的恢复精度。在算法实际应用过程中，根据待测物体的复杂度、探测噪声水平可微调参数r，提升图像质量。

下面实施例一和实施例二都应用了本发明的基于低秩约束的多模光纤内窥镜成像系统，由实验结果可知，本发明克服了压缩感知算法中目标图像不连续，图像质量较低的问题，应用低秩约束算法明显提高了图像的信噪比，且低秩重构方案在对简单目标进行恢复时的鲁棒性优于压缩感知重构方案。

实施例一：

本实施例主要研究的是对复杂物体进行低秩恢复的性能。在本实施例中采用汉字‘云’作为待测物体。在对调制光场进行记录预校准时，设置的预定采样数N为22500，即光场信息包含22500张散斑图像，另有一个22500*1的光强向量。预校准模块9中的相机采集的每张图片包含的光场有150*150个像素，即M＝22500。

将每一帧预校准光场矩阵相加，得到叠加矩阵并按采样数N计算平均，得到预校准光场矩阵的均值矩阵，每一帧预校准光场矩阵与该均值矩阵做差，得到预校准光场涨落矩阵。将每帧150*150像素的预校准光场涨落矩阵按行重组为共22500个元素的行向量，并按采样数22500排列为22500*22500维的测量矩阵A。此处需要说明的是，在实际应用时，测量矩阵A不必要为方阵，其中测量次数N可远远小于像素数M。

求出光强探测器10响应结果的均值，并用每一帧总光强减去该均值得到涨落光强Y。分别用压缩感知算法中的梯度投影法(GPSR)和低秩约束算法恢复图像。用信噪比(SNR)作为评价图像质量的指标，信噪比越高代表产生的噪声越少。

图像信噪比的计算公式为，

其中，(x,y)表示图像中的像素点坐标，O(x,y)为待测物体的标准图样在(x,y)的像素值，S(x,y)为算法恢复出的图像在(x,y)的像素值。

如图2所示，为实施例一中压缩感知GPSR算法和低秩约束算法在不同采样率下的信噪比图像。虚线是低秩约束算法(LR)恢复图像的SNR随采样率的变化趋势；实线是GPSR算法恢复图像的SNR随采样率的变化趋势。采样率可表示为采样数与每帧像素总数的比值。由图2可看出，应用本发明系统采用低秩约束算法的信噪比在各采样率下均高于压缩感知GPSR算法。

如图3所示，为本发明实施例中采样率为10％时压缩感知GPSR算法的恢复图像。其信噪比为1.8617。如图4所示，为本发明实施例中采样率为10％时低秩约束算法的恢复图像。其信噪比为2.5216。由图3和图4可看出，应用本发明系统得到的恢复图像效果更好。

实施例二：

本实施例说明本发明基于低秩约束的多模光纤内窥镜图像重构系统在对简单目标进行恢复时的鲁棒性优于压缩感知的图像重构方案。在本实施例中采用双缝作为待测物体。在对调制光场进行记录预校准时，设置的预定采样数N为2250，即物体的采样率为10％，光场信息包含2250张散斑图像，另有一个2250*1的光强向量。预校准模块9中的相机采集的每张图片有150*150个像素，M＝22500。在使用预校准光场对待测物体进行测量时，在光强探测器响应结果中加入随机噪声，以模拟预校准光场矩阵和光强探测器响应结果不匹配的情况，引入很大的扰动。分别用压缩感知GPSR算法和低秩约束重构算法恢复图像。用信噪比作为评价图像质量的指标。

如图5所示，为本发明实施例中采用压缩感知GPSR算法的恢复图像。其信噪比为0.6970。如图6所示，为本发明实施例中采用低秩约束算法的恢复图像。其信噪比为1.2328。由此可见，在采用压缩感知GPSR算法获得的图像中已经无法恢复出图像，而采用低秩约束算法获得的图像依然可以得到恢复出的物体。这表明本发明基于低秩约束的多模光纤内窥镜图像重构系统在对简单目标进行恢复时的鲁棒性优于压缩感知的图像重构方案。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (2)

1.一种基于低秩约束的多模光纤内窥镜成像系统，包括：激光器发出一束激光，经偏振片起偏后，照射在相位调制器上进行随机相位调制，调制后的光束经分束器，将反射光路空置，透射光路的光束经光纤耦合器耦合入多模光纤；多模光纤传输的调制光通过设置在多模光纤出射端的光纤准直器解耦，将出射光束准直照射在待测物品；待测物品的反射光通过分束器反射后被光强探测器探测到；其特征在于：

记录所述的相位调制器中加载的随机相位分布掩模和掩模顺序；

在光纤准直器之后放置预校准模块，预校准模块中包含有相机，利用预校准模块的相机记录经每个随机相位分布掩模调制后对应的出射光束的光强分布，记录为预校准光场矩阵，将预校准光场矩阵传输给低秩约束图像重构模块；设预校准光场矩阵对应的像素数共有M个；

所述的相位调制器每加载一个随机相位分布掩模，所述的光强探测器对探测到的反射光的光强求和，并输出给低秩约束图像重构模块；

所述的低秩约束图像重构模块根据预校准光场矩阵和光强探测器输入的采集数据进行图像恢复，包括：

(1)将所有预校准光场矩阵相加并按采样数N计算平均，得到预校准光场矩阵的均值矩阵，对每一个预校准光场矩阵与该均值矩阵做差，得到预校准光场涨落矩阵；将每个预校准光场涨落矩阵按行重组为一个共M个元素的行向量，将N个预校准光场涨落矩阵排列为一个N*M维的测量矩阵A；

(2)对光强探测器探测的N个总光强求均值，并用每一个总光强减去该均值得到涨落光强，N个涨落光强组成测量值Y；基于测量矩阵A和测量值Y利用低秩约束算法重构图像；所述的多模光纤内窥镜成像系统，使用预校准模块进行预校准的过程包括：预先在预校准模块中设置采样数N，同时，在相位调制器中加载生成的N组随机相位分布的掩模，记录N组掩模的随机相位分布以及掩模加载顺序；激光器发出的激光，沿光路传输，经相位调制的空间光束耦合入多模光纤传输，经光纤准直器后光束照射向预校准模块；利用预校准模块中的相机采集经每个随机相位调制后的光束的光强分布，记录为预校准光场矩阵；N为自然数。

2.根据权利要求1所述的系统，其特征在于，所述的低秩约束图像重构模块中，在利用低秩约束算法重构图像时，是求解优化方程||Y-Ax||₂≤εs.t.rank(x)≤r，来获得重构图像x；其中，||.||₂表示2-范数，ε为设置的迭代阈值，s.t.表示约束条件，rank(x)表示图像x的秩，r是预先设置的图像秩的大小。

Images