CN116115164B - 一种基于模式调控的多模光纤成像系统 - Google Patents
一种基于模式调控的多模光纤成像系统 Download PDFInfo
- Publication number
- CN116115164B CN116115164B CN202310356905.1A CN202310356905A CN116115164B CN 116115164 B CN116115164 B CN 116115164B CN 202310356905 A CN202310356905 A CN 202310356905A CN 116115164 B CN116115164 B CN 116115164B
- Authority
- CN
- China
- Prior art keywords
- image
- output
- matrix
- phase
- beam splitter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013307 optical fiber Substances 0.000 title claims abstract description 72
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 230000033228 biological regulation Effects 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims abstract description 94
- 230000005540 biological transmission Effects 0.000 claims abstract description 78
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 21
- 238000007493 shaping process Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000000835 fiber Substances 0.000 claims description 40
- 238000013136 deep learning model Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000010363 phase shift Effects 0.000 claims description 9
- 238000005305 interferometry Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000002858 crystal cell Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/02—Optical fibres with cladding with or without a coating
- G02B6/02047—Dual mode fibre
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00013—Operational features of endoscopes characterised by signal transmission using optical means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0905—Dividing and/or superposing multiple light beams
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/0994—Fibers, light pipes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Optical Communication System (AREA)
Abstract
本发明提供一种基于模式调控的多模光纤成像系统，所述系统包括顺序连接的信号调制模块、散斑处理模块和图像接收模块，信号调制模块包括顺序连接的激光器、扩束器和数字微镜装置；散斑处理模块包括第一分束器、第二分束器、第三分束器、空间光调制器和多模光纤，所述第一分束器的输入端与数字微镜装置相连接，输出端分别与第二分束器和第三分束器相连接，所述第二分束器连接有空间光调制器，且通过所述多模光纤与所述第三分束器相连接，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量，基于所述奇异向量实现光束的波前整形；所述图像接收模块包括电荷藕合相机，所述电荷耦合相机接收散斑图像。
Description
技术领域
本发明涉及光电子技术领域，尤其涉及一种基于模式调控的多模光纤成像系统。
背景技术
光纤成像技术的优势在于其直径小、损耗低、成本低等，是一种理想的侵入式导光介质，因此在内窥镜成像领域有着广泛的应用。早期的研究是采用光纤束的结构实现多个并行空间信道，每一个光纤核作为一个“像素”来收集图像信息，即使用多芯光纤（MCFs）进行成像。为了提高成像系统的分辨率和微型化程度，使用单根多模光纤进行成像渐渐进入大众的视野。
在成像光纤的直径上，使用多模光纤相比于光纤束具有显著的优势。相比光纤束成像，单根多模光纤成像的成像密度可以大1~2个数量级。但是，与使用单模光纤的光纤束不同，多模光纤可以传输成百上千种导波模式，在输出端形成不同的空间散斑分布。光纤中每一种导波模式都有不同的相速度，这会使不同的图像信息间失去原有的相位关系，最终会在输出端产生看似随机的散斑。虽然多模光纤使原有的图像发生了畸变，但这个过程并没有损失图像信息，而是将其进行了复杂的编码，如果光在光纤中的传播过程可以被得知，那么就有可能恢复原始的图像信息。
虽然经过多模光纤传输后在远端形成的散斑看似随机，但仍旧表现出可预测的性质。它们的场振幅服从瑞利分布，空间上局部相关。这些局部相关性的空间范围通常被称为散斑粒度尺寸。不同的散斑粒度大小体现了光信号在多模光纤传播过程中所激发的波导模式阶次高低，低阶模式导致散斑粒度扩大，高阶模式导致散斑粒度变小。现有技术通常难以对散斑粒度进行调节，导致图像还原精度较差。
发明内容
鉴于此，本发明的实施例提供了一种基于模式调控的多模光纤成像系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种基于模式调控的多模光纤成像系统，所述系统包括顺序连接的信号调制模块、散斑处理模块和图像接收模块，
所述信号调制模块包括顺序连接的激光器、扩束器和数字微镜装置，所述数字微镜装置用于将待传输图像调制到光路中；
所述散斑处理模块包括第一分束器、第二分束器、第三分束器、空间光调制器和多模光纤，所述第一分束器的输入端与所述数字微镜装置相连接，所述第一分束器的输出端分别与第二分束器和第三分束器相连接，所述第二分束器连接有空间光调制器，且通过所述多模光纤与所述第三分束器相连接，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量，基于所述奇异向量实现光束的波前整形；
所述图像接收模块包括电荷藕合相机，所述电荷耦合相机与第三分束器相连接，并接收散斑图像。
采用上述方案，待传输图像由于多模光纤中各种导波模式有不同的像速度，会使图像信息失去其原有的相位关系，最后使得相机采集到的图像是一个看似随机的散斑图，在本方案中，由于待传输图像的图像信息通过了在空间光调制器上显示的不同奇异向量的相位调制，所采集到的散斑图案粒度大小会产生相应变化，使对散斑粒度进行调节，实现光束的波前整形，提高在还原图像时的还原精度。
在本发明的一些实施方式中，所述系统包括图像还原模块，所述图像还原模块与图像接收模块相连接，接收所述图像接收模块输出的散斑图像，所述图像还原模块设置有预训练的深度学习模型，所述深度学习模型用于将散斑图像输出为还原图像，所述深度学习模型的结构为卷积网络结构，所述卷积网络结构包括卷积层、池化层和激活函数层。
在本发明的一些实施方式中，所述散斑处理模块还包括第一物镜和第二物镜，所述第一物镜和第二物镜分别连接于所述多模光纤的输入端和输出端。
在本发明的一些实施方式中，所述散斑处理模块还包括反射镜，所述反射镜设置在第二物镜和第三分束器之间，所述反射镜用于将光信号从第二物镜反射至第三分束器。
在本发明的一些实施方式中，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量的步骤包括：
采用四步相移干涉法计算得到所述多模光纤的传输矩阵；
对所述传输矩阵进行奇异值分解，将通过奇异值分解得到的右奇异矩阵中的每个列构建为一个奇异向量。
在本发明的一些实施方式中，所述采用四步相移干涉法计算得到所述多模光纤的传输矩阵的步骤包括：
基于预设的哈达玛矩阵构建多个哈达玛图像，分别测试所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像；
基于所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像计算所述多模光纤的传输矩阵。
在本发明的一些实施方式中，基于所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像计算所述多模光纤的传输矩阵的步骤包括：
基于每张输入图像在四个相位的输出图像构建输出列向量，基于全部的输出列向量构建输出图像矩阵；
基于每张输入图像构建输入列向量，基于全部的输入列向量构建输入图像矩阵；
基于所述输出图像矩阵和输入图像矩阵计算所述多模光纤的传输矩阵。
在本发明的一些实施方式中，在基于每张输入图像在四个相位的输出图像构建输出列向量，基于全部的输出列向量构建输出图像矩阵的步骤中，基于如下公式构建输出图像矩阵：
其中，表示第/>张输入图像在四个相位传输所对应的输出列向量，/>表示0相位的输出图像的第1个通道的像素值，/>表示/>相位的输出图像的第1个通道的像素值，表示/>相位的输出图像的第1个通道的像素值，/>表示/>相位的输出图像的第一个通道的像素值，/>表示0相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，表示/>相位的输出图像的第2个通道的像素值，/>表示0相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，表示虚数单位。
在具体实施过程中，在计算第1张输入图像在四个相位传输所对应的输出列向量时，以第1张输入图像在四个相位传输所对应的输出图像带入计算；在计算第张输入图像在四个相位传输所对应的输出列向量时，以第/>张输入图像在四个相位传输所对应的输出图像带入计算。
在本发明的一些实施方式中，在基于所述输出图像矩阵和输入图像矩阵计算所述多模光纤的传输矩阵的步骤中，计算所述多模光纤的传输矩阵：
其中，表示第1张输入图像在四个相位传输所对应的输出列向量，/>表示第2张输入图像在四个相位传输所对应的输出列向量，/>表示第N张输入图像在四个相位传输所对应的输出列向量，/>表示传输矩阵，/>表示第1张输入图像各个通道的像素值构成的列向量，/>表示第2张输入图像各个通道的像素值构成的列向量，/>表示第/>张输入图像各个通道的像素值构成的列向量，/>是由/>表征的复对角矩阵，/>为光束在多模光纤中传输过程的脉冲响应。
在本发明的一些实施方式中，基于所述奇异向量实现光束的波前整形的步骤包括：
基于每个奇异向量构建一个对应的奇异向量矩阵，基于所述奇异向量矩阵构建奇异向量图像；
对多个奇异向量图像作为所述空间光调制器的参考图像进行测试，测试得到每个奇异向量图像作为所述空间光调制器的参考图像时传输图像的精度指标参数；
基于所述精度指标参数确定所述空间光调制器最终使用的参考图像；
所述空间光调制器基于最后选定的参考图像进行调制，实现光束的波前整形。
在本发明的一些实施方式中，在基于所述精度指标参数确定所述空间光调制器最终使用的参考图像的步骤中，所述精度指标参数为峰值信噪比和/或结构相似性。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明基于模式调控的多模光纤成像系统一种实施方式的结构示意图；
图2为本发明基于模式调控的多模光纤成像系统另一种实施方式的结构示意图；
图3为本发明基于模式调控的多模光纤成像系统的结构示意图；
图4为多模光纤成像原理示意图；
图5为散斑晶粒尺寸与奇异向量的函数关系的示意图；
图6为编码-解码网络结构示意图；
图7为测试集中重建结果对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为解决以上问题，如图1、3所示，本发明提出一种基于模式调控的多模光纤成像系统，所述系统包括顺序连接的信号调制模块、散斑处理模块和图像接收模块，
所述信号调制模块包括顺序连接的激光器、扩束器和数字微镜装置，所述数字微镜装置用于将待传输图像调制到光路中；
所述散斑处理模块包括第一分束器、第二分束器、第三分束器、空间光调制器和多模光纤，所述第一分束器的输入端与所述数字微镜装置相连接，所述第一分束器的输出端分别与第二分束器和第三分束器相连接，所述第二分束器连接有空间光调制器，且通过所述多模光纤与所述第三分束器相连接，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量，基于所述奇异向量实现光束的波前整形；
所述图像接收模块包括电荷藕合相机，所述电荷耦合相机与第三分束器相连接，并接收散斑图像。
在具体实施过程中，所述第一分束器将接收到的光信号传输至第二分束器和第三分束器，所述第二分束器将接收到的光信号传输至空间光调制器，所述空间光调制器接收光信号，并将反馈出的光信号输出到第二分束器，所述第二分束器将从所述空间光调制器接收的光信号通过第一物镜、多模光纤和第二物镜传输到第三分束器，所述第三分束器将从两个输入路径输入的光信号共同输出到电荷藕合相机。
采用上述方案，待传输图像由于多模光纤中各种导波模式有不同的像速度，会使图像信息失去其原有的相位关系，最后使得相机采集到的图像是一个看似随机的散斑，在本方案中，由于待传输图像的图像信息通过了在空间光调制器上显示的不同奇异向量的相位调制，所采集到的散斑图案粒度大小会产生相应变化，使对散斑粒度进行调节，实现光束的波前整形，提高在还原图像时的还原精度。
如图2所示，在本发明的一些实施方式中，所述系统包括图像还原模块，所述图像还原模块与图像接收模块相连接，接收所述图像接收模块输出的散斑图像，所述图像还原模块设置有预训练的深度学习模型，所述深度学习模型用于将散斑图像输出为还原图像，所述深度学习模型的结构为卷积网络结构，所述卷积网络结构包括卷积层、池化层和激活函数层。
在具体实施过程中，所述电荷藕合相机获得的图像为散斑图像，利用所述图像还原模块的深度学习模型将散斑图像输出为还原图像。
在本发明的一些实施方式中，所述散斑处理模块还包括第一物镜和第二物镜，所述第一物镜和第二物镜分别连接于所述多模光纤的输入端和输出端。
在具体实施过程中，实验分为两个步骤，第一个步骤：利用四步相移干涉法计算系统中多模光纤的传输矩阵T，并进行奇异值分解，由空间光调制器调制不同的奇异向量，实现光束的波前整形；第二个步骤：采集一定数量的多模光纤远端得到的散斑图案和其对应的原始图像作为训练集，通过深度学习方法训练得到映射模型，实现图像重建。步骤一过程如下：激光器发出光源通过扩束器后，照亮空间光调制器，空间光调制器上调制不同组的奇异向量，经过第一物镜后耦合入多模光纤传输，光束经过第二物镜的放大后被CCD相机采集。步骤二过程如下：激光器发出光源通过扩束器后，照亮数字微镜器件，数字微镜器件上调制出灰度目标原图像（仿真真实场景），将带有图像信息的光束照亮到空间光调制器上，进行不同奇异向量下的相位调制，然后经过第一物镜耦合进多模光纤传输，光束经过第二物镜的放大后，CCD相机采集相应散斑。
在本发明的一些实施方式中，所述散斑处理模块还包括反射镜，所述反射镜设置在第二物镜和第三分束器之间，所述反射镜用于将光信号从第二物镜反射至第三分束器。
在本发明的一些实施方式中，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量的步骤包括：
采用四步相移干涉法计算得到所述多模光纤的传输矩阵；
对所述传输矩阵进行奇异值分解，将通过奇异值分解得到的右奇异矩阵中的每个列构建为一个奇异向量。
在具体实施过程中，奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，奇异值分解则是特征分解在任意矩阵上的推广，通过奇异值分解可得到左奇异矩阵和右奇异矩阵。
在本发明的一些实施方式中，所述采用四步相移干涉法计算得到所述多模光纤的传输矩阵的步骤包括：
基于预设的哈达玛矩阵构建多个哈达玛图像，分别测试所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像；
基于所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像计算所述多模光纤的传输矩阵。
在具体实施过程中，所述预设的哈达玛矩阵可以为随机生成的哈达玛矩阵，将所述哈达玛矩阵的每个列单独构建为子矩阵，基于子矩阵构建哈达玛图像，将哈达玛图像作为输入数据，即输入图像。
在具体实施过程中，在将所述哈达玛矩阵的每个列单独构建为子矩阵的步骤中，将所述哈达玛矩阵的每个列的参数顺序填入子矩阵的逐个行中，构建子矩阵。
在具体实施过程中，在基于子矩阵构建哈达玛图像的步骤中，将子矩阵中参数为1的位置设置灰度值为255，将子矩阵中参数为0的位置设置灰度值为0。
在本发明的一些实施方式中，基于所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像计算所述多模光纤的传输矩阵的步骤包括：
基于每张输入图像在四个相位的输出图像构建输出列向量，基于全部的输出列向量构建输出图像矩阵；
基于每张输入图像构建输入列向量，基于全部的输入列向量构建输入图像矩阵；
基于所述输出图像矩阵和输入图像矩阵计算所述多模光纤的传输矩阵。
在本发明的一些实施方式中，在基于每张输入图像在四个相位的输出图像构建输出列向量，基于全部的输出列向量构建输出图像矩阵的步骤中，基于如下公式构建输出图像矩阵：
其中，表示第/>张输入图像在四个相位传输所对应的输出列向量，/>表示0相位的输出图像的第1个通道的像素值，/>表示/>相位的输出图像的第1个通道的像素值，表示/>相位的输出图像的第1个通道的像素值，/>表示/>相位的输出图像的第一个通道的像素值，/>表示0相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示0相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示虚数单位。
在具体实施过程中，在计算第1张输入图像在四个相位传输所对应的输出列向量时，以第1张输入图像在四个相位传输所对应的输出图像带入计算；在计算第张输入图像在四个相位传输所对应的输出列向量时，以第/>张输入图像在四个相位传输所对应的输出图像带入计算。
在本发明的一些实施方式中，在基于所述输出图像矩阵和输入图像矩阵计算所述多模光纤的传输矩阵的步骤中，计算所述多模光纤的传输矩阵：
其中，表示第1张输入图像在四个相位传输所对应的输出列向量，/>表示第2张输入图像在四个相位传输所对应的输出列向量，/>表示第N张输入图像在四个相位传输所对应的输出列向量，/>表示传输矩阵，/>表示第1张输入图像各个通道的像素值构成的列向量，/>表示第2张输入图像各个通道的像素值构成的列向量，/>表示第/>张输入图像各个通道的像素值构成的列向量，/>是由/>表征的复对角矩阵，/>为光束在多模光纤中传输过程的脉冲响应。
在具体实施过程中，在计算过程中以1带入计算。
在具体实施过程中，由于灰度值范围为[0,255]，相移范围为，当测试0相位的输出图像时，所述空间光调制器以各像素点的灰度值均为0的图像作为参考图像；当测试/>相位的输出图像时，所述空间光调制器以各像素点的灰度值均为63.75的图像作为参考图像；当测试/>相位的输出图像时，所述空间光调制器以各像素点的灰度值均为127.5的图像作为参考图像；当测试/>相位的输出图像时，所述空间光调制器以各像素点的灰度值均为191.25的图像作为参考图像。
在具体实施过程中，使4次的输入图像各像素点的光场值相同，采集4个相位的输出图像。
在具体实施过程中，光束在多模光纤中传输过程的脉冲响应为定值，可以为1。
在具体实施过程中，基于如下公式导出公式
其中，A表示输入图像的通道数，a表示输入图像的第a个通道，表示输入图像的第a个通道的像素值；
在具体实施过程中，基于如下公式导出公式：
其中，表示取实部，/>表示参考光经过多模光纤后在探测器的第/>个输出通道下产生的输出光的复振幅。/>表示/>的转置共轭。
在具体实施过程中，四步相移干涉法：传输矩阵描述光经多模光纤的传播，可将输入光场与输出光场/>联系起来，表达式为/>，分别将输入光场和输出光场划分为A、M份，第m个输出光场可表示为/>，/>为第a个输入光场；/>为传输矩阵T中第m行a列的元素，遵循复高斯分布，传输矩阵T的尺寸为M×A。
在具体实施过程中，对于任何输入光场中的控制光复振幅(a=1、2、…、A)，A表示输入光中控制光的总通道数，如果调制光的相位是一个随常数α变化的量，结合光波的干涉叠加，可得第m个输出通道的光强强度用下式进行描述:
表示相位，e为欧拉数。
N大于或等于A，有唯一的解，如输入哈达玛图的大小为32*32，则所需图片张数需要大于或等于1024。/>在计算过程中可通过归一化消除，
在本发明的一些实施方式中，基于所述奇异向量实现光束的波前整形的步骤包括：
基于每个奇异向量构建一个对应的奇异向量矩阵，基于所述奇异向量矩阵构建奇异向量图像；
对多个奇异向量图像作为所述空间光调制器的参考图像进行测试，测试得到每个奇异向量图像作为所述空间光调制器的参考图像时传输图像的精度指标参数；
基于所述精度指标参数确定所述空间光调制器最终使用的参考图像；
所述空间光调制器基于最后选定的参考图像进行调制，实现光束的波前整形。
采用上述方案，基于最后选定的参考图像进行调制，进行光束的波前整形，获得最佳粒度的散斑图，对此散斑图进行图像还原，精度最高。
在本发明的一些实施方式中，在基于所述精度指标参数确定所述空间光调制器最终使用的参考图像的步骤中，所述精度指标参数为峰值信噪比和/或结构相似性。
在具体实施过程中，在基于每个奇异向量构建一个对应的奇异向量矩阵的步骤中，将所述奇异向量的每个维度的参数，顺序填入奇异向量矩阵的逐个行中，构建奇异向量矩阵。
在具体实施过程中，在基于所述奇异向量矩阵构建奇异向量图像的步骤中，将所述奇异向量矩阵中每个参数作为灰度值构建；
将子矩阵中参数为1的位置设置灰度值为255，将子矩阵中参数为0的位置设置灰度值为0参数为1的位置设置灰度值为255，将子矩阵中参数为0的位置设置灰度值为0。
在具体实施过程中，本方法也可应用于对人体天然管道内部成像的医用内窥和深层组织成像显微系统，成像系统所采用的多模光纤直径仅为微米量级，从而能够实现深入到器官和组织内部以微创的方式进行实时的活体成像。
本方案应用波前整形技术，通过计算能够表征多模光纤传输特性的传输矩阵（TM），并进行奇异值分解（SVD）操作，不同序号的奇异向量对应激发多模光纤中不同阶次模式的传播，从而控制散斑粒度大小，实现更加精确的成像，同时采用深度学习算法对图像进行重建。
实验例
多模光纤纤芯直径为40μm，数值孔径为0.22，长度为20cm。数字微镜装置是通过电脑控制若干个微镜翻转一定的角度和不同的翻转频率来达到对光场进行调制输出灰度图像的效果。空间光调制器为相位型，利用液晶分子实现通过折射率调制相位，从而将一定的信息写入光波中，达到光波调制的目的。空间光调制器（SLM）是被计算机识别为一台普通显示器来控制的，计算机将相位显示到SLM上（所显示的图片每一个像素的灰度值[一般为0~255]对应着相应液晶单元的相位调制值[0~2π]）。
图4展示了无模式调控以及经过不同奇异向量的模式调控下的系统成像过程图，经计算，所得多模光纤传输矩阵T的大小为289*1024，对应289个奇异向量，经过第五个奇异向量vec5的调制后，散斑图像同无模式调控下的散斑图像相比，粒度变大，通过第277个奇异向量vec277的调制后，散斑图像同无模式调控下的散斑图像相比，粒度变小，调制后散斑不同的粒度大小对图像的重建效果影响不同，但与未经过模式调控的散斑相比，重建效果都有得到提升，通过不同序号奇异向量的重建结果对比，我们可以找到对图像重建提升最大的奇异向量及其对应模式调控后的散斑粒度大小。原始图像和场景在经过单根多模光纤成像系统后，由于多模光纤中各种导波模式有不同的像速度，会使图像信息失去其原有的相位关系，最后使得相机采集到的图像是一个看似随机的散斑，同时，由于图像信息通过了在SLM上显示的不同奇异向量的相位调制，所采集到的散斑图案粒度大小会产生相应变化，理论上来看，随着所调制奇异向量的序号增大，对应散斑粒度大小总体呈下降趋势，如图5所示。从多模光纤成像系统上整体来看，我们可以将多模光纤对光场的作用看作一个映射，只要找到这种映射关系的逆变换，就可以通过输出散斑来恢复输入的原始图像。可以预先采集一定数量的多模光纤远端得到的散斑图案和其对应的原始图像作为训练集，通过深度学习方法训练得到映射模型，之后每采集到一个散斑都可以通过模型计算出其对应的原始图像。
我们采用编码-解码（Encoder-decoder）结构的卷积网络结构来建立深度学习模型，如图6所示。输入散斑图像的分辨率是340×340，输出图像的分辨率为96×96。在网络结构设置上，分为收缩路径和扩张路径。收缩路径用卷积和池化来实现下采样，其中第一层的卷积核大小为1×1，目的是不改变输入散斑图案的大小，仅扩充其通道。后面的卷积核大小均为3×3，卷积操作都采用“same”方式进行边界填充，激活函数选择ReLU函数，接着使用最大池化操作实现下采样。经过几次这样的卷积加池化操作，输入图像的特征最后集中到了大小为12×12×512的瓶颈层中。扩张部分和收缩部分呈对称分布，通过反向的池化和卷积实现上采样，卷积核大小为3×3，最后一层用来调整特征通道的是1×1。综上所述，逆向的池化操作再加上卷积就实现了上采样，并且参数可以通过反向传播来学习。
实验与结果：我们按照图3搭建了多模光纤成像系统，表一展示了实验系统所用的硬件与参数。
表一：实验系统硬件参数
系统主要采用四种不同的图像数据集，分别是MNIST、Quickdraw、 SIPaKMeD和ImageNet进行测试，并且通过实验系统采集了10000张前三组数据集与其对应的散斑图案，由于ImageNet数据集相比之下更加复杂，为复杂的自然场景图象，故采集35000张与其对应的散斑图案。训练集与测试集的比例为9：1，使用图6所示的网络模型中进行150代训练，损失函数使用均方误差（MSE）函数，150代后网络基本可以达到不再收敛。训练好的模型在测试集中部分图像的表现如图7所示，在调制不同奇异向量，即通过模式调控后，MNIST数据集上的最高PSNR为24.53，最高SSIM为0.953，最低PSNR为22.05，最低SSIM为0.928，与不经过调制，即无模式调控情况下的图像重建结果相比，PSNR最多可提升6.82，最少提升4.34，SSIM最多可提升0.103，最少提升0.078；QuickDraw数据集上的最高PSNR为22.46，最高SSIM为0.924，最低PSNR为19.02，最低SSIM为0.854，与不经过调制，即无模式调控情况下的图像重建结果相比，PSNR最多可提升5.92，最少提升2.48，SSIM最多可提升0.165，最少提升0.095；SIPaKMeD数据集上的最高PSNR为16.84，最高SSIM为0.691，最低PSNR为16.2，最低SSIM为0.672，与不经过调制，即无模式调控情况下的图像重建结果相比，PSNR最多可提升1.83，最少提升1.19，SSIM最多可提升0.068，最少提升0.049；ImageNet数据集上的最高PSNR为18.42，最高SSIM为0.559，最低PSNR为17.8，最低SSIM为0.523，与不经过调制，即无模式调控情况下的图像重建结果相比，PSNR最多可提升1.19，最少提升0.57，SSIM最多可提升0.079，最少提升0.043；可以看出，模式调控后的重建效果相比于不进行模式调控的重建效果，在PSNR与SSIM上都有较为明显的提升。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于模式调控的多模光纤成像系统，其特征在于，所述系统包括顺序连接的信号调制模块、散斑处理模块和图像接收模块，
所述信号调制模块包括顺序连接的激光器、扩束器和数字微镜装置，所述数字微镜装置用于将待传输图像调制到光路中；
所述散斑处理模块包括第一分束器、第二分束器、第三分束器、空间光调制器和多模光纤，所述第一分束器的输入端与所述数字微镜装置相连接，所述第一分束器的输出端分别与第二分束器和第三分束器相连接，所述第二分束器连接有空间光调制器，且通过所述多模光纤与所述第三分束器相连接，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量，基于所述奇异向量实现光束的波前整形；
所述图像接收模块包括电荷藕合相机，所述电荷耦合相机与第三分束器相连接，并接收散斑图像。
2.根据权利要求1所述的基于模式调控的多模光纤成像系统，其特征在于，所述系统包括图像还原模块，所述图像还原模块与图像接收模块相连接，接收所述图像接收模块输出的散斑图像，所述图像还原模块设置有预训练的深度学习模型，所述深度学习模型用于将散斑图像输出为还原图像，所述深度学习模型的结构为卷积网络结构，所述卷积网络结构包括卷积层、池化层和激活函数层。
3.根据权利要求1所述的基于模式调控的多模光纤成像系统，其特征在于，所述散斑处理模块还包括第一物镜和第二物镜，所述第一物镜和第二物镜分别连接于所述多模光纤的输入端和输出端。
4.根据权利要求1所述的基于模式调控的多模光纤成像系统，其特征在于，所述散斑处理模块还包括反射镜，所述反射镜设置在第二物镜和第三分束器之间，所述反射镜用于将光信号从第二物镜反射至第三分束器。
5.根据权利要求1-4任一项所述的基于模式调控的多模光纤成像系统，其特征在于，所述空间光调制器基于所述多模光纤的传输矩阵进行奇异值分解，得到奇异向量的步骤包括：
采用四步相移干涉法计算得到所述多模光纤的传输矩阵；
对所述传输矩阵进行奇异值分解，将通过奇异值分解得到的右奇异矩阵中的每个列构建为一个奇异向量。
6.根据权利要求5所述的基于模式调控的多模光纤成像系统，其特征在于，所述采用四步相移干涉法计算得到所述多模光纤的传输矩阵的步骤包括：
基于预设的哈达玛矩阵构建多个哈达玛图像，分别测试所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像；
基于所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像计算所述多模光纤的传输矩阵。
7.根据权利要求6所述的基于模式调控的多模光纤成像系统，其特征在于，基于所述哈达玛图像在四个相位传输过程中所述多模光纤的输入图像和输出图像计算所述多模光纤的传输矩阵的步骤包括：
基于每张输入图像在四个相位的输出图像构建输出列向量，基于全部的输出列向量构建输出图像矩阵；
基于每张输入图像构建输入列向量，基于全部的输入列向量构建输入图像矩阵；
基于所述输出图像矩阵和输入图像矩阵计算所述多模光纤的传输矩阵。
8.根据权利要求7所述的基于模式调控的多模光纤成像系统，其特征在于，在基于每张输入图像在四个相位的输出图像构建输出列向量，基于全部的输出列向量构建输出图像矩阵的步骤中，基于如下公式构建输出图像矩阵：
其中，表示第/>张输入图像在四个相位传输所对应的输出列向量，/>表示0相位的输出图像的第1个通道的像素值，/>表示/>相位的输出图像的第1个通道的像素值，/>表示相位的输出图像的第1个通道的像素值，/>表示/>相位的输出图像的第一个通道的像素值，/>表示0相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示/>相位的输出图像的第2个通道的像素值，/>表示0相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示/>相位的输出图像的第/>个通道的像素值，/>表示虚数单位；
在基于所述输出图像矩阵和输入图像矩阵计算所述多模光纤的传输矩阵的步骤中，计算所述多模光纤的传输矩阵：
其中，表示第1张输入图像在四个相位传输所对应的输出列向量，/>表示第2张输入图像在四个相位传输所对应的输出列向量，/>表示第/>张输入图像在四个相位传输所对应的输出列向量，/>表示传输矩阵，/>表示第1张输入图像各个通道的像素值构成的列向量，表示第2张输入图像各个通道的像素值构成的列向量，/>表示第/>张输入图像各个通道的像素值构成的列向量，/>是由/>表征的复对角矩阵，/>为光束在多模光纤中传输过程的脉冲响应。
9.根据权利要求1所述的基于模式调控的多模光纤成像系统，其特征在于，基于所述奇异向量实现光束的波前整形的步骤包括：
基于每个奇异向量构建一个对应的奇异向量矩阵，基于所述奇异向量矩阵构建奇异向量图像；
对多个奇异向量图像作为所述空间光调制器的参考图像进行测试，测试得到每个奇异向量图像作为所述空间光调制器的参考图像时传输图像的精度指标参数；
基于所述精度指标参数确定所述空间光调制器最终使用的参考图像；
所述空间光调制器基于最后选定的参考图像进行调制，实现光束的波前整形。
10.根据权利要求9所述的基于模式调控的多模光纤成像系统，其特征在于，在基于所述精度指标参数确定所述空间光调制器最终使用的参考图像的步骤中，所述精度指标参数为峰值信噪比和/或结构相似性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310356905.1A CN116115164B (zh) | 2023-04-06 | 2023-04-06 | 一种基于模式调控的多模光纤成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310356905.1A CN116115164B (zh) | 2023-04-06 | 2023-04-06 | 一种基于模式调控的多模光纤成像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116115164A CN116115164A (zh) | 2023-05-16 |
| CN116115164B true CN116115164B (zh) | 2023-08-01 |
Family
ID=86299377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310356905.1A Active CN116115164B (zh) | 2023-04-06 | 2023-04-06 | 一种基于模式调控的多模光纤成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116115164B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117017168B (zh) * | 2023-10-09 | 2024-02-27 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种多模光纤的弯曲内窥成像方法及相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375786A (zh) * | 2007-09-12 | 2009-03-04 | 深圳大学 | 一种荧光内窥成像方法及装置 |
| CN107510430A (zh) * | 2017-09-23 | 2017-12-26 | 武汉迅微光电技术有限公司 | 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像方法及系统 |
| WO2021144588A1 (en) * | 2020-01-17 | 2021-07-22 | King's College London | Apparatus and method for spatial light modulation |
| CN113762460A (zh) * | 2021-04-01 | 2021-12-07 | 天津理工大学 | 基于数值散斑的多模光纤传输图像迁移重构算法 |
| CN115242934A (zh) * | 2022-06-30 | 2022-10-25 | 吉林大学 | 带有深度信息的噪声吞噬鬼成像 |
-
2023
- 2023-04-06 CN CN202310356905.1A patent/CN116115164B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375786A (zh) * | 2007-09-12 | 2009-03-04 | 深圳大学 | 一种荧光内窥成像方法及装置 |
| CN107510430A (zh) * | 2017-09-23 | 2017-12-26 | 武汉迅微光电技术有限公司 | 一种同时获取可见光彩色图像与血流图像的内窥镜光学成像方法及系统 |
| WO2021144588A1 (en) * | 2020-01-17 | 2021-07-22 | King's College London | Apparatus and method for spatial light modulation |
| CN113762460A (zh) * | 2021-04-01 | 2021-12-07 | 天津理工大学 | 基于数值散斑的多模光纤传输图像迁移重构算法 |
| CN115242934A (zh) * | 2022-06-30 | 2022-10-25 | 吉林大学 | 带有深度信息的噪声吞噬鬼成像 |
Non-Patent Citations (2)
| Title |
|---|
| High-speed multimode fiber imaging system based on conditional generative adversarial network;于振明 等;《Chinese Optics Letters》;第19卷(第08期);081101-1-081101-5 * |
| 基于深度学习的多模光纤散射介质成像重建;孟琭 等;《中国激光》;第47卷(第12期);1206005-1-1206005-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116115164A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116115164B (zh) | 一种基于模式调控的多模光纤成像系统 | |
| CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
| CN111047681B (zh) | 基于深度学习的单像素三维端到端重建方法及装置 | |
| CN110378473B (zh) | 基于深度学习和随机图案的相位层析方法及装置 | |
| JP2007534925A (ja) | 位相ダイバーシティー波面センサ | |
| Wu et al. | Resolution enhancement of long-range imaging with sparse apertures | |
| CN113762460B (zh) | 基于数值散斑的多模光纤传输图像迁移重构算法 | |
| Zhong et al. | Efficient reference-less transmission matrix retrieval for a multimode fiber using fast Fourier transform | |
| Wang et al. | High‐speed all‐fiber micro‐imaging with large depth of field | |
| Cao et al. | Dynamic structured illumination microscopy with a neural space-time model | |
| Wong et al. | Machine learning for wavefront sensing | |
| Singh et al. | Multiview scattering scanning imaging confocal microscopy through a multimode fiber | |
| CN114488513B (zh) | 一种全矢量调制的单光纤高信噪比三维成像方法及装置 | |
| CN115061274B (zh) | 一种基于稀疏照明的超分辨内窥镜的成像方法及其装置 | |
| JP2989115B2 (ja) | 立体表示方法および立体表示装置 | |
| Zhang et al. | Pgnn: Physics-guided neural network for fourier ptychographic microscopy | |
| Dumas et al. | A compressed sensing approach for resolution improvement in fiber-bundle based endomicroscopy | |
| Loterie et al. | Complex pattern projection through a multimode fiber | |
| Zhao et al. | Deep learning boosts the imaging speed of photoacoustic endomicroscopy | |
| CN112284288B (zh) | 多孔径干涉成像方法 | |
| Gordon et al. | Single-pixel phase-corrected fiber bundle endomicroscopy with lensless focussing capability | |
| CN116862846A (zh) | 多模光纤消化内镜成像及优化方法和装置 | |
| Xu et al. | A scanning-free wide-field single-fiber endoscopic image retrieval method based on optical transmission matrix | |
| Liu et al. | Experimental implementation of wavefront sensorless real-time adaptive optics aberration correction control loop with a neural network | |
| Engler | Pyramid wavefront sensing in the context of extremely large telescopes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |