CN117017168A - 一种多模光纤的弯曲内窥成像方法及相关设备 - Google Patents

一种多模光纤的弯曲内窥成像方法及相关设备 Download PDF

Info

Publication number
CN117017168A
CN117017168A CN202311296718.5A CN202311296718A CN117017168A CN 117017168 A CN117017168 A CN 117017168A CN 202311296718 A CN202311296718 A CN 202311296718A CN 117017168 A CN117017168 A CN 117017168A
Authority
CN
China
Prior art keywords
point spread
spread function
image
optical fiber
bending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311296718.5A
Other languages
English (en)
Other versions
CN117017168B (zh
Inventor
孙云旭
刘珅驿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202311296718.5A priority Critical patent/CN117017168B/zh
Publication of CN117017168A publication Critical patent/CN117017168A/zh
Application granted granted Critical
Publication of CN117017168B publication Critical patent/CN117017168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种多模光纤的弯曲内窥成像方法及相关设备,将多模光纤受到弯曲扰动之后发生的不同位置处出射焦点畸变看作空间变点扩展函数的弥散带来的信息交叠,通过对空间变化点扩展函数进行建模并基于LR算法做反卷积处理恢复原始图像;利用LR反卷积成像算法结合基于主成分分析的空间点扩展函数分解的方法可以对多模光纤在弯曲扰动下的成像失真问题做出有效的恢复,并且通过选取不同数量的特征点扩展函数完成低噪声影响下图像的快速重建或高噪声影响下图像的鲁棒性重建,解决了光纤弯曲会直接对多模光纤成像的质量产生影响的问题,进行图像反卷积优化后其与原始图像的相关系数能够提升10%左右,对多模光纤弯曲扰动下成像过程具有指导意义。

Description

一种多模光纤的弯曲内窥成像方法及相关设备
技术领域
本发明涉及光纤成像技术领域,尤其涉及一种多模光纤的弯曲内窥成像方法及相关设备。
背景技术
微创和介入手术是当前医学诊疗技术发展的一个重要趋势。光学内窥镜作为微创手术的关键设备,为医生提供实时、精准的影像信息;
目前最先进的内窥镜可分为两类:基于光纤束或GRIN透镜的宽视场内窥镜和基于扫描的单模光纤内窥系统。
多模光纤成像技术,能够以单根光纤实现传输上万像素、甚至百万像素的成像效果,解决了内窥成像中超细与高分辨之间的矛盾,通过入射波前优化,使得在多模光纤输出段生成目标照明图案,该方法仅需单次传输矩阵标定的要求带来了成像速度上的优势,降低了成像的时间成本,多模光纤内窥系统适用于常用的自由空间显微技术;目前主流的基于多模光纤内窥成像方法主要依靠调制光纤入射端面波前,在远端出射端面生成扫描衍射受限焦点,并通过收集样品散射光强信息获得图像,其中光学反射率的变化给出物体的结构信息。
但是,多模光纤对外界的扰动非常敏感,以基于传输矩阵的成像方法为例,光纤的弯曲直接会导致多模光纤成像出现失真甚至失败;弯曲导致光纤局部结构发生变换,从而使得模间耦合、模间色散特性发生改变;而在柔性内窥技术的应用场景中,光纤不可避免的会随腔道发生较大弯曲,引起传输矩阵的剧烈变化。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种多模光纤的弯曲内窥成像方法、系统、终端及计算机可读存储介质,旨在解决现有技术中多模光纤对外界的扰动敏感,在应用场景中光纤的弯曲会直接对多模光纤成像的质量产生影响的问题。
为实现上述目的,本发明提供一种多模光纤的弯曲内窥成像方法,所述一种多模光纤的弯曲内窥成像方法包括如下步骤:
将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;
获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像;
对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布;
根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
可选地,所述的多模光纤的弯曲内窥成像方法,其中,所述的将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像,具体包括:
通过空间光调制器对所述光波进行波前整形,得到目标光波;
在所述多模光纤的远端根据所述目标光波输出不同的照明图案,根据不同的照明图案对所述目标成像物体进行照明,得到所述目标成像物体在不同位置的反射信息;
将所述反射信息转化为电信号,并从所述电信号中提取信息形成受多模光纤弯曲扰动影响的原始图像。
可选地,所述的多模光纤的弯曲内窥成像方法,其中,所述的获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,具体包括:
获取所述多模光纤的指定参数和所述光波的指定参数,根据所述多模光纤的指定参数和所述光波的指定参数进行建模,得到指定参数下的多模光纤的可支持传播模式数和场分布情况;
根据所述可支持传播模式数和所述场分布情况计算得到弯曲光纤的传输矩阵与直光纤的传输矩阵,将所述弯曲光纤的传输矩阵与所述直光纤的传输矩阵的逆矩阵相乘,并进行仿真处理得到弥散点扩展函数图像。
可选地,所述的多模光纤的弯曲内窥成像方法,其中,所述的根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,之后还包括:
将所述弥散点扩展函数图像重新定义为一组正交函数的和,得到目标函数,所述目标函数表示为
将所述原始图像表示为清晰的目标图像与所述目标函数卷积成像的过程,表示为:
其中,为所述目标图像,/>为所述原始图像,/>,/>为所述目标图像的平面坐标,/>,/>为所述原始图像的平面的坐标,/>表示正交的目标函数分量,/>表示正交的目标函数分量/>在图像域上的变化,i表示正交的目标函数分量的序数,N表示所述目标函数的数量。
可选地,所述的多模光纤的弯曲内窥成像方法,其中,所述的对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布,具体包括:
对所述弥散点扩展函数图像进行基于主成分分析的分解建模,得到分割后的弥散点扩展函数图像;
将所述分割后的弥散点扩展函数图像归一化到中心位置并积分,得到所述分割后的弥散点扩展函数图像的中心位置,根据所述中心位置以及所述分割后的弥散点扩展函数图像生成分割后的弥散点扩展函数图像的协方差矩阵;
计算所述协方差矩阵的特征值,并对所述特征值进行分解,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布。
可选地,所述的多模光纤的弯曲内窥成像方法,其中,所述的对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布,之后还包括:
将所述特征点扩展函数图像表示为,将所述特征点扩展函数图像对应的系数分布表示为/>
可选地,所述的多模光纤的弯曲内窥成像方法,其中,所述的根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像,具体包括:
基于卷积成像过程
通过Lucy-Richardson算法对所述特征点扩展函数图像、所述特征点扩展函数图像对应的系数分布/>和所述原始图像/>进行反卷积处理,得到目标图像。
此外,为实现上述目的,本发明还提供一种多模光纤的弯曲内窥成像系统,其中,所述多模光纤的弯曲内窥成像包括:
原始图像生成模块,用于将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;
点扩展函数生成模块,用于获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像;
主成分分析模块,用于对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布;
目标图像恢复模块,用于根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
此外,为实现上述目的,本发明还提供一种终端,其中,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多模光纤的弯曲内窥成像程序,所述多模光纤的弯曲内窥成像程序被所述处理器执行时实现如上所述的多模光纤的弯曲内窥成像方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有多模光纤的弯曲内窥成像程序,所述多模光纤的弯曲内窥成像程序被处理器执行时实现如上所述的多模光纤的弯曲内窥成像方法的步骤。
本发明中,将光波输入到多模光纤中,控制光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;获取多模光纤的参数和光波的参数,根据多模光纤的参数和光波的参数进行建模,得到弥散点扩展函数图像;对弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及特征点扩展函数图像对应的系数分布;根据特征点扩展函数图像和特征点扩展函数图像对应的系数分布对原始图像进行迭代恢复处理,得到目标图像;本发明解决了光纤弯曲会直接对多模光纤成像的质量产生影响的问题,进行图像反卷积优化后其与原始图像的相关系数能够提升10%左右。
附图说明
图1是本发明多模光纤的弯曲内窥成像方法的较佳实施例的流程图;
图2是本发明多模光纤的弯曲内窥成像方法的较佳实施例的原理框图;
图3是本发明多模光纤的弯曲内窥成像方法中不同曲率半径弯曲下多模光纤段出射空间变化点扩展函数分布图;
图4是本发明多模光纤的弯曲内窥成像方法中 Lucy-Richardson反卷积算法得到目标图像的流程框图;
图5是本发明多模光纤的弯曲内窥成像方法中空间变化点扩展函数重建后的效果图;
图6是本发明多模光纤的弯曲内窥成像方法中采用100个特征点扩展函数进行反卷积处理的效果图;
图7是本发明多模光纤的弯曲内窥成像系统的较佳实施例的原理示意图;
图8为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
本申请提供一种多模光纤的弯曲内窥成像方法及相关设备,为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
另外,若本发明实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明较佳实施例所述的多模光纤的弯曲内窥成像方法,如图1和图2所示,所述多模光纤的弯曲内窥成像方法包括以下步骤:
步骤S100、将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像。
多模光纤在发生弯曲扰动后,其中的光传输会受到影响,具体表现为模式耦合和模式色散导致原本理想的生成图案出现畸变,导致基于多模光纤远端收集光强信息所恢复的成像图案发生畸变;主流多模光纤内窥成像方法中,在多模光纤远端不同位置生成衍射受限焦点的形式,弯曲扰动所导致的影响主要发生在不同位置衍射受限焦点发生不同程度的弥散,这种弥散引起物体原始信息的交叠导致成像的畸变;
本发明提出的方法能够降低弯曲扰动对多模光纤成像的质量影响。
波前整形技术,是指通过改变入射光线的波前信息,也就是光线的方向和相位,使得经过散射介质后的光线能够重新聚焦或成像。
空间光调制器,可以对入射光线进行高自由度的调制,比如改变它的强度、相位、偏振等;通常由很多个小单元组成,每个小单元可以独立地调节入射光线的波前信息。
具体地,通过空间光调制器对所述光波进行波前整形,得到目标光波;在所述多模光纤的远端根据所述目标光波输出不同的照明图案,根据不同的照明图案对所述目标成像物体进行照明,得到所述目标成像物体在不同位置的反射信息;将所述反射信息转化为电信号,并从所述电信号中提取信息形成受多模光纤弯曲扰动影响的原始图像。
其中,所述照明图案可以是衍射受限焦点或以确定性或非确定性方式生成的近似正交的复杂图案。
需要说明的是,包含所述多模光纤的整个内窥成像系统可以是无源的,即在多模光纤的远端不包含有源器件。
步骤S200、获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像。
对基于收集样品散射光强获取物体结构信息的多模光纤内窥成像系统,成像的质量优劣取决于光纤远端出射端面形成衍射受限焦点的质量,经过仿真验证,由于光纤不同远端位置处理想的出射衍射受限焦点受弯曲扰动下不同模式间耦合系数的影响,导致弯曲扰动下在成像平面所在空间中不同位置的形态不同,会形成弥散点扩展函数。
如图3所示,本发明对比了多模光纤在不同曲率半径的弯曲扰动下出射空间变化点扩展函数,图3中的(a)表示直光纤的相关系数,图3中的(b)表示曲率半径为0.25±0.0.5m的弯曲光纤的相关系数,图3中的(c)表示曲率半径为0.20±0.0.5m的弯曲光纤的相关系数,图3中的(d)表示曲率半径为0.15±0.0.5m的弯曲光纤的相关系数,这种空间变化的点响应限制了执行线性滤波的能力,即无法利用单一的点扩展函数从扰动下的图像中恢复原始图像,因此,可以通过将空间变化的点扩展函数进行建模,并在后续执行反卷积处理对弯曲扰动下的图像进行去模糊化处理。
因此,本发明获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像。
具体地,获取所述多模光纤的指定参数和所述光波的指定参数,根据所述多模光纤的指定参数和所述光波的指定参数进行建模,得到指定参数下的多模光纤的可支持传播模式数和场分布情况。
根据所述可支持传播模式数和所述场分布情况计算得到弯曲光纤的传输矩阵与直光纤的传输矩阵,将所述弯曲光纤的传输矩阵与所述直光纤的传输矩阵的逆矩阵相乘,并进行仿真处理得到弥散点扩展函数图像。
其中,所述多模光纤的指定参数为所述多模光纤的纤芯材料、所述多模光纤的包层材料、所述多模光纤的纤芯直径、所述多模光纤的长度以及所述多模光纤的弯曲分布情况;所述光波的指定参数为所述光波的波长。
进一步地,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,之后还包括:
将所述弥散点扩展函数图像重新定义为一组正交函数的和,得到目标函数,所述目标函数表示为
将所述原始图像表示为清晰的目标图像与所述目标函数卷积成像的过程,表示为:
其中,为所述目标图像,/>为所述原始图像,/>,/>为所述目标图像的平面坐标,/>,/>为所述原始图像的平面的坐标,/>表示正交的目标函数分量,/>表示正交的目标函数分量/>在图像域上的变化,i表示正交的目标函数分量的序数,N表示所述目标函数的数量。
可以理解的是,由于后续需要执行反卷积处理对弯曲扰动下的图像进行去模糊化处理,以恢复图像得到目标图像,因此这里将弥散点扩展函数图像表示为一组正交分量相加的结果,用以执行后续的反卷积过程。
步骤S300、对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布。
在仿真了弯曲扰动下多模光纤不同出射位置处的所述弥散点扩展函数图像的分布情况之后,对成像平面中的所述弥散点扩展函数图像进行基于主成分分析(即主成分分析技术,又称主分量分析技术,旨在利用降维的思想,把多指标转化为少数几个综合指标)的分解建模。
具体地,对所述弥散点扩展函数图像进行基于主成分分析的分解建模,得到分割后的弥散点扩展函数图像。
将所述分割后的弥散点扩展函数图像归一化(一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为标量)到中心位置并积分,得到所述分割后的弥散点扩展函数图像的中心位置,根据所述中心位置以及所述分割后的弥散点扩展函数图像生成分割后的弥散点扩展函数图像的协方差矩阵。
计算所述协方差矩阵的特征值,并对所述特征值进行分解,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布。
可以理解的,假设在弯曲光纤出射端面处共有N个点扩展函数的观测值,将各点扩展函数归一化到图像中心位置进行积分,然后计算所有点扩展函数之间的协方差矩阵,其中/>,然后计算协方差矩阵的特征值/>,其相对应的特征向量/>就代表了点扩展函数的分解后特征点扩展函数分量,表达为/>,其中/>为/>的第j个分量,其对各个点扩展函数的权重都由相应的特征值振幅给出,并且由/>按特征值的振幅进行排序。
进一步地,在得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布之后,将所述特征点扩展函数图像表示为,将所述特征点扩展函数图像对应的系数分布表示为/>
步骤S400、根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
具体地,基于卷积成像过程;通过Lucy-Richardson算法对所述特征点扩展函数图像/>、所述特征点扩展函数图像对应的系数分布/>和所述原始图像/>进行反卷积处理,得到目标图像。
可以理解的,具体的去卷积过程如图4所示,基于Lucy-Richardson算法(即LR算法,是时域的一种反卷积图像修复算法,LR算法基于贝叶斯理论,泊松分布和最大似然估计算法对图像进行修复)使用不同数量的特征点扩展函数对弯曲光纤出射弥散点扩展函数进行重建,即采用空间变化点扩展函数对原始图像进行去卷积,去卷积过程首先在对源物体进行卷积获得图像估计/>,考虑空间变化点扩展函数的模型,使用分解得到的特征点扩展函数的系数/>用作校正,然后在N个特征点扩展函数上进行卷积求和,最后使用频率校正系数/>修正对源物体的估计,对源物体估计进行迭代,最终可以恢复原始物体信息。
其中,为所述特征点扩展函数图像、/>为所述特征点扩展函数图像对应的系数分布,I为所述原始图像,/>和/>分别为傅里叶变换和傅里叶逆变换,k为迭代次数,/>表示梯度运算,/>表示散度运算,N为特征点扩展函数的个数,/>是源物体估计值/>的系数因子,用于修正正则化项/>以减轻噪声的影响,/>为第k次迭代的图像估计,/>为第k次迭代的图像估计的空间频率图像,/>为第k次迭代的图像I与图像估计/>的比值,/>是基于当前源物体估计/>对下一次迭代中源物体估计/>的空间频率修正。
进一步地,如图5所示,展示了使用Lucy-Richardson算法进行空间变化点扩展函数重建的效果,其中共采用了225个特征点扩展函数进行重建,对比了反卷积操作后(如图5中的(a)所示,表示弯曲扰动光纤不同出射位置空间变化点扩展函数情况)与光纤弯曲影响下原始点扩展函数的成像效果(如图5中的(b)所示,表示反卷积恢复效果),经过反卷积操作后,点扩展函数的峰值强度和半高全宽优化,说明了反卷积重建对弯曲扰动下不同位置出射空间变化点扩展函数的良好优化能力。
如图5中的(c)所示,本发明还对比了采用不同数量的特征点扩展函数进行反卷积重建的效果,尽管随着特征点扩展函数选取数量的增加,重建效果提升,也就是说获得的重建图像的精细程度取决于所采集空间变化点扩展函数个数;但本发明仅需较少数量的特征点扩展函数同样能实现较为理想的重建效果,降低了重建所需的时间成本。
为更进一步地说明该反卷积算法对图像重建效果的提升,本发明采用了二维分辨率测试板图像并随机生成了一组圆珠分布图像用于图像恢复,并用多模光纤传输模型模拟了在弯曲光纤的条件下生成的扰动图像,并采用不同数量的特征点扩展函数对光纤弯曲扰动下所成图像进行特征点扩展函数数量选取的增加对图像噪声干扰下的重建效果具有良好效果,如图6所示,为采用100个特征点扩展函数进行反卷积处理的效果,其中,图6中的(a)为分辨率测试板原始图像,图6中的(b)、图6中的(e)为光纤弯曲扰动下成像效果及相关系数,图6中的(c)、图6中的(f)为反卷积后成像效果及相关系数,图6中的(d)为圆珠分布原始图像,可以明显观察到图像质量得到了优化。
综上所述,本发明将多模光纤受到弯曲扰动之后发生的不同位置处出射焦点畸变看作空间变点扩展函数的弥散带来的信息交叠,通过对空间变化点扩展函数进行建模并基于LR算法做反卷积处理恢复原始图像;利用LR反卷积成像算法结合基于主成分分析的空间点扩展函数分解的方法可以对多模光纤在弯曲扰动下的成像失真问题做出有效的恢复,并且通过选取不同数量的特征点扩展函数完成低噪声影响下图像的快速重建或高噪声影响下图像的鲁棒性重建,对多模光纤弯曲扰动下成像过程具有指导意义。
进一步地,如图7所示,基于上述多模光纤的弯曲内窥成像方法,本发明还相应提供了一种多模光纤的弯曲内窥成像系统,其中,所述多模光纤的弯曲内窥成像系统包括:
原始图像生成模块51,用于将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;
点扩展函数生成模块52,用于获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像;
主成分分析模块53,用于对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布;
目标图像恢复模块54,用于根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
进一步地,如图8所示,基于上述多模光纤的弯曲内窥成像方法和系统,本发明还相应提供了一种终端,所述终端包括处理器10、存储器20及显示器30。图8仅示出了终端的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元,例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备,例如所述终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据,例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有多模光纤的弯曲内窥成像程序40,该多模光纤的弯曲内窥成像程序40可被处理器10所执行,从而实现本申请中多模光纤的弯曲内窥成像方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述多模光纤的弯曲内窥成像方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中多模光纤的弯曲内窥成像程序40时实现以下步骤:
将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;
获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像;
对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布;
根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
其中,所述的将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像,具体包括:
通过空间光调制器对所述光波进行波前整形,得到目标光波;
在所述多模光纤的远端根据所述目标光波输出不同的照明图案,根据不同的照明图案对所述目标成像物体进行照明,得到所述目标成像物体在不同位置的反射信息;
将所述反射信息转化为电信号,并从所述电信号中提取信息形成受多模光纤弯曲扰动影响的原始图像。
其中,所述的获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,具体包括:
获取所述多模光纤的指定参数和所述光波的指定参数,根据所述多模光纤的指定参数和所述光波的指定参数进行建模,得到指定参数下的多模光纤的可支持传播模式数和场分布情况;
根据所述可支持传播模式数和所述场分布情况计算得到弯曲光纤的传输矩阵与直光纤的传输矩阵,将所述弯曲光纤的传输矩阵与所述直光纤的传输矩阵的逆矩阵相乘,并进行仿真处理得到弥散点扩展函数图像。
其中,所述的根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,之后还包括:
将所述弥散点扩展函数图像重新定义为一组正交函数的和,得到目标函数,所述目标函数表示为
将所述原始图像表示为清晰的目标图像与所述目标函数卷积成像的过程,表示为:
其中,为所述目标图像,/>为所述原始图像,/>,/>为所述目标图像的平面坐标,/>,/>为所述原始图像的平面的坐标,/>表示正交的目标函数分量,/>表示正交的目标函数分量/>在图像域上的变化,i表示正交的目标函数分量的序数,N表示所述目标函数的数量。
其中,所述的对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布,具体包括:
对所述弥散点扩展函数图像进行基于主成分分析的分解建模,得到分割后的弥散点扩展函数图像;
将所述分割后的弥散点扩展函数图像归一化到中心位置并积分,得到所述分割后的弥散点扩展函数图像的中心位置,根据所述中心位置以及所述分割后的弥散点扩展函数图像生成分割后的弥散点扩展函数图像的协方差矩阵;
计算所述协方差矩阵的特征值,并对所述特征值进行分解,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布。
其中,所述的对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布,之后还包括:
将所述特征点扩展函数图像表示为,将所述特征点扩展函数图像对应的系数分布表示为/>
其中,所述的根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像,具体包括:
基于卷积成像过程
通过Lucy-Richardson算法对所述特征点扩展函数图像、所述特征点扩展函数图像对应的系数分布/>和所述原始图像/>进行反卷积处理,得到目标图像。
本发明还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有多模光纤的弯曲内窥成像程序,所述多模光纤的弯曲内窥成像程序被处理器执行时实现如上所述的多模光纤的弯曲内窥成像方法的步骤。
综上所述,本发明提出了一种多模光纤的弯曲内窥成像方法及相关设备,所述方法包括:将光波输入到多模光纤中,控制光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;获取多模光纤的参数和光波的参数,根据多模光纤的参数和光波的参数进行建模,得到弥散点扩展函数图像;对弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及特征点扩展函数图像对应的系数分布;根据特征点扩展函数图像和特征点扩展函数图像对应的系数分布对原始图像进行迭代恢复处理,得到目标图像;本发明将多模光纤受到弯曲扰动之后发生的不同位置处出射焦点畸变看作空间变点扩展函数的弥散带来的信息交叠,通过对空间变化点扩展函数进行建模并基于LR算法做反卷积处理恢复原始图像;利用LR反卷积成像算法结合基于主成分分析的空间点扩展函数分解的方法可以对多模光纤在弯曲扰动下的成像失真问题做出有效的恢复,并且通过选取不同数量的特征点扩展函数完成低噪声影响下图像的快速重建或高噪声影响下图像的鲁棒性重建,对多模光纤弯曲扰动下成像过程具有指导意义。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种多模光纤的弯曲内窥成像方法,其特征在于,所述的多模光纤弯曲的内窥成像方法包括:
将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;
获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像;
对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布;
根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
2.根据权利要求1所述的多模光纤的弯曲内窥成像方法,其特征在于,所述的将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像,具体包括:
通过空间光调制器对所述光波进行波前整形,得到目标光波;
在所述多模光纤的远端根据所述目标光波输出不同的照明图案,根据不同的照明图案对所述目标成像物体进行照明,得到所述目标成像物体在不同位置的反射信息;
将所述反射信息转化为电信号,并从所述电信号中提取信息形成受多模光纤弯曲扰动影响的原始图像。
3.根据权利要求1所述的多模光纤的弯曲内窥成像方法,其特征在于,所述的获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,具体包括:
获取所述多模光纤的指定参数和所述光波的指定参数,根据所述多模光纤的指定参数和所述光波的指定参数进行建模,得到指定参数下的多模光纤的可支持传播模式数和场分布情况;
根据所述可支持传播模式数和所述场分布情况计算得到弯曲光纤的传输矩阵与直光纤的传输矩阵,将所述弯曲光纤的传输矩阵与所述直光纤的传输矩阵的逆矩阵相乘,并进行仿真处理得到弥散点扩展函数图像。
4.根据权利要求1所述的多模光纤的弯曲内窥成像方法,其特征在于,所述的根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像,之后还包括:
将所述弥散点扩展函数图像重新定义为一组正交函数的和,得到目标函数,所述目标函数表示为
将所述原始图像表示为清晰的目标图像与所述目标函数卷积成像的过程,表示为:
其中,为所述目标图像,/>为所述原始图像,/>,/>为所述目标图像的平面坐标,/>,/>为所述原始图像的平面的坐标,/>表示正交的目标函数分量,/>表示正交的目标函数分量/>在图像域上的变化,i表示正交的目标函数分量的序数,N表示所述目标函数的数量。
5.根据权利要求4所述的多模光纤的弯曲内窥成像方法,其特征在于,所述的对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布,具体包括:
对所述弥散点扩展函数图像进行基于主成分分析的分解建模,得到分割后的弥散点扩展函数图像;
将所述分割后的弥散点扩展函数图像归一化到中心位置并积分,得到所述分割后的弥散点扩展函数图像的中心位置,根据所述中心位置以及所述分割后的弥散点扩展函数图像生成分割后的弥散点扩展函数图像的协方差矩阵;
计算所述协方差矩阵的特征值,并对所述特征值进行分解,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布。
6.根据权利要求5所述的多模光纤的弯曲内窥成像方法,其特征在于,所述的对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布,之后还包括:
将所述特征点扩展函数图像表示为,将所述特征点扩展函数图像对应的系数分布表示为/>
7.根据权利要求6所述的多模光纤的弯曲内窥成像方法,其特征在于,所述的根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像,具体包括:
基于卷积成像过程
通过Lucy-Richardson算法对所述特征点扩展函数图像、所述特征点扩展函数图像对应的系数分布/>和所述原始图像/>进行反卷积处理,得到目标图像。
8.一种多模光纤的弯曲内窥成像系统,其特征在于,所述多模光纤的弯曲内窥成像系统包括:
原始图像生成模块,用于将光波输入到多模光纤中,控制所述光波对目标成像物体进行照明,得到受多模光纤弯曲扰动影响的原始图像;
点扩展函数生成模块,用于获取所述多模光纤的参数和所述光波的参数,根据所述多模光纤的参数和所述光波的参数进行建模,得到弥散点扩展函数图像;
主成分分析模块,用于对所述弥散点扩展函数图像进行主成分分析,得到特征点扩展函数图像以及所述特征点扩展函数图像对应的系数分布;
目标图像恢复模块,用于根据所述特征点扩展函数图像和所述特征点扩展函数图像对应的系数分布对所述原始图像进行迭代恢复处理,得到目标图像。
9.一种终端,其特征在于,所述终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多模光纤的弯曲内窥成像程序,所述多模光纤的弯曲内窥成像程序被所述处理器执行时实现如权利要求1-7任一项所述的多模光纤的弯曲内窥成像方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多模光纤的弯曲内窥成像程序,所述多模光纤的弯曲内窥成像程序被处理器执行时实现如权利要求1-7任一项所述的多模光纤的弯曲内窥成像方法的步骤。
CN202311296718.5A 2023-10-09 2023-10-09 一种多模光纤的弯曲内窥成像方法及相关设备 Active CN117017168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311296718.5A CN117017168B (zh) 2023-10-09 2023-10-09 一种多模光纤的弯曲内窥成像方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311296718.5A CN117017168B (zh) 2023-10-09 2023-10-09 一种多模光纤的弯曲内窥成像方法及相关设备

Publications (2)

Publication Number Publication Date
CN117017168A true CN117017168A (zh) 2023-11-10
CN117017168B CN117017168B (zh) 2024-02-27

Family

ID=88641618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311296718.5A Active CN117017168B (zh) 2023-10-09 2023-10-09 一种多模光纤的弯曲内窥成像方法及相关设备

Country Status (1)

Country Link
CN (1) CN117017168B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013188520A2 (en) * 2012-06-12 2013-12-19 Yale University Multimode optical fiber spectrometer
AU2014200764A1 (en) * 2006-07-21 2014-03-06 Oncoscope, Inc. Protective probe tip, particularly for use on a fiber-optic probe used in an endoscopic application
CN109031915A (zh) * 2018-08-01 2018-12-18 华中科技大学 一种获取多模光纤成像传输矩阵的方法及系统
US20190212761A1 (en) * 2018-01-11 2019-07-11 Eric Swanson Optical Probe Using Multimode Optical Waveguide and Proximal Processing
KR20210093245A (ko) * 2018-10-19 2021-07-27 스티칭 브이유 다중 모드 도파관 이미징
CN115462742A (zh) * 2022-08-29 2022-12-13 上海大学 一种基于多芯光纤的空间形状感知及三维成像装置和方法
CN116115164A (zh) * 2023-04-06 2023-05-16 北京邮电大学 一种基于模式调控的多模光纤成像系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014200764A1 (en) * 2006-07-21 2014-03-06 Oncoscope, Inc. Protective probe tip, particularly for use on a fiber-optic probe used in an endoscopic application
WO2013188520A2 (en) * 2012-06-12 2013-12-19 Yale University Multimode optical fiber spectrometer
US20190212761A1 (en) * 2018-01-11 2019-07-11 Eric Swanson Optical Probe Using Multimode Optical Waveguide and Proximal Processing
CN111742211A (zh) * 2018-01-11 2020-10-02 Ofs菲特尔有限责任公司 使用多模光学波导和近侧处理的光学探头
CN109031915A (zh) * 2018-08-01 2018-12-18 华中科技大学 一种获取多模光纤成像传输矩阵的方法及系统
KR20210093245A (ko) * 2018-10-19 2021-07-27 스티칭 브이유 다중 모드 도파관 이미징
CN115462742A (zh) * 2022-08-29 2022-12-13 上海大学 一种基于多芯光纤的空间形状感知及三维成像装置和方法
CN116115164A (zh) * 2023-04-06 2023-05-16 北京邮电大学 一种基于模式调控的多模光纤成像系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAXIM A. BOLSHTYANSKY等: ""Stabilization of transmission function: theory for an ultrathin endoscope of one multimode fiber"", 《APPLIED OPTICS》, vol. 36, no. 16, pages 3673 - 3681 *
RAPHAËL TURCOTTE等: ""Deconvolution for multimode fiber imaging: modeling of spatially variant PSF"", 《BIOMEDICAL OPTICS EXPRESS》, vol. 11, no. 8, pages 4759 - 4771 *
张轩豪: "高信噪比多模光纤共聚焦成像研究", 《中国优秀硕士学位论文全文数据库》, no. 2, pages 1 - 66 *

Also Published As

Publication number Publication date
CN117017168B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US11137719B2 (en) Methods, systems, and computer readable media for improved digital holography and display incorporating same
JP6375619B2 (ja) オクルージョンを意識した明視野像からの3次元シーンの再構成
CN103037769A (zh) 用于处理图像的方法和设备及采用该设备的医学图像系统
CN112001866B (zh) 多退化模型太赫兹图像复原方法、装置、存储介质和终端
US11308664B2 (en) Method for reconstructing a three-dimensional image data set
Shamshad et al. Compressed sensing-based robust phase retrieval via deep generative priors
Wang et al. On the use of deep learning for phase recovery
CN115200702A (zh) 基于复数神经网络的计算成像方法及装置
Bao et al. Coherence retrieval using trace regularization
CN117017168B (zh) 一种多模光纤的弯曲内窥成像方法及相关设备
Wu et al. Adaptive correction method of hybrid aberrations in Fourier ptychographic microscopy
CN110352387A (zh) 用于通过多深度稀疏相位恢复重建全息无透镜图像的系统和方法
Yang et al. Perceptually motivated loss functions for computer generated holographic displays
CN115689947B (zh) 一种图像锐化的方法、系统、电子装置和存储介质
Zhou et al. Parameter-free Gaussian PSF model for extended depth of field in brightfield microscopy
Geyer et al. Deep-learning-based radiointerferometric imaging with GAN-aided training
CN115456891A (zh) 一种基于u型动态网络的屏下相机图像复原方法
Pellizzari et al. Coherent plug-and-play artifact removal: Physics-based deep learning for imaging through aberrations
Tian et al. Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN
Razgulin et al. Fourier domain iterative approach to optical sectioning of 3D translucent objects for ophthalmology purposes
Li et al. Adaptive sparsity-regularized deep dictionary learning based on lifted proximal operator machine
Li et al. On the impact of incorporating task-information in learning-based image denoising
Sahlström et al. Utilizing variational autoencoders in photoacoustic tomography
Nguyen et al. Class label conditioning diffusion model for robust brain tumor mri synthesis
US20240085686A1 (en) Method, device and system for enhancing image quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant