CN112862081A - 基于傅立叶变换的人工神经网络的多模光纤成像方法 - Google Patents

基于傅立叶变换的人工神经网络的多模光纤成像方法 Download PDF

Info

Publication number
CN112862081A
CN112862081A CN202110288779.1A CN202110288779A CN112862081A CN 112862081 A CN112862081 A CN 112862081A CN 202110288779 A CN202110288779 A CN 202110288779A CN 112862081 A CN112862081 A CN 112862081A
Authority
CN
China
Prior art keywords
image
fourier transform
neural network
network
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110288779.1A
Other languages
English (en)
Other versions
CN112862081B (zh
Inventor
陆文凯
王永浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110288779.1A priority Critical patent/CN112862081B/zh
Publication of CN112862081A publication Critical patent/CN112862081A/zh
Application granted granted Critical
Publication of CN112862081B publication Critical patent/CN112862081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了属于计算机视觉技术领域的一种基于傅立叶变换的人工神经网络的多模光纤成像方法。基于多模光纤成像的物理模型，利用傅立叶变换将输入散斑图像转换到稀疏的K空间，之后利用单层人工神经网络将散斑图像在K域的稀疏表达重建为原始图像。该方法利用了图像在K空间中表达的稀疏性从而更好地提取了散斑图像中的信息，达到了很高的重建精度。

Description

基于傅立叶变换的人工神经网络的多模光纤成像方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于傅立叶变换的人工神经网络的多模光纤成像方法。
背景技术
光纤内窥镜是医疗成像和机器探测重要手段，在微创手术和工业探伤技术中发挥着重要的作用。现在的内窥镜主要采用单模光纤进行传输，由于一根单模光纤只能传输一个基本的光学模式，这使得图像传输需要多根单模光纤配合，给小型化内窥镜设备带来了困难。多模光纤(Multimode Fiber，MMF)则给内窥镜成像技术带来了另一种可能的解决方案，MMF能够传输更多的光学模式，一次能够编码更多的图像信息。
采用MMF进行成像的一个问题是不同模式的光在同一个MMF中的传播速度略有不同，这使得不同模式的光之间的能量发生耦合，导致输出是人眼无法解读的散斑图像(Speckle pattern)，为了从输出端的散斑图像重建输入端图像，一个方法是通过数值模拟MMF传输过程来重建传输矩阵[1][2]，但在实践中进行这一过程非常困难，同时这一方法也无法很好地对自然图像进行复原。另一种能够很好地重建自然图像的方法是通过测量输入输出光场的全振幅和相位信息来完整地重建传输矩阵，这一方法被证明在0.3m～1m长度上的多模光纤有效[3][4],但是同样地，在实践中这一方法太过复杂仍然不具备实用性。
目前大部分采用的MMF成像系统是在输出端放置CMOS相机来采集输出图像，这一做法易于实现但同时只保留了输出端的幅值而损失了相应的相位信息，带来了非线性因素。文献[5]仅使用幅值作为输入，用半正定规划方法作为相位反演算法来推断传输矩阵，这种方法被证明有效但是在自然图像传输上仍然无法达到令人满意的结果，文献[10]使用主成分分析方法(principal component analysis，PCA)在自然图像的复原上取得了良好的效果。近年来由于深度学习技术的巨大发展，有研究人员使用深度神经网络在大量输入-输出图像对的数据集上进行训练，文献[6]率先设计了一种具有多个卷积层的人工神经网络对散斑图像进行识别，文献[7]证明了神经网络可以适应多种MMF传输状态从而有着一定的泛化能力，文献[7]和文献[8]进一步地使用深度学习方法进行了自然图像的复原。
上述介绍的方法虽然都解决了从散斑图像复原输入的自然图像的问题，但是目前的方法重建的精度都不高。本发明提出了一种基于傅立叶变换算法的人工神经网络，这种结构使用散斑图像作为输入就可以输出清晰度很高的重建图像，此方法达到了目前所知的最好效果。
参考文献：
[1]A.M.Caravaca-Aguirre,E.Niv,D.B.Conkey,and R.Piestun.Real-timeresilient focusing through a bending multimode fiber.Opt.Express,21(10):12881–12887,May 2013.
[2]R.Y.Gu,R.N.Mahalati,and J.M.Kahn.Design of flexible multi-modefiber endoscope.Opt.Express,23(21):26905–26918,Oct 2015
[3]Y.Choi,C.Yoon,M.Kim,T.D.Yang,C.Fang-Yen,R.R.Dasari,K.J.Lee,andW.Choi.Scanner-free and wide-field endoscopic imaging by using a singlemultimode optical fiber.Phys.Rev.Lett.,109:203901,Nov 2012.
[4]M.
Figure BDA0002981556890000021
T.Tyc,and T.
Figure BDA0002981556890000022
Seeing through chaos in multimodefibres.Nature Photonics,9(8):529–535,2015.
[5]M.N’Gom,M.B.Lien,N.M.Estakhri,T.B.Norris,E.Michielssen,andR.R.Nadakuditi.Controlling light transmission through highly scattering mediausing semi-definite programming as a phase retrieval computation method.SciRep,7(1):2518,2017.
[6]R.Takagi,R.Horisaki,and J.Tanida.Object recognition through amulti-mode fiber.Optical Review,24(2):117–120,2017.
[7]P.Fan,T.Zhao,and L.Su.Deep learning the high variability andrandomness inside multimode fibers.Opt Express,27(15):20241–20258,2019.
[8]E.Kakkava,B.Rahmani,N.Borhani,U.
Figure BDA0002981556890000023
D.Loterie,G.Konstantinou,C.Moser,and D.Psaltis.Imaging through multimode fibers using deep learning:The effects of intensity versus holographic recording of the specklepattern.Optical Fiber Technology,52,2019.
[9]P.Caramazza,O.Moran,R.Murray-Smith,and D.Faccio.Transmission ofnatural scene images through a multimode fibre.Nature Communications,10(1),2019.
[10]L.Zhang,R.Xu,K.Wang,B.Xu,R.Chen,R.Sarwar,and D.Zhang.Research onimage transmission mechanism through a multimode fiber based on principalcomponent analysis.Optics and Lasers in Engineering,134,2020.
发明内容
本发明的目的是提出一种基于傅立叶变换的人工神经网络的多模光纤成像方法，其特征在于，包括以下步骤：
步骤1：搭建MMF图像传输系统，输入自然图像得到对应的输出散斑图像，通过重复以上过程获得大量的自然图像—散斑图像数据对作为数据集，之后对得到的散斑图像数据做傅立叶变换，得到其对应的K域稀疏表达；
步骤2：以步骤1中的散斑图像的K域稀疏表达作为输入，对应的自然图像作为输出，送入单层全连接网络进行训练，得到神经网络模型；
步骤3：将待处理的散斑图进行傅立叶变换，拉伸成向量之后送入训练好的网络，得到待处理的散斑图的重建图像。
所述步骤2中对单层全连接网络进行训练时使用Sigmoid函数作为激活函数，其表达式为：
Figure BDA0002981556890000031
使用的损失函数为平方差损失，其表达式为：
Figure BDA0002981556890000032
其中n为输入的数据个数，
Figure BDA0002981556890000033
是原始图像向量，
Figure BDA0002981556890000034
是网络输出的重建图像的向量。
网络输出的重建图像的向量yp表示为
Figure BDA0002981556890000035
其中
Figure BDA0002981556890000036
是网络输入的散斑图向量，W为Dense层的复值权重，
Figure BDA0002981556890000037
为傅立叶变换。
本发明的有益效果在于：
本发明利用了图像在K空间中表达的稀疏性从而更好地提取了散斑图像中的信息，达到了很高的重建精度，在PSNR，SSIM和PCC这几个度量指标上相较于其他方法都取得了更好的结果，同时在人主观感受上也可以看出得到了更加清晰的重建图像。
附图说明
图1为本发明基于傅立叶变换的人工神经网络的多模光纤成像方法的流程图；
图2为本发明设计的神经网络结构示意图；
图3为本发明的应用效果图；
其中，(a)是文献[9]提出的人工神经网络方法的结果；(b)是文献[10]提出的PCA方法的结果；(c)是本发明提出的方法的结果。
具体实施方式
本发明提出一种基于傅立叶变换的人工神经网络的多模光纤成像方法，下面结合附图和具体实施例对本发明做进一步说明。
结合图1对基于傅立叶变换的人工神经网络进行更为详细的阐述：
(1)数据生成步骤：神经网络方法需要相应的数据集，我们首先需要搭建MMF图像传输系统，输入自然图像得到的相对应的输出散斑图像，通过重复这个过程获得大量的自然图像—散斑图像数据对作为数据集，之后对得到的散斑图像数据做傅立叶变换，得到其相应的K域表达，作为后续神经网络的输入。
(2)将原始图像数据和我们准备的相应的散斑图的K空间表达形式，送入单层全连接网络进行训练，使用Sigmoid函数作为激活函数，其表达式为：
Figure BDA0002981556890000041
使用的损失函数为平方差损失，其表达式为：
Figure BDA0002981556890000042
其中
Figure BDA0002981556890000043
是原始图像向量，
Figure BDA0002981556890000044
是网络输出的重建图像的向量。上述过程可被总结为如下的形式：
Figure BDA0002981556890000045
其中
Figure BDA0002981556890000046
是网络输入的散斑图向量，
Figure BDA0002981556890000047
表示傅立叶变换。
(3)测试步骤：在得到训练好的模型后，我们将待处理的散斑图像数据作傅立叶变换后送入网络，得到重建图像。
图2为本发明设计的神经网络结构示意图。
实验仿真结果：
实验平台：Intel(R)Core(TM)i9-9820X CPU@3.30GHz，64GB RAM,GeForce RTX2080Ti。
图3为本发明的应用效果图，其中(a)是[9]提出的人工神经网络方法结果，(b)是[10]提出的PCA方法的结果，(c)是本发明方法的结果。可以看到，本发明提出的方法能够得到更好的重建质量，在PSNR，SSIM和PCC这几个度量指标上相较于其他方法都取得了更好的结果，同时在人主观感受上也可以看出得到了更加清晰的重建图像。
此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种基于傅立叶变换的人工神经网络的多模光纤成像方法，其特征在于，包括以下步骤：
步骤1：搭建MMF图像传输系统，输入自然图像得到对应的输出散斑图像，通过重复以上过程获得大量的自然图像—散斑图像数据对作为数据集，之后对得到的散斑图像数据做傅立叶变换，得到其对应的K域稀疏表达；
步骤2：以步骤1中的散斑图像的K域稀疏表达作为输入，对应的自然图像作为输出，送入单层全连接网络进行训练，得到神经网络模型；
步骤3：将待处理的散斑图进行傅立叶变换，拉伸成向量之后送入训练好的网络，得到待处理的散斑图的重建图像。
2.根据权利要求1所述的基于傅立叶变换的人工神经网络的多模光纤成像方法，其特征在于，所述步骤2中对单层全连接网络进行训练时使用Sigmoid函数作为激活函数，其表达式为：
Figure FDA0002981556880000011
使用的损失函数为平方差损失，其表达式为：
Figure FDA0002981556880000012
其中n为输入的数据个数，
Figure FDA0002981556880000013
是原始图像向量，
Figure FDA0002981556880000014
是网络输出的重建图像的向量。
3.根据权利要求2所述的基于傅立叶变换的人工神经网络的多模光纤成像方法，其特征在于，网络输出的重建图像的向量yp表示为
Figure FDA0002981556880000015
其中
Figure FDA0002981556880000016
是网络输入的散斑图向量，W为Dense层的复值权重，
Figure FDA0002981556880000017
为傅立叶变换。
CN202110288779.1A 2021-03-18 2021-03-18 基于傅立叶变换的人工神经网络的多模光纤成像方法 Active CN112862081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110288779.1A CN112862081B (zh) 2021-03-18 2021-03-18 基于傅立叶变换的人工神经网络的多模光纤成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110288779.1A CN112862081B (zh) 2021-03-18 2021-03-18 基于傅立叶变换的人工神经网络的多模光纤成像方法

Publications (2)

Publication Number Publication Date
CN112862081A true CN112862081A (zh) 2021-05-28
CN112862081B CN112862081B (zh) 2023-07-18

Family

ID=75993425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110288779.1A Active CN112862081B (zh) 2021-03-18 2021-03-18 基于傅立叶变换的人工神经网络的多模光纤成像方法

Country Status (1)

Country Link
CN (1) CN112862081B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263848A (zh) * 2019-06-18 2019-09-20 北京邮电大学 一种基于生成式对抗网络的多模光纤成像方法及装置
WO2020020991A1 (en) * 2018-07-25 2020-01-30 Vrije Universiteit Brussel Space division multiplexing method and system using speckle pattern recognition in multi-mode optical fibres
CN111563562A (zh) * 2020-07-16 2020-08-21 南京理工大学 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111739116A (zh) * 2020-07-16 2020-10-02 南京理工大学 基于深度神经网络透过散射介质的目标定位和重建方法
CN111795949A (zh) * 2020-06-12 2020-10-20 北京理工大学 抗散射成像方法与装置
US20210018745A1 (en) * 2018-03-20 2021-01-21 Nec Corporation Imaging apparatus and imaging method
CN112287571A (zh) * 2020-12-31 2021-01-29 南京理工大学 基于物理驱动的散射泛化成像方法和实验方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210018745A1 (en) * 2018-03-20 2021-01-21 Nec Corporation Imaging apparatus and imaging method
WO2020020991A1 (en) * 2018-07-25 2020-01-30 Vrije Universiteit Brussel Space division multiplexing method and system using speckle pattern recognition in multi-mode optical fibres
CN110263848A (zh) * 2019-06-18 2019-09-20 北京邮电大学 一种基于生成式对抗网络的多模光纤成像方法及装置
CN111795949A (zh) * 2020-06-12 2020-10-20 北京理工大学 抗散射成像方法与装置
CN111563562A (zh) * 2020-07-16 2020-08-21 南京理工大学 基于卷积神经网络的单帧散射图像的彩色目标重建方法
CN111739116A (zh) * 2020-07-16 2020-10-02 南京理工大学 基于深度神经网络透过散射介质的目标定位和重建方法
CN112287571A (zh) * 2020-12-31 2021-01-29 南京理工大学 基于物理驱动的散射泛化成像方法和实验方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BABAK RAHMANI等: "Multimode optical fiber transmission with a deep learning network", 《LIGHT: SCIENCE & APPLICATIONS》 *
EIRINI KAKKAVA 等: "Imaging through multimode fibers using deep learning: The effects of intensity versus holographic recording of the speckle pattern", 《OPTICAL FIBER TECHNOLOGY》 *
李靖 等: "散斑密度对单像素计算成像系统的影响分析", 《量子电子学报》 *

Also Published As

Publication number Publication date
CN112862081B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Rahmani et al. Multimode optical fiber transmission with a deep learning network
Li et al. Image reconstruction using pre-trained autoencoder on multimode fiber imaging system
CN113762460B (zh) 基于数值散斑的多模光纤传输图像迁移重构算法
Moran et al. Deep, complex, invertible networks for inversion of transmission effects in multimode optical fibres
CN112862081B (zh) 基于傅立叶变换的人工神经网络的多模光纤成像方法
Fan et al. Deep learning enabled scalable calibration of a dynamically deformed multimode fiber
Yu et al. Multi-model ensemble learning method for human expression recognition
Huang et al. CS-VQA: visual question answering with compressively sensed images
Wang et al. WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens
CN108833919A (zh) 基于随机循环矩阵的彩色单像素成像方法及系统
Fan et al. Light propagation prediction through multimode optical fibers with a deep neural network
CN114584214B (zh) 一种基于复合涡旋光束的编码光通信方法及系统
Cao et al. Effects of Imperfection and Noise on the Image Reconstruction Through a Multimode Fiber with a Neural Network
Shinde et al. Face Generation from Textual Features using Conditionally Trained Inputs to Generative Adversarial Networks
Zhang et al. Experimental demonstration of a multimode fiber imaging system based on generative adversarial networks
Nivedita et al. Image captioning for video surveillance system using neural networks
Zhou et al. Multi-Distribution Learning Network Empowers the Transmission of Multi-Level Grayscale Information Through Multimode Fiber Optic Communication System.
Zhang et al. Reconstructing images through multimode fibers from the up-conversion speckle patterns via deep learning
Kurekci et al. Deep learning-based image transmission through a multi-mode fiber
CN115085805B (zh) 一种基于对抗蒸馏模型的光纤光性能监测方法及系统
Chen et al. Photonic unsupervised learning processor for secure and high-throughput optical fiber communication
Yolalmaz et al. Hyper-spectral imaging through a multi-mode fiber
Xiao et al. Characterization of Multimode Optical Fiber Transmission Matrix with Different Neural Networks
CN117558055B (zh) 一种基于多模态的肌肤作业控制方法
Fan et al. Semi-supervised learning enabled scalable high-spatial-density channel multiplexing over multimode fibers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant