CN116468821A - 一种基于深度学习和多模光纤散斑的抗扰动成像方法 - Google Patents
一种基于深度学习和多模光纤散斑的抗扰动成像方法 Download PDFInfo
- Publication number
- CN116468821A CN116468821A CN202310461587.5A CN202310461587A CN116468821A CN 116468821 A CN116468821 A CN 116468821A CN 202310461587 A CN202310461587 A CN 202310461587A CN 116468821 A CN116468821 A CN 116468821A
- Authority
- CN
- China
- Prior art keywords
- disturbance
- objective lens
- imaging
- multimode fiber
- speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 239000000835 fiber Substances 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000002474 experimental method Methods 0.000 claims abstract description 14
- 239000006185 dispersion Substances 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 238000013450 outlier detection Methods 0.000 claims abstract description 6
- 239000013307 optical fiber Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/48—Laser speckle optics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于深度学习和多模光纤散斑的抗扰动成像方法，包括：S1、利用第一光学实验系统获取无扰动情况下多模光纤模式色散后出现的散斑图；S2、通过深度学习方法对无扰动样本进行训练，得到基于U‑net的多模光纤散斑成像模型；S3、利用第二光学实验系统获取有扰动情况下多模光纤模式色散后出现的散斑图；S4、将扰动情况下的样本与未扰动的样本用深度学习方法进行相似度度量，同时利用离群点检测方法确定剔除阈值来区分离群点和正常点，剔除部分异常相似度的数据点，得到基于VGG的自适应校准模型，将扰动样本用未扰动样本进行校准；S5、扰动样本校准为未扰动样本后使用U‑net模型进行成像。根据本发明，可以提升扰动情况下多模光纤散斑的成像效果，以便实验条件改变时从其校准状态也能实现高质量成像效果，从而提高模型的抗干扰能力。
Description
技术领域
本发明涉及多模光纤模式色散成像的技术领域，特别涉及一种基于深度学习和多模光纤散斑的抗扰动成像方法。
背景技术
多模光纤在内窥镜小型化中起着重要作用，然而，作为一种特殊的散射介质，通过MMF传输的光模式是不稳定的，并受到多模色散的影响，这导致目标信息被干扰成散斑。同时在实验过程中会受到各种各样的扰动，散斑图的灵敏度也带来了挑战，因为对实验条件的小扰动会显著改变这些传播参数。目前使用相位共轭、波前整形和光纤传输矩阵计算等方法来恢复和识别多模光纤末端的斑点图案，但是，这些方法需要精确校准和重复测量，并且在灵活性和稳定性方面存在一定的限制。
在实际的散斑图案收集过程中，经常会收到外界噪声的扰动。现有的成像方法抗扰动较弱，导致成像质量不高。目前的主流方法是采用深度学习对多模光纤散斑进行重构，此类方法虽然可以较好的完成散斑图像的重构，但是存在着成像质量差，鲁棒性差(抗干扰能力弱)的缺点。
发明内容
针对现有技术中存在的不足之处，本发明的目的是提供一种基于深度学习和多模光纤散斑的抗扰动成像方法，可以提升扰动情况下多模光纤散斑的成像效果，以便实验条件改变时从其校准状态也能实现高质量成像效果，从而提高模型的抗干扰能力。为了实现根据本发明的上述目的和其他优点，提供了一种基于深度学习和多模光纤散斑的成像方法，包括：
S1、利用第一光学实验系统获取无扰动情况下多模光纤模式色散后出现的散斑图；
S2、通过深度学习方法对无扰动样本进行训练，得到基于U-net的多模光纤散斑成像模型；
S3、利用第二光学实验系统获取有扰动情况下多模光纤模式色散后出现的散斑图；
S4、将扰动情况下的样本与未扰动的样本用深度学习方法进行相似度度量，同时利用离群点检测方法确定剔除阈值来区分离群点和正常点，剔除部分异常相似度的数据点，得到基于VGG的自适应校准模型，将扰动样本用未扰动样本进行校准；
S5、扰动样本校准为未扰动样本后使用U-net模型进行成像。
优选的，步骤S1中第一光学试验系统包括激光器、依次设置于激光器一侧的第一物镜、设置于物镜一侧的针孔滤光片、透镜、偏振片、分束器及设置于分束器一侧的空间光调制器，该分束器下方设置有第二物镜，该第二物镜通过多模光纤连接有第三物镜，该第三物镜一侧设置有第二透镜，该第二透镜一侧设置有相机。
优选的，步骤S2中基于U-net网络通过多个卷积层进行特征提取和下采样，得到高维特征图；在高维特征图的基础上通过多个反卷积层进行上采样和特征重建，得到与原始图像尺寸相同的成像结果，同时加入跳跃连接。
优选的，步骤S3中的第二光学实验系统包括激光器、依次设置于激光器一侧的第一物镜、设置于物镜一侧的针孔滤光片、透镜、偏振片、分束器及设置于分束器一侧的空间光调制器，该分束器下方设置有第二物镜，该第二物镜通过多模光纤连接有第三物镜，且该多模光纤中连接有电动位移台，该第三物镜一侧设置有第二透镜，该第二透镜一侧设置有相机。
优选的，步骤S4中包括在训练阶段，VGG模型通过大量的图像数据进行训练，学习到图像的特征表示；在检索阶段，对于每个查询图像，使用训练好的VGG模型提取其特征向量，并计算与数据库中所有图像的相似度；在提取特征向量之后，使用离群点检测算法设置剔除阈值识别出那些特征向量与其他向量相差较大的样本，剔除部分异常相似度样本；最后将相似度按照从大到小排序，选取相似度最高图片作为结果输出，之后便用检索到的图片进行成像。
本发明与现有技术相比，其有益效果是：
(1)使用U-net和VGG两个网络相结合的方法对多模光纤散斑图案进行重构与传统方法相比，有抗干扰能力强、成像质量高、对误差进行补偿、可以实现实验条件改变时从其校准状态也能实现高质量成像效果的优点。
(2)基于自适应抗干扰方法对VGG网络进行数据增强、数据扩充、正则化的方法，有助于VGG模型学习到更多的特征，以确保模型能够准确地捕捉到不同图像之间的相似性和差异性，实现扰动散斑图与非扰动散斑图的精准检索。
(3)基于U-net的深度学习成像方法通过编码器和解码器的组合，以及跳跃连接的使用，可以实现图像的高质量成像。
附图说明
图1为根据本发明的基于深度学习和多模光纤散斑的成像方法的光学系统图；
图2为根据本发明的基于深度学习和多模光纤散斑的成像方法的流程图；
图3为根据本发明的基于深度学习和多模光纤散斑的成像方法的U-net模型结构图；
图4为根据本发明的基于深度学习和多模光纤散斑的成像方法的扰动光学系统图；
图5为根据本发明的基于深度学习和多模光纤散斑的成像方法的自校准过程示意图；
图6为根据本发明的基于深度学习和多模光纤散斑的成像方法的VGG模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-6，一种基于深度学习和多模光纤散斑的抗扰动成像方法，包括以下步骤：
S1、利用第一光学实验系统获取无扰动情况下多模光纤模式色散后出现的散斑图；
S2、通过深度学习方法对无扰动样本进行训练，得到基于U-net的多模光纤散斑成像模型；
S3、利用第二光学实验系统获取有扰动情况下多模光纤模式色散后出现的散斑图；
S4、将扰动情况下的样本与未扰动的样本用深度学习方法进行相似度度量，同时利用离群点检测方法确定剔除阈值来区分离群点和正常点，剔除部分异常相似度的数据点，得到基于VGG的自适应校准模型，将扰动样本用未扰动样本进行校准；
S5、扰动样本校准为未扰动样本后使用U-net模型进行成像。
实施例1
步骤S1，首先利用第一光学实验系统获取无扰动情况下多模光纤模式色散后出现的散斑图。第一光学系统图如图1所示，He-Ne激光器发射波长为632.8nm的激光作为实验光源，利用微物镜、针孔滤光片和透镜对光源进行对焦、过滤、准直和扩展。利用偏光镜、分束器和空间光调制器将图像信息传输到光路。在实验中，空间光调制器是纯相位空间光调制器，但在线偏振器的帮助下，相位型物体被转换为振幅型物体，并通过物镜耦合到多模光纤中。灰度图像的光学信息在光纤输入端使用物镜耦合到MMF中，然后在光纤输出端使用同一物镜将加扰信息耦合到MMM中，这完成了在多模光纤中传输光学信息。散斑图通过第二透镜收集，然后成像到CCD相机上。
步骤S2，通过深度学习方法对无扰动样本进行训练，得到基于U-net的多模光纤散斑成像模型。U-net网络是一个经典的全卷积神经网络,我们把输入多模光纤前的光信号当作是U-net网络重建的模板，对输出散斑进行重建。输入U-net网络前先把散斑图的大小全部转化成256×256，和网络输入的大小相同。如图3网络左边是有图片卷积和最大池化组成的降采样操作，我们把一组卷积和池化操作记为一个block，该操作一共分成4个block，每一个block都有三个卷积核一个最大池化，每个block的功能是采集输入图片的特征，每一次降采样后图片的大小会变成减小，但是特征图的数目会变成原来的两倍，最后在网络的底部，得到降采样后的特征图，此时的特征图大小为16×16。网络右侧是上采样过程，和左边对称，该过程一共也有4个block，每个block会通过反卷积操作把特征图的大小进行二倍放大，同时会把特征图的个数减半。图中灰色的线表示在进行一次上采样之后，得到的重建图会和左侧与之对应的特征图进行一次合并，但是左侧的特征图和右边的重建图大小不一样，网络需要通过把左侧的特征图进行裁剪保持和右侧特征图一样大，裁剪的大小在图3的左侧用虚线标出，经过4次上采样之后，网络输出分割后的效果图，特征图的大小是256×256。
步骤S3中的第二光学实验系统包括激光器、依次设置于激光器一侧的第一物镜、设置于物镜一侧的针孔滤光片、透镜、偏振片、分束器及设置于分束器一侧的空间光调制器，该分束器下方设置有第二物镜，该第二物镜通过多模光纤连接有第三物镜，且该多模光纤中连接有电动位移台，该第三物镜一侧设置有第二透镜，该第二透镜一侧设置有相机。
步骤S4和S5，将扰动情况下的样本与未扰动的样本用深度学习方法进行相似度度量，得到基于VGG的自适应校准模型，将扰动样本用未扰动样本进行校准；扰动样本校准为未扰动样本后使用U-net模型进行成像，如步骤S2进行成像。在训练阶段，VGG模型通过大量的图像数据进行训练，从而学习到图像的特征表示。这些特征表示通常被称为“特征向量”或“嵌入向量”，它们能够捕捉到图像中的语义信息，例如颜色、形状、纹理。在检索阶段，对于每个查询图像，使用训练好的VGG模型提取其特征向量，并计算与数据库中所有图像的相似度，过程示意图如图5所示。可以使用余弦相似度或欧式距离等度量方式进行相似度计算，接着使用离群点检测算法设置剔除阈值识别出那些特征向量与其他向量相差较大的样本，剔除部分异常相似度样本最后，将相似度按照从大到小排序，选取相似度最高图片作为结果输出，之后便用检索到的图片进行成像。VGG网络包括13个卷积层和3个全连接层，网络结构如图6所示。
综上，在多模光纤传输信息的实际过程中，经常会收到外界噪声的扰动。本发明针对这一现象，分析了各种多模光纤成像方法，发现了基于深度学习和多模光纤模式色散成像方法的优点，有灵活性高、稳定性强等优点。而后分析了自适应校准及抗扰动成像方法，发现该发明方法相较于一般的成像算法，效果更好，性能优异，鲁棒性好，抗干扰能力强，可以提升扰动情况下多模光纤散斑的成像效果。
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (5)
1.一种基于深度学习和多模光纤散斑的抗扰动成像方法，其特征在于，包括以下步骤：
S1、利用第一光学实验系统获取无扰动情况下多模光纤模式色散后出现的散斑图；
S2、通过深度学习方法对无扰动样本进行训练，得到基于U-net的多模光纤散斑成像模型；
S3、利用第二光学实验系统获取有扰动情况下多模光纤模式色散后出现的散斑图；
S4、将扰动情况下的样本与未扰动的样本用深度学习方法进行相似度度量，同时利用离群点检测方法确定剔除阈值来区分离群点和正常点，剔除部分异常相似度的数据点，得到基于VGG的自适应校准模型，将扰动样本用未扰动样本进行校准；
S5、扰动样本校准为未扰动样本后使用U-net模型进行成像。
2.如权利要求1所述的一种基于深度学习和多模光纤散斑的抗扰动成像方法，其特征在于，步骤S1中第一光学试验系统包括激光器、依次设置于激光器一侧的第一物镜、设置于物镜一侧的针孔滤光片、透镜、偏振片、分束器及设置于分束器一侧的空间光调制器，该分束器下方设置有第二物镜，该第二物镜通过多模光纤连接有第三物镜，该第三物镜一侧设置有第二透镜，该第二透镜一侧设置有相机。
3.如权利要求2所述的一种基于深度学习和多模光纤散斑的抗扰动成像方法，其特征在于，步骤S2中基于U-net网络通过多个卷积层进行特征提取和下采样，得到高维特征图；在高维特征图的基础上通过多个反卷积层进行上采样和特征重建，得到与原始图像尺寸相同的成像结果，同时加入跳跃连接。
4.如权利要求3所述的一种基于深度学习和多模光纤散斑的抗扰动成像方法，其特征在于，步骤S3中的第二光学实验系统包括激光器、依次设置于激光器一侧的第一物镜、设置于物镜一侧的针孔滤光片、透镜、偏振片、分束器及设置于分束器一侧的空间光调制器，该分束器下方设置有第二物镜，该第二物镜通过多模光纤连接有第三物镜，且该多模光纤中连接有电动位移台，该第三物镜一侧设置有第二透镜，该第二透镜一侧设置有相机。
5.如权利要求4所述的一种基于深度学习和多模光纤散斑的抗扰动成像方法，其特征在于，步骤S4中包括在训练阶段，VGG模型通过大量的图像数据进行训练，学习到图像的特征表示；在检索阶段，对于每个查询图像，使用训练好的VGG模型提取其特征向量，并计算与数据库中所有图像的相似度；在提取特征向量之后，使用离群点检测算法设置剔除阈值识别出那些特征向量与其他向量相差较大的样本，剔除部分异常相似度样本；最后将相似度按照从大到小排序，选取相似度最高图片作为结果输出，之后便用检索到的图片进行成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310461587.5A CN116468821A (zh) | 2023-04-26 | 2023-04-26 | 一种基于深度学习和多模光纤散斑的抗扰动成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310461587.5A CN116468821A (zh) | 2023-04-26 | 2023-04-26 | 一种基于深度学习和多模光纤散斑的抗扰动成像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116468821A true CN116468821A (zh) | 2023-07-21 |
Family
ID=87182344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310461587.5A Pending CN116468821A (zh) | 2023-04-26 | 2023-04-26 | 一种基于深度学习和多模光纤散斑的抗扰动成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468821A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117147024A (zh) * | 2023-09-01 | 2023-12-01 | 天津大学 | 一种力传感触头及光纤末端力传感装置与三维力解算方法 |
-
2023
- 2023-04-26 CN CN202310461587.5A patent/CN116468821A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117147024A (zh) * | 2023-09-01 | 2023-12-01 | 天津大学 | 一种力传感触头及光纤末端力传感装置与三维力解算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116601B (zh) | 基于生成对抗残差网络的压缩感知采样重建方法及系统 | |
| CN111083365B (zh) | 一种最佳焦平面位置快速检测方法及装置 | |
| JPH05119252A (ja) | カメラの距離測定および迅速自動焦点合せ方法および装置 | |
| CN112019719B (zh) | 基于光学分幅光场相机的高分辨率光场系统和成像方法 | |
| CN116468821A (zh) | 一种基于深度学习和多模光纤散斑的抗扰动成像方法 | |
| CN112734915A (zh) | 一种基于深度学习的多视角立体视觉三维场景重建方法 | |
| CN111666852A (zh) | 一种基于卷积神经网络的微表情双流网络识别方法 | |
| CN115908772A (zh) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 | |
| CN114897752A (zh) | 一种基于深度学习的单透镜大景深计算成像系统及方法 | |
| CN115187921A (zh) | 一种基于改进YOLOv3的输电通道烟雾检测方法 | |
| CN111028302B (zh) | 一种基于深度学习的压缩对象成像方法及系统 | |
| CN115423685A (zh) | 用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法 | |
| CN117274759A (zh) | 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合系统 | |
| CN116168067A (zh) | 基于深度学习的有监督多模态光场深度估计方法 | |
| CN112767331B (zh) | 基于零样本学习的图像异常检测方法 | |
| CN116579959B (zh) | 用于高光谱图像的融合成像方法及装置 | |
| CN117557487A (zh) | 基于pix2pixHD的光滑物体高光去除方法、系统及缺陷检测装置 | |
| CN116539619B (zh) | 产品缺陷检测方法、系统、装置及存储介质 | |
| CN112434749A (zh) | 一种基于U-Net的多模光纤散斑图重建与识别方法 | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
| CN114118199A (zh) | 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统 | |
| CN115601423A (zh) | 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法 | |
| CN114529476A (zh) | 基于解耦-融合网络的无透镜全息显微成像相位恢复方法 | |
| CN113160104B (zh) | 一种基于密集连接网络的图像融合方法 | |
| CN114463192A (zh) | 一种基于深度学习的红外视频畸变校正的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |