CN111563562B - 基于卷积神经网络的单帧散射图像的彩色目标重建方法 - Google Patents

基于卷积神经网络的单帧散射图像的彩色目标重建方法 Download PDF

Info

Publication number
CN111563562B
CN111563562B CN202010684668.8A CN202010684668A CN111563562B CN 111563562 B CN111563562 B CN 111563562B CN 202010684668 A CN202010684668 A CN 202010684668A CN 111563562 B CN111563562 B CN 111563562B
Authority
CN
China
Prior art keywords
color target
target
color
speckle
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010684668.8A
Other languages
English (en)
Other versions
CN111563562A (zh
Inventor
韩静
柏连发
张毅
赵壮
郭恩来
孙岩
朱硕
崔倩莹
顾杰
师瑛杰
戚浩存
左苇
吕嫩晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010684668.8A priority Critical patent/CN111563562B/zh
Publication of CN111563562A publication Critical patent/CN111563562A/zh
Application granted granted Critical
Publication of CN111563562B publication Critical patent/CN111563562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于卷积神经网络的单帧散射图像的彩色目标重建方法，属于机器学习与图像重建技术领域，包括：步骤1、得到散斑数据集；步骤2、构建基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet；步骤3、将ALOI数据集中对应的彩色目标数据集与散斑数据集输入单帧散射图像的彩色目标重建模型进行训练，得到训练好的彩色目标重建模型；步骤4、将采集到的单帧彩色目标散斑图像输入训练好的彩色目标重建模型得到恢复的彩色目标。本发明解决了无法实现单帧彩色宽谱目标成像的问题，填充了基于深度学习的彩色目标重建网络的空白，首次提出基于卷积神经网络的单帧散射图像的彩色目标重建模型，恢复隐藏在散射介质后彩色目标。

Description

基于卷积神经网络的单帧散射图像的彩色目标重建方法
技术领域
本发明涉及一种基于卷积神经网络的单帧散射图像的彩色目标重建方法，属于机器学习与图像重建技术领域。
背景技术
散射现象阻碍着人们透过生物组织、浑浊介质等散射介质来观察物体，而在观察物体强度分布的基础上获取其颜色这一对认知隐藏物体属性有着重大意义的信息，就更加困难了。学者们陆续提出了各种透过散射介质成像的方法，但大多数都是用于解决灰度目标的重建问题的。并且能够实现20nm以上宽谱照明下散射成像的方法很少，要么需要参考对象，要么需要依赖相位恢复算法，均无法实现单帧彩色宽谱目标成像。
基于数据驱动的思想，深度学习对复杂非线性关系具备较强学习能力，已经成功用于构建窄带光源照明下散斑图像与隐藏灰度目标之间的映射关系，主要使用激光器作为照明光源，窄带重建能力显著。但基于深度学习的彩色目标重建网络尚未见到报道，根本原因是兼顾结构和光谱的协同重建问题复杂度更高，尤其是在适应实用化的要求下。首先为了将目标的颜色信息调制到单帧散斑中，系统照明光源的波段需要足够宽，至少覆盖可见光波段，这种条件下的散斑，其对比度很差，很难从中挖掘出足够还原目标结构的特征。其次，输入信号仅为单帧的散斑，无法使用编码等复杂且耗时的手段，这就对网络的目标重建能力提出了更高的要求。
发明内容
为了解决上述技术问题，本发明提供一种基于卷积神经网络的单帧散射图像的彩色目标重建方法，其具体技术方案如下：
一种基于卷积神经网络的单帧散射图像的彩色目标重建方法，包括如下步骤：
步骤1、建立散斑采集的光学系统，光学系统采集隐藏在散射介质后的单帧彩色目标散斑图像，得到若干目标的散斑数据集；
步骤2、构建基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet；
步骤3、将ALOI数据集中对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型进行训练，得到训练好的彩色目标重建模型；
步骤4、将采集到的单帧彩色目标散斑图像输入训练好的彩色目标重建模型得到恢复的彩色目标。
ALOI（Amsterdam Library of Object Images）数据集是一种彩色图像，收集了1000个小物体用于科学研究。为了捕获目标记录中的感官变化，系统地改变了每个目标的视角、光照角度和光照颜色，并额外捕获了宽基线立体图像以此记录了每个对象的100多张图像，总共收集了110250张图像形成ALOI数据集。ALOI数据集可从网站（http://aloi.science.uva.nl/）上下载得到，输入步骤2建立的CASNet中训练，便能得到训练后的重建模型。
进一步的，步骤1建立的散斑采集的光学系统选用无透镜光学系统，使用投影仪来投射目标，经过散射介质调制后，最终在工业相机上形成宽光谱下的散斑图像。
进一步的，步骤2构建的基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet（Color Antiscattering ConvNet），所述卷积神经网络包括编码Encoder和解码Decoder，所述编码Encoder分为三个通道，分别用于提取原始散斑图像RGB三个通道的信息，Encoder完成特征提取后将高维特征送入解码Decoder来实现最终的目标重建，输出尺寸为256*256的三通道图像。
步骤2中CASNet主干网络中使用了分解卷积，在保证运算精度的前提下，提高网络的运算效率，同时使用了空洞卷积来提取不同大小感受野下的特征。
步骤2中CASNet网络中使用了dropout的策略来避免训练过程中的过拟合。
进一步的，所述高维特征提取方法为：通过卷积层的卷积操作提取特征，在网络的反向传播过程中不断迭代更新来得到目标的高维特征。
进一步的，步骤3中彩色目标重建模型CASNet训练中采用均方误差MSE作为主要的损失函数，同时使用结构相似性SSIM来约束重建结果的整体结构，共同为网络优化方向提供指导，网络损失函数Loss表示为
Figure 100002_DEST_PATH_IMAGE001
(1)
其中
Figure 63606DEST_PATH_IMAGE002
为用于平衡均方误差MSE与结构相似性SSIM的权重因子。
进一步的，步骤3中将对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型CASNet进行训练，已知超出光学记忆效应ME范围的大目标表示为若干分别符合光学记忆效应ME约束的小目标构成
Figure 100002_DEST_PATH_IMAGE003
(2)
其中
Figure 243658DEST_PATH_IMAGE004
为构成目标的第m个子目标，
Figure 100002_DEST_PATH_IMAGE005
为其对应的系统点扩散函数，I为最终形成的散斑图像；对于卷积神经网络，上式表示的光学逆过程是可解的；光学记忆效应ME（光学记忆效应）范围内彩色目标与最终散斑间的关系表示为
Figure 573008DEST_PATH_IMAGE006
(3)
式中
Figure 100002_DEST_PATH_IMAGE007
表示第n个波段，由此推知，上式表示的逆问题由合理设计的卷积神经网络求出对应的解，进一步考虑ME（光学记忆效应）范围外的彩色目标重建问题，表示为
Figure 568646DEST_PATH_IMAGE008
(4)
上式表示的彩色目标重建问题可通过步骤3网络的合理训练求得最优解。
本发明与现有技术相比，其显著优点为：
（1）本发明建立的散斑采集的光学系统属于无透镜光学系统，结构简单。
（2）本发明首次提出基于卷积神经网络的单帧散射图像的彩色目标重建模型，能够实现对隐藏在散射介质后彩色目标的恢复。
（3）本发明实现了宽谱（不小于300nm）光信号上隐藏目标的光谱波段和结构协同重建，利用单帧散斑图像即可恢复原始目标的颜色分布，复杂结构彩色目标重建图像的平均PSNR大于24dB。
（4）本发明利用低对比度的散斑，在ME范围外恢复了生活场景中的一系列实际物体，实验证明平均结构相似性可达0.84以上。
附图说明
图1是本发明使用的散斑采集的光学系统的示意图，
图2是本发明中使用光谱仪(Ocean Optics USB2000)测量得到的投影仪光谱，
图3是本发明CASNet网络的结构框图，
图4是本发明CASNet重建彩色双字符目标效果图，
图5是本发明CASNet重建宽谱黑白目标效果图，
图6是本发明CASNet重建ALOI数据集目标效果图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，本发明的基于卷积神经网络的单帧散射图像的彩色目标重建方法，包括如下步骤：
步骤1、建立散斑采集的光学系统，光学系统采集隐藏在散射介质后的彩色目标散斑图像，得到若干目标的散斑数据集；
如图1所示，本发明使用的光学系统，属于无透镜光学系统，结构简单。使用投影仪（Robot GO M6S）来投射目标，经过散射介质调制后，最终在工业相机（Basler acA1920-40gc）上形成了宽光谱下的散斑图像，即为CASNet的输入信号，如图2所示，使用光谱仪(Ocean Optics USB2000)测量得到的投影仪光谱约为300nm。
步骤2、构建基于卷积神经网络的单帧散射图像的彩色目标重建模型；
构建如图3所示的CASNet。该网络由Encoder和Decoder构成，其中Encoder分为三个通道，分别用于提取原始散斑图像RGB三个通道的信息，Encoder完成特征提取后将高维特征送入Decoder来实现最终的目标重建，输出尺寸为256*256的三通道图像。CASNet的主干网络中使用了分解卷积，在保证运算精度的前提下，提高网络的运算效率，同时使用了空洞卷积来提取不同大小感受野下的特征。CASNet网络中使用了dropout的策略来避免训练过程中的过拟合。训练中采用MSE作为主要的损失函数，同时使用SSIM来约束重建结果的整体结构，共同为网络优化方向提供指导，网络损失函数可表示为
Figure 100002_DEST_PATH_IMAGE009
(1)
其中
Figure 299842DEST_PATH_IMAGE010
为用于平衡MSE与SSIM的权重因子。
步骤3、将对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型进行训练；
已知超出ME（光学记忆效应）范围的大目标可表示为若干分别符合ME（光学记忆效应）约束的小目标构成
Figure 100002_DEST_PATH_IMAGE011
(2)
其中
Figure 653725DEST_PATH_IMAGE012
为构成目标的第m个子目标，
Figure DEST_PATH_IMAGE013
为其对应的系统点扩散函数，I为最终形成的散斑图像。对于卷积神经网络，上式表示的光学逆过程是可解的。ME（光学记忆效应）范围内彩色目标与最终散斑间的关系可表示为
Figure 470371DEST_PATH_IMAGE014
(3)
式中
Figure DEST_PATH_IMAGE015
表示第n个波段。由此推知，上式表示的逆问题也可以由合理设计的卷积神经网络求出对应的解。进一步考虑ME（光学记忆效应）范围外的彩色目标重建问题，可表示为
Figure 269700DEST_PATH_IMAGE016
(4)
上式表示的彩色目标重建问题可通过步骤3网络的合理训练求得最优解。从本领域常用的MNIST手写字符集中随机组合字符的方式形成了双字符目标，进行随机着色，并且将着色后的字符两两组合，形成了待还原的彩色目标，即为指导网络参数优化方向的真实值GT（ground truth）。使用投影仪将待还原目标投射到光学系统中，相机采集到的三通道散斑作为网络的输入图像，与GT一起构成了双字符彩色数据集。取其中的7500组GT-input数据对作为训练集，500组作为测试集。训练网络得到最优模型，训练和测试CASNet的环境为PyTorch 1.2.0，RTX 2080Ti，I7-9700K CPU，ubuntu 16.04。
步骤4、将采集到的单帧彩色目标散斑图像输入训练好的彩色目标重建模型得到恢复的彩色目标。
使用步骤3中CASNet保存的最优模型对未训练的500组目标进行重建，结果如图4所示。针对彩色双字符目标，CASNet成功地还原了双字符的颜色分布。
本发明的效果可以通过以下结果进一步说明：
首先验证本网络对于宽波段照明下黑白目标重建的适用性。同样使用MNIST手写字符集中随机组合字符的方式形成双字符的灰度目标，作为宽谱黑白双字符数据集的GT。投影仪投射GT的同时，由设置在灰度模式下的相机采集散斑图像，作为宽谱黑白双字符数据集的输入图像。同时，将CASNet的输出改为单通道图像。采用7500对数据进行训练，500组未训练的数据作为测试集，用于评估网络的重建效果。数据集的输入图像是单通道的二维灰度散斑图像，将该通道复制为图像的第二和第三通道后，形成了三通道的二维散斑图像，以满足CASNet的输入通道数要求。测试集的重建效果如图5所示。CASNet很好地由低对比度的宽谱散斑重建出了隐藏在散射介质后的黑白目标，很好地还原了原始目标的整体结构和局部细节。
目前散斑图像重建任务很少使用复杂场景作为目标，主要以字符和结构化的人脸为主，为验证本发明CASNet的数据挖掘能力，使用目标结构较手写字符复杂很多的ALOI数据集作为GT，采集对应三通道散斑图像构成了复杂彩色目标数据集，并使用CASNet进行训练。由于本组实验中目标结构极为复杂，使用23649组数据进行训练，训练完成后使用另外的848组数据对网络的重建能力进行了测试。对未训练过彩色目标的重建结果如图6所示。针对ALOI数据集，重建质量出现了显著的下降，主要原因有两点：一是数据集中目标细节极为丰富，经过散射介质后形成的散斑图像对比度较差，再加上使用的工业相机灵敏度有限，两者共同造成散射图像中包含细节的信息被淹没，使得CASNet无法挖掘、还原出目标的细节。二是ALOI数据集中的目标种类极为丰富，不论是训练集还是测试集，其中的目标都很少能找到与之相近的其他物体，数据集中不同物体的差异很大，包含的特征分布较广，网络很难充分学习到较大散度特征间的映射关系。
针对上述三个实验分别计算CASNet重建出来目标的平均平均绝对误差MAE，结构相似性 SSIM和峰值信噪比PSNR，作为评价重建图像质量的客观评价指标，结果如表1所示。结合重建结果图可以看出CASNet成功实现了对三个数据集中未训练过目标的重建。使用复杂彩色目标数据集的训练集测试CASNet重建速度，结果表明，CASNet的平均每秒传输帧数FPS可达21，时效性较好，基本达到了实时重建的要求。
表1 不同测试集客观评价指标
Figure DEST_PATH_IMAGE017
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种基于卷积神经网络的单帧散射图像的彩色目标重建方法，其特征在于：包括如下步骤：
步骤1、建立散斑采集的光学系统，光学系统采集隐藏在散射介质后的单帧彩色目标散斑图像，得到若干目标的散斑数据集；
步骤2、构建基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet；
步骤3、将ALOI数据集中对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型CASNet进行训练，得到训练好的彩色目标重建模型，具体为，
彩色目标重建模型CASNet训练中采用均方误差MSE作为主要的损失函数，同时使用结构相似性SSIM来约束重建结果的整体结构，共同为网络优化方向提供指导，网络损失函数Loss表示为
Figure DEST_PATH_IMAGE001
(1)
其中
Figure 926414DEST_PATH_IMAGE002
为用于平衡MSE与SSIM的权重因子；
将对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型CASNet进行训练，符合光学记忆效应ME约束的小目标构成已知超出光学记忆效应ME范围的大目标，
Figure DEST_PATH_IMAGE003
(2)
式中，
Figure 643834DEST_PATH_IMAGE004
为构成目标的第
Figure DEST_PATH_IMAGE005
个子目标，
Figure 429257DEST_PATH_IMAGE006
为其对应的系统点扩散函数，
Figure DEST_PATH_IMAGE007
为最终形成的散斑图像；对于卷积神经网络，上式表示的光学逆过程是可解的；光学记忆效应ME范围内彩色目标与最终散斑间的关系表示为
Figure 400886DEST_PATH_IMAGE008
(3)
式中，
Figure DEST_PATH_IMAGE009
表示第
Figure 426611DEST_PATH_IMAGE010
个波段，由此推知，上式表示的逆问题由合理设计的CASNet卷积神经网络求出对应的解，进一步考虑ME范围外的彩色目标重建问题，表示为
Figure DEST_PATH_IMAGE011
(4)
上式表示的彩色目标重建问题可通过步骤3CASNet卷积神经网络的合理训练求得最优解；
步骤4、将采集到的单帧彩色目标散斑图像输入训练好的彩色目标重建模型得到恢复的彩色目标。
2.根据权利要求1所述的基于卷积神经网络的单帧散射图像的彩色目标重建方法，其特征在于：步骤1建立的散斑采集的光学系统选用无透镜光学系统，使用投影仪来投射目标，经过散射介质调制后，最终在工业相机上形成宽光谱下的散斑图像。
3.根据权利要求1所述的基于卷积神经网络的单帧散射图像的彩色目标重建方法，其特征在于：步骤2构建的基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet，所述卷积神经网络包括编码Encoder和解码Decoder，所述编码Encoder分为三个通道，分别用于提取原始散斑图像RGB三个通道的信息，Encoder完成特征提取后将高维特征送入解码Decoder来实现最终的目标重建，输出尺寸为256*256的三通道图像。
4.根据权利要求3所述的基于卷积神经网络的单帧散射图像的彩色目标重建方法，其特征在于：所述高维特征提取方法为：通过卷积层的卷积操作提取特征，在CASNet卷积神经网络的反向传播过程中不断迭代更新来得到目标的高维特征。
CN202010684668.8A 2020-07-16 2020-07-16 基于卷积神经网络的单帧散射图像的彩色目标重建方法 Active CN111563562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010684668.8A CN111563562B (zh) 2020-07-16 2020-07-16 基于卷积神经网络的单帧散射图像的彩色目标重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010684668.8A CN111563562B (zh) 2020-07-16 2020-07-16 基于卷积神经网络的单帧散射图像的彩色目标重建方法

Publications (2)

Publication Number Publication Date
CN111563562A CN111563562A (zh) 2020-08-21
CN111563562B true CN111563562B (zh) 2021-01-19

Family

ID=72071274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010684668.8A Active CN111563562B (zh) 2020-07-16 2020-07-16 基于卷积神经网络的单帧散射图像的彩色目标重建方法

Country Status (1)

Country Link
CN (1) CN111563562B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150341B (zh) * 2020-11-26 2021-05-28 南京理工大学 基于物理约束和数据驱动的双阶段散射成像方法
CN112862081B (zh) * 2021-03-18 2023-07-18 清华大学 基于傅立叶变换的人工神经网络的多模光纤成像方法
CN113362412A (zh) * 2021-06-02 2021-09-07 中国工程物理研究院激光聚变研究中心 一种基于深度学习的散斑频谱信息重建方法及装置
CN113962866B (zh) * 2021-12-22 2023-04-07 南京理工大学 一种基于物理感知学习的散射成像目标重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147673A (zh) * 2007-11-02 2008-03-26 华中科技大学 旋转式扩散荧光层析成像系统
JP2009288005A (ja) * 2008-05-28 2009-12-10 Asml Netherlands Bv 検査方法および装置、リソグラフィ装置、リソグラフィ処理セルおよびデバイス製造方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147673A (zh) * 2007-11-02 2008-03-26 华中科技大学 旋转式扩散荧光层析成像系统
JP2009288005A (ja) * 2008-05-28 2009-12-10 Asml Netherlands Bv 検査方法および装置、リソグラフィ装置、リソグラフィ処理セルおよびデバイス製造方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于光学记忆效应的非侵入式散射成像方法研究;吴腾飞;《中国博士学位论文全文数据库信息科技辑》;20180115;摘要，第1-56页 *
基于波前调制技术的散射介质激光散斑衬比成像系统研究;李阳阳;《中国博士学位论文全文数据库基础科学辑》;20190515;摘要，第20-59页 *

Also Published As

Publication number Publication date
CN111563562A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN111563562B (zh) 基于卷积神经网络的单帧散射图像的彩色目标重建方法
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
CN111325794B (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
Nair et al. Image mining applications for underwater environment management-A review and research agenda
CN111563577B (zh) 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN117274047A (zh) 双路卷积与自注意力结合的红外图像超分辨率重建方法
CN117474781A (zh) 一种基于注意力机制的高光谱与多光谱图像融合方法
CN113487530B (zh) 一种基于深度学习的红外与可见光融合成像方法
CN114894740A (zh) 一种太赫兹单像素成像方法与系统
Lu et al. Underwater image enhancement method based on denoising diffusion probabilistic model
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Li et al. DADRNet: cross-domain image dehazing via domain adaptation and disentangled representation
CN116091492B (zh) 一种图像变化像素级检测方法与系统
Wu et al. RepCPSI: Coordinate-Preserving Proximity Spectral Interaction Network With Reparameterization for Lightweight Spectral Super-Resolution
Zhang et al. A cross-scale framework for low-light image enhancement using spatial–spectral information
CN116337010A (zh) 智能优化散斑的关联成像重建恢复方法
CN116091640A (zh) 一种基于光谱自注意力机制的遥感高光谱重建方法及系统
CN113920171B (zh) 基于特征级和决策级融合的双模态目标跟踪方法
Chen et al. Improved U-Net3+ with spatial–spectral transformer for multispectral image reconstruction
CN114612727A (zh) 基于双边特征金字塔网络与多尺度鉴别的本质图像分解方法研究
Chen et al. Multi-Level Feature Aggregation Network for Full-Reference Image Quality Assessment
Bhagat et al. Multimodal sensor fusion using symmetric skip autoencoder via an adversarial regulariser

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant