CN114936984A - 毫米波退化图像去噪去模糊方法、装置、设备及介质 - Google Patents

毫米波退化图像去噪去模糊方法、装置、设备及介质 Download PDF

Info

Publication number
CN114936984A
CN114936984A CN202210686845.5A CN202210686845A CN114936984A CN 114936984 A CN114936984 A CN 114936984A CN 202210686845 A CN202210686845 A CN 202210686845A CN 114936984 A CN114936984 A CN 114936984A
Authority
CN
China
Prior art keywords
image
denoising
millimeter wave
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210686845.5A
Other languages
English (en)
Inventor
时愈
黄志高
严嘉倩
华夏
洪汉玉
王磊
马雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202210686845.5A priority Critical patent/CN114936984A/zh
Publication of CN114936984A publication Critical patent/CN114936984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种同时对毫米波退化图像去噪去模糊双任务复原方法、装置、电子设备及计算机存储介质，其方法包括：构建毫米波仿真退化图像的训练集和测试集；将训练集图像输入初始双任务网络模型进行训练，直至所述初始双任务网络模型的损失函数达到预设的收敛条件，其中，所述初始双任务网络模型结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。本发明可以有效地平衡毫米波退化图像去噪与去模糊的关系，实现去噪去模糊双任务问题，进而得到一个高质量的清晰图像。

Description

毫米波退化图像去噪去模糊方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种毫米波退化图像去噪去模糊方法、装置、电子设备及计算机存储介质。
背景技术
无源毫米波(PMMW)成像是依靠接受场景中物体自身辐射的毫米波进行成像，毫米波成像系统是通过一个天线阵列接收物体辐射的毫米波，经过放大、检波和信号处理可得到探测目标的二维图像。在成像过程中，由于毫米波波长较长、天线孔径较小，以及引入了各类随机噪声，导致成像后图空间分辨率较低。通常解决的办法是增大天线尺寸或提高工作频率来改善空间分辨率。近年来，射电天文学中的合成孔径技术引入到毫米波成像探测中，有效地提高了系统的空间分辨率。但合成孔径技术又有结构复杂、造价昂贵且工作频率较低的缺点。因此，通过图像复原的方法提高毫米波成像系统的图像分辨率成为了一种经济、实用、有效的选择。
现有技术中大多数用于图像复原的方法都需要一个神经网络进行复原，目前众多学者已提出了许多退化图像复原问题的方法，但PMMW图像是既有模糊又有噪声的双任务问题。图像去噪和图像去模糊的过程是对立的，高频噪声去除的同时会导致高频边缘细节变模糊；图像去模糊的目的是为了恢复出高频边缘细节信息，同时也增强了高频噪声，因此目前的去噪去模糊方法很难协调好两者的关系，以获取一个不错的去噪去模糊结果。如何高效地解决这样的双任务问题仍然是一个亟需解决的挑战。
发明内容
有鉴于此，有必要提供一种毫米波退化图像去噪去模糊方法、装置、电子设备及计算机存储介质，用以解决现有技术中很难有效地平衡去噪任务与去模糊任务的关系，导致去噪去模糊后的图像仍不清晰的问题。
为了解决上述问题，第一方面，本发明提供一种毫米波退化图像去噪去模糊方法，包括：
构建毫米波仿真退化图像的训练集和测试集；
将训练集图像输入初始双任务网络模型进行训练，直至所述初始双任务网络模型的损失函数达到预设的收敛条件，其中，所述初始双任务网络模型的结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；
将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。
进一步的，所述构建毫米波仿真退化图像的训练集和测试集，包括：
获取遥感图像集；
对所述遥感图像集中的遥感图像添加轻、中、重高斯模糊，并对应添加弱、中、强高斯噪声，以形成低、中、高三种程度的毫米波仿真退化图像；
将所述毫米波仿真退化图像与清晰图像进行拼接，并将拼接后的图像进行裁剪、归一化，得到所述毫米波仿真退化图像的训练集和测试集；
所述构建毫米波仿真退化图像的训练集，还包括：
对训练集中低、中、高毫米波仿真退化图像进行增广处理得到最终训练集，且低、中、高毫米波仿真退化图像的数量占比递进增加。
进一步的，所述局部加式残差密集特征融合去噪子网络包括卷积层和局部加式残差密集特征融合块；
所述局部加式残差密集特征融合块是由多个加式残差块密集特征融合构成；
通过所述局部加式残差密集特征融合去噪子网络提取第一图像特征。
进一步的，所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络包括编码器与解码器；
所述编码器包括多个编码单元，所述解码器包括多个解码单元，每一编码单元及每一解码单元均包括卷积层和加式-拼接半归一化残差密集块，所述加式-拼接半归一化密集残差块是由多个半归一化残差块密集相加、拼接连接构成；
通过所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络提取第二图像特征。
进一步的，所述多个半归一化密集相加、拼接连接包括：
相邻半归一化残差块采用短跳跃连接进行残差映射，非相邻半归一化残差块采用长跳跃连接进行残差映射；
所述半归一化残差块包括：
对残差块中的通道一半采用实例正则化，一半不做正则化操作。
进一步的，所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络，还包括：
在所述编码器和所述解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息；
在所述编码器和所述解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息，具体包括：
使用3×3卷积和上采样计算对深层特征进行上采样然后与浅层特征进行特征图融合，并将融合的结果与解码器解码块输出特征融合，融合后的特征输入到解码器的下一个解码块中。
进一步的，所述图像重建子网络包括局部加式残差密集特征融合块、卷积层及Tanh激活函数；
通过所述图像重建子网络将所述第一图像特征及所述第二图像特征进行融合重建。
进一步的，所述双任务网络模型的训练过程，包括：
将所述训练集图像输入所述局部加式残差密集特征融合去噪子网络中，提取第一训练图像特征；
将所述第一训练图像特征与所述训练集图像融合得到融合图像特征；
将所述融合图像特征输入所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络中，提取第二训练图像特征；
将所述第一训练图像特征与所述第二训练图像特征进行特征融合后输入所述图像重建子网络，输出训练过程中的复原图像；
利用Adam算法训练所述初始双任务网络模型，设置训练参数，并采用MSE损失和感知损失作为训练的损失函数；
迭代更新所述初始双任务网络模型的权重，直至所述损失函数达到预设的收敛条件。
第二方面，本发明还提供一种毫米波退化图像去噪去模糊装置，包括：
数据集构建模块，用于构建毫米波仿真退化图像的训练集和测试集；
模型训练模块，用于将训练集图像输入初始双任务网络模型进行训练，直至所述初始双任务网络模型的损失函数达到预设的收敛条件，其中，所述初始双任务网络模型的结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；
模型测试模块，用于将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。
第三方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述毫米波退化图像去噪去模糊方法中的步骤。
第四方面，本发明还提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述毫米波退化图像去噪去模糊方法中的步骤。
采用上述实施例的有益效果是：本发明基于构建毫米波仿真退化图像的训练集训练初始双任务网络模型，模型训练完成后可以移除毫米波退化图像中的噪声和模糊影响。然后测试集图像输入到已训练完成的双任务网络模型，通过局部加式残差密集特征融合去噪子网络提取退化图像的图像特征，同时抑制一定噪声；然后将特征输入到局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络来快速提取更丰富的图像特征；最后将输出的特征图再一次输入至图像重建子网络中输出测试复原图像，本发明可以对带模糊噪声的红外毫米波退化图像进行有效复原，得到清晰图像。
附图说明
图1为本发明提供的毫米波退化图像去噪去模糊方法的一实施例的流程示意图；
图2为本发明一实施例提供的一种毫米波仿真退化图像；
图3(a)-(c)分别为本发明一实施例提供的一种退化程度由轻到重的毫米波仿真退化图像，图3(d)-(f)分别为本发明一实施例提供对应提供的去噪去模糊的测试复原图像；
图4为本发明一实施例提供的残差块；
图5为本发明一实施例提供的半归一化残差块；
图6为本发明一实施例提供的多个半归一化残差块之间的特征融合图；
图7为本发明一实施例提供的一种双任务网络模型的训练过程的流程示意图；
图8为本发明一实施例提供的一种局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络的结构示意图；
图9为本发明提供的毫米波退化图像去噪去模糊装置的一实施例的结构示意图；
图10为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种毫米波退化图像去噪去模糊方法、装置、设备及介质，以下分别进行说明。
请参阅图1，图1为本发明提供的毫米波退化图像去噪去模糊方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种图像去噪去模糊方法，包括：
步骤S101：构建毫米波仿真退化图像的训练集和测试集；
其中，毫米波退化图像在成像的过程中，由于毫米波波长较长、天线孔径较小，以及引入了各类随机噪声，导致成像后图空间分辨率较低，图像质量严重损坏，因此毫米波退化图像既存在噪声问题，又存在模糊问题。
因此需要对毫米波退化图像进行图像复原操作，在对毫米波退化图像进行图像复原之前，需要构建毫米波仿真退化图像的训练集和测试集。可以理解的是，毫米波仿真退化图像的训练集和测试集包括退化图像与清晰图像构成的图像对。
在本发明的一个实施例中，构建毫米波仿真退化图像的训练集和测试集，包括：
获取遥感图像集；
对遥感图像集中的遥感图像添加轻、中、重高斯模糊，并对应添加弱、中、强高斯噪声，以形成低、中、高三种程度的毫米波仿真退化图像；
将毫米波仿真退化图像与清晰图像进行拼接，并将拼接后的图像进行裁剪、归一化，得到所述毫米波仿真退化图像的训练集和测试集；
构建毫米波仿真退化图像的训练集，还包括：
对训练集中低、中、高毫米波仿真退化图像进行增广处理得到最终训练集，且低、中、高毫米波仿真退化图像的数量占比递进增加。
可选的，遥感图像可以采用NWPU VHR-10中的遥感图像数据集，该数据集中包括800张遥感图像，可以根据遥感图像数据集中的遥感图像自行制作毫米波仿真退化图像的训练集和测试集。
具体的，可以对所有遥感图像进行噪声模糊退化，加上相应的高斯模糊和高斯噪声来获取毫米波仿真退化图像，具体的，可以对遥感图像集中的遥感图像添加轻、中、重高斯模糊，并对应添加弱、中、强高斯噪声，以形成低、中、高三种程度的毫米波仿真退化图像；
请参阅图2，图2为本发明一实施例提供的一种毫米波退化图像。
其中，高斯噪声N(x)和高斯模糊B(x)的公式如下式：
Figure BDA0003699979410000081
Figure BDA0003699979410000082
γ表示高斯噪声的参数，μ和σ分别表示高斯模糊的参数。
通过设置不同的参数，可以获取不同程度的退化图像。在得到毫米波仿真退化图像后，可以将退化图像与清晰图像进行拼接，以构成退化-清晰图像对，并从中随机选取600个图像对作为训练集，将剩余200个图像对作为测试集。
进一步的，可以理解的是，为了达到快速训练的目的，可以将图像对裁剪成相同的大小，如256×256的大小，并归一化至[-1,1]；此外为了提高网络训练的效果，需要扩充训练集数量，对训练集进行数据增广，具体的，可以通过水平/垂直翻转、旋转等操作来随机产生与原本训练集相似但不同的数据，还可以对训练集中低、中、高毫米波仿真退化图像进行增广处理得到最终训练集，且低、中、高毫米波仿真退化图像的数量占比递进增加。
步骤S102：将训练集图像输入初始双任务网络模型进行训练，直至初始双任务网络模型的损失函数达到预设的收敛条件，其中，初始双任务网络模型的结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；
在将毫米波仿真退化图像的训练集和测试集构建完成后，需要对训练集进行训练，因此可以搭建一个初始双任务网络模型，该模型的网络结构包括三部分，分别为局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络以及图像重建子网络。
需要说明的是，局部加式残差密集特征融合去噪子网络由密集残差块的特征相加构成，可以提取图像的特征以及抑制一定噪声；局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络是一个基于编码器-解码器结构的网络，可以提取更丰富的图像特征，具体的，去噪去模糊子网络的编码器输出图像特征与解码器输出图像特征进行从深层特征到浅层特征的交叉融合；图像重建子网络是将上述两个子网络的输出的图像特征进行特征融合后获得重建的图像结果。
在根据训练集进行训练该初始双任务网络模型的过程中，可以迭代修改模型中的参数直至初始双任务网络模型的损失函数达到预设的收敛条件直至模型训练完成。
步骤S103：将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。
可以理解的是，在模型训练结束后，可以获得一个模型的最佳拟合解，此时将测试集图像作为模型的输入，输出的测试复原图像与清晰图像对比可知，测试复原图像可以具有高质量的复原结果。
请参阅图3，图3(a)-(c)为本发明一实施例提供的一种退化程度由轻到重的毫米波仿真退化图像，图3(d)-(f)为本发明一实施例提供对应提供的去噪去模糊的测试复原图像。
此外，可以后续可以根据测试复原图像与清晰图像进行客观上的图像质量评价，评价指标可以是图像的峰值信噪比(PSNR)、结构相似性(SSIM)和视觉保真度(VIF)等。
本发明基于构建毫米波仿真退化图像的训练集训练初始双任务网络模型，模型训练完成后可以移除毫米波退化图像中的噪声和模糊影响。然后测试集图像输入到已训练完成的双任务网络模型，通过局部加式残差密集特征融合去噪子网络提取退化图像的图像特征，同时抑制一定噪声；然后将特征输入到局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络来快速提取更丰富的图像特征；最后将输出的特征图再一次输入至图像重建子网络中输出测试复原图像，本发明可以对带模糊噪声的红外毫米波退化图像进行有效复原，得到清晰图像。
在本发明的一个实施例中，局部加式残差密集特征融合去噪子网络包括卷积层和局部加式残差密集特征融合块；
局部加式残差密集特征融合块是由多个加式残差块密集特征融合构成；
通过局部加式残差密集特征融合去噪子网络提取第一图像特征。
可以理解的是，局部加式残差密集特征融合去噪子网络可以从输入的退化图像中提取图像特征，同时能够在一定程度上抑制噪声。
具体的，局部加式残差密集特征融合去噪子网络由一个卷积层和三个残差块密集连接以特征相加的方式组成，并且卷积层的卷积核大小为5×5；残差块由两个3×3卷积核大小的卷积和一个ReLU激活函数组成，其中卷积核的数量均为64。
举例而言，将毫米波退化图像记为X，经过局部加式残差密集特征融合去噪子网络后提取出的第一图像特征Fl，并且Fl＝Netl(X)，其中Netl表示局部加式残差密集特征融合去噪子网络，将获得的第一图像特征与输入图像融合后用作下一个子网络的输入，即Xd＝X+Fl。
在本发明的一个实施例中，局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络包括编码器与解码器；
编码器包括多个编码单元，解码器包括多个解码单元，每一编码单元及每一解码单元均包括卷积层和加式-拼接半归一化残差密集块，加式-拼接半归一化残差密集块是由多个半归一化残差块密集连接相加、拼接连接构成；
通过局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络提取第二图像特征。
可以理解的是，通过局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络可以学习更丰富的图像特征，具体为加大模型的深度，增大感受野。
具体的，局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络的网络结构是基于编码器-解码器，通过分别进行两次下采样和上采样来在多尺度下学习图像特征。可选的，本发明实施例中的编码器中包括三个编码单元，均由一个对输入进行处理的卷积层和一个加式-拼接半归一化密集残差块组成，解码器与编码器相似，同样包括三个解码单元，均由加式-拼接半归一化密集残差块和卷积层构成，编码单元与解码单元卷积层的卷积核大小均为3×3。
可选的，本发明实施例中的加式-拼接半归一化残差密集块总共包括六个半归一化残差块，并且六个半归一化残差块横向堆叠，举例而言，整体模块的输出结果为Fd＝Netd(Xd)，其中，Fd表示第二图像特征，Netd表示局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络。
具体的，基于嵌套密集跳跃连接的思想，任意两个半归一化残差块之间均有连接，相邻半归一化残差块采用短跳跃连接进行残差映射，非相邻的半归一化残差块采用长跳跃连接进行残差映射。
更具体的，将每3个半归一化残差块分为一类，分别以特征相加和拼接的融合方式，使半归一化残差块之间的输出特征进行融合，保证相邻以及非相邻的半归一化残差块层之间均建立连接。
请参阅图4，图4为本发明一实施例提供的残差块，其中包括两个卷积层和一个激活层以及输入到输出的跳跃连接。
请参阅图5，图5为本发明一实施例提供的半归一化残差块，它是由一个1×1卷积，两个3×3卷积以及激活函数和跳跃连接构成。
具体的，首先特征图输入先经过3×3的卷积，输出的特征图按通道数被平分为两部分特征图，一部分特征图经过归一化函数做归一化处理，一部分经过恒等函数不做处理，这样可以防止网络在训练过程中受batchsize的影响，保留更多的特的尺度信息；其次输出的两部分特征图进行通道拼接，然后经过激活函数和3×3卷积再经过激活函数输出特征图；最后通过跳跃连接将输入的特征图通过1×1卷积与输出的特征图相加得到最终的特征图。
请参阅图6，图6为本发明一实施例提供的多个半归一化残差块之间的特征融合图。从图6中可以看出，前三层和后三层都是通过由低阶到高阶的连接方式，将低阶半归一化残差块的输入特征同样作为高阶半归一化残差块的输入，前三层是与当前层的输入特征进行特征相加，后三层是与当前层的输入特征进行特征拼接，前三层的输出作为后三层的输入，前三层和后三层可分别表示为：
Xn-2＝H(Xn-3)+Xn-3，
Xn-1＝H(H(Xn-3)+Xn-3)+H(Xn-3)+Xn-3，
Xn＝H(H(H(Xn-3)+Xn-3)+H(Xn-3)+Xn-3)+H(Xn-3+HXn--3+HXn-3+Xn-3，
Tn-2＝C(H(Tn-3)，Tn-3)，
Tn-1＝C(H(C(Tn-3，H(Tn-3)))，H(Tn-3)，Tn-3)，
Tn＝
C(H(C(H(C(Tn-3，H(Tn-3)))，H(Tn-3)，Tn-3))，
HC(HTn-3，Tn-3)，HTn-3，Tn-3。
上述公式和图6中的Xn-1、Xn-2和Xn-3分别表示前三层每一层半归一化残差块的输入，Xn和H分别表示模块的前三层的输出结果和半归一化残差块函数。Tn-1、Tn-2和Tn-3分别表示后三层每一层残差块的输入，其中，前三层的输出为后三层的输入，即Xn＝Tn-3，M表示后三层输出Tn经过1×1卷积之后得到的结果，Y为前后三层输入与M相加融合得到的最终输出结果，C表示特征图通道拼接操作，+表示特征图相加操作。
对于前面三层，使用特征相加的方式连接层与层之间的特征，而后三层使用特征维度拼接的方式，并为了保证提取的第二图像特征的维度与输入的特征维度一致，采用1×1卷积进行降维。这样不仅可以提取局部特征，还可以保留前馈关系，充分利用每个块的特征信息。
在本发明的一个实施例中，局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络还包括：
在编码器和解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息；
在编码器和解码器之间引入交叉跳跃连接融合特征信息，具体包括：
使用3×3卷积和上采样计算对深层特征进行上采样然后与浅层特征进行特征图融合，并将融合的结果与解码器解码块的输出特征融合，融合后的特征输入到解码器的下一个解码块中。
可以理解的是，通过在编码器和解码器之间引入交叉跳跃连接融合特征信息，使得编码器能够指导解码器中的特征重构。
在本发明的一个实施例中，图像重建子网络包括局部加式残差密集特征融合块、卷积层及Tanh激活函数；
通过图像重建子网络将第一图像特征及第二图像特征进行融合重建。
可以理解的是，图像重建子网络可以将获取的特征图进行重建得到清晰的图像，本发明实施例中的特征图为第一图像特征与第二图像特征，通过将第一图像特征与第二图像特征相加融合作为图像重建子网络的输入，可以增加网络的表达能力。
具体的，图像重建子网络由三个密集特征相加的残差块和一个卷积层以及Tanh激活函数构成，卷积层的卷积核大小为5×5。
可选的，将局部加式残差密集特征融合去噪子网络输出的第一图像特征Fl和局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络的输出第二图像特征Fd进行相加融合，并作为图像重建子网络的输入Xr，通过三层密集特征相加的残差块以及卷积层和Tanh激活函数后，可以得到重建后的图像
Figure BDA0003699979410000141
其中Netr表示图像重建子网络，
Figure BDA0003699979410000142
即为最终输出的复原图像。
在本发明的一个实施例中，请参阅图7，图7为本发明一实施例提供的一种双任务网络模型的训练过程的流程示意图，包括：
步骤S701：将训练集图像输入局部加式残差密集特征融合去噪子网络中，提取第一训练图像特征；
步骤S702：将第一训练图像特征与训练集融合得到融合图像特征；
步骤S703：将融合图像特征输入局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络)中，提取第二训练图像特征；
步骤S704：将第一训练图像特征与第二训练图像特征进行特征融合后输入图像重建子网络，输出训练过程中的复原图像；
步骤S705：利用Adam算法训练初始双任务网络模型，设置训练参数，并采用MSE损失和感知损失作为训练的损失函数；
步骤S706：迭代更新初始双任务网络模型的权重，直至损失函数达到预设的收敛条件。
首先需要说明的是，本发明实施例中采用Adam算法训练初始双任务网络模型，训练次数epoch为600。本发明实施例中的网络初始学习率为1e-4，当训练到一半时学习率线性衰减直到1e-6，批处理大小batchsize为2。
为了更好的理解本发明，请参阅图8，图8为本发明一实施例提供的一种双任务网络模型的网络结构图。
双任务网络模型分别为局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络以及图像重建子网络三部分。局部加式残差密集特征融合去噪子网络由一个卷积层和三个密集特征相加的残差块组成，如图8所示，卷积层的卷积核大小为5×5，残差块由两个3×3卷积核大小的卷积和一个ReLU激活函数组成，其中卷积核的特征数量均为64。
通过将训练集图像输入局部加式残差密集特征融合去噪子网络，可以从训练集中的退化图像中提取第一训练图像特征，同时能够在一定程度上抑制噪声，并将输出的第一训练图像特征与训练集进行相加融合作为局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络的输入进行残差映射。
局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络是基于编码器-解码器的结构，如图8所示，编码器中包括三个编码单元，均由一个对输入进行处理的卷积层和一个加式-拼接半归一化残差密集块组成，卷积层的卷积核大小均为3×3，解码器与编码器相似，包括三个解码单元，均由一个加式-拼接半归一化残差密集块和卷积层构成，卷积核参数一致。并在编码器和所述解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息。
通过将融合图像输入局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络中，可以学习更丰富的图像特征，加大网络深度，增大感受野。具体的，可以通过分别进行两次下采样和上采样来在多尺度下学习图像特征。
需要说明的是，基于嵌套密集跳跃连接的思想，任意两半归一化残差块之间均有连接，相邻半归一化残差块采用短跳跃连接进行残差映射，非相邻的半归一化残差块采用长跳跃连接进行残差映射，通过将每3个半归一化残差块分为一类，分别以特征相加和拼接的融合方式，使半归一化残差块之间的输出特征进行融合，保证相邻以及非相邻的残差块层之间均建立连接。在编码器和解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息；采用3×3卷积和上采样计算对深层特征进行上采样然后与浅层特征进行特征图融合，并将融合的结果与解码器解码块输出特征融合，融合后的特征输入到解码器的下一个解码块中。因此经过局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络输出的第二训练图像特征更丰富。
图像重建子网络由三个密集特征相加的残差块和一个卷积层以及Tanh激活函数构成，如图8所示，卷积层的卷积核大小为3×3。
图像重建子网络通过将第一训练图像特征与第二训练图像特征作为输入，增加网络的表达能力，可以根据获取的图像特征重建清晰图像，即训练过程中的复原图像。
可以理解的是，在训练过程中，可以根据输出的复原图像与训练集中的清晰图像进行对比，迭代更新初始双任务网络模型的权重。此外，本发明实施例采用MSE损失和感知损失作为训练的损失函数Ltotal：
Ltotal＝λ1LMSE+2LP
其中，LMSE损失表示训练过程中输出的复原图像与真实清晰图像之间的MSE损失；LP损失表示感知损失，可以理解为通过预训练网络的高维特征空间获得输出图像与真实清晰图像之间的相似性。并且λ1和λ2分别为损失函数间权重，具体可以设置为1.0、0.01。
通过不断地调整初始双任务网络的权重，直至损失函数达到预设的收敛条件，训练完成，构成双任务网络模型。
为了更好实施本发明实施例中的毫米波退化图像去噪去模糊方法，在毫米波退化图像去噪去模糊方法基础之上，对应的，请参阅图9，图9为本发明提供的毫米波退化图像去噪去模糊装置的一实施例的结构示意图，本发明实施例提供了一种毫米波退化图像去噪去模糊装置900，包括：
数据集构建模块901，用于构建毫米波仿真退化图像的训练集和测试集；
模型训练模块902，用于将训练集图像输入初始双任务网络模型进行训练，直至初始双任务网络模型的损失函数达到预设的收敛条件，其中，初始双任务网络模型的结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；
模型测试模块903，用于将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。
这里需要说明的是：上述实施例提供的装置900可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
基于上述毫米波退化图像去噪去模糊方法，本发明实施例还相应的提供一种电子设备，包括：处理器和存储器以及存储在存储器中并可在处理器上执行的计算机程序；处理器执行计算机程序时实现如上述各实施例的毫米波退化图像去噪去模糊方法中的步骤。
图10中示出了适于用来实现本发明实施例的电子设备1000的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文的处理装置1001，存储器可以包括下文中的只读存储器(ROM)1002、随机访问存储器(RAM)1003以及存储装置1008中的至少一项，具体如下所示：
如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM1002被安装。在该计算机程序被处理装置1001执行时，执行本发明实施例的方法中限定的上述功能。
基于上述毫米波退化图像去噪去模糊方法，本发明实施例还相应的提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例的毫米波退化图像去噪去模糊方法中的步骤。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种毫米波退化图像去噪去模糊方法，其特征在于，包括：
构建毫米波仿真退化图像的训练集和测试集；
将训练集图像输入初始双任务网络模型进行训练，直至所述初始双任务网络模型的损失函数达到预设的收敛条件，其中，所述初始双任务网络模型的结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；
将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。
2.根据权利要求1所述的毫米波退化图像去噪去模糊方法，其特征在于，所述构建毫米波仿真退化图像的训练集和测试集，包括：
获取遥感图像集；
对所述遥感图像集中的遥感图像添加轻、中、重高斯模糊，并对应添加弱、中、强高斯噪声，以形成低、中、高三种程度的毫米波仿真退化图像；
将所述毫米波仿真退化图像与清晰图像进行拼接，并将拼接后的图像进行裁剪、归一化，得到所述毫米波仿真退化图像的训练集和测试集；
所述构建毫米波仿真退化图像的训练集，还包括：
对训练集中低、中、高毫米波仿真退化图像进行增广处理得到最终训练集，且低、中、高毫米波仿真退化图像的数量占比递进增加。
3.根据权利要求1所述的毫米波退化图像去噪去模糊方法，其特征在于，所述局部加式残差密集特征融合去噪子网络包括卷积层和局部加式残差密集特征融合块；
所述局部加式残差密集特征融合块是由多个加式残差块密集特征融合构成；
通过所述局部加式残差密集特征融合去噪子网络提取第一图像特征。
4.根据权利要求1所述的毫米波退化图像去噪去模糊方法，其特征在于，所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络包括编码器与解码器；
所述编码器包括多个编码单元，所述解码器包括多个解码单元，每一编码单元及每一解码单元均包括卷积层和加式-拼接半归一化残差密集块，所述加式-拼接半归一化密集残差块是由多个半归一化残差块密集相加、拼接连接构成；
通过所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络提取第二图像特征。
5.根据权利要求4所述的毫米波退化图像去噪去模糊方法，其特征在于，所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络，还包括：
在所述编码器和所述解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息；
在所述编码器和所述解码器之间引入交叉跳跃连接，交叉融合编码特征信息和解码特征信息，具体包括：
使用3×3卷积和上采样计算对深层特征进行上采样然后与浅层特征进行特征图融合，并将融合的结果与解码器解码块输出特征融合，融合后的特征输入到解码器的下一个解码块中。
6.根据权利要求1所述的毫米波退化图像去噪去模糊方法，其特征在于，所述图像重建子网络包括局部加式残差密集特征融合块、卷积层及Tanh激活函数；
通过所述图像重建子网络将所述第一图像特征及所述第二图像特征进行融合重建。
7.根据权利要求1所述的毫米波退化图像去噪去模糊方法，其特征在于，所述双任务网络模型的训练过程，包括：
将所述训练集图像输入所述局部加式残差密集特征融合去噪子网络中，提取第一训练图像特征；
将所述第一训练图像特征与所述训练集图像融合得到融合图像特征；
将所述融合图像特征输入所述局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络中，提取第二训练图像特征；
将所述第一训练图像特征与所述第二训练图像特征进行特征融合后输入所述图像重建子网络，输出训练过程中的复原图像；
利用Adam算法训练所述初始双任务网络模型，设置训练参数，并采用MSE损失和感知损失作为训练的损失函数；
迭代更新所述初始双任务网络模型的权重，直至所述损失函数达到预设的收敛条件。
8.一种毫米波退化图像去噪去模糊装置，其特征在于，包括：
数据集构建模块，用于构建毫米波仿真退化图像的训练集和测试集；
模型训练模块，用于将训练集图像输入初始双任务网络模型进行训练，直至所述初始双任务网络模型的损失函数达到预设的收敛条件，其中，所述初始双任务网络模型的结构包括局部加式残差密集特征融合去噪子网络、局部从低阶到高阶半归一化残差特征密集融合的去噪去模糊子网络及图像重建子网络；
模型测试模块，用于将测试集图像输入到训练完成的双任务网络模型，输出测试复原图像。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述毫米波退化图像去噪去模糊方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述毫米波退化图像去噪去模糊方法中的步骤。
CN202210686845.5A 2022-06-17 2022-06-17 毫米波退化图像去噪去模糊方法、装置、设备及介质 Pending CN114936984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210686845.5A CN114936984A (zh) 2022-06-17 2022-06-17 毫米波退化图像去噪去模糊方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210686845.5A CN114936984A (zh) 2022-06-17 2022-06-17 毫米波退化图像去噪去模糊方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114936984A true CN114936984A (zh) 2022-08-23

Family

ID=82869280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210686845.5A Pending CN114936984A (zh) 2022-06-17 2022-06-17 毫米波退化图像去噪去模糊方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114936984A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051408A (zh) * 2023-01-06 2023-05-02 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN117197627A (zh) * 2023-09-13 2023-12-08 长春理工大学 一种基于高阶退化模型的多模态图像融合方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051408A (zh) * 2023-01-06 2023-05-02 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN116051408B (zh) * 2023-01-06 2023-10-27 郑州轻工业大学 一种基于残差自编码的图像深度去噪方法
CN117197627A (zh) * 2023-09-13 2023-12-08 长春理工大学 一种基于高阶退化模型的多模态图像融合方法
CN117197627B (zh) * 2023-09-13 2024-03-01 长春理工大学 一种基于高阶退化模型的多模态图像融合方法

Similar Documents

Publication Publication Date Title
CN107689034B (zh) 一种去噪方法及装置
CN114936984A (zh) 毫米波退化图像去噪去模糊方法、装置、设备及介质
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
US9443286B2 (en) Gray image processing method and apparatus based on wavelet transformation
CN111695421B (zh) 图像识别方法、装置及电子设备
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN107103585B (zh) 一种图像超分辨率系统
CN110969105B (zh) 一种人体姿态估计方法
US20200184627A1 (en) Quality assessment of an image
CN110211069B (zh) 一种图像去噪模型训练方法、系统、设备、计算机介质
CN113177888A (zh) 超分修复网络模型生成方法、图像超分修复方法及装置
CN113222813B (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN110910326B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN114586055A (zh) 具有微结构掩码的多尺度因子图像超分辨率
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN115375715A (zh) 目标提取方法、装置、电子设备及存储介质
CN111798385B (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN112766190B (zh) 对抗样本生成方法、装置、存储介质及电子设备
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
CN115760658A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination