CN116029946B - 基于异构残差注意神经网络模型的图像去噪方法及系统 - Google Patents
基于异构残差注意神经网络模型的图像去噪方法及系统 Download PDFInfo
- Publication number
- CN116029946B CN116029946B CN202310321888.8A CN202310321888A CN116029946B CN 116029946 B CN116029946 B CN 116029946B CN 202310321888 A CN202310321888 A CN 202310321888A CN 116029946 B CN116029946 B CN 116029946B
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- layer
- denoising
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000004913 activation Effects 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 40
- 238000010586 diagram Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 239000003623 enhancer Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 241001495406 Candidatus Phytoplasma fraxini Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于异构残差注意神经网络模型的图像去噪方法及系统，本方法将第一图像数据集输入至异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；其中训练步骤包括：采用卷积层和ReLU激活函数对第一图像数据集进行特征提取，获得全局信息特征图；将全局信息特征图通过多个异构残差注意块和局部跳跃连接，获得粗略去噪图像；采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像；对残差图像和输入的第一图像进行残差操作，获得清晰图像。本发明能够减少网络参数量，加快网络训练过程，提升图像去噪性能。
Description
技术领域
本发明涉及图像去噪技术领域，尤其是涉及一种基于异构残差注意神经网络模型的图像去噪方法及系统。
背景技术
随着科技的进步和网络技术的发展，图像处理的应用领域越来越广泛，如：卫星拍摄，机器人视觉，医学图像，电子商务和视频多媒体等。其中，图像恢复任务是图像处理一重大热门技术，也是计算机视觉的经典问题。图像恢复的目的是把受过损伤的图片(比如：模糊的图片，有噪音的图片，有水印的图片)恢复成清晰可辨别的图片。其中，图像恢复任务主要包括图像超分辨，图像去噪和图像去模糊等重要且经典的技术。多年来，一些传统的模型方法，如滤波，稀疏方法，非局部均值算法和非自适应性方法，经常被用于图像恢复，并且取得不错的效果。但是这些传统的模型方法，通常计算比较复杂，还需要手动调参，容易导致模型效率低下。
现有技术，例如小波变换与CNN结合来处理图像去噪问题、非局部均值与CNN的结合用来解决图像去噪问题以及自监督与CNN结合来移除图像的噪声，虽然以上方法在图像去噪问题上取得一定效果，但随着网络越深，时间复杂度也随之越来越高，网络也越来越难以收敛。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于异构残差注意神经网络模型的图像去噪方法及系统，能够在加深网络的同时减少网络参数量，从而加快网络训练过程，并能够提升图像去噪性能。
第一方面，本发明实施例提供了一种基于异构残差注意神经网络模型的图像去噪方法，所述基于异构残差注意神经网络模型的图像去噪方法包括：
获取待去噪图像和第一图像数据集；
构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型；将所述第一图像数据集输入至所述异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；所述训练好的异构残差注意神经网络模型用于对所述待去噪图像进行图像去噪；其中异构残差注意神经网络模型的训练步骤包括：
采用所述卷积层和所述ReLU激活函数对所述第一图像数据集进行特征提取，获得全局信息特征图；
将所述全局信息特征图通过所述多个异构残差注意块和跳跃连接，获得粗略去噪图像；
采用所述CNN去噪器增强所述粗略去噪图像的细节信息，获得残差图像；
对所述残差图像和输入的第一图像进行残差操作，获得清晰图像。
与现有技术相比，本发明第一方面具有以下有益效果：
本方法通过获取待去噪图像和第一图像数据集，构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型，将第一图像数据集输入至异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型，训练好的异构残差注意神经网络模型用于对待去噪图像进行图像去噪，通过训练好的异构残差注意神经网络模型对图像进行去噪，能够提升图像去噪性能；其中异构残差注意神经网络模型的训练步骤包括：采用卷积层和ReLU激活函数对第一图像数据集进行特征提取，获得全局信息特征图，将全局信息特征图通过多个异构残差注意块和跳跃连接，获得粗略去噪图像，通过跳跃连接加快网络收敛，通过多个异构残差注意块能够在加深网络的同时减少网络参数量，从而加快网络训练过程；采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像，对残差图像和输入的第一图像进行残差操作，获得清晰图像，通过CNN去噪器能够进一步获得图像的细节信息，对增强粗略去噪图像的细节信息后获得的残差图像进行残差操作，能够增强图像的去噪效果。
根据本发明的一些实施例，所述获取第一图像数据集，包括：
对获取的初始图像数据集进行裁剪，获得裁剪后的图像数据集；
通过旋转和翻转对所述裁剪后的图像数据集进行图像增强，获得第一图像数据集。
根据本发明的一些实施例，所述异构残差注意块包括增强的通道注意力机制和两个轻量级网络，所述将所述全局信息特征图通过所述多个异构残差注意块和跳跃连接，获得粗略去噪图像，包括：
将所述全局信息特征图依次经过第一异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第一粗略去噪特征图；
将所述第一粗略去噪特征图依次经过第二异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第二粗略去噪特征图；
采用跳跃连接将所述全局信息特征图和所述第二粗略去噪特征图依次经过第三异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得粗略去噪图像。
根据本发明的一些实施例，所述轻量级网络包括层归一化、卷积层、深度可分离卷积层和ReLU层，通过如下方式采用轻量级网络进行粗略去噪：
对输入轻量级网络的特征图进行层归一化，获得层归一化后的特征图；
将所述层归一化后的特征图输入至第一通道的1x1卷积层和3x3深度可分离卷积层，获得第一通道特征图；
将所述层归一化后的特征图输入至第二通道的1x1卷积层和3x3深度可分离卷积层，获得第二通道特征图；
将所述第一通道特征图和所述第二通道特征图进行融合，获得通道融合特征图；
将所述通道融合特征图输入至5x5的卷积层和ReLU层，获得第一卷积特征图；
将所述通道融合特征图输入至3x3的卷积层和ReLU层，获得第二卷积特征图；
将所述第一卷积特征图和所述第二卷积特征图进行融合，获得卷积融合特征图；
将所述卷积融合特征图输入至1x1卷积层，完成对输入所述轻量级网络的特征图的粗略去噪。
根据本发明的一些实施例，所述增强的通道注意力机制包括池化层、卷积层、空洞卷积层和ReLU，通过如下方式采用增强的通道注意力机制进行全局信息融合：
将输入增强的通道注意力机制的特征图依次经过池化层、1x1卷积层、3x3空洞卷积层、ReLU激活函数、1x1卷积层后，获得通道注意力值；
将所述通道注意力值与所述输入增强的通道注意力机制的特征图相乘，完成对所述输入增强的通道注意力机制的特征图的全局信息融合。
根据本发明的一些实施例，所述CNN去噪器包括六层，前五层由卷积层、批归一化层和ReLU组成，第六层为卷积层，所述采用所述CNN去噪器增强所述粗略去噪图像的细节信息，获得残差图像，包括：
通过所述CNN去噪器中的前五层对所述粗略去噪图像进行细节增强，获得细节增强去噪图像；
采用所述CNN去噪器中的第六层对所述细节增强去噪图像进行卷积操作，获得残差图像。
根据本发明的一些实施例，通过如下方式获得所述异构残差注意神经网络模型的损失函数：
其中，
表示第i个噪声图像，/>
表示真实图像，/>
表示训练异构残差注意神经网络模型的参数，/>
表示异构残差注意神经网络模型输出的清晰图像，/>
表示异构残差注意神经网络模型，N表示噪声图像的总数。
第二方面，本发明实施例还提供了一种基于异构残差注意神经网络模型的图像去噪系统，所述基于异构残差注意神经网络模型的图像去噪系统包括：
数据获取模块，用于获取待去噪图像和第一图像数据集；
网络训练模块，用于构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型；将所述第一图像数据集输入至所述异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；所述训练好的异构残差注意神经网络模型用于对所述待去噪图像进行图像去噪；其中所述网络训练模块包括特征提取子模块、粗略去噪子模块、细节增强子模块和残差操作子模块，其中：
所述特征提取子模块，用于采用所述卷积层和所述ReLU激活函数对所述第一图像数据集进行特征提取，获得全局信息特征图；
所述粗略去噪子模块，用于将所述全局信息特征图通过所述多个异构残差注意块和跳跃连接，获得粗略去噪图像；
所述细节增强子模块，用于采用所述CNN去噪器增强所述粗略去噪图像的细节信息，获得残差图像；
所述残差操作子模块，用于对所述残差图像和输入的第一图像进行残差操作，获得清晰图像。
第三方面，本发明实施例还提供了一种基于异构残差注意神经网络模型的图像去噪设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种基于异构残差注意神经网络模型的图像去噪方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种基于异构残差注意神经网络模型的图像去噪方法。
可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例的一种基于异构残差注意神经网络模型的图像去噪方法的流程图；
图2是本发明一实施例的步骤S200中的流程图；
图3是本发明另一实施例的一种基于异构残差注意神经网络模型的图像去噪方法的流程图；
图4是本发明一实施例的异构残差注意块的结构示意图；
图5是本发明一实施例的轻量级网络的结构示意图；
图6是本发明一实施例的增强的通道注意力机制的结构示意图；
图7是本发明一实施例的CNN去噪器的结构示意图；
图8是本发明一实施例的一种基于异构残差注意神经网络模型的图像去噪系统的结构图；
图9是本发明一实施例的网络训练模块中子模块的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
现有技术，例如小波变换与CNN结合来处理图像去噪问题、非局部均值与CNN的结合用来解决图像去噪问题以及自监督与CNN结合来移除图像的噪声，虽然以上方法在图像去噪问题上取得一定效果，但随着网络越深，时间复杂度也随之越来越高，网络也越来越难以收敛。
为解决上述问题，本发明通过获取待去噪图像和第一图像数据集，构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型，将第一图像数据集输入至异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型，训练好的异构残差注意神经网络模型用于对待去噪图像进行图像去噪，通过训练好的异构残差注意神经网络模型对图像进行去噪，能够提升图像去噪性能；其中异构残差注意神经网络模型的训练步骤包括：采用卷积层和ReLU激活函数对第一图像数据集进行特征提取，获得全局信息特征图，将全局信息特征图通过多个异构残差注意块和跳跃连接，获得粗略去噪图像，通过跳跃连接加快网络收敛，通过多个异构残差注意块能够在加深网络的同时减少网络参数量，从而加快网络训练过程；采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像，对残差图像和输入的第一图像进行残差操作，获得清晰图像，通过CNN去噪器能够进一步获得图像的细节信息，对增强粗略去噪图像的细节信息后获得的残差图像进行残差操作，能够增强图像的去噪效果。
参照图1至图2，本发明实施例提供了一种基于异构残差注意神经网络模型的图像去噪方法，本基于异构残差注意神经网络模型的图像去噪方法包括但不限于步骤S100至步骤S200以及步骤S210至步骤S240，其中：
步骤S100、获取待去噪图像和第一图像数据集；
步骤S200、构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型；将第一图像数据集输入至异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；训练好的异构残差注意神经网络模型用于对待去噪图像进行图像去噪；其中异构残差注意神经网络模型的训练步骤包括：
步骤S210、采用卷积层和ReLU激活函数对第一图像数据集进行特征提取，获得全局信息特征图；
步骤S220、将全局信息特征图通过多个异构残差注意块和跳跃连接，获得粗略去噪图像；
步骤S230、采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像；
步骤S240、对残差图像和输入的第一图像进行残差操作，获得清晰图像。
在一些实施例的步骤S100至步骤S200以及步骤S210至步骤S240中，为了提升图像去噪性能，本实施例通过获取待去噪图像和第一图像数据集，构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型，将第一图像数据集输入至异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型，通过训练好的异构残差注意神经网络模型对待去噪图像进行图像去噪；为了减少网络参数量，加快网络训练过程，本实施例通过采用卷积层和ReLU激活函数对第一图像数据集进行特征提取，获得全局信息特征图，将全局信息特征图通过多个异构残差注意块和跳跃连接，获得粗略去噪图像；为了增强图像的去噪效果，本实施例通过采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像，对残差图像和输入的第一图像进行残差操作，获得清晰图像。
在一些实施例中，获取第一图像数据集，包括：
对获取的初始图像数据集进行裁剪，获得裁剪后的图像数据集；
通过旋转和翻转对裁剪后的图像数据集进行图像增强，获得第一图像数据集。
在本实施例中，通过对数据集进行图像增强，以此提高异构残差注意神经网络模型的训练效果。
在一些实施例中，异构残差注意块包括增强的通道注意力机制和两个轻量级网络，将全局信息特征图通过多个异构残差注意块和跳跃连接，获得粗略去噪图像，包括：
将全局信息特征图依次经过第一异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第一粗略去噪特征图；
将第一粗略去噪特征图依次经过第二异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第二粗略去噪特征图；
采用跳跃连接将全局信息特征图和第二粗略去噪特征图依次经过第三异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得粗略去噪图像。
在本实施例中，采用跳跃连接能够加快网络收敛，因此通过包含轻量级网络的多个异构残差注意块能够在加深网络的同时减少网络参数量，从而加快网络训练过程。
在一些实施例中，轻量级网络包括层归一化、卷积层、深度可分离卷积层和ReLU层，通过如下方式采用轻量级网络进行粗略去噪：
对输入轻量级网络的特征图进行层归一化，获得层归一化后的特征图；
将层归一化后的特征图输入至第一通道的1x1卷积层和3x3深度可分离卷积层，获得第一通道特征图；
将层归一化后的特征图输入至第二通道的1x1卷积层和3x3深度可分离卷积层，获得第二通道特征图；
将第一通道特征图和第二通道特征图进行融合，获得通道融合特征图；
将通道融合特征图输入至5x5的卷积层和ReLU层，获得第一卷积特征图；
将通道融合特征图输入至3x3的卷积层和ReLU层，获得第二卷积特征图；
将第一卷积特征图和第二卷积特征图进行融合，获得卷积融合特征图；
将卷积融合特征图输入至1x1卷积层，完成对输入轻量级网络的特征图的粗略去噪。
在本实施例中，采用层归一化能够规范优化空间和加速网络的收敛，轻量级网络通过小卷积以及深度可分离卷积能够减少参数量，从而达到轻量级的效果。轻量级网络能够提取局部信息，并粗略去除图像噪声。
在一些实施例中，增强的通道注意力机制包括池化层、卷积层、空洞卷积层和ReLU，通过如下方式采用增强的通道注意力机制进行全局信息融合：
将输入增强的通道注意力机制的特征图依次经过池化层、1x1卷积层、3x3空洞卷积层、ReLU激活函数、1x1卷积层后，获得通道注意力值；
将通道注意力值与输入增强的通道注意力机制的特征图相乘，完成对输入增强的通道注意力机制的特征图的全局信息融合。
在本实施例中，通过增强的通道注意力机制进行全局信息融合，能够提高噪声去除效果。
在一些实施例中，CNN去噪器包括六层，前五层由卷积层、批归一化层和ReLU组成，第六层为卷积层，采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像，包括：
通过CNN去噪器中的前五层对粗略去噪图像进行细节增强，获得细节增强去噪图像；
采用CNN去噪器中的第六层对细节增强去噪图像进行卷积操作，获得残差图像。
在本实施例中，通过CNN去噪器能够进一步获得图像的细节信息，从而对粗略去噪图像进一步去噪，能够提升图像去噪性能。
在一些实施例中，通过如下方式获得异构残差注意神经网络模型的损失函数：
其中，
表示第i个噪声图像，/>
表示真实图像，/>
表示训练异构残差注意神经网络模型的参数，/>
表示异构残差注意神经网络模型输出的清晰图像，/>
表示异构残差注意神经网络模型，N表示噪声图像的总数。
为方便本领域人员理解，以下提供一组最佳实施例：
参照图3，为了更具体的描述异构残差注意神经网络模型，通过如下公式的表达进行了描述。
其中，
表示残差操作，CD表示CNN去噪器（CNN Denoiser）的功能，cat表示连接函数，HRAB1，HRAB2，HRAB3分别表示异构残差注意神经网络模型中自上而下的异构残差注意块(HRAB)的功能，CR表示卷积和ReLU，/>
表示输入的噪声图片，/>
表示输出的清晰图片。
上述公式表示了异构残差注意神经网络模型整个网络的架构，可以从图3中看出，输入的噪声图片首先经过第一部分（即一个3x3卷积层和ReLU激活函数），其次将第一部分的输出输入第二部分（即三个异构残差注意块）,第二部分中的第三个异构残差注意块与第一部分的输出跳跃连接，然后将第二部分的输出输入第三部分（即CNN去噪器（CNNDenoiser）），第三部分的去噪器与第二部分的第一个异构残差注意块跳跃连接，最后将第三部分的输出与输入的噪声图片通过一个残差操作输出清晰的图像。具体的异构残差注意神经网络模型训练过程为：
1、对输入图像进行一定的预处理，首先对初始图像数据集中的图像进行一定大小的裁剪，对剪裁之后的图像数据集中的图像进行旋转，翻转等增强操作，然后把这些处理后的含有噪声的第一图像数据集作为异构残差注意神经网络模型的输入。
2、将这些处理后的含有噪声的第一图像数据集输入异构残差注意神经网络模型中的第一部分，第一图像数据集中的图像经过一个卷积层和ReLU激活函数进行一个浅层的特征提取，得到一个包含全局信息的特征图，即全局信息特征图。
3、将这些浅层的特征图（即全局信息特征图）作为异构残差注意神经网络模型第二部分的输入，第二部分由三个异构残差注意块(HRAB)和跳跃连接组成，异构残差注意块之间经过跳跃连接来加快网络收敛。
参照图4，HRAB是由两个轻量级网络和一个增强的通道注意力机制组成的残差块，主要用来负责粗略的图像去噪以及局部特征提取。其中第一小块和第三个小块是轻量级网络(LWB),第二个小块是增强的通道注意力机制(ECA)。输入的全局信息特征图依次经过每个异构残差注意块的第一小块LWB、第二个小块ECA和第三个小块LWB，获得粗略去噪图像。
参照图5，轻量级网络的第一层是一个层归一化(Layer Normalization),首先将输入的特征图通过层归一化，用于规范优化空间和加速模型的收敛；其次将层归一化后的输出分别输入两个通道，每个通道包含一个1x1小卷积核的卷积层和一个3x3的深度可分离卷积层，将两个通道的输出进行融合，这两个卷积层都有着减少计算量的作用；然后将融合后的两个通道的输出分别输入两个通道，一个通道包含一个5x5的卷积层和ReLU,另一个通道包含一个3x3的卷积层和ReLU，并将两个通道的输出进行融合；最后将融合后的两个通道的输出输入1x1的卷积层得到最后的输出。
通过图6可以看出增强的通道注意力机制(ECA)的结构，该增强的通道注意力机制包括池化层、卷积层、空洞卷积层和ReLU激活函数，输入增强的通道注意力机制的特征图依次经过池化层、1x1卷积层、3x3空洞卷积层、ReLU激活函数、1x1卷积层，获得输出，再将输出与输入的特征图进行相乘进行全局信息融合。该结构是本实施例对普通增强的通道注意力机制的一个改进版本，其中引入了一个空洞卷积，增加了感受野，同时结合一些1x1的卷积核及ReLU激活函数，有效融合了全局信息，简化了计算。
4、为了进一步得到清晰的图像，本实施例还引入了异构残差注意神经网络模型的第三部分，即CNN去噪器（CNN Denoiser）, 该CNN去噪器的结构如图7所示。CNN去噪器由6层网络组成，前5层包括卷积、批归一化（BN）和ReLU激活函数，其作用主要为了增强图像的细节信息，进一步提升图像去噪性能，最后一层由一个单独的卷积层组成。具体训练过程为：
将步骤3中异构残差注意神经网络模型第二部分获得的粗略去噪图像作为第三部分的输入，通过CNN去噪器中的前五层对粗略去噪图像进行细节增强，获得细节增强去噪图像；采用CNN去噪器中的第六层对细节增强去噪图像进行卷积操作，获得残差图像。
5、将步骤4中获得的残差图像通过残差操作，得到最终的清晰图像。
6、异构残差注意神经网络模型的损失函数为均方误差，计算公式如下所示：
其中，
表示第i个噪声图像，/>
表示真实图像，/>
表示训练异构残差注意神经网络模型的参数，/>
表示异构残差注意神经网络模型输出的清晰图像，/>
表示异构残差注意神经网络模型，N表示噪声图像的总数。
通过对步骤1至步骤5不断循环训练，直到损失函数收敛才获得训练好的异构残差注意神经网络模型；通过训练好的异构残差注意神经网络模型对待去噪图像进行图像去噪，获得待去噪图像的清晰图像。
需要说明的是，本实施例的技术方案不仅可以处理图像去噪，还可以处理其他图像的复原问题，例如图像超分辨，特别的本实施例的技术方案还能处理垃圾图像数据集。
参照图8至图9，本发明实施例还提供了一种基于异构残差注意神经网络模型的图像去噪系统，本基于异构残差注意神经网络模型的图像去噪系统包括数据获取模块100和网络训练模块200，其中：
数据获取模块100，用于获取待去噪图像和第一图像数据集；
网络训练模块200，用于构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型；将第一图像数据集输入至异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；训练好的异构残差注意神经网络模型用于对待去噪图像进行图像去噪；其中网络训练模块包括特征提取子模块210、粗略去噪子模块220、细节增强子模块230和残差操作子模块240，其中：
特征提取子模块210，用于采用卷积层和ReLU激活函数对第一图像数据集进行特征提取，获得全局信息特征图；
粗略去噪子模块220，用于将全局信息特征图通过多个异构残差注意块和局部跳跃连接，获得粗略去噪图像；
细节增强子模块230，用于采用CNN去噪器增强粗略去噪图像的细节信息，获得残差图像；
残差操作子模块240，用于对残差图像和输入的第一图像进行残差操作，获得清晰图像。
需要说明的是，由于本实施例中的一种基于异构残差注意神经网络模型的图像去噪系统与上述的一种基于异构残差注意神经网络模型的图像去噪方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。
本发明实施例还提供了一种基于异构残差注意神经网络模型的图像去噪设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的一种基于异构残差注意神经网络模型的图像去噪方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种基于异构残差注意神经网络模型的图像去噪方法，例如，执行以上描述的图1中的方法步骤S100至步骤S200以及图2中的方法步骤S210至步骤S240。
以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种基于异构残差注意神经网络模型的图像去噪方法，例如，执行以上描述的图1中的方法步骤S100至步骤S200的功能以及图2中的方法步骤S210至步骤S240的功能。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (6)
1.一种基于异构残差注意神经网络模型的图像去噪方法，其特征在于，所述基于异构残差注意神经网络模型的图像去噪方法包括：
获取待去噪图像和第一图像数据集；
构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型；将所述第一图像数据集输入至所述异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；所述训练好的异构残差注意神经网络模型用于对所述待去噪图像进行图像去噪；其中异构残差注意神经网络模型的训练步骤包括：
采用所述卷积层和所述ReLU激活函数对所述第一图像数据集进行特征提取，获得全局信息特征图；
将所述全局信息特征图通过所述多个异构残差注意块和跳跃连接，获得粗略去噪图像；所述异构残差注意块包括增强的通道注意力机制和两个轻量级网络，所述轻量级网络包括层归一化、卷积层、深度可分离卷积层和ReLU层，所述增强的通道注意力机制包括池化层、卷积层、空洞卷积层和ReLU，其中：
将所述全局信息特征图依次经过第一异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第一粗略去噪特征图；
将所述第一粗略去噪特征图依次经过第二异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第二粗略去噪特征图；
采用跳跃连接将所述全局信息特征图和所述第二粗略去噪特征图依次经过第三异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得粗略去噪图像；其中：
通过如下方式采用轻量级网络进行粗略去噪：
对输入轻量级网络的特征图进行层归一化，获得层归一化后的特征图；
将所述层归一化后的特征图输入至第一通道的1x1卷积层和3x3深度可分离卷积层，获得第一通道特征图；
将所述层归一化后的特征图输入至第二通道的1x1卷积层和3x3深度可分离卷积层，获得第二通道特征图；
将所述第一通道特征图和所述第二通道特征图进行融合，获得通道融合特征图；
将所述通道融合特征图输入至5x5的卷积层和ReLU层，获得第一卷积特征图；
将所述通道融合特征图输入至3x3的卷积层和ReLU层，获得第二卷积特征图；
将所述第一卷积特征图和所述第二卷积特征图进行融合，获得卷积融合特征图；
将所述卷积融合特征图输入至1x1卷积层，完成对输入所述轻量级网络的特征图的粗略去噪；
通过如下方式采用增强的通道注意力机制进行全局信息融合：
将输入增强的通道注意力机制的特征图依次经过池化层、1x1卷积层、3x3空洞卷积层、ReLU激活函数、1x1卷积层后，获得通道注意力值；
将所述通道注意力值与所述输入增强的通道注意力机制的特征图相乘，完成对所述输入增强的通道注意力机制的特征图的全局信息融合；
采用所述CNN去噪器增强所述粗略去噪图像的细节信息，获得残差图像；所述CNN去噪器包括六层，前五层由卷积层、批归一化层和ReLU组成，第六层为卷积层，其中：
通过所述CNN去噪器中的前五层对所述粗略去噪图像进行细节增强，获得细节增强去噪图像；
采用所述CNN去噪器中的第六层对所述细节增强去噪图像进行卷积操作，获得残差图像；
对所述残差图像和输入的第一图像进行残差操作，获得清晰图像。
2.根据权利要求1所述的基于异构残差注意神经网络模型的图像去噪方法，其特征在于，所述获取第一图像数据集，包括：
对获取的初始图像数据集进行裁剪，获得裁剪后的图像数据集；
通过旋转和翻转对所述裁剪后的图像数据集进行图像增强，获得第一图像数据集。
3.根据权利要求1所述的基于异构残差注意神经网络模型的图像去噪方法，其特征在于，通过如下方式获得所述异构残差注意神经网络模型的损失函数：
其中，
表示第i个噪声图像，/>
表示真实图像，/>
表示训练异构残差注意神经网络模型的参数，/>
表示异构残差注意神经网络模型输出的清晰图像，/>
表示异构残差注意神经网络模型，N表示噪声图像的总数。
4.一种基于异构残差注意神经网络模型的图像去噪系统，其特征在于，所述基于异构残差注意神经网络模型的图像去噪系统包括：
数据获取模块，用于获取待去噪图像和第一图像数据集；
网络训练模块，用于构建包括卷积层、ReLU激活函数、多个异构残差注意块和CNN去噪器的异构残差注意神经网络模型；将所述第一图像数据集输入至所述异构残差注意神经网络模型中进行网络训练，获得训练好的异构残差注意神经网络模型；所述训练好的异构残差注意神经网络模型用于对所述待去噪图像进行图像去噪；其中所述网络训练模块包括特征提取子模块、粗略去噪子模块、细节增强子模块和残差操作子模块，其中：
所述特征提取子模块，用于采用所述卷积层和所述ReLU激活函数对所述第一图像数据集进行特征提取，获得全局信息特征图；
所述粗略去噪子模块，用于将所述全局信息特征图通过所述多个异构残差注意块和跳跃连接，获得粗略去噪图像；所述异构残差注意块包括增强的通道注意力机制和两个轻量级网络，所述轻量级网络包括层归一化、卷积层、深度可分离卷积层和ReLU层，所述增强的通道注意力机制包括池化层、卷积层、空洞卷积层和ReLU，其中：
将所述全局信息特征图依次经过第一异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第一粗略去噪特征图；
将所述第一粗略去噪特征图依次经过第二异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得第二粗略去噪特征图；
采用跳跃连接将所述全局信息特征图和所述第二粗略去噪特征图依次经过第三异构残差注意块中的第一轻量级网络、增强的通道注意力机制和第二轻量级网络进行全局信息融合和粗略去噪，获得粗略去噪图像；其中：
通过如下方式采用轻量级网络进行粗略去噪：
对输入轻量级网络的特征图进行层归一化，获得层归一化后的特征图；
将所述层归一化后的特征图输入至第一通道的1x1卷积层和3x3深度可分离卷积层，获得第一通道特征图；
将所述层归一化后的特征图输入至第二通道的1x1卷积层和3x3深度可分离卷积层，获得第二通道特征图；
将所述第一通道特征图和所述第二通道特征图进行融合，获得通道融合特征图；
将所述通道融合特征图输入至5x5的卷积层和ReLU层，获得第一卷积特征图；
将所述通道融合特征图输入至3x3的卷积层和ReLU层，获得第二卷积特征图；
将所述第一卷积特征图和所述第二卷积特征图进行融合，获得卷积融合特征图；
将所述卷积融合特征图输入至1x1卷积层，完成对输入所述轻量级网络的特征图的粗略去噪；
通过如下方式采用增强的通道注意力机制进行全局信息融合：
将输入增强的通道注意力机制的特征图依次经过池化层、1x1卷积层、3x3空洞卷积层、ReLU激活函数、1x1卷积层后，获得通道注意力值；
将所述通道注意力值与所述输入增强的通道注意力机制的特征图相乘，完成对所述输入增强的通道注意力机制的特征图的全局信息融合；
所述细节增强子模块，用于采用所述CNN去噪器增强所述粗略去噪图像的细节信息，获得残差图像；所述CNN去噪器包括六层，前五层由卷积层、批归一化层和ReLU组成，第六层为卷积层，其中：
通过所述CNN去噪器中的前五层对所述粗略去噪图像进行细节增强，获得细节增强去噪图像；
采用所述CNN去噪器中的第六层对所述细节增强去噪图像进行卷积操作，获得残差图像；
所述残差操作子模块，用于对所述残差图像和输入的第一图像进行残差操作，获得清晰图像。
5.一种基于异构残差注意神经网络模型的图像去噪设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至3任一项所述的基于异构残差注意神经网络模型的图像去噪方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至3任一项所述的基于异构残差注意神经网络模型的图像去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310321888.8A CN116029946B (zh) | 2023-03-29 | 2023-03-29 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310321888.8A CN116029946B (zh) | 2023-03-29 | 2023-03-29 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116029946A CN116029946A (zh) | 2023-04-28 |
| CN116029946B true CN116029946B (zh) | 2023-06-13 |
Family
ID=86079788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310321888.8A Active CN116029946B (zh) | 2023-03-29 | 2023-03-29 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116029946B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993607B (zh) * | 2023-07-25 | 2024-03-22 | 北京长木谷医疗科技股份有限公司 | 一种基于残差注意力机制的医学图像智能去噪方法及装置 |
| CN116721302B (zh) * | 2023-08-10 | 2024-01-12 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
| CN117495711B (zh) * | 2023-12-29 | 2024-03-29 | 深圳智能思创科技有限公司 | 图像标记去除方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402699B1 (en) * | 2015-12-16 | 2019-09-03 | Hrl Laboratories, Llc | Automated classification of images using deep learning—back end |
| US10475165B2 (en) * | 2017-04-06 | 2019-11-12 | Disney Enterprises, Inc. | Kernel-predicting convolutional neural networks for denoising |
| CN109003240B (zh) * | 2018-07-16 | 2021-07-27 | 安徽理工大学 | 一种基于多尺度并行cnn的图像去噪方法 |
| CN112446834A (zh) * | 2019-09-04 | 2021-03-05 | 华为技术有限公司 | 图像增强方法和装置 |
| CN117291830A (zh) * | 2019-10-01 | 2023-12-26 | 长沙微妙医疗科技有限公司 | 使用自关注深度学习进行图像增强的系统和方法 |
| EP4070268A4 (en) * | 2020-01-23 | 2023-01-25 | Baidu.com Times Technology (Beijing) Co., Ltd. | DEEP RESIDUAL NETWORK FOR COLORED FILTER NETWORK IMAGE DENOISE |
| CN111311518B (zh) * | 2020-03-04 | 2023-05-26 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
| CN113643189A (zh) * | 2020-04-27 | 2021-11-12 | 深圳市中兴微电子技术有限公司 | 图像去噪方法、装置和存储介质 |
| CN113628146B (zh) * | 2021-08-30 | 2023-05-30 | 中国人民解放军国防科技大学 | 基于深度卷积网络的图像去噪方法 |
| US11663705B2 (en) * | 2021-09-17 | 2023-05-30 | Nanjing University Of Posts And Telecommunications | Image haze removal method and apparatus, and device |
| CN115601249A (zh) * | 2021-09-23 | 2023-01-13 | 香港城市大学（Hk） | 一种去噪模型及其建立方法及装置、图像去噪方法及装置 |
-
2023
- 2023-03-29 CN CN202310321888.8A patent/CN116029946B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022241995A1 (zh) * | 2021-05-18 | 2022-11-24 | 广东奥普特科技股份有限公司 | 视觉图像增强的生成方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116029946A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116029946B (zh) | 基于异构残差注意神经网络模型的图像去噪方法及系统 | |
| CN109872288B (zh) | 用于图像去噪的网络训练方法、装置、终端及存储介质 | |
| CN109064428B (zh) | 一种图像去噪处理方法、终端设备及计算机可读存储介质 | |
| CN112233038A (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN107403415B (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
| CN111695421B (zh) | 图像识别方法、装置及电子设备 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN111145123B (zh) | 基于U-Net融合保留细节的图像去噪方法 | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN114764868A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109949234B (zh) | 基于深度网络的视频复原模型训练方法及视频复原方法 | |
| CN110211069B (zh) | 一种图像去噪模型训练方法、系统、设备、计算机介质 | |
| CN110782406A (zh) | 一种基于信息蒸馏网络的图像去噪方法及装置 | |
| CN114926342A (zh) | 图像超分辨率重建模型构建方法、装置、设备及存储介质 | |
| CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| CN115984570A (zh) | 一种视频去噪方法、装置、存储介质和电子装置 | |
| CN117079139B (zh) | 一种基于多尺度语义特征的遥感图像目标检测方法及系统 | |
| CN113689348A (zh) | 多任务图像复原方法、系统、电子设备及存储介质 | |
| CN116843896A (zh) | 一种基于Transformer的轻量级语义分割方法及系统 | |
| CN114399440B (zh) | 图像处理方法、图像处理网络训练方法、装置及电子设备 | |
| CN114219706A (zh) | 基于网格分区特征点约减的图像快速拼接方法 | |
| CN114359789A (zh) | 视频图像的目标检测方法、装置、设备及介质 | |
| CN114078096A (zh) | 图像去模糊方法、装置和设备 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| CN114119377A (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |