CN113962873A - 一种图像去噪方法、存储介质及终端设备 - Google Patents

一种图像去噪方法、存储介质及终端设备 Download PDF

Info

Publication number
CN113962873A
CN113962873A CN202010704990.2A CN202010704990A CN113962873A CN 113962873 A CN113962873 A CN 113962873A CN 202010704990 A CN202010704990 A CN 202010704990A CN 113962873 A CN113962873 A CN 113962873A
Authority
CN
China
Prior art keywords
image
attention
denoised
training
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010704990.2A
Other languages
English (en)
Inventor
黄海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010704990.2A priority Critical patent/CN113962873A/zh
Publication of CN113962873A publication Critical patent/CN113962873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像去噪方法、存储介质及终端设备，所述图像去噪方法通过图像去噪模型确定待去噪图像的若干特征图，基于若干特征图中目标特征图，确定待去噪图像对应的注意力图，基于所述注意力图，确定待去噪图像对应的增强特征图，最后基于增强特征图及若干特征图，确定待去噪图像对应的去噪图像。这样可以在获取到携带图像细节信息的注意力图后，图像去噪模型对注意力图中的细节信息进行增强以得到增强特征图，使得根据增强特征图确定去噪图像既可以在去除待去噪图像携带的图像噪声，又可以保留图像细节信息，进而提高了去噪图像的图像质量。

Description

一种图像去噪方法、存储介质及终端设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像去噪方法、存储介质及终端设备。
背景技术
随机智能终端不断发展，智能终端普遍配置有夜景拍摄功能，通过夜景拍摄功能来提高夜景场景下拍摄图像的图像质量。然而，图像采集设备在拍摄图像时会因受外界环境的影响，而使得拍摄到的图像会存在图像噪声。特别是在夜间低照度条件下拍摄图像时，拍摄得到的图像经常会因为光线不足而产生退化，使得拍摄得到图像携带有图像噪声而降低图像质量。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像去噪方法、存储介质及终端设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种图像去噪方法，应用于图像去噪模型，所述方法包括：
所述图像去噪模型确定待去噪图像对应的若干特征图；
所述图像去噪模型基于所述若干特征图中一目标特征图，确定所述待去噪图像对应的注意力图；
所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图；
所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
所述图像去噪方法，其中，若干特征图中各特征图的图像尺寸不同。
所述图像去噪方法，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图。
所述图像去噪方法，其中，所述图像去噪模型包括下采样模块，所述下采样模块包括若干级联的下采样单元，若干下采样单元与若干特征图一一对应，以通过各下采样单元确定各自对应的特征图。
所述图像去噪方法，其中，所述图像去噪模型包括注意力模块，所述注意力模块包括第一注意力单元和第二注意力单元；所述图像去噪模型基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图具体包括：
所述第一注意力单元基于所述目标特征图，确定所述待去噪图像对应的第一注意力图；
所述第二注意力单元基于所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述所述待去噪图像对应的注意力图。
所述图像去噪方法，其中，所述第一注意力单元包括第一卷积单元，第一全局平均池化层和第一融合单元；所述第一注意力模块基于所述目标特征图，确定所述待去噪图像对应的第一注意力图具体包括：
所述第一卷积单元基于所述目标特征图，确定所述待去噪图像对应的第一特征图；
第一全局平均池化层基于所述第一特征图，确定所述待去噪图像对应的第三注意力图；
所述第一融合单元基于所述第三注意力图以及所述第一特征图，确定所述待去噪图像对应的第一注意力图。
所述图像去噪方法，其中，所述第二注意力单元包括第二全局平均池化层、全局最大池化层、第二卷积单元以及第二融合单元；
所述第二全局平均池化层基于第一注意力图，确定所述待去噪图像对应的第四注意力图；
所述全局最大池化层基于第一注意力图，确定所述待去噪图像对应的第五注意力图；
所述第二卷积单元基于所述第四注意力图和所述第五注意力图，确定所述待去噪图像对应的第二特征图；
所述第二融合单元基于所述第二特征图以及所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述待去噪图像对应的注意力图。
所述图像去噪方法，其中，所述注意力模块包括若干注意力模块，若干注意力模块依次级联，并且若干注意力模块中按照级联顺序位于最前的注意力模块的输入项为目标特征图，位于最后的注意力模块的输出项为所述待去噪图像对应的注意力图，相邻两个注意力模型中前一注意力模块输出的注意力图为后一个注意力模块的输入项。
所述图像去噪方法，其中，所述图像去噪模型包括若干级联的增强模块以及融合模块，所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图具体包括：
所述若干增强模块中按照级联顺序位于最前的增强模块基于所述注意力图，确定所述待去噪图像对应的第一增强特征图，位于最后的增强模块基于所述注意力图，确定所述待去噪图像对应的第二增强特征图，其中，相邻两个增强模块中前一增强模块的输出项为后一个增强模块的输入项；
所述图像去噪模型基于所述第一增强特征图和所述第二增强特征图，确定所述待去噪图像对应的增强特征图。
所述图像去噪方法，其中，所述图像去噪模型包括上采样模块，所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像具体包括：
所述上采样模块基于所述增强图像以及若干特征图，确定所述待去噪图像对应的上采样特征图；
所述融合模块基于所述上采样特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
所述图像去噪方法，其中，所述图像去噪模型的生成过程包括：
获取训练图像集，其中，所述训练图像集包括若干训练图像组，每组训练图像组包括若干训练图像，并且每组训练图像组中的各训练图像对应的去噪图像相同；
基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。
所述图像去噪方法，其中，所述获取训练图像集具体包括：
获取若干拍摄场景；
对于每个拍摄场景，获取该拍摄场景对应的若干候选图像，其中，若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同；
将所述若干候选图像进行融合，以得到融合图像；
将所述若干候选图像作为一训练图像组，并将所述融合图像作为该训练图像组中各融合图像对应的去噪图像，以得到训练图像集。
所述图像去噪方法，其中，所述基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型具体包括：
将训练图像集中的训练图像输入预设网络模型，通过预设网络模型输出所述训练图像对应的预测去噪图像；
确定所述预测去噪图像以及训练图像对应的去噪图像的均方差，并将所述均方差作为所述训练图像对应的损失值；
基于所述损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像去噪方法中的步骤。
本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的图像去噪方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种图像去噪方法、存储介质及终端设备，所述图像去噪方法通过图像去噪模型确定待去噪图像的若干特征图，基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，基于所述注意力图，确定所述待去噪图像对应的增强特征图，最后基于所述增强特征图以及所述若干特征图，确定所述待去噪图像对应的去噪图像。本申请通过图像去噪模型确定待去噪图像对应的注意力图，并基于注意力图确定增强特征图，最后基于增强特征图以及若干特征图确定去噪图像，这样可以在获取到携带图像细节信息的注意力图后，图像去噪模型对注意力图中的细节信息进行增强以得到增强特征图，使得根据增强特征图确定去噪图像既可以在去除待去噪图像携带的图像噪声，又可以保留图像细节信息，进而提高了去噪图像的图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的图像去噪方法的流程图。
图2为本申请提供的图像去噪方法中图像去噪模型的模型结构原理图。
图3为本申请提供的图像去噪方法中图像去噪模型中的注意力模块的模型结构原理图。
图4为本申请提供的图像去噪方法中图像去噪模型中的增强模块的模型结构原理图。
图5为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种图像去噪方法、存储介质及终端设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的移动电话，膝上形计算机或平板计算机之类的其他便携式设备。还应该理解的是，在某些实施例中，所述设备并非便携式通讯设备，而是具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备还可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、视频会议应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件由于程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数据相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放应用程序等。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的第一或多个功能以及终端上显示的相应信息。这样，终端的公共物理框架(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，为了提高终端设备的夜景拍摄效果，终端设备配置有夜景拍摄功能。然而，图像采集设备在拍摄图像时会因受外界环境的影响，而使得拍摄到的图像会存在图像噪声。特别是在夜间低照度条件下拍摄图像时，拍摄得到的图像经常会因为光线不足而产生退化，使得拍摄得到图像携带有图像噪声而降低图像质量。由此，图像去噪为夜景拍摄功能中的一个重要环节，通过图像去噪在携带噪声的图像中恢复出清晰图像，并保留图像中图像细节信息。
目前普遍使用的图像去噪方法包括基于滤波思想的BM3D,以及基于数据驱动的深度网络方法DnCnn,Ridnet,CBDnet等。其中，对于以BM3D为代表的传统的去噪方法，主要是采用三维块匹配滤波，这种方法虽然效果较好，但是由于其算法复杂度较高，处理一张图像(例如，4K图片等)需要时间久(例如，3s等)，无法满足终端设备的实时性要求。
为了解决上述问题，在本申请实施例中，通过图像去噪模型确定待去噪图像的若干特征图，基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，基于所述注意力图，确定所述待去噪图像对应的增强特征图，最后基于所述增强特征图以及所述若干特征图，确定所述待去噪图像对应的去噪图像。本申请通过图像去噪模型确定待去噪图像对应的注意力图，并基于注意力图确定增强特征图，最后基于增强特征图以及若干特征图确定去噪图像，这样可以在获取到携带图像细节信息的注意力图后，图像去噪模型对注意力图中的细节信息进行增强以得到增强特征图，使得根据增强特征图确定去噪图像既可以在去除待去噪图像携带的图像噪声，又可以保留图像细节信息，进而提高了去噪图像的图像质量。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施提供了一种图像去噪方法，如图1所示，所述方法包括：
S10、所述图像去噪模型确定待去噪图像的若干特征图，其中，若干特征图中各特征图的图像尺寸不同。
具体地，所述待去噪图像可以是装载该图像去噪模型的图像处理设备拍摄的图像(例如，智能手机等)，也可以是其他外部设备(例如，数码相机等)拍摄并存储于图像处理设备的图像，还可以是通过云端发送至图像处理设备的图像。在本实施例中，所述待去噪图像可以是通过成像系统(例如，摄像头)拍摄得到的图像，其中，所述成像系统可以为图像处理设备自身配置的，也可以为其他设备配置的。例如，所述待去噪图像为通过配置有摄像头的手机拍摄得到风景图像；再如，所述待去噪图像为数码相机拍摄并发送至图像处理设备的人物画像等。
进一步，所述待去噪图像为通过摄像装置采集的原始图像数据，即RAW图像，其中，所述原始图像数据为未经过处理和压缩的图像数据。所述摄像装可以为CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)或者CCD(ChargeCoupled Device，电荷耦合器件)图像传感器，所述原始图像数据可以为通过摄像装置将捕捉到的光源信号转化为数字信号的原始数据。这样采用原始图像数据作为待去噪图像，可以避免在对原始数据图像进行处理和压缩过程中所产生的图像细节信息丢失，使得待去噪图像中可以保留更多的图像信息，这样可以使得对待去噪图像进行去噪后的得到去噪图像可以携带保留更多的图像信息，提高去噪图像的图像质量。
此外，在实际应用中，由于待去噪图像为原始图像数据，从而所述图像去噪模型在获取到待去噪图像后，对待去噪图像进行颜色通道分离，并将颜色通道分离得到的图像作为待去噪图像。其中，所述颜色通道分离指的是按照所述待去噪图像颜色顺序将待去噪图像进行颜色通道分离。例如，所述待去噪图像为H*W*1的原始图像数据，并且待去噪图像颜色顺序为RGBG，其中，H表示第一图像的高，W表示第一图像的宽，1表示第一图像的颜色通道数据。那么所述待去噪图像通过颜色通道分离后可以生成H/2*W/2*4的图像A，并将图像A作为待去噪图像，其中，H/2表示图像A的高，W/2表示图像A的宽，4表示图像A的颜色通道数据。这里将4个颜色通道分别记为第一颜色通道1、第二颜色通道2、第三颜色通道3以及第四颜色通道4，其中，第一颜色通道存储R数据，第二颜色通道存储G数据，第三颜色通道存储B数据，第四颜色通道存储G数据。
进一步，所述图像去噪模型为经过训练的网络模型，其中，所述图像去噪模型的训练过程可以是在处理所述待去噪图像的图像处理设备(例如，配置有摄像头的手机)执行的；也可以是在其他外部设备中执行。当所述图像去噪模型的训练过程在其他外部设备中执行时，其他设备将所述图像去噪模型训练完成后，将该图像去噪模型对应的文件移植到图像处理设备中，以使得图像处理设备配置有该图像去噪模型。此外，在本实施例的一个实现方式中，所述图像处理设备可以将所述图像去噪模型作为一个功能模块(记为图像去噪功能)，该图像去噪功能用于去除图像携带的噪声，以得到去噪图像。可以理解的是，当图像处理设备获取到待去噪图像时，图像处理设备启动该图像去噪功能，并将该待去噪图像作为该图像去噪功能的输入项，以通过该图像去噪功能对应的图像去噪模型确定该待去噪图像的去噪图像。其中，所述去噪图像为所述图像去噪模型的输出项，用于作为待去噪图像对应的去除噪声后的图像。
进一步，所述去噪图像的信噪比大于待去噪图像的信噪比，其中，所述信噪比指的是图像中正常图像信息与噪音信息的比值，一般采用dB表示，图像的信噪比越高表明图像的噪音越少。例如，对于待去噪图像A，待去噪图像A对应的去噪图像为去噪图像A，当待去噪图像A的信噪比为50dB时，去噪图像A的信噪比大于50dB，如，60dB等。
进一步，所述若干特征图为所述图像去噪模型基于待去噪图像确定，若干图像中的各特征图的图像尺寸不同。例如，若干特征图包括特征图A、特征图B以及特征图C，那么特征图A的图像尺寸、特征图B的图像尺寸以及特征图C的图像尺寸互不相同，如，特征图A的图像尺寸为224*224，特征图B的图像尺寸为112*112，特征图C的图像尺寸为56*56。
在本实施例的一个实现方式中，所述图像去噪模型包括下采样模块，所述下采样模块包括若干级联的下采样单元，若干下采样单元与若干特征图一一对应，以通过各下采样单元确定各自对应的特征图。可以理解的是，若干下采样单元的数量与若干特征图的数量相同，并且对于若干特征图中的每张特征图，若干下采样单元中均存在一个下采样单元，该下采样单元的输出项为该特征图。由此，所述图像去噪模型确定待去噪图像的若干特征图具体包括：目标下采样单元基于待去噪图像确定待去噪图像对应的第一特征图，其中，所述目标下采样单元为按照级联顺序位于最前的下采样单元；目标下采样单元将特征图输入候选下采样单元；候选下采样单元基于该第一特征图，确定待去噪图像对应的第二特征图，其中，候选下采样单元为按照级联顺序位于目标下采样单元之后且与目标下采样单元相邻的下采样单元；将所述候选下采样单元作为目标下采样单元，将第二特征图作为第一特征图，继续执行候选下采样单元基于该第一特征图，确定待去噪图像对应的第二特征图的步骤，直至候选下采样单元为按照级联顺序位于最后的下采样单元，以得到待去噪图像对应的若干特征图，其中，若干特征图包括第一特征图以及若干第二特征图。
进一步，所述若干下采样单元依次级联，按照级联顺序相邻的两个下采样单元中前一下采样单元的输出项为后一下采样单元的输入项，并且每个下采样单元的输出项均作为待去噪图像对应的一张特征图。由此，按照级联顺序相邻的两个下采样单元中，前一下采样单元输出的特征图的图像尺寸大于后一下采样单元输出的特征图的图像尺寸。此外，所述若干下采样单元中各采样单元的模型结构相同，这里以一个下采样单元为例加以说明。下采样单元包括卷积层和激活函数，所述卷积层的步长为2，所述激活函数可以为ReLU激活函数，通过ReLU激活函数能够更好的增强模型的泛化能力。
举例说明：如图2所示，所述下采样模块包括三个下采样单元，分别记为第一下采样单元、第二下采样单元以及第三下采样单元，所述第一下采样单元、第二下采样单元以及第三下采样单元均包括步长为2的卷积层以及ReLU激活函数。其中，所述第一下采样单元与所述第二下采样单元相连接；第二下采样单元与第三下采样单元相连接，第一下采样单元的输出项为特征图A、第二下采样单元的输出项为特征图B以及第三下采样单元的输出项为特征图C，那么特征图A、特征图B以及特征图C为待去噪图像对应的三个特征图，其中，特征图A为第二下采样单元的输入项，特征图B为第三下采样单元的输入项，特征图C为用于后续确定注意力图。
当然，在实际应用中，所述按照级联顺序位于最前的下采样单元的输入项可以为待去噪图像，也可以是基于待去噪图像确定的特征图像。例如，如图2所示，所述按照级联顺序位于最前的下采样单元的输入项为基于待去噪图像确定的特征图像。可以理解的是，所述图像去噪模型包括卷积模块，所述卷积模块的输入项为待去噪图像，卷积模块的输出项为卷积特征图，该卷积特征图为按照级联顺序位于最前的下采样单元的输入项。其中，卷积模块中的卷积层的步长为1，这样通过卷积模块确定的卷积特征图可以保留待去噪图像的原始图像信息。
S20、所述图像去噪模型基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图。
具体地，所述图像编码模块内嵌入注意力机制，所述注意力图为基于图像特征图通过注意力机制确定得到的，通过利用与人眼类似的注意力机制，实现对特征图中的噪声特征进行增强，使得基于注意力机制处理后特征图中的纹理信息、颜色信息以及图像细节将被增强，这样可以便于后续将噪声特征去除，减少去噪图像中的残留图像噪声，提高了去噪图像的图像质量。
进一步，在本实施例的一个实现方式中，所述图像去噪模型包括注意力模块，所述注意力模块包括第一注意力单元和第二注意力单元；所述图像去噪模型基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图具体包括：
所述第一注意力单元基于所述目标特征图，确定所述待去噪图像对应的第一注意力图；
所述第二注意力单元基于所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述待去噪图像对应的注意力图。
具体地，所述第一注意力单元和所述第二注意力单元级联，所述第一注意力单元的输出项为所述第二注意力单元的输入项，其中，所述第一注意力单元嵌入基于图像注意力机制，可以从图像中的图像特征关注待去噪图像，保留待去噪图像中的纹理信息；第二注意力单元嵌入基于空间注意力机制，可以从空间方向关注待去噪图像，保留待去噪图像中的纹理信息以及颜色信息。由此，由所述注意力图像通过第二注意力图和目标特征图得到的可知，注意力图在保存待去噪图像的颜色信息和纹理特征的同时，可以通过目标特征图学习到待去噪图像的图像细节，使得注意力图像可以保存待去噪图像的纹理信息、颜色信息以及图像细节。
在本实施例的一个实现方式中，如图3所示，所述第一注意力单元包括第一卷积单元，第一全局平均池化层和第一融合单元；所述第一注意力模块基于所述目标特征图，确定所述待去噪图像对应的第一注意力图具体包括：
所述第一卷积单元基于所述目标特征图，确定所述待去噪图像对应的第一特征图；
第一全局平均池化层基于所述第一特征图，确定所述待去噪图像对应的第三注意力图；
所述第一融合单元基于所述第三注意力图以及所述第一特征图，确定所述待去噪图像对应的第一注意力图。
具体地，所述第一卷积单元与所述第一全局平均池化层级联，所述第一全局平均池化层与所述第一融合单元级联，并且所述第一卷积单元与所述第一融合单元连接。由此，所述第一卷积单元的输入项为目标特征图，第一卷积单元的输出的第一特征图分别输入第一全局平均池化层和第一融合单元，所述第一全局平均池化层输出的第三注意力图输入第一融合单元，通过第一融合单元将第一全局平均池化层输出的第三注意力图和第一卷积单元输出的第一特征图进行融合，以得到第一注意力图。
所述第一卷积单元包括第一卷积层、第一激活函数层以及第二卷积层，所述第一卷积层、第一激活函数层以及第二卷积层依次级联，其中，第一卷积层的输入项为目标特征图，第二卷积层的输出项为第一特征图。第一卷积层与第一激活函数层相连接，并其自身的输出项输入第一激活函数层，通过第一激活函数层将第一卷积层的输出项稀疏化。在本实施例的一个具体实现方式中，第一激活函数层可以嵌入ReLU函数，通过ReLU函数将第一卷积层的输出项中的像素值为负值的像素点的像素值转换为0，这样可以对于第一卷积层的输出项进行稀疏化，使得后续可以更好地学习纹理特征。
所述第一全局平均池化层用于选取第一特征图中关于纹理信息的最突出特征，以学习到待去噪图像的纹理信息。其中，所述第一全局平均池化层的输入项为第一卷积单元的第一特征图，第一全局平均池化层的输出项为第三注意力图。
所述第一融合单元用于将第一特征图中的像素点和第三注意力图中的像素点进行点乘，以得到第一注意力图，其中，第一特征图的图像尺度与第三注意力图的图像尺度相同。例如，第一特征图的图像尺度为56*56*64，那么第三注意力图的图像尺度为56*56*64。此外，所述第一全局平均池化层和所述第一融合单元之间布置有卷积单元A和激活函数层A，所述卷积单元A包括卷积层A、激活函数层B以及卷积层B，所述卷积层A、激活函数层B以及卷积层B依次级联，其中，卷积层A的输入项为第一全局池化层的输出项，卷积层B的输出项为第一融合单元的输入项。卷积单元B与激活函数层A相连接，并其自身的输出项输入激活函数层A，通过激活函数层A将卷积单元B的输出项中各像素点的像素值转换至0-1之间(包括0和1)。在本实施例的一个具体实现方式中，所述激活函数层A可以嵌入Sigmoid函数，通过Sigmoid函数将卷积单元B的输出项中各像素点的像素值转换至0-1之间；激活函数层B可以嵌入ReLU函数，通过ReLU函数将卷积层A的输出项中的像素值为负值的像素点的像素值转换为0，这样可以对于卷积层A的输出项进行稀疏化，使得后续可以更好地学习纹理特征。
进一步，在本实施例的一个实现方式中，如图3所示，所述第二注意力单元包括第二全局平均池化层、全局最大池化层、第二卷积单元以及第二融合单元；
所述第二全局平均池化层基于第一注意力图，确定所述待去噪图像对应的第四注意力图；
所述全局最大池化层基于第一注意力图，确定所述待去噪图像对应的第五注意力图；
所述第二卷积单元基于所述第四注意力图和所述第五注意力图，确定所述待去噪图像对应的第二特征图；
所述第二融合单元基于所述第二特征图以及所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述第一注意力图，确定所述待去噪图像对应的注意力图。
具体地，所述第二全局平均池化层和全局最大池化层的输入项均为第一注意力图，并且第二全局平均池化层和全局最大池化层均与第二卷积单元相连接，所述第二卷积单元与所述第二融合单元相连接。其中，所述第一全局平均池化层用于选取第一特征图中关于纹理信息的最突出特征，以学习到待去噪图像的纹理信息，所述全局最大池化层用于关注待去噪图像的整体信息，并对待去噪图像的背景信息敏感，以选取待去噪图像的颜色信息。这样通过第二全局平均池化层和全局最大池化层可以学习到待去噪图像的纹理信息和颜色信息，可以提高图像的去噪效果。
所述第二卷积单元包括拼接层、卷积层和第二激活函数层，所述拼接层、卷积层和第二激活函数层依次级联，并且所述拼接层分别与第二全局平均池化层和全局最大池化层相连接，所述第二激活函数层与第二融合单元相连接，所述拼接层的输入项为所述第二全局平均池化层输入的第四注意力图和全局最大池化层输入的第五注意力图，并且所述拼接层将第四注意力图和第五注意力图按照通道拼接，其中，所述第四注意力图的图像尺寸与第五注意力图的图像尺寸相同。此外，所述第二激活函数层可以嵌入Sigmoid函数，通过Sigmoid函数将卷积层的输出项中各像素点的像素值转换至0-1之间。
所述第二融合单元包括第一融合层和第二融合层，第一融合层的输入项为第一注意力图和第二卷积单元输出的第二特征图，所述第二融合层的输入项为第二特征图和目标特征图。其中，所述第一融合层用于将第一注意力图的像素点和第二特征图的像素点进行点乘，以将第一注意力图和第二特征图进行融合，所述第二融合层用于将第二特征图和目标特征图进行相加，以得到注意力图。
进一步，在本实施例的一个实现方式中，为了增加注意力图中的纹理信息和颜色信息，所述注意力模块包括若干模型结构相同的注意力模块，若干注意力模块依次级联，并且若干模块中按照级联顺序位于最前的注意力模块的输入项为目标特征图，位于最后的注意力模块的输出项为所述待去噪图像对应的注意力图，相邻两个注意力模型中前一注意力模块输出的注意力图为后一个注意力模块的输入项。例如，若干注意力模块包括注意力模块A、注意力模块B和注意力模块C，注意力模块A、注意力模块B和注意力模块C依次级联，注意力模块A的输入项为目标特征图，注意力模块B的输入项为注意力模块A输出的特征图，注意力模块C的输入项为注意力模块B的输出项，注意力模块C的输出项为待去噪图像对应的注意力图。可以理解的是，注意力模块A输出的注意力图为注意力模块B对应的目标特征图，注意力模块B的输出的注意力图为注意力模块C对应的目标特征图。此外，在本实施例的一个具体实现方式中，若干注意力模块包括6个注意力模块。
S30、所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图。
具体地，所述增强特征图为基于注意力图确定的，所述增强特征图中保存待去噪图像的纹理信息和颜色信息，同时所述增强特征图中的待去噪图像的图像细节被增强。这样在候选进行上采样的过程中，可以有效的学习到待去噪图像的图像细节，提高图像去噪效果。在本实施例的一个实现方式中，所述增强特征图可以通过增强模块获取的。相应的，所述图像去噪模块包括若干级联的增强模块，按照级联顺序位于最前的增强模块的输入项为注意力图，增强模块的输出项为增强特征图，通过增强模块对注意力图中的图像细节进行增强，以得到增强特征图。
基于此，所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图具体包括：
所述若干增强模块中按照级联顺序位于最前的增强模块基于所述注意力图，确定所述待去噪图像对应的第一增强特征图，位于最后的增强模块基于所述注意力图，确定所述待去噪图像对应的第二增强特征图，其中，相邻两个增强模块中前一增强模块的输出项为后一个增强模块的输入项；
所述图像去噪模型基于所述第一增强特征图和所述第二增强特征图，确定所述待去噪图像对应的增强特征图。
具体地，所述若干增强模块依次级联，若干增强模块中按照级联顺序相邻的两个增强模块，前一个增强模块输出项为后一个增强模块的输入项；位于最前的增强模块的输入项为注意力图，位于最后的增强模块输出的第二增强特征图和位于最前的增强模块输出的第一增强特征图用于确定增强特征图。由此，所述图像去噪模型包括融合模块，所述融合模块的输入项为第一增强特征图和第二增强特征图，所述融合模块用于将第一增强特征图和第二增强特征图按照通道拼接，并将拼接得到的拼接图作为增强特征图，这样增强特征图中包括最前的增强模块输出的第一增强特征图和最后的增强模块输出的第二增强特征图，在使得增强特征图中的图像细节被增强的同时，还可以包括更多的图像细节信息。
举例说明，若干增强模块包括增强模块A、增强模块B和增强模块C，增强模块A、增强模块B和增强模块C依次级联，增强模块A的输入项为注意力图，增强模块B的输入项为增强模块A的输出项，增强模块C的输入项为增强模块B的输出项，增强模块C的输出项和增强模块A的输出项的融合图为待去噪图像对应的增强特征图。
在本实施例的一个实现方式中，如图4所示，所述增强模块包括若干级联的增强单元以及卷积单元，若干增强单元中按照级联顺序相邻的两个增强单元，前一个增强单元的输入项和前一个增强单元的输出项的融合图为后一个增强单元的输入项；位于最前的增强单元的输入项为增强模块的输入项，位于最后的增强单元的输出项和输入项为卷积单元的输入项，所述卷积单元的输出项与最前增强单元的输入项的融合图为所述增强模块的输出项。这样通过将增强单元的输入项和输出项进入短连接，可以增加输出项中的图像细节，从而可以提高增强模块输出的增强特征图中的图像细节。基于此，在通过增强模块输出增强特征图后，将该增强特征图与注意力图进行融合，使得在增强图像细节信息、纹理信息以及颜色信息，可以减少下采样过程中对图像细节的损失。在本实施例的一个具体实现方式中，所述增强单元包括两个级联卷积单元，每个卷积单元均包括卷积层和激活函数层，卷积层与激活函数层相连接。
S40、所述图像去噪模型基于所述增强特征图、所述若干特征图以及待去噪图像，确定所述待去噪图像对应的去噪图像。
具体地，所述去噪图像为通过所述图像去噪模型去除所述待去噪图像的噪声所得到的输出图像，其中，去噪图像为图像去噪模型的输出项，并且所述去噪图像的信噪比高于所述待去噪图像的信噪比。例如，待去噪图像的信噪比为50dB，去噪图像的信噪比为60dB等。
在本实施例的一个实现方式中，所述图像去噪模型在去除注意力模块和增强模块后，可以为unet的编解码结构，所述图像去噪模型可以包括上采样模块图像去噪模型中的下采样模块作为编码结构，上采样模块作为解码结构，并且下采样模块与上采样模块相对应，其中，下采样模块与上采样模块相对应指的是上采样模块包括的上采样单元数量与下采样模块包括的下采样单元的数量相同，并且上采样单元与下采样单元一一对应。
基于此，所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像具体包括：
所述上采样模块基于所述增强图像以及若干特征图，确定所述待去噪图像对应的上采样特征图；
所述图像去噪模型基于所述上采样特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
具体地，所述上采样模块包括若干级联的上采样单元，若干上采样模块与若干特征图一一对应，若干上采样单元中按照级联顺序相邻的两个上采样单元，前一个上采样单元输出项以及后一个上采样单元对应的特征图为后一个上采样单元的输入项；位于最前的上采样单元的输入项为增强特征图及其对应的特征图，位于最后的上采样单元的输出项和待去噪图像确定所述待去噪图像对应的去噪图像。此外，所述上采样单元为像素重组(pixelshuffle)，其中，pixelshuffle用于将一个H×W的低分辨率输入图像(LowResolution)，通过Sub-pixel操作将其变为rH×rW的高分辨率图像(High Resolution)，其中，r为上采样步长，所述Sub-pixel操作具体为对于图像尺度为H×W×1的低分辨率输入图像A，对低分辨率输入图像A进行卷积操作得到图像尺度为H×W×r2的特征图，并将特征图的r2各通道的通道图进行拼接，以得到图像尺度为rH×rW×1的高分辨率图像。
为了进一步说明本实施例中的图像去噪模型，下面以一个具体实施例对图像去噪模型进行说明。在本实施例中，如图2所述，所述图像去噪模型包括第一卷积单元100、下采样模块200、六个级联的注意力模块300、六个级联的增强模块400、融合模块500、第二卷积单元600、上采样模块700以及第三卷积单元800，所述第一卷积单元100和下采样模块200相连接，所述下采样模块200与按照级联顺序位于最前的注意力模型300相连接，按照级联顺序位于最后的注意力模块300与按照级联顺序位于最前的增强模块400相连接，按照级联顺序位于最前的增强模块400和按照级联顺序位于最后的增强模块400均与融合模块500相连接，所述融合模块500与所述第二卷积单元600相连接，所述第二卷积单元600与所述上采样模块700相连接，所述上采样模块700与所述第三卷积单元800相连接，所述第三卷积单元800的输出项与第一卷积单元100的输入项相加后得到去噪图像。
进一步，所述第一卷积单元包括卷积层和激活函数，其中，卷积层的步长为1，激活函数为ReLU函数。下采样模块包括3个下采样单元，3个下采样单元的模型结构相同，均包括卷积层和激活函数，其中，卷积层的步长为2，激活函数为ReLU函数；相应的，上采样模块包括3个上采样单元，3个上采样单元中按照级联顺序前两个上采样单元的模型结构相同，均包括pixelshuffle单元和卷积层，其中，pixelshuffle单元的采样系数为2，按照级联顺序最后一个上采样单元包括pixelshuffle单元，其中，pixelshuffle单元的采样系数为2。
所述第二卷积单元包括第一卷积块和第二卷积块，融合模块与第一卷积块连接，第一卷积块与第二卷积块连接，第二卷积块的输出项与第二卷积块的输出项相加后作为上采样模块的输入项。所述第三卷积单元包括卷积层和激活函数，其中，卷积层的步长为1，激活函数为ReLU函数。此外，注意力模块的模型结构与上述步骤S20中的注意力模块的模型结构相同，增强模块的模型结构与上述步骤S30中的增强模块的模型结构相同，这里不再赘述，具体可以参数步骤S20和步骤S30的说明。
进一步，在本实施例的一个实现方式中，在确定所述图像去噪模型的模型结构后，所述图像去噪模型的训练过程可以包括：
获取训练图像集；
基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。
具体地，所述训练图像集包括若干训练图像组，每组训练图像组包括若干训练图像，并且每组训练图像组中的各训练图像对应的去噪图像相同。可以理解的是，所述训练图像集包括若干训练图像组，每个训练图像组中的若干训练图像中任意两个训练图像，记为第一图像和第二图像，第一图像的图像尺寸与第二图像的图像尺寸相等，并且所述第一图像和第二图像对应相同的图像场景，其中，所述第一图像和第二图像对应相同的图像场景指的是第一图像携带的图像内容与第二图像携带的图像内容的相似度达到预设阈值，所述第一图像的图像尺寸与第二图像的图像尺寸相同，以使得当第一图像和第二图像重合时，第一图像携带的物体对第二图像中与其对应的物体的覆盖率达到预设条件。其中，所述预设阈值可以为99％，所述预设条件可以为99.5％等。
在本实施例的一个实现方式中，所述获取训练图像集具体包括：
获取若干拍摄场景；
对于每个拍摄场景，获取该拍摄场景对应的若干候选图像，其中，若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同；
将所述若干候选图像进行融合，以得到融合图像；
将所述若干候选图像作为一训练图像组，并将所述融合图像作为该训练图像组中各融合图像对应的去噪图像，以得到训练图像集。
具体地，若干拍摄场景中任意两个拍摄场景不同，对于每个拍摄场景，获取到的若干候选图像中任意两个候选图像的图像尺寸相等，并且两个候选图像对应相同的图像场景，并且若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同。其中，曝光时长为是指从快门打开到关闭的时间间隔，摄像装置镜头的光圈叶片在时间间隔内可以将物体的影响留在在底片上留下影像，并且当摄像装置的曝光时长长时，进入光圈内的光较多，从而可以减少图像携带的噪音，从而曝光时长不同的两个候选图像中，曝光时长长的候选图像的信噪比大于曝光时长短的候选图像的信噪比高。例如，若干训练图像组中每个训练图像组均包括150张训练图像，150张训练图像中各张训练图像对应的曝光时长互不相同，如，将150张训练图像按照曝光时长排序得到训练图像序列中，训练图像序列中相邻两张训练图像中，后一训练图像的曝光时长比前一训练图像的曝光时长多0.1ms，并且第1张训练图像的曝光时长为0.1ms，那么第2张训练图像的曝光时长为0.2ms，第3张训练图像的曝光时长为0.3ms，第4张训练图像的曝光时长为0.4ms，...，第150张训练图像的曝光时长为15ms。
此外，由若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同可知，若干候选图像中至少存在两个候选图像携带图像噪声不同。从而在获取到若干候选图像后，将若干候选图像进行融合，将融合得到的融合图像作为若干候选图像中每个候选图像对应的去噪图像，其中，所述将若干候选图像进行融合可以为以按照拍摄顺序处于第一位的候选图像为基础图像，将其他候选图像按照拍摄顺序依次融合至基础图像，以得到融合图像。此外，在本实施例的一个实现方式中，若干候选图像为若干张连续图像，若干连续图像可以在图像采集设备处于连拍状态下拍摄得到的连续图像，或者是，连续触发图像采集设备拍摄得到的连续图像等。
进一步，在本实施例的一个实现方式中，在获取到训练样本图像集后，可以通过训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。相应的，所述基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型具体包括：
将训练图像集中的训练图像输入预设网络模型，通过预设网络模型输出所述训练图像对应的预测去噪图像；
确定所述预测去噪图像以及训练图像对应的去噪图像的均方差，并将所述均方差作为所述训练图像对应的损失值；
基于所述损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
具体地，所述预设网络模型的模型结构与图像去噪模型的模型结构相同，其区别在于预设网络模型的模型参数与图像去噪模型的模型参数不同，预设网络模型的模型参数为初始模型参数，图像去噪模型的模型参数为经过训练的模型参数。例如，预设网络模型包括下采样模块、若干注意力模块、若干增强模块以及上采样模块，所述下采样模块用于提取训练图像对应的若干特征图，若干注意力模块用于训练图像对应的注意力图，若干增强模块用于训练图像对应的增强特征图；上采样模块用于确定待去噪图像对应的去噪图像。其中，所述预设网络模型中的下采样模块、若干注意力模块、若干增强模块以及上采样模块可以参照图像去噪模型中的下采样模块、若干注意力模块、若干增强模块以及上采样模块的模型结构的说明，这里就不在一一赘述。
进一步，所述损失值为述预测去噪图像以及训练图像对应的去噪图像的均方差。可以理解的是，在对预设网络模型进行训练时，将训练图像输入预设网络模型后，预设网络模型确定训练图像对应的预测去噪图像，并基于该预测去噪图像以及训练图像对应的去噪图像确定损失值。其中，所述损失值的计算公式可以为：
Figure BDA0002594399170000221
其中，N为每个训练图像组中的训练图像数量，observedt为去噪图像，predictedt为预测去噪图像。
进一步，在本实施例的一个实现方式中，基于所述损失值对所述预设网络模型进行训练是可以采用Adam方法对预设网络模型的模型参数进行优化，预测网络模型的初始参数可以化选用Xavier初始化方式，初始化学习速率为10-4,学习率采用多项式衰减方式，迭代次数为6000个epoch，batchsize大小为1。
进一步，对所述预设网络模型进行训练指的是对预设网络模型的模型参数进行训练，得到图像去噪模型指的预设网络模型的训练情况满足预设条件。其中，所述预设条件包括所述预设条件包括损失值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像去噪模型的精度来确定，这里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如，6000次等。由此，在计算得到损失值后，判断所述损失值是否满足预设要求；若损失值满足预设要求，则结束训练；若损失值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失值和训练次数来判断预设网络模型训练是否结束，可以避免因损失值无法达到预设要求而造成预设网络模型的训练进入死循环。
进一步，由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(即，损失值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失值对所述预设网络模型的网络参数进行修正后，需要继续对预设网络模型进行训练，即基于预设的预设网络模型，将训练图像组中的各训练图像输入预设网络模型，通过预设网络模型输出各训练图像对应的预测图像。其中，在继续执行将训练图像组中的各训练图像输入预设网络模型时，输入预设网络模型的各训练图像为未作为输入项输入过预设网络模型的训练图像。例如，训练图像集中所有训练图像组均具有唯一批次标识(例如，图批次编号)，第一次训练输入的训练图像组为批次标识与第二次训练输入的训练图像组的批次标识不同，如，第一次训练输入的训练图像组的图像编号为1，第二次训练输入的训练图像组的图像编号为2，第N次训练输入的训练图像组的图像编号为N。当然，在实际应用中，由于训练图像集中的训练图像组的数量有限，为了提高评价网络模型的训练效果，可以依次将训练图像集中的训练图像组输入至预设网络模型以对预设网络模型进行训练，当训练图像集中的所有训练图像组均输入过预设网络模型后，可以继续执行依次将训练图像集中的训练图像组输入至预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至预设网络模型。此外，在继续执行依次将训练图像集中的训练图像组输入至预设网络模型的操作，可以对训练图像集中各训练图像组的输入顺序进行调整，以得到调整后的训练图像集，并基于调整后的训练图像集中的训练图像组输入至预设网络模型。
综上所述，本实施例提供了一种图像去噪方法，所述图像去噪方法通过图像去噪模型确定待去噪图像的若干特征图，基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，基于所述注意力图，确定所述待去噪图像对应的增强特征图，最后基于所述增强特征图以及所述若干特征图，确定所述待去噪图像对应的去噪图像。本申请通过图像去噪模型确定待去噪图像对应的注意力图，并基于注意力图确定增强特征图，最后基于增强特征图以及若干特征图确定去噪图像，这样可以在获取到携带图像细节信息的注意力图后，图像去噪模型对注意力图中的细节信息进行增强以得到增强特征图，使得根据增强特征图确定去噪图像既可以在去除待去噪图像携带的图像噪声，又可以保留图像细节信息，进而提高了去噪图像的图像质量。
基于上述图像去噪方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像去噪方法中的步骤。
基于上述图像去噪方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种图像去噪方法，其特征在于，应用于图像去噪模型，所述方法包括：
所述图像去噪模型确定待去噪图像对应的若干特征图；
所述图像去噪模型基于所述若干特征图中一目标特征图，确定所述待去噪图像对应的注意力图；
所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图；
所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
2.根据权利要求1所述图像去噪方法，其特征在于，若干特征图中各特征图的图像尺寸不同。
3.根据权利要求1所述图像去噪方法，其特征在于，所述目标特征图为若干特征图中图像尺寸最小的特征图。
4.根据权利要求1所述图像去噪方法，其特征在于，所述图像去噪模型包括下采样模块，所述下采样模块包括若干级联的下采样单元，若干下采样单元与若干特征图一一对应，以通过各下采样单元确定各自对应的特征图。
5.根据权利要求1所述图像去噪方法，其特征在于，所述图像去噪模型包括注意力模块，所述注意力模块包括第一注意力单元和第二注意力单元；所述图像去噪模型基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图具体包括：
所述第一注意力单元基于所述目标特征图，确定所述待去噪图像对应的第一注意力图，其中，所述第一注意力图包括待去噪图像中的纹理信息；
所述第二注意力单元基于所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述所述待去噪图像对应的注意力图，其中，所述第二注意力图包括待去噪图像中的纹理信息以及颜色信息。
6.根据权利要求5所述图像去噪方法，其特征在于，所述第一注意力单元包括第一卷积单元，第一全局平均池化层和第一融合单元；所述第一注意力模块基于所述目标特征图，确定所述待去噪图像对应的第一注意力图具体包括：
所述第一卷积单元基于所述目标特征图，确定所述待去噪图像对应的第一特征图；
第一全局平均池化层基于所述第一特征图，确定所述待去噪图像对应的第三注意力图；
所述第一融合单元基于所述第三注意力图以及所述第一特征图，确定所述待去噪图像对应的第一注意力图。
7.根据权利要求5所述图像去噪方法，其特征在于，所述第二注意力单元包括第二全局平均池化层、全局最大池化层、第二卷积单元以及第二融合单元；
所述第二全局平均池化层基于第一注意力图，确定所述待去噪图像对应的第四注意力图；
所述全局最大池化层基于第一注意力图，确定所述待去噪图像对应的第五注意力图；
所述第二卷积单元基于所述第四注意力图和所述第五注意力图，确定所述待去噪图像对应的第二特征图；
所述第二融合单元基于所述第二特征图以及所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述待去噪图像对应的注意力图。
8.根据权利要求5所述图像去噪方法，其特征在于，所述注意力模块包括若干注意力模块，若干注意力模块依次级联，并且若干注意力模块中按照级联顺序位于最前的注意力模块的输入项为目标特征图，位于最后的注意力模块的输出项为所述待去噪图像对应的注意力图，相邻两个注意力模型中前一注意力模块输出的注意力图为后一个注意力模块的输入项。
9.根据权利要求1所述图像去噪方法，其特征在于，所述图像去噪模型包括若干级联的增强模块，所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图具体包括：
所述若干增强模块中按照级联顺序位于最前的增强模块基于所述注意力图，确定所述待去噪图像对应的第一增强特征图，位于最后的增强模块基于所述注意力图，确定所述待去噪图像对应的第二增强特征图，其中，相邻两个增强模块中前一增强模块的输出项为后一个增强模块的输入项；
所述图像去噪模型基于所述第一增强特征图和所述第二增强特征图，确定所述待去噪图像对应的增强特征图。
10.根据权利要求1所述图像去噪方法，其特征在于，所述图像去噪模型包括上采样模块，所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像具体包括：
所述上采样模块基于所述增强图像以及若干特征图，确定所述待去噪图像对应的上采样特征图；
所述融合模块基于所述上采样特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
11.根据权利要求1-10任一所述图像去噪方法，其特征在于，所述图像去噪模型的生成过程包括：
获取训练图像集，其中，所述训练图像集包括若干训练图像组，每组训练图像组包括若干训练图像，并且每组训练图像组中的各训练图像对应的去噪图像相同；
基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。
12.根据权利要求11所述图像去噪方法，其特征在于，所述获取训练图像集具体包括：
获取若干拍摄场景；
对于每个拍摄场景，获取该拍摄场景对应的若干候选图像，其中，若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同；
将所述若干候选图像进行融合，以得到融合图像；
将所述若干候选图像作为一训练图像组，并将所述融合图像作为该训练图像组中各融合图像对应的去噪图像，以得到训练图像集。
13.根据权利要求11所述图像去噪方法，其特征在于，所述基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型具体包括：
将训练图像集中的训练图像输入预设网络模型，通过预设网络模型输出所述训练图像对应的预测去噪图像；
确定所述预测去噪图像以及训练图像对应的去噪图像的均方差，并将所述均方差作为所述训练图像对应的损失值；
基于所述损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～13任意一项所述的图像去噪方法中的步骤。
15.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-13任意一项所述的图像去噪方法中的步骤。
CN202010704990.2A 2020-07-21 2020-07-21 一种图像去噪方法、存储介质及终端设备 Pending CN113962873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010704990.2A CN113962873A (zh) 2020-07-21 2020-07-21 一种图像去噪方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010704990.2A CN113962873A (zh) 2020-07-21 2020-07-21 一种图像去噪方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN113962873A true CN113962873A (zh) 2022-01-21

Family

ID=79459945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010704990.2A Pending CN113962873A (zh) 2020-07-21 2020-07-21 一种图像去噪方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113962873A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468619A (zh) * 2023-03-01 2023-07-21 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法
CN116797493A (zh) * 2023-08-02 2023-09-22 北京中科闻歌科技股份有限公司 一种图像去噪处理系统
CN116977650A (zh) * 2023-07-31 2023-10-31 西北工业大学深圳研究院 图像去噪方法、图像去噪装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235350A1 (en) * 2014-02-18 2015-08-20 Signal Processing, Inc. Method for Image Denoising
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
US20190378247A1 (en) * 2018-06-07 2019-12-12 Beijing Kuangshi Technology Co., Ltd. Image processing method, electronic device and non-transitory computer-readable recording medium
CN110766632A (zh) * 2019-10-22 2020-02-07 广东启迪图卫科技股份有限公司 基于通道注意力机制和特征金字塔的图像去噪方法
CN111275643A (zh) * 2020-01-20 2020-06-12 西南科技大学 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111311518A (zh) * 2020-03-04 2020-06-19 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN111340744A (zh) * 2020-02-20 2020-06-26 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN111428807A (zh) * 2020-04-03 2020-07-17 桂林电子科技大学 图像处理方法及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235350A1 (en) * 2014-02-18 2015-08-20 Signal Processing, Inc. Method for Image Denoising
US20190378247A1 (en) * 2018-06-07 2019-12-12 Beijing Kuangshi Technology Co., Ltd. Image processing method, electronic device and non-transitory computer-readable recording medium
CN110120020A (zh) * 2019-04-30 2019-08-13 西北工业大学 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN110766632A (zh) * 2019-10-22 2020-02-07 广东启迪图卫科技股份有限公司 基于通道注意力机制和特征金字塔的图像去噪方法
CN111292259A (zh) * 2020-01-14 2020-06-16 西安交通大学 一种综合多尺度与注意力机制的深度学习图像去噪方法
CN111275643A (zh) * 2020-01-20 2020-06-12 西南科技大学 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN111340744A (zh) * 2020-02-20 2020-06-26 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN111311518A (zh) * 2020-03-04 2020-06-19 清华大学深圳国际研究生院 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN111428807A (zh) * 2020-04-03 2020-07-17 桂林电子科技大学 图像处理方法及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUNWEITIAN ET AL: "Attention-guided CNN for image denoising", 《NEURALNETWORKS》, 30 April 2020 (2020-04-30) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468619A (zh) * 2023-03-01 2023-07-21 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法
CN116468619B (zh) * 2023-03-01 2024-02-06 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法
CN116977650A (zh) * 2023-07-31 2023-10-31 西北工业大学深圳研究院 图像去噪方法、图像去噪装置、电子设备及存储介质
CN116797493A (zh) * 2023-08-02 2023-09-22 北京中科闻歌科技股份有限公司 一种图像去噪处理系统
CN116797493B (zh) * 2023-08-02 2024-01-26 北京中科闻歌科技股份有限公司 一种图像去噪处理系统

Similar Documents

Publication Publication Date Title
WO2021179820A1 (zh) 图像处理方法、装置、存储介质及电子设备
US11443438B2 (en) Network module and distribution method and apparatus, electronic device, and storage medium
KR102463101B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN113962873A (zh) 一种图像去噪方法、存储介质及终端设备
CN109951635B (zh) 拍照处理方法、装置、移动终端以及存储介质
WO2020082382A1 (en) Method and system of neural network object recognition for image processing
US10848746B2 (en) Apparatus including multiple cameras and image processing method
CN104488258A (zh) 用于双相机快门的方法和设备
CN112258404B (zh) 图像处理方法、装置、电子设备和存储介质
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
US10769416B2 (en) Image processing method, electronic device and storage medium
CN113518210A (zh) 图像自动白平衡的方法及装置
CN113706414A (zh) 视频优化模型的训练方法和电子设备
CN112927144A (zh) 图像增强方法、图像增强装置、介质和电子设备
CN111951192A (zh) 一种拍摄图像的处理方法及拍摄设备
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN115170383A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN110544221B (zh) 训练方法及装置、去雨方法、终端设备、存储介质
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
CN114255177B (zh) 成像中的曝光控制方法、装置、设备及存储介质
CN114419051B (zh) 一种适应含有像素级分割的多任务场景的方法及系统
CN115170581A (zh) 人像分割模型的生成方法、人像分割模型及人像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination