CN117011149A - 图像去噪模型的训练方法、图像去噪方法及装置 - Google Patents

图像去噪模型的训练方法、图像去噪方法及装置 Download PDF

Info

Publication number
CN117011149A
CN117011149A CN202210446630.6A CN202210446630A CN117011149A CN 117011149 A CN117011149 A CN 117011149A CN 202210446630 A CN202210446630 A CN 202210446630A CN 117011149 A CN117011149 A CN 117011149A
Authority
CN
China
Prior art keywords
image
denoising
layer
model
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210446630.6A
Other languages
English (en)
Inventor
陈圣
曾定衡
蒋宁
王洪斌
周迅溢
吴海英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Consumer Finance Co Ltd
Original Assignee
Mashang Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Consumer Finance Co Ltd filed Critical Mashang Consumer Finance Co Ltd
Priority to CN202210446630.6A priority Critical patent/CN117011149A/zh
Publication of CN117011149A publication Critical patent/CN117011149A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像去噪模型的训练方法、图像去噪方法及装置，其中训练方法包括：获取多个训练样本图像；将训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；其中，待训练模型包括图像去噪网络和图像质量评价网络，训练处理包括：通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络对训练样本图像进行质量评价处理，得到训练样本图像的第一评价分数；根据训练样本图像、去噪图像、生成图像和第一评价分数，确定目标损失值；基于目标损失值对待训练模型的模型参数进行调整。通过本申请实施例，提升了图像去噪模型对图像局部的去噪效果。

Description

图像去噪模型的训练方法、图像去噪方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像去噪模型的训练方法、图像去噪方法及装置。
背景技术
随着各种数字仪器和数码产品的普及，图像和视频已成为人类活动中最常用的信息载体，它们包含着物体的大量信息，成为人们获取外界原始信息的主要途径。然而在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以为了获取高质量数字图像，很有必要对图像进行降噪处理，以保持原始信息的完整性(即主要特征)的同时，又能去除信号中无用的信息。
目前，常采用的去噪方法主要是通过将噪声估计图作为输入，以权衡对均匀分布的噪声的抑制和细节的保持，然而，对于局部模糊的图像去噪的效果较差。
发明内容
本申请提供一种图像去噪模型的训练方法、图像去噪方法及装置，以提升对局部模糊的图像的去噪效果。
第一方面，本申请实施例提供了一种图像去噪模型的训练方法，包括：
获取多个训练样本图像；
将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
可以看出，本申请实施例中，待训练模型包括图像去噪网络和图像质量评价网络，在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像，通过图像质量评价网络得到训练样本图像的第一评价分数，以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
第二方面，本申请实施例提供了一种图像去噪方法，包括：
获取待处理的噪声图像；
将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据上述的一方面提供的图像去噪模型的训练方法训练得到。
可以看出，本申请实施例中，由于对噪声图像进行去噪处理所使用的图像去噪模型，是对包括图像去噪网络和图像质量评价网络的待训练模型训练得到，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。也就是说，对待训练模型进行训练得到的图像去噪模型具有更好的去噪效果，因此通过该图像去噪模型对噪声图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
第三方面，本申请实施例提供了一种图像去噪模型的训练装置，包括：
获取模块，用于获取多个待训练的训练样本图像；
训练模块，用于将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
第四方面，本申请实施例提供了一种图像去噪装置，包括：
获取模块，用于获取待处理的噪声图像；
去噪模块，用于将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据本申请第一方面提供的图像去噪模型的训练方法训练得到。
第五方面，本申请实施例提供了一种电子设备，包括：
处理器；以及，被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行上述第一方面提供的图像去噪模型的训练方法中的步骤，或者所述可执行指令包括用于执行上述第二方面提供的图像去噪方法中的步骤。
第六方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行上述第一方面提供的图像去噪模型的训练方法中的步骤，或者所述可执行指令使得计算机执行上述第二方面提供的图像去噪方法中的步骤。
附图说明
为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像去噪模型的训练方法的流程示意图；
图2为本申请实施例提供的一种图像去噪网络的结构示意图；
图3为本申请实施例提供的一种图像质量评价网络的结构示意图；
图4为本申请实施例提供的一种图像去噪方法的流程示意图；
图5为本申请实施例提供的一种图像去噪模型的训练装置的模块组成示意图；
图6为本申请实施例提供的一种图像去噪装置的模块组成示意图；
图7为本申请一个或多个实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
本申请实施例提供了一种图像去噪模型的训练方法、图像去噪方法及装置。考虑到现有的图像去噪方式中，主要是通过将噪声估计图作为输入，以权衡对均匀分布的噪声的抑制和细节的保持，但是该去噪方式对于局部模糊的图像的去噪效果较差。基于此，本申请实施例中提出了包括图像去噪网络和图像质量评价网络的待训练模型，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
具体的，图1为本申请一个或多个实施例提供的一种图像去噪模型的训练方法的流程示意图，图1中的方法能够由图像去噪模型的训练装置执行，该训练装置可以设置于终端设备中，也可以设置于服务端中。其中，终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等；服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群。
如图1所示，该方法包括以下步骤：
步骤S102，获取多个训练样本图像；
为了有效的完成对待训练模型的训练，本申请实施例中的各训练样本图像包括噪声图像和该噪声图像对应的标准去噪图像。其中，噪声图像标注有标签，该标签中包括噪声图像的第二评价分数。第二评价分数用于评价噪声图像的质量，分数越高，表征图像质量越高，图像越清晰，反之表征图像质量越差，图像越模糊。第二评价分数可以是预设分数范围内的任意分数，例如，预设分数范围为0到100分，第二评价分数可以是0到100分之间的任意分数，且0分表征图像质量最差，100分表征图像为高清图像。训练样本图像中可以包括人脸。
需要指出的是，对于训练样本图像的获取方式本申请中不做具体限定，其可以在实际应用中根据需要自行设定。
步骤S104，将训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；其中，待训练模型包括图像去噪网络和图像质量评价网络，训练处理包括：通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络对训练样本图像进行质量评价处理，得到训练样本图像的第一评价分数；根据训练样本图像、去噪图像、生成图像和第一评价分数，确定目标损失值；基于目标损失值对待训练模型的模型参数进行调整。
其中，图像质量评价网络可以为预训练网络，在待训练模型的训练过程中图像质量评价网络的参数不变，即得到的图像去噪模型包括目标图像去噪网络和图像质量评价网络，目标图像去噪网络即为图像去噪网络训练后的网络。也就是说，通过图像去噪模型中的目标图像去噪网络可对待处理得噪声图像进行去噪处理，得到目标去噪图像。
本申请实施例中，待训练模型包括图像去噪网络和图像质量评价网络的，在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像，通过图像质量评价网络得到训练样本图像的第一评价分数，以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
为了提升图像的局部去噪效果，如图2所示，本申请实施例中的图像去噪网络可以包括第一特征提取模块、图像生成模块、后处理模块和关键点检测模块。其中，第一特征提取模块，用于对训练样本图像中的噪声图像进行特征提取处理得到第一特征图，以及对第一特征图进行第一图像处理得到第二特征图，对第一特征图进行第二图像处理得到第三特征图；图像生成模块，用于根据第一特征图和第二特征图生成噪声图像对应的生成图像；后处理模块，用于对第三特征图进行平滑处理得到去噪图像；关键点检测模块，用于对训练样本图像中的标准去噪图像进行关键点检测处理得到第一Gram矩阵，以及对生成图像进行关键点检测处理得到第二Gram矩阵。
与之对应的，前述通过图像质量评价网络对训练样本图像进行质量评价处理，得到训练样本图像的第一评价分数；根据训练样本图像、去噪图像、生成图像和第一评价分数，确定目标损失值，包括：通过图像质量评价网络对噪声图像进行质量评价处理，得到噪声图像的第一评价分数；根据标准去噪图像、去噪图像、生成图像、第一Gram矩阵、第二Gram矩阵和第一评价分数，确定目标损失值。
进一步的，第一特征提取模块可以包括依次相连的N个采样单元；该N个采样单元中的第i个采样单元包括依次相连的下采样层、第一全连接层(第一FC层)、第一变换层(第一Reshape层)、第一相加层、上采样层和第一卷积层(例如，可以是3*3的卷积)。
其中，N为正整数，i为小于或等于N的正整数。当i大于1时，第i个采样单元中的下采样层的输入连接第i-1个采样单元中的下采样层的输出；当i小于N时，第i个采样单元中的第一相加层的输入还连接第i+1个采样单元中的上采样的输出。下采样层的输出还连接第一相加层的输入，第一全连接层输出第一特征图，第一卷积层输出第二特征图，第一个采样单元中的上采样层输出第三特征图。
进一步的，依次相连可以理解为前一采样单元的输出作为后一采样单元的输入，前一层的输出作为后一层的输入。以N等于4、且按照从左到右的顺序对四个采样单元进行顺序编号为例，采样单元4(即第四个采样单元)的结构如图2所示，可以看出其下采样层4的输出连接第一全连接层4的输入，第一全连接层4的输出连接第一变换层4的输入，第一变换层4的输出连接第一相加层4，第一相加层4的输出连接上采样层4的输入，上采样层4的输出连接第一卷积层4的输入。可以理解的是，采样单元1(即第一个采样单元)、采样单元2(即第二个采样单元)和采样单元3(即第三个采样单元)的结构与采样单元4的结构相同；例如，对于采样单元2而言，其第一相加层2的输入分别连接下采样层2的输出、第一变换层2的输出和上采样层3的输出，图2中并未全部示出，而是仅用虚线进行了简单连接。
进一步的，与采样单元的结构相对应的，上述对训练样本图像进行特征提取处理得到第一特征图，以及对第一特征图进行第一图像处理得到第二特征图，可以包括：
通过下采样层对第一输入数据进行下采样处理，得到第一子特征图；
通过第一全连接层对第一子特征图进行特征提取处理，得到第一特征图；
通过第一变换层对第一特征图进行维度变换处理，得到第二子特征图；
通过第一相加层对第一子特征图和第二子特征图进行第一合并处理，得到第三子特征图；
通过上采样层对第二输入数据进行上采样处理，得到第四子特征图；
通过第一卷积层对第四子特征图进行降维处理和通道变换处理，得到第二特征图；
其中，N个采样单元对应N个排列序号；排列序号最小的采样单元中的下采样层的第一输入数据为训练样本图像，排列序号不是最小的采样单元中的下采样层的第一输入数据为前一个下采样层得到的第一子特征图；排列序号最大的采样单元中的上采样层的第二输入数据为第三子特征图，排列序号不是最大的采样单元中的上采样层的第二输入数据为第五子特征图；该第五子特征图为对对应的第一相加层得到的第三子特征图、及后一个上采样层得到的第四子特征图进行第一合并处理所得。第一合并处理可以是对相同像素点的像素值的相加处理。可以理解的是，每个采样单元均基于输入的第一输入数据进行上述处理。
进一步的，每个采样单元中的下采样层对第一输入数据进行下采样处理后，均输出维度下降两倍的第一子特征图，每个采样单元中的上采样层对第二输入数据进行上采样处理后，均输出维度扩大两倍的第四子特征图。作为示例，训练样本图像中的噪声图像的大小为480*460，且是3通道，将其表示为3*480*460，第一特征提取模块包括4个采样单元，以第4个采样单元的数据处理过程为例进行说明，其下采样层4的输入为3*60*80的第一输入数据，下采样层4对输入的该3*60*80的第一输入数据进行下采样处理，输出3*30*40的第一子特征图；第一全连接层4对输入的该3*30*40的第一子特征图进行特征提取处理，输出3*1200*1的第一特征图；第一变换层4对输入的该3*1200*1第一特征图进行维度变换处理，输出3*30*40的第二子特征图；第一相加层4对输入的3*30*40的第一子特征图和3*30*40的第二子特征图进行第一合并处理，输出3*30*40的第三子特征图；上采样层4对输入的该3*30*40的第三子特征图(即第二输入数据)进行上采样处理，输出3*60*80的第四子特征图；第一卷积层4对输入的该3*60*80的第四子特征图进行降维处理和通道变换处理得到64*30*40的第二特征图，即第二特征图为64通道。
由此，通过第一特征提取模块基于输入的训练样本图像中的噪声图像生成了第一特征图和第二特征图。为了更好的拉近像素级的表征，提升图像的去噪效果，本申请实施例中通过图像生成模块根据第一特征图和第二特征图生成噪声图像对应的生成图像。具体的，如图2所示，图像生成模块包括第一池化层，以及依次相连的正则化处理层、第二变换层(第二Reshape层)、支路单元、合并层(Concat层)、第四卷积层(例如3*3的卷积)和DCGAN网络(即深度卷积生成对抗网络)；支路单元包括第二卷积层(例如3*3的卷积)，以及依次相连的第三卷积层(例如3*3的卷积)、相乘层和第二相加层。
其中，第一池化层的输入分别连接每个第一卷积层的输出，第一池化层的输出连接相乘层的输入，第一池化层可以为全局最大池化层。正则化处理层的输入分别连接每个第一全连接层的输出。第二变换层的输出分别连接第二卷积层的输入和第三卷积层的输入。合并层的输入分别连接第二相加层的输出和第二卷积层的输出。DCGAN网络输出生成图像，DCGAN网络可以是预训练的网络，对于其训练过程可参考现有方式，对此本申请不做具体限定。
与图像生成模块的结构相对应的，上述根据第一特征图和第二特征图生成噪声图像对应的生成图像，可以包括：
通过正则化处理层对第一特征图进行正则化处理，得到第四特征图；
通过第二变换层对第四特征图进行变换处理，得到第五特征图；
通过第三卷积层对第五特征图进行特征提取处理，得到第六特征图；
通过第一池化层对M通道的第二特征图进行压缩处理，得到M个权重；M为正整数；
通过相乘层对第六特征图和M个权重进行相乘处理，得到第七特征图；
通过第二相加层对第七特征图和第二特征图进行第一合并处理，得到第八特征图；
通过第二卷积层对第五特征图进行特征提取处理和通道变换处理，得到第九特征图；
通过合并层对第八特征图和第九特征图进行第二合并处理，得到第十特征图；
通过第四卷积层对第十特征图进行通道变换处理，得到第十一特征图；
通过DCGAN网络根据第十一特征图生成噪声图像对应的生成图像，输出生成图像和生成图像的第三评价分数。
其中，第一池化层对M通道的第二特征图进行压缩处理，输出M个1*1的向量，即M个数值，将该M个数值确定为M个权重。DCGAN网络包括判别器，该判别器可以生成第三评价分数，该第三评价分数用于表征生成图像是标准去噪图像的概率；第三评价分数越高，表征生成图像是标准去噪图像的概率越大，反之越小。第二合并处理可以是通道的拼接处理。
序接前述示例，正则化处理层对输入的3*1200*1的第一特征图进行正则化处理，输出3*1200*1的第四特征图，该第四特征图的像素值与第一特征图的像素值不同；第二变换层对输入的3*1200*1的第四特征图进行变换处理(即维度变换处理)，输出3*30*40的第五特征图；第三卷积层对输入的3*30*40的第五特征图进行特征提取处理，输出3*30*40的第六特征图；第一池化层对输入的64通道的30*40第二特征图进行压缩处理，输出64个权重；相乘层对输入的3*30*40第六特征图和64个权重进行相乘处理，输出64*30*40第七特征图；第二相加层对输入的64*30*40第七特征图和64*30*40的第二特征图进行第一合并处理(即相同像素点的像素值相加)，输出64*30*40第八特征图；第二卷积层对输入的3*30*40第五特征图进行特征提取处理和通道变换处理，输出64*30*40的第九特征图；合并层对输入的64*30*40的第八特征图和64*30*40的第九特征图进行第二合并处理(即通道拼接)，输出128*30*40的第十特征图；第四卷积层对输入的128*30*40的第十特征图进行通道变换处理，输出64*30*40的第十一特征图；DCGAN网络根据输入的64*30*40的第十一特征图生成3*480*460的生成图像。
由此，通过图像生成模块生成了训练样本图像中噪声图像对应的生成图像，从而可基于生成图像进行关键点检测，并基于检测结果确定目标损失值，进而优化模型参数。具体的，如图2所示，关键点检测模块包括检测层；生成图像和标准去噪图像中包括人脸，上述对标准去噪图像进行关键点检测处理得到第一Gram矩阵，以及对生成图像进行关键点检测处理得到第二Gram矩阵，可以为通过检测层执行以下操作：
根据预设关键点检测算法对标准去噪图像进行关键点检测处理，得到左眼区域、右眼区域、鼻子区域和嘴巴区域；
根据预设关键点检测算法对生成图像进行关键点检测处理，得到左眼图像、右眼图像、鼻子图像和嘴巴图像；
对标准去噪图像的左眼区域、右眼区域、鼻子区域和嘴巴区域进行转换处理，得到第一Gram矩阵；
对生成图像的左眼区域、右眼区域、鼻子区域和嘴巴区域进行转换处理，得到第二Gram矩阵。
其中，转换处理的过程可参考现有的转换方式，对此本申请中不再详述。
通过获取第一Gram矩阵和第二Gram矩阵，可以根据其进行相应损失值的计算，以使生成图像对应的训练样本图像与其标准去噪图像的纹理上更加接近。
进一步的，如图2所示，后处理模块包括第九卷积层，该第九卷积层对第一个采样单元中的上采样层输出的第三特征图进行平滑处理，输出去噪图像。该第九卷积层可以是3*3的卷积。
以上是图像去噪网络的结构及其图像处理过程，下面对图像质量评价网络的结构和图像处理过程进行描述。具体的，如图3所示，图像质量评价网络包括依次相连的第五卷积层、第六卷积层、第三相加层、第二特征提取模块、第二池化层、第二全连接层和第三全连接层。其中，第五卷积层的输入包括训练样本图像，第五卷积层的输出还连接第三相加层的输入；第三全连接层输出第一评价分数；第五卷积层和第六卷积层均可以为3*3的卷积，且通道数均为64，第二池化层可以为全局池化层。
与之相对应的，前述对噪声图像进行质量评价处理得到噪声图像的第一评价分数，可以包括：
通过第五卷积层对训练样本图像中的噪声图像进行通道变换处理，得到第十二特征图；
通过第六卷积层对第十二特征图进行特征提取处理，得到第十三特征图；
通过第三相加层对第十二特征图和第十三特征图进行第一合并处理，得到第十四特征图；
通过第二特征提取模块对第十四特征图进行特征提取处理，得到第十五特征图；
通过第二池化层对第十五特征图进行转换处理，得到第十六特征图；
通过第二全连接层对第十六特征图进行转换处理，得到第十七特征图；
通过第三全连接层对第十七特征图进行转换处理，得到第一评价分数。
以第二全连接层包括64个神经元，第三全连接层包括1个神经元为例进行说明，序接前述示例，第五卷积层对输入的3*480*640的噪声图像进行通道变换处理，输出64*480*640的第十二特征图；第六卷积层对输入的64*480*640的第十二特征图进行特征提取处理，输出64*480*640的第十三特征图；第三相加层对输入的64*480*640的第十二特征图和64*480*640的第十三特征图进行第一合并处理，输出64*480*640的第十四特征图；第二特征提取模块对输入的64*480*640的第十四特征图进行特征提取处理，输出64*480*640第十五特征图；第二池化层对输入的64*480*640的第十五特征图进行转换处理，输出1*1的第十六特征图；第二全连接层对输入的1*1的第十六特征图进行转换处理，输出64*1的第十七特征图；第三全连接层对输入的64*1的第十七特征图进行转换处理，输出第一评价分数。可以理解的是，第三全连接层对输入的64*1的第十七特征图进行转换处理，输出1*1的向量，即一个数值，该数值即为第一评价分数。
进一步的，如图3所示，第二特征提取模块包括依次相连的P个提取单元；该P个提取单元中的第j个提取单元包括依次相连的第三池化层、第七卷积层、第八卷积层和第四相加层；
其中，P为正整数，j为小于或等于P等正整数；第七卷积层的输出还连接第四相加层的输入；当j等于1时，第j个提取单元的第三池化层的输入连接第三相加层的输出；当j大于1时，第j个提取单元的第三池化层的输入连接第j-1个提取单元的输出。在一种实施方式中，P可以为4。
与第二特征提取模块的结构相对应的，前述通过第二特征提取模块对第十四特征图进行特征提取处理，得到第十五特征图，可以包括：
通过第三池化层对第三输入数据进行降维处理，得到第六子特征图；
通过第七卷积层对第六子特征图进行维度变换处理，得到第七子特征图；
通过第八卷积层对第七子特征图进行特征提取处理，得到第八子特征图；
通过第四相加层对第七子特征图和第八子特征图进行第一合并处理，得到第九子特征图或第十五特征图；
其中，P个提取单元对应P个排列序号，排列序号最小的提取单元中的第三池化层的第三输入数据为第十四特征图，排列序号不是最小的提取单元中的第三池化层的第三输入数据为前一个提取单元输出的第九子特征图；排序序号最大的提取单元输出第十五特征图。
以提取单元1(即第一个提取单元)为例进行说明，序接前述示例，提取单元1的第三池化层对输入的64*480*640的第十四特征图(即第三输入数据)进行降维处理，输出64*240*320的第六子特征图；提取单元1的第七卷积层对输入的64*240*320的第六子特征图进行维度变换处理，输出64*480*640的第七子特征图；提取单元1的第八卷积层对输入的64*480*640的第七子特征图进行特征提取处理，得到64*480*640的第八子特征图；提取单元1的第四相加层对输入的64*480*640的第七子特征图和64*480*640的第八子特征图进行第一合并处理，输出64*480*640的第九子特征图。
以上通过图像去噪网络得到去噪图像、生成图像、第一Gram矩阵和第二Gram矩阵，并通过图像质量评价网络得到第一评价分数后，即可基于确定的目标损失函数进行目标损失值的计算。具体的，前述根据标准去噪图像、去噪图像、生成图像、第一Gram矩阵、第二Gram矩阵和第一评价分数，确定目标损失值之前，方法还可以包括：
根据去噪图像和标准去噪图像，确定第一损失函数；根据标准去噪图像和生成图像，确定第二损失函数；根据第三评价分数，确定第三损失函数；根据第一Gram矩阵和第二Gram矩阵，确定第四损失函数；根据第一评价分数和训练样本图像的标签中的第二评价分数，确定第五损失函数；根据第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数，确定目标损失函数；
与之对应的，根据标准去噪图像、去噪图像、生成图像、第一Gram矩阵、第二Gram矩阵和第一评价分数，确定目标损失值，可以包括：基于目标损失函数，根据标准去噪图像、去噪图像、生成图像、第一Gram矩阵、第二Gram矩阵和第一评价分数，确定目标损失值。
其中，基于目标损失函数，根据标准去噪图像、去噪图像、生成图像、第一Gram矩阵、第二Gram矩阵和第一评价分数，确定目标损失值，可以首先根据第一损失函数，基于去噪图像和标准去噪图像计算第一损失值；根据第二损失函数，基于标准去噪图像和生成图像计算第二损失值；根据第三损失函数，基于第三评价分数计算第三损失值；根据第四损失函数，基于第一Gram矩阵和第二Gram矩阵计算第四损失值；根据第五损失函数，基于第一评价分数和噪声图像的标签中的第二评价分数计算第五损失值；然后根据目标损失函数，基于第一损失值、第二损失值、第三损失值、第四损失值和第五损失值计算目标损失值。
在一种实施方式中，上述第一损失函数可以表示为：Loss1＝||HR-LR||1；其中，Loss1表示第一损失值，HR表示训练样本图像的标签中的标准去噪图像，LR表示对训练样本图像进行去噪处理得到去噪图像，||HR-LR||1表示计算标准去噪图像与去噪图像的相同像素点之间的欧式距离。
在一种实施方式中，上述第二损失函数可以表示为：Loss2＝||HR-DR||1；其中，Loss2表示第二损失值，HR表示训练样本图像的标签中的标准去噪图像，DR表示通过图像生成模块生成的训练样本图像对应的生成图像，||HR-DR||1表示计算标准去噪图像与生成图像的相同像素点之间的欧式距离。
在一种实施方式中，上述第三损失函数可以表示为：Loss3＝-log(eGR+1)；其中，Loss3表示第三损失值，GR表示生成图像的第三评价分数，e是自然常数。第三损失函数能够使得生成图像中的人脸更加真实。
在一种实施方式中，上述第四损失函数可以表示为：其中，Loss4表示第四损失值，gram(HR)表示标准去噪图像HR的第一Gram矩阵，gram(DR)表示生成图像DR的第二Gram矩阵，e是自然常数；(gram(HR)-gram(DR))1表示首先将第一Gram矩阵与第二Gram矩阵相减得到缪目标矩阵，然后取目标矩阵中各元素的平均值。由于Gram矩阵可把握整个图像的大体风格，因此通过第四损失函数可以度量两个图像的大体风格的差异，从而使得生成图像DR中的人脸更接近真实的人脸特征风格。
在一种实施方式中，上述第五损失函数可以表示为：Loss5＝(IQA-mos)2；其中，Loss5表示第五损失值，IQA表示训练样本图像的标签中的第二评价分数，mos表示图像质量评价网络得到的第一评价分数。
在一种实施方式中，上述目标损失函数可以表示为：Loss6＝Loss1+Loss2+Loss3+Loss4+Loss5；其中，Loss6表示目标损失值。
需要指出的是，上述目标损失值的计算操作可以在待训练模型内执行，也可以在待训练模型外执行。当目标损失值的计算操作在待训练模型内执行时，待训练模型还包括损失计算层，该损失计算层的输入分别连接图像处理网络的输出和质量评价网络的输出，该损失计算层用于按照上述方式计算目标损失值并输出该目标损失值。
本申请实施例中的上述各损失函数可以有效的监督待训练模型的循环训练，在保障图像整体质量的基础上，提升模型的局部去噪效果。需要指出的是，上述各损失函数仅用于示例而不用于限定，可以在实际应用中根据需要自行调整，例如Loss6可以是对Loss1至Loss5的线性加权等。
本申请一个或多个实施例中，待训练模型包括图像去噪网络和图像质量评价网络的，在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
对应上述描述的图像去噪模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种图像去噪方法，图4为本申请一个或多个实施例提供的一种图像去噪方法的流程示意图，图4中的方法能够由图像去噪装置执行；该图像去噪装置可以设置于终端设备中，也可以设置于服务端中。其中，终端设备可以是手机、平板电脑、台式计算机、便携式笔记本等；服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群。如图4所示，该方法包括以下步骤：
步骤S202，获取待处理的噪声图像；
步骤S204，将噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像。
其中，图像去噪模型根据前述实施例提供的图像去噪模型的训练方法训练得到。图像去噪模型的目标图像去噪网络可以包括第一特征提取模块和后处理模块；相应的，步骤S204可以包括：
将噪声图像输入第一特征提取模块中进行特征提取处理，得到第三特征图；将第三特征图输入后处理模块中进行平滑处理得到目标去噪图像。
本申请实施例中，由于对噪声图像进行去噪处理所使用的图像去噪模型，是对包括图像去噪网络和图像质量评价网络的待训练模型训练得到，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。也就是说，对待训练模型进行训练得到的图像去噪模型具有更好的去噪效果，因此通过该图像去噪模型对噪声图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
对应上述描述的图像去噪模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供一种图像去噪模型的训练装置。图5为本申请一个或多个实施例提供的一种图像去噪模型的训练装置的模块组成示意图，如图5所示，该装置包括：
获取模块301，用于获取多个待训练的训练样本图像；
训练模块302，用于将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
本申请实施例提供的图像去噪模型的训练装置，将获取的训练样本图像输入待训练模型中进行训练处理得到图像去噪模型；其中，待训练模型包括图像去噪网络和图像质量评价网络，且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
需要说明的是，本申请中关于图像去噪模型的训练装置的实施例与本申请中关于图像去噪模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像去噪模型的训练方法的实施，重复之处不再赘述。
进一步的，对应上述描述的图像去噪方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种图像去噪装置。图6为本申请一个或多个实施例提供的一种图像去噪装置的模块组成示意图，如图6所示，该装置包括：
获取模块401，用于获取待处理的噪声图像；
去噪模块402，用于将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据本申请前述实施例提供的图像去噪模型的训练方法训练得到。
本申请实施例提供的图像去噪装置，由于对噪声图像进行去噪处理时所使用的图像去噪模型，是对包括图像去噪网络和图像质量评价网络的待训练模型训练得到，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。也就是说，对待训练模型进行训练得到的图像去噪模型具有更好的去噪效果，因此通过该图像去噪模型对噪声图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
需要说明的是，本申请中关于图像去噪装置的实施例与本申请中关于图像去噪方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像去噪方法的实施，重复之处不再赘述。
进一步地，对应上述描述的图像去噪模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供一种电子设备，该电子设备用于执行上述的图像去噪模型的训练方法，图7为本申请一个或多个实施例提供的一种电子设备的结构示意图。
如图7所示，电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器501和存储器502，存储器502中可以存储有一个或一个以上存储应用程序或数据。其中，存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地，处理器501可以设置为与存储器502通信，在电子设备上执行存储器502中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源503，一个或一个以上有线或无线网络接口504，一个或一个以上输入输出接口505，一个或一个以上键盘506等。
在一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取多个待训练的训练样本图像；
将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
本申请一个或多个实施例提供的电子设备，将获取的训练样本图像输入待训练模型中，利用目标损失值对待训练模型进行迭代训练处理得到图像去噪模型；其中，待训练模型包括图像去噪网络和图像质量评价网络的，在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
在另一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取待处理的噪声图像；
将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据前述实施例提供的图像去噪模型的训练方法训练得到。
本申请实施例提供的电子设备，由于对噪声图像进行去噪处理所使用的图像去噪模型，是对包括图像去噪网络和图像质量评价网络的待训练模型训练得到，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。也就是说，对待训练模型进行训练得到的图像去噪模型具有更好的去噪效果，因此通过该图像去噪模型对噪声图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
需要说明的是，本申请中关于电子设备的实施例与本申请中关于图像去噪模型的训练方法及图像去噪方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像去噪模型的训练方法及图像去噪方法的实施，重复之处不再赘述。
进一步地，对应上述描述的图像去噪模型的训练方法，基于相同的技术构思，本申请一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取多个待训练的训练样本图像；
将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，将获取的训练样本图像输入待训练模型中进行训练处理得到图像去噪模型；其中，待训练模型包括图像去噪网络和图像质量评价网络，且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。由此，对待训练模型进行训练可以得到去噪效果更好的图像去噪模型，并且通过该图像去噪模型对图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
在另一个具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取待处理的噪声图像；
将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据前述实施例提供的图像去噪模型的训练方法训练得到。
本申请一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，由于对噪声图像进行去噪处理所使用的图像去噪模型，是对包括图像去噪网络和图像质量评价网络的待训练模型训练得到，并且在对待训练模型的训练过程中，通过图像去噪网络对训练样本图像进行去噪处理得到去噪图像，并生成训练样本图像的生成图像；通过图像质量评价网络得到训练样本图像的第一评价分数；以及根据训练样本图像、去噪图像、生成图像和第一评价分数确定目标损失值，并基于目标损失值对待训练模型的模型参数进行调整；一方面能够通过第一评价分数为图像去噪网络提供训练样本图像的整体模糊程度，指导图像去噪网络进行去噪处理，提升去噪效果；另一方面，由于生成图像具有较高的图像质量，因此能够基于生成图像拉近图像的像素级表征，进一步提升去噪效果。也就是说，对待训练模型进行训练得到的图像去噪模型具有更好的去噪效果，因此通过该图像去噪模型对噪声图像进行去噪处理，能够在保障图像整体质量的基础上，提升局部去噪效果。
需要说明的是，本申请中关于存储介质的实施例与本申请中关于图像去噪模型的训练方法及图像去噪方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的图像去噪模型的训练方法及图像去噪方法的实施，重复之处不再赘述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (14)

1.一种图像去噪模型的训练方法，其特征在于，包括：
获取多个训练样本图像；
将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
2.根据权利要求1所述的方法，其特征在于，所述训练样本图像包括噪声图像和所述噪声图像对应的标准去噪图像；所述图像去噪网络包括第一特征提取模块、图像生成模块、后处理模块和关键点检测模块；
其中，所述第一特征提取模块，用于对所述噪声图像进行特征提取处理得到第一特征图，以及对所述第一特征图进行第一图像处理得到第二特征图，对所述第一特征图进行第二图像处理得到第三特征图；所述图像生成模块，用于根据所述第一特征图和所述第二特征图生成所述生成图像；所述后处理模块，用于对所述第三特征图进行平滑处理得到所述去噪图像；所述关键点检测模块，用于对所述标准去噪图像进行关键点检测处理得到第一Gram矩阵，以及对所述生成图像进行关键点检测处理得到第二Gram矩阵；
所述通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值，包括：通过所述图像质量评价网络对所述噪声图像进行质量评价处理，得到所述噪声图像的第一评价分数；根据所述标准去噪图像、所述去噪图像、所述生成图像、所述第一Gram矩阵、所述第二Gram矩阵和所述第一评价分数，确定目标损失值。
3.根据权利要求2所述的方法，其特征在于，所述第一特征提取模块包括依次相连的N个采样单元；所述N个采样单元中的第i个采样单元包括依次相连的下采样层、第一全连接层、第一变换层、第一相加层、上采样层和第一卷积层；N为正整数，i为小于或等于N的正整数；
当i大于1时，所述第i个采样单元中的下采样层的输入连接第i-1个采样单元中的下采样层的输出；
当i小于N时，所述第i个采样单元中的第一相加层的输入还连接第i+1个采样单元中的上采样层的输出；
所述下采样层的输出还连接所述第一相加层的输入，所述第一全连接层输出所述第一特征图，所述第一卷积层输出所述第二特征图，第一个所述采样单元中的上采样层输出所述第三特征图。
4.根据权利要求3所述的方法，其特征在于，所述图像生成模块包括第一池化层，以及依次相连的正则化处理层、第二变换层、支路单元、合并层、第四卷积层和DCGAN网络；所述支路单元包括第二卷积层，以及依次相连的第三卷积层、相乘层和第二相加层；
所述第一池化层的输入分别连接每个所述第一卷积层的输出，所述第一池化层的输出连接所述相乘层的输入；所述正则化处理层的输入分别连接每个所述第一全连接层的输出；所述第二变换层的输出分别连接所述第二卷积层的输入和所述第三卷积层的输入；所述合并层的输入分别连接所述第二相加层的输出和所述第二卷积层的输出；所述DCGAN网络输出所述生成图像。
5.根据权利要求2所述的方法，其特征在于，所述标准去噪图像和所述生成图像中包括人脸；所述对所述标准去噪图像进行关键点检测处理得到第一Gram矩阵，以及对所述生成图像进行关键点检测处理得到第二Gram矩阵，包括：
根据预设关键点检测算法对所述标准去噪图像进行关键点检测处理，得到左眼区域、右眼区域、鼻子区域和嘴巴区域；
根据所述预设关键点检测算法对所述生成图像进行关键点检测处理，得到左眼图像、右眼图像、鼻子图像和嘴巴图像；
对所述标准去噪图像的左眼区域、右眼区域、鼻子区域和嘴巴区域进行转换处理，得到第一Gram矩阵；
对所述生成图像的左眼区域、右眼区域、鼻子区域和嘴巴区域进行转换处理，得到第二Gram矩阵。
6.根据权利要求1所述的方法，其特征在于，所述图像质量评价网络包括依次相连的第五卷积层、第六卷积层、第三相加层、第二特征提取模块、第二池化层、第二全连接层和第三全连接层；
所述第五卷积层的输入包括所述训练样本图像，所述第五卷积层的输出还连接所述第三相加层的输入；所述第三全连接层输出所述第一评价分数。
7.根据权利要求6所述的方法，其特征在于，所述第二特征提取模块包括依次相连的P个提取单元；所述P个提取单元中的第j个提取单元包括依次相连的第三池化层、第七卷积层、第八卷积层和第四相加层；P为正整数，j为小于或等于P等正整数；
所述第七卷积层的输出还连接所述第四相加层的输入；
当j等于1时，所述第j个提取单元的第三池化层的输入连接所述第三相加层的输出；当j大于1时，所述第j个提取单元的第三池化层的输入连接第j-1个提取单元的输出。
8.根据权利要求2所述的方法，其特征在于，所述噪声图像的标签中包括所述噪声图像的第二评价分数；所述图像生成模块还输出所述生成图像的第三评价分数；所述根据所述标准去噪图像、所述去噪图像、所述生成图像、所述第一Gram矩阵、所述第二Gram矩阵和所述第一评价分数，确定目标损失值之前，所述方法还包括：
根据所述去噪图像和所述标准去噪图像，确定第一损失函数；
根据所述标准去噪图像和所述生成图像，确定第二损失函数；
根据所述第三评价分数，确定第三损失函数；
根据所述第一Gram矩阵和所述第二Gram矩阵，确定第四损失函数；
根据所述第一评价分数和所述第二评价分数，确定第五损失函数；
根据所述第一损失函数、所述第二损失函数、所述第三损失函数、所述第四损失函数和所述第五损失函数，确定所述目标损失函数；
所述根据所述标准去噪图像、所述去噪图像、所述生成图像、所述第一Gram矩阵、所述第二Gram矩阵和所述第一评价分数，确定目标损失值，包括：基于所述目标损失函数，根据所述标准去噪图像、所述去噪图像、所述生成图像、所述第一Gram矩阵、所述第二Gram矩阵和所述第一评价分数，确定目标损失值。
9.一种图像去噪方法，其特征在于，包括：
获取待处理的噪声图像；
将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据权利要求1-8任一项所述的图像去噪模型的训练方法训练得到。
10.根据权利要求9所述的方法，其特征在于，所述目标图像去噪网络包括第一特征提取模块和后处理模块；所述将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像，包括：
将所述噪声图像输入所述第一特征提取模块中进行特征提取处理，得到第三特征图；
将所述第三特征图输入所述后处理模块中进行平滑处理得到目标去噪图像。
11.一种图像去噪模型的训练装置，其特征在于，包括：
获取模块，用于获取多个待训练的训练样本图像；
训练模块，用于将所述训练样本图像输入待训练模型中进行训练处理，得到图像去噪模型；
其中，所述待训练模型包括图像去噪网络和图像质量评价网络，所述训练处理包括：通过所述图像去噪网络对所述训练样本图像进行去噪处理得到去噪图像，并生成所述训练样本图像的生成图像；通过所述图像质量评价网络对所述训练样本图像进行质量评价处理，得到所述训练样本图像的第一评价分数；根据所述训练样本图像、所述去噪图像、所述生成图像和所述第一评价分数，确定目标损失值；基于所述目标损失值对所述待训练模型的模型参数进行调整。
12.一种图像去噪装置，其特征在于，包括：
获取模块，用于获取待处理的噪声图像；
去噪模块，用于将所述噪声图像输入图像去噪模型的目标图像去噪网络中进行去噪处理，得到目标去噪图像；所述图像去噪模型根据权利要求1-8任一项所述的图像去噪模型的训练方法训练得到。
13.一种电子设备，其特征在于，包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如权利要求1-8任一项所述的图像去噪模型的训练方法中的步骤，或者所述可执行指令包括用于执行如权利要求9-10任一项所述的图像去噪方法中的步骤。
14.一种存储介质，其特征在于，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如权利要求1-8任一项所述的图像去噪模型的训练方法，或者所述可执行指令使得计算机执行如权利要求9-10任一项所述的图像去噪方法。
CN202210446630.6A 2022-04-26 2022-04-26 图像去噪模型的训练方法、图像去噪方法及装置 Pending CN117011149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210446630.6A CN117011149A (zh) 2022-04-26 2022-04-26 图像去噪模型的训练方法、图像去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210446630.6A CN117011149A (zh) 2022-04-26 2022-04-26 图像去噪模型的训练方法、图像去噪方法及装置

Publications (1)

Publication Number Publication Date
CN117011149A true CN117011149A (zh) 2023-11-07

Family

ID=88573127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210446630.6A Pending CN117011149A (zh) 2022-04-26 2022-04-26 图像去噪模型的训练方法、图像去噪方法及装置

Country Status (1)

Country Link
CN (1) CN117011149A (zh)

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
TWI753327B (zh) 圖像處理方法、處理器、電子設備與電腦可讀存儲介質
WO2022017025A1 (zh) 图像处理方法、装置、存储介质以及电子设备
CN108765334A (zh) 一种图像去噪方法、装置以及电子设备
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
Zuo et al. Convolutional neural networks for image denoising and restoration
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN111444807B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN117392485B (zh) 图像生成模型训练方法、业务执行方法、装置及介质
CN114445904A (zh) 基于全卷积神经网络的虹膜分割方法和装置、介质和设备
WO2022061726A1 (en) Method and system of multiple facial attributes recognition using highly efficient neural networks
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
CN115830633B (zh) 基于多任务学习残差神经网络的行人重识别方法和系统
CN116682076A (zh) 面向船舶安全监管的多尺度目标检测方法、系统及设备
CN117612269A (zh) 一种生物攻击检测方法、装置及设备
CN116912923A (zh) 一种图像识别模型训练方法和装置
CN117079777A (zh) 一种医学影像的补全方法、装置、存储介质及电子设备
CN117496990A (zh) 语音去噪方法、装置、计算机设备及存储介质
CN117011149A (zh) 图像去噪模型的训练方法、图像去噪方法及装置
CN116503953A (zh) 基于二分自注意力的人体姿态估计方法、系统及装置
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN112418388A (zh) 一种实现深度卷积神经网络处理的方法及装置
CN117011622A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN118211132B (zh) 一种基于点云的三维人体表面数据生成方法及装置
CN114897700B (zh) 图像优化方法、校正模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination