CN118154445A - 图像增强模型的训练方法、图像增强方法和装置 - Google Patents

图像增强模型的训练方法、图像增强方法和装置 Download PDF

Info

Publication number
CN118154445A
CN118154445A CN202410130306.2A CN202410130306A CN118154445A CN 118154445 A CN118154445 A CN 118154445A CN 202410130306 A CN202410130306 A CN 202410130306A CN 118154445 A CN118154445 A CN 118154445A
Authority
CN
China
Prior art keywords
image
network
edge
trained
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410130306.2A
Other languages
English (en)
Inventor
周雅
孙明
周超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202410130306.2A priority Critical patent/CN118154445A/zh
Publication of CN118154445A publication Critical patent/CN118154445A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本公开关于一种图像增强模型的训练方法、图像增强方法、装置、电子设备、存储介质和计算机程序产品。该方法包括：获取样本图像的原始灰度图；将原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络，得到初始特征图；将初始特征图输入待训练的边缘感知网络，得到边缘特征图；将边缘特征图输入待训练的第二卷积网络，得到目标特征图；将目标特征图和原始灰度图进行融合处理，得到预测增强灰度图；根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型。采用本方法，能够在显著提升图像清晰度的同时，提高图像增强效率。

Description

图像增强模型的训练方法、图像增强方法和装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像增强模型的训练方法、图像增强方法、装置、电子设备、存储介质和计算机程序产品。
背景技术
随着深度学习技术的发展，在图像增强领域中有许许多多深度学习算法应运而生；相比于大多数传统算法，深度学习算法能给图像增强领域带来更领先的效果、更高的鲁棒性和更强的泛化性。
相关技术中，目前的图像增强方法，主要是通过部署在GPU(GraphicalProcessing Unit，图形处理单元)上的深度学习模型来对图像进行增强处理；但是，该类模型是大模型，其网络复杂度高，且计算量大，导致图像增强效率较低。
发明内容
本公开提供一种图像增强模型的训练方法、图像增强方法、装置、电子设备、存储介质和计算机程序产品，以至少解决相关技术中图像增强效率较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像增强模型的训练方法，包括：
获取样本图像的原始灰度图；
将所述原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到所述原始灰度图的初始特征图；所述待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络；
将所述初始特征图输入所述待训练的边缘感知网络中进行边缘检测处理，得到所述原始灰度图的边缘特征图；
将所述边缘特征图输入所述待训练的第二卷积网络中进行第二特征提取处理，得到所述原始灰度图的目标特征图；
将所述目标特征图和所述原始灰度图进行融合处理，得到所述原始灰度图对应的预测增强灰度图；
根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型。
在一示例性实施例中，所述待训练的边缘感知网络包括多个边缘检测网络，所述多个边缘检测网络至少包括水平方向边缘检测网络和垂直方向边缘检测网络；
所述将所述初始特征图输入所述待训练的边缘感知网络中进行边缘检测处理，得到所述原始灰度图的边缘特征图，包括：
将所述初始特征图输入所述多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图；
对所述多个不同的初始边缘特征图进行融合处理，得到所述原始灰度图的边缘特征图。
在一示例性实施例中，在根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型之前，还包括：
对所述实际增强灰度图进行第一模糊处理，得到所述实际增强灰度图的灰度模糊图；
将所述灰度模糊图输入所述水平方向边缘检测网络中的水平方向边缘检测模块进行水平方向的边缘检测处理，得到所述实际增强灰度图的水平方向边缘图，以及将所述灰度模糊图输入所述垂直方向边缘检测网络中的垂直方向边缘检测模块进行垂直方向的边缘检测处理，得到所述实际增强灰度图的垂直方向边缘图；
对所述水平方向边缘图和所述垂直方向边缘图进行融合处理，得到所述实际增强灰度图的融合边缘图；
对所述融合边缘图进行第二模糊处理，得到所述边缘权重图。
在一示例性实施例中，所述根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型，包括：
根据所述边缘权重图中各像素点对应的边缘权重，对所述预测增强灰度图中与所述各像素点对应的像素点灰度值和所述实际增强灰度图中与所述各像素点对应的像素点灰度值之间的差异进行融合处理，得到损失值；
根据所述损失值，对所述待训练的图像增强模型进行迭代训练，直到达到训练结束条件；
将达到所述训练结束条件的训练后的图像增强模型，作为所述训练完成的图像增强模型。
在一示例性实施例中，在根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型之后，还包括：
将所述训练完成的图像增强模型中的训练后的边缘感知网络，更新为与所述训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型；所述图像处理网络具有所述训练后的边缘感知网络的网络特性，且所述图像处理网络的网络复杂度小于所述训练后的边缘感知网络的网络复杂度。
在一示例性实施例中，在将所述训练完成的图像增强模型中的训练后的边缘感知网络，更新为与所述训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型之前，还包括：
获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；
将各个所述第一网络参数进行融合处理，得到第一目标网络参数，以及将各个所述第二网络参数进行融合处理，得到第二目标网络参数；
构建与所述第一目标网络参数和所述第二目标网络参数均匹配的图像处理网络，作为与所述训练后的边缘感知网络匹配的图像处理网络。
在一示例性实施例中，所述获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数，包括：
分别获取各个边缘检测网络中的第一子网络参数和第二子网络参数；
对所述各个边缘检测网络中的第一子网络参数进行融合处理，得到所述各个边缘检测网络的第一网络参数，以及对所述各个边缘检测网络中的第二子网络参数进行融合处理，得到所述各个边缘检测网络的第二网络参数。
根据本公开实施例的第二方面，提供一种图像增强方法，包括：
获取待处理图像的初始灰度图和初始色度图；
将所述初始灰度图输入目标图像增强模型，得到所述初始灰度图对应的增强灰度图；所述目标图像增强模型通过对训练完成的图像增强模型中的训练后的边缘感知网络进行更新得到，所述训练完成的图像增强模型根据第一方面的任一项实施例中所述的图像增强模型的训练方法得到；
对所述增强灰度图和所述初始色度图进行颜色转换处理，得到所述待处理图像的增强图像。
在一示例性实施例中，所述将所述初始灰度图输入目标图像增强模型，得到所述初始灰度图对应的增强灰度图，包括：
通过目标图像增强模型对所述初始灰度图进行第一特征提取处理，得到所述初始灰度图的初始特征图；
对所述初始灰度图的初始特征图进行边缘检测处理，得到所述初始灰度图的边缘特征图；
对所述初始灰度图的边缘特征图进行第二特征提取处理，得到所述初始灰度图的目标特征图；
将所述初始灰度图的目标特征图和所述初始灰度图进行融合处理，得到所述初始灰度图对应的增强灰度图。
根据本公开实施例的第三方面，提供一种图像增强模型的训练装置，包括：
样本获取单元，被配置为执行获取样本图像的原始灰度图；
第一提取单元，被配置为执行将所述原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到所述原始灰度图的初始特征图；所述待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络；
边缘检测单元，被配置为执行将所述初始特征图输入所述待训练的边缘感知网络中进行边缘检测处理，得到所述原始灰度图的边缘特征图；
第二提取单元，被配置为执行将所述边缘特征图输入所述待训练的第二卷积网络中进行第二特征提取处理，得到所述原始灰度图的目标特征图；
融合处理单元，被配置为执行将所述目标特征图和所述原始灰度图进行融合处理，得到所述原始灰度图对应的预测增强灰度图；
模型训练单元，被配置为执行根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型。
在一示例性实施例中，所述待训练的边缘感知网络包括多个边缘检测网络，所述多个边缘检测网络至少包括水平方向边缘检测网络和垂直方向边缘检测网络；
所述边缘检测单元，还被配置为执行将所述初始特征图输入所述多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图；对所述多个不同的初始边缘特征图进行融合处理，得到所述原始灰度图的边缘特征图。
在一示例性实施例中，所述装置还包括权重图获取单元，被配置为执行对所述实际增强灰度图进行第一模糊处理，得到所述实际增强灰度图的灰度模糊图；将所述灰度模糊图输入所述水平方向边缘检测网络中的水平方向边缘检测模块进行水平方向的边缘检测处理，得到所述实际增强灰度图的水平方向边缘图，以及将所述灰度模糊图输入所述垂直方向边缘检测网络中的垂直方向边缘检测模块进行垂直方向的边缘检测处理，得到所述实际增强灰度图的垂直方向边缘图；对所述水平方向边缘图和所述垂直方向边缘图进行融合处理，得到所述实际增强灰度图的融合边缘图；对所述融合边缘图进行第二模糊处理，得到所述边缘权重图。
在一示例性实施例中，所述模型训练单元，还被配置为执行根据所述边缘权重图中各像素点对应的边缘权重，对所述预测增强灰度图中与所述各像素点对应的像素点灰度值和所述实际增强灰度图中与所述各像素点对应的像素点灰度值之间的差异进行融合处理，得到损失值；根据所述损失值，对所述待训练的图像增强模型进行迭代训练，直到达到训练结束条件；将达到所述训练结束条件的训练后的图像增强模型，作为所述训练完成的图像增强模型。
在一示例性实施例中，所述装置还包括模型更新单元，被配置为执行将所述训练完成的图像增强模型中的训练后的边缘感知网络，更新为与所述训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型；所述图像处理网络具有所述训练后的边缘感知网络的网络特性，且所述图像处理网络的网络复杂度小于所述训练后的边缘感知网络的网络复杂度。
在一示例性实施例中，所述装置还包括网络确定单元，被配置为执行获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；将各个所述第一网络参数进行融合处理，得到第一目标网络参数，以及将各个所述第二网络参数进行融合处理，得到第二目标网络参数；构建与所述第一目标网络参数和所述第二目标网络参数均匹配的图像处理网络，作为与所述训练后的边缘感知网络匹配的图像处理网络。
在一示例性实施例中，所述网络确定单元，还被配置为执行分别获取各个边缘检测网络中的第一子网络参数和第二子网络参数；对所述各个边缘检测网络中的第一子网络参数进行融合处理，得到所述各个边缘检测网络的第一网络参数，以及对所述各个边缘检测网络中的第二子网络参数进行融合处理，得到所述各个边缘检测网络的第二网络参数。
根据本公开实施例的第四方面，提供一种图像增强装置，包括：
图像获取单元，被配置为执行获取待处理图像的初始灰度图和初始色度图；
图像处理单元，被配置为执行将所述初始灰度图输入目标图像增强模型，得到所述初始灰度图对应的增强灰度图；所述目标图像增强模型通过对训练完成的图像增强模型中的训练后的边缘感知网络进行更新得到，所述训练完成的图像增强模型根据第一方面的任一项实施例中所述的图像增强模型的训练方法得到；
颜色转换单元，被配置为执行对所述增强灰度图和所述初始色度图进行颜色转换处理，得到所述待处理图像的增强图像。
在一示例性实施例中，所述图像处理单元，还被配置为执行通过目标图像增强模型对所述初始灰度图进行第一特征提取处理，得到所述初始灰度图的初始特征图；对所述初始灰度图的初始特征图进行边缘检测处理，得到所述初始灰度图的边缘特征图；对所述初始灰度图的边缘特征图进行第二特征提取处理，得到所述初始灰度图的目标特征图；将所述初始灰度图的目标特征图和所述初始灰度图进行融合处理，得到所述初始灰度图对应的增强灰度图。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面的任一项实施例中所述的图像增强模型的训练方法，或者第二方面的任一项实施例中所述的图像增强方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面的任一项实施例中所述的图像增强模型的训练方法，或者第二方面的任一项实施例中所述的图像增强方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如第一方面的任一项实施例中所述的图像增强模型的训练方法，或者第二方面的任一项实施例中所述的图像增强方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取样本图像的原始灰度图，并将原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到原始灰度图的初始特征图；待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络；将初始特征图输入待训练的边缘感知网络中进行边缘检测处理，得到原始灰度图的边缘特征图；将边缘特征图输入待训练的第二卷积网络中进行第二特征提取处理，得到原始灰度图的目标特征图；然后将目标特征图和原始灰度图进行融合处理，得到原始灰度图对应的预测增强灰度图，最后根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型。这样，在图像增强模型训练过程中，引入边缘感知网络来提取原始灰度图的边缘特征信息，可以帮助图像增强模型更容易学习到增强所需的图像特征；同时，引入实际增强灰度图对应的边缘权重图，可以迫使图像增强模型对于原始灰度图的边缘区域有更强的感知和关注，保证最终训练得到的初始图像增强模型能够感知图像中的边缘区域，并对不同重要程度的纹理区域进行自适应地增强，即对边缘区域的增强施以更多的感知，对非边缘区域的增强施以更少的感知，以提升图像清晰度。此外，训练完成的图像增强模型只对灰度图进行增强，而不是对原始三通道RGB图像进行增强，有利于简化图像增强模型的网络复杂度，降低图像增强模型的计算量，使得图像增强模型能够快速增强图像，从而提升了图像增强效率，进而实现了在显著提升图像清晰度的同时，提高图像增强效率的目的，避免了传统大模型虽然能够提升图像清晰度，但图像增强效率较低的缺陷。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像增强模型的训练方法的流程图。
图2是根据一示例性实施例示出的图像增强模型的框图。
图3是根据一示例性实施例示出的边缘感知模块的框图。
图4是根据一示例性实施例示出的获取边缘权重图的步骤的流程图。
图5是根据一示例性实施例示出的另一种获取边缘权重图的步骤的流程图。
图6是根据一示例性实施例示出的一种图像增强方法的流程图。
图7是根据一示例性实施例示出的另一种图像增强方法的流程图。
图8是根据一示例性实施例示出的一种图像增强模型的训练装置的框图。
图9是根据一示例性实施例示出的一种图像增强装置的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
图1是根据一示例性实施例示出的一种图像增强模型的训练方法的流程图，如图1所示，该图像增强模型的训练方法用于终端中；可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器之间的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在本示例性实施例中，该方法包括以下步骤：
在步骤S110中，获取样本图像的原始灰度图。
其中，样本图像是指参与模型训练的图像，可以是各种类型的图像，比如风景图像、人物图像、动物图像等，也可以是短视频帧、视频帧等。
其中，样本图像是RGB(红绿蓝)格式的，通过将样本图像进行YUV(亮度-色度)颜色转换，可以得到Y通道的分量和UV通道的分量；Y通道用来记录亮度，具体是指亮度通道，且Y通道的分量是指样本图像对应的原始灰度图；UV通道用来记录色度，具体是指色度通道，且UV通道的分量是指样本图像对应的原始色度图。
示例性地，终端从数据库中获取样本图像，并对样本图像进行YUV颜色转换，得到Y通道的分量和UV通道的分量，将Y通道的分量确认为样本图像的原始灰度图，以及将UV通道的分量确认为样本图像的原始色度图。
在步骤S120中，将原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到原始灰度图的初始特征图；待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络。
在步骤S130中，将初始特征图输入待训练的边缘感知网络中进行边缘检测处理，得到原始灰度图的边缘特征图。
在步骤S140中，将边缘特征图输入待训练的第二卷积网络中进行第二特征提取处理，得到原始灰度图的目标特征图。
在步骤S150中，将目标特征图和原始灰度图进行融合处理，得到原始灰度图对应的预测增强灰度图。
其中，待训练的图像增强模型是指网络复杂度比较简单的图像增强模型，即轻量化的图像增强模型。比如，待训练的图像增强模型包括待训练的第一卷积网络、待训练的边缘感知网络和待训练的第二卷积网络。待训练的第一卷积网络包括图2所示的前5层普通卷积层，待训练的边缘感知网络是指图2所示的边缘感知模块，其数量可以为2；待训练的第二卷积网络是指图2所示的最后一层普通卷积层。需要说明的是，待训练的第一卷积网络中包括的普通卷积层的数量、边缘感知模块的数量、待训练的第二卷积网络中包括的普通卷积层的数量还可以根据实际情况进行调整，具体本公开不做限定。
需要说明的是，在图2中，除最后一层普通卷积层之外，每一层卷积层和每一个边缘感知模块后面均紧跟着一个ReLU激活函数(以增强模型的非线性)；为了便于理解，在图2中省略掉激活层，将一个卷积层和一个激活层视为一组网络，以及将一个边缘感知模块和一个激活层视为一组网络。
其中，预测增强灰度图是指经过增强处理之后的高质量灰度图，具体是指图像清晰度得到提升的灰度图，比如图像边缘区域得到明显增强的灰度图。
需要说明的是，本公开涉及的图像增强模型仅对灰度图进行增强，具体是感知灰度图中的边缘区域，对不同重要程度的纹理区域进行自适应地增强(比如对边缘区域的增强施以更多的感知，对非边缘区域的增强施以更少的感知)，从而显著提升灰度图的整体画面清晰度。
其中，待训练的第一卷积网络由5层普通卷积层构成，用于对原始灰度图中的噪声、块压缩等具有细小边缘特点的高频失真进行过滤，具体结构参考图2。
其中，待训练的边缘感知网络的结构如图3所示，用于提取原始灰度图中的主要边缘信息。
其中，待训练的第二卷积网络由一层普通卷积层构成，用于进一步优化图像特征，比如将待训练的边缘感知网络输出的多通道特征转换成单通道的残差图输出，具体结构参考图2。
其中，初始特征图是指对原始灰度图中的噪声、块压缩等具有细小边缘特点的高频失真进行过滤之后所得到的特征图。
其中，边缘特征图是指原始灰度图中的主要边缘区域所构成的特征图。
其中，目标特征图是指对边缘特征图进行特征提取处理之后所得到的残差图。
需要说明的是，本公开仅在图像增强模型的后半部分使用边缘感知模块是出于如下考虑：由于输入为低质图像，其中不乏包含有噪声、块压缩等失真，若在图像增强模型前半部分使用边缘感知模块，容易将这种高频失真当做“边缘”被增强，使得失真被放大，影响画质。因此，在图像增强模型的前半部分，本公开使用普通卷积层对图像进行初步的修复，修复到一定程度后再经过边缘感知模块，此时能将真正的边缘特征增强，最终呈现出失真既能被去除、图像清晰度又能提升的效果。
示例性地，终端将原始灰度图输入待训练的图像增强模型中进行增强处理，得到原始灰度图对应的目标特征图，并将原始灰度图和目标特征图进行融合处理，得到原始灰度图对应的预测增强灰度图。
举例说明，参考图2，在模型训练过程中，终端将输入的图像进行RGB2YUV转换(从RGB格式转换到YUV格式)，得到Y分量和UV分量，将Y分量确认为灰度图，并将灰度图输入到图像增强模型中进行增强处理，得到灰度图的目标特征图，并将其与该灰度图融合在一起，可以得到修复后的增强灰度图。
进一步地，终端将原始灰度图输入待训练的图像增强模型中，通过待训练的图像增强模型中待训练的第一卷积网络对原始灰度图进行第一特征提取处理，以去除原始灰度图中的噪声、块压缩等具有细小边缘特点的高频失真，得到原始灰度图的初始特征图。接着，终端通过待训练的边缘感知网络对初始特征图进行边缘检测处理，得到原始灰度图的边缘特征图，并通过待训练的第二卷积网络，对该边缘特征图进行第二特征提取处理，得到残差图，作为原始灰度图的目标特征图。最后，终端将目标特征图和原始灰度图进行融合处理(比如叠加)，得到融合图像，作为原始灰度图对应的预测增强灰度图。
举例说明，参考图2，在模型训练过程中，终端通过前5层普通卷积层，对输入的灰度图进行第一特征提取处理，得到原始灰度图的初始特征图，接着通过中间的两个边缘感知模块对初始特征图进行边缘检测处理，得到原始灰度图的边缘特征图，并通过最后一层普通卷积层对该边缘特征图进行第二特征提取处理，得到原始灰度图的目标特征图，最后将目标特征图和原始灰度图进行叠加，得到原始灰度图对应的预测增强灰度图。
这样，先对原始灰度图进行第一特征提取处理，再对得到的初始特征图进行边缘检测处理，最后再对得到的边缘特征图进行第二特征提取处理，并将得到的目标特征图和原始灰度图进行融合处理，得到原始灰度图对应的预测增强灰度图，有利于过滤掉原始灰度图中的噪声、块压缩等具有细小边缘特点的高频失真，并对原始灰度图中的主要边缘区域进行增强，从而达到了失真既能被去除、图像清晰度又能提升的效果。
在步骤S160中，根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型。
其中，原始灰度图对应的实际增强灰度图，是指实际的高质量灰度图，具体是指图像增强模型的训练目标，用于指导图像增强模型的训练。
其中，实际增强灰度图对应的边缘权重图中包括各个像素点对应的边缘权重，用于表示不同图像区域的重要程度不一样，比如边缘区域的重要程度较高，非边缘区域的重要程度较低。通过引入边缘权重图，可以使得图像增强模型在模型训练过程中对不同图像区域施以不同的惩罚约束，进而迫使图像增强模型对于边缘区域有更强的感知和关注；而边缘区域在画质增强中往往扮演着重要的角色，这样一来，有利于帮助图像增强模型在有限参数量内，做到更有效的训练学习。
需要说明的是，原始灰度图、预测增强灰度图、实际增强灰度图、边缘权重图的图像尺寸一样，即分辨率一样。
其中，训练完成的图像增强模型，用于感知灰度图中的边缘区域，对不同重要程度的纹理区域进行自适应地增强(比如对边缘区域的增强施以更多的感知，对非边缘区域的增强施以更少的感知)，以提高灰度图的整体画面清晰度。训练完成的图像增强模型中包括训练后的第一卷积网络、训练后的边缘感知网络和训练后的第二卷积网络，具体结构参考图2。
示例性地，终端先获取原始灰度图对应的实际增强灰度图，并对实际增强灰度图进行模糊处理和边缘检测处理，得到边缘权重图，作为实际增强灰度图对应的边缘权重图，接着计算预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异；最后根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，得到损失值，并根据损失值对待训练的图像增强模型进行迭代训练，得到训练完成的图像增强模型。
上述图像增强模型的训练方法中，通过获取样本图像的原始灰度图，并将原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到原始灰度图的初始特征图；待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络；将初始特征图输入待训练的边缘感知网络中进行边缘检测处理，得到原始灰度图的边缘特征图；将边缘特征图输入待训练的第二卷积网络中进行第二特征提取处理，得到原始灰度图的目标特征图；然后将目标特征图和原始灰度图进行融合处理，得到原始灰度图对应的预测增强灰度图，最后根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型。这样，在图像增强模型训练过程中，引入边缘感知网络来提取原始灰度图的边缘特征信息，可以帮助图像增强模型更容易学习到增强所需的图像特征；同时，引入实际增强灰度图对应的边缘权重图，可以迫使图像增强模型对于原始灰度图的边缘区域有更强的感知和关注，保证最终训练得到的初始图像增强模型能够感知图像中的边缘区域，并对不同重要程度的纹理区域进行自适应地增强，即对边缘区域的增强施以更多的感知，对非边缘区域的增强施以更少的感知，以提升图像清晰度。此外，训练完成的图像增强模型只对灰度图进行增强，而不是对原始三通道RGB图像进行增强，有利于简化图像增强模型的网络复杂度，降低图像增强模型的计算量，使得图像增强模型能够快速增强图像，从而提升了图像增强效率，进而实现了在显著提升图像清晰度的同时，提高图像增强效率的目的，避免了传统大模型虽然能够提升图像清晰度，但图像增强效率较低的缺陷。
在一示例性实施例中，待训练的边缘感知网络包括多个边缘检测网络，多个边缘检测网络至少包括水平方向边缘检测网络和垂直方向边缘检测网络；上述步骤S130，将初始特征图输入待训练的边缘感知网络中进行边缘检测处理，得到原始灰度图的边缘特征图，具体包括如下内容：将初始特征图输入多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图；对多个不同的初始边缘特征图进行融合处理，得到原始灰度图的边缘特征图。
其中，待训练的边缘感知网络包括多个边缘检测网络，每个边缘检测网络用于进行不同的边缘检测处理，以提取出不同的边缘特征。
其中，多个边缘检测网络包括第三卷积网络(包括一层普通卷积层)、第四卷积网络(包括两层普通卷积层)、水平方向边缘检测网络(包括一层普通卷积层和一个水平方向边缘检测算子)和垂直方向边缘检测网络(包括一层普通卷积层和一个垂直方向边缘检测算子)。比如，参考图3，每个边缘感知模块由一路3×3卷积层、一路1×1卷积层级联3×3卷积层、一路1×1卷积层级联水平方向的Sobel-Dx算法(水平方向的索贝尔算法)、一路1×1卷积层级联垂直方向的Sobel-Dy算法(垂直方向的索贝尔算法)并联构成。输入的特征分别经过上述四路后叠加在一起，再经过ReLU激活层作为输出特征。边缘感知模块中使用Sobel(索贝尔)滤波的优势，在于能够有效提取特征中的边缘信息，以强化区分特征图的不同区域的重要性。
其中，水平方向边缘检测算子是指水平方向的Sobel-Dx算法，垂直方向边缘检测算子是指垂直方向的Sobel-Dy算法。需要说明的是，为了进行区分，本公开将水平方向边缘检测网络中包括的水平方向边缘检测算子称为水平方向边缘检测模块，将垂直方向边缘检测网络中包括的垂直方向边缘检测算子称为垂直方向边缘检测模块。
示例性地，终端将初始特征图输入多个边缘检测网络中，通过每个边缘检测网络对初始特征图进行不同的边缘检测处理，得到多个不同的初始边缘特征图；对多个不同的初始边缘特征图进行融合处理，得到融合边缘特征图；对融合边缘特征图进行激活处理，得到原始灰度图的边缘特征图。
举例说明，参考图3，终端将初始特征图输入到边缘感知模块中，经过4路网络处理，得到4个不同的初始边缘特征图，将4个不同的初始边缘特征图进行叠加，再经过激活层处理，得到原始灰度图的边缘特征图。
本公开实施例提供的技术方案，通过将初始特征图输入多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图，并对多个不同的初始边缘特征图进行融合处理，得到原始灰度图的边缘特征图；这样，通过不同的边缘检测处理，有利于提取出不同的边缘特征，使得最终确定出的边缘特征图更加准确，进一步提高了边缘特征图的确定准确率。
在一示例性实施例中，如图4所示，上述步骤S160，在根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型之前，还包括获取边缘权重图的步骤，具体可以通过以下步骤实现：
在步骤S410中，对实际增强灰度图进行第一模糊处理，得到实际增强灰度图的灰度模糊图。
在步骤S420中，将灰度模糊图输入水平方向边缘检测网络中的水平方向边缘检测模块进行水平方向的边缘检测处理，得到实际增强灰度图的水平方向边缘图，以及将灰度模糊图输入垂直方向边缘检测网络中的垂直方向边缘检测模块进行垂直方向的边缘检测处理，得到实际增强灰度图的垂直方向边缘图。
在步骤S430中，对水平方向边缘图和垂直方向边缘图进行融合处理，得到实际增强灰度图的融合边缘图。
在步骤S440中，对融合边缘图进行第二模糊处理，得到边缘权重图。
其中，第一模糊处理是指第一高斯模糊处理，具体是指21×21卷积核大小的高斯模糊，用于消除灰度图中噪声等具有细小边缘特点的失真的干扰，而保留灰度图中主要的边缘部分。
其中，水平方向边缘检测模块(即水平方向边缘检测算子)用于输出实际增强灰度图的水平方向边缘图；垂直方向边缘检测模块(即垂直方向边缘检测算子)用于输出实际增强灰度图的垂直方向边缘图。
其中，第二模糊处理是指第二高斯模糊处理，具体是指9×9卷积核大小的高斯模糊，用于让边缘和边缘周围的像素能够平滑过渡，而不至于出现边缘突变清晰的情况，使得视觉上看起来更加自然。
其中，实际增强灰度图的灰度模糊图是指实际增强灰度图经过第一模糊处理之后所得到的灰度模糊图。实际增强灰度图的融合边缘图由水平方向边缘图和垂直方向边缘图叠加得到。边缘权重图是指融合边缘图经过第二模糊处理之后所得到的权重图。
示例性地，终端利用21×21卷积核大小的高斯模糊，对实际增强灰度图进行第一高斯模糊处理，得到实际增强灰度图的灰度模糊图；然后将灰度模糊图输入水平方向边缘检测网络中的水平方向边缘检测模块(即水平方向边缘检测算子)进行水平方向的边缘检测处理，得到实际增强灰度图的水平方向边缘图，以及将灰度模糊图输入垂直方向边缘检测网络中的垂直方向边缘检测模块(即垂直方向边缘检测算子)进行垂直方向的边缘检测处理，得到实际增强灰度图的垂直方向边缘图；接着获取水平方向边缘图对应的第一权重(比如0.5)，以及垂直方向边缘图对应的第二权重(比如0.5)，并根据水平方向边缘图对应的第一权重和垂直方向边缘图对应的第二权重，对水平方向边缘图和垂直方向边缘图进行融合处理，得到实际增强灰度图的融合边缘图；最后，利用9×9卷积核大小的高斯模糊，对融合边缘图进行第二高斯模糊处理，得到边缘权重图。
举例说明，参考图5，终端首先使用21×21卷积核大小的高斯模糊，对输入的实际增强灰度图进行高斯模糊处理，这一步是为了消除灰度图中噪声等具有细小边缘特点的失真的干扰，而保留灰度图中主要的边缘部分；然后分别使用图3中的水平方向的Sobel算子(即水平方向边缘检测算子)和竖直方向的Sobel算子(即垂直方向边缘检测算子)来提取主要边缘，再将水平方向的边缘图和竖直方向的边缘图按各0.5的比例加权融合；最后再使用9×9卷积核大小的高斯模糊，对融合后的边缘图进行处理，得到边缘权重图，这一步是为了让边缘和边缘周围的像素能够平滑过渡，而不至于出现边缘突变清晰的情况，使得视觉上看起来更加自然。
本公开实施例提供的技术方案，通过对实际增强灰度图进行第一模糊处理、水平方向的边缘检测处理、垂直方向的边缘检测处理和第二模糊处理，得到边缘权重图，有利于后续根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型，使得训练后的图像增强模型对边缘区域有更强的感知和关注，能够更好地感知图像中的边缘区域，并对边缘区域进行自适应增强。
在一示例性实施例中，上述步骤S160，根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型，具体包括如下内容：根据边缘权重图中各像素点对应的边缘权重，对预测增强灰度图中与各像素点对应的像素点灰度值和实际增强灰度图中与各像素点对应的像素点灰度值之间的差异进行融合处理，得到损失值；根据损失值，对待训练的图像增强模型进行迭代训练，直到达到训练结束条件；将达到训练结束条件的训练后的图像增强模型，作为训练完成的图像增强模型。
其中，损失值是指边缘加权损失值。
其中，训练结束条件是指达到预设训练次数，或者损失值小于预设阈值。
示例性地，终端根据边缘权重图中各像素点对应的边缘权重，对预测增强灰度图中与各像素点对应的像素点灰度值和实际增强灰度图中与各像素点对应的像素点灰度值之间的差异进行加权求和处理，并取平均值，最终得到损失值；比如，终端将边缘权重图中第一个像素点对应的边缘权重，与预测增强灰度图中第一个像素点的像素点灰度值和实际增强灰度图中第一个像素点的像素点灰度值之间的差异进行相乘，得到第一个乘积，将边缘权重图中第二个像素点对应的边缘权重，与预测增强灰度图中第二个像素点的像素点灰度值和实际增强灰度图中第二个像素点的像素点灰度值之间的差异进行相乘，得到第二个乘积……假设边缘权重图总共有n个像素点，则可以得到n个乘积，再将这n个乘积进行相加，再除以n，最终得到一个损失值。在损失值大于或者等于预设阈值的情况下，终端根据损失值，调整待训练的图像增强模型的模型参数，并重复步骤S120至步骤S160，对调整后的图像增强模型进行再次训练，直到根据训练后的图像增强模型得到的损失值小于预设阈值，则结束训练，并将该训练后的图像增强模型作为训练完成的图像增强模型。
举例说明，在训练过程中，除了使用到L1损失外，即直接利用预测增强灰度图和实际增强灰度图Ihq，计算平均绝对误差：
由于是轻量算法，因此算法网络的深度受限，尽管在模型结构中已经设计了边缘感知模块，但为了进一步减轻网络的学习负担，让网络在有限的参数内更聚焦于学习和表达关键特征，本公开从损失函数约束的角度引入了边缘加权，即引入了边缘权重图Wedgemap。边缘加权损失可表示为：
本公开实施例提供的技术方案，根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型；这样，在训练过程中，引入实际增强灰度图对应的边缘权重图，可以迫使图像增强模型对于原始灰度图的边缘区域有更强的感知和关注，保证训练完成的图像增强模型能够感知图像中的边缘区域，并对边缘区域进行自适应增强，以提升图像清晰度。
在一示例性实施例中，上述步骤S160，在根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型之后，还包括如下内容：将训练完成的图像增强模型中的训练后的边缘感知网络，更新为与训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型；图像处理网络具有训练后的边缘感知网络的网络特性，且图像处理网络的网络复杂度小于训练后的边缘感知网络的网络复杂度。
其中，网络特性是指网络功能；训练后的边缘感知网络的网络特性是指边缘感知特性，说明图像处理网络具有训练后的边缘感知网络的边缘感知特性。
其中，图像处理网络的网络复杂度小于训练后的边缘感知网络的网络复杂度，说明图像处理网络的计算量小于训练后的边缘感知网络的计算量。
其中，图像处理网络是指普通卷积层，比如3×3卷积层，且每个训练后的边缘感知网络可以等效成一个图像处理网络，说明目标图像增强模型由8层普通卷积层构成。比如，参考图2，每个边缘感知模块在结构上可等效成1层普通卷积层，但实验发现相比于完全使用普通卷积层训练的效果却更好，因此在轻量图像增强模型训练过程中使用边缘感知模块的形态进行训练，而在推理时，使用普通卷积层的形态推理，其参数由边缘感知模块的参数等价而来，整个轻量图像增强模型一共由8层网络构成。
其中，目标图像增强模型是指最终的图像增强模型，用于感知灰度图中的边缘区域，对不同重要程度的纹理区域进行自适应地增强(比如对边缘区域的增强施以更多的感知，对非边缘区域的增强施以更少的感知)，以提高灰度图的整体画面清晰度。目标图像增强模型中包括训练后的第一卷积网络、与训练后的边缘感知网络匹配的图像处理网络、训练后的第二卷积网络，具体结构参考图2。
本公开实施例提供的技术方案，在训练完成的图像增强模型的基础上，将训练后的边缘感知网络更新为网络复杂度较小的，且具有相同网络特性的图像处理网络，有利于进一步简化图像增强模型的网络复杂度，以进一步降低图像增强模型的计算量，使得图像增强模型能够快速增强图像，进一步提升了图像增强效率。
在一示例性实施例中，在将训练完成的图像增强模型中的训练后的边缘感知网络，更新为与训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型之前，还包括获取与训练后的边缘感知网络匹配的图像处理网络的步骤，具体包括如下内容：获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；将各个第一网络参数进行融合处理，得到第一目标网络参数，以及将各个第二网络参数进行融合处理，得到第二目标网络参数；构建与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，作为与训练后的边缘感知网络匹配的图像处理网络。
其中，每个边缘检测网络的第一网络参数，是指每个边缘检测网络的等效卷积核参数。每个边缘检测网络的第二网络参数，是指每个边缘检测网络的等效偏置参数。
其中，与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，是指卷积核参数为第一目标网络参数，且偏置参数为第二目标网络参数的普通卷积层，比如3×3卷积层，即将每个边缘感知模块等效为一个3×3卷积层。
示例性地，终端获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；将各个第一网络参数进行相加，得到第一目标网络参数，以及将各个第二网络参数进行相加，得到第二目标网络参数；构建卷积核参数为第一目标网络参数，且偏置参数为第二目标网络参数的普通卷积层，作为与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，最后将该图像处理网络，作为与训练后的边缘感知网络匹配的图像处理网络。
举例说明，参考图3，Sobel-Dx算法(即水平方向边缘检测算子)和Sobel-Dy算法(即垂直方向边缘检测算子)使用的卷积核如下：
Sobel-Dx算法和Sobel-Dy算法本质是利用上述卷积核对特征进行滤波，因此边缘感知模块中的第二、三、四路，均可看成是一个1×1的卷积层级联一个3×3的卷积层。1×1的卷积层中卷积核参数记作k1，对应的偏置参数记作b1，随后级联的3×3卷积层中的卷积核参数记作k2，对应的偏置参数记作b2，可使用如下公式将一个1×1的卷积层级联一个3×3的卷积层等效成一个3×3的卷积层。
K＝permute(k1)*k2
B＝k2*replicate(b1)+b2
其中，K和B分别为等效后的3×3卷积的卷积核参数和偏置参数；permute为重排操作，即将卷积核的第一维和第二维交换，例如，N×C×3×3形状的卷积核，permute后变为C×N×3×3；replicate为重复操作，即将N×C×1×1形状的偏置参数重复拷贝为N×C×3×3。
如此一来，可进一步将四路的卷积/等效卷积参数融合，最终等效为一路卷积。记第一路的卷积核参数和偏置参数分别为K1、B1，第二、三、四路等效后的卷积核参数和偏置参数分别为K2、B2、K3、B3、K4、B4，最终等效后的卷积核参数和偏置参数分别记为Kfusion、Bfusion，融合的公式如下：
Kfusion＝K1+K2+K3+K4
Bfusion＝B1+B2+B3+B4
因此，轻量增强算法最终为8层卷积的简单网络，每层的卷积核大小均为3×3，这种低复杂度的结构为后续在CPU(Central Processing Unit，中央处理器)上运行部署奠定了基础。
本公开实施例提供的技术方案，通过获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；然后将各个第一网络参数进行融合处理，得到第一目标网络参数，以及将各个第二网络参数进行融合处理，得到第二目标网络参数；最后构建与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，作为与训练后的边缘感知网络匹配的图像处理网络，有利于后续将训练后的边缘感知网络更新为网络复杂度较小的，且具有相同网络特性的图像处理网络，有利于进一步简化图像增强模型的网络复杂度，降低图像增强模型的计算量，使得图像增强模型能够快速增强图像。
在一示例性实施例中，获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数，具体包括如下内容：分别获取各个边缘检测网络中的第一子网络参数和第二子网络参数；对各个边缘检测网络中的第一子网络参数进行融合处理，得到各个边缘检测网络的第一网络参数，以及对各个边缘检测网络中的第二子网络参数进行融合处理，得到各个边缘检测网络的第二网络参数。
其中，第一子网络参数是指边缘检测网络中包括的各个网络的卷积核参数，第二子网络参数是指边缘检测网络中包括的各个网络的偏置参数。
示例性地，终端分别获取各个边缘检测网络中的第一子网络参数和第二子网络参数；然后按照上述K和B的计算公式，对各个边缘检测网络中的第一子网络参数进行融合处理，得到各个边缘检测网络的第一网络参数，以及对各个边缘检测网络中的第二子网络参数进行融合处理，得到各个边缘检测网络的第二网络参数，从而将图3中的第二路、第三路和第四路，都等效成一个3×3的卷积层。
本公开实施例提供的技术方案，通过获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数，有利于后续将各个第一网络参数进行融合处理，得到第一目标网络参数，以及将各个第二网络参数进行融合处理，得到第二目标网络参数，并构建与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，作为与训练后的边缘感知网络匹配的图像处理网络，有利于实现将训练后的边缘感知网络更新为网络复杂度较小的，且具有相同网络特性的图像处理网络，以简化图像增强模型的网络结构的效果。
图6是根据一示例性实施例示出的一种图像增强方法的流程图，如图6所示，该图像增强方法用于终端中，包括以下步骤：
在步骤S610中，获取待处理图像的初始灰度图和初始色度图。
在步骤S620中，将初始灰度图输入目标图像增强模型，得到初始灰度图对应的增强灰度图；目标图像增强模型通过对训练完成的图像增强模型中的训练后的边缘感知网络进行更新得到，训练完成的图像增强模型通过图像增强模型的训练方法得到。
在步骤S630中，对增强灰度图和初始色度图进行颜色转换处理，得到待处理图像的增强图像。
其中，颜色转换处理是指RGB颜色转换。
示例性地，终端响应于图像增强请求，获取待处理图像；对待处理图像进行YUV颜色转换，得到Y通道的分量和UV通道的分量，将Y通道的分量确认为待处理图像的初始灰度图，以及将UV通道的分量确认为待处理图像的初始色度图；接着，将初始灰度图输入目标图像增强模型，得到初始灰度图对应的增强灰度图；将增强灰度图和初始色度图进行结合，并经过RGB颜色转换，得到待处理图像的增强图像，具体可以参考图2。
上述图像增强方法中，通过获取待处理图像的初始灰度图和初始色度图，接着将初始灰度图输入目标图像增强模型，得到初始灰度图对应的增强灰度图，最后对增强灰度图和初始色度图进行颜色转换处理，得到待处理图像的增强图像；这样，通过目标图像增强模型对初始灰度图进行增强处理，有利于提高增强灰度图的清晰度，进而提高了整个图像的清晰度。同时，目标图像增强模型的网络复杂度较小，使得目标图像增强模型能够快速增强图像，从而提升了图像增强效率，进而实现了在显著提升图像清晰度的同时，提高图像增强效率的目的。
在一示例性实施例中，上述步骤S620，将初始灰度图输入目标图像增强模型，得到初始灰度图对应的增强灰度图，具体包括如下内容：通过目标图像增强模型对初始灰度图进行第一特征提取处理，得到初始灰度图的初始特征图；对初始灰度图的初始特征图进行边缘检测处理，得到初始灰度图的边缘特征图；对初始灰度图的边缘特征图进行第二特征提取处理，得到初始灰度图的目标特征图；将初始灰度图的目标特征图和初始灰度图进行融合处理，得到初始灰度图对应的增强灰度图。
示例性地，终端将初始灰度图输入目标图像增强模型中，通过目标图像增强模型中的训练后的第一卷积网络对初始灰度图进行第一特征提取处理，以去除初始灰度图中的噪声、块压缩等具有细小边缘特点的高频失真，得到初始灰度图的初始特征图。接着，终端通过目标图像增强模型中的与训练后的边缘感知网络匹配的图像处理网络，对初始灰度图的初始特征图进行边缘检测处理，得到初始灰度图的边缘特征图，并通过目标图像增强模型中的训练后的第二卷积网络，对该边缘特征图进行第二特征提取处理，得到残差图，作为初始灰度图的目标特征图。最后，终端将目标特征图和初始灰度图进行融合处理(比如叠加)，得到融合图像，作为初始灰度图对应的预测增强灰度图。
举例说明，参考图2，在模型推理过程中，终端通过前5层普通卷积层，对输入的初始灰度图进行第一特征提取处理，得到初始灰度图的初始特征图，接着通过中间的2个普通卷积层对初始特征图进行边缘检测处理，得到初始灰度图的边缘特征图，并通过最后一层普通卷积层对该边缘特征图进行第二特征提取处理，得到初始灰度图的目标特征图，最后将初始灰度图的目标特征图和初始灰度图进行叠加，得到初始灰度图对应的增强灰度图。
本公开实施例提供的技术方案，先对初始灰度图进行第一特征提取处理，再对得到的初始特征图进行边缘检测处理，最后再对得到的边缘特征图进行第二特征提取处理，并将得到的目标特征图和初始灰度图进行融合处理，得到初始灰度图对应的增强灰度图，有利于过滤掉初始灰度图中的噪声、块压缩等具有细小边缘特点的高频失真，并对初始灰度图中的主要边缘区域进行增强，从而达到了失真既能被去除、图像清晰度又能提升的效果。
图7是根据一示例性实施例示出的另一种图像增强方法的流程图，如图7所示，该图像增强方法用于终端中，包括以下步骤：
在步骤S701中，获取样本图像的原始灰度图。
在步骤S702中，将原始灰度图输入待训练的图像增强模型中的第一卷积网络中进行第一特征提取处理，得到原始灰度图的初始特征图。
在步骤S703中，将初始特征图输入待训练的图像增强模型中的边缘感知网络中的多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图；多个边缘检测网络中至少包括水平方向边缘检测网络和垂直方向边缘检测网络。
在步骤S704中，对多个不同的初始边缘特征图进行融合处理，得到原始灰度图的边缘特征图。
在步骤S705中，将边缘特征图输入待训练的图像增强模型中的第二卷积网络中进行第二特征提取处理，得到原始灰度图的目标特征图；将目标特征图和原始灰度图进行融合处理，得到原始灰度图对应的预测增强灰度图。
在步骤S706中，对实际增强灰度图进行第一模糊处理，得到实际增强灰度图的灰度模糊图。
在步骤S707中，将灰度模糊图输入水平方向边缘检测网络中的水平方向边缘检测模块中进行水平方向的边缘检测处理，得到实际增强灰度图的水平方向边缘图，以及将灰度模糊图输入垂直方向边缘检测网络中的垂直方向边缘检测模块中进行垂直方向的边缘检测处理，得到实际增强灰度图的垂直方向边缘图。
在步骤S708中，对水平方向边缘图和垂直方向边缘图进行融合处理，得到实际增强灰度图的融合边缘图；对融合边缘图进行第二模糊处理，得到边缘权重图。
在步骤S709中，根据边缘权重图中各像素点对应的边缘权重，对预测增强灰度图中与各像素点对应的像素点灰度值和实际增强灰度图中与各像素点对应的像素点灰度值之间的差异进行融合处理，得到损失值。
在步骤S710中，根据损失值，对待训练的图像增强模型进行迭代训练，直到达到训练结束条件；将达到训练结束条件的训练后的图像增强模型，作为训练完成的图像增强模型。
在步骤S711中，获取训练完成的图像增强模型中训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；将各个第一网络参数进行融合处理，得到第一目标网络参数，以及将各个第二网络参数进行融合处理，得到第二目标网络参数。
在步骤S712中，构建与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，作为与训练后的边缘感知网络匹配的图像处理网络；将训练完成的图像增强模型中的训练后的边缘感知网络，更新为与训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型。
在步骤S713中，获取待处理图像的初始灰度图和初始色度图；将初始灰度图输入目标图像增强模型，得到初始灰度图对应的增强灰度图；对增强灰度图和初始色度图进行颜色转换处理，得到待处理图像的增强图像。
上述图像增强方法中，在图像增强模型训练过程中，引入边缘感知网络来提取原始灰度图的边缘特征信息，可以帮助图像增强模型更容易学习到增强所需的图像特征；同时，引入实际增强灰度图对应的边缘权重图，可以迫使图像增强模型对于原始灰度图的边缘区域有更强的感知和关注，保证最终训练得到的初始图像增强模型能够感知图像中的边缘区域，并不同重要程度的纹理区域进行自适应地增强，即对边缘区域的增强施以更多的感知，对非边缘区域的增强施以更少的感知，以提升图像清晰度。此外，训练完成的图像增强模型只对灰度图进行增强，而不是对原始三通道RGB图像进行增强，有利于简化图像增强模型的网络复杂度；同时，在训练完成的图像增强模型的基础上，将训练后的边缘感知网络更新为网络复杂度较小的，且具有相同网络特性的图像处理网络，有利于进一步简化图像增强模型的网络复杂度，以进一步降低图像增强模型的计算量，使得图像增强模型能够快速增强图像，从而提升了图像增强效率，进而实现了在显著提升图像清晰度的同时，提高图像增强效率的目的，避免了传统大模型虽然能够提升图像清晰度，但图像增强效率较低的缺陷。
为了更清晰阐明本公开实施例提供的图像增强模型的训练方法，以下以一个具体的实施例对该图像增强模型的训练方法进行具体说明。在一个实施例中，如图2所示，本公开还提供了一种基于边缘感知的CPU实时运行的轻量增强方法，该方法能够感知图像中的边缘区域，对不同重要程度的纹理区域进行自适应地增强，显著提升整体画面的清晰度，该方法的参数量仅有14.22kb。
给定一张低质图像，如果2所示，首先对其进行YUV颜色转换，分别获得其Y通道、UV通道的分量，其中Y通道的部分即为灰度图Ilq；然后将灰度图输入至轻量增强算法，得到修复后的高质灰度图再将高质灰度图和从输入图像拆分出来的UV分量结合，经过YUV2RGB的颜色转换，得到最终的高质图像输出。本公开主要由两部分组成：(1)在模型结构上，设计边缘感知模块；(2)在训练过程中，引入边缘加权，迫使模型对图像不同区域的学习和梯度反传有所侧重。具体内容参考上述相关的实施例以及图2、图3和图5。
上述基于边缘感知的CPU实时运行的轻量增强方法，可以达到以下技术效果：
(1)本公开中的轻量增强技术的计算复杂度仅为13.21GMac，参数量仅为14.22kb；在推理速度上，利用单核的CPU对720p视频处理速度可达到机器上可以达到67.5fps的性能，是正常视频帧率两倍多，因此本公开能够对视频进行实时增强处理。而且，在主观效果上，能够显著提升图像的视觉清晰度，对于模糊、噪声、压缩等失真均有一定程度的去除。
(2)设计边缘感知模块：由于轻量增强算法要能在CPU上实现实时运行，因此算法本身的计算复杂度不能太高，例如深度学习网络的层数不能太多等。基于此考虑，本公开在有限的计算复杂度的约束下，在网络的后半部分设计了边缘感知模块来提取边缘特征信息，帮助网络更容易学习到增强所需的特征。边缘感知模块在训练时使用多个分支来分别侧重学习不同的特征，在推理时可等效成一个普通卷积而不增加额外的计算量，给轻量级算法在实际应用中的落地带来了许多启示。
(3)设计边缘加权损失：除了在网络结构上，本公开设计边缘感知模块来帮助小模型更聚焦地学习。在损失函数上，本公开设计了边缘加权损失，在训练过程中给模型对不同图像区域施以不同的惩罚约束，进而迫使模型对于边缘区域有更强的感知和关注。而边缘区域在画质增强中往往扮演重要的角色，这样一来，帮助模型能在有限参数量内做到更有效的训练学习。
(4)可在CPU上实时运行的增强模型：相比于现流行的服务端依赖GPU运行的增强大模型，可在CPU上实时运行的轻量增强小模型能够更加容易部署和被广泛应用，同时节省许多机器资源和机器维护的成本开销。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的图像增强模型的训练方法的图像增强模型的训练装置。
图8是根据一示例性实施例示出的一种图像增强模型的训练装置的框图。参照图8，该装置包括样本获取单元810、第一提取单元820、边缘检测单元830、第二提取单元840、融合处理单元850和模型训练单元860。
样本获取单元810，被配置为执行获取样本图像的原始灰度图。
第一提取单元820，被配置为执行将原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到原始灰度图的初始特征图；待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络。
边缘检测单元830，被配置为执行将初始特征图输入待训练的边缘感知网络中进行边缘检测处理，得到原始灰度图的边缘特征图。
第二提取单元840，被配置为执行将边缘特征图输入待训练的第二卷积网络中进行第二特征提取处理，得到原始灰度图的目标特征图。
融合处理单元850，被配置为执行将目标特征图和原始灰度图进行融合处理，得到原始灰度图对应的预测增强灰度图。
模型训练单元860，被配置为执行根据预测增强灰度图和原始灰度图对应的实际增强灰度图之间的差异，以及实际增强灰度图对应的边缘权重图，对待训练的图像增强模型进行训练，得到训练完成的图像增强模型。
在一示例性实施例中，待训练的边缘感知网络包括多个边缘检测网络，多个边缘检测网络至少包括水平方向边缘检测网络和垂直方向边缘检测网络；
边缘检测单元830，还被配置为执行将初始特征图输入多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图；对多个不同的初始边缘特征图进行融合处理，得到原始灰度图的边缘特征图。
在一示例性实施例中，图像增强模型的训练装置还包括权重图获取单元，被配置为执行对实际增强灰度图进行第一模糊处理，得到实际增强灰度图的灰度模糊图；将灰度模糊图输入水平方向边缘检测网络中的水平方向边缘检测模块进行水平方向的边缘检测处理，得到实际增强灰度图的水平方向边缘图，以及将灰度模糊图输入垂直方向边缘检测网络中的垂直方向边缘检测模块进行垂直方向的边缘检测处理，得到实际增强灰度图的垂直方向边缘图；对水平方向边缘图和垂直方向边缘图进行融合处理，得到实际增强灰度图的融合边缘图；对融合边缘图进行第二模糊处理，得到边缘权重图。
在一示例性实施例中，模型训练单元860，还被配置为执行根据边缘权重图中各像素点对应的边缘权重，对预测增强灰度图中与各像素点对应的像素点灰度值和实际增强灰度图中与各像素点对应的像素点灰度值之间的差异进行融合处理，得到损失值；根据损失值，对待训练的图像增强模型进行迭代训练，直到达到训练结束条件；将达到训练结束条件的训练后的图像增强模型，作为训练完成的图像增强模型。
在一示例性实施例中，图像增强模型的训练装置还包括模型更新单元，被配置为执行将训练完成的图像增强模型中的训练后的边缘感知网络，更新为与训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型；图像处理网络具有训练后的边缘感知网络的网络特性，且图像处理网络的网络复杂度小于训练后的边缘感知网络的网络复杂度。
在一示例性实施例中，图像增强模型的训练装置还包括网络确定单元，被配置为执行获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；将各个第一网络参数进行融合处理，得到第一目标网络参数，以及将各个第二网络参数进行融合处理，得到第二目标网络参数；构建与第一目标网络参数和第二目标网络参数均匹配的图像处理网络，作为与训练后的边缘感知网络匹配的图像处理网络。
在一示例性实施例中，网络确定单元，还被配置为执行分别获取各个边缘检测网络中的第一子网络参数和第二子网络参数；对各个边缘检测网络中的第一子网络参数进行融合处理，得到各个边缘检测网络的第一网络参数，以及对各个边缘检测网络中的第二子网络参数进行融合处理，得到各个边缘检测网络的第二网络参数。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的图像增强方法的图像增强装置。
图9是根据一示例性实施例示出的一种图像增强装置的框图。参照图9，该装置包括图像获取单元910，图像处理单元920和颜色转换单元930。
图像获取单元910，被配置为执行获取待处理图像的初始灰度图和初始色度图。
图像处理单元920，被配置为执行将初始灰度图输入目标图像增强模型，得到初始灰度图对应的增强灰度图；目标图像增强模型通过对训练完成的图像增强模型中的训练后的边缘感知网络进行更新得到，目标图像增强模型根据图像增强模型的训练方法得到。
颜色转换单元930，被配置为执行对增强灰度图和初始色度图进行颜色转换处理，得到待处理图像的增强图像。
在一示例性实施例中，图像处理单元920，还被配置为执行通过目标图像增强模型对初始灰度图进行第一特征提取处理，得到初始灰度图的初始特征图；对初始灰度图的初始特征图进行边缘检测处理，得到初始灰度图的边缘特征图；对初始灰度图的边缘特征图进行第二特征提取处理，得到初始灰度图的目标特征图；将初始灰度图的目标特征图和初始灰度图进行融合处理，得到初始灰度图对应的增强灰度图。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
上述图像增强模型的训练装置或者图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图10是根据一示例性实施例示出的一种用于实现图像增强模型的训练方法或者图像增强方法的电子设备1000的框图。例如，电子设备1000可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图10，电子设备1000可以包括以下一个或多个组件：处理组件1002、存储器1004、电源组件1006、多媒体组件1008、音频组件1010、输入/输出(I/O)的接口1012、传感器组件1014以及通信组件1016。
处理组件1002通常控制电子设备1000的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为电子设备1100生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述电子设备1000和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括前置摄像头和/或后置摄像头。当电子设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括麦克风(MIC)，当电子设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为电子设备1000提供各个方面的状态评估。例如，传感器组件1014可以检测到电子设备1000的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1000的显示器和小键盘，传感器组件1014还可以检测电子设备1000或电子设备1000组件的位置改变，用户与电子设备1000接触的存在或不存在，电子设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1004，上述指令可由电子设备1000的处理器1020执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备1000的处理器1020执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像增强模型的训练方法，其特征在于，包括：
获取样本图像的原始灰度图；
将所述原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到所述原始灰度图的初始特征图；所述待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络；
将所述初始特征图输入所述待训练的边缘感知网络中进行边缘检测处理，得到所述原始灰度图的边缘特征图；
将所述边缘特征图输入所述待训练的第二卷积网络中进行第二特征提取处理，得到所述原始灰度图的目标特征图；
将所述目标特征图和所述原始灰度图进行融合处理，得到所述原始灰度图对应的预测增强灰度图；
根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型。
2.根据权利要求1所述的方法，其特征在于，所述待训练的边缘感知网络包括多个边缘检测网络，所述多个边缘检测网络至少包括水平方向边缘检测网络和垂直方向边缘检测网络；
所述将所述初始特征图输入所述待训练的边缘感知网络中进行边缘检测处理，得到所述原始灰度图的边缘特征图，包括：
将所述初始特征图输入所述多个边缘检测网络中进行不同的边缘检测处理，得到多个不同的初始边缘特征图；
对所述多个不同的初始边缘特征图进行融合处理，得到所述原始灰度图的边缘特征图。
3.根据权利要求2所述的方法，其特征在于，在根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型之前，还包括：
对所述实际增强灰度图进行第一模糊处理，得到所述实际增强灰度图的灰度模糊图；
将所述灰度模糊图输入所述水平方向边缘检测网络中的水平方向边缘检测模块进行水平方向的边缘检测处理，得到所述实际增强灰度图的水平方向边缘图，以及将所述灰度模糊图输入所述垂直方向边缘检测网络中的垂直方向边缘检测模块进行垂直方向的边缘检测处理，得到所述实际增强灰度图的垂直方向边缘图；
对所述水平方向边缘图和所述垂直方向边缘图进行融合处理，得到所述实际增强灰度图的融合边缘图；
对所述融合边缘图进行第二模糊处理，得到所述边缘权重图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型，包括：
根据所述边缘权重图中各像素点对应的边缘权重，对所述预测增强灰度图中与所述各像素点对应的像素点灰度值和所述实际增强灰度图中与所述各像素点对应的像素点灰度值之间的差异进行融合处理，得到损失值；
根据所述损失值，对所述待训练的图像增强模型进行迭代训练，直到达到训练结束条件；
将达到所述训练结束条件的训练后的图像增强模型，作为所述训练完成的图像增强模型。
5.根据权利要求1至4任一项所述的方法，其特征在于，在根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型之后，还包括：
将所述训练完成的图像增强模型中的训练后的边缘感知网络，更新为与所述训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型；所述图像处理网络具有所述训练后的边缘感知网络的网络特性，且所述图像处理网络的网络复杂度小于所述训练后的边缘感知网络的网络复杂度。
6.根据权利要求5所述的方法，其特征在于，在将所述训练完成的图像增强模型中的训练后的边缘感知网络，更新为与所述训练后的边缘感知网络匹配的图像处理网络，得到目标图像增强模型之前，还包括：
获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数；
将各个所述第一网络参数进行融合处理，得到第一目标网络参数，以及将各个所述第二网络参数进行融合处理，得到第二目标网络参数；
构建与所述第一目标网络参数和所述第二目标网络参数均匹配的图像处理网络，作为与所述训练后的边缘感知网络匹配的图像处理网络。
7.根据权利要求6所述的方法，其特征在于，所述获取训练后的边缘感知网络中各个边缘检测网络的第一网络参数和第二网络参数，包括：
分别获取各个边缘检测网络中的第一子网络参数和第二子网络参数；
对所述各个边缘检测网络中的第一子网络参数进行融合处理，得到所述各个边缘检测网络的第一网络参数，以及对所述各个边缘检测网络中的第二子网络参数进行融合处理，得到所述各个边缘检测网络的第二网络参数。
8.一种图像增强方法，其特征在于，包括：
获取待处理图像的初始灰度图和初始色度图；
将所述初始灰度图输入目标图像增强模型，得到所述初始灰度图对应的增强灰度图；所述目标图像增强模型通过对训练完成的图像增强模型中的训练后的边缘感知网络进行更新得到，所述训练完成的图像增强模型通过权利要求1至7任一项所述的方法得到；
对所述增强灰度图和所述初始色度图进行颜色转换处理，得到所述待处理图像的增强图像。
9.根据权利要求8所述的方法，其特征在于，所述将所述初始灰度图输入目标图像增强模型，得到所述初始灰度图对应的增强灰度图，包括：
通过目标图像增强模型对所述初始灰度图进行第一特征提取处理，得到所述初始灰度图的初始特征图；
对所述初始灰度图的初始特征图进行边缘检测处理，得到所述初始灰度图的边缘特征图；
对所述初始灰度图的边缘特征图进行第二特征提取处理，得到所述初始灰度图的目标特征图；
将所述初始灰度图的目标特征图和所述初始灰度图进行融合处理，得到所述初始灰度图对应的增强灰度图。
10.一种图像增强模型的训练装置，其特征在于，包括：
样本获取单元，被配置为执行获取样本图像的原始灰度图；
第一提取单元，被配置为执行将所述原始灰度图输入待训练的图像增强模型中的待训练的第一卷积网络进行第一特征提取处理，得到所述原始灰度图的初始特征图；所述待训练的图像增强模型中还包括待训练的边缘感知网络和待训练的第二卷积网络；
边缘检测单元，被配置为执行将所述初始特征图输入所述待训练的边缘感知网络中进行边缘检测处理，得到所述原始灰度图的边缘特征图；
第二提取单元，被配置为执行将所述边缘特征图输入所述待训练的第二卷积网络中进行第二特征提取处理，得到所述原始灰度图的目标特征图；
融合处理单元，被配置为执行将所述目标特征图和所述原始灰度图进行融合处理，得到所述原始灰度图对应的预测增强灰度图；
模型训练单元，被配置为执行根据所述预测增强灰度图和所述原始灰度图对应的实际增强灰度图之间的差异，以及所述实际增强灰度图对应的边缘权重图，对所述待训练的图像增强模型进行训练，得到训练完成的图像增强模型。
11.一种图像增强装置，其特征在于，包括：
图像获取单元，被配置为执行获取待处理图像的初始灰度图和初始色度图；
图像处理单元，被配置为执行将所述初始灰度图输入目标图像增强模型，得到所述初始灰度图对应的增强灰度图；所述目标图像增强模型通过对训练完成的图像增强模型中的训练后的边缘感知网络进行更新得到，所述训练完成的图像增强模型通过权利要求1至7任一项所述的方法得到；
颜色转换单元，被配置为执行对所述增强灰度图和所述初始色度图进行颜色转换处理，得到所述待处理图像的增强图像。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像增强模型的训练方法，或者权利要求8至9任一项所述的图像增强方法。
13.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像增强模型的训练方法，或者权利要求8至9任一项所述的图像增强方法。
14.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像增强模型的训练方法，或者权利要求8至9任一项所述的图像增强方法。
CN202410130306.2A 2024-01-30 2024-01-30 图像增强模型的训练方法、图像增强方法和装置 Pending CN118154445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410130306.2A CN118154445A (zh) 2024-01-30 2024-01-30 图像增强模型的训练方法、图像增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410130306.2A CN118154445A (zh) 2024-01-30 2024-01-30 图像增强模型的训练方法、图像增强方法和装置

Publications (1)

Publication Number Publication Date
CN118154445A true CN118154445A (zh) 2024-06-07

Family

ID=91297593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410130306.2A Pending CN118154445A (zh) 2024-01-30 2024-01-30 图像增强模型的训练方法、图像增强方法和装置

Country Status (1)

Country Link
CN (1) CN118154445A (zh)

Similar Documents

Publication Publication Date Title
CN111340711B (zh) 一种超分辨率重建方法、装置、设备和存储介质
EP3770847B1 (en) Method and device for processing image
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN111709890B (zh) 一种图像增强模型的训练方法、装置及存储介质
US20220319077A1 (en) Image-text fusion method and apparatus, and electronic device
CN110060215B (zh) 图像处理方法及装置、电子设备和存储介质
CN111063008A (zh) 一种图像处理方法、装置、设备及存储介质
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
CN112634160A (zh) 拍照方法及装置、终端、存储介质
CN111583142A (zh) 图像降噪方法及装置、电子设备和存储介质
CN113160039B (zh) 图像风格迁移方法、装置、电子设备及存储介质
CN113160099B (zh) 人脸融合方法、装置、电子设备、存储介质及程序产品
CN111553865B (zh) 图像修复方法及装置、电子设备和存储介质
CN113660531A (zh) 视频处理方法及装置、电子设备和存储介质
CN113538304A (zh) 图像增强模型的训练方法及装置、图像增强方法及装置
CN109816620B (zh) 图像处理方法及装置、电子设备和存储介质
CN111968605A (zh) 曝光度调整方法及装置
CN114004750A (zh) 图像处理方法、装置和系统
WO2023115859A1 (zh) 压缩图像修复方法及装置、电子设备、存储介质和程序产品
CN118154445A (zh) 图像增强模型的训练方法、图像增强方法和装置
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
CN115641269A (zh) 一种图像修补方法、装置及可读存储介质
US20230063201A1 (en) Image processing device and super-resolution processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination