CN112801918A - 图像增强模型的训练方法、图像增强方法及电子设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及图像增强模型的训练方法、图像增强方法及电子设备，所述训练方法包括获取样本图像对，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于第二质量样本图像；将第一质量样本图像输入图像增强模型中，得到预测第二质量图像，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道；根据第二质量样本图像以及预测第二质量图像进行损失函数计算，并基于计算结果对图像增强模型的参数进行更新，确定目标图像增强模型。在相同计算量的情况下增加像素信息的流通，减少了网络结构的深度，提高了模型训练及后续执行的效率。

Description

图像增强模型的训练方法、图像增强方法及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及图像增强模型的训练方法、图像增强方法及电子设备。

背景技术

摄像设备在光源照度较低或者强背光的环境下所拍摄的图像画面往往会存在亮度低、噪点多以及偏色等问题，主要原因是在低照度的环境下，光子进入到传感器上的数量较少，会直接影响到图像质量以及后续相关的智能算法任务，如夜晚视频监控下的人员识别、背光条件下的车牌识别等。通过图像增强技术能够在提升图像亮度的同时减少图像中的噪声、还原图像信息、改善图像的视觉效果，同时提高了后续相关识别任务的精度。

现有技术中一般是结合深度学习技术对低质量图像进行图像增强处理，例如，利用全卷积网络U-net实现。由于全卷积网络中通过多个卷积单元的堆叠实现图像增强，为了达到较好的图像增强效果，通常堆叠的卷积单元较多，带来较深的网络结构。然而，网络结构太深会增加图像增强模型的运行时间，导致图像增强处理的效率较低。

发明内容

有鉴于此，本发明实施例提供了一种图像增强模型的训练方法、图像增强方法及电子设备，以解决图像增强处理的效率较低的问题。

根据第一方面，本发明实施例提供了一种图像增强模型的训练方法，所述训练方法包括：

获取样本图像对，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像；

将所述第一质量样本图像输入图像增强模型中，得到预测第二质量图像，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道；

根据所述第二质量样本图像以及所述预测第二质量图像进行损失函数计算，并基于计算结果对所述图像增强模型的参数进行更新，确定目标图像增强模型。

本发明实施例提供的图像增强模型的训练方法，在图像增强模型中设置至少一个残差单元，且残差单元包括至少两个数据通道，每个数据通道代表一种模型表达，那么一个残差单元就可以看作是至少两种模型的集合，而普通的卷积单元只有一路信息流通，从而能够在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了模型训练及后续执行的效率。

结合第一方面，在第一方面第一实施方式中，所述残差单元包括至少一个残差子单元，各个所述残差子单元依次堆叠，每个残差子单元包括至少两个数据通道，各个所述数据通道的输入数据相同，各个所述数据通道的输出数据利用合并单元处理后作为下一个所述残差子单元的输入，所述数据通道利用普通卷积层对所述输入数据进行特征提取，或所述数据通道将所述输入数据传输至所述合并单元。

本发明实施例提供的图像增强模型的训练方法，在残差单元中设置至少一个残差子单元且各个残差子单元包括至少两个数据通道，利用残差子单元来替代卷积单元能够在相同计算量的情况下增加像素信息的流通，一路信息流通代表一种模型表达，在相同的计算量的情况下，增加了模型的表达能力和鲁棒性，且有效地保留了第一质量样本图像的像素信息。

结合第一方面，或第一方面第一实施方式，在第一方面第二实施方式中，所述将所述第一质量样本图像输入图像增强模型中，得到预测第二质量图像，包括：

利用所述至少一个卷积单元对所述第一质量样本图像进行特征提取，所述至少一个卷积单元包括至少一个第一普通卷积层以及至少一个离散卷积层；

将最后一个所述离散卷积层的输出结果输入所述至少一个残差单元中，得到所述至少一个残差单元的输出结果；

利用至少一个第二普通卷积层对所述至少一个残差单元的输出结果进行特征提取，以得到所述预测第二质量图像。

本发明实施例提供的图像增强模型的训练方法，在卷积单元中设置离散卷积层，利用离散卷积层进行特征提取，可以剔除掉输入图像的无用信息，仅保留图像的语义信息表达，减少模型的计算量；此外，过多的离散卷积层会导致训练得到的模型更多地关注输入图像的语义特征，会降低增强后图像的清晰度，因此，在卷积单元中还设置至少一个卷积层以减少离散卷积层的使用，从而保证增强处理后图像的清晰度。

结合第一方面，在第一方面第三实施方式中，所述根据所述第二质量样本图像以及所述预测第二质量图像进行损失函数计算，包括：

基于所述第二质量样本图像以及所述预测第二质量图像，计算像素损失；

将所述预测第二质量图像以及所述第二质量样本图像输入图像鉴别模型中，分别得到相应的鉴别结果；

基于相应的鉴别结果计算图像损失；

利用所述像素损失以及所述图像损失，确定所述损失函数的计算结果。

本发明实施例提供的图像增强模型的训练方法，由于像素损失会使得训练得到的模型仅关注像素值，会忽略整体图像的效果，即在损失函数的计算过程中结合图像损失进行，可以保证训练得到的模型既关注像素值又关注整体图像效果，保证了训练得到的目标图像增强模型的可靠性。

结合第一方面第三实施方式，在第一方面第四实施方式中，所述基于相应的鉴别结果计算图像损失，包括：

将所述第二质量样本图像输入预设特征提取模型进行特征提取，得到所述第二质量样本图像的第二特征向量；

将所述预测第二质量图像输入所述预设特征提取模型进行特征提取，得到所述预测第二质量图像的第一特征向量；

利用所述第一特征向量与所述第二特征向量的差值，确定图像特征损失；

利用所述图像特征损失以及所述鉴别结果，计算所述图像损失。

本发明实施例提供的图像增强模型的训练方法，图像特征损失用于对增强后的图像细节进行约束，鉴别结果用于对增强后的图像颜色进行校正，将图像特征损失与鉴别结果结合，可以进一步保证训练得到的图像增强模型的可靠性。

结合第一方面第四实施方式，在第一方面第五实施方式中，采用如下公式计算损失函数：

式中，

其中，α₁、α₂分别为所述像素损失和所述图像损失的权重，y为所述预测第二质量图像对应的像素值，

为所述第二质量样本图像对应的像素值，L_pixel为所述像素损失，L_GAN为所述图像损失，L_feature为所述图像特征损失，L_D为所述鉴别结果对应的损失，

为所述预设特征提取模型提取的特征向量，logD()为所述鉴别模型输出的鉴别结果。

根据第二方面，本发明实施例还提供了一种图像增强模型的训练方法，所述训练方法包括：

获取目标图像增强模型，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的训练方法训练得到的；

对所述目标图像增强模型进行压缩，得到第一压缩图像增强模型；

固定所述目标图像增强模型的参数，并将所述第一质量样本图像分别输入所述目标图像增强模型以及所述第一压缩图像增强模型中，以对所述第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型；

利用所述样本图像对对所述第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

本发明实施例提供的图像增强模型的训练方法，利用目标图像增强模型指导压缩后的第一压缩图像增强模型的训练，可以保证训练后得到的第一目标压缩图像增强模型能够保留目标图像增强模型的重要信息，实现在减少模型参数的同时能够得到和目标图像增强模型相同的增强效果；进一步地，对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，使得所得到的第二压缩图像增强模型具有第一目标压缩图像增强模型的先验知识，减少模型之间由于参数的不同所带来的信息偏差，进一步缩小了所训练得到的第二目标压缩图像增强模型的模型宽度，且仍保持与目标图像增强模型相同的图像增强效果，由于第二目标压缩图像增强模型的宽度较小，使得给模型可以应用在终端上，实现低质量图像的实时增强。

结合第二方面，在第二方面第一实施方式中，所述将所述第一质量样本图像分别输入所述目标图像增强模型以及所述第一压缩图像增强模型中，以对所述第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型，包括：

利用所述第一压缩图像增强模型输出的预测图像以及所述第二质量样本图像进行所述损失函数的计算，得到所述损失函数的计算结果；

分别提取所述目标图像增强模型以及所述第一压缩图像增强模型中预设卷积层输出的第三特征和第四特征；

基于所述第三特征和所述第四特征计算特征损失；

利用所述特征损失以及所述损失函数的计算结果，对所述第一压缩图像增强模型的参数进行更新，确定第一目标压缩图像增强模型。

本发明实施例提供的图像增强模型的训练方法，在利用目标压缩图像增强模型指导第一压缩图像增强模型的训练过程中，对目标压缩图像增强模型的预设卷积层输出的信息进行提取和转移，通过该方式能够有效地保留目标压缩图像增强模型的有用特征，且所得到的第一目标压缩图像增强模型能够在减小模型参数的同时保持和目标压缩图像增强模型相同的增强效果。

结合第二方面，在第二方面第二实施方式中，所述利用所述样本图像对对所述第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型，包括：

获取所述第一目标压缩图像增强模型的第一通道数，并确定小于或等于所述第一通道数的第二通道数为所述预设通道数；

利用所述样本图像对对所述第一目标压缩图像增强模型的至少一个所述预设通道数对应的参数进行更新，得到所述至少一个第二目标压缩图像增强模型。

本发明实施例提供的图像增强模型的训练方法，在第一目标压缩图像增强模型的基础上对其通道数的参数进行更新，得到至少一个第二目标压缩图像增强模型，由于不同宽度的模型能够收集所有的视图特性，且每个第二压缩图像增强模型均具有第一目标压缩图像增强模型的先验信息，从而可以在进一步缩小模型宽度的基础上，且仍能够保持较优异的图像增强效果。

根据第三方面，本发明实施例还提供了一种图像增强方法，所述方法包括：

获取第一待处理图像；

将所述第一待处理图像输入所述目标图像增强模型中，得到第一目标图像，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的。

本发明实施例提供的图像增强方法，利用目标图像增强模型对第一待处理图像进行图像增强处理，由于目标图像增强模型中的残差单元具有至少两个数据通道，可以在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了图像增强的效率。

根据第四方面，本发明实施例还提供了一种图像增强方法，所述方法包括：

获取第二待处理图像以及获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，所述至少一个第二目标压缩图像增强模型是根据本发明第二方面，或第二方面任一项实施方式中所述的图像增强模型的训练方法训练得到的；

将所述第二待处理图像输入所述满足预设条件的模型中，得到第二目标图像。

本发明实施例提供的图像增强方法，由于第二目标压缩图像增强模型具有减小的模型参数，使得可以运行在终端设备中，且利用满足预设条件的模型进行图像增强处理，可以提高了模型增强的效率，从而实现实时图像增强处理。

结合第四方面，在第四方面第一实施方式中，所述获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，包括：

获取测试图像；

将所述测试图像分别输入所述至少一个第二目标压缩图像增强模型中，得到相应的处理时间；

比较所述处理时间，确定所述处理时间最短的模型为所述满足预设条件的模型。

本发明实施例提供的图像增强方法，通过对比各个第二目标压缩图像增强模型对测试图像的处理时间，就可以很容易比较得出处理时间最短的模型，简化了数据处理。

根据第五方面，本发明实施例提供了一种图像增强模型的训练装置，所述训练装置包括：

第一获取模块，用于获取样本图像对，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像；

第一输入模块，用于将所述第一质量样本图像输入图像增强模型中，得到预测第二质量图像，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道；

第一更新模块，用于根据所述第二质量样本图像以及所述预测第二质量图像进行损失函数计算，并基于计算结果对所述图像增强模型的参数进行更新，确定目标图像增强模型。

本发明实施例提供的图像增强模型的训练装置，在图像增强模型中设置至少一个残差单元，且残差单元包括至少两个数据通道，每个数据通道代表一种模型表达，那么一个残差单元就可以看作是至少两种模型的集合，而普通的卷积单元只有一路信息流通，从而能够在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了模型训练及后续执行的效率。

根据第六方面，本发明实施例还提供了一种图像增强模型的训练装置，所述训练装置包括：

第二获取模块，用于获取目标图像增强模型，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的训练方法训练得到的；

第一压缩模块，用于对所述目标图像增强模型进行压缩，得到第一压缩图像增强模型；

第二更新模块，用于固定所述目标图像增强模型的参数，并将所述第一质量样本图像分别输入所述目标图像增强模型以及所述第一压缩图像增强模型中，以对所述第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型；

第三更新模块，用于利用所述样本图像对对所述第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

本发明实施例提供的图像增强模型的训练装置，利用目标图像增强模型指导压缩后的第一压缩图像增强模型的训练，可以保证训练后得到的第一目标压缩图像增强模型能够保留目标图像增强模型的重要信息，实现在减少模型参数的同时能够得到和目标图像增强模型相同的增强效果；进一步地，对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，使得所得到的第二压缩图像增强模型具有第一目标压缩图像增强模型的先验知识，减少模型之间由于参数的不同所带来的信息偏差，进一步缩小了所训练得到的第二目标压缩图像增强模型的模型宽度，且仍保持与目标图像增强模型相同的图像增强效果，由于第二目标压缩图像增强模型的宽度较小，使得给模型可以应用在终端上，实现低质量图像的实时增强。

根据第七方面，本发明实施例还提供了一种图像增强装置，所述装置包括：

第三获取模块，用于获取第一待处理图像；

第一增强模块，用于将所述第一待处理图像输入所述目标图像增强模型中，得到第一目标图像，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的。

本发明实施例提供的图像增强装置，利用目标图像增强模型对第一待处理图像进行图像增强处理，由于目标图像增强模型中的残差单元具有至少两个数据通道，可以在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了图像增强的效率。

根据第八方面，本发明实施例还提供了一种图像增强装置，所述装置包括：

第四获取模块，用于获取第二待处理图像以及获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，所述至少一个第二目标压缩图像增强模型是根据本发明第二方面，或第二方面任一项实施方式中所述的图像增强模型的训练方法训练得到的；

第二增强模块，用于将所述第二待处理图像输入所述满足预设条件的模型中，得到第二目标图像。

本发明实施例提供的图像增强装置，由于第二目标压缩图像增强模型具有减小的模型参数，使得可以运行在终端设备中，且利用处理时间最短的模型进行图像增强处理，可以提高了模型增强的效率，从而实现实时图像增强处理。

根据第九方面，本发明实施例还提供了一种电子设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面，或第一方面任一项实施方式或执行本发明第二方面，或第二方面任一项实施方式中所述的图像增强模型的训练方法，或者，执行本发明第三方面或执行本发明第四方面，或第四方面任一项实施方式中所述的图像增强方法。

根据第十方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行本发明第一方面，或第一方面任一项实施方式或执行本发明第二方面，或第二方面任一项实施方式中所述的图像增强模型的训练方法，或者，执行本发明第三方面或执行本发明第四方面，或第四方面任一项实施方式中所述的图像增强方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的图像增强模型的训练方法的流程图；

图2是根据本发明实施例的数据预处理示意图；

图3是根据本发明实施例的RGGB-BGRG格式的Bayer重排图；

图4是根据本发明实施例的图像增强模型的训练方法的流程图；

图5是根据本发明实施例的残差单元的网络结构图；

图6是根据本发明实施例的图像增强模型的网络结构图；

图7是根据本发明实施例的图像增强模型的训练方法的流程图；

图8是根据本发明实施例的图像增强模型的训练方法的流程图；

图9是根据本发明实施例的图像增强模型的训练方法的流程图；

图10是根据本发明实施例的信息提取转移示意图；

图11是根据本发明实施例的图像增强模型的训练方法的流程图；

图12是根据本发明实施例的第一质量图像增强的先验网络搜索图；

图13是根据本发明实施例的图像增强方法的流程图；

图14是根据本发明实施例的图像增强方法的流程图；

图15是根据本发明实施例的图像增强模型的训练装置的结构框图；

图16是根据本发明实施例的图像增强模型的训练装置的结构框图；

图17是根据本发明实施例的图像增强装置的结构框图；

图18是根据本发明实施例的图像增强装置的结构框图；

图19是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明实施例，提供了一种图像增强模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的图像增强模型的训练方法的流程图，如图1所示，该流程包括如下步骤：

S11，获取样本图像对。

其中，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像。

第一质量可以认为是低质量，第二质量可以认为是高质量，相应地，第一质量样本图像为低质量样本图像，第二质量样本图像为高质量样本图像。其中，样本图像对中的两个图像，低质量样本图像与对应的高质量样本图像均是表示同一图像。

样本图像对可以是电子设备从外界获取到的，也可以是存储在电子设备中，等等，在此对电子设备获取样本图像对的方式并不做任何限制。

可选地，样本图像对可以通过以下方式得到：将不同的CMOS传感器采集到的不同光照、不同场景以及不同快门的原始图像Raw数据，按照场景对其分类；然后通过快门值的大小将同组的数据划分为低质量和高质量的图像数据，其中，低质量的图像数据画面较黑，噪声较多，其是图像增强模型的输入数据；高质量的图像数据画面较亮，噪声小，是图像增强模型需要拟合的目标。其中，低质量的图像数据与高质量的图像数据形成所述的样本图像对。

样本图像对也可以是通过以下方式得到的：获取到高质量样本图像，利用对抗网络生成高质量样本图像对应的低质量样本图像，从而形成样本图像对。

在本实施例的一些可选实施方式中，在得到高质量的图像数据与对应的低质量的图像数据之后，可以对其进行预处理，以形成所述样本图像对。

例如，将采集得到的原始图像Raw数据进行预处理，如图2所示，即进行黑电平校正、乘以数字增益，粗略地提升图像的亮度、将不同Bayer(拜耳)排列方式的Raw数据按照统一的格式进行重排，实现Bayer排列方式的统一、将图像进行水平镜像、垂直镜像以及随机翻转90度等数据增广，提高模型的鲁棒性。其中，图3示出了RGGB-BGRG格式的Bayer重排图。

由于不同的CMOS传感器获得的Raw数据排列方式是不一样的，通过对数据进行预处理操作能够稳定图像增强模型的训练并且提升该模型的泛化能力。现有常用的图像增强方法均是针对特定的CMOS传感器的，因此对新设备的适应性比较差。基于此，本实施例中通过对不同Bayer排列方式的图像数据进行混合训练，以及Bayer排列方式进行重排，能够提高模型对不同设备的适应能力。

通过对得到的低质量的图像数据与高质量的图像数据进行上述方式的预处理，就可以形成所述的样本图像对。其中，上述的预处理可以是在第三方处理完成之后，电子设备直接获取到样本图像对；也可以是电子设备获取到的是低质量的图像数据与对应的高质量的图像数据，电子设备通过对获取到的图像数据进行预处理后形成所述的样本图像对的。

S12，将第一质量样本图像输入图像增强模型中，得到预测第二质量图像。

其中，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道。

电子设备将样本图像对中的第一质量样本图像，即低质量样本图像输入图像增强模型中，输出预测第二质量图像，其中，预测第二质量图像为高质量图像，即对低质量的样本图像进行图像增强处理后得到的预测高质量图像。所述的图像增强模型可以是在原始全卷积网络的基础上进行的改进，利用残差单元替换部分的卷积单元，在图像增强模型中包括至少一个卷积单元以及至少一个残差单元。当然，也可以是在其他卷积网络的基础上的改进。在此对图像增强模型的具体网络结构并不做任何限制，具体可以根据实际情况进行相应的设置即可。

由于残差单元包括至少两个数据通道，每个数据通道均可以对输入数据进行相应的处理，而普通的卷积层只有一路信息流通，即一路数据通道，利用一个残差单元就可以替换原来至少两个卷积层。因此，在相同计算量的情况下，减少了卷积层的使用，进而减少了图像增强模型的网络深度。

关于该步骤具体将在下文中进行详细描述。

S13，根据第二质量样本图像以及预测第二质量图像进行损失函数计算，并基于计算结果对图像增强模型的参数进行更新，确定目标图像增强模型。

电子设备在得到与第一质量样本图像对应的预测第二质量图像之后，就可以利用预测第二质量图像与第二质量样本图像的差异进行损失函数的计算。在计算得到损失函数值之后，基于损失函数值的结果对图像增强模型的参数进行更新，即可确定目标图像增强模型。

例如，电子设备可以利用第二质量样本图像与预测第二质量图像之间的像素值差异，计算损失函数值；也可以在此基础上，再结合两者的图像损失，计算损失函数值。其中，图像损失可以是第二质量样本图像与预测第二质量图像分别送入图像鉴别模型中，得到两者分别属于高质量图像的概率值，利用概率值的差值计算图像损失。电子设备也可以结合其他方面的损失进行损失函数的计算，在此对其并不做任何限制，具体可以根据实际情况进行相应的设置。

关于该步骤具体将在下文中进行详细描述。

本实施例提供的图像增强模型的训练方法，在图像增强模型中设置至少一个残差单元，且残差单元包括至少两个数据通道，每个数据通道代表一种模型表达，那么一个残差单元就可以看作是至少两种模型的集合，而普通的卷积单元只有一路信息流通，从而能够在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了模型训练及后续执行的效率。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图4是根据本发明实施例的图像增强模型的训练方法的流程图，如图4所示，该流程包括如下步骤：

S21，获取样本图像对。

其中，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像。

详细请参见图1所示实施例的S11，在此不再赘述。

S22，将第一质量样本图像输入图像增强模型中，得到预测第二质量图像。

其中，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道。

具体地，残差单元，即RepResblock包括至少一个残差子单元，各个残差子单元依次堆叠，每个残差子单元包括至少两个数据通道，各个数据通道的输入数据相同，各个数据通道的输出数据利用合并单元处理后作为下一个所述残差子单元的输入，数据通道利用普通卷积层对输入数据进行特征提取，或数据通道将输入数据传输至合并单元。

图5示出了残差单元，即RepResblock的网络结构图，在该网络结构图中，RepResblock包括两个残差子单元，第一个残差子单元具有2个数据通道，各个数据通道分别通过普通卷积1和普通卷积2对输入数据进行特征提取，并利用合并通道将两个特征提取的结果进行合并，再将合并结果输入下一个残差子单元。

第二个残差子单元具有3个数据通道，分别用于传输数据流1、数据流2以及数据流3。数据流1、数据流2及数据流3的内容相同，数据流1经过普通卷积3进行特征提取，数据流2经过普通卷积4进行特征提取，数据流3直接输入至合并通道，合并通道将对应于3个数据通道的结果进行合并，得到该残差单元的输出。

如上文所述，利用残差单元替代卷积单元，能够在相同计算量的情况下增加像素信息的流通，一路信息流通代表一种模型表达，普通的卷积层只有一路信息流通，因此只能代表一种模型。如图5所示，这种残差单元具有三路信息流通，代表3种模型，N个RepResblock的堆叠代表3^N种模型。训练优化后的图像增强模型可以看作是3^N种模型集合成一个大模型，在相同的计算量的情况下，增加了模型的表达能力和鲁棒性，且有效地保留了第一质量样本图像的像素信息。

具体地，上述S22可以包括：

S221，利用至少一个卷积单元对第一质量样本图像进行特征提取。

其中，所述至少一个卷积单元包括至少一个第一普通卷积层以及至少一个离散卷积层。

考虑到传统的多元概率分布与低照增强任务有本质的区别，多元概率分布是一种离散概率分布，包含的事件是有确定的分类结果，因此模型结构可以堆叠多个离散采样的卷积层进行采样，剔除掉输入图片无用的信息，仅保留图片的语义信息表达，最终输出一维的向量，可以预测样本属于每个类别标签的概率，另外多个离散采样卷积层的堆叠能够减少模型的计算量。而低照增强任务属于像素级的任务，需要对输入图片的每个像素点进行恢复且需要对输入图片进行提亮、增强，但是低照增强任务更多地是关注图像像素信息的恢复和增强，直接堆叠多个离散采样的卷积层会更多地关注输入图像的语义特征，会降低增强后图片的清晰度，损害了输入图像的像素信息，需要减少模型结构中离散卷积层的堆叠，一般至多为2个，其余需要使用普通卷积层进行替代。

在本实施例的一个具体实施方式中，图6示出了图像增强模型的具体结构示意图。电子设备将样本图像对中的第一质量样本图像输入至该图像增强模型中，利用图像增强模型中的至少一个卷积单元对其进行特征提取，依次利用普通卷积1、离散采样卷积1、普通卷积2以及离散采样卷积2对输入的第一质量样本图像进行特征提取。其中，所述的离散采样卷积与离散卷积层的概念相同，普通卷积与普通卷积层的概念相同。

一般来说离散采样卷积层的个数越多，网络的语义特征越强，但是对于像素级的任务来说，并不需要网络的语义特征特别强，它的任务是需要对像素进行恢复，离散采样卷积层的个数越少，图像恢复的越准确，但是计算量会急剧上升。因此，根据目前任务的时间和内存要求，在图6所述的图像增强模型中设置了2个离散采样卷积层。

S222，将最后一个离散卷积层的输出结果输入至少一个残差单元中，得到至少一个残差单元的输出结果。

由于低照增强任务的输入尺寸都较大如4096x2176、1920x1080等，网络结构太深会增加模型的运行时间，因此普通卷积层的层数也是受限的，通过将除离散采样卷积以外的部分普通卷积层使用RepResblock来替代。具体地，利用至少一个残差单元替代卷积层，并将至少一个残差单元连接在最后一个离散卷积层之后，以减少模型的运行时间。

具体地，如图6所示，该图像增强模型包括3个堆叠的残差单元，即3个堆叠设置的RepResblock，分别为RepResblock1、RepResblock2、RepResblock3。从离散采样卷积2输出的结果输入至RepResblock1，依次利用RepResblock1、RepResblock2、RepResblock3对其进行处理，得到经过3个RepResblock处理后的输出结果。

S223，利用至少一个第二普通卷积层对至少一个残差单元的输出结果进行特征提取，以得到预测第二质量图像。

电子设备再利用至少一个第二普通卷积层对上述S222中残差单元的输出结果进行特征提取，以得到所述的预测第二质量图像。

可选地，在图像增强模型中还增加跨层连接，跨层连接设置的主要依据是来自不同层的同等分辨率的卷积输出特征图能够进行融合，增强信息的表达。跨层连接的两层分别是网络浅层的输出特征图和网络深层的输出特征图，两个卷积输出的特征图分辨率相同，之间跨接的网络层数没有要求，只与两层的输出特征图的分辨率有关。所述的网络浅层为靠近输入层的网络层，所述的网络深层为靠近输出层的网络层。

如图6所示，在图像增强模型中设置跨层连接1与跨层连接2，跨层连接1用于将离散采样卷积1的输出结果输入普通卷积4中，跨层连接2用于将离散采样卷积2的输出结果输入普通卷积3中。

需要说明的是，图6仅仅是图像增强模型的一种可选的实施方式，但是本发明的保护范围并不限于此，具体可以根据实际需求进行相应的设置。

S23，根据第二质量样本图像以及预测第二质量图像进行损失函数计算，并基于计算结果对图像增强模型的参数进行更新，确定目标图像增强模型。

详细请参见图1所示实施例的S13，在此不再赘述。

本实施例提供的图像增强模型的训练方法，在卷积单元中设置离散卷积层，利用离散卷积层进行特征提取，可以剔除掉输入图像的无用信息，仅保留图像的语义信息表达，减少模型的计算量；此外，过多的离散卷积层会导致训练得到的模型更多地关注输入图像的语义特征，会降低增强后图像的清晰度，因此，在卷积单元中还设置至少一个卷积层以减少离散卷积层的使用，从而保证增强处理后图像的清晰度。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图7是根据本发明实施例的图像增强模型的训练方法的流程图，如图7所示，该流程包括如下步骤：

S31，获取样本图像对。

其中，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像。

详细请参见图1所示实施例的S11，在此不再赘述。

S32，将第一质量样本图像输入图像增强模型中，得到预测第二质量图像。

其中，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道。

详细请参见图4所示实施例的S22，在此不再赘述。

S33，根据第二质量样本图像以及预测第二质量图像进行损失函数计算，并基于计算结果对图像增强模型的参数进行更新，确定目标图像增强模型。

具体地，上述S33可以包括：

S331，基于第二质量样本图像以及预测第二质量图像，计算像素损失。

所述的像素损失是指经图像增强网络处理后得到的预测第二质量图像与第二质量样本图像之间的像素差异，例如，可以采用像素值的差值进行计算，也可以采用其他方式进行计算，只需保证像素差异能够表征上述两个图像的像素差异即可。

S332，将预测第二质量图像以及第二质量样本图像输入图像鉴别模型中，分别得到相应的鉴别结果。

由于像素差异仅能够保证单个像素的情况，而忽略了图像整体，因此，在本实施例中结合图像损失进行损失函数的计算。具体地，可以利用图像鉴别模型分别对预测第二质量图像以及第二质量样本图像进行鉴别，确定各个图像属于高质量图像的概率值，从而得到相应的鉴别结果。

所述的图像鉴别模型可以在鉴别器模型的基础上构建的，其输入为图像，输出为该图像属于高质量图像的概率值，具体可以通过多个样本图像训练得到。在此对图像鉴别模型的具体网络结构并不做任何限制。

通过引入图像鉴别模型进行损失函数的计算，可以在颜色以及细节方面对图像增强模型进行约束，能够解决增强后的图像的颜色偏移以及细节丢失等问题。通过图像鉴别模型的约束对模型的参数进行迭代调优，使得训练得到的目标图像增强模型细节恢复的更加准确、噪声更少以及颜色更准确。

S333，基于相应的鉴别结果计算图像损失。

电子设备在利用图像鉴别模型得到预测第二质量图像以及第二质量样本图像的鉴别结果之后，利用两者的鉴别结果计算图像损失。其中，所述的图像损失用于从图像整体上表征预测第二质量图像与第二质量样本图像之间的差异。例如，可以通过两者的鉴别结果的差异计算图像损失。

进一步地，图像损失除了可以单独利用相应的鉴别结果计算得到，也可以在鉴别结果的基础上，再结合其他损失计算得到，例如，特征损失等等，即，图像损失可以包括至少两部分的损失，其中之一为上文所述的利用鉴别结果计算出的损失，其他部分可以再利用其他损失计算得到。

在本实施例的一些可选实施方式中，图像损失包括图像特征损失以及鉴别结果计算出的损失。具体地，上述S333可以包括如下步骤：

(1)将第二质量样本图像输入预设特征提取模型进行特征提取，得到第二质量样本图像的第二特征向量。

所述预设特征提取模型可以为事先训练好的用于进行特征提取的模型，在此对其网络结构并不做任何限定，只需保证其能够进行特征提取即可。电子设备将第二质量样本图像输入到该预设特征提取模型中进行特征提取，提取预设特征提取模型的输出特征图，将该输出特征图作为第二质量样本图像的第二特征向量。

(2)将预测第二质量图像输入预设特征提取模型进行特征提取，得到预测第二质量图像的第一特征向量。

相应地，电子设备将预测第二质量图像同样也输入到该预设特征提取模型中，也对其进行特征提取，同样预设特征提取模型的输出特征图，将其作为第一特征向量。

(3)利用第一特征向量与第二特征向量的差值，确定图像特征损失。

电子设备计算两者的差值，基于差值确定图像特征损失。

(4)利用图像特征损失以及鉴别结果，计算图像损失。

对应于鉴别结果，其损失为鉴别结果的差值；对应于图像特征，其损失为两个特征向量的差值。最终的图像损失为鉴别结果对应的损失与图像特征对应的损失之和，或加权和，或平均等等。

图像特征损失用于对增强后的图像细节进行约束，鉴别结果用于对增强后的图像颜色进行校正，将图像特征损失与鉴别结果结合，可以进一步保证训练得到的图像增强模型的可靠性。

S334，利用像素损失以及图像损失，确定损失函数的计算结果。

具体地，可以采用如下公式计算损失函数：

式中，

其中，α₁、α₂分别为所述像素损失和所述图像损失的权重，y为所述预测第二质量图像对应的像素值，

为所述第二质量样本图像对应的像素值，L_pixel为所述像素损失，L_GAN为所述图像损失，L_feature为所述图像特征损失，L_D为所述鉴别结果对应的损失，

为所述预设特征提取模型提取的特征向量，logD()为所述鉴别模型输出的鉴别结果。

本实施例提供的图像增强模型的训练方法，由于像素损失会使得训练得到的模型仅关注像素值，会忽略整体图像的效果，即在损失函数的计算过程中结合图像损失进行，可以保证训练得到的模型既关注像素值又关注整体图像效果，保证了训练得到的目标图像增强模型的可靠性。

在本实施例中提供了一种图像增强模型的训练方法，与上文所述的训练方法的区别在于，本实施例提供的训练方式是用于训练网络参数较小的图像增强模型的。该训练方法可用于电子设备，如电脑、手机、平板电脑等，图8是根据本发明实施例的图像增强模型的训练方法的流程图，如图8所示，该流程包括如下步骤：

S41，获取目标图像增强模型。

其中，所述目标图像增强模型是根据图1、4以及7任一所示实施例中所述的训练方法训练得到的。

关于目标图像增强模型的结构细节请参见上文图1、4以及7实施例所述，在此不再赘述。

目标图像增强模型可以是电子设备从外界获取到的，也可以是电子设备通过执行上述图1、4或7实施例所述的训练方法训练得到的，在此对电子设备获取目标图像增强模型的具体方式并不做任何限制。

S42，对目标图像增强模型进行压缩，得到第一压缩图像增强模型。

所述的压缩为采用知识蒸馏的方式对目标图像增强模型进行处理，其中，第一压缩图像增强模型的网络结构与目标图像增强模型的网络结构相同，第一压缩图像增强模型的网络宽度小于目标图像增强模型。例如，第一压缩图像增强模型的网络宽度为目标图像增强模型的网络宽度的一半，也可以是四分之一等等，只需保证第一压缩图像增强模型的网络宽度小于目标图像增强模型的网络宽度即可。

S43，固定目标图像增强模型的参数，并将第一质量样本图像分别输入目标图像增强模型以及第一压缩图像增强模型中，以对第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型。

电子设备在得到第一压缩图像增强模型之后，利用目标图像增强模型指导第一压缩图像增强模型的训练。在训练过程中，目标图像增强模型的参数不变，仅改变第一压缩图像增强模型的参数。

具体地，电子设备将第一质量样本图像分别输入目标图像增强模型以及第一压缩图像增强模型中，利用目标图像增强模型的有用信息指导第一压缩图像增强模型的训练。例如，可以利用目标图像增强模型的某一层，或某几层的输出结果，与第一压缩图像增强模型对应位置的输出结果进行损失函数的计算，利用损失函数的计算结果指导第一压缩图像增强模型的训练。

关于该步骤具体将在下文中进行详细描述。

S44，利用样本图像对对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

在训练得到第一目标压缩图像增强模型之后，电子设备对第一目标压缩图像增强模型的预设通道数对应的参数进行更新。具体地，电子设备先确定对第一目标压缩图像增强模型的哪些通道数对应的参数进行更新，在此将其称之为预设通道数。在预设通道数确定之后，再利用样本图像对对第一目标压缩图像增强模型进行训练，以对预设通道数对应的参数进行更新。在预设通道数N确定之后，可以对第一目标压缩图像增强模型的前N个通道数对应的参数进行更新，或者，也可以对第一目标压缩图像增强模型的任意N个通道数对应的参数进行更新。

例如，将第一目标压缩图像增强模型的前N个通道数确定为预设通道数，那么利用样本图像对进行训练时，就只对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，即可得到第二目标压缩图像增强模型。依次选取多个预设通道数，利用样本图像对对第一模板压缩图像增强模型进行训练后，即可得到多个第二目标压缩图像增强模型。

需要说明的是，在第二目标压缩图像增强模型的训练过程中，直接利用样本图像对对其进行训练，而不需要再用第一目标压缩图像增强模型对其训练过程进行指导。

所述的样本图像对是泛指包含成对的低质量图像数据与高质量图像数据，而非定指该样本图像对与上文所述的样本图像对相同，其可以是相同的，也可以是不同的。

电子设备在训练得到至少一个第二目标压缩图像增强模型之后，可以将其放置在模型池中，后续直接从该模型池中进行提取即可。

本实施例提供的图像增强模型的训练方法，利用目标图像增强模型指导压缩后的第一压缩图像增强模型的训练，可以保证训练后得到的第一目标压缩图像增强模型能够保留目标图像增强模型的重要信息，实现在减少模型参数的同时能够得到和目标图像增强模型相同的增强效果；进一步地，对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，使得所得到的第二压缩图像增强模型具有第一目标压缩图像增强模型的先验知识，减少模型之间由于参数的不同所带来的信息偏差，进一步缩小了所训练得到的第二目标压缩图像增强模型的模型宽度，且仍保持与目标图像增强模型相同的图像增强效果，由于第二目标压缩图像增强模型的宽度较小，使得给模型可以应用在终端上，实现低质量图像的实时增强。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图9是根据本发明实施例的图像增强模型的训练方法的流程图，如图9所示，该流程包括如下步骤：

S51，获取目标图像增强模型。

其中，所述目标图像增强模型是根据图1、4以及7任一所示实施例中所述的训练方法训练得到的。

详细请参见图8所示实施例的S41，在此不再赘述。

S52，对目标图像增强模型进行压缩，得到第一压缩图像增强模型。

详细请参见图8所示实施例的S42，在此不再赘述。

S53，固定目标图像增强模型的参数，并将第一质量样本图像分别输入目标图像增强模型以及第一压缩图像增强模型中，以对第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型。

具体地，上述S53可以包括：

S531，利用第一压缩图像增强模型输出的预测图像以及第二质量样本图像进行损失函数的计算，得到损失函数的计算结果。

其中，损失函数的计算可以与图7所示实施例的S33中损失函数的计算方式类似，该部分的损失函数函数包括像素损失以及图像损失，其中，图像损失又包括鉴别结果对应的损失以及图像特征对应的损失。电子设备通过计算之后，得到损失函数的计算结果。

具体请参见图7所示实施例的S33，在此不再赘述。

S532，分别提取目标图像增强模型以及第一压缩图像增强模型中预设卷积层输出的第三特征和第四特征。

在第一压缩图像增强模型的训练过程中，除了计算第一压缩图像增强模型自身的损失函数以外，还需要利用目标图像增强模型对其训练过程进行指导，该指导就体现在有用信息的提取与转移上。

具体地，电子设备分别提取目标图像增强模型以及第一压缩图像增强模型中预设卷积层输出的第三特征和第四特征，用于计算特征损失。所述的预设卷积层可以为靠近输入层的卷积层，也可以为其他卷积层等等。

例如，如图10所示，图10中的低照模型A表示目标图像增强模型，低照模型B表示第一压缩图像增强模型。其中，低照模型B的网络宽度为低照模型A网络宽度的一半。

图10中的虚线部分表示特征提取的部分，即用于进行特征损失的计算。电子设备分别提取低照模型A与低照模型B的普通卷积1、离散采样卷积1以及输出层的特征，以用于特征损失的计算。

具体地，由于低照模型A在实际推理的时候，输入分辨率大、模型参数巨大。因此，该模型无法直接运行在终端设备上且运行时间较长，无法满足实时的要求，需要对低照模型A进一步进行先验网络搜索，减少模型的参数。本实施例使用的先验网络搜索方法是首先使用样本图像对对低照模型A进行训练调优；然后构建低照模型B，低照模型B的网络结构与低照模型A大体相同，只是网络的宽度缩减了一半，使用样本图像对对低照模型A和B同时进行训练，但是仅对模型B的参数进行更新，模型A的参数不进行更新，在调优后的低照模型A的基础上进行信息的提取，仅保留模型A的有用特征，将有用的特征转移给模型B，实现对模型的宽度的裁剪。另外，由于目前的信息提取技术的输出是满足后验概率分布，输出为概率值，而低照增强任务输出的是与输入图像相同分辨率的图像，不仅需要对输入图像进行细节保留还需要对其进行像素增强，因此无法直接在网络输出层对低照模型A和低照模型B进行信息提取和转移。考虑到低照任务的特殊性，需要在原信息提取技术的基础上添加网络的前几层，在低照模型A和低照模型B最接近网络的输入的层上进行信息的提取和转移，具体结构如图10所示，通过该方式能够有效地保留低照模型A的有用特征，且低照模型B能够在减少模型参数的同时保持和低照模型A相同的增强效果。

S533，基于第三特征和第四特征计算特征损失。

结合图10，特征损失的计算包括三部分的内容，即对应于普通卷积1的特征损失，对应于离散采样卷积1的特征损失以及对应于输出层的特征损失。其中，可以采用这三部分之和表征特征损失，也可以采用这三部分的加权和表征特征损失等等。所述的特征损失可以采用L1损失进行计算，也可以采用其他方式进行计算。

S534，利用特征损失以及损失函数的计算结果，对第一压缩图像增强模型的参数进行更新，确定第一目标压缩图像增强模型。

如图10所述，在训练第一压缩图像增强模型时的依据在于，上述S531的损失函数的计算结果以及上述S533的特征损失的计算结果。结合图10，训练的依据包括5部分的内容，即像素损失、图像损失、损失函数的计算结果以及三个特征损失。

电子设备以该依据为指导，对第一压缩图像增强模型的参数进行更新，最终确定出第一目标压缩图像增强模型。

S54，利用样本图像对对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

详细请参见图8所示实施例的S44，在此不再赘述。

本实施例提供的图像增强模型的训练方法，在利用目标压缩图像增强模型指导第一压缩图像增强模型的训练过程中，对目标压缩图像增强模型的预设卷积层输出的信息进行提取和转移，通过该方式能够有效地保留目标压缩图像增强模型的有用特征，且所得到的第一目标压缩图像增强模型能够在减小模型参数的同时保持和目标压缩图像增强模型相同的增强效果。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图11是根据本发明实施例的图像增强模型的训练方法的流程图，如图11所示，该流程包括如下步骤：

S61，获取目标图像增强模型。

其中，所述目标图像增强模型是根据图1、4以及7任一所示实施例中所述的训练方法训练得到的。

详细请参见图9所述实施例的S51的描述，在此不再赘述。

S62，对目标图像增强模型进行压缩，得到第一压缩图像增强模型。

详细请参见图9所述实施例的S52的描述，在此不再赘述。

S63，固定目标图像增强模型的参数，并将第一质量样本图像分别输入目标图像增强模型以及第一压缩图像增强模型中，以对第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型。

详细请参见图9所述实施例的S53的描述，在此不再赘述。

S64，利用样本图像对对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

在本实施例中，电子设备利用样本图像对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。其中，预设通道数的不同，就可以得到不同的第二目标压缩图像增强模型。具体地，上述S64可以包括：

S641，获取第一目标压缩图像增强模型的第一通道数，并确定小于或等于第一通道数的第二通道数为预设通道数。

第一目标压缩图像增强模型的第一通道数可以是电子设备从外界获取到的，也可以是对第一目标压缩图像增强模型进行分析得到的，等等。在得到第一通道数之后，将小于或等于第一通道数的第二通道数确定为预设通道数。

S642，利用样本图像对对第一目标压缩图像增强模型的至少一个预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

在一个实施方式中，可以利用样本图像对直接对第一目标压缩图像模型B进行压缩，假设第一目标压缩图像模型B的第一通道数为N，所选取的预设通道数为M，M≤N，利用样本图像只对第一目标压缩图像模型B中的前M个预设通道对应的参数进行更新，得到第二目标压缩图像增强模型，M取不同的值，得到不同的第二目标压缩图像增强模型，各个第二目标压缩图像增强模型具有与第一目标压缩图像模型相同的先验知识。进一步地，可以将得到的多个不同的第二目标压缩图像增强模型存储至模型池中。

在另一个实施方式中，构建一个初始低照模型C0，初始低照模型C0的网络结构与低照模型B完全一致，使用调优后的低照模型B对其进行参数的初始化赋值，使得初始低照模型C0具有低照模型B的先验知识，减少模型之间由于参数的不同所带来的信息偏差。其中，初始低照模型C0与第一目标压缩图像模型B完全相同。

具体地，电子设备使用样本图像对对初始低照模型C0进行训练，初始低照模型C0的通道数为Cin，在[Cin/2，Cin]的区间内生成随机数组Cout，数值的间隔为T，在每次迭代的过程中选取随机数组Cout中的一个值作为预设通道数，并利用样本图像对初始低照模型C0的预设通道数的参数进行更新，得到至少一个第二目标压缩图像增强模型C，称之为低照模型C，通过多次迭代就可以得到多个低照模型C。其中可以将所得到的低照模型C的集合看做是Cin/(2*T)个模型的集合。例如，初始低照模型C0每一层的网络通道数为128，产生的随机数组为[64，128]，间隔为1；在第一次迭代过程中，选取72作为预设通道数，然后只对初始低照模型C0中的前72维通道数的参数进行更新；在第二次迭代过程中，选取64作为预设通道数，然后只对初始低照模型C0中的前64维通道数的参数进行更新…，以此迭代调优，得到的64个低照模型C的集合。需要说明的是，由于初始低照模型C0具有低照模型B(第一目标压缩图像增强模型B)的先验知识，因此，对初始低照模型C0进行压缩得到的各个低照模型C(第二目标压缩图像增强模型C)具有与低照模型B相同的先验知识。

需要说明的是，预设通道数是一定小于或等于低照模型B的通道数。也可以在其他区间内进行通道数的选择，而不限于上文所述。例如，可以在[1，Cin]的区间内，视具体任务可做调整。

如图12所示，经过低照模型B才能得到低照模型C，是因为从低照模型A到低照模型B，是信息提取和转移，能够最大限度保留低照模型A的有用知识；然后从低照模型B到低照模型C，可以通过微调的方式，使得低照模型C具有和低照模型B同样的先验知识，然后在此基础上可以进行模型的搜索。若直接从低照模型A到低照模型C，存在模型的差异(通道数不一致)，无法使得低照模型C具有先验知识，模型搜索表现较差。

本实施例提供的图像增强模型的训练方法，在第一目标压缩图像增强模型的基础上对其通道数的参数进行更新，得到至少一个第二目标压缩图像增强模型，由于不同宽度的模型能够收集所有的视图特性，且每个第二压缩图像增强模型均具有第一目标压缩图像增强模型的先验信息，从而可以在进一步缩小模型宽度的基础上，且仍能够保持较优异的图像增强效果。

根据本发明实施例，提供了一种图像增强方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种图像增强方法，可用于电子设备，如电脑、手机、平板电脑等，图13是根据本发明实施例的图像增强模型的训练方法的流程图，如图13所示，该流程包括如下步骤：

S71，获取第一待处理图像。

本实施例中对电子设备获取第一待处理图像的方式并不做任何限制，具体可以根据实际情况进行设置即可。

S72，将第一待处理图像输入目标图像增强模型中，得到第一目标图像。

其中，所述目标图像增强模型是根据图1、4以及7任一所示实施例中所述的图像增强模型的训练方法训练得到的。

目标图像增强模型用于对低质量图像进行图像增强处理，电子设备在获取到第一待处理图像之后，将其输入至目标图像增强模型中，经过目标图像增强模型的处理后，就可以输出第一目标图像，所述的第一目标图像为高质量图像。

关于目标图像增强模型的具体结构细节请参见图1、4以及7实施例中的详细描述，在此不再赘述。

本发明实施例提供的图像增强方法，利用目标图像增强模型对第一待处理图像进行图像增强处理，由于目标图像增强模型中的残差单元具有至少两个数据通道，可以在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了图像增强的效率。

在本实施例中提供了一种图像增强方法，可用于电子设备，如电脑、手机、平板电脑等，图14是根据本发明实施例的图像增强模型的训练方法的流程图，如图14所示，该流程包括如下步骤：

S81，获取第二待处理图像以及获取至少一个第二目标压缩图像增强模型中满足预设条件的模型。

其中，所述至少一个第二目标压缩图像增强模型是根据图8、9以及11任一所述实施例中所述的图像增强模型的训练方法训练得到的。

与上文所述的第一待处理图像的类似，本实施例中对电子设备获取第二待处理图像的方式并不做任何限制，具体可以根据实际情况进行相应的设置。

关于第二目标图像增强模型的具体结构细节请参见图8、9以及11实施例中的详细描述，在此不再赘述。

在上述图8、9以及11所示实施例中，训练得到至少一个第二目标压缩图像增强模型，电子设备从这些至少一个第二目标压缩图像增强模型中满足预设条件的模型，所述的预设条件可以是处理时间最短的模型，其中，所述处理时间为对于当前电子设备而言其从输入图像到得到输出图像之间的处理时间，通过比较处理时间得到处理时间最短的模型，即为适用于当前电子设备的第二目标压缩图像增强模型。在确定出模型之后，后续就可以在当前电子设备上运行该模型，对获取到的第二待处理图像进行图像增强处理。或者，也可以是在处理时间的基础上，结合电子设备的内存占用或其他硬件条件进行模型的选择。例如，除了结合处理时间，还需要结合电子设备运行各个第二目标压缩图像增强模型是的内存占用情况，将这两者结合，选择合适的第二目标压缩图像增强模型。

可选地，电子设备可以是在需要进行图像增强处理时，获取到第一目标图像增强模型，通过在线的方式对其进行压缩得到至少一个第二目标图像增强模型；再从运行时间或内存占用方面，对至少一个第二目标图像增强模型进行选择，即可以获取到满足预设条件的模型。

在本实施例的一些可选实施方式中，所述获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，包括：

(1)获取测试图像。

测试图像可以是任何一个低质量图像，更进一步地，可以是任何一个图像。其可以是存储在电子设备中，也可以是电子设备从外界获取到的，等等。

(2)将测试图像分别输入至少一个第二目标压缩图像增强模型中，得到相应的处理时间。

电子设备将获取到的测试图像分别输入至各个第二目标压缩图像增强模型中，对各个第二目标压缩图像增强模型的处理时间进行统计，得到相应的处理时间。如上文所述，处理时间为从输入图像到得到输出图像之间的运行时间。

(3)比较处理时间，确定处理时间最短的模型为满足预设条件的模型。

电子设备将各个处理时间进行比较，找到其中处理时间最短的模型，将该模型确定为适用于当前电子设备的第二目标压缩图像增强模型。

通过对比各个第二目标压缩图像增强模型对测试图像的处理时间，就可以很容易比较得出处理时间最短的模型，简化了数据处理。

S82，将第二待处理图像输入满足预设条件的模型中，得到第二目标图像。

电子设备将处理时间最短的第二目标压缩图像增强模型作为适用于该电子设备的模型，将获取到的第二待处理图像输入至该模型中，即可得到第二目标图像。

本发明实施例提供的图像增强方法，由于第二目标压缩图像增强模型具有减小的模型参数，使得可以运行在终端设备中，且利用处理时间最短的模型进行图像增强处理，可以提高了模型增强的效率，从而实现实时图像增强处理。

本实施例提供的图像增强方法，可以理解为基于先验网络搜索的实时低照图像增强方法，首先通过先验网络搜索技术确定出应用在该电子设备上的第二目标压缩图像增强模型，利用确定出的模型实现图像的增亮和去噪。通过先验网络搜索技术减少第二目标压缩图像增强模型在内存上的开销，使其能够部署在终端设备上，实现实时的低照图像增强。

具体地，通过设备的运行时间在至少一个第二目标压缩图像增强模型中选择运行时间虽短的第二目标压缩图像增强模型作为最优的模型进行低照图像的增强，使得该图像增强方法能够运行在终端设备上，具有较高的实时性。

在本实施例中还提供了一种图像增强模型的训练装置，或图像增强装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种图像增强模型的训练装置，如图15所示，包括：

第一获取模块101，用于获取样本图像对，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像；

第一输入模块102，用于将所述第一质量样本图像输入图像增强模型中，得到预测第二质量图像，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道；

第一更新模块103，用于根据所述第二质量样本图像以及所述预测第二质量图像进行损失函数计算，并基于计算结果对所述图像增强模型的参数进行更新，确定目标图像增强模型。

本实施例提供的图像增强模型的训练装置，在图像增强模型中设置至少一个残差单元，且残差单元包括至少两个数据通道，每个数据通道代表一种模型表达，那么一个残差单元就可以看作是至少两种模型的集合，而普通的卷积单元只有一路信息流通，从而能够在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了模型训练及后续执行的效率。

本实施例还提供一种图像增强模型的训练装置，如图16所示，包括：

第二获取模块201，用于获取目标图像增强模型，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的训练方法训练得到的；

第一压缩模块202，用于对所述目标图像增强模型进行压缩，得到第一压缩图像增强模型；

第二更新模块203，用于固定所述目标图像增强模型的参数，并将所述第一质量样本图像分别输入所述目标图像增强模型以及所述第一压缩图像增强模型中，以对所述第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型；

第三更新模块204，用于利用所述样本图像对对所述第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

本实施例提供的图像增强模型的训练装置，利用目标图像增强模型指导压缩后的第一压缩图像增强模型的训练，可以保证训练后得到的第一目标压缩图像增强模型能够保留目标图像增强模型的重要信息，实现在减少模型参数的同时能够得到和目标图像增强模型相同的增强效果；进一步地，对第一目标压缩图像增强模型的预设通道数对应的参数进行更新，使得所得到的第二压缩图像增强模型具有第一目标压缩图像增强模型的先验知识，减少模型之间由于参数的不同所带来的信息偏差，进一步缩小了所训练得到的第二目标压缩图像增强模型的模型宽度，且仍保持与目标图像增强模型相同的图像增强效果，由于第二目标压缩图像增强模型的宽度较小，使得给模型可以应用在终端上，实现低质量图像的实时增强。

本实施例提供一种图像增强装置，如图17所示，包括：

第三获取模块301，用于获取第一待处理图像；

第一增强模块302，用于将所述待处理图像输入所述目标图像增强模型中，得到第一目标图像，所述目标图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的。

本实施例提供的图像增强装置，利用目标图像增强模型对第一待处理图像进行图像增强处理，由于目标图像增强模型中的残差单元具有至少两个数据通道，可以在相同计算量的情况下增加像素信息的流通，减少了卷积单元的设置，即减少了网络结构的深度，提高了图像增强的效率。

本实施例提供一种图像增强装置，如图18所示，包括：

第四获取模块401，用于获取第二待处理图像以及获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，所述至少一个第二目标压缩图像增强模型是根据本发明第一方面，或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的；

第二增强模块402，用于将所述第二待处理图像输入所述满足预设条件的模型中，得到第二目标图像。

本实施例提供的图像增强装置，由于第二目标压缩图像增强模型具有减小的模型参数，使得可以运行在终端设备中，且利用处理时间最短的模型进行图像增强处理，可以提高了模型增强的效率，从而实现实时图像增强处理。

本实施例中的图像增强模型的训练装置，或图像增强装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图15或16所示的图像增强模型的训练装置，或图17或18所示的图像增强装置。

请参阅图19，图19是本发明可选实施例提供的一种电子设备的结构示意图，如图19所示，该电子设备可以包括：至少一个处理器501，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口503，存储器504，至少一个通信总线502。其中，通信总线502用于实现这些组件之间的连接通信。其中，通信接口503可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口503还可以包括标准的有线接口、无线接口。存储器504可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器504可选的还可以是至少一个位于远离前述处理器501的存储装置。其中处理器501可以结合图15-18中任一项所描述的装置，存储器504中存储应用程序，且处理器501调用存储器504中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线502可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图19中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器504可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器504还可以包括上述种类的存储器的组合。

其中，处理器501可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器501还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器504还用于存储程序指令。处理器501可以调用程序指令，实现如本申请图1、4、7-9以及12实施例中所示的图像增强模型的训练方法，或如本申请图13-14实施例中所示的图像增强方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像增强模型的训练方法，或图像增强方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (14)

1.一种图像增强模型的训练方法，其特征在于，所述训练方法包括：

获取样本图像对，所述样本图像对包括第一质量样本图像以及对应的第二质量样本图像，所述第一质量样本图像的分辨率小于所述第二质量样本图像；

将所述第一质量样本图像输入图像增强模型中，得到预测第二质量图像，所述图像增强模型包括至少一个卷积单元以及至少一个残差单元，所述残差单元包括至少两个数据通道；

根据所述第二质量样本图像以及所述预测第二质量图像进行损失函数计算，并基于计算结果对所述图像增强模型的参数进行更新，确定目标图像增强模型。

2.根据权利要求1所述的训练方法，其特征在于，所述残差单元包括至少一个残差子单元，各个所述残差子单元依次堆叠，每个残差子单元包括至少两个数据通道，各个所述数据通道的输入数据相同，各个所述数据通道的输出数据利用合并单元处理后作为下一个所述残差子单元的输入，所述数据通道利用普通卷积层对所述输入数据进行特征提取，或所述数据通道将所述输入数据传输至所述合并单元。

3.根据权利要求1或2所述的训练方法，其特征在于，所述将所述第一质量样本图像输入图像增强模型中，得到预测第二质量图像，包括：

利用所述至少一个卷积单元对所述第一质量样本图像进行特征提取，所述至少一个卷积单元包括至少一个第一普通卷积层以及至少一个离散卷积层；

将最后一个所述离散卷积层的输出结果输入所述至少一个残差单元中，得到所述至少一个残差单元的输出结果；

利用至少一个第二普通卷积层对所述至少一个残差单元的输出结果进行特征提取，以得到所述预测第二质量图像。

4.根据权利要求1所述的训练方法，其特征在于，所述根据所述第二质量样本图像以及所述预测第二质量图像进行损失函数计算，包括：

基于所述第二质量样本图像以及所述预测第二质量图像，计算像素损失；

将所述预测第二质量图像以及所述第二质量样本图像输入图像鉴别模型中，分别得到相应的鉴别结果；

基于相应的鉴别结果计算图像损失；

利用所述像素损失以及所述图像损失，确定所述损失函数的计算结果。

5.根据权利要求4所述的训练方法，其特征在于，所述基于相应的鉴别结果计算图像损失，包括：

将所述第二质量样本图像输入预设特征提取模型进行特征提取，得到所述第二质量样本图像的第二特征向量；

将所述预测第二质量图像输入所述预设特征提取模型进行特征提取，得到所述预测第二质量图像的第一特征向量；

利用所述第一特征向量与所述第二特征向量的差值，确定图像特征损失；

利用所述图像特征损失以及所述鉴别结果，计算所述图像损失。

6.根据权利要求5所述的训练方法，其特征在于，采用如下公式计算损失函数：

式中，

其中，α₁、α₂分别为所述像素损失和所述图像损失的权重，y为所述预测第二质量图像对应的像素值，

为所述第二质量样本图像对应的像素值，L_pixel为所述像素损失，L_GAN为所述图像损失，L_feature为所述图像特征损失，L_D为所述鉴别结果对应的损失，

为所述预设特征提取模型提取的特征向量，logD()为所述鉴别模型输出的鉴别结果。

7.一种图像增强模型的训练方法，其特征在于，所述训练方法包括：

获取目标图像增强模型，所述目标图像增强模型是根据权利要求1-6中所述的训练方法训练得到的；

对所述目标图像增强模型进行压缩，得到第一压缩图像增强模型；

固定所述目标图像增强模型的参数，并将所述第一质量样本图像分别输入所述目标图像增强模型以及所述第一压缩图像增强模型中，以对所述第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型；

利用所述样本图像对对所述第一目标压缩图像增强模型的预设通道数对应的参数进行更新，得到至少一个第二目标压缩图像增强模型。

8.根据权利要求7所述的训练方法，其特征在于，所述将所述第一质量样本图像分别输入所述目标图像增强模型以及所述第一压缩图像增强模型中，以对所述第一压缩图像增强模型进行训练得到第一目标压缩图像增强模型，包括：

利用所述第一压缩图像增强模型输出的预测图像以及所述第二质量样本图像进行所述损失函数的计算，得到所述损失函数的计算结果；

分别提取所述目标图像增强模型以及所述第一压缩图像增强模型中预设卷积层输出的第三特征和第四特征；

基于所述第三特征和所述第四特征计算特征损失；

利用所述特征损失以及所述损失函数的计算结果，对所述第一压缩图像增强模型的参数进行更新，确定第一目标压缩图像增强模型。

9.根据权利要求7所述的训练方法，其特征在于，所述利用所述样本图像对对所述第一目标压缩图像增强模型的预设通道数对应的参数进行更新，以得到至少一个第二目标压缩图像增强模型，包括：

获取所述第一目标压缩图像增强模型的第一通道数，并确定小于或等于所述第一通道数的第二通道数为所述预设通道数；

利用所述样本图像对对所述第一目标压缩图像增强模型的至少一个所述预设通道数对应的参数进行更新，得到所述至少一个第二目标压缩图像增强模型。

10.一种图像增强方法，其特征在于，所述方法包括：

获取第一待处理图像；

将所述第一待处理图像输入所述目标图像增强模型中，得到第一目标图像，所述目标图像增强模型是根据权利要求1-6中任一项所述的图像增强模型的训练方法训练得到的。

11.一种图像增强方法，其特征在于，所述方法包括：

获取第二待处理图像以及获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，所述至少一个第二目标压缩图像增强模型是根据权利要求7-9中任一项所述的图像增强模型的训练方法训练得到的；

将所述第二待处理图像输入所述满足预设条件的模型中，得到第二目标图像。

12.根据权利要求11所述的方法，其特征在于，所述获取至少一个第二目标压缩图像增强模型中满足预设条件的模型，包括：

获取测试图像；

将所述测试图像分别输入所述至少一个第二目标压缩图像增强模型中，得到相应的处理时间；

比较所述处理时间，确定所述处理时间最短的模型为所述满足预设条件的模型。

13.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项或执行权利要求7-9中任一项所述的图像增强模型的训练方法，或者，执行权利要求10或执行权利要求11-12中任一项所述的图像增强方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6中任一项或执行权利要求7-9中任一项所述的图像增强模型的训练方法，或者，执行权利要求10或执行权利要求11-12中任一项所述的图像增强方法。

Images