CN112288638A - 图像增强设备以及系统 - Google Patents

Abstract

图像增强设备以及系统。本申请提供了一种图像增强方法以及系统，所述方法包括如下步骤：获取低质量图像；将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。上述方法能够有效地提高图像增强的效果。

Description

图像增强设备以及系统

技术领域

本申请涉及人工智能领域，尤其涉及一种图像增强设备以及系统。

背景技术

图像增强即增强图像中的有用信息，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果。

但是，本领域的技术人员在长期研究下发现，通过普通的方式进行图像增强，效果并不理想。

发明内容

为了解决上述问题，本申请提供了一种图像增强设备以及系统，能够有效地提高图像增强的效果。

第一方面，提供了一种图像增强方法，所述方法包括如下步骤：

获取低质量图像；

将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

上述方案中，图像增强模型是使用大量高质量样本图像，以及对大量高质量样本图像进行图像处理，模拟实际摄像机拍摄到的低质量样本图像进行训练得到的，通过上述训练方式训练得到的图像增强模型，可以学习到最佳网络参数，从而提高图像增强效果。

在一些可能的设计中，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的，包括以下一种或者多种：

通过以下公式对高质量样本图像Y进行处理从而得到亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式对高质量样本图像Y进行处理从而得到对比度低的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式对高质量样本图像Y进行处理从而得到制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式对高质量样本图像Y进行处理从而得到过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式对高质量样本图像Y进行处理从而得到模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

上述方案中，可以根据输入图像自适应地提升图像质量，可以解决图像对比度差，图像亮度暗，图像噪声大，图像过度锐化，图像聚焦模糊等问题。

在一些可能的设计中，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

上述方案中，通过将第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像输入特征放大器q_t中进行处理，能够充分地利用第一输出图像的原始信息，从而提升图像增强的效果。

在一些可能的设计中，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

在一些可能的设计中，所述特征抽取器p_s包括第一卷积层以及池化层，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像包括：

所述第一卷积层将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

在一些可能的设计中，所述特征放大器q_t包括反卷积层以及第二卷积层，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像包括：

所述反卷积层将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

第二方面，提供了一种图像增强模型的训练方法，所述方法包括：

获取高质量样本图像；

对所述高质量样本图像进行图像处理，从而得到低质量样本图像；

将所述低质量样本图像输入所述图像增强模型进行增强，从而得到增强图像；

将增强图像和所述高质量样本图像进行比较，从而得到差异值，并根据所述差异值更新所述图像增强模型。

在一些可能的设计中，对所述高质量样本图像进行图像处理，从而得到低质量样本图像，包括以下中的一种或者多种：

通过以下公式根据高质量样本图像Y制作出亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式根据高质量样本图像Y制作出人脸发蒙的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式根据高质量样本图像Y制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式根据高质量样本图像Y制作出过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式根据高质量样本图像Y制作出模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

在一些可能的设计中，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

在一些可能的设计中，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

在一些可能的设计中，所述特征抽取器p_s包括第一卷积层以及池化层，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像包括：

所述第一卷积层将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

在一些可能的设计中，所述特征放大器q_t包括反卷积层以及第二卷积层，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像包括：

所述反卷积层将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

第三方面，提供了一种图像增强设备，包括图像增强模型，

所述图像增强模型用于获取低质量图像；

所述图像增强模型用于将所述低质量图像进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

在一些可能的设计中，设备包括训练模块，所述训练模块用于：

通过以下公式对高质量样本图像Y进行处理从而得到亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式对高质量样本图像Y进行处理从而得到对比度低的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式对高质量样本图像Y进行处理从而得到制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式对高质量样本图像Y进行处理从而得到过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式对高质量样本图像Y进行处理从而得到模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

在一些可能的设计中，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

在一些可能的设计中，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

在一些可能的设计中，所述特征抽取器p_s包括第一卷积层以及池化层，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像包括：

所述第一卷积层用于将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层用于将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

在一些可能的设计中，所述特征放大器q_t包括反卷积层以及第二卷积层，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像包括：

所述反卷积层用于将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层用于将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

第四方面，提供了一种训练设备，所述设备包括获取模块、处理模块、图像增强模型以及比较模块：

所述获取模块用于获取高质量样本图像；

所述处理模块用于对所述高质量样本图像进行图像处理，从而得到低质量样本图像；

所述图像增强模型用于将所述低质量样本图像进行增强，从而得到增强图像；

所述比较模块用于将增强图像和所述高质量样本图像进行比较，从而得到差异值，并根据所述差异值更新所述图像增强模型。

在一些可能的设计中，所述处理模块用于对所述高质量样本图像进行以下中的一种或者多种图像处理，从而得到低质量样本图像：

通过以下公式根据高质量样本图像Y制作出亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式根据高质量样本图像Y制作出人脸发蒙的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式根据高质量样本图像Y制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式根据高质量样本图像Y制作出过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式根据高质量样本图像Y制作出模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

在一些可能的设计中，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

在一些可能的设计中，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

在一些可能的设计中，所述特征抽取器p_s包括第一卷积层以及池化层，

所述第一卷积层用于将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层用于将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

在一些可能的设计中，所述特征放大器q_t包括反卷积层以及第二卷积层：

所述反卷积层用于将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层用于将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

第五方面，提供了一种图像增强方法，所述方法包括如下步骤：

获取低质量图像；

将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

在一些可能的设计中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

在一些可能的设计中，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的，包括以下一种或者多种：

通过以下公式对高质量样本图像Y进行处理从而得到亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式对高质量样本图像Y进行处理从而得到对比度低的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式对高质量样本图像Y进行处理从而得到制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式对高质量样本图像Y进行处理从而得到过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式对高质量样本图像Y进行处理从而得到模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

在一些可能的设计中，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

在一些可能的设计中，所述特征抽取器p_s包括第一卷积层以及池化层，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像包括：

所述第一卷积层将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

在一些可能的设计中，所述特征放大器q_t包括反卷积层以及第二卷积层，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像包括：

所述反卷积层将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

第六方面，提供了一种增强设备，包括：处理器和存储器，所述处理器执行所述存储器中的代码执行如第一方面任一项或者第三方面任一项所述的方法。

第七方面，提供了一种训练设备，包括：处理器和存储器，所述处理器执行所述存储器中的代码执行如第二方面任一项所述的方法。

第八方面，提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项或者第二方面任一项或者第三方面任一项所述的方法。

第九方面，提供了一种计算机程序产品，当所述计算机程序产品被计算机读取并执行时，如第一方面任一项或者第二方面任一项或者第三方面任一项所述的方法将被执行。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本发明实施例提供的一种人工智能主体框架示意图；

图2是本申请涉及的一实施例的高质量人脸图像的示意图；

图3是本申请涉及的一实施例的低质量人脸图像的示意图；

图4是本申请涉及的一实施例的图像增强模型的结构示意图；

图5是本申请涉及的一实施例的具体的图像增强模型的结构示意图；

图6是本申请涉及的一实施例的更具体的图像增强模型的结构示意图；

图7是本申请提供的一种图像增强方法的流程示意图；

图8是本申请提供的一种图像增强模型的训练方法的流程示意图；

图9是本申请提供的一种图像增强设备的结构示意图；

图10是本申请提供的一种训练设备的结构示意图；

图11是本申请提供的一种增强设备的结构示意图；

图12是本申请提供的一种芯片硬件结构图；

图13是本申请提供的一种云系统的结构示意图；

图14是本申请提供的一种系统架构的结构示意图。

具体实施方式

图1示出一种人工智能主体框架示意图，该主体框架描述了人工智能系统总体工作流程，适用于通用的人工智能领域需求。

下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。

“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。

“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施：

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶，平安城市，智能终端等。

本申请提供的图像增强方法是人工智能中的一个细分领域，除了具有上述人工智能的普遍性特征之外，还具有人脸增强的独有特征，下面将进行详细的介绍。

为了便于理解，下面先对本申请涉及的高质量图像以及低质量图像进行详细的介绍。

高质量图像通常为质量较好，能够满足要求的图像。以图2所示的人脸图像为例，高质量图像通常具有以下特征：人脸亮度适中、人脸对比度适中、人脸噪声小、人脸锐化适中以及人脸清晰度高等等。

低质量人脸图像通常为质量较差时，不能满足要求的图像。如图3所示，低质量图像通常存在人脸亮度异常(过高或者过低)、人脸对比度差、人脸噪声大、人脸过度锐化以及人脸模糊等等问题。

应理解，上述高质量图像以及低质量图像均以人脸图像为例进行说明，在实际应用中，还可以是其他的图像，例如，植物图像，动物图像、建筑物图像以及风景图像等等，此处不作具体限定。为例陈述简便，下文中均以高质量图像为高质量人脸图像，低质量图像为低质量人脸图像为例进行说明。

在介绍完本申请涉及的高质量人脸图像以及低质量人脸图像之后，下文将详细介绍将低质量人脸图像输入图像增强模型，从而得到高质量人脸图像的预测过程以及使用高质量人脸图像以及低质量人脸图像进行训练，从而得到图像增强模型的训练过程。

(1)预测过程

如图4所示，人脸增强系统将低质量人脸图像输入图像增强模型，从而得到高质量人脸图像。

在本申请具体的实施例中，图像增强模型可以表示为：

I_hight＝enhancement(I_low)

其中，I_hight为高质量人脸图像，I_low为低质量人脸图像。enhancement()为高质量人脸图像与低质量的映射关系。Emoforecast()可以是通过大量的已知高质量人脸图像和已知低质量人脸图像进行训练得到的。

在一具体的实施例中，如图5所示，图像增强模型是可以采用卷积神经网络(convolutional neural networks，CNN)来实现的。该卷积神经网络可以包括一个或多个特征抽取器以及一个或多个特征放大器。

图像增强模型包含了由卷积层和池化层构成的特征抽取器。卷积层用于进行卷积处理，卷积处理的过程可以看作是使用一个可训练的第一滤波器与输入图像或者卷积特征平面(feature map)做卷积从而得到特征图像，卷积层是指卷积神经网络中对输入图像和滤波器进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。卷积核可以理解为提取图像信息的方式与位置无关。所以对于输入图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。池化层用于进行池化处理，池化处理的过程可以看作是进行对输入图像进行采样的过程，通过池化处理可以对输入图像进行降维，也就是说，池化层可以将图像尺寸较大的输入图像降维为图像尺寸较小的特征图像。

图像增强模型还可以包含反卷积层构成的特征放大器。反卷积层用于进行反卷积处理，反卷积处理过程可以看作是使用一个可训练的第二滤波器与特征图像做卷积从而得到升维的放大图像，也就是说，反卷积层可以将图像尺寸较小的特征图像升维为图像尺寸较大的放大图像。反卷积层是指卷积神经网络中对特征图像和第二滤波器进行反卷积处理的神经元层。在卷积神经网络的反卷积层中，一个神经元可以只与部分邻层神经元连接。一个反卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是反卷积核。反卷积核可以理解为放大图像信息的方式与位置无关。所以对于特征图像上的所有位置，我们都能使用同样的放大方式进行放大从而得到放大图像。

在本实施例的图像增强模型中，特征抽取器和特征放大器可以是成对出现的。也就是说，所述图像增强模型包括t个特征抽取器p₁，p₂，…，p_t以及t个特征放大器q₁，q₂，…，q_t，特征抽取器p_i将尺寸为m*n的第一输入图像降维为尺寸为a*b的第一输出图像，特征抽取器q_j将尺寸为a*b的第二输入图像升维为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_i-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_j-1的输出图像的加和图像，t为正整数，i和j均为自变量，i和j均为整数，并且，0<i,j≤t，i+j-1＝t。

在一更具体的实施例中，如图6所示，图像增强模型包括特征抽取器1(包括卷积层1以及池化层1)、特征抽取器2(包括卷积层2以及池化层2)、卷积层3、特征放大器1(包括反卷积层1以及卷积层4)以及特征放大器2(包括反卷积层2以及卷积层5)。

在特征抽取器1中：

将尺寸为m₁*n₁的低质量人脸图像I_low输入特征抽取器1，从而得到多个尺寸为m₂*n₂的特征图像。其中，m₁*n₁的数值大于m₂*n₂的数值。实际上，可以先将尺寸为m₁*n₁的低质量人脸图像I_low输入卷积层1，从而得到f₁个尺寸为m₁*n₁卷积图像a_1，i，再将f₁个尺寸为m₁*n₁卷积图像a_1，i输入池化层1，从而得到f₁个尺寸为m₂*n₂的池化图像b_1，i。这里，f₁个尺寸为m₂*n₂的池化图像b_1，i即为f₁个尺寸为m₂*n₂的特征图像。其中，在卷积层1和池化层1中的具体计算过程如下：

在卷积层1中：

将尺寸为m₁*n₁的低质量人脸图像I_low作为卷积层1的输入，经过f₁个卷积核K_1，i(i＝1,2,…，f₁)的卷积生成f₁个尺寸为m₁*n₁的卷积图像a_1，i(i＝1,2,…，f₁)，其中，每个卷积图像a_1，i的生成过程具体如下：

C_1，i＝conv1(I_low,K_1，i,'same',)+b_1，i

u_1，i＝C_1，i

a_1，i＝f(u_1，i)

其中，conv1表示为使用卷积核K_1，i对图像I_low进行卷积运算、same表示为padding的方式，b_1，i表示为偏置值，u_1，i表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在池化层1中：

将卷积层1输出的f₁个尺寸为m₁*n₁的卷积图像a_1，i作为池化层的输入，经过池化窗口进行池化之后，生成f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)，其中，每个池化图像b_1，i的生成过程具体如下：

b_1，i＝maxpool(a_1，i)

其中，maxpool表示为最大池化。应理解，这里是采用最大池化作为例子进行说明的，在实际应用中，还可以采用均值池化等等，此处不作具体限定。

在特征抽取器2中：

将f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)输入特征抽取器2，从而得到多个尺寸为m₃*n₃的特征图像。其中，m₂*n₂的数值大于m₃*n₃的数值。实际上，可以先将f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)输入卷积层2，从而得到f₂个尺寸为m₂*n₂卷积图像a_2，j(j＝1,2,…，f₂)，再将f₂个尺寸为m₂*n₂卷积图像a_2，j(j＝1,2,…，f₂)输入池化层2，从而得到f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)。这里，f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)即为f₂个尺寸为m₃*n₃的特征图像。其中，在卷积层2和池化层2中的具体计算过程如下：

在卷积层2中：

将尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)作为卷积层2的输入，经过f₂个卷积核K_2，j(j＝1,2,…，f₂)的卷积生成f₂个尺寸为m₂*n₂的卷积图像a_2，j(j＝1,2,…，f₂)，其中，每个卷积图像a_2，j的生成过程具体如下：

C_2，j＝conv2(b_1，i,K_2，j,'same',)+b_2，j

u_2，j＝C_2，j

a_2，j＝f(u_2，j)

其中，conv2表示为使用卷积核K_2，j对池化图像b_1，i进行卷积运算、same表示为padding的方式，b_2，j表示为偏置值，u_2，j表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在池化层2中：

将卷积层2输出的f₂个尺寸为m₂*n₂的卷积图像a_2，j作为池化层的输入，经过池化窗口进行池化之后，生成f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)，其中，每个池化图像b_2，j的生成过程具体如下：

b_2，j＝max pool(a_2，j)

其中，maxpool表示为最大池化。应理解，这里是采用最大池化作为例子进行说明的，在实际应用中，还可以采用均值池化等等，此处不作具体限定。

在卷积层3中：

将f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)作为卷积层3的输入，经过f₂个卷积核K_3，j(j＝1,2,…，f₂)的卷积生成f₂个尺寸为m₃*n₃的卷积图像a_3，j(j＝1,2,…，f₂)，其中，每个卷积图像a_3，j的生成过程具体如下：

C_3，j＝conv3(b_2，j,K_3，j,'same',)+b_3，j

u_3，j＝C_3，j

a_3，j＝f(u_3，j)

其中，conv3表示为使用卷积核K_3，j对池化图像b_2，j进行卷积运算、same表示为padding的方式，b_3，j表示为偏置值，u_3，j表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在特征放大器1中：

将f₂个尺寸为m₃*n₃的卷积图像a_3，j(j＝1,2,…，f₂)和f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)分别进行加和，从而得到f₂个加和图像sum_1，j(j＝1,2,…，f₂)。将f₂个加和图像sum_1，j(j＝1,2,…，f₂)输入特征放大器1，从而得到f₁个尺寸为m₂*n₂的放大图像。实际上，可以先将f₂个尺寸为m₃*n₃的加和图像sum_1，j(j＝1,2,…，f₂)输入反卷积层1，从而得到f₁个尺寸为m₂*n₂的反卷积图像

再将f₁个尺寸为m₂*n₂反卷积图像

输入卷积层4，从而得到f₁个尺寸为m₂*n₂的卷积图像a_4，i。这里，f₁个尺寸为m₂*n₂的池卷积图像a_4，i即为f₁个尺寸为m₂*n₂的放大图像。其中，在反卷积层1和卷积层2中的具体计算过程如下：

在反卷积层1中：

将f₂个尺寸为m₃*n₃的卷积图像a_3，j(j＝1,2,…，f₂)和f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)分别进行加和，从而得到f₂个加和图像sum_1，j(j＝1,2,…，f₂)。将f₂个尺寸为m₃*n₃的加和图像sum_1，j(j＝1,2,…，f₂)作为反卷积层1的输入，经过f₁个反卷积核

的反卷积生成f₁个尺寸为m₂*n₂的反卷积图像

其中，每个加和图像sum_1，j的生成过程具体如下：

sum_1，j＝a_3，j+b_2，j

每个反卷积图像

的生成过程具体如下：

其中，Deconv1表示为使用卷积核

对加和图像sum_1，j进行反卷积运算、same表示为padding的方式，

表示为偏置值，

表示为反卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在卷积层4中：

将反卷积层1输出的f₁个尺寸为m₂*n₂的反卷积图像

作为卷积层4的输入，经过f₁个卷积核K_4，i(i＝1,2,…，f₁)的卷积生成f₁个尺寸为m₂*n₂的卷积图像a_4，i(i＝1,2,…，f₁)，其中，每个卷积图像a_4，i的生成过程具体如下：

u_4，i＝C_4，i

a_4，i＝f(u_4，i)

其中，conv4表示为使用卷积核K_4，i对反卷积图像

进行卷积运算、same表示为padding的方式，b_4，i表示为偏置值，u_4，i表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在特征放大器2中：

将f₁个尺寸为m₂*n₂的卷积图像a_4，i(i＝1,2,…，f₁)和f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)分别进行加和，从而得到f₁个加和图像sum_2，i(i＝1,2,…，f₁)。将f₁个加和图像sum_2，i(i＝1,2,…，f₁)输入特征放大器2，从而得到1个尺寸为m₁*n₁的放大图像。实际上，可以先将f₁个尺寸为m₂*n₂的加和图像sum_2，i(i＝1,2,…，f₁)输入反卷积层2，从而得到1个尺寸为m₁*n₁的反卷积图像

再将1个尺寸为m₁*n₁反卷积图像

输入卷积层5，从而得到1个尺寸为m₁*n₁的卷积图像a₅。这里，1个尺寸为m₁*n₁的池卷积图像a₅即为1个尺寸为m₁*n₁的放大图像。其中，在反卷积层2和卷积层5中的具体计算过程如下：

在反卷积层2中：

将f₁个尺寸为m₂*n₂的卷积图像a_4，i(i＝1,2,…，f₁)和f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)分别进行加和，从而得到f₁个加和图像sum_2，i(i＝1,2,…，f₁)。将f₁个尺寸为m₂*n₂的加和图像sum_2，i(i＝1,2,…，f₁)作为反卷积层2的输入，经过1个反卷积核

的反卷积生成1个尺寸为m₁*n₁的反卷积图像

其中，每个加和图像sum_2，i的生成过程具体如下：

sum_2，i＝a_4，i+b_1，i

反卷积图像

的生成过程具体如下：

其中，Deconv2表示为使用卷积核

对加和图像sum_2i进行反卷积运算、same表示为padding的方式，

表示为偏置值，

表示为反卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在卷积层5中：

将反卷积层2输出的1个尺寸为m₁*n₁的反卷积图像

作为卷积层5的输入，经过1个卷积核K₅的卷积生成1个尺寸为m₁*n₁的卷积图像a₅，其中，卷积图像a₅的生成过程具体如下：

u₅＝C₅

a₅＝u₅

其中，conv5表示为使用卷积核K₅对反卷积图像

进行卷积运算、same表示为padding的方式，b₅表示为偏置值，u₅表示为卷积计算的结果。

最后，将尺寸为m₁*n₁的低质量人脸图像I_low和卷积图像a₅进行叠加，就可以得到高质量人脸图像I_hight。

在上述方案中，图5所示的图像增强模型仅仅是作为一个具体的举例，不应构成限定。在实际应用中，特征抽取器和特征放大器的数量可以是更少或者更多，只需要保证特征抽取器和特征放大器的数量是相同的即可，此处不作具体限定。另外，每个特征抽取器中的卷积层的数量也可以是更多，此处不作具体限定。每个特征放大器中的卷积层的数量也可以是更多，此处不作具体限定。

(2)训练过程

为了获得图像增强模型的训练集合，训练设备可以通过高质量人脸图像制作出对应的低质量人脸图像，并将高质量人脸图像和低质量人脸图像作为一对训练样本。假设高质量人脸图像为Y，可以分别制作出的人脸亮度异常的低质量人脸图像Y₁，人脸发蒙的低质量人脸图像Y₂，人脸噪声大的低质量人脸图像Y₃，人脸过度锐化的低质量人脸图像Y₄以及人脸模糊的低质量人脸图像Y₅。因此，低质量人脸图像Y₁和高质量人脸图像为Y可以构成一对训练样本，低质量人脸图像Y₂和高质量人脸图像为Y可以构成一对训练样本，低质量人脸图像Y₃和高质量人脸图像为Y可以构成一对训练样本，低质量人脸图像Y₄和高质量人脸图像为Y可以构成一对训练样本以及低质量人脸图像Y₅和高质量人脸图像为Y可以构成一对训练样本。

训练设备可以通过以下方式根据高质量人脸图像为Y分别制作出人脸亮度异常的低质量人脸图像Y₁，人脸发蒙的低质量人脸图像Y₂，人脸噪声大的低质量人脸图像Y₃，人脸过度锐化的低质量人脸图像Y₄以及人脸模糊的低质量人脸图像Y₅。

(a)训练设备通过以下公式根据高质量人脸图像Y制作出人脸亮度异常的低质量人脸图像Y₁：

Y₁＝βY

其中，β为亮度系数，当β小于1时，例如，β的取值范围为(0.9，1.0)，可以制作出人脸亮度过低的低质量人脸图像Y₁，当β大于1时，可以制作出人脸亮度过高的低质量人脸图像Y₁。

(b)训练设备通过以下公式根据高质量人脸图像Y制作出人脸发蒙的低质量人脸图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数，γ的取值范围可以为[0.9，1.0]。

(c)训练设备通过以下公式根据高质量人脸图像Y制作出人脸噪声大的低质量人脸图像Y₃：

其中，u为噪声的均值，u的取值范围可以为[0，0.01]，σ为噪声的方差，σ的取值范围可以为[0，e^-3]。

(d)训练设备通过以下公式根据高质量人脸图像Y制作出人脸过度锐化的低质量人脸图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，α的取值范围为[0.4，1.0]，Laplacian()为拉普拉斯函数。

(e)训练设备通过以下公式根据高质量人脸图像Y制作出人脸模糊的低质量人脸图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

可以理解，还可以使用高质量人脸图像为Y和高质量人脸图像为Y构成一对训练样本，以丰富图像增强模型的训练集合。另外，还可以对高质量人脸图像采用(a)至(e)中的两种或者更多种方式进行处理，从而得到低质量人脸图像。例如，可以对高质量人脸图像同时采用(a)至(e)的处理方式进行处理，从而得到亮度异常、发蒙、过度锐化、噪声大并且模糊的低质量人脸图像。

在得到训练集合之后，可以使用训练集合中的训练样本对图像增强模型进行训练。其中，对图像增强模型进行训练的过程具体为：

获取多个训练样本，其中，所述训练样本包括对应的高质量人脸图像和低质量人脸图像。

通过所述多个训练样本对图像增强模型进行重复训练，直到图像增强模型能够将低质量的人脸图像增强为高质量人脸图像。

对于单次训练来说，因为图像增强模型的输出尽可能的接近真正想要的高质量人脸图像，所以，可以将一训练样本中的低质量人脸图像输入图像增强模型，从而得到对该训练样本中的低质量人脸图像进行增强后得到的增强图像，并将该增强图像作为真正想要的目标值，比较当前图像增强模型进行增强后得到的增强图像和训练样本中的高质量人脸图像，再根据两者之间的差异值来更新图像增强模型中的卷积神经网络的每一层的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为图像增强模型中的各层预先配置参数)。依照上述的方式不断地调整，直到图像增强模型输出的增强图像与高质量人脸图像的差异值足够的小。因此，就需要预先定义“如何比较当前图像增强模型进行增强后得到的高质量人脸图像和训练样本中的高质量人脸图像之间的差异”，这便是损失函数(lossfunction)或目标函数(objective function)，它们是用于衡量当前图像增强模型进行增强后得到的高质量人脸图像和训练样本中的高质量人脸图像的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么图像增强模型的训练就变成了尽可能缩小这个loss的过程。

参阅图7，图7是本申请提供的一种图像增强方法的流程示意图。本实施例的图像增强方法，包括：

S101：获取低质量图像。

在一具体的实施例中，低质量图像通常为质量较差时，不能满足要求的图像。低质量图像通常存在亮度异常(过高或者过低)、对比度差、噪声大、过度锐化以及模糊等等问题。

在一具体的实施例中，低质量图像可以包括人脸图像，植物图像，动物图像、建筑物图像以及风景图像等等，此处不作具体限定。为例陈述简便，下文中均以低质量图像为低质量人脸图像为例进行说明。

S102：将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

在一具体的实施例中，高质量图像通常为质量较好，能够满足要求的图像。高质量图像通常具有以下特征：亮度适中、对比度适中、噪声小、锐化适中以及清晰度高等等。

如图4所示，人脸增强系统将低质量人脸图像输入图像增强模型，从而得到高质量人脸图像。

在一具体的实施例中，图像增强模型可以表示为：

I_hight＝enhancement(I_low)

其中，I_hight为高质量人脸图像，I_low为低质量人脸图像。enhancement()为高质量人脸图像与低质量的映射关系。Emoforecast()可以是通过大量的已知高质量人脸图像和已知低质量人脸图像进行训练得到的。

在一具体的实施例中，如图5所示，图像增强模型是可以采用卷积神经网络(convolutional neural networks，CNN)来实现的。该卷积神经网络可以包括一个或多个特征抽取器以及一个或多个特征放大器。

图像增强模型包含了由卷积层和池化层构成的特征抽取器。卷积层用于进行卷积处理，卷积处理的过程可以看作是使用一个可训练的第一滤波器与输入图像或者卷积特征平面(feature map)做卷积从而得到特征图像，卷积层是指卷积神经网络中对输入图像和滤波器进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。卷积核可以理解为提取图像信息的方式与位置无关。所以对于输入图像上的所有位置，我们都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。池化层用于进行池化处理，池化处理的过程可以看作是进行对输入图像进行采样的过程，通过池化处理可以对输入图像进行降维，也就是说，池化层可以将图像尺寸较大的输入图像降维为图像尺寸较小的特征图像。

图像增强模型还可以包含反卷积层构成的特征放大器。反卷积层用于进行反卷积处理，反卷积处理过程可以看作是使用一个可训练的第二滤波器与特征图像做卷积从而得到升维的放大图像，也就是说，反卷积层可以将图像尺寸较小的特征图像升维为图像尺寸较大的放大图像。反卷积层是指卷积神经网络中对特征图像和第二滤波器进行反卷积处理的神经元层。在卷积神经网络的反卷积层中，一个神经元可以只与部分邻层神经元连接。一个反卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是反卷积核。反卷积核可以理解为放大图像信息的方式与位置无关。所以对于特征图像上的所有位置，我们都能使用同样的放大方式进行放大从而得到放大图像。

在本实施例的图像增强模型中，特征抽取器和特征放大器可以是成对出现的。也就是说，所述图像增强模型包括t个特征抽取器p₁，p₂，…，p_t以及t个特征放大器q₁，q₂，…，q_t，特征抽取器p_i将尺寸为m*n的第一输入图像降维为尺寸为a*b的第一输出图像，特征抽取器q_j将尺寸为a*b的第二输入图像升维为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_i-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_j-1的输出图像的加和图像，t为正整数，i和j均为自变量，i和j均为整数，并且，0<i,j≤t，i+j-1＝t。

在一更具体的实施例中，如图6所示，图像增强模型包括特征抽取器1(包括卷积层1以及池化层1)、特征抽取器2(包括卷积层2以及池化层2)、卷积层3、特征放大器1(包括反卷积层1以及卷积层4)以及特征放大器2(包括反卷积层2以及卷积层5)。

在特征抽取器1中：

将尺寸为m₁*n₁的低质量人脸图像I_low输入特征抽取器1，从而得到多个尺寸为m₂*n₂的特征图像。其中，m₁*n₁的数值大于m₂*n₂的数值。实际上，可以先将尺寸为m₁*n₁的低质量人脸图像I_low输入卷积层1，从而得到f₁个尺寸为m₁*n₁卷积图像a_1，i，再将f₁个尺寸为m₁*n₁卷积图像a_1，i输入池化层1，从而得到f₁个尺寸为m₂*n₂的池化图像b_1，i。这里，f₁个尺寸为m₂*n₂的池化图像b_1，i即为f₁个尺寸为m₂*n₂的特征图像。其中，在卷积层1和池化层1中的具体计算过程如下：

在卷积层1中：

将尺寸为m₁*n₁的低质量人脸图像I_low作为卷积层1的输入，经过f₁个卷积核K_1，i(i＝1,2,…，f₁)的卷积生成f₁个尺寸为m₁*n₁的卷积图像a_1，i(i＝1,2,…，f₁)，其中，每个卷积图像a_1，i的生成过程具体如下：

C_1，i＝conv1(I_low,K_1，i,'same',)+b_1，i

u_1，i＝C_1，i

a_1，i＝f(u_1，i)

其中，conv1表示为使用卷积核K_1，i对图像I_low进行卷积运算、same表示为padding的方式，b_1，i表示为偏置值，u_1，i表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在池化层1中：

将卷积层1输出的f₁个尺寸为m₁*n₁的卷积图像a_1，i作为池化层的输入，经过池化窗口进行池化之后，生成f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)，其中，每个池化图像b_1，i的生成过程具体如下：

b_1，i＝maxpool(a_1，i)

其中，maxpool表示为最大池化。应理解，这里是采用最大池化作为例子进行说明的，在实际应用中，还可以采用均值池化等等，此处不作具体限定。

在特征抽取器2中：

将f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)输入特征抽取器2，从而得到多个尺寸为m₃*n₃的特征图像。其中，m₂*n₂的数值大于m₃*n₃的数值。实际上，可以先将f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)输入卷积层2，从而得到f₂个尺寸为m₂*n₂卷积图像a_2，j(j＝1,2,…，f₂)，再将f₂个尺寸为m₂*n₂卷积图像a_2，j(j＝1,2,…，f₂)输入池化层2，从而得到f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)。这里，f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)即为f₂个尺寸为m₃*n₃的特征图像。其中，在卷积层2和池化层2中的具体计算过程如下：

在卷积层2中：

将尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)作为卷积层2的输入，经过f₂个卷积核K_2，j(j＝1,2,…，f₂)的卷积生成f₂个尺寸为m₂*n₂的卷积图像a_2，j(j＝1,2,…，f₂)，其中，每个卷积图像a_2，j的生成过程具体如下：

C_2，j＝conv2(b_1，i,K_2，j,'same',)+b_2，j

u_2，j＝C_2，j

a_2，j＝f(u_2，j)

其中，conv2表示为使用卷积核K_2，j对池化图像b_1，i进行卷积运算、same表示为padding的方式，b_2，j表示为偏置值，u_2，j表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在池化层2中：

将卷积层2输出的f₂个尺寸为m₂*n₂的卷积图像a_2，j作为池化层的输入，经过池化窗口进行池化之后，生成f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)，其中，每个池化图像b_2，j的生成过程具体如下：

b_2，j＝max pool(a_2，j)

其中，maxpool表示为最大池化。应理解，这里是采用最大池化作为例子进行说明的，在实际应用中，还可以采用均值池化等等，此处不作具体限定。

在卷积层3中：

将f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)作为卷积层3的输入，经过f₂个卷积核K_3，j(j＝1,2,…，f₂)的卷积生成f₂个尺寸为m₃*n₃的卷积图像a_3，j(j＝1,2,…，f₂)，其中，每个卷积图像a_3，j的生成过程具体如下：

C_3，j＝conv3(b_2，j,K_3，j,'same',)+b_3，j

u_3，j＝C_3，j

a_3，j＝f(u_3，j)

其中，conv3表示为使用卷积核K_3，j对池化图像b_2，j进行卷积运算、same表示为padding的方式，b_3，j表示为偏置值，u_3，j表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在特征放大器1中：

将f₂个尺寸为m₃*n₃的卷积图像a_3，j(j＝1,2,…，f₂)和f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)分别进行加和，从而得到f₂个加和图像sum_1，j(j＝1,2,…，f₂)。将f₂个加和图像sum_1，j(j＝1,2,…，f₂)输入特征放大器1，从而得到f₁个尺寸为m₂*n₂的放大图像。实际上，可以先将f₂个尺寸为m₃*n₃的加和图像sum_1，j(j＝1,2,…，f₂)输入反卷积层1，从而得到f₁个尺寸为m₂*n₂的反卷积图像

再将f₁个尺寸为m₂*n₂反卷积图像

输入卷积层4，从而得到f₁个尺寸为m₂*n₂的卷积图像a_4，i。这里，f₁个尺寸为m₂*n₂的池卷积图像a_4，i即为f₁个尺寸为m₂*n₂的放大图像。其中，在反卷积层1和卷积层2中的具体计算过程如下：

在反卷积层1中：

将f₂个尺寸为m₃*n₃的卷积图像a_3，j(j＝1,2,…，f₂)和f₂个尺寸为m₃*n₃的池化图像b_2，j(j＝1,2,…，f₂)分别进行加和，从而得到f₂个加和图像sum_1，j(j＝1,2,…，f₂)。将f₂个尺寸为m₃*n₃的加和图像sum_1，j(j＝1,2,…，f₂)作为反卷积层1的输入，经过f₁个反卷积核

的反卷积生成f₁个尺寸为m₂*n₂的反卷积图像

其中，每个加和图像sum_1，j的生成过程具体如下：

sum_1，j＝a_3，j+b_2，j

每个反卷积图像

的生成过程具体如下：

其中，Deconv1表示为使用卷积核

对加和图像sum_1，j进行反卷积运算、same表示为padding的方式，

表示为偏置值，

表示为反卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在卷积层4中：

将反卷积层1输出的f₁个尺寸为m₂*n₂的反卷积图像

作为卷积层4的输入，经过f₁个卷积核K_4，i(i＝1,2,…，f₁)的卷积生成f₁个尺寸为m₂*n₂的卷积图像a_4，i(i＝1,2,…，f₁)，其中，每个卷积图像a_4，i的生成过程具体如下：

u_4，i＝C_4，i

a_4，i＝f(u_4，i)

其中，conv4表示为使用卷积核K_4，i对反卷积图像

进行卷积运算、same表示为padding的方式，b_4，i表示为偏置值，u_4，i表示为卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在特征放大器2中：

将f₁个尺寸为m₂*n₂的卷积图像a_4，i(i＝1,2,…，f₁)和f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)分别进行加和，从而得到f₁个加和图像sum_2，i(i＝1,2,…，f₁)。将f₁个加和图像sum_2，i(i＝1,2,…，f₁)输入特征放大器2，从而得到1个尺寸为m₁*n₁的放大图像。实际上，可以先将f₁个尺寸为m₂*n₂的加和图像sum_2，i(i＝1,2,…，f₁)输入反卷积层2，从而得到1个尺寸为m₁*n₁的反卷积图像

再将1个尺寸为m₁*n₁反卷积图像

输入卷积层5，从而得到1个尺寸为m₁*n₁的卷积图像a₅。这里，1个尺寸为m₁*n₁的池卷积图像a₅即为1个尺寸为m₁*n₁的放大图像。其中，在反卷积层2和卷积层5中的具体计算过程如下：

在反卷积层2中：

将f₁个尺寸为m₂*n₂的卷积图像a_4，i(i＝1,2,…，f₁)和f₁个尺寸为m₂*n₂的池化图像b_1，i(i＝1,2,…，f₁)分别进行加和，从而得到f₁个加和图像sum_2，i(i＝1,2,…，f₁)。将f₁个尺寸为m₂*n₂的加和图像sum_2，i(i＝1,2,…，f₁)作为反卷积层2的输入，经过1个反卷积核

的反卷积生成1个尺寸为m₁*n₁的反卷积图像

其中，每个加和图像sum_2，i的生成过程具体如下：

sum_2，i＝a_4，i+b_1，i

反卷积图像

的生成过程具体如下：

其中，Deconv2表示为使用卷积核

对加和图像sum_2i进行反卷积运算、same表示为padding的方式，

表示为偏置值，

表示为反卷积计算的结果，f()表示为激活函数，本发明采用relu函数。

在卷积层5中：

将反卷积层2输出的1个尺寸为m₁*n₁的反卷积图像

作为卷积层5的输入，经过1个卷积核K₅的卷积生成1个尺寸为m₁*n₁的卷积图像a₅，其中，卷积图像a₅的生成过程具体如下：

u₅＝C₅

a₅＝u₅

其中，conv5表示为使用卷积核K₅对反卷积图像

进行卷积运算、same表示为padding的方式，b₅表示为偏置值，u₅表示为卷积计算的结果。

最后，将尺寸为m₁*n₁的低质量人脸图像I_low和卷积图像a₅进行叠加，就可以得到高质量人脸图像I_hight。

在上述方案中，图5所示的图像增强模型仅仅是作为一个具体的举例，不应构成限定。在实际应用中，特征抽取器和特征放大器的数量可以是更少或者更多，只需要保证特征抽取器和特征放大器的数量是相同的即可，此处不作具体限定。另外，每个特征抽取器中的卷积层的数量也可以是更多，此处不作具体限定。每个特征放大器中的卷积层的数量也可以是更多，此处不作具体限定。

可以理解，图像增强模型的训练过程可以参见图7以及相关描述，此处先不展开赘述。

参阅图8，图8是本申请提供的一种图像增强模型的训练方法的流程示意图。本实施例的图像增强模型的训练方法，包括：

S201：获取高质量样本图像。

S202：对所述高质量样本图像进行图像处理，从而得到低质量样本图像。

在一更具体的实施例中，为了获得图像增强模型的训练集合，训练设备可以通过高质量人脸图像制作出对应的低质量人脸图像，并将高质量人脸图像和低质量人脸图像作为一对训练样本。假设高质量人脸图像为Y，可以分别制作出的人脸亮度异常的低质量人脸图像Y₁，人脸发蒙的低质量人脸图像Y₂，人脸噪声大的低质量人脸图像Y₃，人脸过度锐化的低质量人脸图像Y₄以及人脸模糊的低质量人脸图像Y₅。因此，低质量人脸图像Y₁和高质量人脸图像为Y可以构成一对训练样本，低质量人脸图像Y₂和高质量人脸图像为Y可以构成一对训练样本，低质量人脸图像Y₃和高质量人脸图像为Y可以构成一对训练样本，低质量人脸图像Y₄和高质量人脸图像为Y可以构成一对训练样本以及低质量人脸图像Y₅和高质量人脸图像为Y可以构成一对训练样本。

训练设备可以通过以下方式根据高质量人脸图像为Y分别制作出人脸亮度异常的低质量人脸图像Y₁，人脸发蒙的低质量人脸图像Y₂，人脸噪声大的低质量人脸图像Y₃，人脸过度锐化的低质量人脸图像Y₄以及人脸模糊的低质量人脸图像Y₅。

(a)训练设备通过以下公式根据高质量人脸图像Y制作出人脸亮度异常的低质量人脸图像Y₁：

Y₁＝βY

其中，β为亮度系数，当β小于1时，例如，β的取值范围为(0.9，1.0)，可以制作出人脸亮度过低的低质量人脸图像Y₁，当β大于1时，可以制作出人脸亮度过高的低质量人脸图像Y₁。

(b)训练设备通过以下公式根据高质量人脸图像Y制作出人脸发蒙的低质量人脸图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数，γ的取值范围可以为[0.9，1.0]。

(c)训练设备通过以下公式根据高质量人脸图像Y制作出人脸噪声大的低质量人脸图像Y₃：

其中，u为噪声的均值，u的取值范围可以为[0，0.01]，σ为噪声的方差，σ的取值范围可以为[0，e^-3]。

(d)训练设备通过以下公式根据高质量人脸图像Y制作出人脸过度锐化的低质量人脸图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，α的取值范围为[0.4，1.0]，Laplacian()为拉普拉斯函数。

(e)训练设备通过以下公式根据高质量人脸图像Y制作出人脸模糊的低质量人脸图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

可以理解，还可以使用高质量人脸图像为Y和高质量人脸图像为Y构成一对训练样本，以丰富图像增强模型的训练集合。另外，还可以对高质量人脸图像采用(a)至(e)中的两种或者更多种方式进行处理，从而得到低质量人脸图像。例如，可以对高质量人脸图像同时采用(a)至(e)的处理方式进行处理，从而得到亮度异常、发蒙、过度锐化、噪声大并且模糊的低质量人脸图像。

S203：将所述低质量样本图像输入所述图像增强模型进行增强，从而得到增强图像。

在一更具体的实施例中，将所述低质量样本图像输入所述图像增强模型进行增强，从而得到增强图像的过程与图6中步骤S102的过程相类似，具体请参见图6中步骤S102，此处不再展开描述。

S204：将增强图像和所述高质量样本图像进行比较，从而得到差异值，并根据所述差异值更新所述图像增强模型。

在一更具体的实施例中，对于单次训练来说，因为图像增强模型的输出尽可能的接近真正想要的高质量人脸图像，所以，可以将一训练样本中的低质量人脸图像输入图像增强模型，从而得到对该训练样本中的低质量人脸图像进行增强后得到的增强图像，并将该增强图像作为真正想要的目标值，比较当前图像增强模型进行增强后得到的增强图像和训练样本中的高质量人脸图像，再根据两者之间的差异值来更新图像增强模型中的卷积神经网络的每一层的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为图像增强模型中的各层预先配置参数)。依照上述的方式不断地调整，直到图像增强模型输出的增强图像与高质量人脸图像的差异值足够的小。因此，就需要预先定义“如何比较当前图像增强模型进行增强后得到的高质量人脸图像和训练样本中的高质量人脸图像之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量当前图像增强模型进行增强后得到的高质量人脸图像和训练样本中的高质量人脸图像的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么图像增强模型的训练就变成了尽可能缩小这个loss的过程。

参阅图9，图9是本申请提供的一种图像增强设备的结构示意图。本实施例的图像增强设备，包括：训练模块110以及图像增强模型120。

所述训练模块110用于：

通过以下公式对高质量样本图像Y进行处理从而得到亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式对高质量样本图像Y进行处理从而得到对比度低的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式对高质量样本图像Y进行处理从而得到制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式对高质量样本图像Y进行处理从而得到过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式对高质量样本图像Y进行处理从而得到模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

所述图像增强模型110用于获取低质量图像，将所述低质量图像进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

为了陈述简便，本实施例并没有对低质量样本图像、高质量样本图像、如何对高质量样本图像进行处理从而得到低质量样本图像，使用低质量样本图像和高质量样本图像对图像增强模型进行训练的过程，低质量图像、高质量图像、图像增强模型的结构、图像增强模型对低质量样本图像进行增强从而得到高质量样本图像的过程等等进行详细的介绍，具体将参见图2至图6以及相关描述。

参阅图10，图10是本申请提供的一种训练设备的结构示意图。本实施例的训练设备，包括：获取模块210、处理模块220、图像增强模型230以及比较模块240。

所述获取模块210用于获取高质量样本图像。

所述处理模块220用于对所述高质量样本图像进行图像处理，从而得到低质量样本图像；

所述图像增强模型230用于将所述低质量样本图像进行增强，从而得到增强图像；

所述比较模块240用于将增强图像和所述高质量样本图像进行比较，从而得到差异值，并根据所述差异值更新所述图像增强模型。

为了陈述简便，本实施例并没有对低质量样本图像、高质量样本图像、如何对高质量样本图像进行处理从而得到低质量样本图像，使用低质量样本图像和高质量样本图像对图像增强模型进行训练的过程，低质量图像、高质量图像、图像增强模型的结构、图像增强模型对低质量样本图像进行增强从而得到高质量样本图像的过程等等进行详细的介绍，具体将参见图2至图6以及相关描述。

参阅图11，图11是本申请提供的一种增强设备的结构示意图。本实施例的增强设备可以用于实现图7所示的图像增强方法，所述增强设备包括：一个或多个第一处理器310、传感器320、通信接口330、外部存储器340、第二处理器350以及总线360。其中，第一处理器310、传感器320、通信接口330、外部存储器340以及第二处理器350之间可以通过总线360连接。

第一处理器310包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(Central Processing Unit，CPU)、微处理器、微控制器、主处理器、控制器以及ASIC(Application Specific Integrated Circuit，专用集成电路)等等。第一处理器310执行各种类型的数字存储指令，例如存储在存储器330中的软件或者固件程序，它能使识别设备提供较宽的多种服务。例如，第一处理器310能够执行程序或者处理数据，以执行本文讨论的方法的至少一部分。

传感器320可以包括图像采集装置，例如，摄像头等等。传感器320可以为用于图像的任何摄像头(例如，静态相机、视频相机等)。为此，摄像头可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。

通信接口330可以为有线接口(例如以太网接口)，用于与训练设备或用户设备等等进行通信。

外部存储器340可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)存储器还可以包括上述种类的存储器的组合。外部存储器340可以存储有程序代码以及程序数据。

其中，所述第一处理器310通过调用外部存储器340中的程序代码，用于执行以下步骤：

获取低质量图像。

将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

为了陈述简便，本实施例并没有对低质量样本图像、高质量样本图像、如何对高质量样本图像进行处理从而得到低质量样本图像，使用低质量样本图像和高质量样本图像对图像增强模型进行训练的过程，低质量图像、高质量图像、图像增强模型的结构、图像增强模型对低质量样本图像进行增强从而得到高质量样本图像的过程等等进行详细的介绍，具体将参见图2至图6以及相关描述。

参阅图12，图12是本申请提供的一种芯片硬件结构图。图11所示的第二处理器可以是图12所示的芯片中实现，也可以说，图7所示的图像增强方法中的部分步骤可以在图12所示的芯片中实现，图9所示的图像增强设备中的部分功能可以设置在图11所示的芯片中。下面将以芯片为神经网络处理器NPU为例进行说明。NPU作为协处理器挂载到主CPU(HostCPU)上，由Host CPU分配任务。NPU的核心部分为运算电路，通过控制器404控制运算电路403提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路403内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路403是二维脉动阵列。运算电路403还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路403是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器402中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器401中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器408中。例如，输入矩阵A可以是第一输入图像，权重矩阵B可以是特征抽取器p_s中卷积层的卷积核，输出矩阵C为第一输出图像等等。

统一存储器406用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)405被搬运到权重存储器402中。输入数据也通过DMAC 405被搬运到统一存储器406中。

即，总线接口单元(Bus Interface Unit，BIU)410，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer)409的交互。

总线接口单元410(Bus Interface Unit，BIU)，用于取指存储器409从外部存储器获取指令，还用于存储单元访问控制器405从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器406或将权重数据搬运到权重存储器402中或将输入数据数据搬运到输入存储器401中。

向量计算单元407多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/FC层网络计算，如池化(Pooling)，批归一化(Batch Normalization)，局部响应归一化(Local Response Normalization)等。

在一些实现种，向量计算单元能407将经处理的输出的向量存储到统一缓存器406。例如，向量计算单元407可以将非线性函数应用到运算电路403的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元407生成归一化的值、合并值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路403的激活输入，例如用于在神经网络中的后续层中的使用。

控制器404连接的取指存储器(instruction fetch buffer)409，用于存储控制器404使用的指令；

统一存储器406，输入存储器401，权重存储器402以及取指存储器409均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，图6所示的增强模型中各层的运算可以由权重存储器402或向量计算单元407执行。

为了陈述简便，本实施例并没有对低质量样本图像、高质量样本图像、如何对高质量样本图像进行处理从而得到低质量样本图像，使用低质量样本图像和高质量样本图像对图像增强模型进行训练的过程，低质量图像、高质量图像、图像增强模型的结构、图像增强模型对低质量样本图像进行增强从而得到高质量样本图像的过程等等进行详细的介绍，具体将参见图2至图6以及相关描述。

参见图13，图13是本申请提供的一种云系统的结构示意图。增强设备510由一个或多个服务器实现，可选的，与其它计算设备配合，例如：数据存储、路由器、负载均衡器等设备；增强设备510可以布置在一个物理站点上，或者分布在多个物理站点上。增强设备510可以使用数据存储系统550中的数据，或者调用数据存储系统550中的程序代码实现图7所示的图像增强方法。增强设备510可以用于执行以下步骤：

获取低质量图像。

将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

用户可以操作各自的用户设备(例如本地设备501和本地设备502)与增强设备510进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。

每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与增强设备510进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。

在另一种实现中，增强设备510的一个方面或多个方面可以由每个本地设备实现，例如，本地设备501可以为增强设备510提供本地数据或反馈计算结果。

需要注意的，增强设备510的所有功能也可以由本地设备实现。例如，本地设备501实现增强设备510的的功能并为自己的用户提供服务，或者为本地设备502的用户提供服务。

为了陈述简便，本实施例并没有对低质量样本图像、高质量样本图像、如何对高质量样本图像进行处理从而得到低质量样本图像，使用低质量样本图像和高质量样本图像对图像增强模型进行训练的过程，低质量图像、高质量图像、图像增强模型的结构、图像增强模型对低质量样本图像进行增强从而得到高质量样本图像的过程等等进行详细的介绍，具体将参见图2至图6以及相关描述。

参阅图14，图14是本申请提供的一种系统架构的结构示意图。数据采集设备606用于采集高质量样本图像并存入数据库603，训练设备602基于数据库603中维护的高质量样本图像生成图像增强模型609。下面将更详细地描述训练设备602如何基于高质量样本图像得到图像增强模型609，图像增强模型609能够对低质量图像进行增强，从而确定所述高质量图像。具体地，

训练设备602用于从数据库603中获取高质量样本图像。

训练设备602用于对所述高质量样本图像进行图像处理，从而得到低质量样本图像。

所述图像增强模型609用于将所述低质量样本图像进行增强，从而得到增强图像；

训练设备602用于将增强图像和所述高质量样本图像进行比较，从而更新图像增强模型601。

在训练时，因为希望图像增强模型609的输出尽可能的接近真正想要预测的值，所以可以通过比较当前图像增强模型的预测值和真正想要的目标值，再根据两者之间的差异情况来更新图像增强模型中每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为图像增强模型中的各层预先配置参数)，比如，如果图像增强模型的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到图像增强模型能够预测出真正想要的目标值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么图像增强模型的训练就变成了尽可能缩小这个loss的过程。

训练设备602得到的图像增强模型609可以应用不同的系统或设备中。在图13中，执行设备配置有I/O接口607，与外部设备进行数据交互，“用户”可以通过客户设备604向I/O接口607输入数据。

执行设备601可以调用数据存储系统605中的数据、代码等，也可以将数据、指令等存入数据存储系统605中。

计算模块608使用图像增强模型601对输入的低质量图像进行处理，从而得到该低质量图像对应的高质量图像。

最后，I/O接口607将处理结果返回给客户设备604，提供给用户。

更深层地，训练设备602可以针对不同的目标，基于不同的数据生成相应的图像增强模型601，以给用户提供更佳的结果。

在图13中所示情况下，用户可以手动指定输入执行设备601中的数据，例如，在I/O接口607提供的界面中操作。另一种情况下，客户设备604可以自动地向I/O接口607输入数据并获得结果，如果客户设备604自动输入数据需要获得用户的授权，用户可以在客户设备640中设置相应权限。用户可以在客户设备604查看执行设备601输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备604也可以作为数据采集端将采集到的训练数据存入数据库603。

值得注意的，图13仅是本发明实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图13中，数据存储系统605相对执行设备601是外部存储器，在其它情况下，也可以将数据存储系统605置于执行设备601中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。

Claims (18)

1.一种图像增强方法，其特征在于，所述方法包括如下步骤：

获取低质量图像；

将所述低质量图像输入图像增强模型进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

2.根据权利要1所述的方法，其特征在于，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的，包括以下一种或者多种：

通过以下公式对高质量样本图像Y进行处理从而得到亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式对高质量样本图像Y进行处理从而得到对比度低的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式对高质量样本图像Y进行处理从而得到制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式对高质量样本图像Y进行处理从而得到过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式对高质量样本图像Y进行处理从而得到模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

3.根据根据权利要1或2所述的方法，其特征在于，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

4.根据权利要求3所述的方法，其特征在于，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

5.根据权利要求3或4所述的方法，其特征在于，所述特征抽取器p_s包括第一卷积层以及池化层，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像包括：

所述第一卷积层将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

6.根据权利要求3至5任一权利要求所述的方法，其特征在于，所述特征放大器q_t包括反卷积层以及第二卷积层，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像包括：

所述反卷积层将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

7.一种图像增强模型的训练方法，其特征在于，所述方法包括：

获取高质量样本图像；

对所述高质量样本图像进行图像处理，从而得到低质量样本图像；

将所述低质量样本图像输入所述图像增强模型进行增强，从而得到增强图像；

将增强图像和所述高质量样本图像进行比较，从而得到差异值，并根据所述差异值更新所述图像增强模型。

8.根据权利要求7所述的方法，其特征在于，对所述高质量样本图像进行图像处理，从而得到低质量样本图像，包括以下中的一种或者多种：

通过以下公式根据高质量样本图像Y制作出亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式根据高质量样本图像Y制作出人脸发蒙的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式根据高质量样本图像Y制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式根据高质量样本图像Y制作出过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式根据高质量样本图像Y制作出模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

9.一种图像增强设备，其特征在于，包括图像增强模型，

所述图像增强模型用于获取低质量图像；

所述图像增强模型用于将所述低质量图像进行增强，从而得到高质量图像，其中，所述图像增强模型是使用高质量样本图像以及低质量样本图像训练得到的，所述低质量样本图像是对所述高质量样本图像进行图像处理得到的。

10.根据权利要9所述的系统，其特征在于，包括训练模块，所述训练模块用于：

通过以下公式对高质量样本图像Y进行处理从而得到亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式对高质量样本图像Y进行处理从而得到对比度低的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式对高质量样本图像Y进行处理从而得到制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式对高质量样本图像Y进行处理从而得到过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式对高质量样本图像Y进行处理从而得到模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

11.根据根据权利要9或10所述的系统，其特征在于，所述图像增强模型包括total个特征抽取器p₁，p₂，…，p_total以及total个特征放大器q₁，q₂，…，q_total，特征抽取器p_s对应于特征放大器q_t，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像，其中，所述第一输入图像为特征抽取器p_s-1的输出图像，所述第二输入图像为所述第一输出图像和特征抽取器q_t-1的输出图像进行加和后得到的图像，total为正整数，s和t均为自变量，s和t均为整数，并且，0<s,t≤total，s+t-1＝total。

12.根据权利要求11所述的系统，其特征在于，第一输出图像包括r个特征图像a_s,1，a_s,2，…，a_s,r，特征抽取器q_t-1的输出图像包括r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r，所述第二输入图像包括r个加和图像sum_t,1，sum_t，2，…，sum_t，r，其中，第i个加和图像sum_t，i具体为：

sum_t，i＝a_s，i+b_t-1，i

其中，r为正整数，i为自由变量，0<i≤r，a_s,i为r个特征图像a_s,1，a_s,2，…，a_s,r中的第i个特征图像，b_t-1,i为r个放大图像b_t-1,1，b_t-1,2，…，b_t-1,r中的第i个放大图像。

13.根据权利要求11或12所述的系统，其特征在于，所述特征抽取器p_s包括第一卷积层以及池化层，特征抽取器p_s将尺寸为m*n的第一输入图像变成为尺寸为a*b的第一输出图像包括：

所述第一卷积层用于将尺寸为m*n的第一输入图像变成尺寸为m*n的卷积图像；

所述池化层用于将尺寸为m*n的第一卷积图像变成尺寸为a*b的第一输出图像。

14.根据权利要求11至13任一权利要求所述的系统，其特征在于，所述特征放大器q_t包括反卷积层以及第二卷积层，特征放大器q_t将尺寸为a*b的第二输入图像变成为尺寸为m*n的第二输出图像包括：

所述反卷积层用于将尺寸为a*b的第二输入图像变成尺寸为m*n的反卷积图像；

所述第二卷积层用于将尺寸为m*n的反卷积图像变成尺寸为m*n的第二输出图像。

15.一种训练设备，其特征在于，所述设备包括获取模块、处理模块、图像增强模型以及比较模块：

所述获取模块用于获取高质量样本图像；

所述处理模块用于对所述高质量样本图像进行图像处理，从而得到低质量样本图像；

所述图像增强模型用于将所述低质量样本图像进行增强，从而得到增强图像；

所述比较模块用于将增强图像和所述高质量样本图像进行比较，从而得到差异值，并根据所述差异值更新所述图像增强模型。

16.根据权利要求15所述的设备，其特征在于，所述处理模块用于对所述高质量样本图像进行以下中的一种或者多种图像处理，从而得到低质量样本图像：

通过以下公式根据高质量样本图像Y制作出亮度异常的低质量样本图像Y₁：

Y₁＝βY

其中，β为亮度系数；

通过以下公式根据高质量样本图像Y制作出人脸发蒙的低质量样本图像Y₂：

Y₂＝Y^γ

其中，γ为伽马系数；

通过以下公式根据高质量样本图像Y制作出噪声大的低质量样本图像Y₃：

其中，u为噪声的均值，σ为噪声的方差；

通过以下公式根据高质量样本图像Y制作出过度锐化的低质量样本图像Y₄：

Y₄＝Y+αLaplacian(Y)

其中，α为锐化系数，，Laplacian()为拉普拉斯函数；以及，

通过以下公式根据高质量样本图像Y制作出模糊的低质量样本图像Y₅：

Y₅＝Cav(Y)

其中，Cav为圆形均值滤波函数。

17.一种增强设备，其特征在于，包括：处理器和存储器，所述处理器执行所述存储器中的代码执行如权利要求1至8任一权利要求所述的方法。

18.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至8任一权利要求所述的方法。

Images