CN109658345A - 一种图像处理方法 - Google Patents

Abstract

本发明提供了一种图像处理方法，所述方法包括：获取待处理图像；对所述待处理图像进行区块划分，得到所述待处理图像的多个独立区块；根据参考图像对所述待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，得到增强后的待处理图像。采用本发明可以适应不同场景实现效果较好的夜景图像增强，提高了夜景图像增强的可用性。

Description

一种图像处理方法

技术领域

本发明涉及人工智能领域，特别涉及一种图像处理方法。

背景技术

相关技术中，在图像增强程序中输入一张夜景图像，并且由用户在图像增强程序中手动选择一张性能模板图像，图像增强程序计算输入的夜景图像和性能模板图像之间的性能损失以及内容损失，经过运算后输出夜景图像，

然而由于夜景图像在图像内容上有很大的变化，该现有的图像处理方法并不能适应各种不同场景的夜景图像增强。

发明内容

本发明实施例提供了一种图像处理方法，可以适应不同场景实现效果较好的夜景图像增强。

本发明实施例提供的图像处理方法，包括：

一种图像处理方法，所述方法包括：

获取待处理图像；

对所述待处理图像进行区块划分，得到所述待处理图像的多个独立区块；

根据参考图像对所述待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，具体包括：

将所述参考图像和所述待处理图像输入性能迁移增强网络得到输出图像，所述性能迁移增强网络包括ι个卷积层，ι为正整数；

计算所述输出图像和所述参考图像之间的自适应影响因子性能损失L_s，所述自适应影响因子性能损失用于所述输出图像中的多个独立区块按照对应的影响因子进行图像处理后的性能损失之和，其中，所述影响因子用于表示对所述独立区块进行增强时的程度；

计算所述输出图像和所述待处理图像之间的内容损失L_c；

根据总损失将所述输出图像在所述ι个卷积层中进行迭代增强，所述总损失包括所述自适应影响因子性能损失L_s和所述内容损失L_c；

当所述总损失收敛时，将所述输出图像确定为所述增强后的待处理图像。

优选地，所述计算所述输出图像和所述参考图像之间的自适应影响因子性能损失L_s，包括：

按照如下公式计算所述输出图像和所述待处理图像之间的所述自适应影响因子性能损失L_s：

其中，O是所述输出图像，R是所述参考图像，r是所述独立区块的标签，Λ是各个影响因子构成的矢量，是第ι个卷积层上第r个独立区块的影响因子，是第ι个卷积层上第r个独立区块的格尔曼矩阵，N^ι是第ι个卷积层上的特征图个数；

所述计算所述输出图像和所述待处理图像之间的内容损失L_c，包括：

按照如下公式计算所述输出图像和所述待处理图像之间的所述内容损失 L_c：

其中，O是所述输出图像，L是所述待处理图像，α^ι是每个卷积层的内容权重，r是所述独立区块的标签，N^ι是第ι个卷积层上的特征图个数，D^ι是矢量化特征图的维数，是第ι个卷积层上的第r个独立区块对应的特征图。

本发明实施例通过对待处理图像进行区块划分得到待处理图像的多个独立区块，根据参考图像对待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，得到增强后的待处理图像；能够实现对待处理图像中的各个独立区块分别进行不同程度的图像处理，从而解决了对待处理图像进行整体性的图像处理时，无法适应不同的图像内容所导致的增强效果较差的问题；达到了对不同的独立区块按照合适的程度进行增强，使得整张待处理图像得到较好的增强性效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理方法的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

如图1所示，本发明实施例提供的图像处理方法包括：

步骤1，获取待处理图像；

待处理图像是需要进行增强处理的图像。

在本实施例中，所述待处理图像包括夜景图像。

步骤2，对待处理图像进行区块划分，得到待处理图像的多个独立区块；

独立区块是待处理图像中按照不同的独立区块标签所标注出的区域。独立区块是像素点级别标注出的区域。独立区块标签的类别包括但不限于：天空、河水、海洋、湖泊、建筑物、人物、动物、植物、道路、汽车等等。其中。

步骤3，根据参考图像对待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，得到增强后的待处理图像，具体包括：

将所述参考图像和所述待处理图像输入性能迁移增强网络得到输出图像，所述性能迁移增强网络包括ι个卷积层，ι为正整数；

计算所述输出图像和所述参考图像之间的自适应影响因子性能损失L_s，所述自适应影响因子性能损失用于所述输出图像中的多个独立区块按照对应的影响因子进行图像处理后的性能损失之和，其中，所述影响因子用于表示对所述独立区块进行增强时的程度；

计算所述输出图像和所述待处理图像之间的内容损失L_c；

根据总损失将所述输出图像在所述ι个卷积层中进行迭代增强，所述总损失包括所述自适应影响因子性能损失L_s和所述内容损失L_c；

当所述总损失收敛时，将所述输出图像确定为所述增强后的待处理图像。

本实施例中，图像处理是指将参考图像的性能“转移”到待处理图像上的图像处理技术。可选地，参考图像是具有代表性的夜景图像，或者，参考图像是夜景效果高于预设条件的图像。存在至少两张参考图像是具有不同性能和/或不同语义内容的。

本实施例中，通过调用性能迁移增强网络，以参考图像的性能作为参照对待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，得到增强后的待处理图像。

综上所述，本实施例提供的图像处理方法，通过对待处理图像进行区块划分得到待处理图像的多个独立区块，根据参考图像对待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，得到增强后的待处理图像；能够实现对待处理图像中的各个独立区块分别进行不同程度的图像处理，从而解决了对待处理图像进行整体性的图像处理时，无法适应不同的图像内容所导致的增强效果较差的问题；达到了对不同的独立区块按照合适的程度进行增强，使得整张待处理图像得到较好的增强性效果。

本发明实施例可以采用如下三种神经网络：检索神经网络、区块划分神经网络、图像处理增强网络。其中：

检索神经网络：用于全自动地从参考图像库中，挑选出与待处理图像匹配的参考图像。可选地，该参考图像满足如下三个条件：参考图像本身具有高质量的内容及色彩；参考图像的语义信息与待处理图像的语义信息尽可能相似；参考图像的色调(性能)与待处理图像的色调尽可能相似。

区块划分神经网络：用于对待处理图像进行区块划分，得到待处理图像上的各个独立区块。同时，若参考图像尚未进行区块划分时，区块划分神经网络还可用于对参考图像进行区块划分，得到参考图像上的各个独立区块。

图像处理增强网络：用于根据参考图像对待处理图像按照独立区块为单位进行图像处理。可选地，每个独立区块按照各自的影响因子进行区别增强，以实现最好的增强效果。

以下以对夜景图像进行增强时来描述本发明提供的图像处理方法，所述方法包括：

步骤301，获取待处理图像；

以移动终端为例，当移动终端通过内置摄像头采集夜景图像后，将夜景图像确定为待处理图像。

待处理图像是需要进行增强处理的图像。可选地，待处理图像是夜景图像。待处理图像是需要进行夜景增强处理的图像。

步骤302，调用检索神经网络从多个参考图像中，确定出与待处理图像匹配的参考图像；

参考图像可以由用户在多个参考图像中进行手动选择。但手动选择的效率较低。在一个可选的实施例中，设备内运行有检索神经网络，该检索神经网络能够全自动地从多个参考图像中选择出与待处理图像匹配的参考图像，不需要用户的手动选择过程。

可选地，该检索神经网络用于根据语义相似度和/或性能相似度对参考图像进行相似度排名，并将相似度排名第一的参考图像，确定为与待处理图像匹配的参考图像。示意性的，设备中存储有多个参考图像，每个参考图像对应不同的语义内容和性能类型。在一个可选的实施例中，从图像聚合网站上预先挑选出5000张具有不同的语义内容和性能类型，且夜景效果较高的图像构建为参考图像库。

可选地，设备将待处理图像输入检索神经网络，该检索神经网络用于计算各个参考图像与待处理图像之间的语义相似度和性能相似度，并挑选出具有最高的语义相似度和性能相似度的参考图像，作为与待处理图像匹配的参考图像。

步骤303，调用区块划分神经网络对待处理图像进行处理，得到待处理图像的多个独立区块；

可选地，区块划分神经网络是通过标定有独立区块标签的样本图像训练得到的。在一个示意性的例子中，区块划分神经网络是预先利用ADE20K数据集进行训练得到的。

设备将待处理图像输入至区块划分神经网络，得到待处理图像的多个独立区块，多为正整数。可选地，多为大于1的整数。

步骤304，将参考图像和待处理图像输入性能迁移增强网络得到输出图像；

在检索神经网络确定出与待处理图像匹配的参考图像后，设备将参考图像和待处理图像输入性能迁移增强网络中得到输出图像，该性能迁移增强网络包括ι个卷积层，ι为正整数。

若参考图像是已经进行区块划分的图像，则设备将参考图像的k个独立区块和待处理图像的多个独立区块输入性能迁移增强网络中得到输出图像。

若参考图像是尚未进行区块划分的图像，则设备调用区块划分神经网络对参考图像进行区块划分，得到参考图像上的k个独立区块。然后设备再将参考图像的k个独立区块和待处理图像的多个独立区块输入性能迁移增强网络中得到输出图像。

此后，设备调用性能迁移增强网络按照参考图像中的k个独立区块，对待处理图像中的相同或相似的独立区块按照各自的影响因子进行不同程度的增强。该性能迁移增强网络可以包括ι个卷积层。

在性能迁移增强网络的增强过程中，衡量输出图像和参考图像之间的损失包括：性能损失和内容损失。可选地，本申请还引入了一个拉普拉斯损失项，该拉普拉斯损失项用于表征输出图像的失真程度。

本实施例中，以输出图像和参考图像之间的总损失包括：性能损失L_s、内容损失L_c和拉普拉斯损失项L_m来举例说明。

步骤305，计算输出图像和参考图像之间的自适应影响因子性能损失L_s；

该自适应影响因子性能损失用于表示输出图像中的多个独立区块按照对应的影响因子进行图像处理后的性能损失之和。可选地，该影响因子在初始状态为默认值，每次迭代更新前进行自适应更新，不需要用户手动调整。

可选地，在一次迭代得到输出图像后，设备按照如下公式计算输出图像和待处理图像之间的自适应影响因子性能损失L_s：

其中，O是输出图像，R是参考图像，r是独立区块的标签，Λ是各个影响因子构成的矢量，是第ι个卷积层上第r个独立区块的影响因子，是第ι个卷积层上第r个独立区块的格尔曼矩阵，N^ι是第ι个卷积层上的特征图个数。

步骤306，计算输出图像和待处理图像之间的内容损失L_c；

可选地，设备按照如下公式计算输出图像和待处理图像之间的内容损失L_c：

其中，O是输出图像，L是待处理图像，α^ι是每个卷积层的内容权重，是独立区块的标签，N^ι是第ι个卷积层上的特征图个数，D^ι是矢量化特征图的维数，是第ι个卷积层上的第r个独立区块对应的特征图。

可选地，为了保持语义结构，同时避免增大信噪比，可以将内容权值5设置为a^1-5＝{0,0,0,1,0}，使得内容损失L_c仅应用于卷积层co多v4_2中。因此，能够保留编码在较高层(例如co多v4_2)中的重要语义信息，而忽略了由较低层中的噪声引起的高频特征，并且只有高质量的参考图像会影响这些较低层。最终达到不增加作为副作用的噪声前提下实现对待处理图像的夜景增强。

步骤307，计算输出图像的拉普拉斯损失项L_m；

可选地，为了实现较为真实的性能转换，设备按照如下公式计算输出图像的拉普拉斯损失项L_m，该拉普拉斯损失项L_m用来保留待处理图像中的细节：

其中，O是输出图像，V_c[.]是输出图像的矢量C通道，所是定义在拉普拉斯抠图矩阵上的线性系统。

步骤308，将输出图像和参考图像的特征输入全连接层得到ι*m的参数矩阵；

本申请实施例还提供了一个全连接层，该全连接层用于自适应生成不同卷积层的各个独立区块类别的增强因子。

本申请实施例中的影响因子是自适应更新的。在一次迭代得到输出图像后，设备还将输出图像和参考图像的特征输入全连接层，由该全连接层输出ι*m的参数矩阵。该ι*m的参数矩阵与ι个卷积层上的m个独立区块一一对应。

步骤309，根据ι*m的参数矩阵确定第ι个卷积层上的第m个独立区块的增强因子；

设备根据ι*m的参数矩阵确定第ι个卷积层上的第m个独立区块的增强因子。示意性的，

Λ＝softmax[W H[O,R]]；

H[O,R]是最后一层卷积层汇聚的输出图像和参考图像的特征向量的级联 (co多cat)结果，W是优化的全连接层的参数矩阵。

示意性的，每次迭代过程中通过步骤308和308实现各个影响因子的自适应更新。

步骤310，根据总损失将输出图像在ι个卷积层中进行迭代增强，总损失包括自适应影响因子性能损失L_s、内容损失L_c、拉普拉斯损失项L_m；

可选地，设备计算输出图像和参考图像之间的总损失如下：

L(O，Λ)＝L_c(O)+βL_s(O,Λ)+γL_m(O)

其中，β是自适应影响因子性能损失(总性能损失)的权重，γ是拉普拉斯损失项的权重。

可选地，设备采用交替更新方案来优化上述总损失，也即通过计算总损失的误差反向传播来优化输出图像。对于增强因子的更新，全连接层的权重梯度如下：

其中，L_s是自适应影响因子性能损失(总性能损失)，C是独立区块的类别数量，i是多个卷积层中第i层，j是多个独立区块类别中的第j类，k是全连接层的特征向量中的第k个元素，c_i+j是全连接层的参数矩阵中的行，k还是全连接层的参数矩阵中的列。

步骤311，当总损失收敛时，将输出图像确定为增强后的待处理图像。

综上所述，本实施例提供的方法，通过对待处理图像进行区块划分得到待处理图像的多个独立区块，根据参考图像对待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，得到增强后的待处理图像；能够实现对待处理图像中的各个独立区块分别进行不同程度的图像处理，从而解决了对待处理图像进行整体性的图像处理时，无法适应不同的图像内容所导致的增强效果较差的问题；达到了对不同的独立区块按照合适的程度进行增强，使得整张待处理图像得到较好的增强性效果。

本实施例提供的方法，还通过分别计算各个独立区块的性能损失后累加得到总性能损失，能够准确计算性能损失，从而达到较好的图像处理效果。

本实施例提供的方法，还通过引入拉普拉斯损失项，使得待处理图像在图像处理过程中能够保留图像细节，实现较为真实的图像处理。

本实施例提供的方法，还通过利用输出图像和参考图像的图像特征输入全连接层，利用全连接层来自适应地生成影响因子，避免用户手动调整影响因子的低效率，实现了全自动的图像增强。

本实施例提供的方法，还通过利用检索神经网络来从参考图像库中自动挑选出与待处理图像匹配的参考图像，实现了全自动地挑选出语义相似度/或性能相似度最匹配的参考图像，实现了全自动的图像增强。

通过如下方式训练得到检索神经网络：

步骤601，获取多组训练样本，该训练样本包括：样本待处理图像、正相关参考图像和负相关参考图像；

该训练样本的获取过程如下：

1、对于任意一个样本待处理图像，计算样本待处理图像与参考图像库中的各个参考图像之间的语义度量；

2、按照语义度量由大到小的排列顺序，选择出前i个候选参考图像；

可选地，对两个图像I₁和I₂，该语义度量D_sem被定义为预先训练的VGG-16 分类网络的FC-8层中特征的欧式距离，采用如下公式进行表征：

D_sem＝||f_fc8(I₁)-f_fc8(I₂)||₂；

其中，f_fc8(.)标识图像在FC-8层中特征。示意性的，对于任意一个样本待处理图像，选择出60个候选参考图像。

3、在前i个候选参考图像中标定出样本待处理图像对应的j个正样本参考图像和k个负相关参考图像，形成一组训练样本。

以60个候选参考图像为例，采用人工标定(或机器标定)方式，在前60 个候选参考图像中标定出样本待处理图像对应的10个正样本参考图像和50个负相关参考图像，形成一组训练样本。

步骤602，将训练样本输入检索神经网络，按照损失函数进行误差反向传播训练。

该损失函数为如下函数L_ref：

其中，i为样本待处理图像的候选参考图像的个数，j为样本待处理图像的正相关参考图像的个数，k为样本待处理图像的负相关参考图像的个数，p代表正相关参考图像，多代表负相关参考图像，α代表正相关参考图像和负相关参考图像之间的最小距离。

综上所述，本实施例提供的方法，能够利用三元组损失函数，可以训练出用于为待处理图像匹配参考图像的检索神经网络，让输入的待处理图像尽可能与正相关的参考图像接近，而远离负相关的参考图像。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (2)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

对所述待处理图像进行区块划分，得到所述待处理图像的多个独立区块；

根据参考图像对所述待处理图像的多个独立区块按照各自对应的影响因子进行图像处理，具体包括：

将所述参考图像和所述待处理图像输入性能迁移增强网络得到输出图像，所述性能迁移增强网络包括ι个卷积层，ι为正整数；

计算所述输出图像和所述参考图像之间的自适应影响因子性能损失L_s，所述自适应影响因子性能损失用于所述输出图像中的多个独立区块按照对应的影响因子进行图像处理后的性能损失之和，其中，所述影响因子用于表示对所述独立区块进行增强时的程度；

计算所述输出图像和所述待处理图像之间的内容损失L_c；

根据总损失将所述输出图像在所述ι个卷积层中进行迭代增强，所述总损失包括所述自适应影响因子性能损失L_s和所述内容损失L_c；

当所述总损失收敛时，将所述输出图像确定为所述增强后的待处理图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述计算所述输出图像和所述参考图像之间的自适应影响因子性能损失L_s，包括：

按照如下公式计算所述输出图像和所述待处理图像之间的所述自适应影响因子性能损失L_s：

其中，O是所述输出图像，R是所述参考图像，r是所述独立区块的标签，Λ是各个影响因子构成的矢量，是第ι个卷积层上第r个独立区块的影响因子，是第ι个卷积层上第r个独立区块的格尔曼矩阵，N^ι是第ι个卷积层上的特征图个数；

所述计算所述输出图像和所述待处理图像之间的内容损失L_c，包括：

按照如下公式计算所述输出图像和所述待处理图像之间的所述内容损失L_c：

其中，O是所述输出图像，L是所述待处理图像，α^ι是每个卷积层的内容权重，r是所述独立区块的标签，N^ι是第ι个卷积层上的特征图个数，D^ι是矢量化特征图的维数，是第ι个卷积层上的第r个独立区块对应的特征图。