CN109920021A - 一种基于正则化宽度学习网络的人脸素描合成方法 - Google Patents

Abstract

本发明提供了一种基于正则化宽度学习系统的人脸素描合成方法，所述方法包括：对人脸照片进行随机卷积特征提取获得特征节点；对提取的特征进行随机卷积特征增强获得增强节点；将特征节点与增强节点串联作为宽度学习网络的输入，并通过连接权重与输出素描相连；采用岭回归算法计算网络的连接权重；通过增量学习算法对宽度网络进行进一步地扩展以提高网络特征提取的能力；最后，采用正则化算法对连接权重进行修正。本发明提供了一种快速人脸素描合成算法，兼顾合成效率与合成质量，使得在实现快速人脸素描合成的同时，获得高质量的人脸素描。

Description

一种基于正则化宽度学习网络的人脸素描合成方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于正则化宽度学习网络的人脸素描合成方法。

背景技术

人脸素描合成在数字娱乐和法律实施方面具有重要应用。在数字娱乐方面，人脸素描合成可帮助人们通过照片快速获取素描画，节省了大量的人力物力。在法律实施方面，由于犯罪嫌疑人的照片很难获取，通常是由画师在证人的帮助下画出嫌疑人的素描画再与警方照片库进行匹配。然而素描与照片两种不同的模式给人脸素描识别带来了困难。但是人脸素描合成算法将会建立照片模式与素描模式之间的关联，从而把人脸照片转化为人脸素描，为更好地进行人脸识别提供帮助。

在现有技术中，人脸素描合成方法大致分为基于数据驱动的方法以及基于模型驱动的方法两大类。传统方法主要是基于数据驱动的方法，首先从训练的照片块中搜索相似的候选块，并通过线性组合候选块重构目标照片，再通过同样的方式组合对应的素描块获得最终的素描画。这一类的方法主要基于一个线性假设前提，即一张测试照片可以由训练数据重建，因此其对应的素描/照片可以通过同样的方式由训练数据构建。当训练数据不足以重构测试照片时，其最终的合成效果无法获得达到预期。此外，相似候选块的搜索需要解决复杂的优化问题，耗费大量的计算资源。

另一类方法是基于模型驱动的方法。这一类方法从训练照片-素描对中学习一个将照片转化为素描的数学模型，能够大大加快素描合成的速度。然而，现有的转化模型通常是基于深度神经网络结构，虽然节省了素描合成的时间，但其训练过程需要耗费大量的时间。此外，当需要扩展深度结构或者增加额外的训练数据时，基于深度学习的方法需要重新训练网络，同样意味着大量的时间消耗。

发明内容

针对现有技术中的人脸素描合成方法所存在的上述缺陷，本发明提供了一种基于正则化宽度学习网络的人脸素描合成方法，该合成方法充分利用宽度学习网络的特性，大大地加快了网络的训练及重构过程，并结合正则化算法，能够根据输入的人脸照片快速合成高质量的人脸素描。

依据本发明的一个方面，提供了一种基于正则化宽度学习网络的人脸素描合成方法，包括以下步骤：

提供待合成的人脸照片，并对所述人脸照片进行预处理，获取相应的预处理图像；

随机生成多个第一卷积核，根据所述第一卷积核对所述预处理图像进行特征提取，获取多个特征图；

将所述多个特征图进行拼接，获取所述人脸照片的特征节点；

随机生成多个第二卷积核，根据所述第二卷积核对所述多个特征图进行特征增强，获取多个增强图；

将所述多个增强图进行拼接，获取所述人脸照片的增强节点；

对所述特征节点和所述增强节点进行串联，作为宽度学习网络的输入层；

采用正则化算法对所述宽度学习网络的初始连接权重进行修正，获取相应的修正连接权重；以及

根据所述输入层以及所述修正连接权重，结合所述宽度学习网络的人脸数据库，获取与待合成的人脸照片相对应的人脸素描，其中，所述人脸数据库包括已训练的人脸照片及与所述已训练的人脸照片相对应的人脸素描的数据集。

在其中的一实施例，人脸照片的预处理操作包括对所述人脸照片依次进行对齐操作、边缘空白区域裁剪操作，得到经处理后的图像大小为180×200。

在其中的一实施例，所述第一卷积核的个数以及所述第二卷积核的个数均为3。

在其中的一实施例，根据所述第一卷积核对所述预处理图像进行特征提取，利用logsig函数或tansig函数作非线性映射从而获取所述特征图。

在其中的一实施例，根据所述第二卷积核对所述特征图进行特征增强，利用logsig函数或tansig函数作非线性映射从而获取所述增强图。

在其中的一实施例，采用岭回归算法获得所述宽度学习网络的初始连接权重Wⁿ，其满足如下表达式：

Wⁿ＝(λI+(Aⁿ)^TA)^-1(Aⁿ)^TY

其中，X为输入的已训练的人脸照片，和为随机生成的卷积核，和为偏置，和 分别为第i幅特征图和第j幅增强图，特征节点Zⁿ＝[Z₁,…,Z_n]，增强节点Hⁿ＝[H₁,…,H_n]，特征节点与增强节点串联从而获得Aⁿ＝[Zⁿ|Hⁿ]。

在其中的一实施例，当误差大于阈值时，采用增量学习算法来扩展所述宽度学习网络包括以下步骤：

随机生成新增的第三卷积核，使用所述第三卷积核对输入的已训练的人脸照片进行特征提取，以获得新增的特征图和新增的特征节点；

随机生成新增的第四卷积核，使用所述第四卷积核对所述新增的特征图进行特征增强，以获得新增的增强图和新增的增强节点；

利用所述初始连接权重、所述新增的特征节点与所述新增的增强节点，更新初始连接权重；以及

重复以上步骤直至所述误差小于或等于所述阈值。

在其中的一实施例，采用正则化算法对所述宽度学习网络的初始连接权重进行修正还包括以下步骤：

采用拉普拉斯分布对误差建模，误差e的概率密度函数如下：

p(e|b)∝exp(-b||e||₁)

其中b为尺度参数；

假设初始连接权重Wⁿ服从高斯假设和拉普拉斯假设，对应的概率密度函数如下：

p₂(Wⁿ|γ′_W ⁿ)∝exp(-γ′_W ⁿ||Wⁿ||₁)

其中γ_W ⁿ为高斯分布的协方差，γ′_W ⁿ为拉普拉斯分布的尺度参数；

考虑所述初始连接权重的光滑性和稀疏性，增加l₁正则化项和l₂正则化项对所述初始连接权重进行约束，获得如下的新损失函数，其中α₁和α₂为可调节的参数：

通过增广拉格朗日乘子法迭代优化获得修正后的连接权重，其中，对应的拉格朗日函数满足如下关系式：

在上述函数中依次迭代优化E、Q、C₁、C₂、Wⁿ从而获得所述修正连接权重。

采用本发明的人脸素描合成方法，首先对将要合成的人脸照片进行预处理来获取相应的预处理图像；接着，随机生成多个第一卷积核，对预处理图像进行特征提取，获取多个特征图及特征节点；然后，随机生成多个第二卷积核，对所提取的特征图进行特征增强，获取多个增强图和增强节点；接着，对特征节点和增强节点进行串联，作为宽度学习网络的输入层，并采用正则化算法对宽度学习网络的初始连接权重进行修正，获取相应的修正连接权重；最后根据输入层以及修正连接权重，结合宽度学习网络的人脸数据库来获取对应的人脸素描。

与现有技术相比，本发明的人脸素描合成方法至少包括如下优点：

1)本发明采用宽度学习的扁平网络，训练时不需要经过复杂的误差反向传递过程，因此能够加快训练速度，相比现有的基于深度学习的方法，可显著减少训练时间；

2)本发明在误差超过阈值时，可采用增量学习算法，为宽度学习网络扩展提供快速的网络重建算法，加快网络重建速度；

3)本发明采用正则化算法，对误差的建模更加贴合实际情况，并增加初始连接权重的光滑性以及稀疏性约束，提高算法的鲁棒性，进一步提高素描画的合成质量。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，

图1示出本发明的基于正则化宽度学习网络的人脸素描合成方法的流程框图；

图2示出本发明的人脸素描合成方法与其他合成方法的人脸素描效果对比示意图；

图3示出图1的人脸素描合成过程中，使用正则化算法修正前后的人脸素描效果对比示意图。

具体实施方式

为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。

图1示出本发明的基于正则化宽度学习网络的人脸素描合成方法的流程框图。图2示出本发明的人脸素描合成方法与其他合成方法的人脸素描效果对比示意图。图3示出图1的人脸素描合成过程中，使用正则化算法修正前后的人脸素描效果对比示意图。

参照图1至图3，在该实施例中，本发明的人脸素描合成方法通过步骤S101～步骤S115予以实现。

详细而言，在步骤S101中，首先提供待合成的人脸照片，并对人脸照片进行预处理，获取相应的预处理图像。例如，在预处理操作中，首先对人脸照片执行对齐操作，通过平移、旋转、缩放等一系列变换使两只眼睛的中心点位于设定的同一位置。然后对图像执行裁剪操作，去掉图像边缘的空白区域，最终获得大小为180×200的预处理后的图像。

在步骤S103至步骤S109中，依次对预处理的图像进行特征提取和特征增强。于步骤S103和S105中，随机生成多个第一卷积核，根据这些第一卷积核对预处理图像进行特征提取，获取多个特征图。再将多个特征图进行拼接，获取人脸照片的特征节点。于步骤S107和步骤S109中，随机生成多个第二卷积核，根据这些第二卷积核对多个特征图进行特征增强，获取多个增强图。再将多个增强图进行拼接，获取人脸照片的增强节点。

于一些实施例中，根据这些第一卷积核对预处理图像进行特征提取是利用logsig函数或tansig函数作非线性映射从而获取相对应的特征图。此外根据这些第二卷积核对所提取的特征图进行特征增强是利用logsig函数或tansig函数作非线性映射从而获取相对应的增强图。例如，用作特征提取的第一卷积核的个数为3个，用作特征增强的第二卷积核的个数也为3个。本领域的技术人员应当理解，在实际使用过程中，上述特征提取步骤和上述特征增强步骤所用的非线性映射可以互不相同，以及在特征提取步骤中针对不同的第一卷积核所用的非线性映射也可以不同，根据实际需要可以进行灵活地调整。

接着，在步骤S111中，对特征节点和增强节点进行串联，作为宽度学习网络的输入层。然后，在步骤S113中，采用正则化算法对宽度学习网络的初始连接权重进行修正，获取相应的修正连接权重。最后，在步骤S115中，根据输入层以及修正连接权重，结合宽度学习网络的人脸数据库，获取与待合成的人脸照片相对应的人脸素描，其中人脸数据库包括已训练的人脸照片及与所述已训练的人脸照片相对应的人脸素描的数据集。

在其中的一实施例，采用岭回归算法获得所述宽度学习网络的初始连接权重Wⁿ，其满足如下表达式：

Wⁿ＝(λI+(Aⁿ)^TA)^-1(Aⁿ)^TY

其中，X为输入的已训练的人脸照片，和为随机生成的卷积核，和为偏置，和 分别为第i幅特征图和第j幅增强图，特征节点Zⁿ＝[Z₁,…,Z_n]，增强节点Hⁿ＝[H₁,…,H_n]，特征节点与增强节点串联从而获得Aⁿ＝[Zⁿ|Hⁿ]。

在其中的一实施例，由于初始设定的卷积核数较小，当误差大于设定阈值时，须进一步增加特征提取的数目。例如，可再随机生成若干个卷积核，并重复上述特征提取、特征增强过程，通过增量学习算法获取网络更新后的连接权重。在此，增量学习算法的优势是在于，直接通过原始连接权重及其新增特征节点、增强节点的信息计算更新后的连接权重，因此不需要重新训练网络，加快了网络重构速度。具体而言，采用增量学习算法来扩展宽度学习网络包括以下步骤：

随机生成新增的第三卷积核，使用第三卷积核对输入的已训练的人脸照片进行特征提取，以获得新增的特征图和新增的特征节点；

随机生成新增的第四卷积核，使用第四卷积核对新增的特征图进行特征增强，以获得新增的增强图和新增的增强节点；

利用初始连接权重、新增的特征节点与新增的增强节点，更新其初始连接权重；以及重复以上步骤直至误差小于或等于阈值。

在其中的一实施例，采用正则化算法对宽度学习网络的初始连接权重进行修正还包括以下步骤：

采用拉普拉斯分布对误差建模，误差e的概率密度函数如下：

p(e|b)∝exp(-b||e||₁)

其中b为尺度参数；

假设初始连接权重Wⁿ服从高斯假设和拉普拉斯假设，对应的概率密度函数如下：

p₂(Wⁿ|γ′_W ⁿ)∝exp(-γ′_W ⁿ||Wⁿ||₁)

其中γ_W ⁿ为高斯分布的协方差，γ′_W ⁿ为拉普拉斯分布的尺度参数；

考虑初始连接权重的光滑性和稀疏性，增加l₁正则化项和l₂正则化项对初始连接权重进行约束，获得如下的新损失函数，其中α₁和α₂为可调节的参数：

通过增广拉格朗日乘子法迭代优化获得修正后的连接权重，其中，对应的拉格朗日函数满足如下关系式：

在上述函数中依次迭代优化E、Q、C₁、C₂、Wⁿ从而获得修正后的连接权重。由上述可知，本发明采用正则化算法，对误差的建模更加贴合实际情况，并增加初始连接权重的光滑性以及稀疏性约束，提高了算法的鲁棒性，进一步提高素描画的合成质量。

图2示出本发明的人脸素描合成方法与其他合成方法的人脸素描效果对比示意图。

如图2(a)至图2(e)所示，第一行来自CUHK student数据库，第二行来自AR数据库。其中，图2(a)的上下两列(其它各图均与此同)均为人脸照片，图2(b)为画家画的人脸素描，图2(c)为局部线性嵌入方法的素描合成结果(或称为基于数据驱动的合成方法)图2(d)为全卷积神经网络的素描合成结果(或称为基于模型驱动的、采用深度学习网络的合成方法)，图2(e)为本发明的基于模型驱动的、采用正则化宽度学习网络的合成方法。从上述各图的对比实验结果可以看出，本发明的人脸素描合成方法有效地保留了人脸的局部细节，合成的人脸素描整体呈现较为清晰、光滑的结果，并且可适用于不同的数据集，具有较好的泛化能力。

图3示出图1的人脸素描合成过程中，使用正则化算法修正前后的人脸素描效果对比示意图

如图3(a)至图3(d)所示，第一行来自CUHK student数据库，第二行来自AR数据库。其中，图3(a)的上下两列均为人脸照片，图3(b)的上下两列均为画家画的人脸素描，图3(c)的上下两列均为使用正则化算法修正前的合成结果，图3(d)的上下两列均为使用正则化算法修正后的合成结果。

从图3(c)和图3(d)的对比可以看出，未采用正则化修正算法时，合成的素描图像存在诸如噪声、细节模糊等问题，其误差相对较大，泛化能力及鲁棒性较差；相较而言，经正则化修正算法处理后，合成的素描图像可有效去除图像噪声，同时获得较好的局部细节信息。

在一较佳实施例中，本发明的宽度学习网络的数据集可分为训练集与测试集两部分。在训练阶段，需要利用具有正则化算法修正功能的宽度学习系统学习从人脸照片到人脸素描的映射模型。如前所述，数据库中所给定的人脸图像包括人脸照片及其对应的由画家绘成的人脸素描。首先对数据库的所有人脸图像执行对齐操作，通过平移、旋转、缩放等一系列变换使得所有人脸图像的两只眼睛的中心点位于同一位置。然后对图像执行裁剪操作，去掉图像边缘的空白区域，最终获得大小为180×200的预处理后的多幅图像。接下来，利用随机生成的卷积核对训练照片进行特征提取，再进行非线性映射处理，获得特征图。为了提取更细致的人脸特征，还需对提取到的特征执行增强操作，亦即，利用随机生成的卷积核对特征图进行特征增强，再进行非线性映射处理获得增强图。在测试阶段，根据已保留的训练阶段的网络参数，包括卷积核个数及其数值、最终求得的正则化修正后的连接权重值，利用训练好的网络将待合成的人脸照片转化为人脸素描。

采用本发明的人脸素描合成方法，首先对将要合成的人脸照片进行预处理来获取相应的预处理图像；接着，随机生成多个第一卷积核，对预处理图像进行特征提取，获取多个特征图及特征节点；然后，随机生成多个第二卷积核，对所提取的特征图进行特征增强，获取多个增强图和增强节点；接着，对特征节点和增强节点进行串联，作为宽度学习网络的输入层，并采用正则化算法对宽度学习网络的初始连接权重进行修正，获取相应的修正连接权重；最后根据输入层以及修正连接权重，结合宽度学习网络的人脸数据库来获取对应的人脸素描。

与现有技术相比，本发明的人脸素描合成方法至少包括如下优点：

1)本发明采用宽度学习的扁平网络，训练时不需要经过复杂的误差反向传递过程，因此能够加快训练速度，相比现有的基于深度学习的方法，可显著减少训练时间；

2)本发明在误差超过阈值时，可采用增量学习算法，为宽度学习网络扩展提供快速的网络重建算法，加快网络重建速度；

3)本发明采用正则化算法，对误差的建模更加贴合实际情况，并增加初始连接权重的光滑性以及稀疏性约束，提高算法的鲁棒性，进一步提高素描画的合成质量。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (8)

1.一种基于正则化宽度学习网络的人脸素描合成方法，其特征在于，所述人脸素描合成方法包括以下步骤：

提供待合成的人脸照片，并对所述人脸照片进行预处理，获取相应的预处理图像；

随机生成多个第一卷积核，根据所述第一卷积核对所述预处理图像进行特征提取，获取多个特征图；

将所述多个特征图进行拼接，获取所述人脸照片的特征节点；

随机生成多个第二卷积核，根据所述第二卷积核对所述多个特征图进行特征增强，获取多个增强图；

将所述多个增强图进行拼接，获取所述人脸照片的增强节点；

对所述特征节点和所述增强节点进行串联，作为宽度学习网络的输入层；

采用正则化算法对所述宽度学习网络的初始连接权重进行修正，获取相应的修正连接权重；以及

根据所述输入层以及所述修正连接权重，结合所述宽度学习网络的人脸数据库，获取与待合成的人脸照片相对应的人脸素描，其中，所述人脸数据库包括已训练的人脸照片及与所述已训练的人脸照片相对应的人脸素描的数据集。

2.根据权利要求1所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，人脸照片的预处理操作包括对所述人脸照片依次进行对齐操作、边缘空白区域裁剪操作，得到经处理后的图像大小为180×200。

3.根据权利要求1所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，所述第一卷积核的个数以及所述第二卷积核的个数均为3。

4.根据权利要求1所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，根据所述第一卷积核对所述预处理图像进行特征提取，利用logsig函数或tansig函数作非线性映射从而获取所述特征图。

5.根据权利要求1所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，根据所述第二卷积核对所述特征图进行特征增强，利用logsig函数或tansig函数作非线性映射从而获取所述增强图。

6.根据权利要求1所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，采用岭回归算法获得所述宽度学习网络的初始连接权重Wⁿ，其满足如下表达式：

Wⁿ＝(λI+(Aⁿ)^TA)^-1(Aⁿ)^TY

其中，X为输入的已训练的人脸照片，和为随机生成的卷积核，和为偏置，和 分别为第i幅特征图和第j幅增强图，特征节点Zⁿ＝[Z₁，...，Z_n]，增强节点Hⁿ＝[H₁，...，H_n]，特征节点与增强节点串联从而获得Aⁿ＝[Zⁿ|Hⁿ]。

7.根据权利要求6所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，当误差大于阈值时，采用增量学习算法来扩展所述宽度学习网络包括以下步骤：

随机生成新增的第三卷积核，使用所述第三卷积核对输入的已训练的人脸照片进行特征提取，以获得新增的特征图和新增的特征节点；

随机生成新增的第四卷积核，使用所述第四卷积核对所述新增的特征图进行特征增强，以获得新增的增强图和新增的增强节点；

利用所述初始连接权重、所述新增的特征节点与所述新增的增强节点，更新初始连接权重；以及

重复以上步骤直至所述误差小于或等于所述阈值。

8.根据权利要求6所述的基于正则化宽度学习网络的人脸素描合成方法，其特征在于，采用正则化算法对所述宽度学习网络的初始连接权重进行修正还包括以下步骤：

采用拉普拉斯分布对误差建模，误差e的概率密度函数如下：

p(e|b)∝exp(-b||e||₁)

其中b为尺度参数；

假设初始连接权重Wⁿ服从高斯假设和拉普拉斯假设，对应的概率密度函数如下：

其中为高斯分布的协方差，为拉普拉斯分布的尺度参数；

考虑所述初始连接权重的光滑性和稀疏性，增加l₁正则化项和l₂正则化项对所述初始连接权重进行约束，获得如下的新损失函数，其中α₁和α₂为可调节的参数：

通过增广拉格朗日乘子法迭代优化获得修正后的连接权重，其中，对应的拉格朗日函数满足如下关系式：

在上述函数中依次迭代优化E、Q、C₁、C₂、Wⁿ从而获得所述修正连接权重。