CN109948454A

CN109948454A - 表情数据库的增强方法、训练方法、计算设备及存储介质

Info

Publication number: CN109948454A
Application number: CN201910137814.2A
Authority: CN
Inventors: 解为成; 沈琳琳; 田怡
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2019-02-25
Filing date: 2019-02-25
Publication date: 2019-06-28
Anticipated expiration: 2039-02-25
Also published as: CN109948454B

Abstract

本发明适用计算机技术领域，提供了一种表情数据库的增强方法、训练方法、计算设备及存储介质，该方法首先获得包含待处理原始图像、参考原始图像及参考表情图像，待处理原始图像与参考原始图像中的对象具有相同的原始表情，而参考表情图像中的对象具有不同的目标表情；然后利用从原始表情到目标表情所呈现的变化，从待处理原始图像合成目标表情图像，使得目标表情图像中的对象具有目标表情。这样，将参考图像所反映的表情变化迁移到待处理图像上，从而合成目标图像，从而在显著增加样本表达的多样性、提高特征泛化能力、保留表情人脸细节特征的同时，高效扩展了训练样本数。

Description

表情数据库的增强方法、训练方法、计算设备及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种表情数据库的增强方法、训练方法、计算设备及存储介质。

背景技术

随着人机交互的发展，面部表情识别已经成为近几十年来热门课题。如今，神经网络采用复杂结构或由多重非线性变换构成的多个处理层，可对数据进行高层抽象，并应用于图像识别与分析。基于神经网络的表情识别技术已经超越了各种传统方法，并且通过网络设计、表情数据库增强、度量学习与网络复合等各种方法，改善了神经网络的泛化识别能力。

在基于神经网络的面部表情识别算法中，需要大量的训练图片构成表情数据库。训练图片通常是人工收集的，所以图片规模很大程度受到限制，导致训练样本数不足。同时，传统的表情数据库增强方式，比如基于图片翻转、裁剪等操作，并不会显著增加样本表达的多样性，而且还可能限制特征的泛化能力，而基于统计学习的表情数据库增强，容易丧失表情人脸的细节特征，使得所学习的特征丢失各种表情的细节信息，导致表情识别效果欠佳。

发明内容

本发明的目的在于提供一种表情数据库的增强方法、训练方法、计算设备及存储介质，旨在解决现有技术所存在的、训练样本数不足、样本表达多样性及泛化能力受限、因细节特征损失而导致的表情识别效果欠佳的问题。

一方面，本发明提供了一种表情数据库的增强方法，包括：

获得包含第一对象的待处理原始图像、包含第二对象的参考原始图像及包含第三对象的参考表情图像，所述第一对象与所述第二对象具有相同的原始表情，所述第三对象具有不同于所述原始表情的目标表情；

利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，所述目标表情图像中的第四对象具有所述目标表情。

进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，具体包括：

利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像；

利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的纹理变化，从所述中间图像合成所述目标表情图像。

进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体包括：

将所述待处理原始图像、所述参考原始图像及所述参考表情图像，进行关于对象的统一标准化处理，所述待处理原始图像、所述参考原始图像及所述参考表情图像中指定特征点与边界点之间定义有网格关系；

在统一标准化处理后，将所述第三对象相对于所述第二对象在指定特征点上的、从所述原始表情到所述目标表情的位置变化，通过所述网格关系，反映到所述第四对象相对于所述第一对象在所述指定特征点上的位置变化上，所述指定特征点与表情相关；

将所述第三对象相对于所述第二对象在所述网格关系所指代区域的颜色及纹理变化，反映到所述第四对象相对于所述第一对象在所述指代区域上的颜色及纹理变化上。

进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体还包括：

利用预先构建的优化函数，优化所述第四对象上所述网格关系所指代区域在所述中间图像上的位置。

进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的纹理变化，从所述中间图像合成所述目标表情图像，具体包括：

获得所述中间图像上相对于所述待处理原始图像需发生与表情相关的纹理变化的指定区域；

将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，反映到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异上。

进一步的，将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，反映到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异上，具体为：

将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，通过加权处理，得到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异，加权处理所对应的权重由所述第一对象及所述第二对象的各所述纹理区域的平均亮度来确定。

进一步的，所述表情数据库的增强方法还包括：

将所述目标表情图像输入至第一神经网络中，判断所述目标表情图像的有效性，其中，所述第一神经网络通过对训练集采用中心损失函数进行训练得到，所述训练集包含：所述参考原始图像及所述参考表情图像，对所述第一神经网络进行训练直至获得各表情的聚类中心向量，判断所述目标表情图像的有效性，具体为：依据所述目标表情图像的全连接层向量与所述聚类中心向量的欧式距离，进行所述目标表情图像有效性的判断。

另一方面，本发明提供了一种训练方法，所述训练方法包括：

采用如上述的表情数据库的增强方法，得到所述目标表情图像；

将所述目标表情图像添加到表情数据库中；

基于所述表情数据库，训练得到表情识别用第二神经网络。

另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。

本发明首先获得包含待处理原始图像、参考原始图像及参考表情图像，待处理原始图像与参考原始图像中的对象具有相同的原始表情，而参考表情图像中的对象具有不同的目标表情；然后利用从原始表情到目标表情所呈现的变化，从待处理原始图像合成目标表情图像，使得目标表情图像中的对象具有目标表情。这样，将参考图像所反映的表情变化迁移到待处理图像上，从而合成目标图像，从而在显著增加样本表达的多样性、提高特征泛化能力、保留表情人脸细节特征的同时，高效扩展了训练样本数。

附图说明

图1是本发明实施例一提供的表情数据库的增强方法的实现流程图；

图2是本发明实施例二中步骤S102的细化流程图；

图3是本发明实施例三中步骤S201的细化流程图；

图4是本发明实施例三中指定特征点与边界点的示意图；

图5是本发明实施例三中三角网格的示意图；

图6是本发明实施例四中步骤S201的细化流程图；

图7是本发明实施例五中步骤S202的细化流程图；

图8是本发明实施例五中待处理原始图像的示意图；

图9是本发明实施例五中中间图像的示意图；

图10是本发明实施例五中目标表情图像的示意图；

图11是本发明实施例七提供的训练方法的实现流程图；

图12是本发明实施例八提供的计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的表情数据库的增强方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，获得包含第一对象的待处理原始图像、包含第二对象的参考原始图像及包含第三对象的参考表情图像，第一对象与第二对象具有相同的原始表情，第三对象具有不同于原始表情的目标表情。

本实施例中，对象指的是人脸，然而，应用示例中不限于此，例如：可作出表情的动物或其他人体身体部分等。尤其的，对象在处理中还可以指代人脸在图像中所覆盖的部分。

脸部表情可以是生气、厌恶、恐惧、开心、伤心、惊讶及中性等。中性表情可以是平静时的表情。脸部表情还可以是消极、积极、觉醒及平衡等。脸部表情的类型不限于此。

可对不同的脸部表情赋予相应的表情标签，表情标签可以指示：是生气、厌恶、恐惧、开心、伤心、惊讶及中性中的一种，以区别于其他的脸部表情。表情标签可应用于表情识别方法中，用于指示表情识别结果。

参考原始图像及参考表情图像可以通过对同一人物进行拍照得到，该人物在参考原始图像中展现出原始表情，在参考表情图像中展现出目标表情。原始表情可以是中性表情，或其他表情，目标表情可以是生气表情或其他表情，原始表情与目标表情不同。参考原始图像中的第二对象与参考表情图像中的第三对象一般指向同一人物，当然，也可以指向不同人物。由于参考原始图像中的人物呈现为原始表情，而参考表情图像中的同一人物呈现为目标表情，即便参考原始图像与参考表情图像指向同一人物，但由于其表情发生变化，而使得图像特征发生相应的变化，在参考原始图像及参考表情图像中仍然对应的是不同对象。从参考原始图像到参考表情图像的变化，可反映出人物脸部表情从原始表情到目标表情的变化，这种变化通常是人物自然表情变化生成的。

在步骤S102中，利用第三对象的目标表情相对于第二对象的原始表情的变化，从待处理原始图像合成目标表情图像，目标表情图像中的第四对象具有目标表情。

本实施例中，从原始表情变化到目标表情，参考表情图像中的对象相较于参考原始图像中的对象在图像特征上会发生变化，该变化涵盖了表情人脸的细节特征，例如：形状、纹理、颜色等特征。

从待处理原始图像合成目标表情图像，主要是指：将参考表情图像中的对象相较于参考原始图像中的对象在图像特征上发生的变化，迁移到待处理原始图像上，从而合成得到目标表情图像，目标表情图像中的对象从原始表情变化到目标表情。图像特征上的变化可以只考虑形状、纹理、颜色等特征中的一种，也可以考虑该些特征中的多种组合。

实施本实施例，将参考图像所反映的表情变化迁移到待处理图像上，从而合成目标图像，从而在显著增加样本表达的多样性、提高特征泛化能力、保留表情人脸细节特征的同时，高效扩展了训练样本数，同时有利于提高表情数据库所应用到的表情识别技术的泛化能力以及识别准确度。

实施例二：

本实施例在实施例一基础上，进一步提供了如下内容：

如图2所示，步骤S102具体包括：

在步骤S201中，利用第三对象的目标表情相对于第二对象的原始表情的形状变化，从待处理原始图像合成中间图像。

在步骤S202中，利用第三对象的目标表情相对于第二对象的原始表情的纹理变化，从中间图像合成目标表情图像。

本实施例中，主要实现先将待处理原始图像进行相应的形状变化，得到中间图像，再在中间图像上施加纹理变化，得到目标表情图像，而形状变化、纹理变化对应于：参考表情图像中的对象相较于参考原始图像中的对象，从原始表情到目标表情的变化，而分别在形状、纹理特征上所发生的变化。

从待处理原始图像合成中间图像，主要体现的是表情变化中的形状变化。具体可利用待处理原始图像中对象特征点在所设定的坐标系上的位置变化来实现，或者利用特征点及相关的非特征点在所设定的坐标系上的位置变化来实现。特征点可以是与表情相关的特征点，例如：眼睛、鼻子、嘴唇、眉毛等。相关的非特征点可以是在特征点附近的位置(即特征点邻域内的像素点集合)。所设定的坐标系是用于对图像进行统一标准化处理的坐标系。

从中间图像合成目标表情图像，主要体现的是表情变化中的纹理变化。具体可利用待处理原始图像中发生纹理变化的区域内像素亮度的变化来实现。发生纹理变化的区域可以包含发生形状变化的对象特征点，也可以包含除该些对象特征点之外的、在该些特征点邻域内的非特征点。

实施本实施例，主要实现对待处理原始图像进行形状变化，再在形状变化基础上施加纹理变化，从而得到目标表情图像。这样，可保证在形状变化所得的特征点合理位置上，进行相应纹理的调整，使得处理所得目标表情图像中表情更为自然。

当然，在其他应用示例中，纹理变化也可以优先于形状变化而进行，或者，还可以在纹理变化后添加颜色变化等其他特征变化内容。

实施例三：

本实施例在实施例二基础上，进一步提供了如下内容：

如图3所示，步骤S201具体包括：

在步骤S301中，将待处理原始图像、参考原始图像及参考表情图像，进行关于对象的统一标准化处理，待处理原始图像、参考原始图像及参考表情图像中指定特征点与边界点之间定义有网格关系。

本实施例中，统一标准化处理是步骤S302的处理基础，可实现将待处理原始图像、参考原始图像及参考表情图像统一到所设定的坐标系中。统一标准化处理具体可涉及：首先，在待处理原始图像、参考原始图像及参考表情图像上进行指定特征点的定位，例如：可在图像上进行部分指定特征点(如：眼睛及鼻子等)的定位，也可以在图像上进行所有指定特征点的定位；其次，基于上述定位，将指定特征点旋转到所设定的、统一的坐标系中。另外，还可以在旋转处理时，进行相应的图像缩放处理，缩放以待处理原始图像为准，缩放依据为部分指定特征点之间的距离，例如：双眼距离或眼鼻距离等，当然，缩放处理还可以后置。

待处理原始图像、参考原始图像及参考表情图像中指定特征点与边界点之间定义有网格关系，该网格关系可以为三角网格关系。指定特征点与边界点均可为三角网格中的顶点。边界点可位于图像中对象的面部周边，如图4中标记A所示，而指定特征点可如图4中标记B所示。

在步骤S302中，在统一标准化处理后，将第三对象相对于第二对象在指定特征点上的、从原始表情到目标表情的位置变化，通过网格关系，反映到第四对象相对于第一对象在指定特征点上的位置变化上，指定特征点与表情相关。

本实施例中，第三对象相对于第二对象在指定特征点、边界点等构成的三角网格关系变化，需要迁移到第四对象相对于第二对象在相应的指定特征点、边界点等构成的三角网格关系变化上，保证网格关系不变。从而可以得到指定特征点在目标表情图像上的初始位置。三角网格关系可如图5所示。

在步骤S303中，将第三对象相对于第二对象在网格关系所指代区域的颜色及纹理变化，反映到第四对象相对于第一对象在指代区域上的颜色及纹理变化上。

本实施例中，可利用线性形变技术，将参考原始图像和参考表情图像中每个三角网格中的颜色信息和纹理信息迁移到目标表情图片上，从而得到形变之后的中间图像。此处的颜色和纹理信息迁移，是为了完成表情中的形变内容。

实施例四：

本实施例在实施例二基础上，进一步提供了如下内容：

如图6所示，步骤S201具体还包括：

在步骤S601中，利用预先构建的优化函数，优化第四对象上网格关系所指代区域在中间图像上的位置。

本实施例中，优化函数可具体表示为：

其中，V是目标表情图像中所记录的网格顶点坐标向量；矩阵M描述了网格顶点的权重，使特征点组成的形状拓扑结构稳定；矩阵H记录网格边缘长度的约束，即所有边缘长度在变形前后保持恒定，任意两点组成的向量不显著变化且保持方向一致；矩阵D是对应于学习参数δ(V)的系数矩阵，通过迭代求得；矩阵C、U是约束设置，约束了任意两点之间距离不能过大；e(V)和也是对应的学习参数，N＝8是参考的面部区域个数。利用这个算法迭代计算得到了第四对象上网格关系中各点在中间图像上的位置的最优解。

实施本实施例，可获得第四对象中网格关系所辖特征点和非特征点在中间图像中的精确位置，保证形变的精准性。

实施例五：

本实施例在实施例二至四中任一基础上，进一步提供了如下内容：

如图7所示，步骤S202具体包括：

在步骤S701中，获得中间图像上相对于待处理原始图像需发生与表情相关的纹理变化的指定区域。

本实施例中，具体可预先定义对象面部对表情敏感的若干敏感区域，例如：采用统计方法，总结得到若干敏感区域：额头、山根、上下眼睑、脸颊、嘴唇、下巴等，该些敏感区域可能会在产生对应表情时，发生纹理变化。这些敏感区域中包含有所定义的原始特征点以及若干个有相对固定位置的虚拟点。

与相应的表情相关的敏感区域，形成上述指定区域。

在步骤S702中，将第三对象相对于第二对象在指定区域内的相邻像素点之间的亮度差异，反映到第四对象相对于第一对象在指定区域内的相邻像素点之间的亮度差异上。

本实施例中，可将第三对象相对于第二对象在指定区域内的相邻像素点之间的亮度差异，通过加权处理，得到第四对象相对于第一对象在指定区域内的相邻像素点之间的亮度差异，加权处理所对应的权重由第一对象及第二对象的各纹理区域的平均亮度来确定，具体可使用一种基于像素亮度差异方法，来将表情的特征映射到目标表情图像上，即：

T_P-T_q＝λ_r·(S_p-S_q)，for q∈Np (2)

其中，T_p是目标表情图像中第p个像素点的亮度，T_q是与第p个像素点相邻的像素点p的亮度，S_p、S_q是待处理原始图像上相应像素点的亮度，N_P＝8是相邻像素点的数量，变量λ_r反映待处理原始图像和目标表情图像中全部皱纹区域平均亮度的权重。在纹理映射后，即在形变所得中间图像上增加了表情皱纹纹理，得到最终的合成表情图像，如图8-10所示。

实施例六：

本实施例在实施例一至五任一基础上，进一步提供了如下内容：

本实施例的表情数据库的增强方法还包括：

将目标表情图像输入至第一神经网络中，判断目标表情图像的有效性，其中，第一神经网络通过对训练集采用中心损失函数进行训练得到，训练集包含：参考原始图像及参考表情图像，对第一神经网络进行训练直至获得各表情的聚类中心向量，判断目标表情图像的有效性，具体为：依据目标表情图像的全连接层向量与聚类中心向量的欧式距离，进行目标表情图像有效性的判断。

本实施例中，考虑到特征点未严格对齐等原因会导致合成的目标表情图像集合中存在缺陷样本，可对目标表情图像有效性进行判断，得到有效的目标表情图像。

实施例七：

如图11所示，本实施例提供了一种训练方法，该训练方法包括：

在步骤S1101中，采用如上述各实施例的表情数据库的增强方法，得到目标表情图像；

在步骤S1102中，将目标表情图像添加到表情数据库中；

在步骤S1103中，基于表情数据库，训练得到表情识别用第二神经网络。

利用训练所得的第二神经网络，则可以进行相应的表情识别处理。

实施例八：

图12示出了本发明实施例八提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算设备包括处理器1201及存储器1202，处理器1201执行存储器1202中存储的计算机程序1203时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S102。

本发明实施例的计算设备可以为单独的计算机，或计算机组网，或处理芯片，或处理芯片组等。该计算设备中处理器1201执行计算机程序1203时实现上述各方法时实现的步骤，可参考前述方法实施例的描述，在此不再赘述。

实施例九：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S102。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种表情数据库的增强方法，其特征在于，包括：

2.如权利要求1所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，具体包括：

3.如权利要求2所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体包括：

4.如权利要求3所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体还包括：

5.如权利要求2所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的纹理变化，从所述中间图像合成所述目标表情图像，具体包括：

6.如权利要求5所述的表情数据库的增强方法，其特征在于，将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，反映到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异上，具体为：

7.如权利要求1所述的表情数据库的增强方法，其特征在于，所述表情数据库的增强方法还包括：

8.一种训练方法，其特征在于，所述训练方法包括：

采用如权利要求1至6中任一项所述的表情数据库的增强方法，得到所述目标表情图像；

将所述目标表情图像添加到表情数据库中；

基于所述表情数据库，训练得到表情识别用第二神经网络。

9.一种计算设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至8任一项所述方法中的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法中的步骤。