CN102760231B - 人脸表情距离的计算方法和计算装置 - Google Patents

Abstract

本发明提出一种人脸表情距离的计算方法及计算装置，该方法包括以下步骤：提供人物Q和人物T各自的中性脸及表情视频；根据人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离；根据人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离；以及根据人脸表情静态距离和人脸表情速率距离，计算人脸表情距离。根据本发明实施例的方法综合考虑了表情的静态和动态两方面差异，综合评价出人脸表情距离，并且可以自动化运行，减少人工干预，准确性高。

Description

人脸表情距离的计算方法和计算装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种人脸表情距离的计算方法及装置。

背景技术

在表情动画研究中，经常需要自动地把一个人的面部运动转移到另一个的脸上，从而生成逼真的表情视频，而如何测量不同人物之间表情相似度是一项具有挑战性的关键工作。

在描述不同人物的表情语义方面，面部运动编码系统(FACS)通过运动单元(AU)可以对面部行为做出精确分析。得益于精确的面部肌肉运动描述，面部运动编码系统对于细微的表情变化也能区分。然而，标注表情的运动是一件耗时的工作，而且需要专家经验。根据面部运动编码系统提供的语义先验，可以建立某个特定人物的混合变形（blendshape）模型，从而实现表情的模拟动画。一些基于多人多表情数据库的模型也能够计算不同人物间表情的相似度。例如三维可变形模型及多线性模型，训练数据被拟合到一个低维空间上，而表情语义通过表情维度的系数来表述。也有一些基于局部二值模式(LBP)、方向梯度直方图(HOG)等特征的系统来计算不同人之间的表情相似度，然而它们没有把个体的差异考虑进去，且不能够精确地捕捉细微表情变化。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种综合全面、准确性高的人脸表情距离的计算方法。

本发明的另一目的在于提出一种综合全面、准确性高的人脸表情距离的计算装置。

为了实现上述目的，根据本发明第一方面的人脸表情距离的计算方法包括以下步骤：A．提供人物Q和人物T各自的中性脸及表情视频；B．根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离；C．根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离；以及D．根据所述人脸表情静态距离和所述人脸表情速率距离，计算所述人脸表情距离。

在本发明的一个实施例的人脸表情距离的计算方法中，所述步骤A还包括以下步骤：A1.标记所述人物Q的中性脸Q_n和所述人物T的中性脸T_n中的特征点；A2.建立Q_n到T_n的对齐函数g，映射g对Q_n中的每个特征点都能在T_n中找到与之语义对应的特征点；A3.计算所述人物Q的中性脸Q_n到其表情视频q时刻的表情脸

的光流

以及，计算所述人物T的中性脸T_n到其表情视频t时刻的表情脸

的光流

在本发明的一个实施例的人脸表情距离的计算方法中，通过主动外观模型自动检测出或手工标记所述特征点。

在本发明的一个实施例的人脸表情距离的计算方法中，所述步骤B包括以下步骤：B1.将所述人物Q的中性脸Qn到表情脸的光流按照所述对齐函数g，得到映射到所述人物T上的光流，记为

以及B2．利用所述

和所述

根据下列公式计算所述人脸表情静态距离： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}),$ 其中

为所述人脸表情静态距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为：

其中，β_m，β_o∈[0，1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

在本发明的一个实施例的人脸表情距离的计算方法中，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述的计算公式为： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})=$ ${\mathrm{\Σ}}_{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\α}}_i{d}_0\left(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′}{,F}_{T_n\→T_e^{\left(t\right)},i}\right).$

在本发明的一个实施例的人脸表情距离的计算方法中，所述人脸表情速率距离的计算方法包括以下步骤：C1．根据所述人物Q在其表情视频q时刻的表情脸

和q+1时刻的表情脸

计算所述人物Q在其表情视频q时刻的表情速率

并且，根据所述人物T在其表情视频t时刻的表情脸

和t+1时刻的表情脸

计算所述人物T在其表情视频t时刻的表情速率

将所述

逆着所述

的方向进行变换，得到所述人物Q在其表情视频q时刻的修正表情速率

并且，将所述

逆着所述

的方向进行变换，得到所述人物T在其表情视频t时刻的修正表情速率

以及C3．利用所述

和所述

根据下列公式计算所述人脸表情速率距离： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0({\mathrm{dF}}_{Q_e^{\left(q\right)},i}^{\′},{\mathrm{dF}}_{T_e^{\left(t\right)},i}^{\′}),$ 其中为所述人脸表情速率距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为：

其中，β_m，β_o∈[0，1]分别是向量距离的幅度项与方向项，且β_m+β_o＝1。

在本发明的一个实施例的人脸表情距离的计算方法中，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述

的计算公式为： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})=$ ${\mathrm{\Σ}}_{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\α}}_i{d}_0({\mathrm{dF}}_{Q_e^{\left(q\right)},i^{\′}}^{\′},{\mathrm{dF}}_{T_e^{\left(t\right)},i}).$

在本发明的一个实施例的人脸表情距离的计算方法中，根据下述公式计算所述人脸表情距离： $D(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\γ}}_e{d}_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})+{\mathrm{\γ}}_v{d}_v(Q_e^{\left(q\right)},T_e^{\left(t\right)}),$ 其中γ_e与γ_v分别是所述表情静态距离与所述表情速率距离的权重，γ_e，γ_v∈[0，1]且γ_e+γ_v＝1。

在本发明的一个实施例的人脸表情距离的计算方法中，还包括步骤：E.将人物Q与人物T的位置对调，重复操作步骤B-D，计算出

最终以所述

和

的平均值作为视频中

与

的人脸表情优化距离D_优。

根据本发明实施例的人脸表情距离的计算方法，具有如下优点：（1）借助于两个人物的中性表情，将一个人中性脸到表情脸的光流转移到另一个人脸上，从而去除了个体间的差异；（2）由于视频的连续特性，本发明考虑不同人物间表情变化速率的差异，从而综合测量出不同人物间的表情距离；（3）基本自动化运行，需要很少的人工干预，且准确性高。

为了实现上述目的，根据本发明第二方面的计算人脸表情距离的计算装置包括以下部分：输入模块，用于输入人物Q和人物T各自的中性脸及表情视频；人脸表情静态距离计算模块，用于根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离；人脸表情速率距离计算模块，用于根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离；以及人脸表情距离计算模块，用于根据所述人脸表情静态距离和所述人脸表情速率距离，计算所述人脸表情距离。

在本发明的一个实施例的人脸表情距离的计算装置中，所述输入模块包括：特征点标记模块，用于标记所述人物Q的中性脸Q_n和所述人物T的中性脸T_n中的特征点；对齐函数模块，用于建立Q_n到T_n的对齐函数g，映射g对Q_n中的每个特征点都能在T_n中找到与之语义对应的特征点；以及表情自变化光流计算模块，用于计算所述人物Q的中性脸Q_n到其表情视频q时刻的表情脸

的光流和计算所述人物T的中性脸T_n到其表情视频t时刻的表情脸

的光流

并把所述

和所述提供给所述人脸表情静态距离计算模块和所述人脸表情速率距离计算模块。

在本发明的一个实施例的人脸表情距离的计算装置中，通过主动外观模型自动检测出或手工标记所述特征点。

在本发明的一个实施例的人脸表情距离的计算装置中，所述人脸表情静态距离计算模块包括：表情偏移变化光流计算模块，用于将所述人物Q的中性脸Qn到表情脸

的光流按照所述对齐函数g，得到映射到所述人物T上的光流，记为

以及静态距离函数模块，用于利用所述

和所述

根据下列公式计算所述人脸表情静态距离： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{{Q_n\→Q}_e^{\left(q\right)},i}^{\′},F_{{T_n\→T}_e^{\left(t\right)},i}),$ 其中

为所述人脸表情静态距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m，β_o∈[0，1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

在本发明的一个实施例的人脸表情距离的计算装置中，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述

的计算公式为： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})=$ ${\mathrm{\Σ}}_{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}).$

在本发明的一个实施例的人脸表情距离的计算装置中，所述人脸表情速率距离计算模块包括：表情速率计算模块，用于根据所述人物Q在其表情视频q时刻的表情脸

和q+1时刻的表情脸

计算所述人物Q在其表情视频q时刻的表情速率并且，根据所述人物T在其表情视频t时刻的表情脸

和t+1时刻的表情脸

计算所述人物T在其表情视频t时刻的表情速率

表情速率修正模块，将所述

逆着所述的方向进行变换，得到所述人物Q在其表情视频q时刻的修正表情速率

并且，将所述

逆着所述

的方向进行变换，得到所述人物T在其表情视频t时刻的修正表情速率以及速率距离函数模块，用于利用所述

和所述

根据下列公式计算所述人脸表情速率距离： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0({\mathrm{dF}}_{Q_e^{\left(q\right)},i}^{\′},{\mathrm{dF}}_{T_e^{\left(t\right)},i}^{\′}),$ 其中

为所述人脸表情速率距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m，β_o∈[0，1]分别是向量距离的幅度项与方向项，且β_m+β_o＝1。

在本发明的一个实施例的人脸表情距离的计算装置中，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述

的计算公式为： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})=$ ${\mathrm{\Σ}}_{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\α}}_i{d}_0\left({\mathrm{dF}}_{Q_e^{\left(q\right)},i}^{\′}{,\mathrm{dF}}_{T_e^{\left(t\right)},i}\right).$

在本发明的一个实施例的人脸表情距离的计算装置中，根据下述公式的计算所述人脸表情距离： $D(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\γ}}_e{d}_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})+{\mathrm{\γ}}_v{d}_v(Q_e^{\left(q\right)},T_e^{\left(t\right)}),$ 其中γ_e与γ_v分别是所述表情静态距离与所述表情速率距离的权重，γ_e，γ_v∈[0，1]且γ_e+γ_v＝1。

在本发明的一个实施例的人脸表情距离的计算装置中，还包括以下部分：人物对调模块，所述人物对调模块与所述输入模块相连，用于将人物Q与人物T的位置对调，并将对调后的T和Q重新导入输入模块以便重复对称操作，计算出平均计算模块，用于计算所述

和的平均值，作为视频中

与

的人脸表情优化距离D_优。

根据本发明实施例的人脸表情距离的计算装置，具有如下优点：（1）借助于两个人物的中性表情，将一个人中性脸到表情脸的光流转移到另一个人脸上，能够去除个体间的差异；（2）由于视频的连续特性，本发明考虑了不同人物间表情变化速率的差异，能够综合测量出不同人物间的表情距离；（3）基本自动化运行，需要很少的人工干预，且准确性高。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的人脸表情距离的计算方法的流程图；和

图2是根据本发明一个实施例的人脸表情距离的计算装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

下面参考附图描述根据本发明实施例的人脸表情距离的计算方法及计算装置。

图1是根据本发明一个实施例的人脸表情距离的计算方法的流程图。

如图1所示，本发明的一种人脸表情距离的计算方法包括以下步骤：

步骤S101.提供人物Q和人物T各自的中性脸及表情视频。

具体地，提供人物Q的中性脸Q_n和人物Q的表情视频，Q在表情视频q时刻的表情脸记为并且提供人物T的中性脸T_n和人物T的表情视频，T在表情视频t时刻的表情脸记为

在本发明的一个实施例中，还进一步包括步骤：

标记人物Q的中性脸Q_n和人物T的中性脸T_n中的特征点，在本发明的一个优选实施例中，特征点可通过主动外观模型自动检测出或者手工标记出。

建立Q_n到T_n的对齐函数g，映射g对Q_n中的每个特征点都能在T_n中找到与之语义对应的特征点。

计算人物Q的中性脸Q_n到其表情视频q时刻的表情脸

的光流

以及，计算人物T的中性脸T_n到其表情视频t时刻的表情脸

的光流

步骤S102.根据人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离。

具体地，首先将人物Q的中性脸Qn到表情脸

的光流按照对齐函数g，得到映射到人物T上的光流，记为其次，利用和

根据下列公式计算人脸表情静态距离： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}),$ 其中为人脸表情静态距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为：

其中，β_m，β_o∈[0，1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

在本发明的一个优选实施例中，由于表情变化的主要差异主要来自于眼睛和嘴巴区域，因此可以用眼睛和嘴巴区域光流差异来代表人脸整体光流差异，

的计算公式为：

$d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})=\underset{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\Σ}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i})$

步骤S103．根据人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离。

具体地，首先根据人物Q在其表情视频q时刻的表情脸

和q+1时刻的表情脸

计算人物Q在其表情视频q时刻的表情速率并且，根据人物T在其表情视频t时刻的表情脸

和t+1时刻的表情脸

计算人物T在其表情视频t时刻的表情速率 ${\mathrm{dF}}_{T_e^{\left(t\right)}}=F_{T_e^{\left(t\right)}{\→T}_e^{(t+1)}}.$

其次，由于和

的维度不一致，不能直接用来计算人脸表情速率距离，需要将其进行变换。于是将

逆着

的方向进行变换，得到人物Q在其表情视频q时刻的修正表情速率并且，将

逆着的方向进行变换，得到所述人物T在其表情视频t时刻的修正表情速率

再次，利用

和根据下列公式计算人脸表情速率距离：

其中

为人脸表情速率距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m，β_o∈[0，1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

同样的，在本发明的一个优选实施例中，由于表情变化的主要差异主要来自于眼睛和嘴巴区域，因此可以用眼睛和嘴巴区域光流差异来代表人脸整体光流差异，

的计算公式为：

$d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})=\underset{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\Σ}}{\mathrm{\α}}_i{d}_0({\mathrm{dF}}_{Q_e^{\left(q\right)},i}^{\′},{\mathrm{dF}}_{T_e^{\left(t\right)},i})$

步骤S104．根据人脸表情静态距离和人脸表情速率距离，计算人脸表情距离。计算公式为：

$D(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\γ}}_e{d}_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})+{\mathrm{\γ}}_v{d}_v(Q_e^{\left(q\right)},T_e^{\left(t\right)}),$ 其中γ_e与γ_v分别是表情静态距离与表情速率距离的权重，γ_e，γ_v∈[0，1]且γ_e+γ_v＝1。

在本发明的另一实施例中，还包括步骤S105，将人物Q与人物T的位置对调，重复操作步骤S102-S104，计算出

最终以

和的平均值作为视频中

与

的人脸表情优化距离D_优。

根据本发明实施例的人脸表情距离的计算方法，具有如下优点：（1）借助于两个人物的中性表情，将一个人中性脸到表情脸的光流转移到另一个人脸上，从而去除了个体间的差异；（2）由于视频的连续特性，本发明考虑不同人物间表情变化速率的差异，从而综合测量出不同人物间的表情距离；（3）基本自动化运行，需要很少的人工干预，且准确性高。

图2是根据本发明一个实施例的人脸表情距离的计算装置的结构框图。

如图2所示，本发明的一种人脸表情距离的计算装置包括以下部分：输入模块100、人脸表情静态距离计算模块200、人脸表情速率距离计算模块300和人脸表情距离计算模块400。其中：输入模块用于输入人物Q和人物T各自的中性脸及表情视频。人脸表情静态距离计算模块200用于根据人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离。人脸表情速率距离计算模块300用于根据人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离。人脸表情距离计算模块400用于根据人脸表情静态距离和人脸表情速率距离，计算人脸表情距离。

具体地，输入模块100中还包括特征点标记模块110，用于标记人物Q的中性脸Q_n和人物T的中性脸T_n中的特征点，在本发明的一个优选实施例中，特征点通过主动外观模型自动检测出或手工标记出；对齐函数模块120，用于建立Q_n到T_n的对齐函数g，映射g对Q_n中的每个特征点都能在T_n中找到与之语义对应的特征点；和表情自变化光流计算模块130，用于计算人物Q的中性脸Q_n到其表情视频q时刻的表情脸

的光流

和计算人物T的中性脸T_n到其表情视频t时刻的表情脸

的光流并把

和

提供给人脸表情静态距离计算模块200和人脸表情速率距离计算模块300。

静态距离计算模块200中，包括表情偏移变化光流计算模块210，用于将人物Q的中性脸Qn到表情脸

的光流按照对齐函数g，得到映射到人物T上的光流，记为

以及静态距离函数模块220，用于利用

和

根据下列公式计算人脸表情静态距离： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{{Q_n\→Q}_e^{\left(q\right)},i}^{\′},F_{{T_n\→T}_e^{\left(t\right)},i}),$ 其中

为人脸表情静态距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m，β_o∈[0，1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

在本发明的一个优选实施例中，由于表情变化的主要差异主要来自于眼睛和嘴巴区域，因此可以用眼睛和嘴巴区域光流差异来代表人脸整体光流差异，

的计算公式为：

$d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})=\underset{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\Σ}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i})$

人脸表情速率距离计算模块300包括：表情速率计算模块310，用于根据人物Q在其表情视频q时刻的表情脸

和q+1时刻的表情脸

计算人物Q在其表情视频q时刻的表情速率

并且，根据人物T在其表情视频t时刻的表情脸

和t+1时刻的表情脸计算人物T在其表情视频t时刻的表情速率

表情速率修正模块320，将

逆着

的方向进行变换，得到人物Q在其表情视频q时刻的修正表情速率

并且，将逆着

的方向进行变换，得到所述人物T在其表情视频t时刻的修正表情速率

以及速率距离函数模块330，用于利用

和

根据下列公式计算人脸表情速率距离： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0({\mathrm{dF}}_{Q_e^{\left(q\right)},i}^{\′},{\mathrm{dF}}_{T_e^{\left(t\right)},i}^{\′}),$ 其中

为人脸表情速率距离，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m，β_o∈[0，1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

同样的，在本发明的一个优选实施例中，由于表情变化的主要差异主要来自于眼睛和嘴巴区域，因此可以用眼睛和嘴巴区域光流差异来代表人脸整体光流差异，

的计算公式为：

$d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})=\underset{i\∈\mathrm{eye\; or\; i}\∈\mathrm{mouth}}{\mathrm{\Σ}}{\mathrm{\α}}_i{d}_0(d{F}_{Q_e^{\left(q\right)},i}^{\′},{\mathrm{dF}}_{T_e^{\left(t\right)},i})$

人脸表情距离计算模块400根据下列公式计算人脸表情距离：

其中γ_e与γ_v分别是表情静态距离与表情速率距离的权重，γ_e,γ_v∈[0，1]且γ_e+γ_v＝1。

在本发明的一个实施例子，人脸表情距离的计算装置还包括以下部分：

人物对调模块500，人物对调模块500与输入模块100相连，用于将人物Q与人物T的位置对调，并将对调后的T和Q重新导入输入模块以便重复对称操作，计算出

平均计算模块600，用于计算

和

的平均值，作为视频中

与的人脸表情优化距离D_优。

根据本发明实施例的计算人脸表情相似度的装置，具有如下优点：（1）借助于两个人物的中性表情，将一个人中性脸到表情脸的光流转移到另一个人脸上，能够去除个体间的差异；（2）由于视频的连续特性，本发明考虑了不同人物间表情变化速率的差异，能够综合测量出不同人物间的表情距离；（3）基本自动化运行，需要很少的人工干预，且准确性高。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (12)

1.一种人脸表情距离的计算方法，其特征在于，包括以下步骤：

A.提供人物Q和人物T各自的中性脸及表情视频；

B.根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离；

C.根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离；以及

D.根据所述人脸表情静态距离和所述人脸表情速率距离，计算所述人脸表情距离，

其中，所述步骤A具体包括以下步骤：

A1.标记所述人物Q的中性脸Q_n和所述人物T的中性脸T_n中的特征点；

A2.建立Q_n到T_n的对齐函数g，映射g对Q_n中的每个特征点都能在T_n中找到与之语义对应的特征点；以及

A3.计算所述人物Q的中性脸Q_n到其表情视频q时刻的表情脸

的光流

以及，计算所述人物T的中性脸T_n到其表情视频t时刻的表情脸

的光流

其中，所述步骤B具体包括以下步骤：

B1.将所述人物Q的中性脸Qn到表情脸

的光流按照所述对齐函数g，得到映射到所述人物T上的光流，记为

以及

B2.利用所述

和所述

根据下列公式计算所述人脸表情静态距离： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}),$ 其中

为所述人脸表情静态距离，i∈Face表示i为位于面部区域的点，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为：

其中，β_m,β_o∈[0,1]分别是向量距离的幅度项与方向项，且β_m+β_o＝1，

其中，所述步骤C具体包括以下步骤：

C1.根据所述人物Q在其表情视频q时刻的表情脸和q+1时刻的表情脸计算所述人物Q在其表情视频q时刻的表情速率

并且，根据所述人物T在其表情视频t时刻的表情脸

和t+1时刻的表情脸

计算所述人物T在其表情视频t时刻的表情速率 ${\mathrm{dF}}_{T_e^{\left(t\right)}}=F_{T_e^{\left(t\right)}\→T_e^{(t+1)}};$

C2.将所述

逆着所述

的方向进行变换，得到所述人物Q在其表情视频q时刻的修正表情速率

并且，将所述

逆着所述

的方向进行变换，得到所述人物T在其表情视频t时刻的修正表情速率以及

C3.利用所述

和所述

根据下列公式计算所述人脸表情速率距离： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(d{F}_{Q_e^{\left(q\right)},i}^{\′},d{F}_{T_e^{\left(t\right)},i}^{\′}),$ 其中为所述人脸表情速率距离，i∈Face表示i为位于面部区域的点，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为：

其中，β_m,β_o∈[0,1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

2.如权利要求1所述的人脸表情距离的计算方法，其特征在于，通过主动外观模型自动检测出或手工标记所述特征点。

3.如权利要求1所述的人脸表情距离的计算方法，其特征在于，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述

的计算公式为： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})=$ ${\mathrm{\Σ}}_{i\∈\mathrm{eyeori}\∈\mathrm{mouth}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}),$ 其中，i∈eye表示i为位于眼部区域的点，i∈mouth表示i为位于嘴部区域的点。

4.如权利要求1所述的人脸表情距离的计算方法，其特征在于，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述

的计算公式为：

$d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{eyeori}\∈\mathrm{mouth}}{\mathrm{\α}}_i{d}_0(d{F}_{Q_e^{\left(q\right)},i}^{\′},d{F}_{T_e^{\left(t\right)},i}),$ 其中，i∈eye表示i为位于眼部区域的点，i∈mouth表示i为位于嘴部区域的点。

5.如权利要求4所述的人脸表情距离的计算方法，其特征在于，根据下述公式计算所述人脸表情距离： $D(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\γ}}_e{d}_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})+{\mathrm{\γ}}_v{d}_v(Q_e^{\left(q\right)},T_e^{\left(t\right)}),$ 其中γ_e与γ_v分别是所述表情静态距离与所述表情速率距离的权重，γ_e,γ_v∈[0,1]且γ_e+γ_v＝1。

6.如权利要求5所述的人脸表情距离的计算方法，其特征在于，还包括步骤：

E.将人物Q与人物T的位置对调，重复操作步骤B-D，计算出

最终以所述和

的平均值作为视频中

与

的人脸表情优化距离D_优。

7.一种人脸表情距离的计算装置，其特征在于，包括以下部分：

输入模块，用于输入人物Q和人物T各自的中性脸及表情视频；

人脸表情静态距离计算模块，用于根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情静态距离；

人脸表情速率距离计算模块，用于根据所述人物Q和人物T各自的中性脸及表情视频，计算人脸表情速率距离；以及

人脸表情距离计算模块，用于根据所述人脸表情静态距离和所述人脸表情速率距离，计算所述人脸表情距离，

其中，所述输入模块具体包括：

特征点标记模块，用于标记所述人物Q的中性脸Q_n和所述人物T的中性脸T_n中的特征点；

对齐函数模块，用于建立Q_n到T_n的对齐函数g，映射g对Q_n中的每个特征点都能在T_n中找到与之语义对应的特征点；以及

表情自变化光流计算模块，用于计算所述人物Q的中性脸Q_n到其表情视频q时刻的表情脸

的光流

和计算所述人物T的中性脸T_n到其表情视频t时刻的表情脸

的光流并把所述

和所述提供给所述人脸表情静态距离计算模块和所述人脸表情速率距离计算模块，

其中，所述人脸表情静态距离计算模块具体包括：

表情偏移变化光流计算模块，用于将所述人物Q的中性脸Qn到表情脸

的光流按照所述对齐函数g，得到映射到所述人物T上的光流，记为

以及

静态距离函数模块，用于利用所述和所述

根据下列公式计算所述人脸表情静态距离： $d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}),$ 其中

为所述人脸表情静态距离，i∈Face表示i为位于面部区域的点，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m,β_o∈[0,1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1，

其中，所述人脸表情速率距离计算模块具体包括：

表情速率计算模块，用于根据所述人物Q在其表情视频q时刻的表情脸

和q+1时刻的表情脸

计算所述人物Q在其表情视频q时刻的表情速率

并且，根据所述人物T在其表情视频t时刻的表情脸

和t+1时刻的表情脸

计算所述人物T在其表情视频t时刻的表情速率

表情速率修正模块，将所述

逆着所述

的方向进行变换，得到所述人物Q在其表情视频q时刻的修正表情速率

并且，将所述

逆着所述

的方向进行变换，得到所述人物T在其表情视频t时刻的修正表情速率

以及

速率距离函数模块，用于利用所述

和所述根据下列公式计算所述人脸表情速率距离： $d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(d{F}_{Q_e^{\left(q\right)},i}^{\′},d{F}_{T_e^{\left(t\right)},i}^{\′}),$ 其中

为所述人脸表情速率距离，i∈Face表示i为位于面部区域的点，下标i表示光流矩阵F的第i行，即第i个特征点的光流偏移量，α_i表示第i个特征点的权重，函数d₀[·]定义为： $d_0(\stackrel{\→}{u},\stackrel{\→}{v})={\mathrm{\β}}_m|\stackrel{\→}{u}-\stackrel{\→}{v}|+{\mathrm{\β}}_o(-\stackrel{\→}{u}\·\stackrel{\→}{v}+|\stackrel{\→}{u}\left|\right|\stackrel{\→}{v}\left|\right),$ 其中，β_m,β_o∈[0,1]分别是向量

距离的幅度项与方向项，且β_m+β_o＝1。

8.如权利要求7所述的人脸表情距离的计算装置，其特征在于，通过主动外观模型自动检测出或手工标记所述特征点。

9.如权利要求7所述的人脸表情距离的计算装置，其特征在于，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述的计算公式为：

$d_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(F_{Q_n\→Q_e^{\left(q\right)},i}^{\′},F_{T_n\→T_e^{\left(t\right)},i}),$ 其中，i∈eye表示i为位于眼部区域的点，i∈mouth表示i为位于嘴部区域的点。

10.如权利要求7所述的人脸表情距离的计算装置，其特征在于，以眼睛和嘴巴区域光流差异来代表人脸整体光流差异，所述

的计算公式为：

$d_v(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\Σ}}_{i\∈\mathrm{Face}}{\mathrm{\α}}_i{d}_0(d{F}_{Q_e^{\left(q\right)},i}^{\′},d{F}_{T_e^{\left(t\right)},i}^{\′}),$ 其中，i∈eye表示i为位于眼部区域的点，i∈mouth表示i为位于嘴部区域的点。

11.如权利要求10所述的人脸表情距离的计算装置，其特征在于，根据下述公式的计算所述人脸表情距离： $D(Q_e^{\left(q\right)},T_e^{\left(t\right)})={\mathrm{\γ}}_e{d}_e(Q_e^{\left(q\right)},T_e^{\left(t\right)})+{\mathrm{\γ}}_v{d}_v(Q_e^{\left(q\right)},T_e^{\left(t\right)}),$ 其中γ_e与γ_v分别是所述表情静态距离与所述表情速率距离的权重，γ_e,γ_v∈[0,1]且γ_e+γ_v＝1。

12.如权利要求10所述的人脸表情距离的计算装置，其特征在于，还包括以下部分：

人物对调模块，所述人物对调模块与所述输入模块相连，用于将人物Q与人物T的位置对调，并将对调后的T和Q重新导入输入模块以便重复对称操作，计算出

平均计算模块，用于计算所述

和的平均值，作为视频中与

的人脸表情优化距离D_优。

Images