CN102970510B - 人脸视频传输方法 - Google Patents

Abstract

本发明公开了一种人脸视频传输方法，该方法包括步骤：S1采集视频，通过对所述视频进行训练，得到人脸模型；S2将所述人脸模型在发送端和接收端之间共享；S3利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；S4根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；S5接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；S6接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。本发明的人脸视频传输方法，大大降低传输需要的数据量，在适应传输通道特性的同时最小化参数误差，避免了每帧传输参数造成的冗余，提高了数据传输的速率。

Description

人脸视频传输方法

技术领域

本发明涉及视频传输领域，特别涉及一种人脸视频传输方法。

背景技术

自从二十世纪九十年代以来，从数字电视广播到无线多媒体通信等技术已在世界各国陆续得到普遍应用。互联网的普及使得多媒体通信摆脱了电视的局限：Skype、Google Talk等视频聊天软件的出现让人们可以通过电脑进行视频通话、远程会议等多媒体通信。而今，随着智能手机的快速发展，移动终端上，例如Face time和Tango等的应用使多媒体通信在移动网络上普及，越来越多的用户期望得到方便、快捷、无所不在的多媒体通信服务。如何大幅降低视频数据量的编码方法是保证移动多媒体业务持续发展的关键技术。

现有技术中采用的视频编码方法为DCT或小波变换的混合编码方法，这些方法可减少空间冗余和时间冗余的帧间预测，将视频数据视为具有某些统计特征的随机信号进行编码，而对视频的具体内容不予考虑。然而，移动视频通信的一个重要组成部分——人脸视频（如视频通话、会议等）具有相当明显的特征，且人们对于其主体（即人脸）有着非常丰富的先验知识。传统视频编码方法将所有信息一视同仁地编码传输，其中很多关于人脸的共性冗余信息被视为新信息重复传递，浪费了大量网络带宽资源。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何提供一种人脸视频传输方法，来减少视频传输过程中大量关于人脸的共性冗余信息重复传递，节省网络带宽资源，提高传输速率，并提高数据传输的准确率。

（二）技术方案

为解决上述技术问题，本发明提供了一种人脸视频传输方法，该方法包括步骤：

S1、采集视频，通过对视频进行训练，得到人脸模型；

S2、将所述人脸模型在发送端和接收端之间共享；

S3、利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；

S4、根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；

S5、接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；

S6、接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。

优选的，所述步骤S1对视频进行训练的方法为：

S1.1、根据视频定位得到特征点位置向量，即人脸形状，对所有人脸形状取平均值，得到平均形状；

S1.2、将视频变形并归一化得到无形状外观向量；

S1.3、对特征点位置向量和无形状外观向量分别进行主成分分析得到形状参数向量和外观参数向量；

S1.4、将形状参数向量和外观参数向量进行联合主成分分析得到主成分单位列正交矩阵、主成分权值、和联合参数向量。

优选的，所述人脸模型中含有人脸外观和形状参量。

优选的，所述发送端和接收端之间的人脸模型通过云存储、介质存储或闲时传输的方式进行共享。

优选的，所述步骤S3中参数拟合的方法为：

S3.1、通过人脸定位，得出人脸特征点位置向量；

S3.2、将特征点位置向量经过普氏分析姿态归一化，得到形状参数向量和姿态参数；

S3.3、将视频进行变形并归一化，得到无形状外观向量和光照参数；

S3.4、对外观和形状向量分别进行主成分投影，得到外观和形状参数向量；

S3.5、对外观和形状参数向量进行联合主成分分析，得到联合参数向量。

优选的，所述步骤S4利用最优比特分配算法和参数帧间插值算法对模型参数进行优化。

优选的，所述最优比特分配算法通过降低参数的量化级别来满足速率限制。

优选的，所述参数帧间插值算法为：以n帧为传输间隔，每隔n帧传输一帧模型参数，如果当前帧为(n+1)的倍数，则准备参数进行传输，否则直接丢帧。

优选的，所述步骤S5利用参数纠错和线性插值还原模型参数，所述参数纠错根据相应模型参数及接收到的上一模型参数进行纠错。

优选的，所述步骤S6人脸图像重建的方法为：接收端得到还原的模型参数后，根据共享的人脸模型，首先恢复正常形状下人脸外观，然后通过系统的变形拉伸，重建出所传人脸当时的表情和动作。

（三）有益效果

本发明的人脸视频传输方法，人脸图像可以由模型参数表示，大大降低传输需要的数据量，在适应传输通道特性的同时最小化参数误差，避免了每帧传输参数造成的冗余，提高了数据传输的速率。

附图说明

图1是本发明实施例人脸视频传输方法的流程图。

图2是本发明实施例人脸视频传输处理发送流程图。

图3是本发明实施例人脸视频传输接收重建流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示

本发明实施例提供一种人脸视频传输方法，该方法包括步骤：

S1采集视频，通过对所述视频进行训练，得到人脸模型。

S2将所述人脸模型在发送算和接收端之间共享；

S3利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；

S4根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；

S5接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；

S6接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。

步骤S1中

对第i帧视频进行训练，运行人脸定位算法，得出算法标注的特征点位置向量s_i；将之称为该帧内人脸的形状。对所有s_i进行平均，得到平均形状同时，只保留第i帧中人脸定位算法得出的人脸内范围的像素，不考虑其他背景像素。

将通过分片线性变形将图像I中的特征点s_a变形至s_b的操作记作变形函数W(I；s_a，s_b)。对于第i帧训练视频进行变形，使其等于同时，对于图像像素强度进行归一化，使像素强度均值为0，标准差为1。将第i帧变形并归一化后的图像称为无形状外观向量g_i。

对于所有s_i和g_i分别进行主成分分析，得到满足如下等式的主成分单位列正交矩阵P_s和P_g（其每一列均分别为用户面部形状和外观变化的一种模式），及主成分权值λ_s和λ_g：

$s_i=\stackrel{\‾}{s}+P_s{b}_s^i$

$g_i=\stackrel{\‾}{g}+P_g{b}_g^i$

其中，和分别为第i帧人脸图像经主成分分析得出的形状和外观参数向量。下一步，将和联合进行主成分分析。因为和具有不同的单位（的单位为距离，而的单位为像素强度），需要估算一个单位转换矩阵W_s，以便构造一个串联参数向量:

$b_i=\left(\begin{array}{c}{W}_s{b}_s^i\\ b_g^i\end{array}\right)$

设形状参数向量长度为N，计算W_s的方法为：

1）定义一个微扰动量对于第i帧图像的第n个形状参数向量进行扰动，得到：

$s_i^{+,n}=\stackrel{\‾}{s}+P_s(b_s^i+{\mathrm{\Δb}}_s)s_i^{-,n}=\stackrel{\‾}{s}+P_s(b_s^i-{\mathrm{\Δb}}_s)$

2）用和变形第i帧的无形状外观g_i，得到：

$g_i^{+,n}=W(I_i;s_i^{+},\stackrel{\‾}{s})g_i^{-,n}=W(I_i;s_i^{-},\stackrel{\‾}{s})$

3）对于任意n，计算形状参数向量扰动对于外观的平均影响记作设训练视频共有K帧，则等于：

$\stackrel{\‾}{{\mathrm{\Δg}}_n}=\sqrt{\frac{1}{K}\underset{i}{\overset{K}{\mathrm{\Σ}}}{\left|\right|g_i^{+,n}-g_i^{-,n}\left|\right|}^2}$

4）定义W_s为N×N对角矩阵，其对角元为：

$w_s\left(n\right)=\frac{\stackrel{\‾}{{\mathrm{\Δg}}_n}}{{2\mathrm{\Δb}}_s}$

在得到串联参数向量b_i后，再对所有b_i进行主成分分析，得到满足如下等式的主成分单位列正交矩阵Q，主成分权值λ_b，以及联合参数向量c_i:

$b_i=\stackrel{\‾}{b}+{\mathrm{Qc}}_i$

至此，由P_s、P_g、Q、λ_s、λ_g、λ_b、组成的人脸模型的训练完成。

本发明实施例中采用的人脸定位算法为Subspace ConstrainedMean-Shifts算法。该算法可以在人脸上定位63个特征点的位置，供模型训练与拟合使用。

该方法在人脸定位和特征标注结果的基础上，对于目标人脸的形状、运动、外表特点进行建模，使得人脸图像可以由模型参数表示，大大降低传输需要的数据量。

步骤S2中

采用云存储，介质存储，闲时传输等等手段使接收和发送端达到模型的统一；接收和发送端本地的模型形成它们各自的媒体库。

步骤S3中若用户人脸已经建模，则P_s、P_g、Q、已知；若此时得到一帧新的该用户人脸视频图像I，对其进行参数拟合的方法为：

1）对I使用人脸定位算法，得出人脸特征点位置向量s。

2）通过普氏分析将s校正至将校正后得到的特征点位置记为将由s到的平移与旋转偏移量保存为(v，θ)，称为该帧的姿态参数。3）根据下式得出此帧的形状参数向量b_s:

$b_s=P_s^T(\hat{s}-\stackrel{\‾}{s})$

4）将I中的人脸变形至平均形状并进行像素强度归一化，得到无形状外观g，并在归一化过程中，得到归一化前的平均像素强度μ_I和像素强度标准差σ_I。记(μ_I，σ_I)为该帧的光照参数。5）根据下式得出此帧的外观参数向量b_g：

$b_g=P_g^T(g-\stackrel{\‾}{g})$

6）根据下式得出此帧的串联参数向量b：

$b=\left(\begin{array}{c}{W}_s{b}_s\\ b_g\end{array}\right)$

7）根据下式得出此帧的联合参数向量c：

$c=Q^t(b-\stackrel{\‾}{b})$

本发明实施例提出的参数拟合过程在由人脸定位算法得到特征点位置后，不存在迭代优化过程，对起始参数不敏感，拟合运算均为线性映射，在运算简单的同时保证了参数的稳定。

步骤S4中

在低带宽通道上传输的视频必须能够满足固定的速率约束，以保持一定的传输延迟和接收到的视频质量；同时此速率约束必须可调，以满足不同带宽通道的需求。

在计算机上无法实现绝对精确的参数表示与传输；根据主成分分析的原理，主成分权值向量λb即等于在训练集上计算的模型参数向量c的方差。因为人脸的运动范围是受限的，可以认为在绝大多数情况下人脸模型参数不会超出训练集均值的三个标准差之外。所以，当一个参数c(i)需要用p比特表示时，可以使用如下方法：

$\hat{c}\left(i\right)=\mathrm{round}(\frac{c\left(i\right)-(-3\sqrt{{\mathrm{\λ}}_b\left(i\right)})}{6\sqrt{{\mathrm{\λ}}_b\left(i\right)}}\×(2^p-1))$

为一个p比特长的非负整数。使用这种方法，可以对任意一个参数进行任意程度的量化，以满足传输速率需求。

与此同时，为了在给定速率约束下达到最佳质量，本发明提出一种最优比特分配算法来决定在传输中每一个参数获得的比特数量。定义p为比特分配向量（即记录每个参数所分到的比特数量的向量），f为视频帧率，r为速率约束，则算法含有以下步骤：

1）初始化p的所有元素至系统支持的最大值。

2）计算现在达到的速率

3）如果满足速率约束，返回p，算法结束。否则：

a)对于所有i∈{1…N}，N为参数的个数，计算现在对于第i个参数的比特分配造成的量化误差：

$e\left(i\right)=\frac{3\sqrt{{\mathrm{\λ}}_b\left(i\right)}}{2^{p\left(i\right)}}$

b)对于所有i∈{1…N}，计算如果对于第i个参数减少分配一个比特所将造成的量化误差：

$\hat{e}\left(i\right)=\frac{3\sqrt{{\mathrm{\λ}}_b\left(i\right)}}{2^{p\left(i\right)-1}}$

c)对于所有i∈{1…N}，寻找最小化的i^*，使p(i^*)←p(i^*)-1；返回到第2）步。

该方法在速率约束下对于待传模型参数进行最优比特分配，在适应传输通道特性的同时最小化参数误差；。

由于人脸的姿态和表情变化相对于视频的帧率来讲一般是比较缓慢的，所以本发明传输的模型参数在时间上的变化一般比较缓慢，存在一定相关性。为了进一步降低传输数据量，可以每隔n帧传一帧模型参数，而两次传输之间的n帧由接收端通过插值方法计算出模型参数，再进行重建。

设i∈{1…K}为当前欲传输的帧编号。若i-1不是n+1的倍数，则丢帧不编码，直接进行下一帧。否则进行编码，传输参数。

该方法利用模型参数时域相关性，进行帧间插值，避免每帧传输参数造成的冗余，进一步降低速率。

步骤S5中

接收端利用利用参数纠错和线性插值来还原模型参数。

当接收端接收到一组模型参数时，应根据相应模型的参数时域模型以及上一组接收到的参数判断是否发生误码及进行纠错。如果本次接受的是第一组参数，不进行误码检测。

接收端尝试纠错后，应根据之前接收到的插值数量n进行线性插值其具体方法为：

1)设i∈{1…K}为当前接收到的帧编号。根据发送端的步骤，已知i-1是n+1的倍数，同时上一次接收到的帧编号为i-n-1。将第i帧接收到的参数记为l_i，则已知l_i和l_i-n-1。对于所有j∈{i-n，…，i-1}，通过线性插值，有：

$l_j=\frac{i-j}{n+1}{l}_{i-n-1}+\frac{j-(i-n-1)}{n+1}{l}_i$

2)对于l_i-n-1和所有l_j进行人脸重建，得到输出图像。

步骤S6中

将面部形状与外表分别建模，在接收端得到模型参数后，首先恢复正常形状下所传人脸外观，然后根据得到的特定形状参数，通过系统的变形拉伸，重建出所传人脸当时的表情与动作。

其具体方法为：

重建一帧人脸图像，除人脸模型外，还需要联合参数向量c，姿态参数(v，θ)，以及光照参数(μ_I,σ_I)。接收到上述参数后，人脸图像重建的过程为：

1）将Q分为行数等于b_s元素个数的Q_s和行数等于b_g元素个数的Q_g。依下式计算特征点位置s和无形状外观g：

$s=\stackrel{\‾}{s}+P_s{W}_s{Q}_s\mathrm{cg}=\stackrel{\‾}{g}+P_g{Q}_{g}c$

2）依下式对g进行反归一化，恢复原图光照：

$\hat{g}={\mathrm{\σ}}_{I}g+{\mathrm{\μ}}_I$

3）将由平均形状变形至s，得到完成重建过程。

如图2所示：

1）得到待传视频后，首先运行人脸定位算法，得到人脸外观向量与形状向量。同时，根据传输速率约束，运用本发明提出的比特分配算法，得出比特分配方案；

2）将外观向量进行光照和形状归一化，得到无形状外观向量和光照参数；

3）将形状向量进行姿态归一化（普氏分析），得到姿态归一形状向量和姿态参数；

4）对外观和形状向量分别进行主成分投影，得到外观和形状参数向量；

5）对外观和形状参数向量进行联合主成分投影，得到联合参数向量；

6）利用步骤1）得到的比特分配方案对联合参数向量进行量化；

7）根据帧间插值决定是否传输。如果传输，传输量化联合参数向量、姿态向量、光照向量。

如图3所示：

1）根据帧间插值对接收到的参数进行线性插值，恢复被丢帧的参数；

2）进行联合主成分映射，得到形状和外观参数向量；

3）将形状和外观参数向量分别进行形状和外观主成分映射，得到姿态归一化形状向量和无形状外观向量；

4）将收到的姿态向量应用于姿态归一化形状向量，恢复人脸形状向量；

5）将收到的光照向量应用于无形状外观向量，恢复所传人脸光照情况；

6）使用形状向量对无形状外观向量进行变形，重建得出所传人脸视频。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (9)

1.一种人脸视频传输方法，其特征在于，该方法包括步骤：

S1、采集视频，通过对视频进行训练，得到人脸模型；

S2、将所述人脸模型在发送端和接收端之间共享；

S3、利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；

S4、根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；

S5、接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；

S6、接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建；

其中，所述步骤S1对视频进行训练的方法为：

S1.1、根据视频定位得到特征点位置向量，即人脸形状，对所有人脸形状取平均值，得到平均形状；

S1.2、将视频变形并归一化得到无形状外观向量；

S1.3、对特征点位置向量和无形状外观向量分别进行主成分分析得到形状参数向量和外观参数向量；

S1.4、将形状参数向量和外观参数向量进行联合主成分分析得到主成分单位列正交矩阵、主成分权值、和联合参数向量。

2.权利要求1所述的人脸视频传输方法，其特征在于，所述人脸模型中含有人脸外观和形状参量。

3.权利要求1所述的人脸视频传输方法，其特征在于，所述发送端和接收端之间的人脸模型通过云存储、介质存储或闲时传输的方式进行共享。

4.权利要求1所述的人脸视频传输方法，其特征在于，所述步骤S3中参数拟合的方法为：

S3.1、通过人脸定位，得出人脸特征点位置向量；

S3.2、将特征点位置向量经过普氏分析姿态归一化，得到形状参数向量和姿态参数；

S3.3、将视频进行变形并归一化，得到无形状外观向量和光照参数；

S3.4、对外观和形状向量分别进行主成分投影，得到外观和形状参数向量；

S3.5、对外观和形状参数向量进行联合主成分分析，得到联合参数向量。

5.权利要求1所述的人脸视频传输方法，其特征在于，所述步骤S4利用最优比特分配算法和参数帧间插值算法对模型参数进行优化。

6.权利要求5所述的人脸视频传输方法，其特征在于，所述最优比特分配算法通过降低参数的量化级别来满足速率限制。

7.权利要求5所述的人脸视频传输方法，其特征在于，所述参数帧间插值算法为：以n帧为传输间隔，每隔n帧传输一帧模型参数，如果当前帧为(n+1)的倍数，则准备参数进行传输，否则直接丢帧。

8.权利要求5所述的人脸视频传输方法，其特征在于，所述步骤S5利用参数纠错和线性插值还原模型参数，所述参数纠错根据相应模型参数及接收到的上一模型参数进行纠错。

9.权利要求1所述的人脸视频传输方法，其特征在于，所述步骤S6人脸图像重建的方法为：接收端得到还原的模型参数后，根据共享的人脸模型，首先恢复正常形状下人脸外观，然后通过系统的变形拉伸，重建出所传人脸当时的表情和动作。