CN103024336A - 获取三维形变基的方法及通信终端 - Google Patents

Abstract

本发明涉及一种获取三维形变基的方法及通信终端，所述方法包括：利用二维跟踪矩阵进行计算，获得条件数最小的子矩阵，所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵；利用所述第二数量、所述三维形状基矩阵、所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基。本发明实施例选取独立性好的K帧视频图像作为获得形状基约束条件的依据，增加形状基约束条件来计算获得三维形变基，从而防止计算获得的三维形变基具有二义性，使得接收端可以获得更加稳定的三维人脸重建。

Description

获取三维形变基的方法及通信终端

技术领域

本发明涉及视频传输领域，尤其涉及一种获取三维形变基的方法及通信终端。

背景技术

随着网络技术的日益发展，出现了大量的交互式视频通讯应用。在视频通信中人脸及面部表情包含了丰富的信息，面部图像的传输变得日益重要。现有技术提供了三维建模技术对脸部图像进行建模和传输。

一种现有的三维模型方式进行人脸视频传输是基于主动形状模型ASM和运动回复结构SFM建模的方法，这种现有技术采用ASM匹配算法跟踪人脸特征点，利用SFM方法得到三维形变基，并估计三维形变基的参数，从而最终得到最终的三维人脸。

但是由于仅使用了正交旋转约束条件来计算并获取三维形变基，而该正交旋转约束条件具有冗余性而导致三维形变基具有二义性不具有唯一性，二义性是指有时任意的形变基组合也满足该约束条件，从而导致最终生成的人脸模型并不准确。

发明内容

本发明实施例涉及一种获取三维形变基的方法以及通信终端，以解决现有技术中三维形变基具有二义性，从而使得最终获得人脸不准确。

第一方面，本发明提供了一种获取三维形变基的方法，所述方法包括：

利用二维跟踪矩阵W进行计算，获得条件数最小的子矩阵，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)的比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的，所述第一数量F帧视频图像中均具有人脸区域;

利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

利用所述第二数量K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。

在第一方面的第一种可能的实现方式中，所述方法还包括：利用所述三维形变基B、预存的内参矩阵A，和所述F帧视频图像中的每一帧视频图像对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和第二三角形面片纹理图片；

将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

第二方面，本发明提供了一种通信终端，所述通信终端包括：

计算器，用于利用二维跟踪矩阵W进行计算，获得条件数最小的子矩阵，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)的比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的，所述第一数量F帧视频图像中均具有人脸区域;

利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

利用所述第二数量K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。

在第二方面的第一种可能的实现方式中，所述计算器，还用于利用所述三维形变基B、预存的内参矩阵A，对所述F帧视频图像中的每一帧对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

所述通信终端还包括：提取器，分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和第二三角形面片纹理图片；

发送接口，用于将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

本发明实施例选取独立性好的K帧视频图像作为获得形状基约束条件的依据，增加形状基约束条件来计算获得三维形变基，从而防止计算获得的三维形变基具有二义性，使得接收端可以获得更加稳定的三维人脸重建。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的获取三维形变基的方法流程图；

图1a为本发明一实施例的获取三维形变基的方法中步骤11的具体流程图；

图1b为本发明一实施例的获取三维形变基的方法中步骤12的具体流程图；

图1c为本发明一实施例的获取三维形变基的方法中步骤13的具体流程图；

图1d为本发明一实施例的获取三维形变基的方法中步骤14的具体流程图；

图1e为本发明一实施例的获取三维形变基的方法中步骤15的具体流程图；

图1f-1h为不同表情下的特征点定位结果示例图。

图2为本发明一实施例的三维人脸的重建方法流程图；

图2a为本发明一实施例三维人脸的重建方法中步骤23的具体流程图；

图3为本发明一实施例通信终端结构示意图；

图3a为本发明一实施例通信终端结构示意图；

图4为本发明一实施例通信终端结构示意图；

图4a为本发明一实施例通信终端结构示意图；

图5为本发明实施例三维人脸重建系统结构示意图；

图6为本发明一实施例通信终端结构示意图；

图7为本发明一实施例通信终端结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明一实施例的获取三维形变基的方法流程图，如图所示，本发明实施例的获取三维形变基的方法主要针对具有发送功能的通信终端在通信网络例如无线网络中而言，本实施例包括如下步骤：

步骤11，将二维跟踪矩阵W进行计算，获得条件数最小的子矩阵；

所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)之比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的；所述第一数量F帧视频图像中均具有人脸区域;

在本步骤中首先对F帧的检测有人脸区域的视频图像做出说明：当两两通讯终端开始进行视频通信，从终端的头像捕获装置例如摄像头输入的视频流中截取一定长度的视频，利用Adaboost人脸检测方法从视频流中检测人脸，对每帧视频图像进行检测，获得包含人脸区域的矩形框坐标信息。对检测到人脸的视频图像帧进行计数，保存第一数量F例如60帧的包含人脸的视频图像，作为在本发明实施例步骤中获得二维跟踪矩阵W的处理对象。第一数量F可以根据实际情况设定。其中，Adaboost算法是一种现有的机器学习方法，将Adaboost算法应用到人脸检测中，实现了实时人脸区域的检测。本发明可以采用计算机开源视觉库OpenCV2.4中实现的Adaboos t方法进行人脸检测。

在本步骤中二维跟踪矩阵W的获得可以通过以下步骤来实现：

对F帧的检测有人脸区域的视频图像中的每一帧图像进行人脸特征点定位，获得所述每一帧图像对应的第一二维特征点点集s；

在上述步骤中，利用主动形状模型(ASM)方法从上述每一帧图像的人脸区域中定位人脸特征点，得到每一帧图像对应的第一二维特征点点集s，例如该点集s包含n个例如n=68个二维特征点，每个特征点的第一坐标为（Ui，Vi）。不同的表情有着不同的特征点定位，如图1f-1h所示为不同表情下的特征点定位结果。n表示每一帧图像对应的人脸的二维特征点个数。

将所述每一帧图像的所述第一二维特征点点集s中的第一坐标进行平移获得第二坐标；

在上述步骤中，为了消除各帧间平移的影响，假定世界坐标系的原点位于场景中心，计算每一帧第一二维特征点点集的中心点，并使该帧中所有特征点以该中心点进行平移，用特征点的第一坐标减去中心点的坐标，得到第二坐标，即可消除帧间平移的影响。

将所述每一帧图像的所述第一二维特征点点集s的所述第二坐标中的横坐标设置为所述二维跟踪矩阵W的奇数行，将所述第二坐标中的纵坐标设置为所述二维跟踪矩阵W的偶数行。

在上述步骤中，将上述60帧中提取到的第一二维特征点集s进行拼接，其中第一行为第一帧中68个二维特征点的横坐标，第二行为第一帧中68个二维特征点的纵坐标，第三行为第二帧68个二维特征点的横坐标，第四行为第二帧68个二维特征点的纵坐标，以此类推，形成二维跟踪矩阵W，该矩阵为120行，68列(此处F=60，n=68)：

$W=\left[\begin{array}{cccc}{u}_1^1& u_2^1& ...& u_n^1\\ v_1^1& v_2^1& ...& v_n^1\\ .& .& .& .\\ .& .& .& .\\ u_1^F& u_2^F& ...& u_n^F\\ v_1^F& v_2^F& ...& v_n^F\end{array}\right]---\left(1\right)$

因此，应当理解二维跟踪矩阵W中的每两行对应一帧视频图像的特征点。在当前该W矩阵中F（60）帧视频图像是顺序排列的。

下面对本步骤11将二维跟踪矩阵W，进行计算获得条件数最小的子矩阵进行详细描述。图1a为本发明实施例获取三维形变基的方法中步骤11的具体流程图。如图1a所示，该步骤11包括以下步骤：

步骤111，按照抽取条件，将所述二维跟踪矩阵W中对应行抽取出，组合形成子矩阵a；

在本步骤中，抽取条件为采用顺序或者交错抽取的方法重新组合二维跟踪矩阵W中各帧排列顺序。在本例中抽取条件为交错抽取矩阵W中各帧，重新排列顺序形成子矩阵。例如该抽取条件为将二维跟踪矩阵W中的120行按照每组12行，组内间隔20行的规则进行交错抽取，共形成10个子矩阵a，即所述子矩阵中包括所述二维跟踪矩阵W中的对应行。

下面描述按照抽取条件，形成的10个子矩阵a中每一个子矩阵包括的二维跟踪矩阵W中对应行，这些对应行的行号：

第1个子矩阵a1：对应的行号为1,2,21,22,41,42,61,62,81,82,101,102

第2个子矩阵a2：对应的行号为3,4,23,24,43,44,63,64,83,84,103,104

第3个子矩阵a3：对应的行号为5,6,25,26,45,46,65,66,85,86,105,106

第4个子矩阵a4：对应的行号为7,8,27,28,47,48,67,68,87,88,107,108

第5个子矩阵a5：对应的行号为9,10,29,30,49,50,69,70,89,90,109,110

第6个子矩阵a6：对应的行号为11,12,31,32,51,52,71,72,91,92,111,112

第7个子矩阵a7：对应的行号为13,14,33,34,53,54,73,74,93,94,113,114

第8个子矩阵a8：对应的行号为15,16,35,36,55,56,75,76,95,96,115,116

第9个子矩阵a9：对应的行号为17,18,37,38,57,58,77,78,97,98,117,118

第10个子矩阵a10：对应的行号为19,20,39,40,59,60,79,80,99,100,119,120

在该抽取条件下抽取的每一个子矩阵a中包括二维跟踪矩阵W中对应12行，也即每一个子矩阵对应K=6帧视频图像，即K=子矩阵A的行数/2。

步骤112，计算所述子矩阵a的条件数，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)之比值；

在本步骤中，分别计算上述10个子矩阵a的条件数k(a)，定义子矩阵条件数k(a)=极大特征值λmax(a)/极小特征值λmin(a)；对每一个子矩阵A进行奇异值分解后，可以得到该子矩阵a的极大特征值λmax(a)和极小特征值λmin(a)。

步骤113，选取所述条件数最小的所述子矩阵a，以使所述子矩阵a对应的视频图像作为获得所述形状基约束条件依据的视频图像；在本步骤中，比较10个子矩阵的条件数，条件数越小，表示该子矩阵对应的特征点之间的独立性越好，因此选取条件数最小的子矩阵作为形状基约束条件的依据，即所述子矩阵对应的视频图像作为所述形状基约束条件依据的视频图像，也即挑选独立性较好的K帧视频图像作为形状基约束依据的视频图像，也就是根据子矩阵中W矩阵的对应行来计算形成形状基约束条件。

步骤114，获得所述子矩阵对应的视频图像的帧数为第二数量K=所述子矩阵的行数/2。

因此，通过上述步骤可以消除相邻帧的影响，挑选独立性较好的12行（对应视频中的6帧）组合即条件数最小的子矩阵作为获得形状基约束条件的依据，从而消除获得的三维形变基具有二义性，以使得接收终端最后获得更加稳定的三维人脸重建。

步骤12，利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中对应行进行计算，获得形状基约束条件和三维形状基矩阵

在本步骤中，具体描述根据子矩阵中的对应行如何来获得形状基约束条件。图1b为本发明实施例获取三维形变基的方法中步骤12的具体流程图。如图1b所示，该步骤12包括以下步骤：

步骤121，对所述二维跟踪矩阵W进行奇异值分解计算，获得姿态矩阵

和三维形状基矩阵

在本步骤中，对二维跟踪矩阵W进行奇异值分解，得到一个大小为2F×3K的姿态矩阵

和大小为3K×n的三维形状基矩阵

这种分解不是唯一的，给定任意可逆的3K×3K矩阵G，有

均成立。因此只要确定矫正转换矩阵G，即可根据

分别得到投影矩阵M和三维形变基B。

即在步骤12中利用二维跟踪矩阵W进行计算后可以获得后续步骤122和123计算使用的姿态矩阵和后续步骤13计算使用的三维形状基矩阵。

步骤122，根据所述子矩阵中包括的所述二维跟踪矩阵W中的对应行，获得对应行的行号；

例如步骤11中计算获得的条件数最小的子矩阵是第6个子矩阵a6：对应的行号为11,12,31,32,51,52,71,72,91,92,111,112。

步骤123，根据所述行号，从所述姿态矩阵

中抽取对应所述行号的行，组合成第一中间矩阵

所述第一中间矩阵形成所述形状基约束条件中的第一系数矩阵；

将姿态矩阵

对应的11、12、31、32、51、52、71、72、91、92、111、112行取出来组成第一中间矩阵

对应于公式(8)至(13)中的

和即形状及约束条件中Q_k左侧的系数矩阵即第一系数矩阵，第一中间矩阵共有12行，i从1取值到6。

表示

的奇数行，

表示对应

的的偶数行。这12行来自姿态矩阵对应的11、12、31、32、51、52、71、72、91、92、111、112行。

步骤124，根据所述行号，调整所述姿态矩阵

的顺序，组合形成第二中间矩阵

所述第二中间矩阵形成所述形状基约束条件中的第二系数矩阵；

在本步骤中，重新调整姿态矩阵的顺序，使其前12行与第一中间矩阵相同，即对应的11,12,31,32,51,52,71,72,91,92,111,112行排列到最前面，其余行顺序可变化也可不变化。得到重新调整后的第二中间矩阵。注意只是将其中的12行顺序提前，姿态矩阵的内容没有变化。第二中间矩阵

对应公式(8)至(13)中Q_k的右侧的系数矩阵即第二系数矩阵，即

和

j从1到F总共有2F个，对应调整顺序后的姿态矩阵即第二中间矩阵相应的奇数列和偶数列的转置。即

表示第二中间矩阵的奇数列的转置；

表示第二中间矩阵的偶数列的转置。

步骤125，根据所述第一系数矩阵和所述第二系数矩阵，形成所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中，表示的奇数行，

表示对应

的的偶数行；

表示第二中间矩阵的奇数列的转置；

表示第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k}。

其中，i从1取值到k，表示循环选取第二中间矩阵中的2行子矩阵，即

表示第一中间矩阵中的第i个2行子矩阵。

因此，上述过程通过步骤11中计算获得的条件数最小的子矩阵中W矩阵中的对应行来进行计算获得形状基约束条件，即按照挑选出的独立性较好的12行（对应视频中的6帧）组合作为获得形状基约束条件的依据，从而通过优选正交因数较好即条件数越小的特征点来改善三维形变基的获取，使获得的三维形变基不再具有二义性，从而接收终端可以获得更加稳定的三维人脸重建。

步骤13，利用所述K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。

在本步骤中，利用奇异值分解、最小二乘法、结合正交旋转约束和形状基约束计算求解矫正矩阵Q_k，并进一步得到三维形变基B。

下面首先介绍可以得到三维形变基B的原理。

其基本原理为，在弱透视投影下，三维点(x,y,z)投影到二维平面(u,v)，两者间的变换关系为：

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{ccc}{i}_x& i_y& i_z\\ j_x& j_y& j_z\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]---\left(2\right)$

其中， $\left[\begin{array}{ccc}{i}_x& i_y& i_z\\ j_x& j_y& j_z\end{array}\right]$ 为旋转矩阵， $\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right]$ 为平移矩阵。

根据非刚体形变模型，任意形状可看作是一个平均形状B₀即三维特征点的平均值与一系列三维形变基B_i的线性组合，即三维形状S可以表示为：

$S=B_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i\·B_i(B_0,B_i\∈R^{3\×n},p_i\∈R)---\left(3\right)$

其中， $S=\left[\begin{array}{c}x\\ y\\ z\end{array}\right],$ B₀为平均形状，B_i为第i个三维形变基。

将（3）式带入（2）式，有

$\left[\begin{array}{cccc}{u}_1& u_2& ...& u_n\\ v_1& v_2& ...& v_n\end{array}\right]=R\·(B_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i\·B_i)+T---\left(4\right)$

其中R为旋转矩阵， $R=\left[\begin{array}{ccc}{i}_x& i_y& i_z\\ j_x& j_y& j_z\end{array}\right];$ T为摄像机平移矩阵， $T=\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right].$

由于在步骤中消除了帧间平移的影响，结合式公式（1）和（4），有

$W=\left[\begin{array}{cccc}{R}_1& p_1^1{R}_1& ...& p_k^1{R}_1\\ R_2& p_1^2{R}_2& ...& p_k^2{R}_2\\ .& .& .& .\\ .& .& .& .\\ R_F& p_1^F{R}_F& ...& p_k^F{R}_F\end{array}\right]\left[\begin{array}{c}{B}_0\\ B_1\\ .\\ .\\ B_m\end{array}\right]=M\·B---\left(5\right)$

从数学计算的角度，M表示了三维形变基B和二维投影点的矩阵W之间的转换关系，其中，使用了m个三维形变基。M为2F×3(m+1)的带缩放因子即形变基系数p的投影矩阵，从三维物体到二维平面的投影矩阵实际上就是先围绕三个坐标轴旋转再加上平移构成的，即投影矩阵为旋转矩阵R和平移矩阵T之和，B为3(m+1)×n的三维形变基。

因此，通过上述原理可以得到对二维跟踪矩阵W进行奇异值分解，并施加正交旋转约束条件和形状基约束条件，即可求得三维形变基B。

图1c为本发明实施例获取三维形变基的方法中步骤13的具体流程图。如图1c所示，下面详细描述步骤13，步骤13包括：

步骤131，利用所述正交旋转约束条件：

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i-1}^T-{\tilde{M}}_{2i}{Q}_k{\tilde{M}}_{2i}^T=0---\left(6\right)$

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i}^T=0---\left(7\right)$

其中

表示所述姿态矩阵

的奇数行，

表示所述姿态矩阵

的偶数行，Q_K为矫正矩阵，其中k=1、…、K；

和所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中，表示

的奇数行，

表示对应的

的偶数行；

表示第二中间矩阵的奇数列的转置；

表示第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k}。

进行计算获得所述矫正矩阵Q_K；

在本步骤中，如果仅仅利用正交旋转约束条件即公式（6）和公式（7）进行任意非奇异的线性变换得到满足上述条件的Q_k，由于正交旋转约束条件具有冗余性，因此仅依靠正交旋转约束求解得到的Q_k矩阵具有二义性。因此，除了利用正交旋转约束条件之外，利用步骤11已经得到K个独立性较好的形状基约束条件依据的视频帧图像，增加形状基约束条件约束来计算Q_k矩阵。针对上述公式（6）至（13）的方程组，采用最小二乘法就可求解其中的未知矩阵Q_k。

对利用上述8个公式来求解矩阵Qk，做出简单说明：

通过公式(6)-(13)共8个公式来进行计算，每个公式都对应一个小矩阵，最终将这些矩阵拼接在一起形成大矩阵来计算Qk。即通过最小二乘法求解CX=B来得到。C对应于各公式拼接后的大矩阵，X对应于要求解的Qk，B对应于各公式等号右边的0和1组成的矩阵。在公式CX=B中，C,B已知，可以得到X即Qk。对于公式6利用姿态矩阵

的奇数行与其转置乘积、偶数行与其转置的乘积，并相减得到Q_k的系数矩阵，该矩阵有2F行，作为拼接大矩阵C的第一部分；0矩阵作为B的第一部分；对于公式7利用姿态矩阵

的奇数行与偶数行的转置的乘积，得到拼接大矩阵C的第二部分，该矩阵有2F行，0矩阵作为B的第二部分；

对于公式8至13，i取值从1到6；j取值从1到F；k取值从1到6；当i，j取值满足ω₁范围时，公式（9）、（11）、（12）、（13）条件满足，得到对应的系数矩阵，加入到拼接大矩阵C中；当i=j=k时，公式（8）、（10）、（12）、（13）条件满足，得到对应的系数矩阵，加入到拼接大矩阵C中；i=j=k的条件总共有6个，对应于i=j=1,i=j=2,i=j=3,i=j=4,i=j=5,i=j=6,当这些条件满足时，公式（8）和公式（10）有效，即对应的等式右侧值是1。这样就得到了拼接后的大矩阵C和B，然后求解得到Q_k。上述计算过程为现有技术，在此简单说明，不再赘述。

步骤132，将所述矫正矩阵Q_K进行奇异值分解，获得矫正转换矩阵G；

由于G为设定的3K×3K矫正转换矩阵，G是由K个3列组成（G=Kg_k），用g_k表示，其中k=1，…,K，每一个都是3K×3的矩阵。令Q_k=g_k·g_k ^T，对Q_k进行奇异值分解，获得分解结果g_k，从而获得矫正转换矩阵G。

步骤133，将所述矫正转换矩阵G与所述三维形状基矩阵相乘，获得所述三维形变基B。

进一步地，为了减少运算复杂度，K=6时，3K×n为18×68计算量比较大，K取值m’例如5，则所述方法还包括从步骤121中的3K×n的三维形状基矩阵

中提取

矩阵的前3m’行，形成3m’×n的三维形状基矩阵

即将K取值为m’不再为6，3m’×n的三维形状基矩阵

作为后续步骤133的输入，m’作为步骤131和步骤132中涉及的K的取值，优选地，在本例中m’取值为5，这样可以减少计算的复杂度。K取值m’可以是该发送端的客户端中预先存储的，当客户端中存储有K取值m’时，发送端在上述计算过程中涉及的K，都取值m’来进行计算，该接收端客户端和发送端客户端是对应的，即接收端客户端也存储有该K的取值m’，例如5。客户端中也可以直接存储K的实际数值6，所有计算以K的实际值6来进行计算，该接收端客户端和发送端客户端是对应的，存储K的实际值6。

上述三维形变基B是每次截取一定长度的视频流后，针对挑选出的K帧视频图像即条件数最小的子矩阵计算获得三维形变基B，然后被发送。一次视频会话持续的时间较长时，为了使三维形变基B能够得到及时更新，可以在会话过程中按照一定的时间间隔重新计算并发送三维形变基B，即每次截取F帧视频图像经过上述过程的处理后获得第二数量K帧求解三维形变基发送给接收端，发送端按照设定的时间间隔发送该三维形变基，接收端将间隔时间地接收到更新的三维形变基B。

本发明实施例选取独立性好的K帧视频图像作为获得形状基约束条件的基础，增加形状基约束条件来计算获得三维形变基，从而防止计算获得的三维形变基具有二义性，使得接收端可以获得更加稳定的三维人脸重建。

继续参见图1所示，在上述实施例步骤的基础上还可以包括以下步骤：

步骤14，利用所述三维形变基B、预存的内参矩阵A，和所述F帧视频图像中的每一帧对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

首先说明，内参矩阵是通过图像捕获装置例如摄像头进行标定获得的，此为现有技术不再赘述，并且应当理解的是在视频会话每次启动时，内参矩阵存储在发送端，并将被发送给接收端，每次会话只发送一次内参矩阵。

图1d为本发明实施例获取三维形变基的方法中步骤14的具体流程图。如图1d所示，下面描述步骤14，步骤14包括：

步骤141，对所述F帧视频图像中的每一帧图像进行人脸特征点定位，获得所述每一帧图像对应的第一二维特征点点集s；

在发送端取得输入视频的第一帧时起，利用主动形状模型(ASM)方法定位人脸特征点，得到该帧图像对应的二维特征点点集s，对截取的这段视频流例如F帧进行每一帧图像的特征点定位，前面已经详细描述在此不再赘述。

步骤142，利用以下公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p：

$s^{\′}=A\·\left[R\right|t]\·\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i{B}_i\right)---\left(14\right)$

其中s’为第二二维特征点点集，A为内参矩阵，B_i为第i个三维形变基，R为所述旋转矩阵，T为所述平移矩阵和p_i为第i个三维形变基对应的形变基参数，i=k，k=1，…,K，K表示在计算中使用的三维形变基数量，应当注意，

即为三维形状也即三维特征点。

在本例中，如上面所描述的，为了减少运算复杂度，此处取三维形变基数量K=m’=5，即假设三维形变基B在本实施例中包括5个三维形变基，B=[B₁,B₂,B₃,B₄,B₅]，即使用m’=5个三维形变基来进行计算，其中每个形变基为3×68的矩阵。

本步骤利用非线性优化求解所述旋转矩阵R、所述平移矩阵T和形变基参数。利用步骤13中得到的三维形变基B，对步骤141中检测到的二维特征点s进行三维重建，其中

表示三维形状S，通过麦夸特二乘法优化求解旋转矩阵R、平移矩阵T和形变基参数p。

利用三维形变基B，对步骤141中检测到的二维特征点s（也即第一二维特征点）进行三维重建，即，按照针孔摄像机模型，三维人脸空间中的点也即S通过透视变换投影到二维平面，计算公式为上述公式（14）。

上述公式（14）是检测到的二维特征点s和三维形状S之间投影的计算公式，但在本实施例中假设检测到的二维特征点s是未知量需要通过这个公式来计算，因此，在此使用s’也即第二二维特征点来表示需要计算的检测的二维特征点s，通过计算出的二维特征点（第二二维特征点）与实际检测到的二维特征点（第一二维特征点）之间的均方差来求解R、T和p。s’为第二二维特征点点集；A为摄像头内参矩阵；B为三维形变基；旋转矩阵R包括为绕不同坐标轴旋转的R_x,R_y,R_z；平移矩阵T包括为在不同坐标轴方向平移的t_x,t_y,t_z；形变基参数p可分解为五个形变基参数p₁,p₂,p₃,p₄,p₅；

上述步骤142利用公式通过麦夸特二乘法(Levenberg-Marquardt)优化求解上述未知量R、T、p，其计算的过程包括：

步骤1421，对所述R、所述T和所述p进行第一赋值，根据所述公式计算获得所述三维形变基B的第二二维特征点点集（也即二维投影点）s′；

在本例中，对R_x、R_y、R_z、t_x、t_y、t_z进行第一赋值，初值为0，p₁至p₅=0.2，按照公式（14）计算三维形变基B在上述初值条件下的二维投影点s’。

步骤1422，计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第一赋值设置为该帧视频图像的所述R、所述T和所述p；否则，执行步骤1423；

在该步骤中，计算步骤141检测到的第一二维特征点点集s与步骤1421计算得到的第二二维特征点点集s’的均方差，在此，设定阈值为3，该阈值可以根据实际情况设定，在均方差小于阈值的情况下，则将第一赋值作为旋转矩阵R、平移矩阵T和形变基参数p的参数值；然后处理下一帧视频图像，即跳转至步骤141；

步骤1423，利用所述公式对所述R、T和p求偏导，获得所述R、T和p的第二赋值；

在本步骤中，求解雅可比矩阵

即由公式(14)对R、T、P分别进行求偏导，将偏导数即解雅可比矩阵J作为参数传递给麦夸特二乘法，更新初始化参数R、T、p；

步骤1424，利用所述R、T和p的第二赋值和所述公式计算获得第二二维特征点点集s’；

步骤1425，计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第二赋值设置为该帧视频图像的所述R、所述T和所述p。

在本步骤中在均方差小于阈值的情况下，则将第二赋值作为旋转矩阵R、平移矩阵T和形变基参数p的参数值；然后处理下一帧视频图像，即跳转至步骤141；如果均方差大于阈值，则对步骤1423计算出的所述R、T和p求偏导，将偏导数作为参数传递给麦夸特二乘法，增加步长δR，δT，δP，即R1=R0+δR，T1=T0+δT，P1=P0+δP，然后执行步骤1424和步骤1425用于计算获得R、T、p；如果执行到步骤1425时均方差还是大于阈值，则重复该过程，即R、T、p是通过多次的循环迭代，从初始值开始，每次增加δR，δT，δP，即Ri=R（i-1）+δR，Ti=T（i-1）+δT，Pi=P（i-1）+δP最终获得的，获得的R、T、p是使s和s’误差最小的参数。

在本步骤中，最终得到每一帧视频图像的旋转矩阵R、平移矩阵T和形变基参数p的值，将这些参数值对应每一帧视频图像发送给接收端。由于这些旋转矩阵R、平移矩阵T和形变基参数p是针对F帧视频图像计算的三维形变基来获得的，因此在接收端接收的这些参数一段时间是针对一段视频流计算的，整个视频会话中，接收端将接收到针对多个三维形变基B来获得的旋转矩阵R、平移矩阵T和形变基参数p。

步骤15，分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括所述三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片；

发送端除了将三维形变基、形变基参数、旋转矩阵和平移矩阵这些信息在视频传输过程中发送给接收端之外，还定时地将需要更新的背景图像和人脸纹理信息发送给接收端，比如在视频刚起始时刻时将背景图像和人脸纹理信息发送给接收端后，发送端每隔10s后将需要更新的第二背景图像和此刻的人脸纹理信息发送给接收端。

即，在本步骤中，发送给接收端的第二背景图像和人脸纹理信息是按照设定的时间间隔，每一段时间从视频流中计算提取到后发送给接收端的。

图1e为本发明实施例获取三维形变基的方法中步骤15的具体流程图。其中如图1e所示，提取第二背景图像，包括以下步骤：

步骤151，定时将第一背景图像与历史背景图像的像素进行计算，获得差值图像；

在本步骤中，将第一背景图像与历史背景图像的像素进行计算，获得差值图像就是判断背景图像的变化幅度。定时器到时触发当前时刻获取当前帧的背景图像（即第一背景图像），然后与上一定时器触发时刻获得背景图像（即历史背景图像）进行幅度判断。

在步骤151中的第一背景图像是通过以下步骤获得的：

计算当前帧视频图像中的人脸区域的中心点坐标；

在本步骤中，前述步骤中已经描述了人脸区域的矩形框区域，可参见前面描述的。

根据所述中心点坐标和所述人脸区域的宽度与高度对所述人脸区域进行处理，获得头肩图像矩形区域；

该步骤具体为将人脸矩形框宽度和高度与该帧视频图像的总宽度和高度进行比较，可根据矩形框中心点坐标判断人像的大致位置。由于头肩图像在视频中有类似“Ω”的形状，因此，扩充该矩形框至覆盖整个头肩图像。具体方法为：高度方向：以检测到的矩形框下边缘为中心，从上边缘起向上方扩充0.5倍矩形高度，向下延伸至图像边界；宽度方向：左右各扩充一倍的矩形框宽度。由此得到大致的头肩矩形区域。

利用图像分割算法例如Grabcut方法获得包括所述头肩图像的前景图像；

Grabcut方法是一种现有的数字抠图方法，利用该方法可以从视频图像中获得包括头肩图像的前景图像；

从当前帧视频图像中剪掉所述前景图像，获得所述第一背景图像。

步骤152，当所述差值图像的面积大于阈值时，将所述第一背景图像设置为第二背景图像。

发送端间隔一段时间例如每隔10s（即例如从时间点00开始，然后在10s，20s等时刻起）判断背景图像的变化幅度，当变化幅度大于一个阈值例如当前帧视频图像的面积的10%时，则将该背景图像作为接收端需要更新的背景图像即第二背景图像，发送给接收端。

当一定的时间间隔到达时，发送端执行步骤141来进行判断背景图像幅度变化，然后将当前帧视频图像的第一背景图像作为历史背景图像存储，在时间间隔未到即定时器未到达之前，发送端不执行步骤141。即定时器到时触发当前时刻获取当前帧的背景图像，然后与上一触发时刻获得背景图像进行幅度判断。

在本步骤中，根据输入的视频流的每一帧视频图像提取前景图像和背景图像。定时判断需要更新的背景图像即第二背景图像，然后发送给接收端。在该步骤中，从视频流中获取第二背景图像并不受到前面步骤描述的F帧视频的限制，获取第二背景图像只会受到定时器按照时间间隔定时触发的限制。

如图1e所示，提取人脸纹理信息包括以下步骤：

步骤153，定时从当前帧视频图像中得到确定人脸姿态的三角形位置，并根据人脸特征点定位的第一二维特征点点集s从所述当前帧视频图像中裁剪面部纹理图片，将所述人脸姿态的三角形位置与所述面部纹理图片建立映射；

按照一定的时间间隔，例如每隔10秒钟（即从时间点00开始，然后在10s，20s等时刻获取人脸纹理信息）从多帧视频中提取面部纹理图片，根据每帧视频中ASM检测信息，利用双眼内角点和鼻尖构成的三角形位置大致判断人脸姿态，并以当前ASM检测到的特征点即第一二维特征点点集s构成的外轮廓裁剪面部纹理图片。

步骤154，连接所述人脸特征点形成人脸三角形区域，并将所述面部纹理图片裁剪获得对应所述人脸三角形区域的第二三角形面片纹理图片，所述人脸三角形区域的顶点信息与所述第二三角形面片纹理图片建立映射；所述人脸纹理信息包括所述确定人脸姿态的三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

在本步骤中，连接ASM检测到的特征点第一二维特征点点集s，形成相邻的三角形区域，将步骤143中裁剪得到的面部纹理图片进一步裁剪，得到各三角形对应的第二三角形面片纹理图片；将三角形的顶点信息，连同裁剪得到的第二三角形面片纹理图片对应。因此所述人脸纹理信息包括所述确定人脸姿态的三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

在本步骤中，从视频流中提取人脸纹理信息并不受到前面步骤描述的F帧视频的限制，提取人脸纹理信息只会受到定时器按照时间间隔定时触发的限制。

本发明实施例由于背景图像和纹理信息的定时提取和传输，显著减少纹理图像和背景图像的传输次数，从而对带宽的占用明显降低，因此即使在网络受损较为严重的情况下，也可以保证较好的视频效果。上述步骤151和步骤152，与步骤153和步骤154可以交换时序，上述提取并不受到图示顺序的限制。可以先提取纹理信息后提取背景图像，或者先提取背景图像后提取纹理信息。

步骤16，将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

在本步骤中，上述信息发送给接收端是通过现有的各种网络例如以太网、无线网等来进行传输的。对上述步骤生成的三维形变基B、摄像头内参矩阵A、每帧非线性优化求解的旋转矩阵R、所述平移矩阵T、形变基参数p、人脸纹理信息和背景图像进行传输，以便在接收端进行图像重建和恢复。其中三维形变基、每帧对应的旋转矩阵R、所述平移矩阵T和形变基参数采用压缩加校验的方式进行传输，人脸纹理信息中的第二三角形面片纹理图片和背景图像以压缩JPEG图片的格式进行传输。其中摄像头内参矩阵A在每次会话中只需传输一次，三维形变基B、人脸纹理图片和背景图像按照设定的时间间隔更新后传输，旋转矩阵R、所述平移矩阵T和形变基参数p与输入视频图像的各帧对应进行传输。

在上述实施例中，发送的数据包括三维形变基B、旋转矩阵R、所述平移矩阵T和形变基参数p，人脸纹理信息和背景图像。除此之外，还有内参矩阵等一些对于在接收端进行三维人脸进行重建相关的数据。三维形变基B的获得和传输、旋转矩阵R、所述平移矩阵T和形变基参数p的获取和传输，与人脸纹理信息和背景图像的获取和传输在时序上并没有限制，不受上面描述的步骤限制，而三维形变基的获得，与旋转矩阵R、所述平移矩阵T和形变基参数p的获得是有先后次序的。三维形变基B、旋转矩阵R、所述平移矩阵T和形变基参数p、人脸纹理信息和背景图像这些信息在获取和传输给接收端时可能在同一时刻。

在此说明：应当注意的是，接收端和发送端安装有相同版本号的客户端，发送端客户端中预先存储有上述各种算法、抽取条件以及为降低计算复杂度设定的K取值，当发送端进行视频传输时调用存储的算法即执行上述实施例的步骤来进行视频图像的传输；接收端客户端中预先设置且存储好K和n的值，例如K=6，n=68，或者K=m’=5，n=68，在上述实施例需要应用时直接取值。当然，K和n的数值还可以在发送端发送上述任何一个信息之时，被携带在任一个信息中被发送给接收端客户端，例如在发送内参矩阵时可以同时将K和n数值发送给接收端。

图2为本发明实施例三维人脸的重建方法的流程图。在本实施例中，将描述接收端通过传输网络例如无线网络接收到发送端发送的各种参数后进行的三维人脸的重建过程。本实施例方法包括一下步骤：

步骤21，根据接收到的三维形变基B和每一帧视频图像的形变基参数p，计算获得三维形状S（也即三维特征点点集S）；

首先说明：接收端每隔一定的时间间隔会接收到发送端发送来的三维形变基B、人脸纹理信息和第二背景图像，并且会接收到每一帧图像的形变基参数p、旋转矩阵R和平移矩阵T，当接收到每一帧图像的这些参数时，接收端进行计算以便进行三维人脸的重建。应当注意的是内参矩阵，在接收端和发送端启动视频会话时，由发送端发送给接收端保存，在整个视频会话中仅发送一次。其中三维形变基B的具体计算可以参见上述实施例。

在本步骤中，当接收到每一帧视频图像的形变基参数p时，接收端进行计算获得三维形状S。该步骤具体为：利用以下公式计算获得三维形状S：

$S=B_0+\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i\·B_i(B_0,B_i\∈R^{3\×n},p_i\∈R)---\left(3^{\′}\right)$

其中，B₀为平均形状，即三维特征点的平均值；B_i为第i个三维形变基，p_i为第i个三维形变基对应的形变基参数，三维形状S是使用K个所述三维形变基来计算的，K表示使用的三维形变基个数，n表示每一帧图像对应的人脸的二维特征点个数，例如n取68表示面部检测68个二维特征点，在此K和n为预先设定的数值或者所述接收接口接收到的数值。

应当注意的是，K的取值和n的取值是接收端的客户端中预先存储有的，该接收端客户端和发送端客户端是对应的（例如版本相同），从而接收端接收到上述信息进行人脸重建时从客户端中取K=6即使用6个三维形变基，或者K=m’=5即使用5个三维形变基，和n=68。当然，K和n还可以在发送端发送上述任何一个信息之时，被携带在任一个信息中被发送，例如在发送内参矩阵时可以同时将K和n数值发送给接收端。

步骤22，根据接收到的内参矩阵A、每一帧视频图像的旋转矩阵R和平移矩阵T，和所述三维形状S,计算第二二维特征点点集s’；

在本步骤中，在接收端计算出三维形状S后，根据内参矩阵A、旋转矩阵R和平移矩阵T，计算三维形状的投影点即第二二维特征点点集s’，具体如下：

由于三维形状

利用公式计算获得第二二维特征点点集s’：

$s^{\′}=A\·\left[R\right|T]\·\left({\mathrm{\Σ}}_{i=1}^k{p}_i{B}_i\right)=A\·[R\left|T\right]\·S---\left(14\right)$

其中，A为所述内参矩阵，R为所述旋转矩阵，T为所述平移矩阵，S为三维形状。

在本步骤中接收端获取了人脸视频数据中的重要数据：二维投影点即第二二维特征点点集s’。本发明实施例接收端接收到经过改善的三维形变基，通过这个三维形变基获得的第二二维特征点点集s’即二维投影点，从而使得基于三维形变基获得的三维重建更稳定。

步骤23，根据所述人脸纹理信息和所述第二二维特征点点集s’，进行处理获得前景图像；

所述人脸纹理信息包括所述确定人脸姿态的三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

图2a为本发明实施例三维人脸的重建方法中步骤23的具体流程图。如图2a所示，包括：

步骤231，根据接收到的所述人脸纹理信息中的所述人脸三角形区域的顶点信息查找对应的第二三角形面片纹理图片；

人脸纹理信息是发送端定时发送给接收端的，因此，在一段时间内，接收端的第二面片纹理图像是不变的。

步骤232，将所述第二三角形面片纹理图片与当前帧视频图像的所述第二二维特征点点集s’连接形成的三角形顶点对应的第一三角形面片纹理图片进行仿射变化，获得当前帧视频图像对应的三角形面片图像；

在实时视频中人的面部姿态表情会发生变化，为了得到不同姿态表情对应的三角面片纹理，需要将已经传输到接收端的第二三角形面片纹理图片进行仿射变换，变换到与当前帧视频图像中的第一三角形面片纹理图片的三角形的形状一致。即在已传输到接收端的人脸纹理信息中查找对应的第二三角形面片纹理图片，将该面片的三角形变换到当前视频帧对应的二维特征点点集中特征点连接构成的三角形，从而得到当前帧视频图像对应的三角形面片图像。

步骤233，根据所述三角形位置计算人脸姿态，对头肩图像进行矫正，并将所述三角形面片图像和头肩图像进行拼接获得前景图像。

步骤24，将接收到的第二背景图像与所述前景图像进行融合，以重建三维人脸。

因此，本发明实施例接收端根据接收到的三维形变基B，形变基参数、旋转矩阵R、所述平移矩阵T来获得二维投影点，由于这个三维形变基是选取独立性好的K帧视频图像作为获得形状基约束条件的依据，从而防止计算获得的三维形变基具有二义性，因此可从当前视频中得到更接近原始人脸的重建效果。同时，由于显著减少纹理图像和背景图像的传输次数，实现了对带宽的占用降低。由此，实现了即使在网络受损较为严重的情况下，也可以保证较好的视频效果。

图3为本发明实施例通信终端的结构示意图。在该通信终端的结构示意图中，通信终端包括：

计算器31，利用二维跟踪矩阵W进行计算，获得条件数最小的子矩阵，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)的比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的，所述第一数量F帧视频图像中均具有人脸区域;

利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

利用所述第二数量K、所述三维形状基矩阵所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。因此，本发明通信终端通过计算器可以消除相邻帧的影响，挑选独立性较好的12行（对应视频中的6帧）组合即条件数最小的子矩阵作为获得形状基约束条件的依据，从而消除获得的三维形变基具有二义性，以使得接收终端最后获得更加稳定的三维人脸重建。

进一步地，所述计算器31，还用于利用所述三维形变基B，预存的内参矩阵A，对所述F帧的检测有人脸区域的视频图像中的每一帧对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

所述通信终端还包括：提取器32，用于分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括所述三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

发送接口33，接收所述计算单元31传输的三维形变基B、形变基参数p、旋转矩阵R和平移矩阵T和所述提取单元32传输的第二背景图像和人脸纹理信息，用于将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

本发明通信终端由于背景图像和纹理信息的定时提取和传输，显著减少纹理图像和背景图像的传输次数，从而对带宽的占用明显降低，因此即使在网络受损较为严重的情况下，也可以保证较好的视频效果。

进一步地，图3a为本发明实施例通信终端的结构示意图。如图3a所示，该通信终端还包括有摄像头34、人脸位置的检测器35和编码器36，来辅助上述各个器件的工作，摄像头34输入视频图像，检测器35对输入的视频图像经过人脸位置检测，得到人脸面部特征点位置信息。计算器31对摄像头34输入的视频图像计算得到三维形变基和形变基参数。在此基础上纹理/背景提取器32根据检测器35检测到的人脸面部特征点位置信息提取到面部纹理图像和对应的背景图像。将提取到的这些信息通过编码器经36过编码后通过发送接口33传输到图像的接收端。

其中，所述计算器31具体用于：

按照抽取条件，将所述二维跟踪矩阵W中对应行抽取出，组合形成子矩阵a；

计算所述子矩阵a的条件数，所述条件数为所述子矩阵的极大特征值λmax(A)和极小特征值λmin(A)之比值；

选取所述条件数最小的所述子矩阵a，以使所述子矩阵a对应的视频图像作为获得所述形状基约束条件依据的视频图像；

获得所述子矩阵对应的视频图像的帧数为第二数量K=所述子矩阵的行数/2。

所述计算器31具体用于：

对所述二维跟踪矩阵W进行奇异值分解，获得姿态矩阵和三维形状基矩阵

其中所述二维跟踪矩阵W=所述投影矩阵M·所述三维形变基B，

和

根据所述子矩阵中包括的所述二维跟踪矩阵W中的对应行，获得对应行的行号；

根据所述行号，从所述姿态矩阵

中抽取对应所述行号的行，组合成第一中间矩阵

所述第一中间矩阵形成所述形状基约束条件中的第一系数矩阵；

根据所述行号，调整所述姿态矩阵的顺序，组合形成第二中间矩阵

所述第二中间矩阵形成所述形状基约束条件中的第二系数矩阵；

根据所述第一系数矩阵和所述第二系数矩阵，形成所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中，

表示所述第一中间矩阵

的奇数行，

表示对应

的所述

的偶数行；

表示所述第二中间矩阵的奇数列的转置；

表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k}。

进一步地，所述计算器具体用于：

利用所述正交旋转约束条件：

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i-1}^T-{\tilde{M}}_{2i}{Q}_k{\tilde{M}}_{2i}^T=0---\left(6\right)$

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i}^T=0---\left(7\right)$

其中表示所述姿态矩阵

的奇数行，表示所述姿态矩阵

的偶数行，Q_K为矫正矩阵，其中k=1、…、K；

和所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中,

表示所述第一中间矩阵

的奇数行，

表示对应的所述第一中间矩阵

的偶数行；

表示所述第二中间矩阵的奇数列的转置；

表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k},

进行计算获得所述矫正矩阵Q_K；

将所述矫正矩阵Q_K进行奇异值分解计算，获得矫正转换矩阵G；

将所述矫正转换矩阵G与所述三维形状基矩阵

相乘，获得所述三维形变基B。

将二维跟踪矩阵W的分解为子矩阵a，选取条件数最小的子矩阵a具体可以参考上述发送端方法实施例中的描述。通过计算器计算可以获得形状基约束条件依据的第二数量K帧视频图像，由于K帧视频图像是独立性比较好的，采用正交旋转约束条件和形状基约束条件来计算获得三维形变基B，从而防止计算获得的三维形变基具有二义性。

所述通信终端还包括人脸位置检测器，用于对所述F帧的视频图像中的每一帧图像进行人脸特征点定位，获得所述每一帧图像对应的第一二维特征点点集s；

进一步地，所述计算器31具体用于：

利用以下公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p：

$s^{\′}=A\·\left[R\right|T]\·\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i{B}_i\right)---\left(14\right)$

其中s’为第二二维特征点点集，A为内参矩阵，Bi为第i个三维形变基，R为所述旋转矩阵，T为所述平移矩阵和p_i为第i个三维形变基对应的形变基参数，i=k，k=1，2，…K。

进一步地，所述计算器31具体用于：

对所述R、所述T和所述p_i进行第一赋值，根据所述公式计算获得第二二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第一赋值设置为该帧视频图像的所述R、所述T和所述p；否则，

利用所述公式对所述R、T和p求偏导，获得所述R、T和p的第二赋值；

利用所述R、T和p的第二赋值和所述公式计算获得第二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于阈值，则第二赋值设置为该帧视频图像的所述R、所述T和所述p_i。

因此，所述计算器利用公式通过麦夸特二乘法(Levenberg-Marquardt)优化求解上述未知量R、T、p。

进一步地，所述提取器32具体用于：

定时将第一背景图像与历史背景图像的像素进行计算，获得差值图像；

当所述差值图像的面积大于阈值时，将所述第一背景图像设置为第二背景图像。

进一步地，所述提取器32具体用于：

计算当前帧视频图像中的人脸区域的中心点坐标；

根据所述中心点坐标和所述人脸区域的宽度与高度对所述人脸区域进行处理，获得头肩图像；

利用图像分割算法获得包括所述头肩图像的前景图像；

从当前帧视频图像中剪掉所述前景图像，获得所述第一背景图像；

进一步地，所述提取器具体用于：

定时从当前帧视频图像中得到确定人脸姿态的所述三角形位置，并根据人脸特征点定位的第一二维特征点点集s从所述当前帧视频图像中裁剪面部纹理图片，将所述人脸姿态的三角形位置与所述面部纹理图片建立映射；

连接所述第一二维特征点点集中的特征点形成人脸三角形区域，并将所述面部纹理图片裁剪获得对应所述人脸三角形区域的第二三角形面片纹理图片，所述人脸三角形区域的顶点信息与所述第二三角形面片纹理图片建立映射；所述人脸纹理信息包括所述三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

本发明实施例提供的通信终端用作发送端，以用于发送三维人脸重建用的参数来进行三维人脸的重建。本发明实施例通信终端的功能对应上述方法实施例中的对应步骤。

进一步地，为了减少运算复杂度，计算单元对3K×n的三维形状基矩阵

进行处理，提取

矩阵的前3m’行，形成3m’×n的三维形状基矩阵

即将K取值为m’，3m’×n的三维形状基矩阵

作为后续计算的输入，m’作为后续计算涉及的K的取值，优选地，在本例中m’取值为5，这样可以减少计算的复杂度。K取值m’可以是该发送端的客户端中预先存储的，当客户端中存储有K取值m’时，发送端在上述计算过程中涉及的K，都取值m’来进行计算，该接收端客户端和发送端客户端是对应的，即接收端客户端也存储有该K的取值m’，例如5。客户端中也可以直接存储K的实际数值6，所有计算以K的实际值6来进行计算，该接收端客户端和发送端客户端是对应的，存储K的实际值6。

本发明实施例计算器采用正交旋转约束条件和形状基约束条件来计算获得三维形变基，且选取独立性好的K帧视频图像作为获得形状基约束条件的依据，从而防止计算获得的三维形变基具有二异性，使得在接收端根据这些参数获得更加稳定的三维人脸重建。

通信终端可具体是基于处理器的计算机，如通用个人计算机（PC），便携式设备如平板计算机，或智能手机。图4为本发明实施例通信终端的结构示意图。在该通信终端中的结构示意图中，该通信终端包括：

接收接口41，用于接收内参矩阵A、三维形变基B和每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T，人脸纹理信息和第二背景图像;

形状合成器42，从接收接口41接收三维形变基B和当前帧视频图像的形变基参数p，用于根据接收到的三维形变基B和当前帧视频图像的形变基参数p，计算获得三维形状S,所述三维形变基B是利用二维跟踪矩阵W、第二数量K帧视频图像、形状基约束条件和正交旋转约束条件进行计算获得的；

根据接收到的内参矩阵A、当前帧视频图像的旋转矩阵R和平移矩阵T，和所述三维形状S,计算第二二维特征点点集s’。

纹理合成器43，从所述形状合成器42接收第二二维特征点点集s’，用于根据所述人脸纹理信息和所述第二二维特征点点集s’，进行处理获得前景图像，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和和第二三角形面片纹理图片；

融合器44，从所述接收接口41接收所述第二背景图像，以及从所述纹理合成器43接收所述前景图像，用于将第二背景图像与所述前景图像进行融合，以获得重建的三维人脸。

进一步地，图4a为本发明实施例通信终端的结构示意图。如图4a所示，在实际应用中，该通信终端还包括解码器45和输出显示设备46，来辅助上述各个器件的工作，接收接口41接收到的信息，经过解码器45解码通过形状合成器42得到对应的二维结构信息，然后经过纹理合成器43，生成对应的面部纹理图像即第一前景图像，结合接收接口41传输且经过解码器45解码的背景图像，经过前景/背景融合器44得到最终的结果图像，然后再通过显示设备46进行图像显示。

其中，所述形状合成器具体用于：

利用公式计算获得三维形状S：

$S=B_0+\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i\·B_i(B_0,B_i\∈R^{3\×n},p_i\∈R)---\left(3^{\′}\right)$

其中，B₀为平均形状，即三维特征点的平均值，B_i为第i个三维形变基，p_i为所述第i个形变基对应的所述形变基参数，三维形状S是使用K个所述三维形变基来计算的，K表示在计算中使用的三维形变基数量，n为每一帧图像对应的人脸的二维特征点个数，例如n取68表示面部检测68个二维特征点，在此，K和n为预先设定的数值或者所述接收接口接收到的数值。

应当注意的是，K的取值和n的取值是接收端的客户端中预先存储有的，该接收端客户端和发送端客户端是对应的（例如版本相同），从而接收端接收到上述信息进行人脸重建时从客户端中取K=6即使用6个三维形变基，或者K=m’=5即使用5个三维形变基，和n=68。当然，K和n还可以在发送端发送上述任何一个信息之时，被携带在任一个信息中被发送，例如在发送内参矩阵时可以同时将K和n数值发送给接收端。

所述形状合成器具体用于：

利用公式计算获得第二二维特征点点集s’：

s′＝A·[R|T]·S    (14)

其中，A为所述内参矩阵，R为所述旋转矩阵，T为所述平移矩阵，S为所述三维形状。

所述纹理合成器具体用于：

根据所述人脸三角形区域的顶点信息查找对应的所述第二三角形面片纹理图片第二三角形面片纹理图片；

将所述第二三角形面片纹理图片与当前视频图像的所述第二二维特征点点集s’连接形成的三角形顶点对应的第一三角形面片纹理图片进行仿射变化，获得当前帧视频图像对应的三角形面片图像；

根据所述三角形位置计算人脸姿态，对头肩图像进行矫正，并将所述三角形面片图像和头肩图像进行拼接获得前景图片。

本发明实施例提供的通信终端用作接收终端，以用于接收发送终端发送的三维人脸重建用的参数来进行三维人脸的重建。

本发明实施例通信终端接收采用正交旋转约束条件和形状基约束条件来计算获得的三维形变基，由于这个三维形变基是选取独立性好的K帧视频图像作为获得形状基约束条件的依据，从而防止计算获得的三维形变基具有二义性，使得在接收端通信终端根据这些信息获得更加稳定的三维人脸重建。并且通信终端定时接收第二背景图像和人脸纹理信息，从而使得传输次数减少，降低了对带宽的占用。由此，实现了即使在网络受损较为严重的情况下，也可以保证较好的视频效果。

通信终端可具体是基于处理器的计算机，如通用个人计算机（PC），便携式设备如平板计算机，或智能手机。在实际应用中，作为发送端的通信终端和作为接收端的通信终端可以为一体构成。即，通信终端即具有发送端通信终端的单元，又具有接收端通信终端的单元。这是由于在实际情况中，通信终端也是作为发送端和接收端存在的。因此，可以理解，通信终端具有上述实施例描述的所有单元。上述通信终端的所有功能单元对应上述方法实施例的各个步骤。作为发送端的通信终端和作为接收端的通信终端之间上述信息的传输是通过现有的网络例如以太网、无线网络等来实现的。

图5为本发明实施例三维人脸重建系统的结构示意图。该三维人脸重建系统包括第一通信终端51和第二通信终端52，通过传输网络例如无线网络进行视频图像的传输，以在接收对端完成三维人脸重建。第一通信终端51可以为图3、图3a所示的作为发送端的通信终端，第二通信终端52可以为图4、图4a所示的作为接收端的通信终端；或者第一通信终端51可以为图4、图4a所示的作为接收终端的通信终端，第二通信终端52可以为图3、图3a所示的作为发送端的通信终端。第一通信终端51和第二通信终端52的具体结构图可以参见图3、图3a、图4和图4a的结构以及描述。图5中示例了图3a结构的第一通信终端和图4a的第二通信终端，在此并非限制，仅为示例。

发送端从通信终端的摄像头中读取需要传输的视频图像，经过人脸位置检测器，得到人脸面部特征点位置信息。通过本发明提供的方法，计算器计算得到三维形变基和形变参数。在此基础上纹理/背景提取器提取到面部纹理图像和对应的背景图像。提取到的这些信息通过编码器传输到图像的接收端。

接收端接收到上述信息后，通过形状合成器得到对应的二维结构信息，然后经过纹理合成器，生成对应的面部纹理图像即第一前景图像，结合传输的背景图像经过前景/背景融合器得到最终的结果图像，然后再通过显示设备进行图像显示。

在本发明系统中由于发送端通信终端采用正交旋转约束条件和形状基约束条件来计算获得三维形变基，且选取独立性好的K帧视频图像作为获得形状基约束条件的依据，从而防止计算获得的三维形变基具有二义性，使得在接收端通信终端根据这些信息获得更加稳定的三维人脸重建。并且由于发送端通信终端定时提取第二背景图像和人脸纹理信息，与接收端通信终端之间定时传输，从而使得传输次数减少，降低了对带宽的占用。由此，实现了即使在网络受损较为严重的情况下，也可以保证较好的视频效果。

图6为本发明实施例通信终端的示意图，如图所示，本实施例包括网络接口61、处理器62和存储器63。系统总线64用于连接网络接口61、处理器62和存储器63。

网络接口61用于与传输网络和通信终端通信。网络接口61包括有线网络接口和无线网络接口。

存储器63可以是永久存储器，例如硬盘驱动器和闪存，存储器63中具有软件模块和设备驱动程序。软件组件能够执行本发明上述方法的各种功能模块；设备驱动程序可以是网络和接口驱动程序。

在启动时，这些软件组件被加载到存储器63中，然后被处理器62访问并执行如下指令：

利用二维跟踪矩阵W进行计算，获得条件数最小的子矩阵，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)的比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的，所述第一数量F帧视频图像中均具有人脸区域;利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

利用所述第二数量K、所述三维形状基矩阵所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。

本发明实施例选取独立性好的K帧视频图像作为获得形状基约束条件的基础，增加形状基约束条件来计算获得三维形变基，从而防止计算获得的三维形变基具有二义性，使得接收端可以获得更加稳定的三维人脸重建。

进一步地，这些软件组件被加载到存储器63中，然后被处理器62访问并执行如下指令：

利用所述三维形变基B、预存的内参矩阵A，和所述F帧视频图像中的每一帧视频图像对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和第二三角形面片纹理图片；

将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

本发明实施例由于背景图像和纹理信息的定时提取和传输，显著减少纹理图像和背景图像的传输次数，从而对带宽的占用明显降低，因此即使在网络受损较为严重的情况下，也可以保证较好的视频效果。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述将二维跟踪矩阵W进行计算获得条件数最小的子矩阵的指令具体执行以下指令：

按照抽取条件，将所述二维跟踪矩阵W中对应行抽取出，组合形成子矩阵a；

计算所述子矩阵a的条件数，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)之比值；

选取所述条件数最小的所述子矩阵，以使所述子矩阵对应的视频图像作为获得所述形状基约束条件依据的视频图像；

获得所述子矩阵对应的视频图像的帧数为第二数量K=所述子矩阵的行数/2。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

过程的指令具体执行以下指令：

对所述二维跟踪矩阵W进行奇异值分解计算，获得姿态矩阵

和三维形状基矩阵

根据所述子矩阵中包括的所述二维跟踪矩阵W中的对应行，获得对应行的行号；

根据所述行号，从所述姿态矩阵

中抽取对应所述行号的行，组合成第一中间矩阵

所述第一中间矩阵形成所述形状基约束条件中的第一系数矩阵；

根据所述行号，调整所述姿态矩阵

的顺序，组合形成第二中间矩阵

所述第二中间矩阵形成所述形状基约束条件中的第二系数矩阵；

根据所述第一系数矩阵和所述第二系数矩阵，形成所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中，表示所述第一中间矩阵的奇数行，

表示对应

的所述

的偶数行；

表示所述第二中间矩阵的奇数列的转置；

表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k}。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述利用所述第二数量K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B的指令具体执行以下指令：

利用所述正交旋转约束条件：

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i-1}^T-{\tilde{M}}_{2i}{Q}_k{\tilde{M}}_{2i}^T=0---\left(6\right)$

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i}^T=0---\left(7\right)$

其中

表示所述姿态矩阵

的奇数行，

表示所述姿态矩阵的偶数行，Q_K为矫正矩阵，其中k=1、…、K；

和所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中,

表示所述第一中间矩阵

的奇数行，

表示对应

的所述第一中间矩阵

的偶数行；

表示所述第二中间矩阵的奇数列的转置；表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k},

进行计算获得所述矫正矩阵Q_K；

将所述矫正矩阵Q_K进行奇异值分解计算，获得矫正转换矩阵G；

将所述矫正转换矩阵G与所述三维形状基矩阵相乘，获得所述三维形变基B。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述利用所述三维形变基B、内参矩阵A，和所述F帧视频图像中的每一帧对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T过程的指令具体有以下指令：

对所述F帧视频图像中的每一帧图像进行人脸特征点定位，获得所述每一帧图像对应的第一二维特征点点集s；

利用以下公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p：

$s^{\′}=A\·\left[R\right|T]\·\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i{B}_i\right)---\left(14\right)$

其中s’为第二二维特征点点集，A为内参矩阵，B_i为第i个三维形变基，R为所述旋转矩阵，T为所述平移矩阵和p_i为第i个三维形变基对应的形变基参数。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述利用所述公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p过程的指令具体执行以下指令：

对所述R、所述T和所述p进行第一赋值，根据所述公式计算获得第二二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第一赋值设置为该帧视频图像的所述R、所述T和所述p；否则，

利用所述公式对所述R、T和p求偏导，获得所述R、T和p的第二赋值；

利用所述R、T和p的第二赋值和所述公式计算获得第二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第二赋值设置为该帧视频图像的所述R、所述T和所述p。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述定时提取第二背景图像过程的指令具体执行以下指令：

定时将第一背景图像与历史背景图像的像素进行计算，获得差值图像；

当所述差值图像的面积大于阈值时，将所述第一背景图像设置为第二背景图像以被提取。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行获得所述第一背景图像过程的指令具体执行以下指令：

计算当前帧视频图像中的人脸区域的中心点坐标；

根据所述中心点坐标和所述人脸区域的宽度与高度对所述人脸区域进行处理，获得头肩图像；

利用图像分割算法获得包括所述头肩图像的前景图像；

从当前帧视频图像中剪掉所述前景图像，获得所述第一背景图像。

进一步地，这些软件组件被加载到存储器63中，被处理器62访问并执行所述提取人脸纹理信息过程的指令具体执行以下指令：

定时从当前帧视频图像中得到确定人脸姿态的所述三角形位置，并根据人脸特征点定位的第一二维特征点点集s从所述当前帧视频图像中裁剪面部纹理图片，将所述人脸姿态的所述三角形位置与所述面部纹理图片建立映射；

连接所述第一二维特征点点集中的特征点形成人脸三角形区域，并将所述面部纹理图片裁剪获得对应所述人脸三角形区域的第二三角形面片纹理图片，所述人脸三角形区域的顶点信息与所述第二三角形面片纹理图片建立映射；所述人脸纹理信息包括所述三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

进一步地，为了减少运算复杂度，处理器执行指令还包括：对3K×n的三维形状基矩阵

进行处理，提取

矩阵的前3m’行，形成3m’×n的三维形状基矩阵

即将K取值为m’，3m’×n的三维形状基矩阵作为后续计算的输入，m’作为后续计算涉及的K的取值，优选地，在本例中m’取值为5，这样可以减少计算的复杂度。K取值m’可以是该发送端的存储器中预先存储的，当存储器中存储有K取值m’时，发送端在上述计算过程中涉及的K，都取值m’来进行计算，该接收端和发送端的软件组件是对应的例如版本相同，即接收端存储器也存储有该K的取值m’，例如5。存储器中也可以直接存储K的实际数值6，所有计算以K的实际值6来进行计算，该接收端存储器和发送端存储器是对应的，存储K的实际值6。

本发明实施例计算器采用正交旋转约束条件和形状基约束条件来计算获得三维形变基，且选取独立性好的K帧视频图像作为获得形状基约束条件的依据，从而防止计算获得的三维形变基具有二异性，使得在接收端根据这些参数获得更加稳定的三维人脸重建。

图7为本发明实施例通信终端的示意图，如图所示，本实施例包括网络接口71、处理器72和存储器73。系统总线74用于连接网络接口71、处理器72和存储器73。

网络接口71用于与传输网络和通信终端通信。网络接口61包括有线网络接口和无线网络接口。

存储器73可以是永久存储器，例如硬盘驱动器和闪存，存储器73中具有软件模块和设备驱动程序。软件组件能够执行本发明上述方法的各种功能模块；设备驱动程序可以是网络和接口驱动程序。

在启动时，这些软件组件被加载到存储器73中，然后被处理器72访问并执行如下指令：

根据从发送端接收到的三维形变基B和当前帧视频图像的形变基参数p，计算获得三维形状S，所述三维形变基B是利用二维跟踪矩阵W、第二数量K帧视频图像、形状基约束条件和正交旋转约束条件进行计算获得的；

根据接收到的内参矩阵A、当前帧视频图像的旋转矩阵R和平移矩阵T，和所述三维形状S,计算第二二维特征点点集s；

根据所述人脸纹理信息和所述第二二维特征点点集s’，进行处理获得前景图像，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和第二三角形面片纹理图片；

将从发送端接收到的第二背景图像与所述前景图像进行融合，以获得重建的三维人脸。

进一步地，这些软件组件被加载到存储器73中，被处理器72访问并执行所述根据接收到的三维形变基B和当前帧视频图像的形变基参数p，计算获得三维形状S过程的指令具体执行以下指令：

利用以下公式计算获得三维形状S：

$S=B_0+\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i\·B_i(B_0,B_i\∈R^{3\×n},p_i\∈R)---\left(3^{\′}\right)$

其中，B₀为平均形状，B_i为第i个三维形变基，p_i为所述第i个三维形变基对应的所述形变基参数。三维形状S是使用K个所述三维形变基来计算的，K表示在计算中使用的三维形变基数量，n表示每一帧图像对应的人脸的二维特征点个数，例如n取68表示面部检测68个二维特征点，在此，K和n为预先设定的数值或者所述接收接口接收到的数值。

应当注意的是，K的取值和n的取值是存储器中预先存储有的，存储器上存储的软件组件是对应的（例如版本相同），从而接收到上述信息进行人脸重建时从存储器中取K=6即使用6个三维形变基，或者K=m’=5即使用5个三维形变基，和n=68。当然，K和n还可以在发送端发送上述任何一个信息之时，被携带在任一个信息中被发送，例如在发送内参矩阵时可以同时将K和n数值发送给通信终端后存储于存储器上的。

进一步地，这些软件组件被加载到存储器73中，被处理器72访问并执行所述根据接收到的内参矩阵A、当前帧视频图像的旋转矩阵R和平移矩阵T，和所述三维形状S,计算第二二维特征点点集s’过程的指令具体执行以下指令：

利用以下公式计算获得第二二维特征点点集s’：

s′＝A·[R|T]·S    (14)

其中，A为所述内参矩阵，R为所述旋转矩阵，T为所述平移矩阵，S为所述三维形状。

进一步地，这些软件组件被加载到存储器73中，被处理器72访问并执行所述根据所述人脸纹理信息和所述第二二维特征点点集s’，进行处理获得前景图像过程的指令具体执行以下指令：

根据所述人脸三角形区域的顶点信息查找对应的所述第二三角形面片纹理图片；

将所述第二三角形面片纹理图片与当前帧视频图像的所述第二二维特征点点集s’连接形成的三角形顶点对应的第一三角形面片纹理图片进行仿射变化，获得当前帧视频图像对应的三角形面片图像；

根据所述三角形位置计算人脸姿态，对头肩图像进行矫正，并将所述三角形面片图像和头肩图像进行拼接获得所述前景图像。

本发明实施例通信终端接收采用正交旋转约束条件和形状基约束条件来计算获得的三维形变基，由于这个三维形变基是选取独立性好的K帧视频图像作为获得形状基约束条件的依据，从而防止计算获得的三维形变基具有二义性，使得在接收端通信终端根据这些信息获得更加稳定的三维人脸重建。并且通信终端定时接收第二背景图像和人脸纹理信息，从而使得传输次数减少，降低了对带宽的占用。由此，实现了即使在网络受损较为严重的情况下，也可以保证较好的视频效果。

在具体实现过程中，作为发送端和接收端的通信终端可采用通用计算机系统结构，执行本发明方案的程序代码保存在存储器中，并由处理器来控制执行。

通信终端可具体是基于处理器的计算机，如通用个人计算机（PC），便携式设备如平板计算机，或智能手机。计算机系统包括总线，处理器，存储器，通信接口，输入设备和输出设备。总线可包括一通路，在计算机各个部件之间传送信息。处理器可以是一个通用中央处理器（CPU），微处理器，特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本发明方案程序执行的集成电路。计算机系统还包括一个或多个存储器，可以是只读存储器（read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（randomaccess memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是磁盘存储器。这些存储器通过总线与处理器相连接。

输入设备可包括一种装置，以接收用户输入的数据和信息，例如键盘，鼠标、摄像头，扫描仪，光笔，语音输入装置，触摸屏等。在本发明中，摄像头作为人脸视频的输入。输出设备可包括一种装置，以允许输出信息给用户，包括显示屏，打印机，扬声器等。在本发明中，显示屏将重建的三维人脸进行显示。计算机系统还包括一个通信接口，使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网（RAN），无线局域网(WLAN)等。通过这个接口，以便两个通信终端之间进行网络传输。

存储器，如RAM，保存有操作系统和执行本发明方案的程序。操作系统是用于控制其他程序运行，管理系统资源的程序。执行本发明方案的程序代码保存在存储器中，并由处理器来控制执行。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种获取三维形变基的方法，其特征在于，所述方法包括：

利用二维跟踪矩阵W进行计算，获得条件数最小的子矩阵，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)的比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的，所述第一数量F帧视频图像中均具有人脸区域;

利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

利用所述第二数量K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用所述三维形变基B、预存的内参矩阵A，和所述F帧视频图像中的每一帧视频图像对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和第二三角形面片纹理图片；

将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

3.根据权利要求1或2所述的的方法，其特征在于，所述利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

包括：

对所述二维跟踪矩阵W进行奇异值分解计算，获得姿态矩阵和三维形状基矩阵

根据所述子矩阵中包括的所述二维跟踪矩阵W中的对应行，获得对应行的行号；

根据所述行号，从所述姿态矩阵

中抽取对应所述行号的行，组合成第一中间矩阵

所述第一中间矩阵形成所述形状基约束条件中的第一系数矩阵；

根据所述行号，调整所述姿态矩阵

的顺序，组合形成第二中间矩阵所述第二中间矩阵形成所述形状基约束条件中的第二系数矩阵；

根据所述第一系数矩阵和所述第二系数矩阵，形成所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中，

表示所述第一中间矩阵的奇数行，

表示对应

的所述的偶数行；

表示所述第二中间矩阵的奇数列的转置；

表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k}。

4.根据权利要求1至3任一所述的方法，其特征在于，所述利用所述第二数量K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B包括：

利用所述正交旋转约束条件：

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i-1}^T-{\tilde{M}}_{2i}{Q}_k{\tilde{M}}_{2i}^T=0---\left(6\right)$

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i}^T=0---\left(7\right)$

其中表示所述姿态矩阵的奇数行，

表示所述姿态矩阵

的偶数行，Q_K为矫正矩阵，其中k=1、…、K；

和所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中,

表示所述第一中间矩阵

的奇数行，

表示对应

的所述第一中间矩阵的偶数行；

表示所述第二中间矩阵的奇数列的转置；

表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k},

进行计算获得所述矫正矩阵QK；

将所述矫正矩阵Q_K进行奇异值分解计算，获得矫正转换矩阵G；

将所述矫正转换矩阵G与所述三维形状基矩阵

相乘，获得所述三维形变基B。

5.根据权利要求2所述的的方法，其特征在于，所述利用所述三维形变基B、预存的内参矩阵A，和所述F帧视频图像中的每一帧对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T，包括：

对所述F帧视频图像中的每一帧图像进行人脸特征点定位，获得所述每一帧图像对应的第一二维特征点点集s；

利用以下公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p：

$s^{\′}=A\·\left[R\right|T]\·\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i{B}_i\right)---\left(14\right)$

其中s’为第二二维特征点点集，A为所述内参矩阵，B_i为第i个三维形变基，R为所述旋转矩阵，T为所述平移矩阵和p_i为第i个三维形变基对应的形变基参数。

6.根据权利要求5所述的的方法，其特征在于，所述利用所述公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p，包括：

对所述R、所述T和所述p进行第一赋值，根据所述公式计算获得第二二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第一赋值设置为该帧视频图像的所述R、所述T和所述p；否则，

利用所述公式对所述R、T和p求偏导，获得所述R、T和p的第二赋值；

利用所述R、T和p的第二赋值和所述公式计算获得第二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第二赋值设置为该帧视频图像的所述R、所述T和所述p。

7.根据权利要求2所述的的方法，其特征在于，所述定时提取第二背景图像包括：

定时将第一背景图像与历史背景图像的像素进行计算，获得差值图像；

当所述差值图像的面积大于阈值时，将所述第一背景图像设置为第二背景图像以被提取。

8.根据权利要求7所述的的方法，其特征在于，所述第一背景图像是通过以下步骤获得的：

计算当前帧视频图像中的人脸区域的中心点坐标；

根据所述中心点坐标和所述人脸区域的宽度与高度对所述人脸区域进行处理，获得头肩图像；

利用图像分割算法获得包括所述头肩图像的前景图像；

从当前帧视频图像中剪掉所述前景图像，获得所述第一背景图像。

9.根据权利要求2所述的的方法，其特征在于，所述提取人脸纹理信息，包括：

定时从当前帧视频图像中得到确定人脸姿态的所述三角形位置，并根据人脸特征点定位的第一二维特征点点集s从所述当前帧视频图像中裁剪面部纹理图片，将所述人脸姿态的所述三角形位置与所述面部纹理图片建立映射；

连接所述第一二维特征点点集中的特征点形成人脸三角形区域，并将所述面部纹理图片裁剪获得对应所述人脸三角形区域的第二三角形面片纹理图片，所述人脸三角形区域的顶点信息与所述第二三角形面片纹理图片建立映射；所述人脸纹理信息包括所述三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

10.一种通信终端，其特征在于，包括：

计算器，用于利用二维跟踪矩阵W进行计算，获得条件数最小的子矩阵，所述条件数为所述子矩阵的极大特征值λmax(a)和极小特征值λmin(a)的比值；所述子矩阵对应的视频图像的帧数为第二数量K；所述子矩阵中包括所述二维跟踪矩阵W中的对应行；所述二维跟踪矩阵W是对第一数量F帧视频图像计算获得的，所述第一数量F帧视频图像中均具有人脸区域;

利用所述二维跟踪矩阵W和所述子矩阵中包括的所述二维跟踪矩阵W中的对应行进行计算，获得形状基约束条件和三维形状基矩阵

利用所述第二数量K、所述三维形状基矩阵

所述形状基约束条件和正交旋转约束条件进行计算，获得三维形变基B。

11.根据权利要求10所述的通信终端，其特征在于，

所述计算器，还用于利用所述三维形变基B、预存的内参矩阵A，对所述F帧视频图像中的每一帧对应的第一二维特征点点集s进行计算，获得每一帧视频图像的形变基参数p、旋转矩阵R和平移矩阵T；

所述通信终端还包括：提取器，分别定时提取第二背景图像和人脸纹理信息，所述人脸纹理信息包括三角形位置、人脸三角形区域的顶点信息和第二三角形面片纹理图片；

发送接口，用于将所述三维形变基B、所述内参矩阵A、所述形变基参数p、所述旋转矩阵R、所述平移矩阵T、所述第二背景图像和所述人脸纹理信息发送给终端设备，以用于终端设备接收并进行三维人脸重建，其中所述三维形变基B、第二背景图像和人脸纹理信息按照设定的时间间隔发送。

12.根据权利要求10或11所述的通信终端，其特征在于，所述计算器具体用于：

对所述二维跟踪矩阵W进行奇异值分解计算，获得姿态矩阵

和三维形状基矩阵

根据所述子矩阵中包括的所述二维跟踪矩阵W中的对应行，获得对应行的行号；

根据所述行号，从所述姿态矩阵

中抽取对应所述行号的行，组合成第一中间矩阵

所述第一中间矩阵形成所述形状基约束条件中的第一系数矩阵；

根据所述行号，调整所述姿态矩阵

的顺序，组合形成第二中间矩阵

所述第二中间矩阵形成所述形状基约束条件中的第二系数矩阵；

根据所述第一系数矩阵和所述第二系数矩阵，形成所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中，

表示所述第一中间矩阵

的奇数行，

表示对应

的所述

的偶数行；表示所述第二中间矩阵的奇数列的转置；

表示所述第二中间矩阵的偶数列的转置；Q_K为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k}。

13.根据权利要求12所述的通信终端，其特征在于，所述计算器具体用于：

利用所述正交旋转约束条件：

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i-1}^T-{\tilde{M}}_{2i}{Q}_k{\tilde{M}}_{2i}^T=0---\left(6\right)$

${\tilde{M}}_{2i-1}{Q}_k{\tilde{M}}_{2i}^T=0---\left(7\right)$

其中

表示所述姿态矩阵

的奇数行，

表示所述姿态矩阵的偶数行，QK为矫正矩阵，其中k=1、…、K；

和所述形状基约束条件：

(i，j)∈ω₁或i＝j＝k(12)

(i，j)∈ω₁或i＝j＝k(13)

其中,表示所述第一中间矩阵

的奇数行，表示对应

的所述第一中间矩阵

的偶数行；

表示所述第二中间矩阵的奇数列的转置；表示所述第二中间矩阵的偶数列的转置；QK为矫正矩阵，其中k=1、…、K；ω₁＝{(i，j)|i＝1，…K，j＝1，…F且i≠k},

进行计算获得所述矫正矩阵QK；

将所述矫正矩阵QK进行奇异值分解计算，获得矫正转换矩阵G；

将所述矫正转换矩阵G与所述三维形状基矩阵

相乘，获得所述三维形变基B。

14.根据权利要求11所述的通信终端，其特征在于，还包括：

检测器，用于对所述F帧视频图像中的每一帧图像进行人脸特征点定位，获得所述每一帧图像对应的第一二维特征点点集s；

所述计算器具体用于：利用以下公式进行计算获得所述旋转矩阵R、所述平移矩阵T和所述形变基参数p：

$s^{\′}=A\·\left[R\right|T]\·\left(\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{p}_i{B}_i\right)---\left(14\right)$

其中s’为第二二维特征点点集，A为所述内参矩阵，B_i为第i个三维形变基，R为所述旋转矩阵，T为所述平移矩阵和p_i为第i个三维形变基对应的所述形变基参数。

15.根据权利要求14所述的通信终端，其特征在于，所述计算器具体用于：

对所述R、所述T和所述p进行第一赋值，根据所述公式计算获得第二二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第一赋值设置为该帧视频图像的所述R、所述T和所述p；否则，

利用所述公式对所述R、T和p求偏导，获得所述R、T和p的第二赋值；

利用所述R、T和p的第二赋值和所述公式计算获得第二维特征点点集s’；

计算所述s’和所述s的均方差，并判断所述均方差是否小于阈值，如果小于，则第二赋值设置为该帧视频图像的所述R、所述T和所述p。

16.根据权利要求11所述的通信终端，其特征在于，所述提取器具体用于：

定时将第一背景图像与历史背景图像的像素进行计算，获得差值图像；

当所述差值图像的面积大于阈值时，将所述第一背景图像设置为第二背景图像以被提取。

17.根据权利要求16所述的通信终端，其特征在于，所述提取器具体用于：

计算当前帧视频图像中的人脸区域的中心点坐标；

根据所述中心点坐标和所述人脸区域的宽度与高度对所述人脸区域进行处理，获得头肩图像；

利用图像分割算法获得包括所述头肩图像的前景图像；

从当前帧视频图像中剪掉所述前景图像，获得所述第一背景图像。

18.根据权利要求11所述的通信终端，其特征在于，所述提取器具体用于：

定时从当前帧视频图像中得到确定人脸姿态的所述三角形位置，并根据人脸特征点定位的第一二维特征点点集s从所述当前帧视频图像中裁剪面部纹理图片，将所述人脸姿态的所述三角形位置与所述面部纹理图片建立映射；

连接所述第一二维特征点点集中的特征点形成人脸三角形区域，并将所述面部纹理图片裁剪获得对应所述人脸三角形区域的第二三角形面片纹理图片，所述人脸三角形区域的顶点信息与所述第二三角形面片纹理图片建立映射；所述人脸纹理信息包括所述三角形位置、所述人脸三角形区域的顶点信息和所述第二三角形面片纹理图片。

Images