CN104917532A - 人脸模型压缩方法 - Google Patents

Abstract

一种人脸模型数据压缩方法，属于人脸模型数据压缩技术领域，其特征在于，首先根据人脸图像训练库，建立多人人脸模型和专人人脸模型，利用人脸模型进行视频中人脸的定位和参数化表征，得到人脸模型参数向量，并对专人人脸模型数据中平均外观向量和外观向量变化模式矩阵参数进行线性子空间的变换，得到投影参数矩阵，根据投影参数矩阵重建专人人脸模型参数，计算重建参数与原始模型之间的残差，并进行量化和编码压缩得到压缩后专人人脸模型。根据主成分分析的方法，通过人脸数据库分析提取通用人脸外观特征，降低专人人脸模型外观参数的空间维度，既节省存储空间又可降低传输的数据量。

Description

人脸模型压缩方法

技术领域

本发明提供了一种人脸模型数据压缩方法，属于多媒体通信和数据压缩交叉领域，特别设计一种针对人脸模型的数据压缩算法，对模型数据中外观参数进行线性子空间的变换，主要用于降低人脸模型数据量，既节省存储空间的又可以降低通信时传输模型的数据量。

背景技术

随着人工智能、虚拟现实等技术的发展，计算机视觉领域成为一个研究十分活跃的领域。由于人脸包含丰富视觉信息，获取方便，研究人员针对人脸信息做了大量研究，人脸建模已经成为计算机视觉领域中的一个研究热点，在人脸识别等技术中人脸建模成为一项关键技术。

根据人脸模型的空间维度不同，可以分为二维模型和三维模型。二维人模型通常包含形状信息和外观信息，三维人脸模型有基于点、基于面的模型，无论是二维还是三维人脸模型，都面临着数据量庞大的问题。通过统计分析方法训练得到的人脸模型可以表征人脸的变化模式，变化的模式越多意味着模型包含的先验知识越丰富，模型可以更准确地匹配一幅新的包含目标物体的图像，这也导致了模型数据维度提高，占用更大的存储空间。

另一方面，对于人脸视频通话，视频会议等场景，有研究人员针对人脸视频的特征，提出了一系列基于模型的视频编码方法，这些方法通过对人脸建模，实现对视频中人脸的参数化表征，使得在传输视频时只需要传输模型的一些参数就可以在接收端利用人脸模型重建出目标图像。这种方法的前提是在发射端 和接收端建立统一的人脸模型，通常的做法是发射端将训练的人脸模型在视频通话前传输到接收端。需要传输的人脸模型包含大量信息，浪费了网络带宽资源。

基于以上考虑，需要一种针对模型进行压缩的算法，模型压缩不仅可以避免存储空间的浪费，而且利于降低传输数据量、提高通信效率。

与陶晓明、李扬的专利《人脸视频压缩方法》不同，本发明考虑对人脸模型参数本身进行压缩，而前述专利针对模型参数在视频传输过程中时域变化缓慢的问题，进行参数压缩。

发明内容

本发明要解决的技术问题是：如何提供一种人脸模型压缩方法，在保证人脸模型包含丰富信息量的同时，降低人脸模型数据量，避免存储空间浪费，最大限度提高模型压缩比例，节省模型传输的网络带宽。

本发明的特征在于，是一种在人脸模型建立时，通过人脸数据库分析提取通用人脸纹理特征，降低人脸模型纹理数据量的数据压缩方法，所述压缩方法是依次按以下步骤实现的：

步骤(1)，系统初始化，输入：

采集并输入D张分属于不同人的、分别在各种不同角度、表情、光照条件下拍摄的人脸图像，其中，D＝1,2,...，D为有限正整数；

步骤(2)，构建一个多人人脸图像训练数据库，包括：多人人脸训练图像集，存储供训练用的D幅人脸图像；所述多人人脸图像的训练参数，是人脸模型的参数集合，包括：

a₁，多人人脸形状向量S_i，简称S_i向量，i为所述D张人脸图像的序号，i＝{1,2,...,i,...,D}，D为有限正整数，

a₂，多人人脸平均形状向量简称向量，是所述S_i的平均向量，

a₃，多人人脸外观向量G_i，简称G_i向量，是以所述人脸平均形状向量s为目标，通过分片仿射拉伸Piecewise Affine Warping方法使所述S_i向量所定义的一个特征点与所述的同一特征点位置相吻合从而得到的D幅由所述多人人脸图像中序号为i的人脸图像S_i内人脸部分的像素值I所拉成的，i＝1,2,...,i,...D，

a₄，多人人脸平均外观向量简称向量，是对所述多人人脸训练参数集中所有的所述向量G_i平均后得到的，

a₅,多人人脸形状参数向量b_si，简称b_si向量至少包括轮廓、五官位置、大小、形状和动作在内的人脸特征f，第i列对应第i张人脸图像，每一行对应一个所述的人脸特征，f＝(1,2,...,F)，F为有限正整数，f为序号，F为总数，

a₆，姿态参数向量(v_i,θ_i)，表示所述多人人脸图像中所包含的人脸部分的位置和角度，是用普鲁克分析方法Procrustes Analysis对所述多人人脸形状向量S_i和所述的多人人脸平均形状向量用平移和旋转变换校正后得到平移量v_i和旋转角度θ_i，

a₇，人脸外观变化模式矩阵P_g，为一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体运动模式，

步骤(3)，按以下方法计算步骤(2)中所述的多人人脸模型参数：

步骤(3.1)，所述人脸形状向量S_i，是对第i张人脸图像的各特征点用Regularized Landmark Mean-Shift人脸定位算法得到的， S_i＝{(x_i1,y_i1),...,(x_if,y_if),...,(x_iF,y_iF)}，

步骤(3.2)，所述的人脸平均形状向量为：

$\stackrel{\‾}{s}=\{(\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_{i1}/D,\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_{i1}/D),...,(\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_{\mathrm{if}}/D,\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_{\mathrm{if}}/D),...,(\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_{\mathrm{iF}}/D,\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_{\mathrm{iF}}/D)\},$

步骤(3.2)，多人人脸形状参数向量b_si，其中：

P_s为从所有的所述多人人脸形状向量S_i，i＝{1,2,...,i,...,D}用主成分分析方法Principal Component Analysis得到的人脸形状变化模式矩阵，是一个列正交矩阵，每一列表示人脸的一种整体运动模式，是反映人脸姿态及形状变化的人脸特征的坐标的整体运动模式，

P_g为从所有的所述多人人脸外观向量G_i用主成分分析方法Principal Component Analysis得到的人脸外观变化模式矩阵，作为一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值变化的一种整体运动模式；

步骤(4)，按以下步骤建立专人人脸模型：

步骤(4.1)，任意采集仅由同一人在各种角度，表情，光照条件下拍摄的M张图像构建一个专人人脸图像训练数据库，其中包括：专人人脸训练图像集和专人人脸训练参数集，前者存储供训练用的所述M张人脸图像，后者存储与专人人脸训练图像相关的参数，所述参数是指专人人脸模型参数，包括：

a₁'，专人人脸形状向量S'_j，j为所述M张人脸图像的序号，j＝1,2,...,j,...,M，M为有限正整数，

a₂'，专人人脸平均形状向量所述人脸平均形状向量应当使用多人人脸平均形状向量作为基准形状，以保证所述专人人脸外观向量G_j'和所述多人人脸外观向量空间维数相同，

a₃'，专人人脸外观向量G_j'，是以所述多人人脸平均形状向量为目标，通过分片仿射拉伸Piecewise Affine Warping方法使所述专人人脸形状向量S_j所定义的特征点与多人人脸平均形状向量的同一特征点位置相吻合从而得到的一幅由所述专人人脸图像中人脸部分的像素值I_j所拉成的专人人脸外观向量G_j'，用 ${G_j}^{\′}=W(I_j;S_j,\stackrel{\‾}{s})$ 表示，

a₄'，专人人脸形状参数向量b_sj'，表示至少包括轮廓、五官的位置、大小、形状和动作在内的专人人脸特征，

a₅'，专人姿态参数向量(v_j',θ_j')，表示专人人脸部分在包含专人人脸的图像中的位置和角度，是用普鲁克分析方法Procrustes Analysis对所述专人人脸形状向量S_j'和多人人脸平均形状向量用平移和旋转变换校正后得到平移量v_j'和旋转角度θ_j'，

a₆'，P_g'，专人人脸外观模式矩阵；

步骤(4.2)，按以下方法计算步骤(4.1)中所述的专人人脸模型参数：

步骤(4.2.1)，所述专人人脸形状向量S_j'，是对序号为j的专人人脸图像用Regularized Landmark Mean-Shift人脸定位算法得到的S_j'＝{(x_j1,y_j1),...,(x_jf,y_jf),...,(x_jF,y_jF)}，其中：

f为专人的各张人脸图像j的特征点序号，

f＝{1,2,...,f,...,F}，F为特征点数目，与所述多人人脸模型形状向量S_i特征点数目相同。

步骤(4.2.2)，所述的专人人脸平均形状向量

${\stackrel{\‾}{s}}^{\′}=\stackrel{\‾}{s},$

步骤(4.2.3)，所述的专人人脸形状向量参数b_sj'，

${b_{\mathrm{sj}}}^{\′}={P_s}^{\′T}({S_j}^{\′}-\stackrel{\‾}{s}),$

其中，P_s'是对所述专人人脸形状向量S_j'，j＝{1,2,...,M}用主成分分析方法Principal Component Analysis得到的专人人脸形状变化模式矩阵，是一个列正交矩阵，每一列表示人脸的一种整体运动模式，是一个反映人脸姿态及外观变化的人脸特征的坐标的整体运动模式，

步骤(4.2.4)，专人人脸外观参数向量c_sj'：

${c_{\mathrm{sj}}}^{\′}={P_{\mathrm{gj}}}^{\′}({G_j}^{\′}-\stackrel{\‾}{g}),$

其中，P_g'是从所有的所述专人人脸外观向量g_j'用主成分分析方法Principal Component Analysis得到专人人脸外观变化模式矩阵，是一个列正交矩阵，每一列表示由专人人脸姿态、动作变化造成的人脸外观像素值的一种整体运动模式，

步骤(5)，计算根据所述的多人人脸外观变化模式矩阵P_g重建后的专人外观向量投影参数矩阵H_g和重建后的专人外观变化模式投影参数矩阵H_p，步骤如下：

步骤(5.1)，所述的多人人脸外观变化模式矩阵P_g的子空间A₁，是一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体变化模式，由D列列向量p_g1,p_g2,...,p_gD构成，

所述专人人脸外观变化模式矩阵P_g'的子空间A'₁，是一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体变化模式，由E列列向量p_g1',p_g2',...,p_gE'构成。

步骤(5.2)，按下式计算所述的专人外观向量投影参数矩阵H_g和所述的多 人外观变化模式投影参数矩阵H_p：

把所述专人人脸外观向量G'投影至所述子空间A₁内，得到： 

$H_g=P_g^T{G}^{\′T},$

把所述专人人脸外观变化模式矩阵P_g'投影至所述子空间A₁内，得到：

$H_p=P_g^T{P_g}^{\′},$

步骤(6)按下式定义重建后的专人人脸外观向量为G”，专人人脸外观变化模式矩阵为P_g”，

G”＝P_g'H_g ^T,

P_g”＝P_g'H_P ^T,

步骤(7)按下式计算专人人脸外观向量残差E_g和专人人脸外观变化模式矩阵残差E_P：

E_g＝G'/U_max'-G”/U_max”,

其中，符号|·|表示取绝对值：U_max'为|G'|的最大值，U_max”为|G”|的最大值，

E_Pj＝P_gi'/V_jmax'-P_gj”/V_jmax”

j是E_P中的第j列，j＝1,2,...,j,...,M；

步骤(8)把步骤(7)得到的E_g、E_P进行编码无损压缩，在发射端得到压缩后人脸模型。

附图说明：

图1本发明实施例整体发明流程图。

具体实施方式：

为了解决上述技术问题，本发明提供了一种人脸模型压缩方法，该方法包括步骤：

S1、根据多人人脸模型训练库建立多人人脸模型，计算得到模型参数

S2、保存多人人脸模型参数中平均形状向量平均人脸外观人脸外观变化模式矩阵P_g，作为通用人脸外观特征

S3、以多人人脸模型参数中人脸平均形状向量作为基准形状，根据专人人脸图像的训练数据库建立专人人脸模型，计算专人人脸模型参数

S4、提取专人人脸模型参数中人脸外观向量G'和人脸外观变化模式矩阵P_g'，保存其它人脸模型参数

S5、专人人脸模型参数外观参数向量G'和人脸外观变化模式矩阵P_g'，投影至多人人脸模型变化模式矩阵P_g构成的子空间内，得到投影参数矩阵H_g和H_p

S6、根据多人人脸模型参数G和P_g和投影参数矩阵H_g和H_p重建专人人脸模型外观参数向量G”和和人脸外观变化模式矩阵P_g”，并计算原始参数与重建后模型参数中人脸外观参数向量残差E_g和人脸外观变化模式矩阵残差E_p

S7、对残差矩阵E_g和E_p进行量化，再进行无损压缩，得到压缩模型。

Claims (1)

1.一种人脸模型数据压缩方法，其特征在于，是在发射端计算机中依次按以下步骤实现的：

步骤(1)，系统初始化，输入：

采集并输入D张分属于不同人的、分别在各种不同角度、表情、光照条件下拍摄的人脸图像，其中，D＝1,2,...，D为有限正整数；

步骤(2)，构建一个多人人脸图像训练数据库，包括：多人人脸训练图像集，存储供训练用的D幅人脸图像；所述多人人脸图像的训练参数，是人脸模型的参数集合，包括：

a₁，多人人脸形状向量S_i，简称S_i向量，i为所述D张人脸图像的序号，i＝{1,2,...,i,...,D}，D为有限正整数，

a₂，多人人脸平均形状向量简称向量，是所述S_i的平均向量，

a₃，多人人脸外观向量G_i，简称G_i向量，是以所述人脸平均形状向量为目标，通过分片仿射拉伸Piecewise Affine Warping方法使所述S_i向量所定义的一个特征点与所述的同一特征点位置相吻合从而得到的D幅由所述多人人脸图像中序号为i的人脸图像S_i内人脸部分的像素值I所拉成的，i＝1,2,...,i,...D，

a₄，多人人脸平均外观向量简称向量，是对所述多人人脸训练参数集中所有的所述向量G_i平均后得到的，

a₅,多人人脸形状参数向量b_si，简称b_si向量至少包括轮廓、五官位置、大小、形状和动作在内的人脸特征f，第i列对应第i张人脸图像，每一行对应一个所述的人脸特征，f＝(1,2,...,F)，F为有限正整数，f为序号，F为总数，

a₆，姿态参数向量(v_i,θ_i)，表示所述多人人脸图像中所包含的人脸部分的位置和角度，是用普鲁克分析方法Procrustes Analysis对所述多人人脸形状向量S_i和所述的多人人脸平均形状向量s用平移和旋转变换校正后得到平移量v_i和旋转角度θ_i，

a₇，人脸外观变化模式矩阵P_g，为一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体运动模式，

步骤(3)，按以下方法计算步骤(2)中所述的多人人脸模型参数：

步骤(3.1)，所述人脸形状向量S_i，是对第i张人脸图像的各特征点用Regularized Landmark Mean-Shift人脸定位算法得到的，S_i＝{(x_i1,y_i1),...,(x_if,y_if),...,(x_iF,y_iF)}，

步骤(3.2)，所述的人脸平均形状向量为：

$\stackrel{\‾}{s}=\{(\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_{i1}/D,\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_{i1}/D),...,(\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_{\mathrm{if}}/D,\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_{\mathrm{if}}/D),...,(\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_{\mathrm{iF}}/D,\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_{\mathrm{iF}}/D)\},$

步骤(3.2)，多人人脸形状参数向量b_si，其中：

P_s为从所有的所述多人人脸形状向量S_i，i＝{1,2,...,i,...,D}用主成分分析方法Principal Component Analysis得到的人脸形状变化模式矩阵，是一个列正交矩阵，每一列表示人脸的一种整体运动模式，是反映人脸姿态及形状变化的人脸特征的坐标的整体运动模式，

P_g为从所有的所述多人人脸外观向量G_i用主成分分析方法PrincipalComponent Analysis得到的人脸外观变化模式矩阵，作为一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值变化的一种整体运动模式；

步骤(4)，按以下步骤建立专人人脸模型：

步骤(4.1)，任意采集仅由同一人在各种角度，表情，光照条件下拍摄的M张图像构建一个专人人脸图像训练数据库，其中包括：专人人脸训练图像集和专人人脸训练参数集，前者存储供训练用的所述M张人脸图像，后者存储与专人人脸训练图像相关的参数，所述参数是指专人人脸模型参数，包括：

a₁'，专人人脸形状向量S'_j，j为所述M张人脸图像的序号，j＝1,2,...,j,...,M，M为有限正整数，

a₂'，专人人脸平均形状向量所述人脸平均形状向量应当使用多人人脸平均形状向量作为基准形状，以保证所述专人人脸外观向量G_j'和所述多人人脸外观向量空间维数相同，

a₃'，专人人脸外观向量G_j'，是以所述多人人脸平均形状向量为目标，通过分片仿射拉伸Piecewise Affine Warping方法使所述专人人脸形状向量S_j所定义的特征点与多人人脸平均形状向量的同一特征点位置相吻合从而得到的一幅由所述专人人脸图像中人脸部分的像素值I_j所拉成的专人人脸外观向量G_j'，用 ${G_j}^{\′}=W(I_j;S_j,\stackrel{\‾}{s})$ 表示，

a₄'，专人人脸形状参数向量b_sj'，表示至少包括轮廓、五官的位置、大小、形状和动作在内的专人人脸特征，

a₅'，专人姿态参数向量(v_j',θ_j')，表示专人人脸部分在包含专人人脸的图像中的位置和角度，是用普鲁克分析方法Procrustes Analysis对所述专人人脸形状向量S_j'和多人人脸平均形状向量用平移和旋转变换校正后得到平移量v_j'和旋转角度θ_j'，

a₆'，P_g'，专人人脸外观模式矩阵；

步骤(4.2)，按以下方法计算步骤(4.1)中所述的专人人脸模型参数：

步骤(4.2.1)，所述专人人脸形状向量S_j'，是对序号为j的专人人脸图像用Regularized Landmark Mean-Shift人脸定位算法得到的S_j'＝{(x_j1,y_j1),...,(x_jf,y_jf),...,(x_jF,y_jF)}，其中：

f为专人的各张人脸图像j的特征点序号，

f＝{1,2,...,f,...,F}，F为特征点数目，与所述多人人脸模型形状向量S_i特征点数目相同。

步骤(4.2.2)，所述的专人人脸平均形状向量

$\stackrel{\‾}{s^{\′}}=\stackrel{\‾}{s},$

步骤(4.2.3)，所述的专人人脸形状向量参数b_sj'，

${b_{\mathrm{sj}}}^{\′}={P_s}^{\′T}({S_j}^{\′}-\stackrel{\‾}{s}),$

其中，P_s'是对所述专人人脸形状向量S_j'，j＝{1,2,...,M}用主成分分析方法Principal Component Analysis得到的专人人脸形状变化模式矩阵，是一个列正交矩阵，每一列表示人脸的一种整体运动模式，是一个反映人脸姿态及外观变化的人脸特征的坐标的整体运动模式，

步骤(4.2.4)，专人人脸外观参数向量c_sj'：

${c_{\mathrm{sj}}}^{\′}={P_{\mathrm{gj}}}^{\′}({G_j}^{\′}-\stackrel{\‾}{g}),$

其中，P_g'是从所有的所述专人人脸外观向量g_j'用主成分分析方法PrincipalComponent Analysis得到专人人脸外观变化模式矩阵，是一个列正交矩阵，每一列表示由专人人脸姿态、动作变化造成的人脸外观像素值的一种整体运动模式，

步骤(5)，计算根据所述的多人人脸外观变化模式矩阵P_g重建后的专人外观向量投影参数矩阵H_g和重建后的专人外观变化模式投影参数矩阵H_p，步骤如下：

步骤(5.1)，所述的多人人脸外观变化模式矩阵P_g的子空间A₁，是一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体变化模式，由D列列向量p_g1,p_g2,...,p_gD构成，

所述专人人脸外观变化模式矩阵P_g'的子空间A₁'，是一个列正交矩阵，每一列表示由人脸姿态、动作变化造成的人脸外观像素值的一种整体变化模式，由E列列向量p_g1',p_g2',...,p_gE'构成。

步骤(5.2)，按下式计算所述的专人外观向量投影参数矩阵H_g和所述的多人外观变化模式投影参数矩阵H_p：

把所述专人人脸外观向量G'投影至所述子空间A₁内，得到：

$H_g=P_g^T{G}^{\′T},$

把所述专人人脸外观变化模式矩阵P_g'投影至所述子空间A₁内，得到：

$H_p=P_g^T{P_g}^{\′},$

步骤(6)按下式定义重建后的专人人脸外观向量为G”，专人人脸外观变化模式矩阵为P_g”，

G”＝P_g'H_g ^T,

P_g”＝P_g'H_P ^T,

步骤(7)按下式计算专人人脸外观向量残差E_g和专人人脸外观变化模式矩阵残差E_P：

E_g＝G'/U_max'-G”/U_max”,

其中，符号|·|表示取绝对值：U_max'为|G'|的最大值，U_max”为|G”|的最大值，

E_Pj＝P_gi'/V_jmax'-P_gj”/V_jmax”

j是E_P中的第j列，j＝1,2,...,j,...,M；

步骤(8)把步骤(7)得到的E_g、E_P进行编码无损压缩，在发射端得到压缩后人脸模型。