CN106303233B - 一种基于表情融合的视频隐私保护方法 - Google Patents

Abstract

本发明公开了一种基于表情融合的视频隐私保护方法，所述基于表情融合的视频隐私保护方法，在视频直播中实时检测人脸并对人脸表情进行识别，通过与表情库中具有相同表情的人脸图像进行融合，在对人脸进行隐私保护的同时，保证了人脸表情不发生变化。本发明在保证表情不变的情况下，通过与表情库中具有相同表情的人脸图像进行融合，既保护了人脸的隐私信息，又保留了人脸原有的表情，从而在隐私保护的前提下提高了原人脸信息的完整性。与以往直接对整张人脸进行融合的方法不同，将人脸中的表情通过表情库进行融合，实现了在人脸表情不变情况下对信息进行保护。

Description

一种基于表情融合的视频隐私保护方法

技术领域

本发明属于视频隐私保护技术领域，尤其涉及一种基于表情融合的视频隐私保护方法。

背景技术

近年来，互联网的快速发展和各类视频应用的日益普及，使视频个人隐私保护得到了广泛关注。在保证视频应用的同时不泄露隐私信息是目前研究的热点问题。视频隐私保护技术以其较高的学术价值和巨大的应用潜力，得到了学者的广大关注，传统直接对整张人脸进行融合的方法通过对人脸图像运用图像融合方法，将人脸图像与不包含重要信息的另一人脸图像进行融合，使需要保护的人脸图像逐渐转换为另一幅图像，从而保护了人脸图像中的重要信息。传统的直接对人脸进行融合的方法能保证重要信息不被泄漏，但在融合的过程中人脸图像中原有的表情会发生变化。本发明提出的方法则解决了这一问题，通过与具有相同表情的图像进行融合，既保护了人脸信息又保证了人脸表情不发生变化。

发明内容

本发明的目的在于提供一种基于表情融合的视频隐私保护方法，旨在解决传统的直接对人脸进行融合的方法能保证重要信息不被泄漏，但在融合的过程中人脸图像中原有的表情会发生变化的问题。

本发明是这样实现的，一种在视频直播中基于表情融合的视频隐私保护方法，所述基于表情融合的视频隐私保护方法，在视频直播中对人脸表情进行检测和识别，并根据识别结果与表情库中具有相同表情的图像进行融合。经过本方法融合之后的人脸的表情没有发生变化，且融合后的人脸为原人脸与表情库人脸的结合，从而在保证表情不变的情况下对视频直播中的人脸隐私信息进行了保护。

进一步，所述人脸图像进行融合的方法包括：

步骤一，目标图像和源图像的选择，选择包含需要被保护的面部表情的图像为目标图像，同时选择表情库中与目标图像具有相同表情的图像为源图像；

步骤二，选择包含人脸表情的部分作为感兴趣区域；

步骤三，图像校准；

步骤四，通过选择适当的权值对源图像和目标图像R中像素点大小进行加权求和，从而将两幅图像进行融合。

进一步，所述图像校准具体包括：

第一步，定位特征点，分别在目标图像和源图像中手动的选取人脸区域比较重要的特征点，如眼睛、鼻子和嘴巴部位，并标记出来；

第二步，仿射变换，设和分别为源图像S和目标图像R中第k个相对应的特征点，则该仿射变换用下式表示：

对源图像中的所有像素点都进行该仿射变换，则经过变换的源图像可表示为，并且中的第k个特征点可表示为x‘_k＝A^*x_k+b^*；

第三步，图像重建：

先将源图像分成k个大小同为w×w的块，每个像素拥有5个通道，即3个颜色通道L*a*b和2个梯度通道，梯度通道横向梯度与纵向梯度；

对源图像S生成全分辨率尺度空间金字塔；

遍历源图像中所有像素点q，坐标为i，j的像素点A，找到覆盖像素点A的w×w个目标块，则每个块的左上角坐标为(i′,j′)，其中i′∈{i,…,i-w+1},j′∈{j,…,j-w+1}；

采用最近邻算法在S_pyr中找到w×w个目标块所对应的最匹配块P，在最匹配块中找到对应点A的像素点，并在5个通道上加权求平均，完成对点A的更新，

第四步，像素替换：

替换重建后得到的图像的特征点附近的像素点；

权值为随的增加线性减小；当x＝y_k时，而当时‖x-y_k‖>θ，其中，采用权值通过下式替换每个y_k附近的像素点：

第五步，泊松图像编辑：

对源图像进行泊松图像编辑，完成最后的校准：

其中，I为图像像素个数，D为在5个通道上像素点的距离平方和，为一个参数。

所述步骤四进一步包括：

具有如下性质：

其中ρ为一个参数；

则得到每一点的权值β(x)：

Y为感性趣区域的特征点子集

融合后的图像P中每个像素点的值表示为：

本发明提供的基于表情融合的视频隐私保护方法，在保证表情不变的情况下，通过与表情库中具有相同表情的人脸图像进行融合，由于源图像的表情与目标图像一致，通过定位特征点，在经过仿射变换和重建以及像素替换、泊松图像编辑等一系列校准后，源图像的特征点与目标图像已经相当接近，此时再进行特征融合，得到的目标图像不仅是两幅图像的结合，而且重要特征点的信息即表情特征基本没有改变，从而在隐私保护的前提下保留了原人脸的表情信息。与以往直接对整张人脸进行融合的方法不同，通过与表情库中具有相同表情的图像进行融合，得到的融合后图像不仅为原人脸与表情库人脸的结合，且融合后的人脸的表情没有发生变化，因此本方法既保护了人脸的隐私信息又保护了人脸原有的表情。

附图说明

图1是本发明实施例提供的基于表情融合的视频隐私保护方法流程图。

图2是本发明实施例提供的实施例1的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。最近网络上的视频直播已经成为网络达人的热门娱乐方式，众多网红通过社交软件进行视频直播与网友分享生活趣事，而在视频直播中除网红以外，其他人的身份信息是需要被保护不允许获取的，同时保护后的目标需要保持表情不变来保证直播的流畅性及完整性，因此在该情况下可运用本发明的方法。

如图1所示，本发明实施例的基于表情融合的视频隐私保护方法包括以下步骤：

S101：建立表情数据库，在视频直播中通过摄像头等摄影工具获取人脸图像，对获取的图像进行一系列的预处理，改善图像质量，抑制外界干扰，尽量保留有用信息；

S102：把点阵转化成更高级的图像表述比如纹理、颜色、形状或空间结构等，并提取出能很好表征表情变化的特征，在提取出的特征中选择最重要的特征，并对图像数据进一步降维；

S103：选择合适的分类器对表情特征进行分类，最终通过与表情库中的7种表情投票判决完成对表情特征的分类；

S104：选择视频直播中包含需要保护的面部区域的图像为目标图像，选择表情库中与目标图像具有同一表情的图像作为源图像；在目标图像和相应的源图像中选择需要保护即融合的区域，本发明选择包含人脸表情的区域为感兴趣区域；

S105：在目标图像和源图像中定位特征点，一般选取人脸的五官如鼻子、眼镜、嘴巴等部位为特征点；分别在目标图像和源图像中找到特征点在感兴趣区域中的坐标，通过找到目标图像和源图像中对应特征点之间的关系，得到一个线性变换，将该线性变换应用到源图像感兴趣区域中的所有像素点，从而完成对源图像的调整；

S106：在完成仿射变换后得到的源图像只是初步的接近于目标图像，通过在源图像中遍历搜索与投票，找到与目标图像中对应点更接近的像素点；将重建后的图像特征点周围像素点进行替换，使替换后的图像更接近与目标图像；通过泊松方程，完成对源图像的校准，得到最接近与目标图像的源图像；

S107：通过选择相应的权值，对源图像和目标图像中对应像素点的值进行加权求和，从而完成整个融合过程。

下面结合具体实施例对本发明的应用原理作进一步的描述。

实施例1：

参照附图2，本发明实施例的具体步骤如下：

1.人脸表情识别过程

步骤1，表情库的建立：

采用包含10个女性7种不同表情的213幅图像的JAFFE日本成年女性人脸表情数据库进行表情识别，每种表情各2～4幅图像，均为256×256的8位灰度图像。

步骤2，图像获取：

在视频直播中通过摄像头或其他设备获得连续的静态图像序列。

步骤3，图像预处理：

对人脸图像进行亚采样和灰度均衡化处理。通过亚采样，将图像中不相关的区域去除，只保留能够反映表情变化如眼睛、嘴角及眉毛等面部区域。然后对图像进行直方图均衡化处理，经过均衡化后，图像的细节更加清晰，直方图各灰度等级的分布更平均。

步骤4，特征提取：

本发明采用PCA进行特征提取。通过对训练样本进行主成份分析得到表征表情子空间的一组正交基，对正交基进行取舍降维，最终得到一个特征子空间。

设图像为一个N维的矢量x，将特征归一化，对每一维数据减去该维的均值，

减去均值后得到矩阵B：

计算矩阵B的协方差矩阵C：

计算协方差矩阵C的特征值与特征向量，将特征值按从大到小的顺序排列，对应的特征向量也按此顺序排列。选取前k个特征值对应的特征向量构成一个子空间，该空间就是表征人脸表情的特征子空间。

步骤5，特征选择。

本发明采用Adaboost分类器对图像特征进行选择，挑选出最重要的特征。

训练样本中包含7个类别，即S₁、S₂……、S₇，分别选取其中的两类S_a、S_b(a＝1，……，6；b＝2，……，7)，同时令S_a类为正样本，S_b为负样本。特征向量与样本标记构成样本子集(x₁,y₁)，……，(x_n,y_n)，y_i取1或0分别表示正样本和负样本，n为S_a、S_b样本总数。

对样本权值初始化

k与m分别为正负样本的总数。

对权值归一化，

对特征向量中每个特征f_j设置分类器，

其中min(f_j)≤θ_j≤max(f_j)，p_j为1或-1。

找到所有分类器中加权误差ε_t最小的分类器h_t，选择h_t对应的特征f_t。对所有样本，令f_t＝0。

ε_j＝∑_iw_i|h_j(x_j)-y_j|

对权值进行更新，其中β_t＝ε_t/1-ε_t，正确分类样本时e_j＝0，e_j＝1。

重复上述过程，直到所有对所有特征完成选择。

步骤6，特征分类。

本发明采用SVM分类算法对特征进行分类。

令训练样本集为(x_i,y_i)，x_i为特征向量，y_i为分类标签，y_i取-1或1。设w和b分别为最优分类界面的权向量与偏置，因此搜索最优分类界面的过程如下：

其中，ε≥0为松弛变量，c为大于0的指定常数。

找到最优分类界面后选择多项式形式的内积核函数对样本分类。每次选择样本空间中的两类作为一个分类器，将其中一类选择为正样本，另一类作为负样本。对测试样本进行分类，通过将样本输入到所有的分类器中，对每个分类器的分类结果进行投票判决，得票数最多的类别就是样本最终的分类结果。若出现类别投票数相同的情况，则根据最近邻原则找到测试样本与这些类别的训练样本间的最小距离，该距离所对应的类别即为最终的分类类别。

2.表情融合过程：

步骤1，目标图像和源图像的选择：

完成人脸表情识别后，选择包含需要被保护的面部表情的图像为目标图像，同时选择表情库中与目标图像具有相同表情的图像为源图像。

步骤2，感兴趣区域选择：

图像中并不是所有的信息都是需要融合的信息，选择包含人脸表情的部分作为感兴趣区域。

步骤3，图像校准：

第一步，定位特征点，分别在目标图像和源图像中手动的选取人脸区域比较重要的特征点，如眼睛、鼻子和嘴巴等部位，并标记出来。

第二步，仿射变换，设x_k和y_k分别为源图像S和目标图像R中第k个相对应的特征点，则该仿射变换可以用下式表示：

对源图像中的所有像素点都进行该仿射变换，则经过变换的源图像可表示为S′，并且S′中的第k个特征点可表示为x‘_k＝A^*x_k+b^*。

第三步，图像重建：

先将源图像S′分成k个大小同为w×w的块，每个像素拥有5个通道，即3个颜色通道L*a*b和2个梯度通道(横向梯度与纵向梯度)；

对源图像S生成全分辨率尺度空间金字塔S_pyr；

遍历源图像S′中所有像素点q，以坐标为i，j的像素点A为例。可以找到覆盖像素点A的w×w个目标块Q_i′,j′，则每个块的左上角坐标为(i′,j′)，其中i′∈{i,…,i-w+1},j′∈{j,…,j-w+1}；

采用最近邻算法在S_pyr中找到w×w个目标块所对应的最匹配块P，在这些最匹配块中找到对应点A的像素点，并在5个通道上加权求平均，完成对点A的更新。

第四步，像素替换：

替换重建后得到的图像的特征点附近的像素点。

权值为随的增加线性减小；当x＝y_k时，而当时‖x-y_k‖>θ，其中，采用权值通过下式替换每个y_k附近的像素点：

第五步，泊松图像编辑：

对源图像进行泊松图像编辑，完成最后的校准：

其中，I为图像像素个数，D为在5个通道上像素点的距离平方和，为一个参数。

所述步骤四进一步包括：

具有如下性质；

其中ρ为一个参数；

则得到每一点的权值β(x)：

Y为感性趣区域的特征点子集

融合后的图像P中每个像素点的值表示为：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于表情融合的视频隐私保护方法，其特征在于，所述基于表情融合的视频隐私保护方法，在视频直播中实时检测人脸并对人脸表情进行识别，通过与表情库中具有相同表情的人脸图像进行融合；

所述人脸图像进行融合的方法包括：

步骤一，目标图像和源图像的选择，选择包含需要被保护的面部表情的图像为目标图像，同时选择表情库中与目标图像具有相同表情的图像为源图像；

步骤二，选择包含人脸表情的部分作为感兴趣区域；

步骤三，图像校准：

步骤四，通过选择适当的权值对源图像和目标图像R中像素点大小进行加权求和，从而将两幅图像进行融合。

2.如权利要求1所述的基于表情融合的视频隐私保护方法，其特征在于，所述图像校准具体包括：

第一步，定位特征点，分别在目标图像和源图像中手动的选取人脸区域比较重要的特征点，如眼睛、鼻子和嘴巴部位，并标记出来；

第二步，仿射变换，设x_k和y_k分别为源图像S和目标图像R中第k个相对应的特征点，则该仿射变换用下式表示：

A^*,b^*＝arg min_A，b∑_k||y_k-(Ax_k+b)||²

对源图像中的所有像素点都进行该仿射变换，则经过变换的源图像可表示为S′，并且S′中的第k个特征点可表示为x‘_k＝A^*x_k+b^*；

第三步，图像重建：

先将源图像分成k个大小同为w×w的块，每个像素拥有5个通道，即3个颜色通道L*a*b和2个梯度通道，梯度通道横向梯度与纵向梯度；

对源图像S生成全分辨率尺度空间金字塔；

遍历源图像中所有像素点q，坐标为i，j的像素点A，找到覆盖像素点A的w×w个目标块，则每个块的左上角坐标为(i′，j′)，其中i′∈{i，…，i-w+1},j′∈{j，…，j-w+1}；

采用最近邻算法在S_pyr中找到w×w个目标块所对应的最匹配块P，在最匹配块中找到对应点A的像素点，并在5个通道上加权求平均，完成对点A的更新，

第四步，像素替换：

替换重建后得到的图像的特征点附近的像素点；

权值为随的增加线性减小；当x＝y_k时，而当时||x-y_k||＞θ，其中，采用权值通过下式替换每个y_k附近的像素点：

第五步，泊松图像编辑：

对源图像进行泊松图像编辑，完成最后的校准：

其中，I为图像像素个数，D为在5个通道上像素点的距离平方和，为一个参数。

3.如权利要求1所述的基于表情融合的视频隐私保护方法，其特征在于，所述步骤四进一步包括：具有如下性质：

其中ρ为一个参数；

则得到每一点的权值β(x)：

Y为感性趣区域的特征点子集

融合后的图像P中每个像素点的值表示为：