CN113780100A - 一种不改变视频效果的面部生理信息屏蔽方法 - Google Patents

Abstract

一种不改变视频效果的面部生理信息屏蔽方法属于个人信息安全领域，基于视频的非接触式生理信号检测方法的逐渐成熟，使得仅通过普通视频得到个人心率、心率变异性等生理参数信息成为可能。在不知情的情况下，个人的生理信息可能随着视频的传播而泄漏并被分析利用。本发明提供了一种不改变视频效果的面部生理信息屏蔽方法，利用单通道周期模糊滤波和单通道周期加噪技术干扰非接触式生理信号检测，充分考虑了rPPG的原理与检测过程，能够快速且高效的对抗ICA和CHROM等传统的生理信号检测方法。

Description

一种不改变视频效果的面部生理信息屏蔽方法

技术领域

本发明属于个人信息安全领域，涉及一种不改变视频效果的面部生理信息屏蔽方法。

背景技术

基于视频的非接触式生理信号检测方法的逐渐成熟，使得仅通过普通视频得到个人心率、心率变异性等生理参数信息成为可能。在不知情的情况下，个人的生理信息可能随着视频的传播而泄漏并被分析利用。目前在生理参数检测方法方面，国内外主要使用了盲源分离算法(ICA)和基于色度模型方法(CHROM)。这两种方法通过分析普通的人脸视频即可较为准确的得到个人心率、心率变异性等生理参数信息，若结合皮肤分割等方法，可以在距离和光照满足一定条件的情况下，测量心率误差控制在10bpm以内。因此，个人的生理信息等隐私极容易遭到泄露。

发明内容

针对上述问题，本发明提供了一种不改变视频效果的面部生理信息屏蔽方法，利用单通道周期模糊滤波和单通道周期加噪技术干扰非接触式生理信号检测，充分考虑了rPPG的原理与检测过程，能够快速且高效的对抗ICA和CHROM等传统的生理信号检测方法。

本发明采用的技术方案如下：

本发明首先需要对人脸视频进行人脸检测，利用68特征原理人脸关键点检测实现人脸特征点标记。然后确定左脸颊、右脸颊、前额作为感兴趣区域(ROI)，提取ROI后，对分帧后的所有图像取12*30/F(F为视频帧率，且大于30帧/秒，以下取30帧/秒为例)为帧间隔周期，即每隔12帧对图像进行一次处理。处理内容第一步是通过对图像的亮度进行微调改变其灰度均值。第二步将图像分割为RGB三通道，对其中的B通道进行一次模糊滤波，再向分割出的B通道图像中加入高斯噪声和泊松噪声。单通道周期加噪完成后合并三通道图像，最后将所有帧图像合并为人脸视频。

不改变视频效果的面部生理信息屏蔽方法，包括以下步骤：

步骤一，视频帧处理，方法如下：

(1)对所选人脸视频进行分帧；

(2)逐帧实现人脸检测；

(3)利用68个人脸特征关键点检测实现人脸特征点标记；

步骤二，确定左脸颊、右脸颊、前额作为ROI。

步骤三，每隔12帧对图像的亮度进行微调改变其灰度均值。

步骤四，单通道周期模糊滤波与加噪，方法如下：

(1)将图像分割为RGB三通道；

(2)每隔12帧对分割出的B通道进行模糊滤波；

(3)每隔12帧向分割出的B通道加入高斯噪声；

(4)每隔12帧向分割出的B通道加入泊松噪声；

(5)重新合并RGB三通道图像；

步骤五，将改变灰度均值并加噪后的ROI并入视频帧。

本发明的有益效果是：本发明提出的不改变视频效果的面部生理信息屏蔽方法，结合了rPPG的原理与检测过程，考虑了ICA和CHROM等传统的生理信号检测方法给个人带来的生理信息隐私泄漏，解决了个人的生理信息随着视频的传播而泄漏并被分析利用的问题。人脸视频通过本方法的处理，视频可在没有明显降低视频质量的情况下滤除生理信息，从而能够有效且快速的对抗ICA和CHROM等传统的生理信号检测方法，方便快捷的保护了我们个人的生理隐私信息。

附图说明

图1为本发明所述不改变视频效果的面部生理信息屏蔽方法流程图；

图2为本发明对视频帧单通道加噪前B通道图像；

图3为本发明对视频帧单通道加噪后B通道图像；

图4为本发明对视频帧进行处理前图像对比；

图5为本发明对视频帧进行处理后图像对比；

图6为本发明对视频进行处理前后自然图像质量评估结果对比。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

不改变视频效果的面部生理信息屏蔽方法的流程图如图1所示，具体包括以下步骤：

步骤一，视频帧处理。

首先，对所选视频进行逐帧人脸检测，经过该步骤可确定视频中人物的面部。其次，利用68特征原理人脸关键点检测实现人脸特征点标记，即可在已经检测到的人脸的基础上，自动找到人脸上的眼睛、鼻子、嘴和脸轮廓标志性特征位置。

步骤二，确定ROI。

因为选用可靠部位的ROI是基于rPPG方法提取生理参数的关键，生理参数检测需要从ROI中提取与生理信号相关的脉搏波BVP信号。所以采集视频并进行了人脸检测与特征点标记之后，需要选取每一帧面部的感兴趣区域ROI进行处理。基于rPPG方法提取生理参数的过程中，由于人脸非刚性运动的存在，例如眨眼、表情的变化以及说话等，不可避免地给人脸面部添加了噪声，因此需要选择尽可能不包含这些地方的人脸面部区域，以减少噪声对有用信号的干扰。研究发现，从左右脸颊和前额区域确定的较小ROI包含良好的rPPG信号，换言之从这三个区域提取的rPPG信号信噪比高。选择左脸颊、右脸颊以及前额作为感兴趣区域，并参照68个特征点确定最终的位置。选出三个ROI进行后续处理。

步骤三，每隔12帧对图像的亮度进行微调改变其灰度均值。

基于rPPG方法提取生理参数的过程中，需要将每一帧的三个ROI区域进行RGB通道分离，并分别计算出三个通道的空间平均值得到r_i、g_i、b_i，进而将整个视频序列转化成三个一维信号作为原始信号。因此，对图像亮度进行细微的修改，即可改变其灰度均值，从而影响所得原始信号，起到干扰生理参数检测的效果。采用按像素的方式改变图像对比度和亮度，公式如下：

g(x,y)＝αf(x,y)+β

式中，f(x,y)代表源图像x行，y列的像素点的c通道的数值，g(x,y)代表目标图像x行，y列的像素点的c通道的数值，α代表对比度，对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，即指一幅图像灰度反差的大小，取值范围为(1，+∞)。由于本发明方法并没有改变图像的对比度，所以α取值为1。β为亮度修改的数值。对图像的亮度进行修改就是每个像素所有通道都加上β，本文所述方法β取值为1。对视频进行周期亮度微调的数学表达式如下：

Brightness(Frame_12n)＝Bright+β

其中，β＝1，n＝0、1、2、3、4、5……Frame_12n代表每隔12帧所选取的图像，Bright代表源图像亮度，Brightness(Frame_12n)代表视频每隔12帧所选取的帧图像进行微调后的亮度。每隔12帧亮度微调后的图像表示为Bri(Frame_12n)。

经过本次处理即可周期性改变帧图像亮度，但经过数据集VIPL-HR database的测试，这种干扰有效率仅有25.2％，还需进行后续处理。

步骤四，单通道周期模糊滤波。

以帧间隔周期12，选取帧图像进行处理。对帧图像进行模糊滤波，可以改变某些图像特征及其灰度均值，从而也可以达到影响原始信号的目的。但是，若对图像直接进行模糊滤波，会对图像的视觉效果产生较大影响，我们发现，对图像进行通道分割，再对分割而出的B通道进行模糊滤波，最后合并通道所得的图像在视觉效果上并无变化，但却可以有效干扰生理参数检测的准确性。

对视频进行单通道周期模糊滤波，Blur(Frame_12n)代表视频每隔12帧进行模糊滤波后的帧图像，其中，n＝0、1、2、3、4、5……。

步骤五，单通道周期加噪。

如果直接对分帧后的图像进行加噪，处理后的每一帧图像都会产生明显的噪声污点。在经过大量实验之后我们发现，如果对图像的单通道进行加噪，处理后的图像视觉效果并无产生明显变化。其中，如果对R通道或者G通道进行单通道加噪，处理后的视频修改痕迹较为明显，而对B通道进行加噪处理后的视频效果却几乎没有变化，且可以有效的干扰生理参数检测系统。

高斯噪声和泊松噪声对基于rPPG提取生理参数方法的扰动较为明显，且对视频效果的影响较小，所以我们将高斯噪声和泊松噪声加入所选视频帧中。

高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。高斯分布函数如下所示：

本文方法所取高斯噪声的期望μ为0，方差δ²为0.01。

泊松噪声就是符合泊松分布的噪声模型，泊松分布适合于描述单位时间内随机事件发生的次数的概率分布。其概率函数为：

其中，λ是泊松分布的期望或方差，此处λ＝1，k为描述单位时间内发生的次数，k＝0，1，2……

选取12作为帧间隔周期是因为每隔12帧对视频进行一次处理对基于rPPG的生理参数检测扰动最为明显，其干扰效果要优于对视频进行逐帧处理且会极大的缩短程序运行时间，提高了视频处理的速度。

综上所述，最终确定的单通道加噪方法如下：

首先，对图像进行通道分割，为单通道处理做好准备；每隔12帧提取图像的B通道信息，加入高斯噪声和泊松噪声；最后，合并RGB三通道信息。

对视频进行单通道周期加噪的数学表达式如下：

Noise(Frame_12n)＝Noise_gaussian+Noise_poisson

其中，n＝0、1、2、3、4、5……Noise_gaussian代表所加高斯噪声，Noise_poisson代表所加泊松噪声，Noise(Frame_12n)代表视频每隔12帧加入高斯噪声和泊松噪声后的帧图像。

步骤六，将处理好的ROI图像并入视频帧，最终将所有帧图像合成人脸视频。

综上，本方法的完整数学表达式如下：

BBN(Frame_12n)＝Bri(Frame_12n)+Blur(Frame_12n)+Noise(Frame_12n)

其中，n＝0、1、2、3、4、5……Blur(Frame_12n)代表视频每隔12帧进行模糊滤波后的帧图像，Bri(Frame_12n)代表每隔12帧亮度微调后的帧图像。

经过上述方法处理后的人脸视频，再次使用基于rPPG的人体生理参数检测系统便无法准确获得视频中人物的生理参数信息，达到了在不改变视频效果的前提下屏蔽人体生理信息的目的，快速高效的保护了个人的隐私信息，且视频效果没有发生明显改变。图4为未经任何处理的原图像；图5为本文方法对视频帧进行全部处理后所得图像。可以看出，在视觉效果上并无产生任何差异。

利用自然图像质量评估(NIQE)对处理前后的视频进行客观质量评估与对比，结果如图6所示，未经处理的数据库视频NIQE曲线与处理后的数据库视频NIQE曲线重合度较高，可见经过处理后的视频客观质量没有发生较大改变。

利用数据集VIPL-HR database的静止视频(v1)对本发明方法进行验证，若只利用单通道周期加噪处理视频，其对抗ICA和CHROM的干扰有效率分别是77.2％和81.6％；若只利用单通道周期模糊滤波处理视频，其对抗ICA和CHROM的干扰有效率分别是77.4％和65.1％；若按照本发明方法对视频进行完整处理，其对抗ICA和CHROM的干扰有效率分别是82.9％和84.6％。

Claims (1)

1.一种不改变视频效果的面部生理信息屏蔽方法，其特征在于，包括以下步骤：

步骤一，视频帧处理；

首先，对所选视频进行逐帧人脸检测，经过该步骤确定视频中人物的面部；其次，利用68特征原理人脸关键点检测实现人脸特征点标记，即在已经检测到的人脸的基础上，自动找到人脸上的眼睛、鼻子、嘴和脸轮廓标志性特征位置；

步骤二，确定ROI；

选择左脸颊、右脸颊以及前额作为感兴趣区域，并参照68个特征点确定最终的位置；选出三个ROI进行后续处理；

步骤三，每隔12帧对图像的亮度进行微调改变其灰度均值；

基于rPPG方法提取生理参数的过程中，需要将每一帧的三个ROI区域进行RGB通道分离，并分别计算出三个通道的空间平均值得到r_i、g_i、b_i，进而将整个视频序列转化成三个一维信号作为原始信号；因此，对图像亮度进行细微的修改，即可改变其灰度均值，从而影响所得原始信号，起到干扰生理参数检测的效果；采用按像素的方式改变图像对比度和亮度，公式如下：

g(x,y)＝αf(x,y)+β

式中，f(x,y)代表源图像x行，y列的像素点的c通道的数值，g(x,y)代表目标图像x行，y列的像素点的c通道的数值，α代表对比度α取值为1；β为亮度修改的数值；对图像的亮度进行修改就是每个像素所有通道都加上ββ取值为1；对视频进行周期亮度微调的数学表达式如下：

Brightness(Frame_12n)＝Bright+β

其中，β＝1，n＝0、1、2、3、4、5……Frame_12n代表每隔12帧所选取的图像，Bright代表源图像亮度，Brightness(Frame_12n)代表视频每隔12帧所选取的帧图像进行微调后的亮度；每隔12帧亮度微调后的图像表示为Bri(Frame_12n)；

步骤四，单通道周期模糊滤波；

以帧间隔周期12，选取帧图像进行处理；对视频进行单通道周期模糊滤波，Blur(Frame_12n)代表视频每隔12帧进行模糊滤波后的帧图像，其中，n＝0、1、2、3、4、5……；

步骤五，单通道周期加噪；

将高斯噪声和泊松噪声加入所选视频帧中；

高斯分布函数如下所示：

所取高斯噪声的期望μ为0，方差δ²为0.01；

泊松噪声就是符合泊松分布的噪声模型，其概率函数为：

其中，λ是泊松分布的期望或方差，此处λ＝1，k为描述单位时间内发生的次数，k＝0，1，2……

确定的单通道加噪方法如下：

首先，对图像进行通道分割，为单通道处理做好准备；每隔12帧提取图像的B通道信息，加入高斯噪声和泊松噪声；最后，合并RGB三通道信息；

对视频进行单通道周期加噪的数学表达式如下：

Noise(Frame_12n)＝Noise_gaussian+Noise_poisson

其中，n＝0、1、2、3、4、5……Noise_gaussian代表所加高斯噪声，Noise_poisson代表所加泊松噪声，Noise(Frame_12n)代表视频每隔12帧加入高斯噪声和泊松噪声后的帧图像；

步骤六，将处理好的ROI图像并入视频帧，最终将所有帧图像合成人脸视频；

完整数学表达式如下：

BBN(Frame_12n)＝Bri(Frame_12n)+Blur(Frame_12n)+Noise(Frame_12n)。

其中，n＝0、1、2、3、4、5……Blur(Frame_12n)代表视频每隔12帧进行模糊滤波后的帧图像，Bri(Frame_12n)代表每隔12帧亮度微调后的帧图像。

Images