CN108427918A - 基于图像处理技术的人脸隐私保护方法 - Google Patents

Abstract

本发明提供一种基于图像处理技术的人脸隐私保护方法，首先载入AFW数据集，利用CLM算法进行特征点处的局部特征提取和回归，计算与所述数据集特征点的马氏距离误差，反向传播微调参数，得到检测68个人脸关键点的参数模型；其次，载入待处理人脸图像和所述参数模型，利用该参数模型处理所述待处理人脸图像得到68个人脸关键点，将该68个人脸关键点按顺序分为N组轮廓点，对这N组轮廓点按一定规则进行遮挡处理；最后，将遮挡处理后的人脸图像送入RGB肤色模型进行逐行逐列扫描，当该人脸图像上的某一像素点的像素值满足条件时，则认为该像素点为皮肤；否则为非皮肤。实现了在医疗人脸识别数据库中对人脸隐私的有效合理保护。

Description

基于图像处理技术的人脸隐私保护方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于图像处理技术的人脸隐私保护方法。

背景技术

随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别，尤其是人脸识别技术在近十年中得到了飞速的发展。在医学诊断应用中，人脸识别通过提取患者脸部特定区域的测量数据，分析患者脸部模式并与疾病数据库进行比对，确定患者的疾病类型。人脸识别技术在医学诊断上的应用，可以减少疾病延迟诊断、医疗资源不足的问题，在部分研究中其对疾病的诊断正确率甚至高于相应领域的专家，有望日后用于疾病的早期筛查、提高临床诊断力。应用医学诊断的人脸识别的研究需要庞大的数据库，而目前医院对患者的数据进行采集，存储，使用以及管理等工作时，均缺乏相应的标准、规范以及监管，患者的隐私并不能得到有效合理的保护，此外，患者也并不会被告知其隐私信息被用于何处。

发明内容

针对上述现有技术的不足，本发明提出一种基于图像处理技术的人脸隐私保护方法，以实现在人脸识别数据库中对人脸隐私的保护。

为实现本发明的目的，本发明采用以下技术方案：

一种基于图像处理技术的人脸隐私保护方法，包括如下步骤：

S1，载入AFW数据集，利用CLM算法进行特征点处的局部特征提取和回归，以样本真实值计算与所述特征点的马氏距离作为误差，反向传播微调参数，得到检测68个人脸关键点的参数模型；

S2，载入待处理人脸图像和所述参数模型，利用该参数模型处理所述待处理人脸图像得到68个人脸关键点，将该68个人脸关键点按顺序分为N组轮廓点，对这N组轮廓点按预定规则进行遮挡处理；其中，N≥5；

S3，将遮挡处理后的人脸图像送入RGB肤色模型进行逐行逐列扫描，当该人脸图像上的某一像素点的像素值满足条件时，则认为该像素点为皮肤；否则为非皮肤，并将该像素点的像素值置为0。

优选地，所述N组轮廓点至少包括脸部轮廓、眉毛、眼睛以及嘴部轮廓。

优选地，所述步骤S2中，按预定规则进行遮挡处理的具体步骤为：

S21，对脸部轮廓进行遮挡处理，具体为：

设脸部轮廓第一个点坐标为(x₁,y₁)，最后一个点坐标为(x₁₈,y₁₈)，设置新增点a₁(x₀,y₀)，a₂(x₁₉,y₁₉)，其中，x₀，x₁₉分别是0，x‐1；其中x表示图片宽度值。获取第一个点和新增点a₁之间的斜率k₁，以及最后一个点和新增点a₂之间的斜率k₂，按下式计算a₁，a₂点的纵坐标：

y₀＝-x₁k₁+y₁

y₁₉＝(x-1-x₁₈)k₂+y₁₈

式中x表示图片宽度值。把a₁，a₂两点分别作为脸部轮廓检测点的起始点和终止点，将新脸部轮廓连点描线做一条分割线，分割线以上认为是脸部轮廓；分割线以下部分默认为颈部，将分割线以下部分填充黑色；

S22，对眉毛进行遮挡处理，步骤为：

将眉毛的轮廓点作为其绘制眉毛图形的基准点，连点描线，线之间的宽度w设置为步骤S21所述脸部轮廓宽度的1/12，即：

在该眉毛线宽范围内填充黑色；

S23，对眼睛进行遮挡处理，步骤为：

已知眼部轮廓点集合为{(x₁₈,y₁₈),(x₁₉,y₁₉),(x₂₀,y₂₀)...(x₂₄,y₂₄)}，则该轮廓重心点可表示为

重心点到轮廓点(x_i,y_i)的距离表示为k_i：

重心点到轮廓点(x_i,y_i)的距离表示为d_i：

将d_i延伸1.3倍，即d_i′＝d_i*1.3；设新的眼部轮廓点集合为{(x'₁₈,y'₁₈),(x'₁₉,y'₁₉),(x'₂₀,y'₂₀)...(x'₂₄,y'₂₄)}，利用k_i和d′_i计算(x'_i,y'_i)：

将新的眼部轮廓点集合连点画线，形成一个闭合多边形，并将其内部填充为黑色；

S24，对嘴部轮廓进行遮挡处理，步骤为：

已知嘴部轮廓点集合为{(x₁,y₁),(x₂,y₂),(x₃,y₃)...(x₁₇,y₁₇)}，则该轮廓重心点可表示为

重心点到轮廓点(x_i,y_i)的距离表示为k_i：

重心点到轮廓点(x_i,y_i)的距离表示为d_i：

将d_i延伸1.3倍，即d_i′＝d_i*1.3；设新的嘴部轮廓点集合为{(x'₁,y'₁),(x'₂,y'₂),(x'₃,y'₃)...(x'₁₇,y'₁₇)}，利用k_i和d′_i计算(x'_i,y'_i)：

将新的嘴部轮廓点集合连点画线，形成一个闭合多边形，并将其内部填充为黑色。

本发明与现有技术相比，有益效果是：

本发明所述基于图像处理技术的人脸隐私保护方法，利用CLM‐Framework框架对人脸进行检测，将检测得到的68个人脸关键点进行分组，并按照一定规则对原人脸图像进行遮挡，然后依据RGB空间参数肤色模型对人脸图像进行肤色检测，进一步精确提取人脸皮肤部分，从而实现对人脸隐私保护，并且不影响图像的后期操作处理。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1：本发明的实施流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面将结合附图以及具体的实施方式，对本发明进行详细地介绍说明。

本发明所述基于图像处理技术的人脸隐私保护方法，步骤如下：

S1，载入AFW(The Annotated Faces in the Wild)数据集，利用CLM算法进行特征点处的局部特征提取和回归，以样本真实值计算与所述特征点的马氏距离作为误差，反向传播微调参数，得到检测68个人脸关键点(landmark)的参数模型。在AFW数据集中，每一个人脸都包含一个长方形边界框，6个地标和相关的姿势角度。

S2，载入待处理人脸图像和所述参数模型，利用该参数模型处理所述待处理人脸图像得到68个人脸关键点，将该68个人脸关键点按顺序分为N组轮廓点，对这N组轮廓点按一定规则进行遮挡处理；其中，N≥5。

S3，将遮挡处理后的人脸图像送入RGB肤色模型进行逐行逐列扫描，当该人脸图像上的某一像素点的像素值满足条件时，则认为该像素点为皮肤；否则为非皮肤，并将该像素点的像素值置为0。

S4，处理结束。

本发明所述方法使用到的CLM算法和RGB肤色模型是人脸识别技术中的常用模型，为便于本领域技术人员的理解，本发明对CLM算法和RGB肤色模型做出进一步解释：

1、CLM算法

CLM是一种有约束的局部模型，它通过初始化平均脸的位置，然后让每个平均脸上的特征点在其邻域位置上进行搜索匹配来完成人脸点检测。

首先进行模型构建，每个人脸可用下式表示：

式中表示平均脸，P表示形状变化的主成分组成的矩阵，B表示形状变化的权重矩阵。

假设有M张图片，每张图片有N个特征点，每个特征点的坐标假设为(x_i,y_i)，一张图像上的N个特征点的坐标组成的向量用x＝[x₁,y₁,x₂,y₂...x_N,y_N]^T表示，所有图像的平均脸可用公式(2)表示：

然后每张脸组成的向量都减去这个平均脸向量，就得到一个均值为0的形状变化矩阵X，如下所示：

对XX'进行主成分分析，得到形状变化的决定性成分，即特征向量P_j以及相对应的特征值λ_j,选择前K个特征向量以列排放的方式组成形状变化矩阵P。此时公式(1)中的B可以下式表示：

接下来初始化每个特征点，用训练好的SVM对每个特征点周围进行打分，得到一个打分响应图(response map)，标识为R(X,Y)。假设R(x₀,y₀)是在邻域范围内(x₀,y₀)处得到最大值，对该邻域内所有位置拟合一个二次函数，该函数是关于特征点位置的目标代价函数，如下式：

r(x,y)＝a(x-x₀)²+b(y-y₀)²+c (4)

式中a,b,c是拟合二次函数的参数，可由下式求解：

minε＝∑[R(x₀,y₀)-r(x,y)]² (5)

总目标函数可用下式表示：

式中b_j表示形状变化的权重向量，λ_j表示特征向量P_j对应的特征值，β表示形状变化在整个目标函数中的权重。每次优化这个目标函数得到一个新的特征点位置，然后再迭代更新，直到收敛到最大值，就完成了人脸点拟合。

2、RGB肤色模型

RGB肤色模型指在不同光照条件下的RGB颜色空间中定义的模型。像素值(红、绿、蓝范围都为[0,255])同时满足下述条件(1)和(2)时认定为肤色，否则认定为非肤色。

本发明采用这两种模型可保证对人脸图像的检测和皮肤分析效果，保证上述人脸隐私保护方法中的数据处理效果。

本实施例中，设定步骤S2中的N＝6，即将68个人脸关键点划分为6组轮廓点，该6组轮廓点分别为脸部轮廓(18点)、左眉毛(5点)、右眉毛(5点)、左眼(7点)、右眼(7点)和嘴部轮廓(17点)。

本实施例中，对待处理人脸图像进行人脸隐私保护的方法，如图1所示，包括以下步骤：

S1，载入AFW数据集，利用CLM算法进行特征点处的局部特征提取和回归，以样本真实值计算与所述数据集特征点的马氏距离作为误差，反向传播微调参数，得到检测68个人脸关键点(landmark)的参数模型。在AFW数据集中，每一个人脸都包含一个长方形边界框，6个地标和相关的姿势角度。

S2，载入待处理人脸图像和所述参数模型，利用该参数模型处理所述待处理人脸图像得到68个人脸关键点，将该68个人脸关键点按顺序分为7组轮廓点，即，脸部轮廓、左眉毛、右眉毛、左眼、右眼、鼻子轮廓和嘴部轮廓，对这7组轮廓点按一定规则进行遮挡处理。

具体地，按一定规则进行遮挡处理的步骤包括：

S21，对脸部轮廓进行遮挡处理的步骤为：

设脸部轮廓第一个点坐标为(x₁,y₁)，最后一个点坐标为(x₁₈,y₁₈)，设置新增点a₁(x₀,y₀)，a₂(x₁₉,y₁₉)，其中，x₀，x₁₉分别是0，x‐1；其中x表示图片宽度值。获取第一个点和新增点a₁之间的斜率k₁，以及最后一个点和新增点a₂之间的斜率k₂，按下式计算a₁，a₂点的纵坐标：

y₀＝-x₁k₁+y₁

y₁₉＝(x-1-x₁₈)k₂+y₁₈

式中x表示图片宽度值。把a₁，a₂两点分别作为脸部轮廓检测点的起始点和终止点，将新脸部轮廓(20点)连点描线做一条分割线，分割线以上认为是脸部轮廓；分割线以下部分默认为颈部，将分割线以下部分填充黑色。

S22，对眉毛进行遮挡处理的步骤为：

将眉毛的轮廓点(5点)作为其绘制眉毛图形的基准点，连点描线，线之间的宽度w设置为步骤S21所述脸部轮廓宽度的1/12，即：

在该眉毛线宽范围内填充黑色。

S23，对眼睛进行遮挡处理的步骤为：

已知眼部轮廓点集合为{(x₁₈,y₁₈),(x₁₉,y₁₉),(x₂₀,y₂₀)...(x₂₄,y₂₄)}，则该轮廓重心点可表示为

重心点到轮廓点(x_i,y_i)的距离表示为k_i：

重心点到轮廓点(x_i,y_i)的距离表示为d_i：

将d_i延伸1.3倍，即d_i'＝d_i*1.3；设新的眼部轮廓点集合为{(x'₁₈,y'₁₈),(x'₁₉,y'₁₉),(x'₂₀,y'₂₀)...(x'₂₄,y'₂₄)}，利用k_i和d′_i计算(x'_i,y'_i)：

将新的眼部轮廓点集合连点画线，形成一个闭合多边形，并将其内部填充为黑色。

S24，对嘴部轮廓进行遮挡处理的步骤为：

已知嘴部轮廓点集合为{(x₁,y₁),(x₂,y₂),(x₃,y₃)...(x₁₇,y₁₇)}，则该轮廓重心点可表示为

重心点到轮廓点(x_i,y_i)的距离表示为k_i：

重心点到轮廓点(x_i,y_i)的距离表示为d_i：

将d_i延伸1.3倍，即d_i′＝d_i*1.3。设新的嘴部轮廓点集合为{(x'₁,y'₁),(x'₂,y'₂),(x'₃,y'₃)...(x'₁₇,y'₁₇)}，利用k_i和d′_i计算(x'_i,y'_i)：

将新的嘴部轮廓点集合连点画线，形成一个闭合多边形，并将其内部填充为黑色。

以此完成对划分的6组人脸轮廓点的遮挡处理。步骤S21‐S24的顺序可以依据操作人员的习惯做任意更改。

S3，将遮挡处理后的人脸图像送入RGB肤色模型进行逐行逐列扫描，当该人脸图像上的某一像素点的像素值满足条件时，则认为该像素点为皮肤；否则为非皮肤，并将该像素点的像素值置为0。

S4，处理结束。

本发明利用CLM‐Framework框架对人脸进行检测，得到68个人脸特征点，并将其划分为脸轮廓和五官等轮廓点组。针对不同的轮廓点组，按照一定规则对原人脸图像进行遮挡。然后依据RGB空间参数肤色模型对人脸图像进行肤色检测，进一步精确提取人脸皮肤部分，从而实现对人脸隐私保护，并且不影响图像的后期操作处理。以此实现对患者隐私的合理保护，提高监管安全性能。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于图像处理技术的人脸隐私保护方法，其特征在于，包括如下步骤：

S1，载入AFW数据集，利用CLM算法进行特征点处的局部特征提取和回归，以样本真实值计算与所述特征点的马氏距离作为误差，反向传播微调参数，得到检测68个人脸关键点的参数模型；

S2，载入待处理人脸图像和所述参数模型，利用该参数模型处理所述待处理人脸图像得到68个人脸关键点，将该68个人脸关键点按顺序分为N组轮廓点，对这N组轮廓点按预定规则进行遮挡处理；其中，N≥5；

S3，将遮挡处理后的人脸图像送入RGB肤色模型进行逐行逐列扫描，当该人脸图像上的某一像素点的像素值满足条件时，则认为该像素点为皮肤；否则为非皮肤，并将该像素点的像素值置为0。

2.根据权利要求1所述的基于图像处理技术的人脸隐私保护方法，其特征在于，所述N组轮廓点至少包括脸部轮廓、眉毛、眼睛以及嘴部轮廓。

3.根据权利要求2所述的基于图像处理技术的人脸隐私保护方法，其特征在于，所述步骤S2中，按预定规则进行遮挡处理的具体步骤为：

S21，对脸部轮廓进行遮挡处理，具体为：

设脸部轮廓第一个点坐标为(x₁,y₁)，最后一个点坐标为(x₁₈,y₁₈)，设置新增点a₁(x₀,y₀)，a₂(x₁₉,y₁₉)，其中，x₀，x₁₉分别是0，x-1；其中x表示图片宽度值。获取第一个点和新增点a₁之间的斜率k₁，以及最后一个点和新增点a₂之间的斜率k₂，按下式计算a₁，a₂点的纵坐标：

y₀＝-x₁k₁+y₁

y₁₉＝(x-1-x₁₈)k₂+y₁₈

式中x表示图片宽度值。把a₁，a₂两点分别作为脸部轮廓检测点的起始点和终止点，将新脸部轮廓连点描线做一条分割线，分割线以上认为是脸部轮廓；分割线以下部分默认为颈部，将分割线以下部分填充黑色；

S22，对眉毛进行遮挡处理，步骤为：

将眉毛的轮廓点作为其绘制眉毛图形的基准点，连点描线，线之间的宽度w设置为步骤S21所述脸部轮廓宽度的1/12，即：

在该眉毛线宽范围内填充黑色；

S23，对眼睛进行遮挡处理，步骤为：

已知眼部轮廓点集合为{(x₁₈,y₁₈),(x₁₉,y₁₉),(x₂₀,y₂₀)...(x₂₄,y₂₄)}，则该轮廓重心点可表示为

重心点到轮廓点(x_i,y_i)的距离表示为k_i：

重心点到轮廓点(x_i,y_i)的距离表示为d_i：

将d_i延伸1.3倍，即d′_i＝d_i*1.3；设新的眼部轮廓点集合为{(x'₁₈,y'₁₈),(x'₁₉,y'₁₉),(x'₂₀,y'₂₀)...(x'₂₄,y'₂₄)}，利用k_i和d_i'计算(x'_i,y'_i)：

将新的眼部轮廓点集合连点画线，形成一个闭合多边形，并将其内部填充为黑色；

S24，对嘴部轮廓进行遮挡处理，步骤为：

已知嘴部轮廓点集合为{(x₁,y₁),(x₂,y₂),(x₃,y₃)...(x₁₇,y₁₇)}，则该轮廓重心点可表示为

重心点到轮廓点(x_i,y_i)的距离表示为k_i：

重心点到轮廓点(x_i,y_i)的距离表示为d_i：

将d_i延伸1.3倍，即d′_i＝d_i*1.3；设新的嘴部轮廓点集合为{(x'₁,y'₁),(x'₂,y'₂),(x'₃,y'₃)...(x'₁₇,y'₁₇)}，利用k_i和d_i'计算(x'_i,y'_i)：

将新的嘴部轮廓点集合连点画线，形成一个闭合多边形，并将其内部填充为黑色。