CN109740472A - 一种防闭眼的拍照方法 - Google Patents

Abstract

一种防闭眼的拍照方法，该法先对拍摄的视频文件进行每帧图像的人脸检测，获得人脸图像，再对人脸图像进行人脸区域的关键定位检测获取人眼关键点定位信息，并以此关键点作为初始点输入人眼关键点定位模型，根据获取的处理后的人眼关键点定位信息计算人眼的睁闭状态，统计每帧图像中人脸和闭眼人数，判断闭眼人数是否大于0，若等于0，则利用图像质量评判算法进行图像质量系数的计算，再根据图像质量系数对各图像进行排序，并筛选出图像质量系数处于前数位的原始图像供用户选择即可。本设计不仅提高了人眼关键点定位的精度、简化了睁闭眼状态的监测，而且改善了图像拍摄效果。

Description

一种防闭眼的拍照方法

技术领域

本发明属于移动硬件的人脸拍照领域，具体涉及一种防闭眼的拍照方法。

背景技术

随着智能终端的普及，拍照技术不断的发展，越来越多的用户玩自拍或者群拍。在拍照时，经常会遇到闭眼的情况，拍照图像效果不好，需要重新拍摄，但是重新拍摄时会错过想要拍摄的场景，影响用户体验。

现有的拍照方案中，针对闭眼检测，一般采用通过对眼睛形状的捕捉判断眼睛的状态，主要是基于几何特征的方法进行眼睛睁闭状态检测，在计算几何特征过程中，人眼区域的关键点定位精度是尤为重要，直接影响后续的几何特征精度，此外选择一套鲁棒性强的几何特征算法也是尤为关键，同时，在拍摄过程中避开拍摄时睁闭眼难题、得到拍摄质量最好的图像也是比较迫切的。

发明内容

鉴于上述背景，本发明提供了一种能够有效提高定位精度、改善拍摄效果的防闭眼的拍照方法。

为实现以上目的，本发明的技术方案如下：

一种防闭眼的拍照方法，依次包括以下步骤：

步骤A、首先拍摄人物场景的短视频，再对短视频文件进行每帧图像的人脸检测，获得人脸图像；

步骤B、先对步骤A得到的人脸图像进行人脸区域的关键定位检测以获取人眼关键点定位信息，再根据人眼关键点定位信息计算人眼轮廓外接矩形，并以此外接矩形的中心位置不变，将外接矩形扩大一倍后在原图上截取人眼图像区域，同时将原图上此区域的关键点坐标信息变换到截取的人眼图像上的对应位置；

步骤C、以步骤B得到的截取人眼图像的关键点作为初始点输入人眼关键点定位模型中，获取处理后的人眼关键点定位信息；

步骤D、先根据处理后的人眼关键点定位信息计算人眼的睁闭状态，再统计每帧图像中人脸和闭眼人数，判断闭眼人数是否大于0，若等于0，则将对应的图像进行步骤E的操作，否则不进行后续操作；

步骤E、先利用图像质量评判算法对步骤D筛选出的图像进行图像质量系数的计算，再根据图像质量系数对各图像进行排序，并筛选出图像质量系数处于前数位的原始图像供用户选择即可。

步骤C中，所述人眼关键点定位模型的数学表达式为：

上式中，表示图像上的p个特征点，表示从p个特征点上提取的SIFT特征，其中每个特征点提取128个SIFT特征，φ_*＝h(d(x_*))表示该人脸的真实特征点所提取的SIFT特征，x₀表示人眼关键点的初始位置，Δx表示人眼关键点的移动步长。

步骤D中，所述人眼的睁闭状态通过计算人眼的纵横比得到：

上式中，EAR表示人眼的纵横比，p₁、p₄分别表示作、右眼角的特征点坐标信息，p₂、p₃分别表示上眼睑上左、右两侧的特征点坐标信息，p₆、p₅分别表示下眼睑上左、右两侧的特征点坐标信息。

步骤E中，所述利用图像质量评判算法对步骤D筛选出的图像进行图像质量系数的计算基于多因素融合方法，依次包括以下步骤：

步骤E1、针对各图像质量评判因素，先定义评估各因素的人脸图像质量评估算法，计算出各因素下的人脸图像质量分数，再分别根据各因素、利用人脸质量评估算法对局部像素或特征进行分析，然后通过融合的方法得到各因素的全局分数，此全局分数即为各因素的原始图像质量分数，其中，所述图像质量评判因素包括遮挡范围、模糊度、光照强度、人脸姿态角度、人脸完整度、人脸大小；

步骤E2、先对各因素的原始图像质量分数进行归一化处理，再将归一化后的各因素的图像质量分数映射到一个总体的人脸质量分数，该总体的人脸质量分数即为图像质量系数。

步骤E1中，

对于模糊度因素，该因素下的人脸图像质量分数的计算是指：

先利用拉普拉斯算子做卷积运算，再计算方差作为模糊度系数，然后将该模糊度系数与预先建立的模糊度系数-质量分数数据库匹配得到该因素下的人脸图像质量分数，其中，拉普拉斯算子的数学表达式为：

▽²f＝[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)

上式中，表示拉普拉斯变换，f(x，y)表示图像中的坐标(x，y)所对应的图像灰度值；

对于光照强度因素，该因素下的人脸图像质量分数的计算是指：

先采用累积直方图来确定人脸光照强度，判断当前人脸图像属于高光照还是低光照类型，再将该光照强度与预先建立的光照强度-质量分数数据库匹配得到该因素下的人脸图像质量分数；

对于人脸姿态角度因素，该因素下的人脸图像质量分数的计算是指：

先利用人脸姿态估计计算出人脸的pitch、yaw、roll角度信息，再将该角度信息与预先建立的人脸姿态信息-质量分数数据库匹配得到该因素下的人脸图像质量分数。

步骤A中，所述每帧图像的人脸检测通过每帧人脸检测个数是否大于0来判断此帧图像有无人脸，对于无人脸的图像不进行后续分析处理。

与现有技术相比，本发明的有益效果为：

1、本发明一种防闭眼的拍照方法对于人眼关键点定位信息，先根据该信息计算人眼轮廓外接矩形，并以此外接矩形的中心位置不变，将外接矩形扩大一倍后在原图上截取人眼图像区域，同时将原图上此区域的关键点坐标信息变换到截取的人眼图像上的对应位置，再以截取人眼图像的关键点作为初始点输入人眼关键点定位模型中，获取处理后的人眼关键点定位信息，与常规人脸特征点定位相比，本方法将人眼图像区域单独截取出来，并以截取人眼图像的关键点作为初始点，将其输入人眼关键点定位模型中，有效提高了人眼关键点定位的精度。因此，本发明提高了人眼关键点定位的精度。

2、本发明一种防闭眼的拍照方法通过计算人眼的纵横比即人眼的长宽比得到人眼的睁闭状态，人眼的长宽比在眼睛睁开时大致是恒定的，但在发生眨眼时会迅速下降到零，利用该方法能有效简化睁闭眼状态的监测。因此，本发明有效简化了睁闭眼状态的监测。

3、本发明一种防闭眼的拍照方法中图像质量评判算法基于多因素融合方法从遮挡范围、模糊度、光照强度、人脸姿态角度、人脸完整度、人脸大小多个方面进行图像质量评估，不仅能够分析图像清晰程度，还可过滤掉因人脸遮挡和人脸姿态等因素造成的拍摄图像不理想的情况。因此，本发明显著改善了图像拍摄效果。

附图说明

图1为本发明的流程图。

图2为本发明实施例1中人眼关键点定位的效果图。

图3为本发明实施例1中人眼纵横比计算曲线图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细的说明。

参见图1，一种防闭眼的拍照方法，依次包括以下步骤：

步骤A、首先拍摄人物场景的短视频，再对短视频文件进行每帧图像的人脸检测，获得人脸图像；

步骤B、先对步骤A得到的人脸图像进行人脸区域的关键定位检测以获取人眼关键点定位信息，再根据人眼关键点定位信息计算人眼轮廓外接矩形，并以此外接矩形的中心位置不变，将外接矩形扩大一倍后在原图上截取人眼图像区域，同时将原图上此区域的关键点坐标信息变换到截取的人眼图像上的对应位置；

步骤C、以步骤B得到的截取人眼图像的关键点作为初始点输入人眼关键点定位模型中，获取处理后的人眼关键点定位信息；

步骤D、先根据处理后的人眼关键点定位信息计算人眼的睁闭状态，再统计每帧图像中人脸和闭眼人数，判断闭眼人数是否大于0，若等于0，则将对应的图像进行步骤E的操作，否则不进行后续操作；

步骤E、先利用图像质量评判算法对步骤D筛选出的图像进行图像质量系数的计算，再根据图像质量系数对各图像进行排序，并筛选出图像质量系数处于前数位的原始图像供用户选择即可。

步骤C中，所述人眼关键点定位模型的数学表达式为：

上式中，表示图像上的p个特征点，表示从p个特征点上提取的SIFT特征，其中每个特征点提取128个SIFT特征，φ_*＝h(d(x_*))表示该人脸的真实特征点所提取的SIFT特征，x₀表示人眼关键点的初始位置，Δx表示人眼关键点的移动步长。

步骤D中，所述人眼的睁闭状态通过计算人眼的纵横比得到：

上式中，EAR表示人眼的纵横比，p₁、p₄分别表示作、右眼角的特征点坐标信息，p₂、p₃分别表示上眼睑上左、右两侧的特征点坐标信息，p₆、p₅分别表示下眼睑上左、右两侧的特征点坐标信息。

步骤E中，所述利用图像质量评判算法对步骤D筛选出的图像进行图像质量系数的计算基于多因素融合方法，依次包括以下步骤：

步骤E1、针对各图像质量评判因素，先定义评估各因素的人脸图像质量评估算法，计算出各因素下的人脸图像质量分数，再分别根据各因素、利用人脸质量评估算法对局部像素或特征进行分析，然后通过融合的方法得到各因素的全局分数，此全局分数即为各因素的原始图像质量分数，其中，所述图像质量评判因素包括遮挡范围、模糊度、光照强度、人脸姿态角度、人脸完整度、人脸大小；

步骤E2、先对各因素的原始图像质量分数进行归一化处理，再将归一化后的各因素的图像质量分数映射到一个总体的人脸质量分数，该总体的人脸质量分数即为图像质量系数。

步骤E1中，

对于模糊度因素，该因素下的人脸图像质量分数的计算是指：

先利用拉普拉斯算子做卷积运算，再计算方差作为模糊度系数，然后将该模糊度系数与预先建立的模糊度系数-质量分数数据库匹配得到该因素下的人脸图像质量分数，其中，拉普拉斯算子的数学表达式为：

▽²f＝[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)

上式中，表示拉普拉斯变换，f(x，y)表示图像中的坐标(x，y)所对应的图像灰度值；

对于光照强度因素，该因素下的人脸图像质量分数的计算是指：

先采用累积直方图来确定人脸光照强度，判断当前人脸图像属于高光照还是低光照类型，再将该光照强度与预先建立的光照强度-质量分数数据库匹配得到该因素下的人脸图像质量分数；

对于人脸姿态角度因素，该因素下的人脸图像质量分数的计算是指：

先利用人脸姿态估计计算出人脸的pitch、yaw、roll角度信息，再将该角度信息与预先建立的人脸姿态信息-质量分数数据库匹配得到该因素下的人脸图像质量分数。

步骤A中，所述每帧图像的人脸检测通过每帧人脸检测个数是否大于0来判断此帧图像有无人脸，对于无人脸的图像不进行后续分析处理。

本发明的原理说明如下：

人脸关键点定位模型：

本发明所述眼睛关键点定位模型分为模型训练和模型预测两阶段，其中，

模型预测是给定一个初始形状x₀即人眼关键点的基础上，通过回归的方法将x₀回归到该人眼正确的形状x_*上，即为求得使下式中f(x₀+Δx)最小的Δx：

模型训练阶段，上式中Δx和φ_*已知，通过训练得到一个良好的回归器，使初始形状x₀能够一步步回归到正确的未知形状上去。一般来说，初始形状x₀就是所有已知样本的真实形状的平均形状。

本发明所述人脸遮挡主要包括物体遮挡和人脸自遮挡，物体遮挡例如戴口罩、建筑物遮挡等。如果两个人挨得特别近，以至于挡住后面人脸部的一部分，即为人脸自遮挡。

实施例1：

参见图1，一种防闭眼的拍照方法，依次按照以下步骤进行：

步骤1、首先拍摄人物场景的短视频，再对短视频文件进行每帧图像的人脸检测，通过每帧人脸检测个数是否大于0来判断此帧图像有无人脸，对于无人脸的图像不进行后续分析处理，最终获得人脸图像。

步骤2、先对步骤1得到的人脸图像进行人脸区域的关键定位检测以获取人眼关键点定位信息，再根据人眼关键点定位信息计算人眼轮廓外接矩形，并以此外接矩形的中心位置不变，将外接矩形扩大一倍后在原图上截取人眼图像区域，同时将原图上此区域的关键点坐标信息变换到截取的人眼图像上的对应位置。

步骤3、以步骤2得到的截取人眼图像的关键点作为初始点输入人眼关键点定位模型中，获取处理后的人眼关键点定位信息，其中，所述人眼关键点定位模型的数学表达式为：

上式中，表示图像上的p个特征点，表示从p个特征点上提取的SIFT特征，其中每个特征点提取128个SIFT特征，φ_*＝h(d(x_*))表示该人脸的真实特征点所提取的SIFT特征，x₀表示人眼关键点的初始位置，Δx表示人眼关键点的移动步长。

步骤4、先根据处理后的人眼关键点定位信息计算人眼的睁闭状态，再统计每帧图像中人脸和闭眼人数，判断闭眼人数是否大于0，若等于0，则将对应的图像进行步骤5的操作，否则不进行后续操作，其中，所述人眼的睁闭状态通过计算人眼的纵横比得到：

上式中，EAR表示人眼的纵横比，p₁、p₄分别表示作、右眼角的特征点坐标信息，p₂、p₃分别表示上眼睑上左、右两侧的特征点坐标信息，p₆、p₅分别表示下眼睑上左、右两侧的特征点坐标信息，p₁,Λ,p₆在图像上的显示如图2所示，分子是计算垂直眼睛标志之间的距离，分母是计算水平眼睛标志之间的距离，因为只有一组水平点，所以进行加权分母。

本实施例针对一段人脸自拍短视频计算每帧图像的人眼纵横比，并绘制成曲线，其效果如3所示。

从该图可以看出，睁眼时人眼纵横比是恒定的，闭眼时会迅速下降到接近零，然后再增加至恒定值，表明一个单一的眨眼已经发生，其发生的效果与原拍摄短视频是一致。

步骤5、利用图像质量评判算法，针对各图像质量评判因素，先定义评估各因素的人脸图像质量评估算法，计算出各因素下的人脸图像质量分数，再分别根据各因素、利用人脸质量评估算法对局部像素或特征进行分析，然后通过融合的方法得到各因素的全局分数，此全局分数即为各因素的原始图像质量分数，其中，所述图像质量评判因素包括遮挡范围、模糊度、光照强度、人脸姿态角度、人脸完整度、人脸大小，

对于模糊度因素，该因素下的人脸图像质量分数的计算是指：

先利用拉普拉斯算子做卷积运算，再计算方差作为模糊度系数，然后将该模糊度系数与预先建立的模糊度系数-质量分数数据库匹配得到该因素下的人脸图像质量分数，其中，拉普拉斯算子的数学表达式为：

▽²f＝[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)

上式中，表示拉普拉斯变换，f(x，y)表示图像中的坐标(x，y)所对应的图像灰度值；

对于光照强度因素，该因素下的人脸图像质量分数的计算是指：

先采用累积直方图来确定人脸光照强度，判断当前人脸图像属于高光照还是低光照类型，再将该光照强度与预先建立的光照强度-质量分数数据库匹配得到该因素下的人脸图像质量分数；

对于人脸姿态角度因素，该因素下的人脸图像质量分数的计算是指：

先利用人脸姿态估计计算出人脸的pitch、yaw、roll角度信息，再将该角度信息与预先建立的人脸姿态信息-质量分数数据库匹配得到该因素下的人脸图像质量分数。

步骤6、先对各因素的原始图像质量分数进行归一化处理，再将归一化后的各因素的图像质量分数映射到一个总体的人脸质量分数，该总体的人脸质量分数即为图像质量系数。

步骤7、根据图像质量系数对各图像进行排序，筛选出图像质量系数处于前3位的原始图像供用户选择即可。

Claims (6)

1.一种防闭眼的拍照方法，其特征在于：

所述方法依次包括以下步骤：

步骤A、首先拍摄人物场景的短视频，再对短视频文件进行每帧图像的人脸检测，获得人脸图像；

步骤B、先对步骤A得到的人脸图像进行人脸区域的关键定位检测以获取人眼关键点定位信息，再根据人眼关键点定位信息计算人眼轮廓外接矩形，并以此外接矩形的中心位置不变，将外接矩形扩大一倍后在原图上截取人眼图像区域，同时将原图上此区域的关键点坐标信息变换到截取的人眼图像上的对应位置；

步骤C、以步骤B得到的截取人眼图像的关键点作为初始点输入人眼关键点定位模型中，获取处理后的人眼关键点定位信息；

步骤D、先根据处理后的人眼关键点定位信息计算人眼的睁闭状态，再统计每帧图像中人脸和闭眼人数，判断闭眼人数是否大于0，若等于0，则将对应的图像进行步骤E的操作，否则不进行后续操作；

步骤E、先利用图像质量评判算法对步骤D筛选出的图像进行图像质量系数的计算，再根据图像质量系数对各图像进行排序，并筛选出图像质量系数处于前数位的原始图像供用户选择即可。

2.根据权利要求1所述的一种防闭眼的拍照方法，其特征在于：

步骤C中，所述人眼关键点定位模型的数学表达式为：

上式中，表示图像上的p个特征点，表示从p个特征点上提取的SIFT特征，其中每个特征点提取128个SIFT特征，φ_*＝h(d(x_*))表示该人脸的真实特征点所提取的SIFT特征，x₀表示人眼关键点的初始位置，Δx表示人眼关键点的移动步长。

3.根据权利要求1或2所述的一种防闭眼的拍照方法，其特征在于：

步骤D中，所述人眼的睁闭状态通过计算人眼的纵横比得到：

上式中，EAR表示人眼的纵横比，p₁、p₄分别表示作、右眼角的特征点坐标信息，p₂、p₃分别表示上眼睑上左、右两侧的特征点坐标信息，p₆、p₅分别表示下眼睑上左、右两侧的特征点坐标信息。

4.根据权利要求1或2所述的一种防闭眼的拍照方法，其特征在于：

步骤E中，所述利用图像质量评判算法对步骤D筛选出的图像进行图像质量系数的计算基于多因素融合方法，依次包括以下步骤：

步骤E1、针对各图像质量评判因素，先定义评估各因素的人脸图像质量评估算法，计算出各因素下的人脸图像质量分数，再分别根据各因素、利用人脸质量评估算法对局部像素或特征进行分析，然后通过融合的方法得到各因素的全局分数，此全局分数即为各因素的原始图像质量分数，其中，所述图像质量评判因素包括遮挡范围、模糊度、光照强度、人脸姿态角度、人脸完整度、人脸大小；

步骤E2、先对各因素的原始图像质量分数进行归一化处理，再将归一化后的各因素的图像质量分数映射到一个总体的人脸质量分数，该总体的人脸质量分数即为图像质量系数。

5.根据权利要求4所述的一种防闭眼的拍照方法，其特征在于：

步骤E1中，

对于模糊度因素，该因素下的人脸图像质量分数的计算是指：

先利用拉普拉斯算子做卷积运算，再计算方差作为模糊度系数，然后将该模糊度系数与预先建立的模糊度系数-质量分数数据库匹配得到该因素下的人脸图像质量分数，其中，拉普拉斯算子的数学表达式为：

上式中，表示拉普拉斯变换，f(x，y)表示图像中的坐标(x，y)所对应的图像灰度值；

对于光照强度因素，该因素下的人脸图像质量分数的计算是指：

先采用累积直方图来确定人脸光照强度，判断当前人脸图像属于高光照还是低光照类型，再将该光照强度与预先建立的光照强度-质量分数数据库匹配得到该因素下的人脸图像质量分数；

对于人脸姿态角度因素，该因素下的人脸图像质量分数的计算是指：

先利用人脸姿态估计计算出人脸的pitch、yaw、roll角度信息，再将该角度信息与预先建立的人脸姿态信息-质量分数数据库匹配得到该因素下的人脸图像质量分数。

6.根据权利要求1或2所述的一种防闭眼的拍照方法，其特征在于：

步骤A中，所述每帧图像的人脸检测通过每帧人脸检测个数是否大于0来判断此帧图像有无人脸，对于无人脸的图像不进行后续分析处理。