CN106572304A - 基于眨眼检测的智能手机拍照系统和方法 - Google Patents

Abstract

本发明公开了一种基于眨眼检测的智能手机拍照系统和方法，主要解决现有接触式手机拍摄在某些情况下操作不便，以及非接触式人机交互方式难以应用到手机拍照的问题。具体实现为：对手机拍摄模式进行设置，设自拍和普通拍摄；由手机前置摄像头采集拍摄者人脸面部图像序列，检测人眼区域，提取边缘轮廓，进行眨眼判定；在确认有连续眨眼动作时，发送拍摄通知给指令发送模块；指令发送模块发送拍摄指令到拍摄模块；拍摄模块根据设置的拍摄模式控制手机摄像头拍摄；拍摄后由声音提示拍摄完成。本发明提供了一种眨眼控制拍摄的新方法，提高了手机拍照的便捷性，实现了无需手动操作即可拍摄的功能，可用于拍摄者自拍或给他人进行拍照。

Description

基于眨眼检测的智能手机拍照系统和方法

技术领域

本发明属于手机拍照技术领域，更进一步涉及智能手机拍照中的拍照启动，具体是一种基于眨眼检测的智能手机拍照系统和方法。用于智能手机的拍照。

背景技术

如今智能手机已经十分普及，而拍照是智能手机中一项非常重要且经常使用的功能。传统的控制手机进行拍照的人机交互方式主要是接触式，这种方式通常是在手机检测到有触屏或有按键按下时启动摄像头完成拍摄，在某些情况下操作不便。随着电子信息技术的飞速发展，目前，出现了一些非接触式的人机交互方式，主要是通过语音或眼部动作来控制手机，但应用于手机拍照的非接触式交换方式还较少，主要是由于这些非接触式方式通常需要复杂的设备，难以在手机上应用。

程时伟、孙志强在其发表的论文“用于移动设备人机交互的眼动跟踪方法”(Journal of Computer-Aided Design&Computer Graphics，Vol.26No.8Aug.2014)中提出了一种面向移动式交互的眼动跟踪方法。该方法包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次，首先对眼球红外图像进行滤波、二值化处理，进而基于瞳孔角膜反射法，结合二次定位和改进的椭圆拟合方法检测瞳孔，设计缩放因子驱动的模板匹配法检测普洱钦斑，在此基础上，计算注视点坐标等眼动数据，最后设计开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统。该方法存在的不足之处是，需要眼球的红外图像，因此需要红外摄像头进行图像的获取，并且最后设计的头戴式设备复杂，难以在手机上实现。

深圳先进技术研究院在其申请的专利“一种基于视线判断的人机交互方法及系统”(申请号201210261378.8，申请公布号CN 102830797B)中公开了一种基于视线判断的人机交互方法和系统。该专利的方法主要是通过获取人脸图像，对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位，检测眨眼动作或闭眼动作，根据检测到的眨眼或闭眼动作发送相应的控制命令给电子设备。该方法存在的不足之处是，需要对人眼的瞳孔进行定位，进行视线判断，实现方法较为繁琐复杂。该专利的系统是一种基于视线判断的人机交互系统，主要包括获取帧图像、人眼区域检测、瞳孔中心定位、系统标定、视线追踪及控制命令发送这几个模块，通过检测人脸图像中的人眼，对瞳孔中心进行定位，通过摄像头实现在电子设备上稳定地实现焦点判断，并通过眨眼或闭眼发出控制命令，该系统存在的不足之处是，需要进行瞳孔中心定位、系统标定及视线追踪，实现方法复杂，难以应用到手机拍摄系统的实现上。

以上两种方法的主要不足之处是，眨眼检测设备复杂，需要人眼的红外图像，或者需要对人眼的瞳孔进行定位，进行视线判断，实现方法较为繁琐复杂，难以应用到手机拍摄系统的实现上。

发明内容

针对上述现有技术的缺陷，本发明提出了一种实现简单、准确度高的基于眨眼检测的智能手机拍照系统和方法。

本发明是一种基于眨眼检测的智能手机拍照系统，其特征在于，包括模式设置模块、图像采集模块、眨眼检测模块、指令发送模块、拍摄模块和语音提示模块；其中，模式设置模块与拍摄模块数据连接，对拍摄模块进行拍摄模式设定，图像采集模块采集拍摄者人脸面部图像，将其输入到眨眼检测模块进行眨眼检测，眨眼检测模块在检测到连续眨眼动作后，发送拍摄通知到指令发送模块，指令发送模块在接收到眨眼检测模块的拍摄通知后，延迟一定时间，发送拍摄指令到拍摄模块，拍摄模块接收到拍摄指令后，根据模式设置模块设定的拍摄模式进行照片拍摄，拍摄完成后发送拍摄完成通知给语音提示模块，语音提示模块收到拍摄完成通知，发出提示声音，各模块分述如下：

模式设置模块是由手机照相机APP对拍摄模式进行设置，拍摄模式分为自拍和普通拍摄两种模式，普通拍摄模式是指给他人拍摄，拍摄之前将设置好的拍摄模式以信号的形式传给拍摄模块；

图像采集模块是由手机前置摄像头在一定时间内采集m幅拍摄者的人脸图像，确保整个脸部被采集到，将采集到的m幅脸部图像传给眨眼检测模块；

眨眼检测模块对采集到的m幅人脸面部图像进行眨眼检测，在检测到有连续眨眼动作后，发送一个拍摄通知给指令发送模块；

指令发送模块收到眨眼检测模块发送过来的拍摄通知后，延迟一个固定的时间，发送拍摄指令到拍摄模块；

拍摄模块接到拍摄指令，依据拍摄模式进行拍照，在自拍模式下由手机前置摄像头拍摄照片，在普通拍摄模式下由手机后置摄像头拍摄照片，拍摄后发送一个拍摄完成通知给语音提示模块；

语音提示模块收到发送过来的拍摄完成通知时，由手机麦克风发出提示声音，眨眼控制拍摄完成。

本发明还是一种基于眨眼检测的智能手机拍照方法，是在基于眨眼检测的智能手机拍照系统上实现，其特征在于，包括有以下步骤：

(1)设置手机拍摄模式，手机拍摄模式包括自拍模式与普通拍摄模式两种，并将设置的拍摄模式传给拍摄模块；

(2)由手机照相机APP控制启动手机前置摄像头，获取拍摄者的m幅人脸图像，组成人脸图像序列；

(3)对获取到拍摄者的m幅人脸图像序列进行眨眼检测，检测到连续眨眼动作后发送拍摄通知给指令发送模块；

(4)指令发送模块接收到拍摄通知，在一个固定的延时时间后，发送拍摄指令到拍摄模块；

(5)拍摄模块收到拍摄指令后，根据设定好的拍摄模式进行自动拍摄，当拍摄为自拍模式时，启动手机前置摄像头拍摄照片，当拍摄模式为普通拍摄模式时，启动手机后置摄像头拍摄照片，拍摄后发送拍摄完成通知到声音提示模块；

(6)声音提示模块收到拍摄完成通知后，由手机麦克风发出声音，提示拍摄完成。

本发明通过检测人眼的眨动控制手机摄像头进行拍照，可以实现无需触屏或按键控制的智能手机拍照。

本发明与现有的技术相比具有以下优点：

1.本发明通过获取拍摄者的面部图像，检测眨眼动作信息，控制手机摄像头拍摄照片，不需要人手与手机交互，解决了现有手机拍摄方式多为接触式交互，在某些需要双手握持手机的情况下无法控制手机进行拍照的问题，使得拍摄者可以方便地拍摄照片。

2.本发明通过获取拍摄者面部图像，检测眨眼动作控制拍摄，在自拍和普通拍摄模式两种拍摄方式下都适用；通过手机的前置摄像头获取拍摄者的面部图像，无需其他辅助设备，易于实现，在获取拍摄者面部图像时，拍摄者只需正脸面对手机前置摄像头即可，不需其他特定条件，与拍摄者身体姿势等无关，适用于各种场合下的拍摄。

3.本发明在进行眨眼检测时，使用的人眼区域检测，边缘轮廓提取方法，眨眼判定方法准确度高，实现方法简单，可以准确地检测到拍摄者的眨眼动作信息。

4.本发明在进行眨眼检测时，使用的边缘轮廓提取方法中，先对人眼区域图像进行边缘轮廓提取，得到边缘点构成候选边缘轮廓图像，再用双阈值检测法检测候选边缘轮廓图像中的边缘点，可以有效去除误检的边缘点，因此得到的边缘轮廓图像精度更高，进而使得眨眼判定更加准确。

5.本发明在拍摄结束后，通过手机麦克风发出声音，提示拍摄完成，提供了更友好的人机交互。

附图说明

图1为本发明基于眨眼检测的智能手机拍照系统的总体框图；

图2为眨眼检测子模块的构成框图；

图3为本发明基于眨眼检测的智能手机拍照方法的流程示意图；

图4为构建特征点局部灰度模型时相邻像素点的选择方法示意图。

具体实施方式

下面结合附图对本发明作详细描述。

目前实现手机拍照的人机交互方式主要有两种，一是通过手机的触摸屏，二是通过手机的按键功能，这两种方式均需要人手与手机的交互，存在拍摄者只能单手握持手机，在某些情况下操作不便，以及因手机不稳定使得拍摄的照片失焦、模糊等问题。目前一些非接触式的通过眨眼检测实现的人机交互的方法也被提了出来，但需要人眼红外图像使得眨眼检测设备复杂，或者需要进行繁琐的瞳孔定位、视线判断等，难以应用到手机拍照上。针对这些问题，本发明展开了探索与研究，提出了通过检测拍摄者眨眼动作进而控制手机拍照的新设想。

实施例1

本发明是一种基于眨眼检测的智能手机拍照系统，参见图1，包括有模式设置模块、图像采集模块、眨眼检测模块、指令发送模块、拍摄模块和语音提示模块。其中，模式设置模块与拍摄模块数据连接，对拍摄模块进行拍摄模式设定，拍摄模式包括自拍模式与普通拍摄模式，该模块直接通过手机照相机APP实现。本发明中，图像采集模块采集拍摄者人脸面部图像，通过手机自带的前置摄像头对拍摄者的面部图像进行采集，采集到拍摄者面部图像后，将拍摄者人脸面部图像输入到眨眼检测模块进行眨眼检测，眨眼检测模块对输入的拍摄者面部图像进行眨眼检测，在检测到连续眨眼动作后，发送拍摄通知到指令发送模块，由手机照相机APP内部的眨眼检测算法实现，指令发送模块在接收到眨眼检测模块的拍摄通知后，延迟一定时间，发送拍摄指令到拍摄模块，拍摄模块接收到拍摄指令后，根据模式设置模块设定的拍摄模式，拍摄后发送拍摄完成通知给语音提示模块，拍摄模块与语音提示模块数据连接，语音提示模块收到拍摄完成通知，通过手机自带的麦克风发出提示声音，各模块分述如下：

模式设置模块由手机照相机APP实现，对手机的拍摄模式进行设置，拍摄模式分为自拍和普通拍摄两种模式，普通拍摄模式是给他人拍照或者拍前方景物，总之，是通过手机后置摄像头进行拍摄。本发明中，两种拍摄模式由两个不同的信号代表，设置好拍摄模式后，将代表拍摄模式的信号发送到拍摄模块；

图像采集模块是由手机前置摄像头采集m幅拍摄者的人脸面部图像，拍摄者在使用手机拍照时，正脸面对手机前置摄像头，确保脸部特别是眼部区域可以被采集到，然后图像采集模块将采集到的m幅脸部图像传给眨眼检测模块。

眨眼检测模块是由手机照相机APP对所述图像采集模块对采集到的m幅人脸面部图像进行眨眼检测，由手机照相机APP内部的眨眼检测算法实现，包括人眼区域检测模块、边缘轮廓提取模块和眨眼判定模块，首先由人眼区域检测模块检测出人脸面部图像中的人眼区域，再由边缘轮廓提取模块提取出人眼的边缘轮廓，最后对人眼边缘轮廓图进行眨眼判定，判定有连续眨眼动作后，发送一个拍摄通知给指令发送模块。

指令发送模块也由手机照相机APP内部算法实现，在收到眨眼检测模块发送过来的拍摄通知后，延迟一个固定的时间，例如延迟500毫秒，发送一个拍摄指令到拍摄模块。

拍摄模块在接到指令发送模块发送的拍摄指令时，依据模式设置模块发过来的拍摄模式信号，由手机照相机APP在自拍模式下启动手机的前置摄像头拍摄照片，在普通拍摄模式下启动手机的后置摄像头拍摄照片，拍摄后发送一个拍摄完成通知给语音提示模块。

语音提示模块是在收到拍摄模块发送过来的拍摄完成通知时，由手机照相机APP控制手机麦克风发出提示声音，表明拍摄完成。

实施例2

基于眨眼检测的智能手机拍照系统的总体构成同实施例1，其中的眨眼检测模块以数据流方向依次连接有人眼区域检测子模块、边缘轮廓提取子模块和眨眼判定子模块，参见图2，各子模块分述如下：

人眼区域检测子模块对图像采集模块传过来的m幅人脸图像进行人眼检测，检测出人眼区域，本实施例中采用ASM人眼检测算法，该算法根据一定数量的提前存储在手机内部存储设备中的人眼样本图像，例如50幅样本图像，通过在人眼样本图像中选择一定数量的人眼轮廓特征点，构建出人眼区域的形状模型，本例中，样本的人眼轮廓特征点的选择数量选择为21个。同时根据人眼轮廓特征点周围的像素点，为每个人眼轮廓特征点构建局部灰度模型，最后对输入的m幅人脸图像中的每一幅，先根据构建的人眼区域的形状模型建立一个人眼区域初始估计模型，再根据样本人眼轮廓特征点的局部灰度模型为输入的m幅人脸图像的人眼区域初始估计模型搜索最佳匹配，找出输入的m幅人脸图像中的人眼区域，最终得到m幅人眼区域图像，然后将这m幅人眼区域图像传给边缘轮廓提取子模块。

边缘轮廓提取子模块对m幅人眼区域图像进行边缘轮廓提取，本实施例中使用基于Canny算子的边缘轮廓提取方法。对m幅人眼区域图像中的每一幅，首先用高斯滤波器与其做卷积，得到平滑后的人眼区域图像，然后对平滑后的人眼区域图像中的每一个像素点求水平方向和垂直方向的偏导数，根据这两个方向的偏导数求梯度幅值和梯度方向，由所有像素点的梯度幅值和梯度方向构成这幅图像的梯度幅值图像和梯度方向图像，接着对梯度幅值图像进行非极大值抑制，得到候选人眼边缘轮廓图像，最后在候选人眼边缘轮廓图像中用双阈值法选择出边缘点，将所有的边缘点连接起来，得到最终的人眼边缘轮廓图像。对所有m幅人眼区域图像按上述方法进行检测，得到拍摄者的m幅人眼边缘轮廓图像，然后将这m幅人眼边缘轮廓图像传给眨眼判定子模块；

眨眼判定子模块对边缘轮廓提取子模块传来的m幅人眼边缘轮廓图两两作差，得到m-1幅差分图像，将差分图像二值化，检测二值化后的差分图像中的连通区域面积，连通区域面积大于一定阈值时，判定为发生了眨眼动作，检测所有二值化后的差分图像，眨眼的次数超过n次时，例如超过3次，判定为发生了连续眨眼动作，在判断到有连续眨眼动作后，发送拍摄通知给指令发送模块。本例中，阈值选为图像面积的1/10。

实施例3

本发明还是一种基于眨眼检测的智能手机拍照方法，是在基于眨眼检测的智能手机拍照系统上实现，参见图3，包括有以下步骤：

(1)拍摄模式设置，由模式设置模块完成，直接通过手机照相机APP设置手机拍摄模式，手机拍摄模式包括自拍和普通拍摄两种模式，普通拍摄模式是通过手机后置摄像头进行拍摄，本发明中，两种拍摄模式由两个不同的信号代表，本例中，用信号0代表自拍模式，用信号1代表普通拍摄模式，设置好拍摄模式后，将代表拍摄模式的信号发送到拍摄模块。拍摄模式的设置在拍摄前设置的。

(2)人脸图像序列获取，由手机照相机APP控制启动手机前置摄像头，获取拍摄者的m幅人脸图像，组成人脸图像序列。本例中，m选择为20，20幅人脸图像，组成人脸图像序列，将这20幅人脸图像存储在手机内部存储设备中。

具体实现时，是在一定的时间段内，时间段为1秒，获取拍摄者的m幅人脸图像。

(3)眨眼检测，由手机照相机APP内置的眨眼检测算法，对存储在手机内部存储设备中m幅人脸图像进行眨眼检测，首先用ASM算法检测出m幅人脸图像中的人眼区域，形成m幅人眼区域图像，然后用基于Canny算子的边缘提取方法对这m幅人眼区域图像进行边缘轮廓提取，得到m幅人眼边缘轮廓图像，最后对得到的m幅人眼边缘轮廓图像进行眨眼判定，在判断到有连续眨眼动作后，发送一个拍摄通知到指令发送模块。

(4)指令发送模块在收到眨眼检测模块传过来的拍摄通知后，延迟一个固定的时间，发送一个拍摄指令到拍摄模块。本例中，延迟时间设置为300毫秒。

(5)照片拍摄，拍摄模块收到拍摄指令后，根据模式设置模块传来的代表拍摄模式的信号，由手机照相机APP控制手机摄像头进行自动拍摄，当为自拍模式时，启动手机前置摄像头拍摄照片，当为普通拍摄模式时，启动手机后置摄像头拍摄照片，拍摄后发送一个拍摄完成通知给语音提示模块。

(6)声音提示完成拍摄，在声音提示模块收到拍摄模块发来的拍摄完成通知后，由手机麦克风发出声音，提示拍摄完成。

本发明通过获取拍摄者面部图像，检测眨眼动作控制拍摄，在自拍和普通拍摄模式两种拍摄方式下都适用，获取拍摄者的面部图像使用手机自带的前置摄像头，无需其他辅助设备，易于实现，并且只需拍摄者正脸面对手机前置摄像头即可，不需其他特定条件，与拍摄者身体姿势等无关，适用于各种场合下的拍摄。

实施例4

基于眨眼检测的智能手机拍照方法同实施例3，基于眨眼检测的智能手机拍照系统同实施例1-2，步骤(3)中对获取到拍摄者的m幅人脸图像进行眨眼检测，具体包括有：

(3a)人眼区域检测，使用ASM人眼检测算法，检测m幅人脸图像序列中的人眼区域，形成m幅人眼区域图像。首先根据一定数量的提前存储在手机内部存储设备中的人眼样本图像，在人眼样本图像中人眼轮廓上选择一定数量的特征点，构建出人眼区域的形状模型，同时根据人眼轮廓特征点周围的像素点，为每个人眼轮廓特征点构建局部灰度模型，最后对输入的m幅人脸图像，先根据构建的人眼区域的形状模型建立一个初始估计模型，再根据样本人眼轮廓特征点的局部灰度模型搜索与输入的m幅人脸图像初始估计模型最佳匹配，找出输入的m幅人脸图像中的人眼区域，最终得到m幅人眼区域图像，然后将这m幅人眼区域图像传给边缘轮廓提取子模块。本例中，人眼样本图像的数量为45，人眼轮廓特征点的数量为25。

(3b)人眼边缘轮廓提取，使用基于Canny算子的方法m幅人眼区域图像进行边缘检测，提取出边缘轮廓，形成m幅人眼边缘轮廓图像。对输入的m幅人眼区域图像，首先用高斯滤波器与m幅人眼区域图像做卷积，得到平滑后的人眼区域图像，然后对平滑后的人眼区域图像中的每一个像素点求水平方向和垂直方向的偏导数，根据这两个方向的偏导数求梯度幅值和梯度方向，由所有像素点的梯度幅值和梯度方向构成这幅图像的梯度幅值图像和梯度方向图像，接着对梯度幅值图像进行非极大值抑制，得到候选人眼边缘轮廓图像，最后在候选人眼边缘轮廓图像中用双阈值法选择出边缘点，将所有的边缘点连接起来，得到最终m幅的人眼边缘轮廓图像，将这m幅人眼边缘轮廓图像传给眨眼判定模块。

(3c)眨眼判定，对边缘轮廓提取子模块传来的m幅人眼边缘轮廓图像进行眨眼判定，确定m幅人眼边缘轮廓图像是否有连续眨眼动作，若有连续眨眼动作，发送拍摄通知给指令发送模块。首先对m幅人眼边缘轮廓图两两作差，得到m-1幅差分图像，然后将这m-1幅差分图像二值化，接着检测二值化后的差分图像中的连通区域面积，连通区域面积大于一定阈值时，本例中，阈值选为图像面积的1/15，判定为发生了眨眼动作，检测所有的m-1幅差分图，眨眼的次数超过n次时，本例中，n为5，判定为发生了连续眨眼动作，在判断到有连续眨眼动作后，发送拍摄通知给指令发送模块，进而执行后续步骤，完成眨眼检测控制的拍摄。

实施例5

基于眨眼检测的智能手机拍照系统和方法同实施例1-4，拍照方法步骤(3a)中使用ASM人眼检测方法确定出面部图像中的人眼区域,具体步骤如下：

(3a1)在手机内部存储设备中存放一定数量的人眼样本图像，本例中,人眼样本图像的数量选择为60；

(3a2)在人眼样本图像中，选择一定数量的人眼轮廓特征点，建立人眼区域的形状模型，本例中，人眼轮廓特征点的数量选择为17。

(3a3)对人眼样本图像中的人眼轮廓特征点，根据其周围的像素点，构建局部灰度模型。在某个特征点周围，选取一定数量的像素点，取它们的灰度值组成一个灰度向量，计算该灰度向量的梯度，得到灰度梯度向量，对灰度梯度向量进行归一化，然后计算归一化后的梯度向量的均值和方差，由均值和方差构成该特征点的局部灰度模型。对样本中的所有特征点，按上述方法构建局部灰度模型。

(3a4)根据(3a2)中建立的人眼区域的形状模型，为输入的m幅人脸图像序列构建人眼区域初始估计模型；

(3a5)根据(3a3)中构建的特征点的局部灰度模型，为人眼区域初始估计模型搜索最佳匹配，经过迭代搜索，得到最终的m幅人眼区域图像，用于之后的人眼轮廓提取。

实施例6

基于眨眼检测的智能手机拍照系统和方法同实施例1-5，拍摄方法步骤(3a2)在人眼样本图像中，选择一定数量的人眼轮廓特征点，建立人眼区域的形状模型，参见图4，具体包括：

对m幅人眼样本中的每一幅，在其中标定出k个人眼轮廓特征点，本例中k的值选择为9，将样本图像中标定的k个人眼轮廓特征点组成一个人眼形状向量α_i，如下式所示：

其中，表示第i个样本图像中第j个特征点的坐标，m表示人眼样本图像的数量。

m幅人眼样本图像中形成m个人眼形状向量，这m个人眼形状向量组成一个形状向量集{α₁,α₂,...,α_m}，将{α₁,α₂,...,α_m}中的m个形状向量对齐后进行PCA处理，得到人眼区域的形状模型α。

实施例7

基于眨眼检测的智能手机拍照系统和方法同实施例1-6，拍摄方法步骤(3a3)中对人眼样本图像中的人眼轮廓特征点，根据其周围的像素点，构建局部灰度模型，参见图4，具体包括：

对m幅人眼样本图像，在第i个样本图像中的第j个特征点的两侧，参见图4，沿着垂直于该点前后两个特征点连线的方向上分别选择z个像素，取它们的灰度值构成一个长度为2z+1的灰度向量g_ij＝(g_ij1,g_ij2,...,g_ij(2z+1))。

按下式计算g_ij的灰度梯度向量g'_ij：

g'_ij＝(g_ij2-g_ij1,g_ij3-g_ij3,...,g_ij(2z-1)-g_ij2z)＝(g'_ij1,g'_ij2,...,g'_ij2z)

对g'_ij按下式进行归一化，得到归一化后的梯度向量G_ij；

按下式计算归一化后的梯度向量G_ij的均值和协方差矩阵S_gj，作为第j个特征点的局部灰度模型；

对人眼区域中的所有人眼轮廓特征点，均按上述方法构建局部灰度模型。

实施例8

基于眨眼检测的智能手机拍照系统和方法同实施例1-7，拍摄方法步骤(3a4)中根据人眼区域的形状模型，为输入的m幅人脸图像序列构建人眼区域初始估计模型，具体为：

对人眼区域的形状模型α进行仿射变换，得到人眼区域初始估计模型α₀：

α₀＝M(s,θ)[α]+α_c

其中，α表示人眼区域的形状模型，θ表示旋转角度，s表示缩放比例，α_c表示平移量，M(s,θ)表示变换矩阵，其表示式如下：

得到的人眼区域初始估计模型用于后续步骤迭代更新，进而得到人眼区域图像。

实施例9

基于眨眼检测的智能手机拍照系统和方法同实施例1-9，拍摄方法步骤(3a5)中根据特征点的局部灰度模型，为人眼区域初始估计模型搜索最佳匹配，经过迭代搜索，得到最终的m幅人眼区域图像，具体为：

对人眼区域初始估计模型中的第j个特征点，考察其周围若干个像素点，将与当前特征点之间马氏距离最小的那个像素点为该特征点的最佳匹配，马氏距离的计算方法如下式所示：

其中，h_j(d)是第j个特征点周围第d个像素点的归一化梯度向量，是第j个特征点的局部灰度模型中的均值，S_gj是第j个特征点的局部灰度模型中的协方差矩阵。

对初始估计模型中的所有特征点，找到最佳匹配，由这些最佳匹配点构成新的形状向量，由新的形状向量与初始估计模型计算仿射变换参数的改变量，根据改变后的仿射变换对初始估计模型进行调整，计算出初始估计模型的改变量，然后更新仿射变换的参数，并将调整后的初始估计模型作为新的估计模型。

重复迭代上述步骤，直到仿射变换的参数变化不是很大，趋于稳定，得到最终的人眼区域的形状模型。对所有m幅人眼样本图像按上述方法找到人眼区域形状模型，构成m幅人眼区域图像。

实施例10

基于眨眼检测的智能手机拍照系统和方法同实施例1-9，拍摄方法步骤(3b)中基于Canny算子的方法进行人眼边缘检测，具体步骤如下：

(3b1)用高斯滤波器对人眼区域图像进行平滑，即用如下的高斯滤波器与原图像作卷积：

其中，G(x,y)表示高斯滤波器，x和y分别表示像素点的横坐标与纵坐标，σ表示高斯滤波器参数；

(3b2)计算平滑后的人眼区域图像的梯度幅值和梯度方向，构成梯度幅值图像G和梯度方向图像Θ；

按下式计算平滑后的人眼区域图像在水平方向和垂直方向的偏导数：

G_x(i,j)＝(I(i,j+1)-I(i,j)+I(i+1,j+1)-I(i+1,j))/2

G_y(i,j)＝(I(i,j)-I(i+1,j)+I(i,j+1)-I(i+1,j+1))/2

其中,I(i,j)表示图像中点(i,j)处的灰度值大小，G_x(i,j)和G_y(i,j)分别表示图像中点(i,j)处水平方向和垂直方向的偏导数。

根据平滑后的人眼区域图像在水平方向和垂直方向的偏导数计算平滑后图像的梯度幅值和梯度方向，如下式：

其中G(i,j)表示图像梯度的幅值，θ(i,j)表示图像梯度的方向；

遍历计算平滑后的人眼区域图像中每一点的梯度幅值和方向，构成梯度幅值图像G和梯度方向图像Θ。

(3b3)对梯度幅值图像G进行非极大值抑制，得到候选边缘图像N。

遍历梯度幅值图像G中的每个点(i,j),在其周围3×3的邻域内沿梯度方向θ(i,j)进行插值，如果点(i,j)处的梯度幅值G(i,j)大于θ(i,j)方向上与其相邻的两个插值，则该点是边缘点，遍历完整幅梯度幅值图像，找到所有的边缘点，构成候选边缘图像N。

(3b4)用双阈值算法检测候选边缘图像中的边缘点，将所有边缘点连接，得到最终的边缘图像。

选取高阈值T_h和低阈值T_l，扫描候选边缘图像N，对其中的每一个像素点(i,j)进行检测，当点(i,j)处的梯度幅值G(i,j)大于高阈值T_h时，该点为边缘点；当其梯度幅值G(i,j)小于低阈值T_l时，该点不是边缘点；若该点的梯度幅值介于高阈值和低阈值之间，则判断其相邻点，若相邻点为边缘点，则该点也为边缘点。本例中，高阈值T_h选为180，低阈值T_l选为80。

扫描完候选边缘图像，所有的边缘点构成最终的人眼边缘轮廓图像，用于后续的眨眼判定，进而发送拍摄通知给指令发送模块。

实施例11

基于眨眼检测的智能手机拍照系统和方法同实施例1-10，拍摄方法步骤(3c)中对m幅人眼边缘轮廓图像进行眨眼判定，具体步骤如下：

(3c1)对m幅人眼边缘轮廓中相邻的两幅边缘轮廓图像作差，得到m-1幅差分图像。将两幅相邻边缘轮廓图像按下式作差，得到差分图像：

I_d(x,y)＝I_k+1(x,y)-I_k(x,y)

其中，I_k(x,y)表示序列中第k幅边缘图像，I_d(x,y)表示差分图像；

(3c2)将m-1幅差分图像二值化，得到m-1幅二值化后的差分图像；

按下式将差分图像二值化；

其中，I'_d(x,y)表示二值化后的差分图像，T表示阈值，本例中，T选择为126。

(3c3)检测某幅二值化后的差分图像中的连通区域，当连通区域超过一定阈值时，判定发生了一次眨眼动作，本例中，阈值选为图像面积的1/20。

(3c4)对所有的m-1幅二值化后的差分图像按(3c3)进行检测，若检测到的眨眼动作次数超过n次，判定为有连续眨眼动作发生，本例中，眨眼动作次数n选择为4。判定有连续眨眼动作后，发送拍摄通知到指令发送模块。

本发明在进行眨眼检测时，使用的人眼区域检测，边缘轮廓提取方法，眨眼判定方法准确度高，可以准确地检测到拍摄者的眨眼动作信息，同时由于不需要对拍摄者的人眼瞳孔进行定位或视线判断，而是对人眼边缘轮廓图像作差进行比较，实现起来较为简单快速。

简而言之，本发明公开的一种基于眨眼检测的智能手机拍照系统和方法，主要解决现有接触式手机拍摄在某些情况下操作不便，以及非接触式人机交互方式难以应用到手机拍照的问题。具体实现为：对手机拍摄模式进行设置，设自拍和普通拍摄；由手机前置摄像头采集拍摄者人脸面部图像序列，检测人眼区域，提取边缘轮廓，进行眨眼判定；在确认有连续眨眼动作时，发送拍摄通知给指令发送模块；指令发送模块发送拍摄指令到拍摄模块；拍摄模块根据设置的拍摄模式控制手机摄像头拍摄；拍摄后由声音提示拍摄完成。本发明提供了一种眨眼控制拍摄的新方法，提高了手机拍照的便捷性，实现了无需手动操作即可拍摄的功能，可用于拍摄者自拍或给他人进行拍照。

Claims (7)

1.一种基于眨眼检测的智能手机拍照系统，其特征在于，包括模式设置模块、图像采集模块、眨眼检测模块、指令发送模块、拍摄模块和语音提示模块；其中，模式设置模块与拍摄模块数据连接，对拍摄模块进行拍摄模式设定，图像采集模块采集拍摄者人脸面部图像，将其输入到眨眼检测模块进行眨眼检测，眨眼检测模块在检测到连续眨眼动作后，发送拍摄通知到指令发送模块，指令发送模块在接收到眨眼检测模块的通知后，延迟一定时间，发送拍摄指令到拍摄模块，拍摄模块接收到拍摄指令后，根据模式设置模块设定的拍摄模式进行拍摄，拍摄完成后发送拍摄完成通知给语音提示模块，语音提示模块收到拍摄完成通知，发出提示声音，各模块分述如下：

模式设置模块是由手机照相机APP对拍摄模式进行设置，拍摄模式分为自拍和普通拍摄两种模式，普通拍摄模式是指给他人拍摄，拍摄之前将设置好的拍摄模式以信号的形式传给拍摄模块；

图像采集模块是由手机前置摄像头在一定时间内采集m幅拍摄者的人脸图像，确保整个脸部被采集到，将采集到的m幅脸部图像传给所述眨眼检测模块；

眨眼检测模块对采集到的m幅人脸面部图像进行眨眼检测，在检测到有连续眨眼动作后，发送拍摄通知给指令发送模块；

指令发送模块收到眨眼检测模块发送过来的通知后，延迟一个固定的时间，发送拍摄指令到拍摄模块；

拍摄模块接到拍摄指令，依据拍摄模式进行拍照，在自拍模式下由手机前置摄像头拍摄照片，在普通拍摄模式下由手机后置摄像头拍摄照片，并发送一个拍摄完成通知给语音提示模块；

语音提示模块收到拍摄完成通知时，由手机麦克风发出提示声音，眨眼控制拍摄完成。

2.根据权利要求1所述的一种基于眨眼检测的智能手机拍照系统，其特征在于，其中所述的眨眼检测模块以数据流方向依次连接有人眼区域检测子模块、边缘轮廓提取子模块和眨眼判定子模块，各子模块分述如下：

人眼区域检测子模块对图像采集模块传过来的m幅人脸图像进行人眼检测，检测出人眼区域，形成m幅人眼区域图像，将这m幅人眼区域图像传给边缘轮廓提取子模块；

边缘轮廓提取子模块对m幅人眼区域图像进行边缘轮廓提取，得到m幅人眼边缘轮廓图，并传给眨眼判定子模块；

眨眼判定子模块对m幅人眼边缘轮廓图两两作差，得到m-1幅差分图，检测差分图中的连通区域面积，连通区域面积大于一定阈值时，判定为发生了眨眼动作，检测所有的差分图，眨眼的次数超过n次时，判定为发生了连续眨眼动作，在判断到有连续眨眼动作后，发送拍摄通知给指令发送模块。

3.一种基于眨眼检测的智能手机拍照方法，是在基于眨眼检测的智能手机拍照系统上实现，其特征在于，包括有以下步骤：

(1)设置手机拍摄模式，手机拍摄模式包括自拍模式与普通拍摄模式两种，并将设置的拍摄模式传给拍摄模块；

(2)由手机照相机APP控制启动手机前置摄像头，获取拍摄者的m幅人脸图像，组成人脸图像序列；

(3)对获取到拍摄者的m幅人脸图像序列进行眨眼检测，检测到连续眨眼动作后发送拍摄通知给指令发送模块；

(4)指令发送模块接收到拍摄通知，在一个固定的延时时间后，发送拍摄指令到拍摄模块；

(5)拍摄模块收到拍摄指令后，根据设定好的拍摄模式进行自动拍摄，当拍摄为自拍模式时，启动手机前置摄像头拍摄照片，当拍摄模式为普通拍摄模式时，启动手机后置摄像头拍摄照片，拍摄后发送拍摄完成通知到声音提示模块；

(6)声音提示模块收到拍摄完成通知后，由手机麦克风发出声音，提示拍摄完成。

4.根据权利要求3所述的基于眨眼检测的智能手机拍照方法，其特征在于，步骤(3)中对获取到拍摄者的m幅人脸图像进行眨眼检测，具体包括有：

(3a)人眼区域检测，使用ASM人眼检测算法，检测m幅人脸图像序列中的人眼区域，形成m幅人眼区域图像；

(3b)人眼边缘轮廓提取，使用基于Canny算子的方法m幅人眼区域图像进行边缘检测，提取出边缘轮廓，形成m幅人眼边缘轮廓图像；

(3c)眨眼判定，对m幅人眼边缘轮廓图像进行眨眼判定，确定是否有连续眨眼动作，若有连续眨眼动作，发送拍摄通知给指令发送模块。

5.根据权利要求4所述的基于眨眼检测的智能手机拍照方法，其特征在于，步骤(3a)中所述的使用ASM人眼检测方法确定出面部图像中的人眼区域,具体步骤如下：

(3a1)在手机内部存储设备中存放一定数量的人眼样本图像；

(3a2)在人眼样本图像中，选择一定数量的人眼轮廓特征点，建立人眼区域的形状模型；

(3a3)对人眼样本图像中的人眼轮廓特征点，根据其周围的像素点，构建局部灰度模型；

(3a4)根据建立的人眼区域的形状模型，为输入的m幅人脸图像序列构建人眼区域初始估计模型；

(3a5)根据特征点的局部灰度模型，为人眼区域初始估计模型搜索最佳匹配，经过迭代搜索，得到最终的m幅人眼区域图像。

6.根据权利要求4所述的基于眨眼检测的智能手机拍照系统，其特征在于，步骤(3b)所述的基于Canny算子的方法进行人眼边缘检测，具体步骤如下：

(3b1)用高斯滤波器对人眼区域图像进行平滑，得到平滑后的人眼区域图像，即用如下的高斯滤波器与原图像作卷积：

$G(x,y)=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})$

其中，G(x,y)表示高斯滤波器，x和y分别表示像素点的横坐标与纵坐标，σ表示高斯滤波器参数；

(3b2)计算平滑后的人眼区域图像的梯度幅值和梯度方向，构成梯度幅值图像G和梯度方向图像Θ；

(3b3)对梯度幅值图像G进行非极大值抑制，得到候选边缘图像N；

(3b4)用双阈值算法检测候选边缘图像中的边缘点，将边缘点连接，得到最终的边缘图像；

选取一个高阈值T_h和低阈值T_l，扫描候选边缘图像N，对其中的每一个像素点(i,j)进行检测，当点(i,j)处的梯度幅值G(i,j)大于高阈值T_h时，该点为边缘点；当其梯度幅值G(i,j)小于T_l时，该点不是边缘点；若该点的梯度幅值介于高阈值和低阈值之间，判断其相邻像素点，若相邻像素点为边缘点，则该点也为边缘点，否则该点不是边缘点；扫描完候选边缘图像，将所有的边缘点连接，构成最终的边缘图像；

(3b5)对所有的m幅人眼区域图按(3b1)～(3b4)进行检测，得到m幅人眼边缘轮廓图。

7.根据权利要求4所述的基于眨眼检测的智能手机拍照系统，其特征在于，步骤(3c)中所述的对m幅人眼边缘轮廓图像进行眨眼判定，具体步骤如下：

(3c1)对m幅人眼边缘轮廓中相邻的两幅边缘轮廓图像序列作差，得到m-1幅差分图像；

(3c2)将m-1幅差分图像二值化，得到m-1幅二值化后的差分图像；

(3c3)检测某幅二值化后的差分图像中的连通区域，当连通区域超过一定阈值时，判定发生了一次眨眼动作；

(3c4)对所有的m-1幅二值化后的差分图像按(3c3)进行检测，若检测到的眨眼动作超过n次，判定为有连续眨眼动作发生，发送通知给指令发送模块。