CN107833197B - 图像处理的方法、装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本申请实施例中图像处理的方法、装置、计算机可读存储介质和电子设备，所述方法包括：获取一张图像，检测所述图像中是否包含眼睛；若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。本申请实施例只需要拍摄一张照片，若所述照片中包含闭眼人像，对于闭眼人像，根据闭眼人像的脸部特征，分析人像特征，获取所述闭眼人像对应的睁眼图像，在闭眼人像的眼睛区域自动贴上睁眼图像，从而实现通过拍摄一张合拍照片就可以消除闭眼，提高了合拍照片的拍摄效率。

Description

图像处理的方法、装置、计算机可读存储介质和电子设备

技术领域

本申请涉及图像处理技术领域，特别是涉及图像处理的方法、装置、计算机可读存储介质和电子设备。

背景技术

拍照的时候，由于人习惯性或者受灯光影响，容易眨眼。特别是合拍的时候，每个人眨眼的时间不同，就容易造成拍出来的照片不满意。传统技术中采用连续拍摄多张照片，选取出各张照片中睁眼的人像，合成出一张消除闭眼的照片，上述方法对于运动比较敏感，如果连续拍摄过程中手有抖动或者合拍人物有运动，则容易合成出不自然的图片，同时，上述方法消除闭眼的前提是连续拍摄的多张照片中每一个人必须至少要有一次睁眼的人像，否则合成出来的照片中也会存在闭眼的情形。因此，上述合拍照片中消除闭眼的方法拍摄照片的效率不高。

发明内容

本申请实施例提供一种图像处理的方法、装置、计算机可读存储介质和电子设备，可以实现通过拍摄一张合拍照片消除闭眼，从而提高合拍照片的拍摄效率。

一种图像处理的方法，所述方法包括：

获取一张图像，检测所述图像中是否包含眼睛；

若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；

若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

一种图像处理的装置，所述装置包括：

检测模块，用于获取一张图像，检测所述图像中是否包含眼睛；

判断模块，用于若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；

替换模块，用于若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。

本申请实施例中图像处理的方法、装置、计算机可读存储介质和电子设备，只需要拍摄一张照片，若合拍照片中包含闭眼人像，对于闭眼人像，根据闭眼人像的脸部特征，采用人工智能方法，分析人像特征，匹配数据库中的眼睛数据，获取所述闭眼人像对应的睁眼图像，在闭眼人像的眼睛区域自动贴上睁眼图像，从而实现通过拍摄一张合拍照片就可以消除闭眼，提高了合拍照片的拍摄效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的内部结构示意图；

图2为本申请图像处理的方法一个实施例的流程图；

图3为本申请图像处理的方法另一个具体实施例的流程图；

图4为本申请提供的图像处理的装置一个实施例的程序模块架构图；

图5为与本申请实施例提供的电子设备相关的手机的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参阅图1，图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序、图片等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的图像处理的方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的图像处理的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

请参阅图2，图2为图像处理的方法一个实施例的流程图，所述方法包括：

步骤200、获取一张图像，检测所述图像中是否包含眼睛。

具体地，电子设备获取的一张图像，可以是电子设备通过所述电子设备的摄像头拍摄获取的，也可以是电子设备从所述电子设备端的数据库、云端数据库或者其他与所述电子设备连接的设备获取的一张图像。

电子设备检测所述图像中是否包含眼睛，可以通过人脸识别的方式进行眼睛部位的识别。所述人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的相关技术，通常也叫做人像识别、面部识别，通过人脸识别技术检测所述图像中是否包含眼睛。

更进一步地，电子设备进行人脸识别，可以通过深度学习中的卷积方式检测所述图像中是否包含眼睛。所述深度学习是机器学习中一种基于对数据进行表征学习的方法，观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等，而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习是机器学习研究中的一个领域，在于建立和模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本等。卷积是图像处理常用的方法，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数称为卷积核，比如说卷积公式：R(u，v)＝∑∑G(u-i，v-j)f(i，j)，其中f为输入，G为卷积核。

在一个实施例中，所述检测所述图像中是否包含眼睛的步骤包括：

检测所述图像中是否包含脸部；

若所述图像中包含脸部，检测所述脸部的关键点；

根据所述关键点，判断所述图像中是否包含眼睛。

具体地，电子设备可以通过人脸识别技术中的人脸检测，检测所述图像中是否包含脸部，所述人脸识别技术是基于人的脸部特征，对输入的人脸图像，首先判断其是否存在人脸,如果存在人脸，则进一步的给出每个脸部的位置、大小和各个主要面部器官的位置信息，所述主要面部器官包括口、鼻、眼睛、额头、脸颊等。人脸检测可以通过参考模板法、人脸规则法、样品学习法、肤色模型法等方法进行检测，或者上述方法的结合进行检测。

若电子设备检测到所述图像中包含脸部，检测所述脸部的关键点，所述关键点包括脸部的关键特征，所述脸部的关键特征，比如脸部的眼睛、鼻子、口、脸颊、额头或者下巴等部位，在本申请实施例中，尤其指脸部的眼睛，通过检测脸部的眼睛的关键点，判断所述图像中是否包含眼睛。

在一个实施例中，所述脸部的关键点包括每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置。

具体地，电子设备判断所述图像中的每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置，脸部位置可以用脸部对应的像素在所述图像中的位置来表示，脸部对应的眼睛位置可以用眼睛对应的像素在所述图像中的位置来表示。

步骤220、若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态。

具体地，若电子设备检测到所述图像中包含眼睛，进一步判断所述图像中的每双眼睛是否处于闭眼状态。若眼睛处于闭眼状态，则需要对所述图像中的闭眼状态进行消除处理，若所述眼睛处于睁眼状态，则不进行处理。

若要判断所述眼睛是否处于闭眼状态，在一个实施例中，所述判断所述图像中的每双眼睛是否处于闭眼状态的步骤包括：

判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值；

或者，判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

具体地，判断所述图像中的每双眼睛是否处于闭眼状态的可以通过以下两种方式之一进行判断：

(1)判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值。

具体地，电子设备通过检测所述每双眼睛的上眼皮和下眼皮之间的距离，判断所述距离是否小于预设阈值，所述预设阈值是用来判断眼睛是否处于闭眼状态的一个距离阈值，若所述距离小于预设阈值，判断所述每双眼睛处于闭眼状态，否则，判断所述每双眼睛处于睁眼状态。比如，若所述预设阈值设置为0.2厘米，则表示若所述距离小于0.2厘米，则电子设备判断所述眼睛处于闭眼状态，若所述距离大于或者等于0.2厘米，则电子设备判断所述眼睛处于睁眼状态，所述0.2厘米仅仅是为了解释本申请实施例的技术方案，并不用于限定本申请的技术方案，可以根据具体情况设置不同的预设阈值，比如0.3厘米或者0.5厘米等。

(2)判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

具体地，电子设备除通过判断每双眼睛的上眼皮和下眼皮之间的距离来判断所述每双眼睛是否处于闭眼状态外，电子设备还可以通过判断是否能检测到所述每双眼睛的瞳孔区域或者眼白区域来判断所述每双眼睛是否处于闭眼状态，若电子设备判断能检测到所述每双眼睛的瞳孔区域或者眼白区域，则可以判断所述每双眼睛处于睁眼状态，否则，判断所述每双眼睛处于闭眼状态。

步骤240、若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

具体地，若电子设备判断所述图像中的一双眼睛处于闭眼状态，则根据所述一双眼睛所属的脸部特征，所述脸部特征包括人种、肤色、性别、年龄和五官比例等，从电子设备数据库或者云端数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位，也就是将所述睁眼图像自动贴合到所述图像中处于闭眼状态的眼睛部位，替换所述闭眼状态的眼睛，从而使所述图像中的闭眼状态的眼睛得到消除，保证输出的最终图像中每个人的眼睛都处于睁眼状态，实现通过拍摄一张图像就可以消除所述图像中的闭眼状态的眼睛，提高了拍摄照片的拍摄效率。

在一个实施例中，所述若所述图像中包含脸部的步骤之后包括：

检测所述图像中包含的脸部个数；

若所述图像中包含一个以上的脸部，检测每个脸部的关键点；

根据所述每个脸部的关键点，检测每个脸部中是否包含对应的眼睛。

具体地，若所述电子设备判断所述图像中包含脸部，则进一步检测所述图像中包含的脸部个数，也就是检测所述图像中包含几张脸，或者是几个人像。比如，若所述图像中包含四只眼睛，则可以判断所述图像中包含两个人脸，或者，若所述图像中包含两个鼻子，也可以判断所述图像中包含两个人脸。

若判断所述图像中包含两个或者两个以上的人脸，需要逐一根据每个脸部的关键点，判断每张人脸中是否包含对应的眼睛部位，避免虽然拍到了人像，但没有眼睛的情形，比如侧脸或者处于低头状态等显示不到眼睛的情形。

在一个实施例中，所述根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛的睁眼图像的步骤包括：

对所述一双眼睛对应的脸部进行识别，获取所述一双眼睛对应的脸部特征；

根据所述脸部特征，检测电子设备端数据库或者云端数据库中是否存在所述脸部的睁眼图像；

若存在所述脸部的睁眼图像，根据所述脸部的眼睛特征，生成所述眼睛的睁眼图像；

若不存在所述脸部的睁眼图像，根据所述脸部的特征，获取所述脸部对应的标准眼睛的睁眼图像。

具体地，若电子设备判断一双眼睛处于闭眼状态，进行人脸识别处理，获取所述一双眼睛对应的脸部特征，所述脸部特征包括人种、肤色、性别、年龄和五官比例等特征数据，根据所述脸部特征，搜索电子设备端的数据库或者云端数据库中是否存在同一脸部的睁眼图像，若数据库中存在所述脸部的睁眼图像，则根据所述人像脸部的眼睛特征生成睁眼图像；若数据库中不存在所述脸部的睁眼图像，也就是如果人脸识别未在数据库中找到相匹配的睁眼图像，则分析该人像的特征：人种、肤色、性别、年龄和五官分布比例等信息，生成这些特征所对应的标准眼睛的睁眼图像。其中，所述标准眼睛的睁眼图像的生成通过深度学习实现，也就是通过对大量人像打上标签(人种、肤色、性别、年龄和五官比例等)，然后通过包含卷积核的卷积公式训练得到人像分类模型，同时基于分类模型数据，计算不同分类人像的眼睛特征的形状和颜色的平均值，得到标准眼睛。

在一个实施例中，所述将所述睁眼图像替换所述图像中的眼睛部位的步骤包括：

根据所述脸部的大小和所述脸部的旋转角度，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

具体地，电子设备获取闭眼图像对应的睁眼图像后，进一步判断所述闭眼图像所属的脸部的大小和所述脸部的旋转角度，根据所述脸部的大小和所述脸部的旋转角度，调整所述睁眼图像的形状和比例，从而使所述这样图像的形状和比例与所述脸部匹配。比如，根据五官比例和脸部大小，确定所述睁眼图像的大小，根据所述脸部的旋转角度，确定所述睁眼图像的形状，若所述图像中的闭眼图像的脸部为正视前方，则所述睁眼图像平行于所述图像的脸部替换所述闭眼图像，若所述闭眼图像的脸部向一侧旋转30度，则所述睁眼图像替换所述闭眼图像时，所述睁眼图像也要向同一侧选择30度，且根据脸部的五官在所述图像中显示的比例调整所述一双眼睛的比例，将所述睁眼图像替换所述一双眼睛对应脸部的闭眼的眼睛部位，从而消除所述图像中脸部的闭眼状态的眼睛。

进一步地，当所述图像中包含多个人脸时，比如合拍照中的多个人像，循环上述过程，逐一消除所述图像中所有的闭眼状态的眼睛，使最终输出的所述图像中的人像都处于睁眼的状态，消除所述图像中的闭眼状态的眼睛。

在一个实施例中，所述若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位的步骤之后还包括：

输出所述图像。

具体地，电子设备对所述图像处理完毕后，所述图像中包含的所有人像都处于睁眼状态，将处理后的图像作为最终输出的图像，避免了输出的图像中包含闭眼人像导致照片拍摄效果不好，从而出现需要重复拍摄的情形，提高了照片的拍摄效率，节省了拍摄设备的资源。

在一个实施例中，所述方法还包括：

存储所述图像到数据库中。

具体地，电子设备将最终输出的图像进一步存储到所述电子设备端的数据库或者云端数据库中，以备下次同一脸部再次拍摄到闭眼图像时，尽快的从数据库中获取同一脸部闭眼图像对应的睁眼图像，提高图像处理的效率。

请参阅图3，图3为本申请图像处理的方法另一个具体实施例的流程图，所述方法包括：

步骤301、电子设备获取拍摄的图像，或者获取存储在电子设备端的数据库、云端数据库或者从其他外接设备获取的图像，进入步骤302；

步骤302、电子设备判断获取的所述图像中是否包含人脸，若判断所述图像中包含有人脸，进入步骤303，否则，若判断所述图像中没有包含人脸，进入步骤311；

步骤303、电子设备对获取的图像进行人脸关键点检测，所述人脸关键点包括眼睛的检测，进入步骤304；

步骤304、电子设备判断人脸中是否包含眼睛，电子设备根据检测到的人脸关键点，判断所述人脸中是否包含眼睛，若所述人脸中包含眼睛，进入步骤305，否则，进入步骤311；

步骤305、若电子设备判断所述图像的人脸中包含眼睛，则进一步判断所述眼睛是否处于闭眼状态，根据所述眼睛的上眼皮和下眼皮的距离是否小于预设阈值，或者通过判断能否检测到所述眼睛的瞳孔区域或者眼白区域，判断所述眼睛是否处于闭眼状态，若判断所述图像中的眼睛包含处于闭眼状态的眼睛，则针对每双闭眼的眼睛逐一进入步骤306，否则，若判断所述图像中的所有眼睛都处于睁眼状态，进入步骤311；

步骤306、针对每双闭眼的眼睛，对闭眼的眼睛所述的脸部进行人脸识别，检测电子设备端的数据库或者云端的数据库中是否有所述人脸的睁眼图像，若是，则进入步骤307，否则，进入步骤308；

步骤307、若电子设备的数据库或者云端的数据库中存在所述人脸的睁眼图像，基于所述人脸的睁眼图像，根据所述人脸的眼睛特征，生成闭眼状态的眼睛对应的睁眼状态的眼睛的睁眼图像，进入步骤310；

步骤308、若电子设备的数据库或者云端的数据库中不存在所述人脸的睁眼图像，分析所述人脸的特征，所述人脸的特征包括：人种、肤色、性别、年龄和五官分布等信息，进入步骤309；

步骤309、根据分析获取的所述人脸的特征，生成所述人脸对应的标准眼睛对应的睁眼图像，则进入步骤310；

步骤310、将步骤307或者步骤309中获取的睁眼图像，根据所述人脸大小和人脸的旋转角度，将所述睁眼图像贴回闭眼状态的眼睛所述脸部的眼睛区域，若所述图像中包含多双闭眼的眼睛，将所有闭眼的眼睛逐一循环进行上述处理过程，直到所述图像中所有闭眼的眼睛全部被替换，进入步骤311；

步骤311、对所述图像处理结束，输出所述图像。

综上所述，本申请实施例中图像处理的方法，只需要拍摄一张照片，若拍摄的照片中包含闭眼人像，对于闭眼人像，根据闭眼人像的脸部特征，采用人工智能方法，分析人像特征，匹配数据库中的眼睛数据，获取所述闭眼人像对应的睁眼图像，在闭眼人像的眼睛区域自动贴上睁眼图像，从而实现通过拍摄一张合拍照片就可以消除闭眼，提高了合拍照片的拍摄效率。

请参阅图4，图4为本申请提供的图像处理的装置一个实施例的程序模块架构图，所述装置包括：

检测模块40，用于获取一张图像，检测所述图像中是否包含眼睛。

具体地，电子设备获取的一张图像，可以是电子设备通过电子设备摄像头拍摄获取的，也可以是电子设备从电子设备端的数据库、云端数据库或者其他与电子设备连接的设备获取的一张图像。

电子设备检测所述图像中是否包含眼睛，可以通过人脸识别的方式进行眼睛部位的识别。更进一步地，电子设备进行人脸识别，可以通过深度学习中的卷积方式检测所述图像中是否包含眼睛。

在一个实施例中，所述检测模块40包括：

脸部检测单元，用于检测所述图像中是否包含脸部；

第一检测单元，用于若所述图像中包含脸部，检测所述脸部的关键点；

第一判断单元，用于根据所述关键点，判断所述图像中是否包含眼睛。

具体地，电子设备可以通过人脸识别技术中的人脸检测，检测所述图像中是否包含脸部，所述人脸识别技术是基于人的脸部特征，对输入的人脸图像，首先判断其是否存在人脸,如果存在人脸，则进一步的给出每个脸部的位置、大小和各个主要面部器官的位置信息，所述主要面部器官包括口、鼻、眼睛、额头、脸颊等。人脸检测可以通过参考模板法、人脸规则法、样品学习法、肤色模型法等方法进行检测，或者上述方法的结合进行检测。

若电子设备检测到所述图像中包含脸部，检测所述脸部的关键点，所述关键点包括脸部的关键特征，所述脸部的关键特征，比如脸部的眼睛、鼻子、口、脸颊、额头或者下巴等部位，在本申请实施例中，尤其指脸部的眼睛，通过检测脸部的眼睛的关键点，判断所述图像中是否包含眼睛。

在一个实施例中，所述脸部的关键点包括每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置。

具体地，电子设备判断所述图像中的每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置，脸部位置可以用脸部对应的像素在所述图像中的位置来表示，脸部对应的眼睛位置可以用眼睛对应的像素在所述图像中的位置来表示。

判断模块42，用于若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态。

具体地，若电子设备检测到所述图像中包含眼睛，进一步判断所述图像中的每双眼睛是否处于闭眼状态。若眼睛处于闭眼状态，则需要对所述图像中的闭眼状态进行消除处理，若所述眼睛处于睁眼状态，则不用进行处理。

若要判断所述眼睛是否处于闭眼状态，在一个实施例中，所述判断模块42包括：

距离判断单元，用于判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值；

或者，区域判断单元，用于判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

具体地，判断所述图像中的每双眼睛是否处于闭眼状态的可以通过以下两种方式之一进行判断：

(1)判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值。

具体地，电子设备通过检测所述每双眼睛的上眼皮和下眼皮之间的距离，判断所述距离是否小于预设阈值，所述预设阈值是用来判断眼睛是否处于闭眼状态的一个距离阈值，若所述距离小于预设阈值，判断所述每双眼睛处于闭眼状态，否则，判断所述每双眼睛处于睁眼状态。比如，若所述预设阈值设置为0.2厘米，则表示若所述距离小于0.2厘米，则电子设备判断所述眼睛处于闭眼状态，若所述距离大于或者等于0.2厘米，则电子设备判断所述眼睛处于睁眼状态，所述0.2厘米仅仅是为了解释本申请实施例的技术方案，并不用于限定本申请的技术方案，可以根据具体情况设置不同的预设阈值，比如0.3厘米或者0.5厘米等。

(2)判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

具体地，电子设备除通过判断每双眼睛的上眼皮和下眼皮之间的距离来判断所述每双眼睛是否处于闭眼状态外，电子设备还可以通过判断是否能检测到所述每双眼睛的瞳孔区域或者眼白区域来判断所述每双眼睛是否处于闭眼状态，若电子设备判断能检测到所述每双眼睛的瞳孔区域或者眼白区域，则可以判断所述每双眼睛处于睁眼状态，否则，判断所述每双眼睛处于闭眼状态。

替换模块44，用于若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

具体地，若电子设备判断所述图像中的一双眼睛处于闭眼状态，则根据所述一双眼睛所属的脸部特征，所述脸部特征包括人种、肤色、性别、年龄和五官比例等，从电子设备数据库或者云端数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位，也就是将所述睁眼图像自动贴合到所述图像中处于闭眼状态的眼睛部位，替换所述闭眼状态的眼睛，从而使所述图像中的闭眼状态的眼睛得到消除，保证输出的最终图像中每个人的眼睛都处于睁眼状态，实现通过拍摄一张图像就可以消除所述图像中的闭眼状态的眼睛，提高了拍摄照片的拍摄效率。

在一个实施例中，所述检测模块40还包括：

脸部个数检测单元，用于检测所述图像中包含的脸部个数；

第二检测单元，用于若所述图像中包含一个以上的脸部，检测每个脸部的关键点；

第二判断单元，用于根据所述每个脸部的关键点，检测每个脸部中是否包含对应的眼睛。

具体地，若所述电子设备判断所述图像中包含脸部，则进一步检测所述图像中包含的脸部个数，也就是检测所述图像中包含几张脸，或者是几个人像，比如若所述图像中包含四只眼睛，则可以判断所述图像中包含两个人脸，或者，若所述图像中包含两个鼻子，也可以判断所述图像中包含两个人脸。

若判断所述图像中包含两个或者两个以上的人脸，需要逐一根据每个脸部的关键点，判断每张人脸中是否包含对应的眼睛部位，避免虽然拍到了人像，但没有眼睛的情形，比如侧脸或者处于低头状态等显示不到眼睛的情形。

在一个实施例中，所述替换模块44包括：

第一获取单元，用于对所述一双眼睛对应的脸部进行识别，获取所述一双眼睛对应的脸部特征；

睁眼图像检测单元，用于根据所述脸部特征，检测电子设备数据库或者云端数据库中是否存在所述脸部的睁眼图像；

生成单元，用于若存在所述脸部的睁眼图像，根据所述脸部的眼睛特征，生成所述眼睛的睁眼图像；

第二获取单元，用于若不存在所述脸部的睁眼图像，根据所述脸部的特征，获取所述脸部对应的标准眼睛的睁眼图像。

具体地，若电子设备判断一双眼睛处于闭眼状态，进行人脸识别处理，获取所述一双眼睛对应的脸部特征，所述脸部特征包括人种、肤色、性别、年龄和五官比例等特征数据，根据所述脸部特征，搜索电子设备数据库或者云端数据库中是否存在同一脸部的睁眼图像，若数据库中存在所述脸部的睁眼图像，则根据所述人像脸部的眼睛特征生成睁眼图像；若数据库中不存在所述脸部的睁眼图像，也就是如果人脸识别未在数据库中找到相匹配的睁眼图像，则分析该人像的特征：人种、肤色、性别、年龄和五官分布比例等信息，生成这些特征所对应的标准眼睛的睁眼图像。其中，所述标准眼睛的睁眼图像的生成通过深度学习实现，也就是通过对大量人像打上标签(人种、肤色、性别、年龄和五官比例)，然后通过包含卷积核的卷积公式训练得到人像分类模型，同时基于分类模型数据，计算不同分类人像的眼睛特征的形状和颜色的平均值，得到标准眼睛。

在一个实施例中，所述替换模块44还包括：

替换单元，用于根据所述脸部的大小和所述脸部的旋转角度，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

具体地，电子设备获取闭眼图像对应的睁眼图像后，进一步判断所述闭眼图像所属的脸部的大小和所述脸部的旋转角度，根据所述脸部的大小和所述脸部的旋转角度，调整所述睁眼图像的形状和比例，从而使所述这样图像的形状和比例与所述脸部匹配，比如，根据五官比例和脸部大小，确定所述睁眼图像的大小，根据所述脸部的旋转角度，确定所述睁眼图像的形状，若所述图像中的闭眼图像的脸部为正视前方，则所述睁眼图像平行于所述图像的脸部替换所述闭眼图像，若所述闭眼图像的脸部向一侧旋转30度，则所述睁眼图像替换所述闭眼图像时，所述睁眼图像也要向同一侧选择30度，且根据脸部的五官在所述图像中显示的比例调整所述一双眼睛的比例，将所述睁眼图像替换所述一双眼睛对应脸部的闭眼的眼睛部位，从而消除所述图像中脸部的闭眼状态的眼睛。

进一步地，当所述图像中包含多个人脸时，比如合拍照中的多个人像，循环上述过程，逐一消除所述图像中所有的闭眼状态的眼睛，使最终输出的所述图像中的人像都处于睁眼的状态，消除所述图像中的闭眼状态的眼睛。

在一个实施例中，所述装置还包括：

输出模块，用于输出所述图像。

具体地，电子设备对所述图像处理完毕后，所述图像中包含的所有人像都处于睁眼状态，将处理后的图像作为最终输出的图像，避免了输出的图像中包含闭眼人像导致照片拍摄效果不好，从而出现需要重复拍摄的情形，提高了照片的拍摄效率，节省了拍摄设备的资源。

在一个实施例中，所述装置还包括：

存储模块，用于存储所述图像到数据库中。

具体地，电子设备将最终输出的图像进一步存储到电子设备端的数据库或者云端数据库中，以备下次同一脸部再次拍摄到闭眼图像时，尽快的从数据库中获取同一脸部闭眼图像对应的睁眼图像，提高图像处理的效率。

上述图像处理的装置中各个模块的划分，仅用于举例说明，在其他实施例中，可将图像处理的装置按照需要划分为不同的模块，以完成上述图像处理的装置的全部或部分功能。

上述图像处理的装置可以实现为一种计算机程序的形式，计算机程序可在如图1所示的电子设备上运行。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各实施例中所描述的通话控制的方法的步骤。

具体地，一个或多个包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行以下步骤：

获取一张图像，检测所述图像中是否包含眼睛；

若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；

若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

在一个实施例中，所述检测所述图像中是否包含眼睛的步骤包括：

检测所述图像中是否包含脸部；

若所述图像中包含脸部，检测所述脸部的关键点；

根据所述关键点，判断所述图像中是否包含眼睛。

在一个实施例中，所述若所述图像中包含脸部的步骤之后包括：

检测所述图像中包含的脸部个数；

若所述图像中包含一个以上的脸部，检测每个脸部的关键点；

根据所述每个脸部的关键点，检测每个脸部中是否包含对应的眼睛。

在一个实施例中，所述脸部的关键点包括每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置。

在一个实施例中，所述判断所述图像中的每双眼睛是否处于闭眼状态的步骤包括：

判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值；

或者，判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

在一个实施例中，所述根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛的睁眼图像的步骤包括：

对所述一双眼睛对应的脸部进行识别，获取所述一双眼睛对应的脸部特征；

根据所述脸部特征，检测电子设备数据库或者云端数据库中是否存在所述脸部的睁眼图像；

若存在所述脸部的睁眼图像，根据所述脸部的眼睛特征，生成所述眼睛的睁眼图像；

若不存在所述脸部的睁眼图像，根据所述脸部的特征，获取所述脸部对应的标准眼睛的睁眼图像。

在一个实施例中，所述将所述睁眼图像替换所述图像中的眼睛部位包括：

根据所述脸部的大小和所述脸部的旋转角度，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例中所描述的图像处理的方法。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图5为一个实施例中图像处理电路的示意图。如图5所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图5所示，图像处理电路包括ISP处理器540和控制逻辑器550。成像设备510捕捉的图像数据首先由ISP处理器540处理，ISP处理器540对图像数据进行分析以捕捉可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。成像设备510可包括具有一个或多个透镜512和图像传感器514的照相机。图像传感器514可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器514可获取用图像传感器514的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器540处理的一组原始图像数据。传感器520(如陀螺仪)可基于传感器520接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器540。传感器520接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器514也可将原始图像数据发送给传感器520，传感器520可基于传感器520接口类型把原始图像数据提供给ISP处理器540，或者传感器520将原始图像数据存储到图像存储器530中。

ISP处理器540按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器540可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器540还可从图像存储器530接收图像数据。例如，传感器520接口将原始图像数据发送给图像存储器530，图像存储器530中的原始图像数据再提供给ISP处理器540以供处理。图像存储器530可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器514接口或来自传感器520接口或来自图像存储器530的原始图像数据时，ISP处理器540可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器530，以便在被显示之前进行另外的处理。ISP处理器540从图像存储器530接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器540处理后的图像数据可输出给显示器570，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器540的输出还可发送给图像存储器530，且显示器570可从图像存储器530读取图像数据。在一个实施例中，图像存储器530可被配置为实现一个或多个帧缓冲器。此外，ISP处理器540的输出可发送给编码器/解码器560，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器570设备上之前解压缩。编码器/解码器560可由CPU或GPU或协处理器实现。

ISP处理器540确定的统计数据可发送给控制逻辑器550单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜512阴影校正等图像传感器514统计信息。控制逻辑器550可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备510的控制参数及ISP处理器540的控制参数。例如，成像设备510的控制参数可包括传感器520控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜512控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜512阴影校正参数。

以下为运用图5中图像处理技术实现图像处理的方法的步骤：

获取一张图像，检测所述图像中是否包含眼睛；

若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；

若判断一双眼睛处于闭眼状态，根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛对应的睁眼图像，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

在一个实施例中，所述检测所述图像中是否包含眼睛的步骤包括：

检测所述图像中是否包含脸部；

若所述图像中包含脸部，检测所述脸部的关键点；

根据所述关键点，判断所述图像中是否包含眼睛。

在一个实施例中，所述若所述图像中包含脸部的步骤之后包括：

检测所述图像中包含的脸部个数；

若所述图像中包含一个以上的脸部，检测每个脸部的关键点；

根据所述每个脸部的关键点，检测每个脸部中是否包含对应的眼睛。

在一个实施例中，所述脸部的关键点包括每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置。

在一个实施例中，所述判断所述图像中的每双眼睛是否处于闭眼状态的步骤包括：

判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值；

或者，判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

在一个实施例中，所述根据所述一双眼睛所属的脸部特征，从数据库中获取所述一双眼睛的睁眼图像的步骤包括：

对所述一双眼睛对应的脸部进行识别，获取所述一双眼睛对应的脸部特征；

根据所述脸部特征，检测电子设备数据库或者云端数据库中是否存在所述脸部的睁眼图像；

若存在所述脸部的睁眼图像，根据所述脸部的眼睛特征，生成所述眼睛的睁眼图像；

若不存在所述脸部的睁眼图像，根据所述脸部的特征，获取所述脸部对应的标准眼睛的睁眼图像。

在一个实施例中，所述将所述睁眼图像替换所述图像中的眼睛部位包括：

根据所述脸部的大小和所述脸部的旋转角度，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理的方法，所述方法包括：

获取一张图像，检测所述图像中是否包含眼睛；

若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；

若判断一双眼睛处于闭眼状态，对所述一双眼睛对应的脸部进行识别，获取所述一双眼睛对应的脸部特征；根据所述脸部特征，检测电子设备端数据库或者云端数据库中是否存在所述脸部的睁眼图像；若存在所述脸部的睁眼图像，根据所述脸部的眼睛特征，生成所述眼睛的睁眼图像；若不存在所述脸部的睁眼图像，根据所述脸部的特征，获取所述脸部对应的标准眼睛的睁眼图像；根据所述脸部的大小和所述脸部的旋转角度，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位；

输出所述图像。

2.根据权利要求1所述的方法，其特征在于，所述检测所述图像中是否包含眼睛的步骤包括：

检测所述图像中是否包含脸部；

若所述图像中包含脸部，检测所述脸部的关键点；

根据所述关键点，判断所述图像中是否包含眼睛。

3.根据权利要求2所述的方法，其特征在于，所述若所述图像中包含脸部的步骤之后包括：

检测所述图像中包含的脸部个数；

若所述图像中包含一个以上的脸部，检测每个脸部的关键点；

根据所述每个脸部的关键点，检测每个脸部中是否包含对应的眼睛。

4.根据权利要求2或者3所述的方法，其特征在于，所述脸部的关键点包括每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置。

5.根据权利要求1所述的方法，其特征在于，所述判断所述图像中的每双眼睛是否处于闭眼状态的步骤包括：

判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值；

或者，判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

6.一种图像处理的装置，其特征在于，所述装置包括：

检测模块，用于获取一张图像，检测所述图像中是否包含眼睛；

判断模块，用于若检测到所述图像中包含眼睛，判断所述图像中的每双眼睛是否处于闭眼状态；

替换模块，用于若判断一双眼睛处于闭眼状态，对所述一双眼睛对应的脸部进行识别，获取所述一双眼睛对应的脸部特征；根据所述脸部特征，检测电子设备端数据库或者云端数据库中是否存在所述脸部的睁眼图像；若存在所述脸部的睁眼图像，根据所述脸部的眼睛特征，生成所述眼睛的睁眼图像；若不存在所述脸部的睁眼图像，根据所述脸部的特征，获取所述脸部对应的标准眼睛的睁眼图像；根据所述脸部的大小和所述脸部的旋转角度，将所述睁眼图像替换所述一双眼睛对应脸部的眼睛部位；

输出模块，用于输出所述图像。

7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：

脸部检测单元，用于检测所述图像中是否包含脸部；

第一检测单元，用于若所述图像中包含脸部，检测所述脸部的关键点；

第一判断单元，用于根据所述关键点，判断所述图像中是否包含眼睛。

8.根据权利要求7所述的装置，其特征在于，所述检测模块还包括：

脸部个数检测单元，用于检测所述图像中包含的脸部个数；

第二检测单元，用于若所述图像中包含一个以上的脸部，检测每个脸部的关键点；

第二判断单元，用于根据所述每个脸部的关键点，检测每个脸部中是否包含对应的眼睛。

9.根据权利要求7或者8所述的装置，其特征在于，所述脸部的关键点包括每个脸部在所述图像中的位置和所述每个脸部对应的眼睛在所述图像中的位置。

10.根据权利要求6所述的装置，其特征在于，所述判断模块包括：

距离判断单元，用于判断所述每双眼睛的上眼皮和下眼皮的距离是否小于预设阈值；

或者，区域判断单元，用于判断是否检测到所述每双眼睛的瞳孔区域或者眼白区域。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法的步骤。

12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的图像处理方法。

Images