CN110163806B - 一种图像处理方法、装置以及存储介质 - Google Patents

一种图像处理方法、装置以及存储介质 Download PDF

Info

Publication number
CN110163806B
CN110163806B CN201810887095.1A CN201810887095A CN110163806B CN 110163806 B CN110163806 B CN 110163806B CN 201810887095 A CN201810887095 A CN 201810887095A CN 110163806 B CN110163806 B CN 110163806B
Authority
CN
China
Prior art keywords
face
eye
image
corrected
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810887095.1A
Other languages
English (en)
Other versions
CN110163806A (zh
Inventor
吴江红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810887095.1A priority Critical patent/CN110163806B/zh
Publication of CN110163806A publication Critical patent/CN110163806A/zh
Application granted granted Critical
Publication of CN110163806B publication Critical patent/CN110163806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明实施例公开了一种图像处理方法、装置以及存储介质；本发明实施例在获取待处理图像，并对该待处理图像中的多个人脸进行识别后，预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸，并根据待修正人脸的非眼部区域特征，在参考人脸数据库中获取与待修正人脸匹配的参考人脸，然后截取参考人脸的眼部区域，得到更新后的眼部区域，接着合成更新后的眼部区域以及待处理图像，得到目标图像；该方案可以提高图像处理速率，并且还可以增强图像的美化效果。

Description

一种图像处理方法、装置以及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像的处理方法、装置以及存储介质。
背景技术
随着智能移动设备的普及以及拍照功能的完善，多成员集体照拍摄场景也越来越多。然而，在集体照的拍摄过程中，由于每个成员眨眼的频率不一样，因此拍摄好的集体照会出现个别成员眼睛闭合的情况。
因此，为了让拍摄的集体照能够达到预期的效果，许多人选择使用数字图像编辑软件来美化图片。以拍摄集体照为例，通常是先完成集体照的拍摄，然后再通过数字图像编辑软件来对集体照进行美化，以解决集体照出现的个别成员眼睛闭合的问题。
然后，在现有的技术方案中，主要是用户通过数字图像编辑软件对集体照美化。因此，会存在图像处理速率低以及图像美化效果不佳的问题。
发明内容
本发明实施例提供一种图像处理方法、装置以及存储介质，不仅可以提高图像处理速率，并且还可以增强图像的美化效果。
本发明实施例提供了一种图像处理方法，包括：
获取待处理图像，并对所述待处理图像中的多个人脸进行识别；
采用预设眼睛闭合检测模型对所述多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸；
根据所述待修正人脸的非眼部区域特征，在参考人脸数据库中获取与所述待修正人脸匹配的参考人脸；
截取所述参考人脸的眼部区域，得到更新后的眼部区域；
合成所述更新后的眼部区域以及待处理图像，得到目标图像。
相应的，本发明实施例还提供了一种图像处理装置，包括：
识别单元，用于获取待处理图像，并对所述待处理图像中的多个人脸进行识别；
检测单元，用于对所述多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸；
获取单元，用于根据所述待修正人脸的非眼部区域特征，在参考人脸数据库中获取与所述待修正人脸匹配的参考人脸；
截取单元，用于截取所述参考人脸的眼部区域，得到更新后的眼部区域；
合成单元，用于合成所述更新后的眼部区域以及待处理图像，得到目标图像。
可选的，在本发明的一些实施例中，所述装置还包括：
检测单元，用于检测所述多个人脸在待处理图像中的位置，得到在所述待处理图像中的位置存在偏移的偏移人脸；
校正单元，用于校正所述偏移人脸，得到校正后的人脸。
可选的，在本发明的一些实施例中，所述检测单元具体用于：
提取所述多个人脸的脸部区域的特征点；
对所述多个人脸的脸部区域的特征点的偏移量进行检测，得到脸部区域在所述待处理图像中的位置存在偏移的偏移人脸。
可选的，在本发明的一些实施例中，所述校正单元具体用于：
根据所述人脸构建三维人脸模型，得到初始人脸模型；
根据所述初始人脸模型按照预设角度进行旋转，得到目标人脸模型；
将所述目标人脸模型映射为二维图像，得到校正后的人脸。
可选的，在本发明的一些实施例中，所述合成单元具体用于：
确定当前需要处理的待修正人脸的非眼部区域，得到当前处理对象；
获取所述当前处理对象在所述待处理图像中对应的待修正人脸的眼部区域，得到待替换对象；
获取所述当前处理对象对应的更新后的眼部区域，并将获取到的更新后的眼部区域对所述待替换对象进行替换；
返回执行确定当前需要处理的待修正人脸的非眼部区域的步骤，直至所有待修正人脸的眼部区域均替换完毕。
可选的，在本发明的一些实施例中，所述获取单元具体用于：
获取所述待修正人脸的非眼部区域的特征点集合以及参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合；
计算各个预设参考人脸的非眼部区域的特征点集合与所述待修正人脸的非眼部区域的特征点集合的匹配度；以及
将匹配度最高的预设参考人脸设置与所述待修正人脸匹配的参考人脸。
可选的，在本发明的一些实施例中，所述获取单元具体还用于：
获取基础参考人脸候选库和样本图像集，所述样本图像集包括多张包含人脸信息的样本图像；
根据所述样本图像集与所述基础参考人脸候选库构建参考人脸数据库。
可选的，在本发明的一些实施例中，所述装置还包括：
标注单元，用于采集多张样本人脸，并对所述多张样本人脸的眼睛闭合状态进行标注；
添加单元，用于将标注后的多张样本人脸添加至训练样本集中；
训练单元，用于根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
可选的，在本发明的一些实施例中，所述训练单元具体用于：
从所述训练样本集中确定当前训练样本；
将所述当前训练样本导入预设检测模型中，以得到当前训练样本的眼睛闭合状态预测值；
获取所述当前训练样本的眼睛闭合状态标注值；
对所述眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，并返回执行从所述训练样本集中确定当前训练样本的步骤，直到所述训练样本集中的样本人脸均训练完毕。
本发明实施例在获取待处理图像，并对该待处理图像中的多个人脸进行识别后，采用预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸，然后，根据待修正人脸的非眼部区域特征，并在参考人脸数据库中获取与待修正人脸匹配的参考人脸，然后截取参考人脸的眼部区域，得到更新后的眼部区域，接着合成更新后的眼部区域以及待处理图像，得到目标图像。由于该方案可以通过预设眼睛闭合检测模型人脸的眼部区域进行更新，得到更新后眼部区域，然后再合成更新后的眼部区域和待处理图像，相对于现有只能人工进行调整的方案而言，可以大大提高图像处理速率，而且，还可以避免人为干预所导致的预期美化效果不佳的问题，大大增强图像的美化效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像处理方法的场景示意图；
图1b是本发明实施例提供的图像处理方法的流程示意图；
图2a是本发明实施例提供的图像处理方法的另一流程示意图；
图2d是本发明实施例提供的图像处理方法中特征点集合的另一示意图；
图3a是本发明实施例提供的图像处理装置的结构示意图；
图3b是本发明实施例提供的图像处理装置的第一结构示意图；
图3c是本发明实施例提供的图像处理装置的第二结构示意图；
图4是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置以及存储介质。
其中，该人脸图像的处理装置具体可以集成在平板PC（Personal Computer）、手机等具备储存单元并安装有微处理器而具有运算能力的终端机中。例如，以该图像处理装置具体集成在手机为例，参见图1a，手机在获取到待处理图像后，可以对待处理图像中的人脸进行识别，然后可以提取人脸的特征信息，从而确定人脸的眼部区域，紧接着，根据预设眼睛闭合检测模型更新眼部区域，得到更新后的眼部区域，然后合成更新后的眼部区域以及待处理图像，得到目标图像。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
实施例一、
一种图像处理方法，包括：获取待处理图像，并对待处理图像中的人脸进行识别，根据预设眼睛闭合检测模型，判断人脸的眼部区域是否处于闭合状态，若人脸的眼部区域处于闭合状态，则根据该人脸的非眼部区域特征，在参考人脸数据库中获取与所述人脸匹配的参考人脸，截取参考人脸的眼部区域，得到更新后的眼部区域，合成更新后的眼部区域以及待处理图像，得到目标图像。
请参阅图1b，图1b为本发明实施例提供的图像处理方法的流程示意图。该图像处理方法的具体流程可以如下：
101、获取待处理图像，并对待处理图像中的多个人脸进行识别。
该待处理图像可以是通过手机拍摄得到的图像，也可以是已经保存在手机中的本地图像。获取待处理图像，然后识别该待处理图像中的多个人脸，比如，可以识别出该待处理图像三个人脸，具体根据该待处理图像中的人脸数量而定，该待处理图像可以是用户的自拍照，也可以是集体照。
102、采用预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸。
比如，具体的，可以采用眼睛闭合检测模型检测多个人脸的眼部区域是否处于闭合状态，当检测到眼部区域处于闭合状态的人脸，则将其标记为待修正人脸。
其中，该眼睛闭合检测模型可以是预先建立的，并且该眼睛闭合检测模型是有多张标注了眼睛闭合状态的样本人脸训练而成的，即在步骤“采用预设眼睛闭合检测模型对所述多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸”之前，还可以包括：
采集多张样本人脸，并对多张样本人脸的眼睛闭合状态进行标注；
将标注后的多张样本人脸添加至训练样本集中；
根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
例如，具体的，可以通过多个途径采集多张样本人脸，该多张样本人脸可以包括多张不同的人脸，也包括同一人脸的不同形态，比如皱眉、抿嘴或者闭眼。然后，对多张样本人脸的眼睛闭合状态进行标注，优选的，具体可以根据该样本人脸的眼部区域的特征点数量进行分类，这是因为当眼部区域处于闭合状态时，眼部区域的特征点集合会缺少眼球的特征点，因此，当样本人脸的眼部区域的特征点集合缺少眼球的特征点即可标注为闭合状态。随后，将标注后的多张样本人脸添加至训练样本集中，并根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
其中，该预设检测模型可以根据实际应用的需求进行设定，例如，该预设检测模型可以包括四个卷积层和一个全连接层。
卷积层：主要用于对输入的图像（比如训练样本或需要识别的图像）进行特征提取，其中，卷积核大小可以根据实际应用而定，比如，从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7，7)，(5，5)，(3，3)，(3，3)；可选的，为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“relu（线性整流函数，Rectified Linear Unit）”，而padding（padding，指属性定义元素边框与元素内容之间的空间）方式均设置为“same”，“same”填充方式可以简单理解为以0填充边缘，左边（上边）补0的个数和右边（下边）补0的个数一样或少一个。可选的，为了进一步减少计算量，还可以在第二至第四层卷积层中的所有层或任意1~2层进行下采样（pooling）操作，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值（max pooling）或平均值（average pooling）等，为了描述方便，在本发明实施例中，将均以在第二层卷积层和第三次卷积层中进行下采样操作，且该下采样操作具体为maxpooling为例进行说明。
需说明的是，为了描述方便，在本发明实施例中，将激活函数所在层和下采样层（也称为池化层）均归入卷积层中，应当理解的是，也可以认为该结构包括卷积层、激活函数所在层、下采样层（即池化层）和全连接层，当然，还可以包括用于输入数据的输入层和用于输出数据的输出层，在此不再赘述。
全连接层：可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层（如卷积层中的下采样层）输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，在该孪生神经网络模型的上半分支网络和下半分支网络中，全连接层的神经元数量可以均设置为512个，或者，也可以均设置为128个，等等。与卷积层类似，可选的，在全连接层中，也可以通过加入激活函数来加入非线性因素，比如，可以加入激活函数sigmoid（S型函数）。
即，步骤“述根据训练样本集对预设检测模型进行训练”，具体可以包括：
（11）从训练样本集中确定当前训练样本。
（12）将当前训练样本导入预设检测模型中，以得到当前训练样本的眼睛闭合状态预测值。
（13）获取当前训练样本的眼睛闭合状态标注值。
（14）对眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，并返回执行从训练样本集中确定当前训练样本的步骤，直到训练样本集中的样本人脸均训练完毕。
例如，在训练样本集中选取任一样本人脸作为当前训练样本，然后，将该当前训练样本作为输入并导入到该预设检测模型中，以得到该当前训练样本的眼睛闭合状态预测值。紧接着，再获取当前训练样本的眼睛闭合状态标注值。需要说明的是，在实际训练过程中，训练样本的眼睛闭合状态预测值与当前训练样本的眼睛闭合状态标注值往往差异很大，比如，当前训练样本的眼睛闭合状态标注值为闭合，而训练样本的眼睛闭合状态预测值可以是睁开，因此需要对眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，得到眼睛闭合模型。优选的，可以采用预设损失函数对该眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，得到眼睛闭合检测模型。
其中，该损失函数可以根据实际应用需求进行灵活设置，比如，损失函数J可以选为交叉熵，如下：
；
其中，C为类别数目，C=2，k∈（1,2），k的不同取值代表是否属于同一人脸，为输出的眼睛闭合状态预测值，/>为眼睛闭合状态标注值。通过降低眼睛闭合状态预测值和眼睛闭合状态标注值之间的误差，进行不断训练，以调整权重至合适数值，便可得到该眼睛闭合检测模型。当训练完一个样本后，返回执行从训练样本集中确定当前训练样本的步骤，直到训练样本集中的样本人脸均训练完毕。
103、根据待修正人脸的非眼部区域特征，在参考人脸数据库中获取与待修正人脸匹配的参考人脸。
例如，具体的，可以计算该待修正人脸的非眼部区域特征点集合与参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合之间的匹配度，当匹配度大于某一预设匹配度时，确定该预设参考人脸为与该人脸匹配的人脸。
即，在一些实施例中，步骤“根据人脸的非眼部区域特征，在参考人脸数据库中获取与人脸匹配的参考人脸”具体可以包括：
（21）获取待修正人脸的非眼部区域的特征点集合以及参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合。
（22）计算各个预设参考人脸的非眼部区域的特征点集合与待修正人脸的非眼部区域的特征点集合的匹配度。
（23）将匹配度最高的预设参考人脸设置与待修正人脸匹配的参考人脸。
可以采用识别人脸特征点的方法得到该待修正人脸的非眼部区域的特征点集合。例如，可以利用人脸的几何特征，提取具有尺寸、旋转和位移不变性的人脸特征点，比如可以提取出如眼睛、鼻子以及嘴唇等部位的关键特征点位置。然后根据这些关键特征点位置确定人脸的眼部区域。例如，选取该待修正人脸的9个特征点，分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。然后，根据2个眼球中心点和4个眼角点确定待修正人脸的眼部区域，最后根据该待修正人脸的眼部区域确定非眼部区域。当然，也可以直接通过特征点确定该待修正人脸的非眼部区域。
同时，在参考人脸数据库中获取多张预设参考人脸，然后也可以采用识别人脸特征点的方法得到多张预设参考人脸的非眼部区域的特征点集合。紧接着，可以计算各个预设参考人脸的非眼部区域的特征点集合与待修正人脸的非眼部区域的特征点集合的匹配度。最后，将匹配度最高的预设参考人脸设置与待修正人脸匹配的参考人脸。
比如，在参考人脸数据库中获取到5张预设参考人脸，采用识别人脸特征点的方法得到5张预设参考人脸的非眼部区域的特征点集合。然后计算得到这5张预设参考人脸的非眼部区域的特征点集合与该待修正人脸的非眼部区域的特征点集合的匹配度分别为30%、50%、55%、10%以及60%，此时，将匹配度为60%的预设参考人脸设置为与该待修正人脸匹配的参考人脸。
其中，该参考人脸数据库可以由运维人员预先建立而成，即在步骤“获取参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合”之前，还可以包括：
获取基础参考人脸候选库和样本图像集，所述样本图像集包括多张包含人脸信息的样本图像；
根据所述样本图像集与所述基础参考人脸候选库构建参考人脸数据库。
在参考人脸数据库中获取与待修正人脸匹配的参考人脸之后，即可执行步骤104。
104、截取参考人脸的眼部区域，得到更新后的眼部区域。
例如，可以根据参考人脸的眼部区域的特征点集合，以截取参考人脸的眼部区域，并将该参考人脸的眼部区域作为更新后的眼部区域。
105、合成更新后的眼部区域以及待处理图像，得到目标图像。
具体的，可以将更新后的眼部区域以及待处理图像作为输入，然后对更新后的眼部区域进行采样以及对待处理图像进行采样，得到更新后的眼部区域对应的像素值以及，得到待处理图像对应的像素值，然后根据更新后的眼部区域、待处理图像以及这两个像素值合成图像，得到目标图像。
在一些实施例中，步骤“合成更新后的眼部区域以及待处理图像，得到目标图像”具体可以包括如下：
确定当前需要处理的待修正人脸的非眼部区域，得到当前处理对象；
获取当前处理对象在待处理图像中对应的待修正人脸的眼部区域，得到待替换对象；
获取当前处理对象对应的更新后的眼部区域，并将获取到的更新后的眼部区域对待替换对象进行替换；
返回执行确定当前需要处理的待修正人脸的非眼部区域的步骤，直至所有待修正人脸的眼部区域均替换完毕。
需要说明的是，待处理图像中的人脸形态各异，这些人脸在待处理图像中的位置可能会存在偏移的现象，因此，在得到目标图像之前，还可以检测待处理图像中的人脸是否存在偏移。
即，在一些实施例中，步骤105合成更新后的眼部区域以及待处理图像，得到目标图像之前，具体还可以包括：
检测多个人脸在待处理图像中的位置，得到在待处理图像中位置存在偏移的偏移人脸；
校正偏移人脸，得到校正后的人脸；
合成更新后的眼部区域以及待处理图像，得到目标图像，包括：将更新后的眼部区域、校正后的人脸以及待处理图像进行合成，得到目标图像。
例如，具体的，首先检测人脸在待处理图像中的位置是否存在偏移，若人脸在待处理图像中的位置存在偏移，则校正人脸，校正人脸的方法可以有很多种，可选的，可以采用普氏分析方法校正人脸，使得校正后的人脸更贴近该人脸原有的形状。需要说明的是，在普氏分析方法校正人脸的过程中，对人脸的特征点检测是必要的步骤。所以，对人脸进行校正首先需要检测该人脸的特征点，然后利用普氏分析方法对该人脸的特征点进行归一化处理，以得到校正后的人脸。即对该脸部区域的特征点进行平移、放缩以及旋转变换，得到校正后的脸部区域的特征点，并根据该校正后的脸部区域的特征点得到校正后的人脸，然后将该校正后的人脸覆盖至原来的人脸上，最后，合成更新后的眼部区域、校正后的人脸以及待处理图像，得到目标图像。
其中，可选的，在一些实施例中，步骤“校正人脸”具体可以包括：
根据偏移人脸构建三维人脸模型，得到初始人脸模型；
根据初始人脸模型按照预设角度进行旋转，得到目标人脸模型；
将目标人脸模型映射为二维图像，得到校正后的人脸。
可选的，在一些实施例中，步骤“检测多个人脸在待处理图像中的位置，得到在待处理图像中的位置存在偏移的偏移人脸”，具体可以包括：
提取多个人脸的脸部区域的特征点；
对多个人脸的脸部区域的特征点的偏移量进行检测，得到脸部区域在所述待处理图像中的位置存在偏移的偏移人脸。
例如，具体的，提取多个人脸的脸部区域的特征点，得到脸部区域的特征点集合，然后，判断脸部区域的特征点是否均位于待处理图像的预设位置上。比如，有连续的几个特征点落在该待处理图像的非预设位置上时，则可以判断该人脸在待处理图像的位置存在偏移，即该人脸为偏移人脸。
本实施例提供的一种图像处理方法，在获取待处理图像，并对该待处理图像中的多个人脸进行识别后，采用预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸，根据待修正人脸的非眼部区域，在参考人脸数据库中获取与待修正人脸匹配的参考人脸，然后截取参考人脸的眼部区域，得到更新后的眼部区域，接着合成更新后的眼部区域以及待处理图像，得到目标图像。通过预设眼睛闭合检测模型对待修正人脸的眼部区域进行更新，得到更新后眼部区域，然后再合成更新后的眼部区域和待处理图像，相对于现有只能人工进行调整的方案而言，可以大大提高图像处理速率，而且，还可以避免人为干预所导致的预期美化效果不佳的问题，大大增强图像的美化效果。
实施例二、
根据实施例的方法，以下将举例进一步详细说明。
在本实施例中将以该图像处理装置具体集成在终端中为例进行说明。
请参阅图2a，一种图像处理方法，具体流程可以如下：
201、终端获取待处理图像，并对待处理图像中的多个人脸进行识别。
具体的，该待处理图像可以是通过手机拍摄得到的图像，也可以是已经保存在手机中的本地图像。终端获取待处理图像，然后终端识别该待处理图像中的多个人脸，比如，终端可以识别出该待处理图像多个人脸，具体根据该待处理图像中的人脸数量而定，该待处理图像可以是用户的自拍照，也可以是集体照。
例如，终端获取一张待处理图像，该待处理图像中包括3张人脸，基于人脸关键点检测的方法检测该待处理图像，可以按预定的顺序依次识别这3张人脸，也可以一次性完成识别的进程，在此不做限制，具体根据实际情况进行设定。
202、终端采用预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸。
具体的，比如，终端可以根据预设眼睛闭合检测模型，判断该人脸的眼部区域的特征点数量是否小于预设特征点数量。若该人脸的眼部区域的特征点数量小于预设特征点数量，终端则可以判断该人脸的眼部区域处于闭合状态，即，终端可以将该人脸标记为待修正人脸。
其中，该眼睛闭合检测模型可以是由终端预先建立的，并且该眼睛闭合检测模型是有多张标注了眼睛闭合状态的样本人脸训练而成的，即在步骤“终端采用预设眼睛闭合检测模型对所述多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸”之前，还可以包括：
终端采集多张样本人脸，并对多张样本人脸的眼睛闭合状态进行标注；
终端将标注后的多张样本人脸添加至训练样本集中；
终端根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
例如，具体的，终端可以通过多个途径采集多张样本人脸，该多张样本人脸可以包括多张不同的人脸，也包括同一人脸的不同形态，比如皱眉、抿嘴或者闭眼。然后，对多张样本人脸的眼睛闭合状态进行标注，优选的，终端具体可以根据该样本人脸的眼部区域的特征点数量进行分类，这是因为当眼部区域处于闭合状态时，眼部区域的特征点集合会缺少眼球的特征点，因此，当样本人脸的眼部区域的特征点集合缺少眼球的特征点即可标注为闭合状态。随后，将标注后的多张样本人脸添加至训练样本集中，并根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
在一些实施例中，步骤“终端根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型”，具体可以包括：
（31）终端从训练样本集中确定当前训练样本。
（32）终端将当前训练样本导入预设检测模型中，以得到当前训练样本的眼睛闭合状态预测值。
（33）终端获取当前训练样本的眼睛闭合状态标注值。
（34）终端对眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，并返回执行从训练样本集中确定当前训练样本的步骤，直到训练样本集中的样本人脸均训练完毕。
例如，终端在训练样本集中选取任一样本人脸作为当前训练样本，然后，终端将该当前训练样本作为输入并导入到该预设检测模型中，以得到该当前训练样本的眼睛闭合状态预测值。紧接着，终端再获取当前训练样本的眼睛闭合状态标注值。需要说明的是，在实际训练过程中，训练样本的眼睛闭合状态预测值与当前训练样本的眼睛闭合状态标注值往往差异很大，比如，当前训练样本的眼睛闭合状态标注值为闭合，而训练样本的眼睛闭合状态预测值可以是睁开，也可以是闭合。因此需要对眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，得到眼睛闭合模型。优选的，可以采用预设损失函数对该眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，得到眼睛闭合检测模型。
其中，该损失函数可以根据实际应用需求进行灵活设置，比如，损失函数J可以选为交叉熵，如下：
；
其中，C为类别数目，C=2，k∈（1,2），k的不同取值代表是否属于同一人脸，为输出的眼睛闭合状态预测值，/>为眼睛闭合状态标注值。通过降低眼睛闭合状态预测值和眼睛闭合状态标注值之间的误差，进行不断训练，以调整权重至合适数值，便可得到该眼睛闭合检测模型。当训练完一个样本后，返回执行从训练样本集中确定当前训练样本的步骤，直到训练样本集中的样本人脸均训练完毕。
203、终端根据待修正人脸的非眼部区域特征，在参考人脸数据库中获取与待修正人脸匹配的参考人脸。
例如，具体的，终端可以计算该待修正人脸的非眼部区域特征点集合与参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合之间的匹配度，当匹配度大于某一预设匹配度时，确定该预设参考人脸为与该人脸匹配的人脸。
即，在一些实施例中，步骤“在人脸的眼部区域处于闭合状态，终端根据人脸的非眼部区域特征，在参考人脸数据库中获取与人脸匹配的参考人脸”具体可以包括：
（41）终端获取待修正人脸的非眼部区域的特征点集合以及参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合。
（42）终端计算各个预设参考人脸的非眼部区域的特征点集合与待修正人脸的非眼部区域的特征点集合的匹配度。
（43）终端将匹配度最高的预设参考人脸设置与待修正人脸匹配的参考人脸
终端可以采用识别人脸特征点的方法得到该待修正人脸的非眼部区域的特征点集合。例如，终端可以利用人脸的几何特征，提取具有尺寸、旋转和位移不变性的人脸特征点，比如终端可以提取出如眼睛、鼻子以及嘴唇等部位的关键特征点位置。然后根据这些关键特征点位置确定待修正人脸的眼部区域。例如，选取人脸的9个特征点，分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。然后，根据2个眼球中心点和4个眼角点确定待修正人脸的眼部区域，最后根据该待修正人脸的眼部区域确定非眼部区域。当然，也可以直接通过特征点确定该待修正人脸的非眼部区域。
比如，首先终端可以选取待修正人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点以及2个嘴角点。然后，再根据这9个特征点进一步选取更多的特征点，可以得到眼部区域的16个特征点、鼻子轮廓的8个特征点、嘴唇的16个特征点以及脸部轮廓的18个特征点等等，从而能够得到更完整的该待修正人脸的83个特征点。如图2d所示，图中S1和S2即为该待修正人脸的眼部区域。然后，可以根据图中S1以及S2限定的区域来确定该待修正人脸的非眼部区域，这样可以提高识别该待修正人脸的非眼部区域的准确性。
同时，终端可以在参考人脸数据库中获取多张预设参考人脸，然后也可以采用识别人脸特征点的方法得到多张预设参考人脸的非眼部区域的特征点集合。紧接着，终端可以计算各个预设参考人脸的非眼部区域的特征点集合与待修正人脸的非眼部区域的特征点集合的匹配度。最后，终端将匹配度最高的预设参考人脸设置与待修正人脸匹配的参考人脸。
比如，终端在参考人脸数据库中获取到5张预设参考人脸，终端采用识别人脸特征点的方法得到5张预设参考人脸的非眼部区域的特征点集合。然后，终端计算得到这5张预设参考人脸的非眼部区域的特征点集合与该待修正人脸的非眼部区域的特征点集合的匹配度分别为30%、50%、55%、10%以及60%，此时，终端将匹配度为60%的预设参考人脸设置为与该人脸匹配的参考人脸。
其中，该参考人脸数据库可以由运维人员预先建立而成，即在步骤“终端获取参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合”之前，还可以包括：
终端获取基础参考人脸候选库和样本图像集，样本图像集包括多张包含人脸信息的样本图像。
终端根据样本图像集与基础参考人脸候选库构建参考人脸数据库。
其中，该基础参考人脸候选库可以是运维人员预先建立好的，终端可以利用样本图像集中的人脸图片对该基础参考人脸候选库进行更新，以使参考人脸数据库中含有更多的参考人脸。
终端在参考人脸数据库中获取与所述人脸匹配的参考人脸之后，即可执行步骤204。
204、终端截取参考人脸的眼部区域，得到更新后的眼部区域。
优选的，终端可以根据参考人脸的眼部区域的特征点集合，以截取参考人脸的眼部区域，并将该参考人脸的眼部区域作为更新后的眼部区域。比如，终端首先识别到参考人脸的83个特征点，然后根据这83个特征点确定参考人脸的眼部区域，例如眼部区域总共有16个特征点。紧接着，终端根据这16个特征点截取参考人脸的眼部区域，从而得到更新后的眼部区域。参考人脸的特征点识别方法请参阅前面实施例，在此不再赘述。
205、终端检测多个人脸在待处理图像中的位置，得到在待处理图像中位置存在偏移的偏移人脸。
终端检测人脸在待处理图像中的位置是否存在偏移，若人脸在待处理图像中的位置存在偏移，则确定该人脸为偏移人脸，若人脸在待处理图像中的位置不存在偏移，终端将将更新后的眼部区域以及待处理图像进行合成，得到目标图像。
具体的，终端可以通过识别人脸的特征点，得到人脸各个区域的特征点集合，比如脸部区域的特征点集合、唇部区域的特征集合以及面部轮廓的特征点集合等等，然后终端可以计算各个区域之间的欧几里得距离进而确定人脸在待处理图像中的位置是否存在偏移。
在一些实施例中，步骤205终端检测多个人脸在待处理图像中的位置，得到在待处理图像中位置存在偏移的偏移人脸具体可以包括：
终端提取多个人脸的脸部区域的特征点；
对多个人脸的脸部区域的特征点的偏移量进行检测，得到脸部区域在所述待处理图像中的位置存在偏移的偏移人脸。
比如，终端可以提取多个人脸的脸部区域的特征点，得到脸部区域的特征点集合，然后终端可以根据该脸部区域的特征点集合预测人脸在该待处理图像中的位置，即预设位置。然后，终端再判断该脸部区域的特征点集合在待处理图像中的位置是否与预设位置重合，若不重合，终端则可以确定该人脸存在偏移，即该人脸为偏移人脸。
需要说明的是，步骤202和步骤205的执行顺序不分先后。
206、终端校正偏移人脸，得到校正后的人脸。
具体的，若终端检测到人脸在待处理图像中的位置存在偏移，终端可以利用普氏分析方法对该人脸的特征点进行归一化处理，以得到校正后的人脸。即对该脸部区域的特征点进行平移、放缩以及旋转变换，得到校正后的脸部区域的特征点，并根据该校正后的脸部区域的特征点得到校正后的人脸，然后将该校正后的人脸覆盖至原来的人脸上。
可选的，在一些实施例中，步骤“终端校正人脸”具体可以包括：
根据偏移人脸构建三维人脸模型，得到初始人脸模型；
根据初始人脸模型按照预设角度进行旋转，得到目标人脸模型；
将目标人脸模型映射为二维图像，得到校正后的人脸。
具体的，例如，在终端检测到偏移人脸之后，终端可以根据该偏移人脸构建该偏移人脸对应的三维人脸模型，即初始人脸模型。然后，再将该初始人脸模型进行一定角度的旋转，比如，旋转十度，得到目标人脸模型。紧接着，再将该目标人脸模型映射为一张二维图像，即校正后的人脸，然后即可执行步骤207。
207、终端将更新后的眼部区域、校正后的人脸以及待处理图像进行合成，得到目标图像。
具体的，终端可以将更新后的眼部区域以及待处理图像作为输入，然后对更新后的眼部区域进行采样以及对待处理图像进行采样，得到更新后的眼部区域对应的像素值以及，得到待处理图像对应的像素值，再然后，终端根据更新后的眼部区域、待处理图像以及这两个像素值合成图像，得到目标图像。
比如，待处理图像包括三个人脸，该三个人脸分别为A人脸、B人脸以及C人脸。A人脸的眼部区域处于闭合状态，B人脸在待处理图像中的位置存在偏移，C人脸的眼部区域处于闭合状态，并且在待处理图像中的位置存在偏移。终端分别对A人脸、B人脸以及C人脸进行处理，直到所有人脸都处理完毕才执行步骤207。具体的方法请参照前面实施例，在此不再赘述。
本实施例提供的一种图像处理方法，终端在获取待处理图像，并对该待处理图像中的多个人脸进行识别后，一方面，终端采用预设眼睛闭合检测模型，对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸，根据待修正人脸的非眼部区域，在参考人脸数据库中获取与待修正人脸匹配的参考人脸，终端截取参考人脸的眼部区域，得到更新后的眼部区域，另一方面，终端检测多个人脸在待处理图像中的位置，得到在待处理图像中位置存在偏移的偏移人脸，终端校正偏移人脸，得到校正后的人脸，接着再合成更新后的眼部区域、校正后的人脸以及待处理图像，得到目标图像。在本实施例中，一方面终端通过预设眼睛闭合检测模型对待修正人脸的眼部区域进行更新，另一方面当人脸在待处理图像中的位置存在偏移时，终端则校正人脸，得到校正后的人脸，相对于现有只能人工进行调整的方案而言，可以大大提高图像处理速率，而且，还可以避免人为干预所导致的预期美化效果不佳的问题，大大增强图像的美化效果，并且还可以解决集体照中个别成员脸部倾斜的技术问题。
实施例三、
为便于更好的实施本发明实施例提供的人脸图像的处理方法，本发明实施例还提供一种基于上述图像处理方法的装置（简称处理装置）。其中名词的含义与上述图像处理方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图3a，图3a为本发明实施例提供的图像处理装置的结构示意图，其中该处理装置可以包括人脸图像识别单元301、第一检测单元302、获取单元303、截取单元304以及合成单元305，具体可以如下：
识别单元301，用于获取待处理图像，并对所述待处理图像中的人脸进行识别。
识别单元301可以用于获取待处理图像，然后识别该待处理图像中的人脸，该待处理图像中的人脸包括多个人脸，该待处理图像可以是用户的自拍照，也可以是集体照。
第一检测单元302，用于对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸。
获取单元303，用于根据待修正人脸的非眼部区域特征，在参考人脸数据库中获取与待修正人脸匹配的参考人脸。
截取单元304，用于截取参考人脸的眼部区域，得到更新后的眼部区域。
合成单元305，用于合成更新后的眼部区域以及待处理图像，得到目标图像。
合成单元305可以将更新后的眼部区域以及待处理图像作为输入，然后对更新后的眼部区域进行采样以及对待处理图像进行采样，得到更新后的眼部区域对应的像素值以及，得到待处理图像对应的像素值，然后根据更新后的眼部区域、待处理图像以及这两个像素值合成图像，得到目标图像。
在本发明的一些实施例中，请参阅图3b，装置还包括检测单元306以及校正单元307
第二检测单元306，用于检测所述多个人脸在待处理图像中的位置，得到在待处理图像中的位置存在偏移的偏移人脸。
校正单元307，用于校正偏移人脸，得到校正后的人脸。
可选的，在一些实施例中，校正单元307具体用于：
根据人脸构建三维人脸模型，得到初始人脸模型；
根据初始人脸模型按照预设角度进行旋转，得到目标人脸模型；
将目标人脸模型映射为二维图像，得到校正后的人脸。
可选的，在一些实施例中，合成单元305具体用于：
确定当前需要处理的待修正人脸的非眼部区域，得到当前处理对象；
获取当前处理对象在所述待处理图像中对应的待修正人脸的眼部区域，得到待替换对象；
获取当前处理对象对应的更新后的眼部区域，并将获取到的更新后的眼部区域对待替换对象进行替换；
返回执行确定当前需要处理的待修正人脸的非眼部区域的步骤，直至所有待修正人脸的眼部区域均替换完毕。
可选的，在一些实施例中，检测单元306具体用于：
提取多个人脸的脸部区域的特征点；
对多个人脸的脸部区域的特征点的偏移量进行检测，得到脸部区域在待处理图像中的位置存在偏移的偏移人脸。
可选的，在一些实施例中，获取单元303具体可以用于：
获取待修正人脸的非眼部区域的特征点集合以及参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合。
计算各个预设参考人脸的非眼部区域的特征点集合与待修正人脸的非眼部区域的特征点集合的匹配度，以及
将匹配度最高的预设参考人脸设置与待修正人脸匹配的参考人脸。
可选的，在一些实施例中，获取单元303具体还用于：
获取基础参考人脸候选库和样本图像集，样本图像集包括多张包含人脸信息的样本图像；
根据样本图像集与基础参考人脸候选库构建参考人脸数据库。
可选的，在一些实施例中，请参阅图3c，装置还包括标注单元308、添加单元309以及训练单元310，如下：
标注单元308，用于采集多张样本人脸，并对所述多张样本人脸的眼睛闭合状态进行标注。
添加单元309，用于将标注后的多张样本人脸添加至训练样本集中。
训练单元310，用于根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
可选的，在一些实施例中，训练单元310具体用于：
从训练样本集中确定当前训练样本
将当前训练样本导入预设检测模型中，以得到当前训练样本的眼睛闭合状态预测值。
获取当前训练样本的眼睛闭合状态标注值。
对所述眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，并返回执行从所述训练样本集中确定当前训练样本的步骤，直到所述训练样本集中的样本人脸均训练完毕。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
本发明实施例提供的一种图像处理装置，识别单元301在获取待处理图像，并对该待处理图像中的多个人脸进行识别后，判断单元302采用预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸。获取单元303根据带修正人脸的非眼部区域特征，在参考人脸数据库中获取与待修正人脸匹配的参考人脸。紧接着，截取单元304截取参考人脸的眼部区域，得到更新后的眼部区域。最后，合成单元305合成更新后的眼部区域以及待处理图像，得到目标图像。相对于现有只能人工进行调整的方案而言，可以大大提高图像处理速率，而且，还可以避免人为干预所导致的预期美化效果不佳的问题，大大增强图像的美化效果。
实施例四、
相应的，本发明实施例还提供一种终端，如图4所示，该终端可以包括射频（RF，Radio Frequency）电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真（WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图4中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM，Subscriber Identity Module）卡、收发信机、耦合器、低噪声放大器（LNA，Low Noise Amplifier）、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统 （GSM，Global System of Mobile communication）、通用分组无线服务（GPRS ，GeneralPacket Radio Service）、码分多址（CDMA，Code Division Multiple Access）、宽带码分多址（WCDMA，Wideband Code Division Multiple Access）、长期演进（LTE，Long TermEvolution)、电子邮件、短消息服务（SMS，Short Messaging Service)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器（LCD，Liquid Crystal Display）、有机发光二极管（OLED，Organic Light-Emitting Diode）等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图4中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609（比如电池），优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：
获取待处理图像，并对待处理图像中的人脸进行识别，根据预设眼睛闭合检测模型，判断人脸的眼部区域是否处于闭合状态，若人脸的眼部区域处于闭合状态，则根据人脸的非眼部区域特征，在参考人脸数据库中获取与人脸匹配的参考人脸，截取参考人脸的眼部区域，得到更新后的眼部区域，检测人脸在待处理图像中的位置是否存在偏移，若人脸在待处理图像中的位置存在偏移，则校正所述人脸，得到校正后的人脸，将更新后的眼部区域、校正后的人脸以及待处理图像进行合成，得到目标图像。
本发明实施例在获取待处理图像，并对该待处理图像中的人脸进行识别后，根据预设眼睛闭合检测模型，判断人脸的眼部区域是否处于闭合状态，若人脸的眼部区域处于闭合状态，则根据人脸的非眼部区域特征，并在参考人脸数据库中获取与人脸匹配的参考人脸，然后截取参考人脸的眼部区域，得到更新后的眼部区域，接着合成更新后的眼部区域以及待处理图像，得到目标图像。由于该方案可以通过预设眼睛闭合检测模型人脸的眼部区域进行更新，得到更新后眼部区域，然后再合成更新后的眼部区域和待处理图像，相对于现有只能人工进行调整的方案而言，可以大大提高图像处理速率，而且，还可以避免人为干预所导致的预期美化效果不佳的问题，大大增强图像的美化效果。
实施例五、
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取待处理图像，并对待处理图像中的多个人脸进行识别，采用预设眼睛闭合检测模型对多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸，并根据待修正人脸的非眼部区域特征，在参考人脸数据库中获取与待修正人脸匹配的参考人脸，截取参考人脸的眼部区域，得到更新后的眼部区域，检测多个人脸在待处理图像中的位置，得到在待处理图像中位置存在偏移的偏移人脸，校正偏移人脸，得到校正后的人脸，将更新后的眼部区域、校正后的人脸以及待处理图像进行合成，得到目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，并对所述待处理图像中的多个人脸进行识别；
采用预设眼睛闭合检测模型判断每个人脸的眼部区域的特征点数量是否小于预设特征点数量；其中，所述眼睛闭合检测模型是由多张标注了眼睛闭合状态的样本人脸训练而成的；
将眼部区域的特征点数量小于预设特征点数量的人脸，作为眼部区域处于闭合状态的待修正人脸；
根据所述待修正人脸的非眼部区域特征，在参考人脸数据库中获取与所述待修正人脸匹配的参考人脸，包括：获取所述待修正人脸的非眼部区域的特征点集合以及参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合；计算各个预设参考人脸的非眼部区域的特征点集合与所述待修正人脸的非眼部区域的特征点集合的匹配度；将匹配度最高的预设参考人脸设置与所述待修正人脸匹配的参考人脸；
截取所述参考人脸的眼部区域，得到更新后的眼部区域；
合成所述更新后的眼部区域以及待处理图像，得到目标图像，包括：检测所述多个人脸在待处理图像中的位置，得到在所述待处理图像中位置存在偏移的偏移人脸；校正所述偏移人脸，得到校正后的人脸；确定当前需要处理的待修正人脸的非眼部区域，得到当前处理对象；获取所述当前处理对象在所述待处理图像中对应的待修正人脸的眼部区域，得到待替换对象；获取所述当前处理对象对应的更新后的眼部区域，并将获取到的更新后的眼部区域对所述待替换对象进行替换；返回执行确定当前需要处理的待修正人脸的非眼部区域的步骤，直至所有待修正人脸的眼部区域均替换完毕。
2.根据权利要求1所述的方法，其特征在于，所述检测所述多个人脸在待处理图像中的位置，得到在所述待处理图像中的位置存在偏移的偏移人脸，包括：
提取所述多个人脸的脸部区域的特征点；
对所述多个人脸的脸部区域的特征点的偏移量进行检测，得到脸部区域在所述待处理图像中的位置存在偏移的偏移人脸。
3.根据权利要求2所述的方法，其特征在于，所述得到校正后的人脸，包括：
根据所述偏移人脸构建三维人脸模型，得到初始人脸模型；
根据所述初始人脸模型按照预设角度进行旋转，得到目标人脸模型；
将所述目标人脸模型映射为二维图像，得到校正后的人脸。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取基础参考人脸候选库和样本图像集，所述样本图像集包括多张包含人脸信息的样本图像；
根据所述样本图像集与所述基础参考人脸候选库构建参考人脸数据库。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述采用预设眼睛闭合检测模型对所述多个人脸的眼部区域的闭合状态进行检测，得到眼部区域处于闭合状态的待修正人脸的步骤之前，还包括：
采集多张样本人脸，并对所述多张样本人脸的眼睛闭合状态进行标注；
将标注后的多张样本人脸添加至训练样本集中；
根据训练样本集对预设检测模型进行训练，得到眼睛闭合检测模型。
6.根据权利要求5所述的方法，其特征在于，所述根据训练样本集对预设检测模型进行训练，包括：
从所述训练样本集中确定当前训练样本；
将所述当前训练样本导入预设检测模型中，以得到当前训练样本的眼睛闭合状态预测值；
获取所述当前训练样本的眼睛闭合状态标注值；
对所述眼睛闭合状态预测值和眼睛闭合状态标注值进行收敛，并返回执行从所述训练样本集中确定当前训练样本的步骤，直到所述训练样本集中的样本人脸均训练完毕。
7.一种图像处理装置，其特征在于，包括：
识别单元，用于获取待处理图像，并对所述待处理图像中的多个人脸进行识别；
第一检测单元，用于采用预设眼睛闭合检测模型判断每个人脸的眼部区域的特征点数量是否小于预设特征点数量；将眼部区域的特征点数量小于预设特征点数量的人脸，作为眼部区域处于闭合状态的待修正人脸；其中，所述眼睛闭合检测模型是由多张标注了眼睛闭合状态的样本人脸训练而成的；
获取单元，用于根据所述待修正人脸的非眼部区域特征，在参考人脸数据库中获取与所述待修正人脸匹配的参考人脸，包括：获取所述待修正人脸的非眼部区域的特征点集合以及参考人脸数据库中的预设参考人脸的非眼部区域的特征点集合；计算各个预设参考人脸的非眼部区域的特征点集合与所述待修正人脸的非眼部区域的特征点集合的匹配度；将匹配度最高的预设参考人脸设置与所述待修正人脸匹配的参考人脸；
截取单元，用于截取所述参考人脸的眼部区域，得到更新后的眼部区域；
合成单元，用于合成所述更新后的眼部区域以及待处理图像，得到目标图像，包括：检测所述多个人脸在待处理图像中的位置，得到在所述待处理图像中位置存在偏移的偏移人脸；校正所述偏移人脸，得到校正后的人脸；确定当前需要处理的待修正人脸的非眼部区域，得到当前处理对象；获取所述当前处理对象在所述待处理图像中对应的待修正人脸的眼部区域，得到待替换对象；获取所述当前处理对象对应的更新后的眼部区域，并将获取到的更新后的眼部区域对所述待替换对象进行替换；返回执行确定当前需要处理的待修正人脸的非眼部区域的步骤，直至所有待修正人脸的眼部区域均替换完毕。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第二检测单元，用于检测所述多个人脸在待处理图像中的位置，得到在所述待处理图像中的位置存在偏移的偏移人脸；
校正单元，用于校正所述偏移人脸，得到校正后的人脸。
9.根据权利要求8所述的装置，其特征在于，所述检测单元具体用于：
提取所述多个人脸的脸部区域的特征点；
对所述多个人脸的脸部区域的特征点的偏移量进行检测，得到脸部区域在所述待处理图像中的位置存在偏移的偏移人脸。
10.根据权利要求9所述的装置，其特征在于，所述校正单元具体用于：
根据所述人脸构建三维人脸模型，得到初始人脸模型；
根据所述初始人脸模型按照预设角度进行旋转，得到目标人脸模型；
将所述目标人脸模型映射为二维图像，得到校正后的人脸。
11.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至6任一项所述的图像处理方法中的步骤。
CN201810887095.1A 2018-08-06 2018-08-06 一种图像处理方法、装置以及存储介质 Active CN110163806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810887095.1A CN110163806B (zh) 2018-08-06 2018-08-06 一种图像处理方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810887095.1A CN110163806B (zh) 2018-08-06 2018-08-06 一种图像处理方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN110163806A CN110163806A (zh) 2019-08-23
CN110163806B true CN110163806B (zh) 2023-09-15

Family

ID=67645176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810887095.1A Active CN110163806B (zh) 2018-08-06 2018-08-06 一种图像处理方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN110163806B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689479B (zh) * 2019-09-26 2023-05-30 北京达佳互联信息技术有限公司 一种人脸上妆方法、装置、设备及介质
CN111062904B (zh) * 2019-12-09 2023-08-11 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111080543B (zh) * 2019-12-09 2024-03-22 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN111062328B (zh) * 2019-12-18 2023-10-03 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人
CN111126347B (zh) * 2020-01-06 2024-02-20 腾讯科技（深圳）有限公司 人眼状态识别方法、装置、终端及可读存储介质
CN111325139B (zh) * 2020-02-18 2023-08-04 浙江大华技术股份有限公司 一种唇语识别方法及装置
CN113537993B (zh) * 2020-08-27 2024-02-13 腾讯科技（深圳）有限公司 一种基于脸部支付的数据检测方法及装置
CN112036311A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 基于眼部状态检测的图像处理方法、装置及存储介质
CN112348738B (zh) * 2020-11-04 2024-03-26 Oppo广东移动通信有限公司 图像优化方法、图像优化装置、存储介质与电子设备
CN112381709B (zh) * 2020-11-13 2022-06-21 北京字节跳动网络技术有限公司 图像处理方法、模型训练方法、装置、设备和介质
CN112488053B (zh) * 2020-12-17 2023-10-13 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、机器人及存储介质
CN117095446B (zh) * 2023-10-16 2024-02-27 广州卓腾科技有限公司 一种基于云数据库的瞬时证照生成与验证方法、系统及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077585A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 图像校正方法、装置及终端
CN104574321A (zh) * 2015-01-29 2015-04-29 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN106203400A (zh) * 2016-07-29 2016-12-07 广州国信达计算机网络通讯有限公司 一种人脸识别方法及装置
CN107622483A (zh) * 2017-09-15 2018-01-23 深圳市金立通信设备有限公司 一种图像合成方法及终端
CN107729875A (zh) * 2017-11-09 2018-02-23 上海快视信息技术有限公司 三维人脸识别方法和装置
CN107818305A (zh) * 2017-10-31 2018-03-20 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN107833197A (zh) * 2017-10-31 2018-03-23 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108229443A (zh) * 2018-02-08 2018-06-29 三星电子（中国）研发中心 一种防闭眼的拍照方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077585A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 图像校正方法、装置及终端
CN104574321A (zh) * 2015-01-29 2015-04-29 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN106203400A (zh) * 2016-07-29 2016-12-07 广州国信达计算机网络通讯有限公司 一种人脸识别方法及装置
CN107622483A (zh) * 2017-09-15 2018-01-23 深圳市金立通信设备有限公司 一种图像合成方法及终端
CN107818305A (zh) * 2017-10-31 2018-03-20 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN107833197A (zh) * 2017-10-31 2018-03-23 广东欧珀移动通信有限公司 图像处理的方法、装置、计算机可读存储介质和电子设备
CN107729875A (zh) * 2017-11-09 2018-02-23 上海快视信息技术有限公司 三维人脸识别方法和装置
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108229443A (zh) * 2018-02-08 2018-06-29 三星电子（中国）研发中心 一种防闭眼的拍照方法和装置

Also Published As

Publication number Publication date
CN110163806A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
CN111652121B (zh) 一种表情迁移模型的训练方法、表情迁移的方法及装置
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
EP3965003A1 (en) Image processing method and device
CN111260665B (zh) 图像分割模型训练方法和装置
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
WO2021135601A1 (zh) 辅助拍照方法、装置、终端设备及存储介质
CN108712603B (zh) 一种图像处理方法及移动终端
CN108346175B (zh) 一种人脸图像修复方法、装置及存储介质
CN108234882B (zh) 一种图像虚化方法及移动终端
CN108875594B (zh) 一种人脸图像的处理方法、装置以及存储介质
CN107749046B (zh) 一种图像处理方法及移动终端
CN107644396B (zh) 一种唇色调整方法和装置
CN108259746B (zh) 一种图像色彩检测方法及移动终端
CN110930329A (zh) 星空图像处理方法及装置
CN111080747B (zh) 一种人脸图像处理方法及电子设备
CN111091519B (zh) 一种图像处理方法及装置
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN112541489A (zh) 图像检测方法、装置、移动终端及存储介质
CN109859115A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN108846817B (zh) 图像处理方法、装置以及移动终端
WO2023051215A1 (zh) 注视点获取方法、装置、电子设备及可读存储介质
CN114549544A (zh) 图像处理方法、智能终端及存储介质
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
CN111310701B (zh) 手势识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant