CN112153275B - 一种拍照终端及其进行图像选择的方法 - Google Patents

一种拍照终端及其进行图像选择的方法 Download PDF

Info

Publication number
CN112153275B
CN112153275B CN201910580614.4A CN201910580614A CN112153275B CN 112153275 B CN112153275 B CN 112153275B CN 201910580614 A CN201910580614 A CN 201910580614A CN 112153275 B CN112153275 B CN 112153275B
Authority
CN
China
Prior art keywords
face
image
face image
photographing
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910580614.4A
Other languages
English (en)
Other versions
CN112153275A (zh
Inventor
车仁正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Mobile Communications Technology Co Ltd
Original Assignee
Hisense Mobile Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Mobile Communications Technology Co Ltd filed Critical Hisense Mobile Communications Technology Co Ltd
Priority to CN201910580614.4A priority Critical patent/CN112153275B/zh
Publication of CN112153275A publication Critical patent/CN112153275A/zh
Application granted granted Critical
Publication of CN112153275B publication Critical patent/CN112153275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种拍照终端及其进行图像选择的方法,用以解决现有对人脸进行采集的拍照方式得到的拍照图像效果较差的问题。本发明实施例拍照终端在接收到用户触发的拍照指令后,通过摄像头采集连续多帧拍照图像,并根据被拍摄者的面部状态对各帧拍照图像中包含的人脸图像进行评分,确定同一帧拍照图像中各人脸图像对应的第一状态值,在根据各人脸图像对应的第一状态值对该帧拍照图像进行评分,确定该帧拍照图像的第二状态值,根据各帧拍照图像对应的第二状态值从多帧拍照图像中选择目标拍摄图像,以此选择出被拍摄者面部状态较佳的拍照图像,避免用户重复拍摄,提高了拍照终端的拍摄效果以及最终显示的拍照图像的质量。

Description

一种拍照终端及其进行图像选择的方法
技术领域
本发明涉及终端技术领域,特别涉及一种拍照终端及其进行图像选择的方法。
背景技术
随着科学技术的发展,拍照技术广泛应用于人们生活的方方面面,比如:移动终端响应用户的拍照指令,得到拍照图像。然后在被拍摄人数较多时,比如在拍摄全家福的时候,由于不能保证拍照时各人脸同时处于较好的状态,因此得到的拍照图像可能效果较差,需要进行大量的重复拍摄。
综上所述,现有对人脸进行采集的拍照方式得到的拍照图像效果较差。
发明内容
本发明提供一种拍照终端及其进行图像选择的方法,用以解决现有对人脸进行采集的拍照方式得到的拍照图像效果较差的问题。
第一方面,本发明实施例提供的一种拍照终端进行图像选择的方法包括:
拍照终端响应用户的拍照指令,通过摄像头获得连续多帧拍照图像;
若所述拍照图像中包含人脸,则所述拍照终端根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值;
所述拍照终端根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值;
所述拍照终端根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上。
上述方法,拍照终端在接收到用户触发的拍照指令后,通过摄像头采集连续多帧拍照图像,并根据被拍摄者的面部状态对各帧拍照图像中包含的人脸图像进行评分,确定同一帧拍照图像中各人脸图像对应的第一状态值,在根据各人脸图像对应的第一状态值对该帧拍照图像进行评分,确定该帧拍照图像的第二状态值,根据各帧拍照图像对应的第二状态值从多帧拍照图像中选择目标拍摄图像,以此选择出被拍摄者面部状态较佳的拍照图像,避免用户重复拍摄,提高了拍摄效果以及得到的拍照图像的质量。
在一种可选的实施方式中,所述拍照终端根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值,包括:
所述拍照终端确定所述人脸图像中的至少一个对象的状态参数;
所述拍照终端将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数进行归一化处理并根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值;或所述拍照终端将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数和所述人脸图像在多帧拍照图像中对应的模糊度进行归一化处理并根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值。
在一种可选的实施方式中,所述拍照终端根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值,包括:
若所述人脸图像包含的对象为1个,则所述拍照终端将所述归一化处理后的所述对象的状态参数作为所述人脸图像的第一状态值;或
若所述人脸图像包含的对象为多个或根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值,则所述拍照终端将所述归一化处理后的多个对象各自对应的状态参数和权重进行加权计算,确定所述人脸图像的第一状态值。
在一种可选的实施方式中,所述拍照终端根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值,包括:
所述拍照终端确定所述人脸图像中的对象对应的权重和所述人脸图像的模糊度对应的权重;
所述拍照终端根据归一化处理后的所述人脸图像中的对象对应的状态参数和对应的权重确定第一数值,以及根据所述人脸图像的模糊度和所述人脸图像的模糊度对应的权重确定第二数值;
所述拍照终端根据第一数值和第二数值确定所述人脸图像的第一状态值。
在一种可选的实施方式中,若所述对象为眼睛,则所述对象的状态参数为眼睛的纵横比;
若所述对象为嘴巴,则所述对象的状态参数为嘴巴的弧度;
若所述对象为人脸,则所述对象的状态参数为人脸的偏转角度。
在一种可选的实施方式中,所述拍照终端根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值,包括:
若位于同一帧拍照图像中人脸图像为1个,则所述拍照终端将所述1个人脸图像对应的第一状态值作为所述拍照图像的第二状态值;
若位于同一帧拍照图像中人脸图像有多个,则所述拍照终端将所述多个人脸图像各自对应的第一状态值和对应的权重进行加权计算,确定所述拍照图像的第二状态值。
在一种可选的实施方式中,若位于同一帧拍照图像中人脸图像有多个,所述拍照终端通过下列方式确定所述多个人脸图像对应的权重:
所述拍照终端对所述多个人脸图像进行人脸识别,确定所述人脸图像对应的用户,将预先设置的所述用户的权重作为所述用户的人脸图像对应的权重;或
所述拍照终端根据所述多个人脸图像的数量确定每个人脸图像对应的权重且所述每个人脸图像对应的权重的值相同。
第二方面,本发明实施例还提供了一种进行图像选择的终端,该终端包括:处理器以及存储器,其中,所述存储器存储有程序代码,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,使得所述终端执行下列过程:
响应用户的拍照指令,通过摄像头获得连续多帧拍照图像;
若所述拍照图像中包含人脸,则根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值;
根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值;
根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上。
在一种可能的实现方式中,所述处理器具体用于:
确定所述人脸图像中的至少一个对象的状态参数;
将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数进行归一化处理并根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值;或将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数和所述人脸图像在多帧拍照图像中对应的模糊度进行归一化处理并根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值。
在一种可能的实现方式中,所述处理器具体用于:
若所述人脸图像包含的对象为1个,则将所述归一化处理后的所述对象的状态参数作为所述人脸图像的第一状态值;或
若所述人脸图像包含的对象为多个或根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值,则将所述归一化处理后的多个对象各自对应的状态参数和权重进行加权计算,确定所述人脸图像的第一状态值。
在一种可能的实现方式中,所述处理器具体用于:
确定所述人脸图像中的对象对应的权重和所述人脸图像的模糊度对应的权重;
根据归一化处理后的所述人脸图像中的对象对应的状态参数和对应的权重确定第一数值,以及根据所述人脸图像的模糊度和所述人脸图像的模糊度对应的权重确定第二数值;
根据第一数值和第二数值确定所述人脸图像的第一状态值。
在一种可能的实现方式中,若所述对象为眼睛,则所述对象的状态参数为眼睛的纵横比;
若所述对象为嘴巴,则所述对象的状态参数为嘴巴的弧度;
若所述对象为人脸,则所述对象的状态参数为人脸的偏转角度。
在一种可能的实现方式中,所述处理器具体用于:
若位于同一帧拍照图像中人脸图像为1个,则将所述1个人脸图像对应的第一状态值作为所述拍照图像的第二状态值;
若位于同一帧拍照图像中人脸图像有多个,则将所述多个人脸图像各自对应的第一状态值和对应的权重进行加权计算,确定所述拍照图像的第二状态值。
在一种可能的实现方式中,若位于同一帧拍照图像中人脸图像有多个,所述处理器还用于通过下列方式确定所述多个人脸图像对应的权重:
对所述多个人脸图像进行人脸识别,确定所述人脸图像对应的用户,将预先设置的所述用户的权重作为所述用户的人脸图像对应的权重;或
根据所述多个人脸图像的数量确定每个人脸图像对应的权重且所述每个人脸图像对应的权重的值相同。
第三方面,本发明实施例还提供一种进行图像选择的终端,该终端包括:
响应模块:用于响应用户的拍照指令,通过摄像头获得连续多帧拍照图像;
第一确定模块:若所述拍照图像中包含人脸,则用于根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值;
第二确定模块:用于根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值;
处理模块:用于根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上。
第四方面,本申请还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述方法的步骤。
另外,第二方面至第四方面中任一一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种拍照终端进行图像选择的方法示意图;
图2为本发明实施例提供的进行第一次非人脸过滤处理的前后对比示意图;
图3为本发明实施例提供的进行第二次非人脸过滤处理的前后对比示意图;
图4为本发明实施例提供的进行的人脸特征点检测的示意图;
图5为本发明实施例提供的表示眼睛纵横比的示意图;
图6为本发明实施例提供的某用户的某一帧拍照图像的示意图;
图7为本发明实施例提供的某用户的另一帧拍照图像的示意图;
图8为本发明实施例提供的嘴巴不同弧度的示意图;
图9为本发明实施例提供的偏转角度为0时的人脸图像示意图;
图10为本发明实施例提供的偏转角度为-1时的人脸图像示意图;
图11为本发明实施例提供的偏转角度为1时的人脸图像示意图;
图12为本发明实施例提供的人脸的偏转角度与对应的分数之间的曲线关系示意图;
图13为本发明实施例提供的某一帧用户合影的拍照图像示意图;
图14为本发明实施例提供的另一帧用户合影的拍照图像示意图;
图15为本发明实施例提供的另一帧用户合影的拍照图像示意图;
图16为本发明实施例提供的一种采集正面人脸图像的界面示意图;
图17为本发明实施例提供的一种人脸图像的示意图;
图18为本发明实施例提供的一种对人脸图像进行归一化处理的前后对比示意图;
图19为本发明实施例第一种进行图像选择的终端的结构示意图;
图20为本发明实施例第二种进行图像选择的终端的结构示意图;
图21位本发明实施例第三种进行图像选择的终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面对文中出现的一些词语进行解释:
1、本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明实施例中的终端为具有拍照功能的终端,比如:手机、平板、智能相机、具备摄像头的电脑等。
在使用终端拍摄多人的合影照片时,由于人脸的表情丰富,拍照时合影用户可能正在眨眼或脸部正在转动,不能保证每个合影用户的人脸都处于较佳的状态,导致拍摄到的拍照图像中的部分或全部合影用户的人脸表情或状态较差或不清晰。因此,需要进行大量重复的拍照才可能获取一张较满意的拍照图像,用户的使用体验较差。
本发明实施例在接收到用户触发的拍照指令后,采集连续多帧拍照图像,若确定连续多帧拍照图像中包含人脸图像,则分析各帧拍照图像中各人脸图像的第一状态值,并根据各人脸图像的第一状态值分别确定每帧拍照图像对应的第二状态值,以此来选择要保存或要显示在终端的屏幕上的目标拍照图像。这样既可以从连续多帧拍照图像中选择拍摄效果较好的拍照图像,避免用户进行大量重复的拍照工作,提高了图像拍摄的效果。
下面结合说明书附图1对本发明实施例做进一步详细描述。
如图1所示,本发明实施例提供的是一种拍照终端进行图像选择的方法,具体包括以下步骤:
步骤100:拍照终端响应用户的拍照指令,通过摄像头获得连续多帧拍照图像;
步骤101:若所述拍照图像中包含人脸,则所述拍照终端根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值;
步骤102:所述拍照终端根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值;
步骤103:所述拍照终端根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上。
通过上述方案,拍照终端在接收到用户触发的拍照指令后,通过摄像头采集连续多帧拍照图像,并根据被拍摄者的面部状态对各帧拍照图像中包含的人脸图像进行评分,确定同一帧拍照图像中各人脸图像对应的第一状态值,在根据各人脸图像对应的第一状态值对该帧拍照图像进行评分,确定该帧拍照图像的第二状态值,根据各帧拍照图像对应的第二状态值从多帧拍照图像中选择目标拍摄图像,以此选择出被拍摄者面部状态较佳的拍照图像,避免用户重复拍摄,提高了拍摄效果以及得到的拍照图像的质量。
本发明实施例主要包含两个方面,第一方面为拍照终端确定人脸图像的第一状态值;第二方面为拍照终端确定多帧拍照图像对应的第二状态值。下面以分数作为第一状态值和第二状态值为例对第一方面和第二方面的主要流程进行介绍说明:
第一方面:拍照终端确定人脸图像的分数(第一状态值);
步骤1:拍照终端对拍照图像进行人脸检测处理;
拍照终端根据基于人脸检测算法对拍照图像进行人脸检测处理,确定该图像中是否包含人脸图像,若包含人脸图像则进一步确定该人脸图像的分辨率和人脸中心线方向。
其中,人脸检测处理的方式有多种,下面举例说明:
例如:本发明实施例采用3级联网络,即通过3个较小的神经网络对图像进行人脸检测处理,处理过程如下:
1)通过第一个神经网络对该图像中包含的对象进行过滤,过滤掉非人脸图像,比如图2所示,为通过第一个神经网络进行第一次过滤处理前后的对比图像示意图;其中,第一个神经网络的处理精度较低,处理后的图像中还可能存在非人脸图像,因此使用第二神经网络对图像进行更精细的过滤;
2)通过第二个神经网络对第一次过滤后的图像进行第二次过滤,再次过滤掉非人脸图像;如图3所示,为通过第二个神经网络进行第二次过滤处理前后的图像示意图;
3)通过第三个神经网络对通过第二次过滤后得到的图像进行人脸检测,判断当前图像中是否包含人脸,若确定包含人脸,则清除当前图片中的背景,进行去噪处理,并将该人脸图像从当前图像中剪裁出来,以确定该人脸的人脸中心线的方向和分辨率。
步骤2:拍照终端对检测到的人脸图像进行特征点检测;
拍照终端利用人脸特征点检测算对通过步骤2剪裁出的人脸图像进行特征点检测,确定该人脸图像的眼睛、嘴、鼻子等五官以及脸部轮廓的特征点。如图4所示为本发明实施例提供一种拍照终端检测到的人脸图像的特征点示意图。
步骤3:拍照终端根据人脸图像的特征点确定该人脸图像的分数;
拍照终端确定人脸图像的分数的方式有多种,下面进行举例说明:
确定方式一:根据人脸图像中包含至少一个对象的状态参数确定人脸图像的分数;
人脸图像包含的对象包含人脸的眉毛、眼睛、鼻子、嘴巴等,在确定该人脸图像的分数时可以根据上述对象中的至少一个对象来确定,其中,又可以分为两种具体的情况:第一种情况是,根据人脸图像中包含的一个对象的状态参数确定人脸图像的分数,比如:1)根据人脸图像中的眼睛的状态参数确定;2)根据人脸图像中嘴巴的状态参数确定;3)根据人脸图像中人脸的偏转角度确定;第二种情况是,根据人脸图像中包含的多个对象的状态参数确定,比如:根据人脸图像中的眼睛的状态参数和嘴巴的状态参数确定或根据人脸图像中眼睛和人脸的偏转角度来确定等等,下面针对上述第一种情况中的三种具体的确定方式进行说明:
1)根据人脸图像中眼睛的状态参数确定人脸图像的分数;
由于眼睛的长宽比在眼睛张开的时候大致是恒定的,而在眨眼时会迅速下降到零,因此若根据眼睛的状态参数来确定人脸图像的分数时,可以通过眼睛的纵横比(EAR)来确定。
其中,计算眼睛纵横比的方式为:根据步骤2得到的人脸图像的特征点,选择眼睛部位表示宽度的至少一对特征点,根据选择的至少一对特征点求取眼睛宽度的平均值;选择眼睛部分表示长度的至少一对特征点,根据选择的至少一对特征点求取眼睛长度的平均值。眼睛宽度的平均值与眼睛长度的平均值的比即为眼睛的纵横比。下面举例说明:
比如:如图5所示,为在眼睛部位检测到的特征点,每只眼睛由6个(x,y)坐标表示,从眼睛的左角开始,然后围绕该眼睛区域的其余部分顺时针显示。一般的,特征点检测的表示眼睛长度的特征点分别在眼睛和眼尾,通过眼睛和眼尾的特征点可以确定眼睛长度的最大值,检测的表示眼睛宽度的特征点有至少两对,可以是表示眼睛宽度最大值处的点,也可以是表示眼睛宽向最大值附件的点,通过下列公式确定眼睛的纵横比:
Figure BDA0002112963380000111
若多帧图像中都包含该人脸图像,则分别计算多帧图像中同一人脸图像的眼睛的纵横比;比如:参阅图6和图7,图6和图7中都包含用户A,则分别求取图6中用户A的眼睛的纵横比EAR1和图7中用户A的眼睛的纵横比EAR2。若要把图6的分数和图7的分数进行比较选择目标拍照图像,则还需要将EAR1和EAR2进行归一化处理,归一化处理后的纵横比的数值分别为图6中用户A的人脸图像的分数和图7中用户A的人脸图像的分数。比如:
N帧图像中都包含用户A,则分别计算N帧图像中用户A的眼睛的纵横比,分别为EAR1,EAR2,…,EARn,对N帧图像中用户A的眼睛的纵横比进行归一化处理,其中归一化处理的方式有多种,下面举例说明:
对EAR1,EAR2,…,EARn按照从大到小进行排序,得到最大值EARmax和最小值EARmin,通过下列公式2进行归一化处理,得到归一化处理后的EAR1′,…,EARn′为:
Figure BDA0002112963380000112
其中,眼睛的纵横比可以是同一侧眼睛的纵横比或者两只眼睛的纵横比的平均值。
2)根据人脸图像中嘴巴的状态参数确定人脸图像的分数;
嘴巴的弧度可以用于判断拍照用户是否处于微笑状态,因此若根据嘴巴的状态参数来确定人脸图像的分数时,可以通过嘴巴的弧度来确定。
如图8所示,为同一用户的嘴巴在不同表情状态时的示意图,计算嘴巴的弧度的方式有多种,比如根据步骤2特征点检测环节得到嘴巴部位的特征点,确定嘴巴的弧度。相应的,若多帧图像中都包含该人脸图像,则分别计算多帧拍照图像中同一人脸图像的嘴巴的弧度,并对该人脸图像中的嘴巴在多帧拍照图像中对应的弧度进行归一化处理,归一化处理后的数值即为该拍照图像中该人脸图像的分数。其中,归一化处理的方式有多种,可以参见上述眼睛的纵横比的归一化处理的方式,此处不再赘述。
3)根据人脸图像中人脸的偏转角度确定人脸图像的分数;
人脸的偏转角度即为人脸图像中人脸相对于正脸的偏转角度,要通过人脸的偏转角度确定人脸图像的分数,则可以预先设置人脸的偏转角度与人脸的偏转角度对应的分数之间的对应关系,该对应关系可以利用标准正态分布来评估。下面举例说明:
例如:假设正脸的偏转角度可以设置为0,则人脸的偏转角度在[-1,0]和[0,1]区间。如图9所示为偏转角度为0时的人脸图像示意图,如图10所示为人脸角度为-1时的人脸图像示意,如图11所示为人脸角度为1时的人脸图像示意,人脸的偏转角度对应的分数。如图12所示,为人脸的偏转角度与对应的分数之间的曲线关系示意图。
结合图12,在第一区间[-1,0]内,可以表示人脸向右偏转的偏转角度越大,则人脸的偏转角度对应的分数越小;在第二区间[0,1]内,可以表示人脸向左偏转的偏转角度越大,则人脸的偏转角度对应的分数越小,人脸的偏转角度对应的分数达到最大值时,说明此时的人脸为正脸,即用户正对摄像头所采集到的人脸图像。
其中,人脸的偏转角度对应的分数的取值范围可以根据实际需要进行灵活设置,具体取值在此处不作限定,例如,人脸的偏转角度对应的分数的取值范围可以设置为0至1范围。
需要说明的是,若仅根据人脸图像中的人脸的偏转角度确定人脸图像的分数,则人脸的偏转角度对应的分数进行数值归一化处理后得到的值即为该人脸图像的分数。若评价各帧拍照图像的人脸的偏转角度对应的分数的规则相同,比如,上述正脸的偏转角度可以设置为0,人脸的偏转角度在[-1,0)和(0,1]区间,则认为根据该规则确定的人脸偏转角度对应的分数即为该人脸图像的分数;若多帧图像中都包含该人脸图像,则分别计算多帧拍照图像中同一人脸图像的人脸的偏转角度,并对该人脸图像中的人脸在多帧拍照图像中对应的偏转角度进行归一化处理,归一化处理后的数值即为该拍照图像中该人脸图像的分数。其中,归一化处理的方式有多种,可以参见上述眼睛的纵横比的归一化处理的方式,此处不再赘述。
上述三种方式为拍照终端仅通过人脸图像中的单一对象的状态参数确定人脸图像的分数,若拍照终端通过多个对象的状态参数确定人脸图像的分数时,按照上述方式依次确定出各对象对应的状态参数,再根据预设权重和各对象的状态参数进行加权计算,计算结果即为该人脸图像的分数。
比如:拍照终端根据人脸图像中的眼睛和人脸的偏转角度确定人脸图像的分数时,首先确定归一化处理后的该拍照图像中的人脸图像的眼睛的纵横比EAR1′和归一化处理后的该拍照图像中的人脸图像的人脸的偏转角度对应的分数S1′,若预设眼睛的纵横比的权重为Wa,人脸的偏转角度的权重为Wb,则该人脸图像的分数为:EAR1′*Wa+S1′*Wb。
确定方式二:拍照终端根据人脸图像中包含至少一个对象的状态参数和人脸图像的模糊度确定人脸图像的分数;
拍照终端确定人脸图像的模糊度的方式有多种,比如通过拉普拉斯模糊程度分析确定该人脸图像的模糊度方差值B。若多帧图像中都包含该人脸图像,则分别计算多帧拍照图像中同一人脸图像对应的模糊度,并对该人脸图像在多帧拍照图像中对应的模糊度进行归一化处理;根据人脸图像的模糊度对应的权重和归一化处理后该人脸图像的模糊度的方差值B进行加权计算确定数值1;
拍照终端根据人脸图像中至少一个对象对应的权重和归一化处理后该对象的状态参数进行加权计算确定数值2;数值1和数值2的和即为该人脸图像的分数。
比如:拍照终端根据人脸图像中的眼睛和人脸图像的模糊度确定人脸图像的分数时,首先确定归一化处理后的该拍照图像中的人脸图像的眼睛的纵横比EAR1′和归一化处理后的该拍照图像中的人脸图像的模糊度的方差值B1′,若预设眼睛的纵横比的权重为W3,人脸图像的模糊度的权重为W4,则该人脸图像的分数为:EAR1′*W3+B1′*W4。
在确定出各人脸图像的分数后,则拍照终端可以根据位于同一帧拍照图像中的各人脸图像的分数确定该帧拍照图像的分数。下面通过第二方面的内容对具体确定拍照图像的分数的流程进行介绍说明。
第二方面:拍照终端确定多帧拍摄图像的分数(第二状态值);
拍照终端在确定拍照图像的分数时,可以根据拍照图像中包含的各人脸图像的分数进行加权计算,以确定该拍照图像的分数。若该帧拍照图像中仅包含一个人脸图像,则该人脸图像的分数即为该拍照图像的分数;若该帧拍照图像中包含多个人脸图像,则按照各人脸图像对应的权重和分数进行加权计算,计算结果即为该拍照图像的分数。
下面结合上述仅通过人脸图像中的眼睛的纵横比确定人脸图像的分数的内容,对拍照终端确定拍照图像的分数进行介绍说明:
假设,若拍照图像中仅包含一个人脸图像,且该人脸图像是通过眼睛的纵横比进行评分的,则归一化处理后该人脸图像的眼睛的纵横比即为该人脸图像的分数,也就是该帧拍照图像的分数。若该帧拍照图像中包含多个人脸图像,则根据上述具体操作步骤分别求取各人脸图像归一化后眼睛的纵横比,并根据多个人脸图像对应的权重与眼睛的纵横比进行加权计算,加权计算的结果即为该拍照图像的分数。下面对同一帧拍照图像包含多个人脸图像求取该拍照图像分数的具体流程进行举例说明:
如图13、图14和图15所示,这三帧拍照图像中都包含两个人脸头像,分别用户B和用户C,其中,如图13所示的拍照图像中,用户B的人脸图像的分数为归一化后的眼睛的纵横比为EAR1,用户C的人脸图像的分数为归一化后的眼睛的纵横比为EAR2′,用户A的权重为W1,用户B的权重为W2,则如图13所示的拍照图像的分数为:
图13所示的拍照图像的分数=EAR1′*W1+EAR2′*W2;
如图14所示的拍照图像中,用户B的人脸图像的分数为归一化后的眼睛的纵横比为EAR3′,用户C的人脸图像的分数为归一化后的眼睛的纵横比为EAR4′,用户B的权重为W1,用户C的权重为W2,则图14所示的拍照图像的分数为:
图14所示的拍照图像的分数=EAR3′*W1+EAR4′*W2;
如图15所示的拍照图像中,用户B的人脸图像的分数为归一化后的眼睛的纵横比为EAR5′,用户C的人脸图像的分数为归一化后的眼睛的纵横比为EAR6′,用户B的权重为W1,用户C的权重为W2,则图15所示的拍照图像的分数为:
图15所示的拍照图像的分数=EAR5′*W1+EAR6′*W2;
按照拍照图像的分数从大到小排序,选择分数的最大值对应的拍照图像,为本次响应用户拍照指令的目标拍照图像,可以理解的是,在图13-图15中,图15所示的拍照图像对应的分数为最大值,即图15为目标拍照图像。可以将图15所示的拍照图像显示在终端的屏幕上,供用户查看,也可以将图15所示的拍照图像进行保存,比如保存在相册中。
需要说明的是,若多帧拍照图像包含的人脸图像对应的用户和人脸图像的个数相同,则同一人脸图像在不同帧拍照图像中该人脸图像的权重相同。对于连续多帧拍照图像来说,由于拍摄间隔不超过30ms,因此连续多帧拍照图像一般为包含相同用户的人脸图像;其中,确定人脸图像对应的权重的方式有多种,下面举例说明:
1)预先设置用户的优先级以及用户的优先级与权重的对应关系;
通过拍照终端预先采集用户的个人信息,包括该用户至少一个拍摄角度的人脸图像,如图16所示,为通过拍照终端采集的用户的正面人脸图像,用户的人脸图像采集完成后设置该用户的优先级,对拍照图像中的人脸图像进行人脸识别并进行匹配,若确定该人脸图像对应的用户为预先采集的用户,则根据该用户的优先级对应的权重确定该人脸图像的权重。
比如:按照优先级从大到小排序,优先级最高的用户对应的权重为未预先设置优先级的用户的N倍,优先级第二高的用户对应的权重为未预先设置优先级的用户的N-1倍,以此类推。
假设,当前帧图像中具有3个人脸图像,通过人脸识别确定其中一个为预先设置了优先级的用户D的人脸图像,且用户D的优先级对应的权重为未设置优先级的用户的2倍,其余2个人脸图像为未设置优先级的用户,假设未用户E和用户F的人脸图像,并假设未设置优先级的用户的人脸图像的权重的值为1,则用户D的人脸图像对应的权重的值为2,则用户D的权重为2/(1+1+2)=1/2,其余未设置优先级的2个用户的人脸图像的权重为1/(1+1+2)=1/4。
则该帧图像的分为用户D的人脸图像的分数*1/2+用户E的人脸图像的分数*1/4+用户F的人脸图像的分数*1/4。
需要说明的是,若通过人脸识别来匹配人脸图像对应的用户,则在上述步骤3后,还需要进行如下操作,具体流程包括:
拍照终端根据人脸图像的特征点对该人脸图像进行归一化处理;
由于本申请拍照终端需要对图像中的人脸与预先定制的用户的人脸进行匹配,若将不同旋转角度和/或不同分辨率的人脸图像进行对比,则得到的比对结果的精度也相应较低。
因此,本申请需要将人脸图像按照预先设定的分辨率和人脸中心线角度对人脸图像进行归一化处理,以使归一化处理后的人脸图像具有相同的分辨率和相同的人脸中心线角度,可以理解为,进行归一化处理后的人脸图像大小相同,且不同的人脸图像对应的人脸中心线互相平行。如图17所示,为本发明实施例提供的人脸图像的分辨率和人脸中心线的示意图。
如图18所示为本发明实施例提供的拍照终端对不同人脸图像进行归一化处理后的示意图,具体的归一化处理操作包括:
a)将人脸图像进行旋转,使旋转后的人脸的人脸中心线与预设的人脸中心线平行;
b)将人脸图像进行缩放处理,使调整后的人脸图像的分辨率相同,即大小相同。
其中,上述仅为举例,步骤a和步骤b并没有顺序要求。
步骤5:拍照终端通过基于人脸识别算法的神经网络对归一化处理后的人脸图像进行人脸识别处理,确定该人脸图像对应的人脸向量;其中,该人脸向量能够表示一张人脸图像,包含多维数组,比如本申请使用的为128维的人脸向量。
拍照终端将归一化处理后的人脸图像输入到基于人脸识别算法的卷积神经网络中,得到该人脸图像对应的人脸向量;
拍照终端将多帧拍照图像中的人脸图像进行上述人脸检测、特征点检测、归一化处理和人脸识别处理后,得到拍照图像中各人脸图像对应的人脸向量,并对得到的拍照图像中各人脸图像对应的人脸向量与预先采集的用户的人脸图像对应的人脸向量进行比对,确定2个人脸向量的欧式距离或曼哈顿距离,该距离的值即为2个人脸向量对应的人脸图像的相似度,若相似度高于预设阈值,则表示拍照图像中的人脸图像为预先采集的用户的人脸图像。
2)拍照终端根据人脸图像的数量确定各人脸图像的权重;
预设各人脸图像的权重相同,比如当前帧拍照图像中有2个人,则每个人脸图像对应的权重为0.5,若当前帧图像中有5个人,则每个人脸图像对应的权重为0.2。
需要说明的是,在计算各帧拍照图像的分数时,可以预先根据各帧拍照图像中包含的人脸图像的分数进行筛选,若确定有人脸图像的分数低于预设阈值的,则确定该帧拍照图像不是目标拍照图像,即可以淘汰该帧拍照图像,可以不计算该帧拍照图像的分数。
基于相同的构思,如图19所示,本发明实施例提供一种进行图像选择的终端,该终端包括:摄像头1900、处理器1901以及存储器1902,其中,所述存储器1902存储有程序代码,当所述存储器1902存储的一个或多个计算机程序被所述处理器1901执行时,使得所述终端执行下列过程:
响应用户的拍照指令,通过摄像头1900获得连续多帧拍照图像;
若所述拍照图像中包含人脸,则根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值;
根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值;
根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上。
可选的,所述处理器1901具体用于:
确定所述人脸图像中的至少一个对象的状态参数;
将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数进行归一化处理并根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值;或将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数和所述人脸图像在多帧拍照图像中对应的模糊度进行归一化处理并根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值。
可选的,所述处理器1901具体用于:
若所述人脸图像包含的对象为1个,则将所述归一化处理后的所述对象的状态参数作为所述人脸图像的第一状态值;或
若所述人脸图像包含的对象为多个或根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值,则将所述归一化处理后的多个对象各自对应的状态参数和权重进行加权计算,确定所述人脸图像的第一状态值。
可选的,所述处理器1901具体用于:
确定所述人脸图像中的对象对应的权重和所述人脸图像的模糊度对应的权重;
根据归一化处理后的所述人脸图像中的对象对应的状态参数和对应的权重确定第一数值,以及根据所述人脸图像的模糊度和所述人脸图像的模糊度对应的权重确定第二数值;
根据第一数值和第二数值确定所述人脸图像的第一状态值。
可选的,若所述对象为眼睛,则所述对象的状态参数为眼睛的纵横比;
若所述对象为嘴巴,则所述对象的状态参数为嘴巴的弧度;
若所述对象为人脸,则所述对象的状态参数为人脸的偏转角度。
可选的,所述处理器1901具体用于:
若位于同一帧拍照图像中人脸图像为1个,则将所述1个人脸图像对应的第一状态值作为所述拍照图像的第二状态值;
若位于同一帧拍照图像中人脸图像有多个,则将所述多个人脸图像各自对应的第一状态值和对应的权重进行加权计算,确定所述拍照图像的第二状态值。
可选的,若位于同一帧拍照图像中人脸图像有多个,所述处理器1901还用于通过下列方式确定所述多个人脸图像对应的权重:
对所述多个人脸图像进行人脸识别,确定所述人脸图像对应的用户,将预先设置的所述用户的权重作为所述用户的人脸图像对应的权重;或
根据所述多个人脸图像的数量确定每个人脸图像对应的权重且所述每个人脸图像对应的权重的值相同。
如图20所示,本发明实施例提供另一种进行图像选择的终端,包括:
响应模块2000:用于响应用户的拍照指令,通过摄像头获得连续多帧拍照图像;
第一确定模块2001:若所述拍照图像中包含人脸,则用于根据所述人脸图像中的面部状态确定所述人脸图像对应的第一状态值;
第二确定模块2002:用于根据位于同一帧拍照图像中的人脸图像对应的第一状态值确定所述拍照图像的第二状态值;
处理模块2003:用于根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上。
可选的,所述第一确定模块2001具体用于:
确定所述人脸图像中的至少一个对象的状态参数;
将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数进行归一化处理并根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值;或将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数和所述人脸图像在多帧拍照图像中对应的模糊度进行归一化处理并根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值。
可选的,所述第一确定模块2001具体用于:
若所述人脸图像包含的对象为1个,则将所述归一化处理后的所述对象的状态参数作为所述人脸图像的第一状态值;或
若所述人脸图像包含的对象为多个或根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值,则将所述归一化处理后的多个对象各自对应的状态参数和权重进行加权计算,确定所述人脸图像的第一状态值。
可选的,所述第一确定模块2001具体用于:
确定所述人脸图像中的对象对应的权重和所述人脸图像的模糊度对应的权重;
根据归一化处理后的所述人脸图像中的对象对应的状态参数和对应的权重确定第一数值,以及根据所述人脸图像的模糊度和所述人脸图像的模糊度对应的权重确定第二数值;
根据第一数值和第二数值确定所述人脸图像的第一状态值。
可选的,若所述对象为眼睛,则所述对象的状态参数为眼睛的纵横比;
若所述对象为嘴巴,则所述对象的状态参数为嘴巴的弧度;
若所述对象为人脸,则所述对象的状态参数为人脸的偏转角度。
可选的,所述第二确定模块2002具体用于:
若位于同一帧拍照图像中人脸图像为1个,则将所述1个人脸图像对应的第一状态值作为所述拍照图像的第二状态值;
若位于同一帧拍照图像中人脸图像有多个,则将所述多个人脸图像各自对应的第一状态值和对应的权重进行加权计算,确定所述拍照图像的第二状态值。
可选的,若位于同一帧拍照图像中人脸图像有多个,所述第一确定模块2001还用于通过下列方式确定所述多个人脸图像对应的权重:
对所述多个人脸图像进行人脸识别,确定所述人脸图像对应的用户,将预先设置的所述用户的权重作为所述用户的人脸图像对应的权重;或
根据所述多个人脸图像的数量确定每个人脸图像对应的权重且所述每个人脸图像对应的权重的值相同。
如图21所示,本发明实施例给出第三种图像选择的终端2100包括:射频(RadioFrequency,RF)电路2110、电源2120、处理器2130、存储器2140、输入单元2150、显示单元2160、摄像头2170、通信接口2180、以及无线保真(Wireless Fidelity,Wi-Fi)模块2190等部件。本领域技术人员可以理解,图21中示出的终端的结构并不构成对终端的限定,本申请实施例提供的终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图21对所述终端2100的各个构成部件进行具体的介绍:
所述RF电路2110可用于通信或通话过程中,数据的接收和发送。特别地,所述RF电路2110在接收到基站的下行数据后,发送给所述处理器2130处理;另外,将待发送的上行数据发送给基站。通常,所述RF电路2110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。
此外,RF电路2110还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobilecommunication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
Wi-Fi技术属于短距离无线传输技术,所述终端2100通过Wi-Fi模块2190可以连接接入点(Access Point,AP),从而实现数据网络的访问。所述Wi-Fi模块2190可用于通信过程中,数据的接收和发送。
所述终端2100可以通过所述通信接口2180与其他终端实现物理连接。可选的,所述通信接口2180与所述其他终端的通信接口通过电缆连接,实现所述终端2100和其他终端之间的数据传输。
由于在本申请实施例中,所述终端2100能够实现通信业务,向其他联系人发送信息,因此所述终端2100需要具有数据传输功能,即所述终端2100内部需要包含通信模块。虽然图21示出了所述RF电路2110、所述Wi-Fi模块2190、和所述通信接口2180等通信模块,但是可以理解的是,所述终端2100中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块),以进行数据传输。
例如,当所述终端2100为手机时,所述终端2100可以包含所述RF电路2110,还可以包含所述Wi-Fi模块2190;当所述终端2100为计算机时,所述终端2100可以包含所述通信接口2180,还可以包含所述Wi-Fi模块2190;当所述终端2100为平板电脑时,所述终端2100可以包含所述Wi-Fi模块。
所述存储器2140可用于存储软件程序以及模块。所述处理器2130通过运行存储在所述存储器2140的软件程序以及模块,从而执行所述终端2100的各种功能应用以及数据处理,并且当处理器2130执行存储器2140中的程序代码后,可以实现本发明实施例图1中的部分或全部过程。
可选的,所述存储器2140可以主要包括存储程序区和存储数据区。其中,存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等;存储数据区可存储根据所述终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件,以及人脸信息模板)等。
此外,所述存储器2140可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入单元2150可用于接收用户输入的数字或字符信息,以及产生与所述终端2100的用户设置以及功能控制有关的键信号输入。
可选的,输入单元2150可包括触控面板2151以及其他输入终端2152。
其中,所述触控面板2151,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板2151上或在所述触控面板2151附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,所述触控面板2151可以包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给所述处理器2130,并能接收所述处理器2130发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板2151。
可选的,所述其他输入终端2152可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
所述显示单元2160可用于显示由用户输入的信息或提供给用户的信息以及所述终端2100的各种菜单。所述显示单元2160即为所述终端2100的显示系统,用于呈现界面,实现人机交互。
所述显示单元2160可以包括显示面板2161。可选的,所述显示面板2161可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置。
进一步的,所述触控面板2151可覆盖所述显示面板2161,当所述触控面板2151检测到在其上或附近的触摸操作后,传送给所述处理器2130以确定触摸事件的类型,随后所述处理器2130根据触摸事件的类型在所述显示面板2161上提供相应的视觉输出。
虽然在图21中,所述触控面板2151与所述显示面板2161是作为两个独立的部件来实现所述终端2100的输入和输入功能,但是在某些实施例中,可以将所述触控面板2151与所述显示面板2161集成而实现所述终端2100的输入和输出功能。
所述处理器2130是所述终端2100的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在所述存储器2140内的软件程序和/或模块,以及调用存储在所述存储器2140内的数据,执行所述终端2100的各种功能和处理数据,从而实现基于所述终端的多种业务。
可选的,所述处理器2130可包括一个或多个处理单元。可选的,所述处理器2130可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到所述处理器2130中。
所述摄像头2170,用于实现所述终端2100的拍摄功能,拍摄图片或视频。所述摄像头2170还可以用于实现终端2100的扫描功能,对扫描对象(二维码/条形码)进行扫描。
所述终端2100还包括用于给各个部件供电的电源2120(比如电池)。可选的,所述电源2120可以通过电源管理系统与所述处理器2130逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
需要说明的是,本发明实施例处理器2130可以执行图19中处理器1901的功能,存储器2140存储存储器1902中的内容。
本发明实施例还提供一种计算机可读非易失性存储介质,包括程序代码,当所述程序代码在计算终端上运行时,所述程序代码用于使所述计算终端执行上述本发明实施例拍照终端及其进行图像选择的方法的步骤。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种拍照终端进行图像选择的方法,其特征在于,该方法包括:
拍照终端响应用户的拍照指令,通过摄像头获得连续多帧拍照图像,所述拍照图像中包含多个人脸图像;
针对任意一帧拍照图像,所述拍照终端根据所述拍照图像包含的人脸图像中的面部状态,确定所述人脸图像对应的第一状态值;
针对任意一帧拍照图像,若所述拍照图像包含的人脸图像对应的第一状态值低于预设阈值,则所述拍照终端剔除所述拍照图像;
针对剩余的拍照图像,所述拍照终端将所述多个人脸图像各自对应的第一状态值和对应的权重进行加权计算,确定所述拍照图像的第二状态值;
所述拍照终端根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上;
其中,所述拍照终端通过以下方式确定所述多个人脸图像各自对应的权重:所述拍照终端将所述多个人脸图像按照预先设定的分辨率和人脸中心线角度进行归一化处理,获得归一化处理后的各个人脸图像;对所述多个人脸图像进行人脸识别,确定所述多个人脸图像各自对应的用户,根据预先设置各个用户的优先级以及用户的优先级与权重的对应关系确定所述各个用户各自的权重。
2.如权利要求1所述的方法,其特征在于,所述拍照终端根据所述拍照图像包含的人脸图像中的面部状态,确定所述人脸图像对应的第一状态值,包括:
所述拍照终端确定所述人脸图像中的至少一个对象的状态参数;
所述拍照终端将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数进行归一化处理并根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值;或所述拍照终端将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数和所述人脸图像在多帧拍照图像中对应的模糊度进行归一化处理并根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值。
3.如权利要求2所述的方法,其特征在于,所述拍照终端根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值,包括:
若所述人脸图像包含的对象为1个,则所述拍照终端将所述归一化处理后的所述对象的状态参数作为所述人脸图像的第一状态值;或
若所述人脸图像包含的对象为多个,则所述拍照终端将所述归一化处理后的多个对象各自对应的状态参数和权重进行加权计算,确定所述人脸图像的第一状态值。
4.如权利要求2所述的方法,其特征在于,所述拍照终端根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值,包括:
所述拍照终端确定所述人脸图像中的对象对应的权重和所述人脸图像的模糊度对应的权重;
所述拍照终端根据归一化处理后的所述人脸图像中的对象对应的状态参数和对应的权重确定第一数值,以及根据所述人脸图像的模糊度和所述人脸图像的模糊度对应的权重确定第二数值;
所述拍照终端根据第一数值和第二数值确定所述人脸图像的第一状态值。
5.如权利要求2所述的方法,其特征在于:
若所述对象为眼睛,则所述对象的状态参数为眼睛的纵横比;
若所述对象为嘴巴,则所述对象的状态参数为嘴巴的弧度;
若所述对象为人脸,则所述对象的状态参数为人脸的偏转角度。
6.一种进行图像选择的终端,其特征在于,该终端包括:摄像头、处理器以及存储器,其中,所述存储器存储有程序代码,当所述存储器存储的一个或多个计算机程序被所述处理器执行时,使得所述终端执行下列过程:
响应用户的拍照指令,通过摄像头获得连续多帧拍照图像,所述拍照图像中包含多个人脸图像;
针对任意一帧拍照图像,根据所述拍照图像包含的人脸图像中的面部状态,确定所述人脸图像对应的第一状态值;
针对任意一帧拍照图像,若所述拍照图像包含的人脸图像对应的第一状态值低于预设阈值,则所述拍照终端剔除所述拍照图像;
针对剩余的拍照图像,所述拍照终端将所述多个人脸图像各自对应的第一状态值和对应的权重进行加权计算,确定所述拍照图像的第二状态值;
根据所述拍照图像的第二状态值从多帧拍照图像中选取作为响应所述拍照指令的目标拍照图像,显示在拍照终端的屏幕上;
其中,所述拍照终端通过以下方式确定所述多个人脸图像各自对应的权重:所述拍照终端将所述多个人脸图像按照预先设定的分辨率和人脸中心线角度进行归一化处理,获得归一化处理后的各个人脸图像;对所述多个人脸图像进行人脸识别,确定所述多个人脸图像各自对应的用户,根据预先设置各个用户的优先级以及用户的优先级与权重的对应关系确定所述各个用户各自的权重。
7.如权利要求6所述的终端,其特征在于,所述处理器具体用于:
确定所述人脸图像中的至少一个对象的状态参数;
将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数进行归一化处理并根据归一化处理后的状态参数确定所述拍照图像中的所述人脸图像的第一状态值;或将所述人脸图像中的同一个对象在多帧拍照图像中对应的状态参数和所述人脸图像在多帧拍照图像中对应的模糊度进行归一化处理并根据归一化处理后的状态参数和所述人脸图像的模糊度确定所述拍照图像中的所述人脸图像的第一状态值。
8.如权利要求7所述的终端,其特征在于,所述处理器具体用于:
若所述人脸图像包含的对象为1个,则将所述归一化处理后的所述对象的状态参数作为所述人脸图像的第一状态值;或
若所述人脸图像包含的对象为多个,则将所述归一化处理后的多个对象各自对应的状态参数和权重进行加权计算,确定所述人脸图像的第一状态值。
CN201910580614.4A 2019-06-28 2019-06-28 一种拍照终端及其进行图像选择的方法 Active CN112153275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580614.4A CN112153275B (zh) 2019-06-28 2019-06-28 一种拍照终端及其进行图像选择的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580614.4A CN112153275B (zh) 2019-06-28 2019-06-28 一种拍照终端及其进行图像选择的方法

Publications (2)

Publication Number Publication Date
CN112153275A CN112153275A (zh) 2020-12-29
CN112153275B true CN112153275B (zh) 2022-08-05

Family

ID=73891722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580614.4A Active CN112153275B (zh) 2019-06-28 2019-06-28 一种拍照终端及其进行图像选择的方法

Country Status (1)

Country Link
CN (1) CN112153275B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法
CN108965697A (zh) * 2018-06-28 2018-12-07 努比亚技术有限公司 一种拍摄控制方法、终端及计算机可读存储介质
CN109740472A (zh) * 2018-12-25 2019-05-10 武汉纺织大学 一种防闭眼的拍照方法
CN109831618A (zh) * 2018-12-10 2019-05-31 平安科技(深圳)有限公司 基于表情的拍照方法、计算机可读存储介质及终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
US20170161553A1 (en) * 2015-12-08 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for capturing photo
CN106528879A (zh) * 2016-12-14 2017-03-22 北京小米移动软件有限公司 图片处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法
CN108965697A (zh) * 2018-06-28 2018-12-07 努比亚技术有限公司 一种拍摄控制方法、终端及计算机可读存储介质
CN109831618A (zh) * 2018-12-10 2019-05-31 平安科技(深圳)有限公司 基于表情的拍照方法、计算机可读存储介质及终端设备
CN109740472A (zh) * 2018-12-25 2019-05-10 武汉纺织大学 一种防闭眼的拍照方法

Also Published As

Publication number Publication date
CN112153275A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
US10169639B2 (en) Method for fingerprint template update and terminal device
CN113132618B (zh) 辅助拍照方法、装置、终端设备及存储介质
EP3627365A1 (en) Unlocking control method and related product
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
CN111464716B (zh) 一种证件扫描方法、装置、设备及存储介质
CN107463818B (zh) 解锁控制方法及相关产品
EP3572974A1 (en) Method and device for sending warning message
US11321280B2 (en) Multimedia file sharing method and terminal device
WO2015100913A1 (zh) 图像缩略图的生成方法、装置和终端
US20230360443A1 (en) Gesture recognition method and apparatus, electronic device, readable storage medium, and chip
CN112333385B (zh) 电子防抖控制方法及装置
CN112532885B (zh) 防抖方法、装置及电子设备
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
CN110969060A (zh) 神经网络训练、视线追踪方法和装置及电子设备
CN110826410A (zh) 一种人脸识别的方法和设备
CN112702533B (zh) 视线修正方法及视线修正装置
CN112333439B (zh) 面部清洁设备控制方法、装置及电子设备
CN113037925A (zh) 信息处理方法、信息处理装置、电子设备和可读存储介质
CN112153275B (zh) 一种拍照终端及其进行图像选择的方法
CN112149480A (zh) 一种终端及其进行图像分类的方法
CN109379533A (zh) 一种拍照方法、拍照装置及终端设备
CN112286430B (zh) 图像处理方法、装置、设备及介质
CN110087235B (zh) 一种身份认证、认证方式调整的方法及装置
CN112311652B (zh) 消息发送方法、装置、终端及存储介质
CN112904997A (zh) 设备控制方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 266071 Shandong city of Qingdao province Jiangxi City Road No. 11

Patentee after: Qingdao Hisense Mobile Communication Technology Co.,Ltd.

Address before: 266071 Shandong city of Qingdao province Jiangxi City Road No. 11

Patentee before: HISENSE MOBILE COMMUNICATIONS TECHNOLOGY Co.,Ltd.