CN109978884B - 基于人脸分析的多人图像评分方法、系统、设备及介质 - Google Patents

基于人脸分析的多人图像评分方法、系统、设备及介质 Download PDF

Info

Publication number
CN109978884B
CN109978884B CN201910358661.4A CN201910358661A CN109978884B CN 109978884 B CN109978884 B CN 109978884B CN 201910358661 A CN201910358661 A CN 201910358661A CN 109978884 B CN109978884 B CN 109978884B
Authority
CN
China
Prior art keywords
face
score
person image
calculating
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910358661.4A
Other languages
English (en)
Other versions
CN109978884A (zh
Inventor
周曦
姚志强
李夏风
谭涛
李继伟
温浩
吴媛
吴大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Original Assignee
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd filed Critical Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority to CN201910358661.4A priority Critical patent/CN109978884B/zh
Publication of CN109978884A publication Critical patent/CN109978884A/zh
Application granted granted Critical
Publication of CN109978884B publication Critical patent/CN109978884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于人脸分析的多人图像评分方法、系统、设备及存储介质,该方法包括:获取多人图像,并利用人脸检测算法检测多人图像中各个人脸的位置、尺寸和角度;采用人脸质量评分算法计算多人图像中各个人脸的人脸质量分;根据多人图像中各个人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;结合各个人脸的人脸权重与人脸质量分计算多人图像中的人脸综合分;利用光源一致性分析算法计算多人图像的光源一致性评分;利用队形分析算法计算多人图像的队形评分;依据人脸综合分、光源一致性评分与队形评分计算多人图像的总评分。本发明利用多人图像最终评分不仅可检测拍摄的多人图像质量,还能在多人合影拍照时进行辅助以提高拍照质量。

Description

基于人脸分析的多人图像评分方法、系统、设备及介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种基于人脸分析的多人图像评分方法、系统、设备及存储介质。
背景技术
在多人合照的过程中,由于每个人的光照、表情、姿态都难以控制,往往会出现部分人脸反光或有阴影、闭眼、表情怪异、头部转动等情况,因而在拍照以后,往往需要人眼去对图像质量进行判断。
然而,采用人眼判断涉及人为主观因素,随着照片中合影人数增加而判断难度随之上升。另外,相对于单人脸图像,从图像模糊、人脸是否遮挡以及人脸转动角度等方面进行综合评分,而多人脸图像缺乏一套有效的评分方法。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于人脸分析的多人图像评分方法、系统、设备及存储介质,用于解决现有技术中缺乏针对多人图像进行评分的问题。
为实现上述目的及其他相关目的,本申请的第一方面,本发明提供一种基于人脸分析的多人图像评分方法,包括:
获取多人图像,并利用人脸检测算法检测所述多人图像中各个人脸的位置、尺寸和角度;
采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分;
根据所述多人图像中各个所述人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;
结合各个人脸的人脸权重与人脸质量分计算所述多人图像中的人脸综合分;
利用光源一致性分析算法计算所述多人图像的光源一致性评分;
利用队形分析算法计算所述多人图像的队形评分;
依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分。
本申请的第二方面,提供一种基于人脸分析的多人图像评分系统,包括:
人脸检测模块,用于获取多人图像,并利用人脸检测算法检测所述多人图像中各个人脸的位置、尺寸和角度;
人脸质量评分模块,用于采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分;
人脸权重模块,用于根据所述多人图像中各个所述人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;
人脸综合评分模块,用于结合各个人脸的人脸权重与人脸质量分计算所述多人图像中的人脸综合分;
光源一致性分析模块,用于利用光源一致性分析算法计算所述多人图像的光源一致性评分;
队形评分模块,用于利用队形分析算法计算所述多人图像的队形评分;
评分计算模块,用于依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分。
本申请的第三方面,提供一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令,所述一个或多个处理器执行所述执行指令使得所述电子设备执行上述的基于人脸分析的多人图像评分方法。
本申请的第四方面,提供一种存储介质,包括:
所述存储介质包括存储的程序,其中,所述程序在被调用执行时实现上述的基于人脸分析的多人图像评分方法。
如上所述,本发明的基于人脸分析的多人图像评分方法、系统、设备及存储介质,具有以下有益效果:
通过对人脸质量评分可筛除多人图像中质量分过低的路人,使得所有有效的人脸参与总体评分;利用光源一致性分析能够检测合照中每张人脸的光照角度是否一致,便于改变合照时的光照均匀度;利用队形对称性分析能够检测合照中所有人脸是否对称排列,易于整齐队形;利用多人图像最终评分不仅可检测拍摄的多人图像质量,还能在多人合影拍照时进行辅助以提高拍照质量。
附图说明
图1显示为本发明提供的一种基于人脸分析的多人图像评分方法流程图;
图2显示为本发明提供的一种人脸关键点模型;
图3显示为本发明提供的一种基于人脸分析的多人图像评分方法中步骤S2的流程图;
图4显示为本发明提供的一种基于人脸分析的多人图像评分方法中步骤S5流程图;
图5显示为本发明提供的一种基于人脸分析的多人图像中区域光源方向估算图;
图6显示为本发明提供的一种基于人脸分析的多人图像评分方法中步骤S6流程图;
图7显示为本发明提供的一种基于人脸分析的多人图像中多人脸的对称性计算图;
图8显示为本发明提供的一种基于人脸分析的多人图像评分系统结构框图;
图9显示为本发明提供的一种基于人脸分析的多人图像评分系统中人脸质量评分模块的结构框图;
图10显示为本发明提供的一种基于人脸分析的多人图像评分设备结构框图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一预设阈值可以被称作第二预设阈值,并且类似地,第二预设阈值可以被称作第一预设阈值,而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值,但是除非上下文以其他方式明确指出,否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示.应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合.因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
请参阅图1,为本发明提供的一种基于人脸分析的多人图像评分方法流程图,包括:
步骤S1,获取多人图像,并利用人脸检测算法检测所述多人图像中各个人脸的位置、尺寸和角度;
其中,可通过智能手机、摄像头、数码相机或智能设备拍摄照片获取多人图像;再或者视频截取视频帧获取多人图像。
通过人脸检测算法一方面分析多人图像图像中是否包含人脸,以及人脸区域完整度(即无遮挡人脸),人脸检测算法包括但不限于AAM、深度神经网络算法;另一方面,计算多人图像中各个人脸的尺寸和位置;人脸位置为检测到的人脸的外接矩形的四个角点坐标值,人脸角度通过人脸关键点检测算法,检测出口、鼻和眼睛的人脸关键点,如图3所示,通过求出各个关键点的外接矩形,而外接矩形的面积即为人脸尺寸Si,其中,该外接矩形的形心即代表人脸位置坐标(xi,yi)。
步骤S2,采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分;
其中,多人图像中各个人脸的质量分的详细步骤见图3。
步骤S3,根据所述多人图像中各个所述人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;
其中,综合人脸的尺寸、位置和人脸质量分,对从S1得到的每张人脸分配不同的权重li,具体如下:
Figure BDA0002046209200000041
式中,i是人脸序号;ScoreT是人脸质量分阈值;A和B分别是人脸尺寸和位置的系数,为非负数;xi是在步骤S1中得到的人脸形心在图像坐标系中的横坐标;W是图像总宽度;上式表明:
1.当人脸质量分低于阈值ScoreT时,则该人脸很有可能属于路人,则系统分配的权重为0,即表示该人脸不参与总评分计算;
2.人脸权重与人脸尺寸正相关,即:若人脸尺寸越大,则该人脸被认为越重要,则系统分配的权重越大;
3.人脸权重与人脸形心离图像纵向中心线的距离正相关,即:若人脸距离图像纵向中心线越近,则系统分配的权重越大;
步骤S4,结合各个人脸的人脸权重与人脸质量分计算所述多人图像中的人脸综合分;
其中,将多人图像中所有人脸的人脸质量分与所有人脸中各个人脸相对应的人脸权重进行累加,得到人脸综合评分Scoreface,详见如下:
Figure BDA0002046209200000051
式中,li为对应的i个人脸的人脸权重,ScoreT为对应的i个人脸的人脸质量分。
步骤S5,利用光源一致性分析算法计算所述多人图像的光源一致性评分;
其中,请参阅图4,为步骤S5流程图;包括:
将所述多人图像分成若干个区域,利用光源方向估计算法估算每个区域的局部光照方向;
筛选所有区域内局部光照方向差异最大的两个区域,记录两个区域内光照方向差之间的夹角θ;
利用cos(θ)记录所述多人图像的光源一致性评分,其中,光源一致性评分Scorelight等于cos(θ)。
例如,图5,为区域光源方向估算图,其中,a1至a9标识不同区域,箭头符号标识光源方向,从图可以看出不同区域的局部光照方向,在本实施例中,a3区域与a9区域的局部光照方向差异最大,因此,通过计算两者之间的夹具,即可得到光源一致性评分。
步骤S6,利用队形分析算法计算所述多人图像的队形评分;
其中,请参阅图6,为步骤S6流程图;包括:
将所述多人图像中各个人脸的人脸位置所对应的外接矩形的形心组成点集;
利用对称性分析算法得到所述点集的对称轴及对称量化值;
根据所述对称轴及对称量化值计算所述多人图像中人脸的队形评分。
具体地,详见图7,为对称性计算图,其中,虚线为人脸点集对称轴,该对称性分析算法包括但不限于PRST(planar reflective symme-try transform,平面反射对称变换)算法,根据不同的对称性分析算法也可计算相应的队形评分Scorequeue。而对于PRST算法,则有:Scorequeue=PRST2
步骤S7,依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分。
其中,归一化处理所述人脸综合分、光源一致性评分与队形评分,并对其进行加权平均得到所述多人图像的总评分;
具体地,先归一化处理人脸综合分、光源一致性评分与队形评分得到相应的归一化值,再采用加权平均值算法对归一化的人脸综合分、光源一致性评分与队形评分求和,得到多人脸图像的总评分。
在本实施例中,由于合照时,距离镜头的远近、环境光源等因素的不同,会造成每张人人脸的质量有所不同,另外,根据拍摄目的的不同需要对人脸的分析分主次,例如合照中最显著的人脸是位于前排正中央的人脸,我们需要首先保证这类显著人脸的质量;而远处质量过低的人脸可能是路人;本实施例通过人脸质量评分可筛除多人图像中质量分过低的路人,使得所有有效的人脸参与总体评分。再者,合影拍照中应尽可能保证落在每个人身上的光源一致,本实施例利用光源一致性分析能够检测合照中每张人脸的光照角度是否一致,便于改变合照时的光照均匀度,避免了拍摄合照时造成部分人脸明亮、部分人脸黑暗的现象。还有在多人合照时,例如,超过10人以上的大合照,为了对称性美感,会让人按身高沿某条线对称排列,而本实施例利用队形对称性分析能够检测合照中所有人脸是否对称排列,易于整齐队形。最终,利用多人图像最终评分不仅可检测拍摄的多人图像质量,还能在多人合影拍照时进行辅助以提高拍照质量。
请参阅图3,为本发明提供的一种基于人脸分析的多人图像评分方法中步骤S2的流程图,详述如下:
步骤S201,根据所述多人图像中各个人脸的角度计算人脸姿态分数;
其中,利用人脸关键点检测算法,检测出口、鼻、嘴的人脸关键点,如图2所示的其中一种关键点定义,根据这些点的实际坐标以及空间坐标变化矩阵来计算出当前图片中人脸的俯仰角(pitch)、横滚角(roll)、偏航角(yaw),其中人脸的俯仰角、横滚角、偏航角都是相对于相机坐标系而定义,人脸角度的计算算法包括但不限于上述描述的算法,还包括只利用唇形关键点来校正等方式实现的算法。具体地,根据映射关系,将上述计算得到的人脸角度换算为人脸姿态分数项Scorepos
步骤S202,利用模糊度检测法计算所述多人图像中各个人脸的模糊度分数;
其中,使用模糊度检测算法,对得到的人脸区域进行检测,得到人脸的模糊度数值,然后将其归一化为模糊度分数项。例如,模糊度检测算法包括但不限于拉普拉斯方差算法。
步骤S203,利用图像分割法分割所述多人图像成背景、头发、人脸、脖子与衣服区域;
其中,使用图像分割算法,将图像分为将图像分为背景、头发、人脸、脖子、衣服这5个区域分别标注,利用神经网络算法训练大量的标注图和原图,得到图像分割的模型,其中,图像分割算法包括但不限于基于色差等规则的算法、神经网络算法。
步骤S204,利用表情分析算法计算所述多人图像中各个人脸得到人脸表情分数;
其中,使用表情分析算法,分析图片中人脸是否愉悦,以及愉悦的程度,得到人脸表情分数项Scoreexpr。表情分析算法包括但不限于神经网络算法,即利用大量愉悦表情的训练图片集来训练神经网络模型。
步骤S205,根据左右眼关键点识别左右眼开合程度计算各个人脸的眼睛开合分数;
其中,得到的人脸角度,将左右眼的关键点通过仿射变换矫正;分别计算左、右眼上所有关键点的y坐标(相机坐标系)方差,记为Lefteyevar、Righteyevar;根据方差阈值EyeThresh,计算眼睛开合分数Scoreeye
步骤S206,利用肤色异常检测算法识别人脸区域的肤色异常情形计算肤色分数;
其中,从人脸区域得到的人脸皮肤区域,利用肤色异常检测算法来识别出肤色异常情形(包括高光、阴阳脸、过曝、肤色黑暗等情形),然后转换为肤色分数项Scoreskin。肤色异常检测算法包括但不限于基于色差等规则的算法、神经网络算法。
步骤S207,利用头发检测算法识别头发区域的头发异常情形计算头发分数;
其中,头发区域,利用头发检测算法来识别出头发异常情形(包括额头碎发、外轮廓碎发、发际线不对称等情形),然后转换为发型分数项Scorehair。头发异常检测算法包括但不限于基于位置等规则的算法、神经网络算法。
步骤S208,归一化处理人脸姿态分数、模糊度分数、人脸表情分数、眼睛开合分数、肤色分数与头发分数,再利用加权平均法得到人脸质量分。
其中,求得人脸姿态分数、模糊度分数、人脸表情分数、眼睛开合分数、肤色分数与头发分数的各自的数值,根据各自的权重值按加权平均法得到人脸质量分。
在本实施例中,通过人脸检测算法和图像分割算法,将肤色、头发和眼睛单独分离出来,并进一步对这些人脸特征的单独分析,将人脸特征的美感描述量化。另一方面,结合人脸特征(包括肤色、头发和眼睛)、人脸姿态、人脸图像质量、人脸表情的分析,通过综合性的计算得到了人脸评分,能够对人脸做出精确分析。
请参阅图8,为本发明提供的一种基于人脸分析的多人图像评分系统结构框图;包括:
人脸检测模块1,用于获取多人图像,并利用人脸检测算法检测所述多人图像中各个人脸的位置、尺寸和角度;
人脸质量评分模块2,用于采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分;
人脸权重模块3,用于根据所述多人图像中各个所述人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;
人脸综合评分模块4,用于结合各个人脸的人脸权重与人脸质量分计算所述多人图像中的人脸综合分;
光源一致性分析模块5,用于利用光源一致性分析算法计算所述多人图像的光源一致性评分;
具体地,将所述多人图像分成若干个区域,利用光源方向估计算法估算每个区域的局部光照方向;
筛选所有区域内局部光照方向差异最大的两个区域,记录两个区域内光照方向差之间的夹角θ;
利用cos(θ)记录所述多人图像的光源一致性评分。
队形评分模块6,用于利用队形分析算法计算所述多人图像的队形评分;
具体地,将所述多人图像中各个人脸的人脸位置所对应的外接矩形的形心组成点集;
利用对称性分析算法得到所述点集的对称轴及对称量化值;
根据所述对称轴及对称量化值计算所述多人图像中人脸的队形评分
评分计算模块7,用于依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分。
具体地,归一化处理所述人脸综合分、光源一致性评分与队形评分,并对其进行加权平均得到所述多人图像的总评分。
请参阅图9,为本发明提供的一种基于人脸分析的多人图像评分系统中人脸质量评分模块的结构框图;包括:
人脸姿态计算单元21,用于根据所述多人图像中各个人脸的角度计算人脸姿态分数;
模糊度计算单元22,利用模糊度检测法计算所述多人图像中各个人脸的模糊度分数;
图像分割单元23,利用图像分割法分割所述多人图像成背景、头发、人脸、脖子与衣服区域;
人脸表情计算单元24,利用表情分析算法计算所述多人图像中各个人脸得到人脸表情分数;
眼睛开合计算单元25,用于根据左右眼关键点识别左右眼开合程度计算各个人脸的眼睛开合分数;
人脸肤色计算单元26,利用肤色异常检测算法识别人脸区域的肤色异常情形计算肤色分数;
头发分数计算单元27,利用头发检测算法识别头发区域的头发异常情形计算头发分数;
人脸质量评分单元28,用于归一化处理人脸姿态分数、模糊度分数、人脸表情分数、眼睛开合分数、肤色分数与头发分数,再利用加权平均法得到人脸质量分。
由于基于人脸分析的多人图像评分系统与基于人脸分析的多人图像评分方法为一一对应关系,其技术细节与技术效果均相同,在此不一一赘述。
请参阅图10,为本发明提供的一种基于人脸分析的多人图像评分设备结构框图,包括:
一个或多个处理器81;
存储器82;以及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中82并被配置为由所述一个或多个处理器81执行指令,所述一个或多个处理器执行所述执行指令使得所述电子设备执行如上述的基于人脸分析的多人图像评分方法。
所述处理器81可操作地与存储器和/或非易失性存储设备耦接。更具体地,处理器81可执行在存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作,诸如生成图像数据和/或将图像数据传输到电子显示器。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
本申请提供一种基于人脸分析的多人图像评分的存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上项所述的基于人脸分析的多人图像评分方法存储介质。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
于本申请提供的实施例中,所述计算机可读写存储介质可以包括只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。
综上所述,本发明通过对人脸质量评分可筛除多人图像中质量分过低的路人,使得所有有效的人脸参与总体评分;利用光源一致性分析能够检测合照中每张人脸的光照角度是否一致,便于改变合照时的光照均匀度;利用队形对称性分析能够检测合照中所有人脸是否对称排列,易于整齐队形;利用多人图像最终评分不仅可检测拍摄的多人图像质量,还能在多人合影拍照时进行辅助以提高拍照质量。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于人脸分析的多人图像评分方法,其特征在于,包括:
获取多人图像,并利用人脸检测算法检测所述多人图像中各个人脸的位置、尺寸和角度;
采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分;
根据所述多人图像中各个所述人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;
结合各个人脸的人脸权重与人脸质量分计算所述多人图像中的人脸综合分;
利用光源一致性分析算法计算所述多人图像的光源一致性评分;
利用队形分析算法计算所述多人图像的队形评分;
依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分。
2.根据权利要求1所述的基于人脸分析的多人图像评分方法,其特征在于,所述采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分的步骤,包括:
根据所述多人图像中各个人脸的角度计算人脸姿态分数;
利用模糊度检测法计算所述多人图像中各个人脸的模糊度分数;
利用图像分割法分割所述多人图像成背景、头发、人脸、脖子与衣服区域;
利用表情分析算法计算所述多人图像中各个人脸得到人脸表情分数;
根据左右眼关键点识别左右眼开合程度计算各个人脸的眼睛开合分数;
利用肤色异常检测算法识别人脸区域的肤色异常情形计算肤色分数;
利用头发检测算法识别头发区域的头发异常情形计算头发分数;
归一化处理人脸姿态分数、模糊度分数、人脸表情分数、眼睛开合分数、肤色分数与头发分数,再利用加权平均法得到人脸质量分。
3.根据权利要求1所述基于人脸分析的多人图像评分方法,其特征在于,所述利用光源一致性分析算法计算所述多人图像的光源一致性评分的步骤,包括:
将所述多人图像分成若干个区域,利用光源方向估计算法估算每个区域的局部光照方向;
筛选所有区域内局部光照方向差异最大的两个区域,记录两个区域内光照方向差之间的夹角θ;
利用cos(θ)记录所述多人图像的光源一致性评分。
4.根据权利要求1所述基于人脸分析的多人图像评分方法,其特征在于,所述利用队形分析算法计算所述多人图像的队形评分的步骤,包括:
将所述多人图像中各个人脸的人脸位置所对应的外接矩形的形心组成点集;
利用对称性分析算法得到所述点集的对称轴及对称量化值;
根据所述对称轴及对称量化值计算所述多人图像中人脸的队形评分。
5.根据权利要求1所述基于人脸分析的多人图像评分方法,其特征在于,所述依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分的步骤,包括:
归一化处理所述人脸综合分、光源一致性评分与队形评分,并对其进行加权平均得到所述多人图像的总评分。
6.一种基于人脸分析的多人图像评分系统,其特征在于,包括:
人脸检测模块,用于获取多人图像,并利用人脸检测算法检测所述多人图像中各个人脸的位置、尺寸和角度;
人脸质量评分模块,用于采用人脸质量评分算法计算所述多人图像中各个人脸的人脸质量分;
人脸权重模块,用于根据所述多人图像中各个所述人脸的位置、尺寸和人脸质量分计算各个人脸的人脸权重;
人脸综合评分模块,用于结合各个人脸的人脸权重与人脸质量分计算所述多人图像中的人脸综合分;
光源一致性分析模块,用于利用光源一致性分析算法计算所述多人图像的光源一致性评分;
队形评分模块,用于利用队形分析算法计算所述多人图像的队形评分;
评分计算模块,用于依据所述人脸综合分、光源一致性评分与队形评分计算所述多人图像的总评分。
7.根据权利要求6所述的基于人脸分析的多人图像评分系统,其特征在于,所述人脸质量评分模块包括:
人脸姿态计算单元,用于根据所述多人图像中各个人脸的角度计算人脸姿态分数;
模糊度计算单元,利用模糊度检测法计算所述多人图像中各个人脸的模糊度分数;
图像分割单元,利用图像分割法分割所述多人图像成背景、头发、人脸、脖子与衣服区域;
人脸表情计算单元,利用表情分析算法计算所述多人图像中各个人脸得到人脸表情分数;
眼睛开合计算单元,用于根据左右眼关键点识别左右眼开合程度计算各个人脸的眼睛开合分数;
人脸肤色计算单元,利用肤色异常检测算法识别人脸区域的肤色异常情形计算肤色分数;
头发分数计算单元,利用头发检测算法识别头发区域的头发异常情形计算头发分数;
人脸质量评分单元,用于归一化处理人脸姿态分数、模糊度分数、人脸表情分数、眼睛开合分数、肤色分数与头发分数,再利用加权平均法得到人脸质量分。
8.根据权利要求6所述的基于人脸分析的多人图像评分系统,其特征在于,所述光源一致性分析模块包括:
将所述多人图像分成若干个区域,利用光源方向估计算法估算每个区域的局部光照方向;
筛选所有区域内局部光照方向差异最大的两个区域,记录两个区域内光照方向差之间的夹角θ;
利用cos(θ)记录所述多人图像的光源一致性评分。
9.根据权利要求6所述的 基于人脸分析的多人图像评分系统,其特征在于,所述队形评分模块包括:
将所述多人图像中各个人脸的人脸位置所对应的外接矩形的形心组成点集;
利用对称性分析算法得到所述点集的对称轴及对称量化值;
根据所述对称轴及对称量化值计算所述多人图像中人脸的队形评分。
10.根据权利要求6所述的基于人脸分析的多人图像评分系统,其特征在于,所述评分计算模块包括:
归一化处理所述人脸综合分、光源一致性评分与队形评分,并对其进行加权平均得到所述多人图像的总评分。
11.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器;
以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令,所述一个或多个处理器执行所述执行指令使得所述电子设备执行如权利要求1~5任一项所述的基于人脸分析的多人图像评分方法。
12.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序在被调用执行时实现如权利要求1-5中任一所述的基于人脸分析的多人图像评分方法。
CN201910358661.4A 2019-04-30 2019-04-30 基于人脸分析的多人图像评分方法、系统、设备及介质 Active CN109978884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910358661.4A CN109978884B (zh) 2019-04-30 2019-04-30 基于人脸分析的多人图像评分方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910358661.4A CN109978884B (zh) 2019-04-30 2019-04-30 基于人脸分析的多人图像评分方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN109978884A CN109978884A (zh) 2019-07-05
CN109978884B true CN109978884B (zh) 2020-06-30

Family

ID=67087157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358661.4A Active CN109978884B (zh) 2019-04-30 2019-04-30 基于人脸分析的多人图像评分方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN109978884B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028216A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像评分方法、装置、存储介质及电子设备
CN113129252A (zh) * 2019-12-30 2021-07-16 Tcl集团股份有限公司 一种图像评分方法及电子设备
CN111182212B (zh) * 2019-12-31 2021-08-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质以及电子设备
CN111582027B (zh) * 2020-04-01 2024-03-22 广州亚美智造科技有限公司 身份认证方法、装置、计算机设备和存储介质
CN111401324A (zh) * 2020-04-20 2020-07-10 Oppo广东移动通信有限公司 图像质量评估方法、装置、存储介质及电子设备
CN112001276A (zh) * 2020-08-09 2020-11-27 成都未至科技有限公司 画面人物筛选方法、装置和计算机设备
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN113326775B (zh) * 2021-05-31 2023-12-29 Oppo广东移动通信有限公司 图像处理方法及装置、终端及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188677A (zh) * 2006-11-21 2008-05-28 索尼株式会社 摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序
CN104182970A (zh) * 2014-08-08 2014-12-03 浙江大学 一种基于摄影构图规则的留念照人像站位推荐方法
CN105139404A (zh) * 2015-08-31 2015-12-09 广州市幸福网络技术有限公司 一种可检测拍摄质量的证照相机及拍摄质量检测方法
CN109117797A (zh) * 2018-08-17 2019-01-01 浙江捷尚视觉科技股份有限公司 一种基于人脸质量评价的人脸抓拍识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355549A (zh) * 2016-09-30 2017-01-25 北京小米移动软件有限公司 拍照方法及设备
US10565696B2 (en) * 2017-06-05 2020-02-18 Qualcomm Incorporated Systems and methods for producing image feedback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188677A (zh) * 2006-11-21 2008-05-28 索尼株式会社 摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序
CN104182970A (zh) * 2014-08-08 2014-12-03 浙江大学 一种基于摄影构图规则的留念照人像站位推荐方法
CN105139404A (zh) * 2015-08-31 2015-12-09 广州市幸福网络技术有限公司 一种可检测拍摄质量的证照相机及拍摄质量检测方法
CN109117797A (zh) * 2018-08-17 2019-01-01 浙江捷尚视觉科技股份有限公司 一种基于人脸质量评价的人脸抓拍识别方法

Also Published As

Publication number Publication date
CN109978884A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109978884B (zh) 基于人脸分析的多人图像评分方法、系统、设备及介质
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
Liu et al. Learning deep models for face anti-spoofing: Binary or auxiliary supervision
WO2020000908A1 (zh) 一种人脸活体检测方法及装置
CN105335722B (zh) 一种基于深度图像信息的检测系统及方法
CN110175530A (zh) 一种基于人脸的图像评分方法及系统
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
JP4307496B2 (ja) 顔部位検出装置及びプログラム
CN108428214B (zh) 一种图像处理方法及装置
CN109086718A (zh) 活体检测方法、装置、计算机设备及存储介质
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
CN111524080A (zh) 脸部皮肤特征的识别方法、终端及计算机设备
CN109840565A (zh) 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN105426843B (zh) 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN111832464B (zh) 一种基于近红外摄像头的活体检测方法及装置
CN111586424B (zh) 一种实现化妆品多维动态展示的视频直播方法及装置
CN111259815A (zh) 一种人脸图像质量评估方法、系统、设备及介质
CN114360039A (zh) 一种智能眼睑检测方法及系统
Singh et al. Facial recognition using machine learning algorithms on raspberry Pi
CN107153806B (zh) 一种人脸检测方法及装置
CN109376618B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant