CN110175530A - 一种基于人脸的图像评分方法及系统 - Google Patents
一种基于人脸的图像评分方法及系统 Download PDFInfo
- Publication number
- CN110175530A CN110175530A CN201910358650.6A CN201910358650A CN110175530A CN 110175530 A CN110175530 A CN 110175530A CN 201910358650 A CN201910358650 A CN 201910358650A CN 110175530 A CN110175530 A CN 110175530A
- Authority
- CN
- China
- Prior art keywords
- face
- score
- image
- feature
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 26
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000003709 image segmentation Methods 0.000 claims description 14
- 238000010195 expression analysis Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 231100000640 hair analysis Toxicity 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 238000003786 synthesis reaction Methods 0.000 claims 2
- 238000012549 training Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000013450 outlier detection Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本发明提出一种基于人脸的图像评分方法，包括：采集原始图像，并对所述原始图像信息进行预处理，所述预处理包括：对所述原始图像进行人脸检测，获取人脸图像区域，以及预先对图像识别特征进行分类，并根据分类类别对所述原始图像进行分割，获取多个子图像；分别对每个子图像内的特征进行评估，获取每个子图像内的所有特征分数；根据所有子图像内的特征分数，获取人脸图像的综合评分；本发明解决了传统人脸图像质量算法中过于关注人脸的图像质量，而缺少对人脸的精确分析的问题。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于人脸的图像评分方法及系统。
背景技术
传统的人脸图像分析方法，是基于视频监控等抓拍的应用场景发展而来，在这类场景中人脸在拍摄画面中的角度、位置都是随机的，并且一般人脸多处于运动中。因此传统设计的人脸图像质量算法，往往都只围绕着怎样检测人脸的角度、位置、运动模糊等问题。然而，人们对照片的挑选需求已经不仅局限在图片是否清晰、人脸是否有遮挡等方面。传统技术由于缺乏对人脸更为精确的分析，难以满足当前人们的需求。
发明内容
鉴于以上现有技术存在的问题，本发明提出一种基于人脸的图像评分方法及系统，主要解决传统算法缺少对人脸的精确分析的问题。
为了实现上述目的及其他目的，本发明采用的技术方案如下。
一种基于人脸的图像评分方法，包括：
采集原始图像，并对所述原始图像信息进行预处理，
所述预处理包括：对所述原始图像进行人脸检测，获取人脸图像区域，以及预先对图像识别特征进行分类，并根据分类类别对所述原始图像进行分割，获取多个子图像；
分别对每个子图像内的特征进行评估，获取每个子图像内的所有特征分数；
根据所有子图像内的特征分数，获取人脸图像的综合评分。
可选地，所述子图像包括背景子图像、头发子图像、人脸子图像、脖子子图像和衣服子图像，
提取各所述子图像中的表情、眼睛、肤色和头发特征；
根据表情特征获取表情分数；
根据眼睛特征获取眼睛开合分数；
根据肤色特征获取肤色分数；
根据头发特征获取发型分数。
可选地，还包括在检测原始图像人脸图像区域时，计算人脸姿态分数，所述计算人脸姿态分数至少包括以下步骤：
检测原始图像，获取人脸图像区域；
检测人脸的关键特征点；
根据所述关键特征点计算人脸的位置、角度；
建立所述人脸的位置、角度相对于姿态分数的映射关系；
计算所述人脸图像区域中人脸的位置和角度；
根据所述人脸的位置和角度计算得到人脸姿态分数。
可选地，所述预处理还包括：
对所述原始图像中人脸区域进行人脸图像质量检测，获取人脸图像模糊度值；
对所述模糊度值进行归一化，得到模糊度分数。
可选地，所述根据眼睛特征计算眼睛开合分数，至少包括以下步骤：
检测左右眼上所有关键特征点；
计算人脸角度；
建立仿射变换矩阵，根据人脸角度校正左右眼上所有关键特征点；
分别计算左右眼上所有关键特征点的方差；
设置方差阈值，计算眼睛开合分数；
计算眼睛开合分数公式如下：
其中Lefteyevar为左眼关键特征点的方差；Righteyevar为右眼关键特征点的方差；EyeThresh为方差阈值；Scoreeye为眼睛开合分数。
可选地，所述根据肤色特征计算肤色分数，至少包括以下步骤：
分离肤色异常区域；
获取分离异常肤色后的人脸皮肤轮廓的第一闭合区域，计算所述第一闭合区域面积；
定义所述第一闭合区域中去除人脸五官后的区域为第二闭合区域，计算所述第二闭合区域的面积；
根据所述第一闭合区域面积与第二闭合区域面积的比值计算肤色分数。
可选地，所述得到多个子区域至少包括：
将所述人脸图像区域划分为多个子区域；
对得到的多个子区域进行标注；
将已标注的所述子区域输入图像分割模型，得到多个子图像；
可选地，所述人脸图像综合评分至少包括：
将所有所述子图像中的特征分数进行归一化；
为每个归一化后的分数设置权重值；
获取所有所述归一化后的分数的加权平均，得到平均特征分数；
结合所述人脸姿态分数、平均特征分数、模糊度分数，加权求和得到人脸图像综合评分。
一种基于人脸的图像评分系统，包括：
图像采集模块，用于采集原始图像；
图像预处理模块，用于对所述原始图像信息进行预处理，包括：对所述原始图像进行人脸检测，获取人脸图像区域，以及预先对图像识别特征进行分类；
图像分割模块，用于根据分类类别对所述原始图像进行分割，获取多个子图像；
特征分析模块，用于分别对每个子图像内的特征进行评估，获取每个子图像内的所有特征分数；
综合评分模块，根据所有子图像内的所有特征分数，获取人脸图像的综合评分。
可选地，所述特征分析模块至少包括：
特征提取单元，用于提取所述子图像中的表情、眼睛、肤色和头发特征；
表情分析单元，用于根据表情特征获取表情分数；
眼睛分析单元，用于根据眼睛特征获取眼睛开合分数；
肤色分析单元，用于根据肤色特征获取肤色分数；
头发分析单元，用于根据头发特征获取发型分数。
如上所述，本发明一种基于人脸的图像评分方法及系统，具有以下有益效果。
通过人脸检测算法和图像分割算法，将图像特征分离出来，并进一步对这些图像特征进行单独分析，将人脸特征的美感描述量化。
附图说明
图1为本发明基于人脸的图像评分方法的流程图。
图2为本发明基于人脸的图像评分方法的人脸相对摄像装置坐标系示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
日常生活中，拍摄生活照、艺术照、证件照后，往往需要对拍摄的照片进行甄选，挑出满意的照片，防止照片中存在闭眼、表情怪异、头部转动时人脸出现运动模糊等情况。因此，传统的图像质量检测方法中，大多结合图像模糊度、人脸是否有遮挡、人脸转动角度等因素来分析出人脸质量，从而能从多张个人连续人脸拍照中选取人脸质量最高的照片来使用。
除此之外，也有基于视屏监控的抓拍应用场景的人脸图像分析方法，在这类场景中人脸在拍摄画面中的角度、位置都是随机且处于动态的。针对动态图像人脸角度和运动模糊问题更为突出，因此传统算法往往都只围绕着怎样检测人脸的角度、位置、运动模糊等问题。而静态场景拍摄时，图像质量普遍较高，模糊度和角度已不是影响拍摄的照片质量的主要因素。此种情况下，需要对拍摄的图像进行更为精确的分析，综合评价拍摄图像的质量。
因此，本发明提出了一种基于人脸的图像评分方法和系统，用于解决图像精确分析问题。为人们进行图像挑选时，提供更精确的参考。
请参阅图1，本发明提供一种基于人脸的图像评分方法，包括：
采集图像数据S1：
可以通过照相机、摄像头或其他可以获取图像信息的摄像模组完成图像采集。这里的图像采集采用本领域常规的技术手段，这里不再赘述。
图像预处理S2：
在一实施例中，采用人脸图像检测算法，分析拍摄的图像中是否存在人脸，以及人脸是否被遮挡。人脸检测算法可以采用AAM算法或神经网络算法。这里的人脸检测算法为本领域常用算法，如何通过人脸检测算法检测图像中人脸信息为本领域技术人员所熟知，这里不再赘述。
在一实施例中，检测到人脸信息后，利用人脸关键点检测算法，检测口、鼻、嘴等人脸关键点，根据检测到的关键点的实际坐标并结合空间坐标变换矩阵计算出当前图像中人脸的俯仰角、横滚角、偏航角等人脸角度信息。利用识别算法，与预先对图像中的特征进行分类。分类特征至少包括背景、头发、人脸、脖子、衣服等。
请参阅图2，在另一实施例中，空间坐标变换矩阵是根据图像中人脸位置相对于摄像装置视角坐标系的投影计算得到的，而人脸位置由根据检测到的图像中人脸的外接矩形的四个交点坐标值表示。在另一实施例中，人脸角度计算方法也可以采用唇形关键点校正的方式。即利用唇形关键点在摄像装置视角坐标系各正交面上的投影，校正关键点计算得到的人脸角度信息。
在一实施例中，根据计算得到的人脸位置和角度信息，计算人脸姿态分数。计算人脸姿态分数的方式可以为设置人脸位置和角度相对于人脸姿态分数的映射关系。如，当应用场景为个人证件照时，由于证件照对人脸的角度偏移十分敏感，因此，可以将映射关系设计为：
其中，Scorepos表示人脸姿态分数；pitch表示俯仰角；roll表示横滚角；yaw表示偏航角。
检测图像质量：
在一实施例中，采用模糊度算法对人脸图像检测算法得到的人脸图像区域进行检测，得到人脸的模糊度数值，然后将模糊度数值归一化为模糊度分数。在另一实施例中，模糊度检测算法可以采用拉普拉斯方差算法，模糊度检测算法的具体操作方式为本领域技术人员所熟知，这里不再赘述。
分割图像S3：
在一实施例中，采用图像分割算法，根据图像预处理的特征分类将图像分割为背景、头发、人脸、脖子、衣服等多个区域。具体操作步骤包括对得到的多个区域进行标注，可采用不同颜色标注不同的区域；将标注的图像输入图像分割模型中，得到多个子图像。在另一实施例中，图像分割模型可采用神经网络算法、基于色差规则的算法等结合训练库中大量标注图和原图训练得到。
图像分割得到多个子图像后，对子图像进行特征分析。
特征分析S4：
在一实施例中，特征可以包括表情、眼睛开闭、肤色、头发等，针对不同的特征采用不同的算法分析对应特征，得到对应的特征分数。
表情分析：使用表情分析算法，分析图像中人脸表情，提取表情特征，输入表情分析模型。在另一实施例中，表情分析模型可采用大量表情图像作为训练样本，输入神经网络算法中训练得到。这里训练表情分析模型也可以采用深度学习算法等模型训练方法训练得到。
眼睛分析：
利用人脸关键点检测算法得到的眼睛关键点，分别对左右眼的开合情况进行识别，并计算眼睛开闭分数Scoreeye。
利用计算得到的人脸角度，将左右眼的关键点通过仿射变换进行校正；
分别计算左右眼上所有关键点的y坐标(相机坐标系)方差，记为Lefteyevar、Righteyevar；
根据方差阈值EyeThresh，计算Scoreeye：
肤色分析：根据图像分割算法标注的人脸皮肤区域，利用肤色异常检测算法识别肤色异常情况。肤色异常情况包括高光、阴阳脸、过曝、肤色黑暗等情况。将肤色情况转换为肤色分数Scoreskin。具体可以通过直方图规定化算法，将人脸皮肤色彩范围内的像素颜色都调整得更趋于一致，而将人脸皮肤色彩范围外的像素颜色都增大动态范围。这样操作会使得人脸皮肤上亮色异常像素越亮、暗色异常像素则越暗，从而有利于将肤色异常区域分离开；通过轮廓寻找算法，寻找人脸皮肤区域内的闭合区域；根据人脸关键点，将闭合区域中的五官区域减除后，得到剩余的闭合区域的面积S1；根据S1和人脸皮肤区域总面积Sface，来计算Scoreskin：
Scoreskin＝Sface/S1
肤色异常检测算法还可以采用神经网络算法、深度学习算法等方法，计算肤色分数。
头发分析：根据图像分割算法标注的人脸头发区域，利用头发检测算法来识别出头发异常情形，头发异常情形包括额头碎发、外轮廓碎发、发际线不对称等。将头发信息转换为发型分数Scorehair。
头发异常检测算法可采用基于位置鞥规则的算法、神经网络算法等方法，检测方法的具体实施方式为本领域技术人员熟知，这里不再赘述。
计算特征分数S5：
完成所有人脸特征分数计算后，对人脸特征分数进行归一化处理，再根据权重计算得到人脸平均特征分数Score。综合计算的公式如下：
其中，都是特征分数归一化后的数值；wi是每个特征分数的权重值。在一实施例中，各分数的权重可根据不同应用场景进行适当调整。
综合评分S6：
结合人脸平均特征分数、模糊度分数和姿态分数综合评价拍摄的图像质量。可以采用设置权值加权平均得到综合评分，也可以采用归一化后加权求和的到综合评分。
本发明还提供了一种基于人脸的图像评分系统，包括，
图像采集模块：
用于采集图像数据，图像采集模块可以包括照相机、摄像头或其他可以获取图像信息的摄像模组。这里的图像采集模块采用本领域常规的技术手段，这里不再赘述。
图像预处理模块：
在一实施例中，采用人脸图像检测算法，分析拍摄的图像中是否存在人脸，以及人脸是否被遮挡。人脸检测算法可以采用AAM算法或神经网络算法。这里的人脸检测算法为本领域常用算法，如何通过人脸检测算法检测图像中人脸信息为本领域技术人员所熟知，这里不再赘述。
在一实施例中，检测到人脸信息后，利用人脸关键点检测算法，检测口、鼻、嘴等人脸关键点，根据检测到的关键点的实际坐标并结合空间坐标变换矩阵计算出当前图像中人脸的俯仰角、横滚角、偏航角等人脸角度信息。
请参阅图2，在另一实施例中，空间坐标变换矩阵是根据图像中人脸位置相对于摄像装置视角坐标系的投影计算得到的，而人脸位置由根据检测到的图像中人脸的外接矩形的四个交点坐标值表示。在另一实施例中，人脸角度计算方法也可以采用唇形关键点校正的方式。即利用唇形关键点在摄像装置视角坐标系各正交面上的投影，校正关键点计算得到的人脸角度信息。
在一实施例中，根据计算得到的人脸位置和角度信息，计算人脸姿态分数。计算人脸姿态分数的方式可以为设置人脸位置和角度相对于人脸姿态分数的映射关系。如，当应用场景为个人证件照时，由于证件照对人脸的角度偏移十分敏感，因此，可以将映射关系设计为：
其中，Scorepos表示人脸姿态分数；pitch表示俯仰角；roll表示横滚角；yaw表示偏航角。
在一实施例中，预处理模块还包括质量检测单元：
采用模糊度算法对人脸图像检测算法得到的人脸图像区域进行检测，得到人脸的模糊度数值，然后将模糊度数值归一化为模糊度分数。在另一实施例中，模糊度检测算法可以采用拉普拉斯方差算法，模糊度检测算法的具体操作方式为本领域技术人员所熟知，这里不再赘述。
图像分割模块：
在一实施例中，采用图像分割算法，将图像分为背景、头发、人脸、脖子、衣服等多个区域。具体操作步骤包括对得到的多个区域进行标注，可采用不同颜色标注不同的区域；将标注的图像输入图像分割模型中，得到多个子图像。在另一实施例中，图像分割模型可采用神经网络算法、基于色差规则的算法等结合训练库中大量标注图和原图训练得到。
图像分割得到多个子图像后，对子图像进行特征分析。
特征分析模块至少包括：
特征提取单元，用于提取所述子图像中的表情、眼睛、肤色和头发等特征；
表情分析单元，用于根据表情特征获取表情分数；
眼睛分析单元，用于根据眼睛特征获取眼睛开合分数；
肤色分析单元，用于根据肤色特征获取肤色分数；
头发分析单元，用于根据头发特征获取发型分数。
针对不同的特征采用不同的算法分析对应特征，得到对应的特征分数。
表情分析：表情分析单元采用使用表情分析算法，分析图像中人脸表情，提取表情特征，输入表情分析模型。在另一实施例中，表情分析模型可采用大量表情图像作为训练样本，输入神经网络算法中训练得到。这里训练表情分析模型也可以采用深度学习算法等模型训练方法训练得到。
眼睛分析：眼睛分析单元利用人脸关键点检测算法得到的眼睛关键点，分别对左右眼的开合情况进行识别，并计算眼睛开闭分数Scoreeye。
利用计算得到的人脸角度，将左右眼的关键点通过仿射变换进行校正；
分别计算左右眼上所有关键点的y坐标(相机坐标系)方差，记为Lefteyevar、Righteyevar；
根据方差阈值EyeThresh，计算Scoreeye：
肤色分析：肤色分析单元根据图像分割算法标注的人脸皮肤区域，利用肤色异常检测算法识别肤色异常情况。肤色异常情况包括高光、阴阳脸、过曝、肤色黑暗的情况。将肤色情况转换为肤色分数Scoreskin。具体可以通过直方图规定化算法，将人脸皮肤色彩范围内的像素颜色都调整得更趋于一致，而将人脸皮肤色彩范围外的像素颜色都增大动态范围。这样操作会使得人脸皮肤上亮色异常像素越亮、暗色异常像素则越暗，从而有利于将肤色异常区域分离开；通过轮廓寻找算法，寻找人脸皮肤区域内的闭合区域；根据人脸关键点，将闭合区域中的五官区域减除后，得到剩余的闭合区域的面积S1；根据S1和人脸皮肤区域总面积Sface，来计算Scoreskin：
Scoreskin＝Sface/S1
肤色异常检测算法还可以采用神经网络算法、深度学习算法等方法，计算肤色分数。
头发分析：头发分析单元根据图像分割算法标注的人脸头发区域，利用头发检测算法来识别出头发异常情形，头发异常情形包括额头碎发、外轮廓碎发、发际线不对称等。将头发信息转换为发型分数Scorehair。
头发异常检测算法可采用基于位置鞥规则的算法、神经网络算法等方法，检测方法的具体实施方式为本领域技术人员熟知，这里不再赘述。
计算平均特征分数S5：
完成所有人脸特征分数计算后，对人脸特征分数进行归一化处理，再根据权重计算得到人脸平均特征分数Score。综合计算的公式如下：
其中，都是特征分数归一化后的数值；wi是每个特征分数的权重值。在一实施例中，各分数的权重可根据不同应用场景进行适当调整。
综合评分模块：
结合人脸平均特征分数、模糊度分数和姿态分数综合评价拍摄的图像质量。可以采用设置权值加权平均得到综合评分，也可以采用归一化后加权求和的到综合评分。
综上所述，本发明一种基于人脸的图像评分方法及系统，通过人脸检测算法和图像分割算法，将肤色、头发和眼睛单独分离出来，并进一步对这些人脸特征的单独分析，将人脸特征的美感描述量化。另一方面，结合人脸特征分析、人脸姿态、人脸图像质量，通过综合性的计算得到了人脸评分，解决了传统人脸图像质量算法中过于关注人脸的图像质量，而缺少对人脸的精确分析的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于人脸的图像评分方法，其特征在于，包括：
采集原始图像，并对所述原始图像信息进行预处理；
所述预处理包括：对所述原始图像进行人脸检测，获取人脸图像区域，以及预先对图像识别特征进行分类，并根据分类类别对所述原始图像进行分割，获取多个子图像；
分别对每个子图像内的特征进行评估，获取每个子图像内的所有特征分数；
根据所有子图像内的特征分数，获取人脸图像的综合评分。
2.根据权利要求1所述的基于人脸的图像评估方法，其特征在于，所述子图像包括背景子图像、头发子图像、人脸子图像、脖子子图像和衣服子图像，
提取各所述子图像中的表情、眼睛、肤色和头发特征；
根据表情特征获取表情分数；
根据眼睛特征获取眼睛开合分数；
根据肤色特征获取肤色分数；
根据头发特征获取发型分数。
3.根据权利要求1所述的基于人脸的图像评分方法，其特征在于，还包括在检测原始图像人脸图像区域时，计算人脸姿态分数，所述计算人脸姿态分数至少包括以下步骤：
检测原始图像，获取人脸图像区域；
检测人脸的关键特征点；
根据所述关键特征点计算人脸的位置、角度；
建立所述人脸的位置、角度相对于姿态分数的映射关系；
计算所述人脸图像区域中人脸的位置和角度；
根据所述人脸的位置和角度计算得到人脸姿态分数。
4.根据权利要求3所述的基于人脸的图像评分方法，其特征在于，所述预处理还包括：
对所述原始图像中人脸区域进行人脸图像质量检测，获取人脸图像模糊度值；
对所述模糊度值进行归一化，得到模糊度分数。
5.根据权利要求2所述的基于人脸的图像评估方法，其特征在于，所述根据眼睛特征计算眼睛开合分数，至少包括以下步骤：
检测左右眼上所有关键特征点；
计算人脸角度；
建立仿射变换矩阵，根据人脸角度校正左右眼上所有关键特征点；
分别计算左右眼上所有关键特征点的方差；
设置方差阈值，计算眼睛开合分数；
计算眼睛开合分数公式如下：
其中Lefteyevar为左眼关键特征点的方差；Righteyevar为右眼关键特征点的方差；EyeThresh为方差阈值；Scoreeye为眼睛开合分数。
6.根据权利要求2所述的基于人脸的图像评分方法，其特征在于，所述根据肤色特征计算肤色分数，至少包括以下步骤：
分离肤色异常区域；
获取分离异常肤色后的人脸皮肤轮廓的第一闭合区域，计算所述第一闭合区域面积；
定义所述第一闭合区域中去除人脸五官后的区域为第二闭合区域，计算所述第二闭合区域的面积；
根据所述第一闭合区域面积与第二闭合区域面积的比值计算肤色分数。
7.根据权利要求1所述的基于人脸的图像评分方法，其特征在于，所述得到多个子区域至少包括：
将所述人脸图像区域划分为多个子区域；
对得到的多个子区域进行标注；
将已标注的所述子区域输入图像分割模型，得到多个子图像。
8.根据权利要求4所述的基于人脸的图像评分方法，其特征在于，所述人脸图像综合评分至少包括：
将所有所述子图像中的特征分数进行归一化；
为每个归一化后的分数设置权重值；
获取所有所述归一化后的分数的加权平均，得到平均特征分数；
结合所述人脸姿态分数、平均特征分数、模糊度分数，加权求和得到人脸图像综合评分。
9.一种基于人脸的图像评分系统，其特征在于，包括：
图像采集模块，用于采集原始图像；
图像预处理模块，用于对所述原始图像信息进行预处理，包括：对所述原始图像进行人脸检测，获取人脸图像区域，以及预先对图像识别特征进行分类；
图像分割模块，用于根据分类类别对所述原始图像进行分割，获取多个子图像；
特征分析模块，用于分别对每个子图像内的特征进行评估，获取每个子图像内的所有特征分数；
综合评分模块，根据所有子图像内的所有特征分数，获取人脸图像的综合评分。
10.根据权利要求9所述的基于人脸的图像评分系统，其特征在于，所述特征分析模块至少包括：
特征提取单元，用于提取所述子图像中的表情、眼睛、肤色和头发特征；
表情分析单元，用于根据表情特征获取表情分数；
眼睛分析单元，用于根据眼睛特征获取眼睛开合分数；
肤色分析单元，用于根据肤色特征获取肤色分数；
头发分析单元，用于根据头发特征获取发型分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910358650.6A CN110175530A (zh) | 2019-04-30 | 2019-04-30 | 一种基于人脸的图像评分方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910358650.6A CN110175530A (zh) | 2019-04-30 | 2019-04-30 | 一种基于人脸的图像评分方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110175530A true CN110175530A (zh) | 2019-08-27 |
Family
ID=67690326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910358650.6A Pending CN110175530A (zh) | 2019-04-30 | 2019-04-30 | 一种基于人脸的图像评分方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175530A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533651A (zh) * | 2019-08-29 | 2019-12-03 | 维沃移动通信有限公司 | 一种图像处理方法及装置 |
| CN110796004A (zh) * | 2019-09-25 | 2020-02-14 | 北京大米科技有限公司 | 图像识别评估方法、装置、存储介质及电子设备 |
| CN110838119A (zh) * | 2019-11-15 | 2020-02-25 | 珠海全志科技股份有限公司 | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 |
| CN111144366A (zh) * | 2019-12-31 | 2020-05-12 | 中国电子科技集团公司信息科学研究院 | 一种基于联合人脸质量评估的陌生人脸聚类方法 |
| CN111259815A (zh) * | 2020-01-17 | 2020-06-09 | 厦门中控智慧信息技术有限公司 | 一种人脸图像质量评估方法、系统、设备及介质 |
| CN111402317A (zh) * | 2020-03-26 | 2020-07-10 | 北京新氧科技有限公司 | 一种眼睛特征测量方法、装置及终端 |
| CN111696083A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113012089A (zh) * | 2019-12-19 | 2021-06-22 | 北京金山云网络技术有限公司 | 一种图像质量评价方法及装置 |
| CN113600951A (zh) * | 2021-08-03 | 2021-11-05 | 苏州楚翰真空科技有限公司 | 一种基于真空钎焊炉生成保温杯的方法和系统 |
| CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105528757A (zh) * | 2015-12-08 | 2016-04-27 | 华南理工大学 | 一种基于内容的图像美学质量提升方法 |
| CN105938551A (zh) * | 2016-06-28 | 2016-09-14 | 深圳市唯特视科技有限公司 | 一种基于视频数据的人脸特定区域提取方法 |
| CN108335293A (zh) * | 2018-01-31 | 2018-07-27 | 泰康保险集团股份有限公司 | 图像质量的确定方法及装置 |
-
2019
- 2019-04-30 CN CN201910358650.6A patent/CN110175530A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105528757A (zh) * | 2015-12-08 | 2016-04-27 | 华南理工大学 | 一种基于内容的图像美学质量提升方法 |
| CN105938551A (zh) * | 2016-06-28 | 2016-09-14 | 深圳市唯特视科技有限公司 | 一种基于视频数据的人脸特定区域提取方法 |
| CN108335293A (zh) * | 2018-01-31 | 2018-07-27 | 泰康保险集团股份有限公司 | 图像质量的确定方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533651A (zh) * | 2019-08-29 | 2019-12-03 | 维沃移动通信有限公司 | 一种图像处理方法及装置 |
| CN110796004A (zh) * | 2019-09-25 | 2020-02-14 | 北京大米科技有限公司 | 图像识别评估方法、装置、存储介质及电子设备 |
| CN110838119A (zh) * | 2019-11-15 | 2020-02-25 | 珠海全志科技股份有限公司 | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 |
| CN110838119B (zh) * | 2019-11-15 | 2022-03-04 | 珠海全志科技股份有限公司 | 人脸图像质量评估方法、计算机装置及计算机可读存储介质 |
| CN113012089A (zh) * | 2019-12-19 | 2021-06-22 | 北京金山云网络技术有限公司 | 一种图像质量评价方法及装置 |
| CN111144366A (zh) * | 2019-12-31 | 2020-05-12 | 中国电子科技集团公司信息科学研究院 | 一种基于联合人脸质量评估的陌生人脸聚类方法 |
| CN111259815A (zh) * | 2020-01-17 | 2020-06-09 | 厦门中控智慧信息技术有限公司 | 一种人脸图像质量评估方法、系统、设备及介质 |
| CN111402317A (zh) * | 2020-03-26 | 2020-07-10 | 北京新氧科技有限公司 | 一种眼睛特征测量方法、装置及终端 |
| CN111696083A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| WO2021114638A1 (zh) * | 2020-05-20 | 2021-06-17 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113600951A (zh) * | 2021-08-03 | 2021-11-05 | 苏州楚翰真空科技有限公司 | 一种基于真空钎焊炉生成保温杯的方法和系统 |
| CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175530A (zh) | 一种基于人脸的图像评分方法及系统 | |
| CN108038456B (zh) | 一种人脸识别系统中的防欺骗方法 | |
| CN104834898B (zh) | 一种人物摄影图像的质量分类方法 | |
| EP1650711B1 (en) | Image processing device, imaging device, image processing method | |
| CN105205480B (zh) | 一种复杂场景中人眼定位方法及系统 | |
| JP5517858B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| CN105139404B (zh) | 一种可检测拍摄质量的证照相机及拍摄质量检测方法 | |
| CN109978884B (zh) | 基于人脸分析的多人图像评分方法、系统、设备及介质 | |
| CN107423690A (zh) | 一种人脸识别方法及装置 | |
| WO2018222812A1 (en) | System and method for guiding a user to take a selfie | |
| CN106845328B (zh) | 一种基于双摄像头的智能人脸识别方法及系统 | |
| CN106446872A (zh) | 一种低照度下的视频人脸检测识别方法 | |
| CN109858439A (zh) | 一种基于人脸的活体检测方法及装置 | |
| CN108647625A (zh) | 一种表情识别方法及装置 | |
| Martinez et al. | Facial component detection in thermal imagery | |
| CN110163126A (zh) | 一种基于人脸的活体检测方法、装置及设备 | |
| Monwar et al. | Pain recognition using artificial neural network | |
| CN112528939A (zh) | 一种人脸图像的质量评价方法及装置 | |
| Yadav et al. | A novel approach for face detection using hybrid skin color model | |
| Lee et al. | Facial expression recognition using image processing techniques and neural networks | |
| Monwar et al. | Eigenimage based pain expression recognition | |
| CN111832464A (zh) | 一种基于近红外摄像头的活体检测方法及装置 | |
| Ramos et al. | Face Recognition With Or Without Makeup Using Haar Cascade Classifier Algorithm And Local Binary Pattern Histogram Algorithm | |
| KR102634477B1 (ko) | 머신러닝기반 2d 피부영상정보 진단 시스템 및 그 방법 | |
| See et al. | Hybrid face detection with skin segmentation and edge detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |