CN111814840A - 一种人脸图像质量评估方法、系统、设备和介质 - Google Patents

一种人脸图像质量评估方法、系统、设备和介质 Download PDF

Info

Publication number
CN111814840A
CN111814840A CN202010554425.2A CN202010554425A CN111814840A CN 111814840 A CN111814840 A CN 111814840A CN 202010554425 A CN202010554425 A CN 202010554425A CN 111814840 A CN111814840 A CN 111814840A
Authority
CN
China
Prior art keywords
face
score
quality evaluation
image
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010554425.2A
Other languages
English (en)
Inventor
姚志强
周曦
张滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Original Assignee
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd filed Critical Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority to CN202010554425.2A priority Critical patent/CN111814840A/zh
Publication of CN111814840A publication Critical patent/CN111814840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种人脸图像质量评估方法、系统、设备和介质，包括：人脸图像对应的人脸总分在预设的阈值范围内时，根据获得的各人脸质量评估模型得到的分数，输出人脸图像质量评估结果；本发明通过调整质量评估策略，极大地提高了人脸图像质量评估的速度和效率。

Description

一种人脸图像质量评估方法、系统、设备和介质
技术领域
本发明涉及人工智能与图像处理领域，尤其涉及一种人脸图像质量评估方法、 系统、设备和介质。
背景技术
随着人工智能的发展，人脸识别技术在实际生活中的应用越来越广泛。人脸 质量评估是人脸识别流程中十分重要的一环，如何快速并准确地给出人脸的质量 分是一个难题。
现有的人脸质量评估需要计算关键点、清晰度、亮度、角度、总分等等模型 的结果，对这些分数取加权平均进而得到总分，评估耗时与图片所含人脸数正相 关。因而遇到大的人流量情况，如视频流中某一时间段出现100人，那么连续多 帧的抓拍图都会包含100张人脸，人脸质量评估耗时会很长，影响人脸识别的效 率。
发明内容
鉴于以上现有技术存在的问题，本发明提出一种人脸图像质量评估方法、系 统、设备和介质，主要解决传统质量评估方法在处理大人流量的数据是处理速度 慢的问题。
为了实现上述目的及其他目的，本发明采用的技术方案如下。
一种人脸图像质量评估方法，包括：
人脸图像对应的人脸总分在预设的阈值范围内时，根据获得的各人脸质量评 估模型得到的分数，输出人脸图像质量评估结果。
可选地，人脸图像对应的人脸总分超出所述预设的阈值范围时，根据所述人 脸总分输出人脸图像质量评估结果。
可选地，预先根据人脸总分质量评估模型获取所述人脸图像对应的人脸总分。
可选地，所述人脸总分质量评估模型对预先标注的人脸图像特征区域进行识 别，输出人脸总分。
可选地，对于同一目标对象的多帧图像，按照确定的帧间隔数，确定待评估 目标帧；
通过所述人脸质量评估模型，对所述待评估目标帧包含的所述目标对象的人 脸图像进行质量评估。
可选地，确定帧间隔数的过程为：
设置初始帧间隔数，并根据所述初始帧间隔数获取同一目标对象的间隔帧； 获取所述间隔帧中同一目标对象的人脸图像质量分误差；判断所述质量分误差是 否在设置的允许范围内；
若超出所述允许范围，则调整所述初始帧间隔数，直至所述质量分误差在所 述允许范围内。
可选地，所述人脸质量评估模型至少包括：
人脸总分质量评估模型、人脸关键点质量评估模型、人脸清晰度质量评估模 型、人脸角度质量评估模型、人脸亮度质量评估模型。
可选地，根据图像质量参数预设范围确定所述阈值范围：
若所述人脸总分小于所述预设范围的下界，则将所述人脸总分作为所述阈值 范围的下界；
若所述人脸总分大于所述预设范围的上界，则将所述人脸总分作为所述阈值 范围的上界。
可选地，所述图像质量参数包括以下至少之一：图像亮度值、图像灰度值、 图像清晰度值。
可选地，当所述人脸总分大于所述阈值范围的上界时，获取所述人脸总分加 上预设常数后与所有人脸质量评估模型综合分数的误差，判断所述误差是否小于 所述预设常数，若是，则将所述人脸总分加上所述预设常数用于更新所述阈值范 围的上界。
可选地，将各人脸质量评估模型的分数进行加权处理，获取所述综合分数。
一种人脸图像质量评估系统，包括：
质量评估模块，用于人脸图像对应的人脸总分在预设的阈值范围内时，根据 获得的各人脸质量评估模型得到的分数，输出人脸图像质量评估结果。
可选地，人脸图像对应的人脸总分超出所述预设的阈值范围时，根据所述人 脸总分输出人脸图像质量评估结果。
可选地，包括总分评估模块，用于预先根据人脸总分质量评估模型获取所述 人脸图像对应的人脸总分。
可选地，所述人脸总分质量评估模型对预先标注的人脸图像特征区域进行识 别，输出人脸总分。
可选地，包括间隔评估模块，用于对于同一目标对象的多帧图像，按照确定 的帧间隔数，确定待评估目标帧；
通过所述人脸质量评估模型，对所述待评估目标帧包含的所述目标对象的人 脸图像进行质量评估。
可选地，确定帧间隔数的过程为：
设置初始帧间隔数，并根据所述初始帧间隔数获取同一目标对象的间隔帧； 获取所述间隔帧中同一目标对象的人脸图像质量分误差；判断所述质量分误差是 否在设置的允许范围内；
若超出所述允许范围，则调整所述初始帧间隔数，直至所述质量分误差在所 述允许范围内。
可选地，所述人脸质量评估模型至少包括：
人脸总分质量评估模型、人脸关键点质量评估模型、人脸清晰度质量评估模 型、人脸角度质量评估模型、人脸亮度质量评估模型。
可选地，所述预设的阈值范围的确定过程为：
根据图像质量参数预设范围确定所述阈值范围：
若所述人脸总分小于所述预设范围的下界，则将所述人脸总分作为所述阈值 范围的下界；
若所述人脸总分大于所述预设范围的上界，则将所述人脸总分作为所述阈值 范围的上界。
可选地，所述图像质量参数包括以下至少之一：图像亮度值、图像灰度值、 图像清晰度值。
可选地，包括阈值更新模块，用于当所述人脸总分大于所述阈值范围的上界 时，获取所述人脸总分加上预设常数后与所有人脸质量评估模型综合分数的误差， 判断所述误差是否小于所述预设常数，若是，则将所述人脸总分加上所述预设常 数用于更新所述阈值范围的上界。
可选地，包括综合评分模块，用于将各人脸质量评估模型的分数进行加权处 理，获取所述综合分数。
一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行 时，使得所述设备执行所述的人脸图像质量评估方法。
一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时， 使得设备执行所述的人脸图像质量评估方法。
如上所述，本发明一种人脸图像质量评估方法、系统、介质和设备，具有以 下有益效果。
通过人脸总分评估人脸图像质量，减少不必要的模型评估计算，降低CPU 的使用率，提高质量评估效率。
附图说明
图1为本发明一实施例中人脸图像质量评估方法的流程图。
图2为本发明一实施例中人脸图像质量评估系统的模块图。
图3为本发明一实施例中终端设备的结构示意图。
图4为本发明另一实施例中终端设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说 明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外 不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观 点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不 冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本 构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、 形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变， 且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种人脸图像质量评估方法，包括人脸图像对应的 人脸总分在预设的阈值范围内时，根据获得的各人脸质量评估模型得到的分数， 输出人脸图像质量评估结果。
在一实施例中，可预先训练多种人脸质量评估模型，其中人脸质量评估模型 至少包括人脸总分质量评估模型、人脸关键点质量评估模型、人脸清晰度质量评 估模型、人脸角度质量评估模型、人脸亮度质量评估模型。根据各人脸质量评估 模型分别对人脸图像进行质量评分。
具体地，在训练人脸总分评分模型时，可预先对训练样本图像的进行人脸标 注，并对标注后的人脸图像特征区域采用人脸识别算法进行识别，如可将人脸图 像特征区域与标准人脸模板进行比对，判断特征区域关键特征点的清晰度、特征 区域的模糊度、亮度等，输出人脸总分。经过大量样本图像训练的到人脸总分评 估模型。其中，人脸识别算法可采用深度神经网络算法、基于特征的人脸识别算 法、基于模板的人脸识别算法等。
针对人脸关键特征点进行质量评分时，可通过深度卷积神经网络建立关键点 评分模型，分别针对眼睛、眉毛、鼻子、嘴巴等人脸特征进行检测并打分，对各 关键特征点的分数进行加权平均，获取关键点评分模型的评分结果。
在进行清晰度评分时，可通过常规的灰度方差算法(SMD)、能量梯度算法、 拉普拉斯算法等清晰度计算方法训练清晰度评分模型，以拉普拉斯算法为例，通 过拉普拉斯算子与人脸图像中的像素点进行卷积，分别提取人脸图像水平和垂直 方向的梯度值，当人脸图像中较暗区域出现一个亮点时，通过拉普拉斯算子可使 连点变得更亮，通过计算出的亮点数及亮点区域大小对清晰度进行评分，获取清 晰度评分模型的评分结果。其中，拉普拉斯算子可表示如下。
0 1 0
1 -4 1
0 1 0
在进行角度评分时，可构建训练样本集，样本集中分别包含对应人脸的正面 图像和侧面图像，通过BP神经网络等常规的神经网络算法，以正面图像和侧面 图像角度的偏差构建误差函数，进行模型训练，获取角度评分模型，误差函数值 越小，角度评分越高。
在进行亮度评分时，可通过灰度直方图法将人脸图像中所有像素按照灰度大 小统计其出现的频率，可设置灰度范围为80-200，统计这一灰度级范围内的像素 出现的频率，并根据统计频率对人脸图像亮度进行打分，频率越高，亮度评分则 越高。
得到各人脸质量评估模型后，可预先只通过人脸总分质量评估模型对视频流 中人脸进行评分，得到人脸总分。
在一实施例中，可设置人脸总分阈值范围，具体地，可通过图像质量参数评 估人脸总分阈值范围的上/下界。其中图像质量参数可包括图像亮度值、图像灰 度值、图像清晰度值等。图像质量参数可分别采用对应的识别算法如灰度均值归 一化方法等得到。可预先获取图像质量参数的预设范围，当人脸总分小于预设范 围的下界时，则判定人脸图像质量差，将预设范围的下界作为人脸总分阈值范围 的下界；当人脸总分大于预设范围上界时，则判定人脸图像质量好，并将预设范 围上界作为人脸总分阈值范围的上界。在另一实施例中，也可预先通过各人脸质 量评估模型统计样本图像的综合分数，具体的，可设置各人脸质量评估模型的权 重，采用加权平均获取各人脸质量评估模型的综合评分。并设置综合分数的取值 范围，以区分质量好的图像和质量差的图像，当样本图像人脸总分小于综合分数的下界时，图像质量差，直接将综合分数的下界作为人脸总分阈值范围的下界； 当样本图像人脸总分大于综合分数的上界时，图像质量好，直接将综合分数的上 界作为人脸总分阈值范围的上界。
具体的阈值范围取值及确定方法可根据实际应用场景进行灵活选择。
在一实施例中，在实际应用中，当人脸总分大于阈值范围的上界时，可将人 脸总分加上一预设的常数，计算各人脸质量评估模型的综合分数与加上预设常数 后的人脸总分之间的误差，若误差小于该预设常数的置信度为95％，则将人脸总 分与预设常数之和作为阈值范围的上界，更新人脸总分的阈值范围上界。
在一实施例中，当待评估的人脸图像的人脸总分超出设定的阈值范围时，可 将人脸总分作为人脸质量评估结果，筛除低于阈值范围下界的人脸图像或选出高 于阈值范围上界的优质人脸图像。
当待评估的人脸图像的人脸总分在阈值范围内时，将可将各人脸质量评估模 型的分数进行加权平均得到的结果作为待评估人脸图像的质量评估结果。
在一实施例中，在对抓拍的视频流进行人脸质量评估时，可根据人脸ID追 踪连续多帧图像中同一人的人脸。按照确定的帧间隔数，从同一人的多帧人脸中 确定待评估的多个目标帧图像。仅对按照确定帧间隔获取的多帧人脸图像进行人 脸质量评估，以提高人脸质量评估速度。
在一实施例中，帧间隔的确定可包括以下步骤：
设置初始帧间隔数，并根据所述初始帧间隔数获取同一目标对象的间隔帧； 获取所述间隔帧中同一目标对象的人脸图像质量分误差；判断所述质量分误差是 否在设置的允许范围内；
若超出所述允许范围，则调整所述初始帧间隔数，直至所述质量分误差在所 述允许范围内。具体地，可设同一人的连续帧图像为7帧，初始帧间隔为2，即 每隔两帧获取同一人的人脸帧图像按前述步骤进行人脸质量评估。计算得到的第 一帧、第四帧及第七帧图像的质量分之间的误差，设误差允许范围为[-0.1,0.1]， 则统计置信度为95％的情况下，3帧图像的质量分的误差是否落在允许范围内， 若在允许范围内，则可按照初始帧间隔获取同一人的间隔帧图像进行质量评分； 若超出所述允许范围，则缩小帧间隔，重新计算误差，直到误差落入允许范围内。
请参阅图2，本实施例提供了一种人脸图像质量评估系统，用于执行前述方 法实施例中所述的人脸图像质量评估方法。由于系统实施例的技术原理与前述方 法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
在一实施例中，一种人脸图像质量评估系统，包括：质量评估模块，用于人 脸图像对应的人脸总分在预设的阈值范围内时，根据获得的各人脸质量评估模型 得到的分数，输出人脸图像质量评估结果。
可选地，人脸图像对应的人脸总分超出所述预设的阈值范围时，根据所述人 脸总分输出人脸图像质量评估结果。
可选地，包括总分评估模块，用于预先根据人脸总分质量评估模型获取所述 人脸图像对应的人脸总分。
可选地，所述人脸总分质量评估模型对预先标注的人脸图像特征区域进行识 别，输出人脸总分。
可选地，包括间隔评估模块，用于对于同一目标对象的多帧图像，按照确定 的帧间隔数，确定待评估目标帧；
通过所述人脸质量评估模型，对所述待评估目标帧包含的所述目标对象的人 脸图像进行质量评估。
可选地，确定帧间隔数的过程为：
设置初始帧间隔数，并根据所述初始帧间隔数获取同一目标对象的间隔帧； 获取所述间隔帧中同一目标对象的人脸图像质量分误差；判断所述质量分误差是 否在设置的允许范围内；
若超出所述允许范围，则调整所述初始帧间隔数，直至所述质量分误差在所 述允许范围内。
可选地，所述人脸质量评估模型至少包括：
人脸总分质量评估模型、人脸关键点质量评估模型、人脸清晰度质量评估模 型、人脸角度质量评估模型、人脸亮度质量评估模型。
可选地，所述预设的阈值范围的确定过程为：
根据图像质量参数预设范围确定所述阈值范围：
若所述人脸总分小于所述预设范围的下界，则将所述人脸总分作为所述阈值 范围的下界；
若所述人脸总分大于所述预设范围的上界，则将所述人脸总分作为所述阈值 范围的上界。
可选地，所述图像质量参数包括以下至少之一：图像亮度值、图像灰度值、 图像清晰度值。
可选地，包括阈值更新模块，用于当所述人脸总分大于所述阈值范围的上界 时，获取所述人脸总分加上预设常数后与所有人脸质量评估模型综合分数的误差， 判断所述误差是否小于所述预设常数，若是，则将所述人脸总分加上所述预设常 数用于更新所述阈值范围的上界。
可选地，包括综合评分模块，用于将各人脸质量评估模型的分数进行加权处 理，获取所述综合分数。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和 其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时， 使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备， 也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅 读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算 机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加 以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一 个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备 执行本申请实施例的图1中人脸图像质量评估方法所包含步骤的指令 (instructions)。
图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终 端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储 器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连 接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储 NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于 完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit， 简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设 备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制 器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到 上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用 户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至 少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传 输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例 如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的 控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸 感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可 编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口 或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各 模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图4为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对 图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包 括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述 实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。 这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如 消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例 如至少一个磁盘存储器。
可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括： 通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出 接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设 定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个 或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步 骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他 组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组 件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电 源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关 联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。 在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示 屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触 摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述 触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动 操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包 括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被 配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器 1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个 扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述 外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启 动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的 状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件 的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括 接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检 测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括 摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通 信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们 的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽 用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建 立通信。
由上可知，在图4实施例中所涉及的通信组件1203、语音组件1206以及输 入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现 方式。
综上所述，本发明一种人脸图像质量评估方法、系统、设备和介质，在超出 人脸总分阈值范围时，选择人脸总分作为影响因子，简化评分过程的同时，提高 评分效率；通过各人脸质量评分模型调整人脸总分阈值并通过误差估计人脸总分 阈值，可保障较优的图像具有较高的质量分数的同时，保证得到的质量分数在可 接受的误差范围内；通过设置帧间隔减少参与质量评估的图像数据，可极大减少 人脸质量评估耗时。所以，本发明有效克服了现有技术中的种种缺点而具高度产 业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任 何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修 饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的 精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵 盖。

Claims (24)

1.一种人脸图像质量评估方法，其特征在于，包括：
人脸图像对应的人脸总分在预设的阈值范围内时，根据获得的各人脸质量评估模型得到的分数，输出人脸图像质量评估结果。
2.根据权利要求1所述的人脸图像质量评估方法，其特征在于，
人脸图像对应的人脸总分超出所述预设的阈值范围时，根据所述人脸总分输出人脸图像质量评估结果。
3.根据权利要求1所述的人脸图像质量评估方法，其特征在于，预先根据人脸总分质量评估模型获取所述人脸图像对应的人脸总分。
4.根据权利要求3所述的人脸图像质量评估方法，其特征在于，所述人脸总分质量评估模型对预先标注的人脸图像特征区域进行识别，输出人脸总分。
5.根据权利要求1所述的人脸图像质量评估方法，其特征在于，
对于同一目标对象的多帧图像，按照确定的帧间隔数，确定待评估目标帧；
通过所述人脸质量评估模型，对所述待评估目标帧包含的所述目标对象的人脸图像进行质量评估。
6.根据权利要求5所述的人脸图像质量评估方法，其特征在于，确定帧间隔数的过程为：
设置初始帧间隔数，并根据所述初始帧间隔数获取同一目标对象的间隔帧；获取所述间隔帧中同一目标对象的人脸图像质量分误差；判断所述质量分误差是否在设置的允许范围内；
若超出所述允许范围，则调整所述初始帧间隔数，直至所述质量分误差在所述允许范围内。
7.根据权利要求1所述的人脸图像质量评估方法，其特征在于，所述人脸质量评估模型至少包括：
人脸总分质量评估模型、人脸关键点质量评估模型、人脸清晰度质量评估模型、人脸角度质量评估模型、人脸亮度质量评估模型。
8.根据权利要求7所述的人脸图像质量评估方法，其特征在于，
根据图像质量参数预设范围确定所述阈值范围：
若所述人脸总分小于所述预设范围的下界，则将所述人脸总分作为所述阈值范围的下界；
若所述人脸总分大于所述预设范围的上界，则将所述人脸总分作为所述阈值范围的上界。
9.根据权利要求8所述的人脸图像质量评估方法，其特征在于，所述图像质量参数包括以下至少之一：图像亮度值、图像灰度值、图像清晰度值。
10.根据权利要求8所述的人脸图像质量评估方法，其特征在于，当所述人脸总分大于所述阈值范围的上界时，获取所述人脸总分加上预设常数后与所有人脸质量评估模型综合分数的误差，判断所述误差是否小于所述预设常数，若是，则将所述人脸总分加上所述预设常数用于更新所述阈值范围的上界。
11.根据权利要求10所述的人脸图像质量评估方法，其特征在于，将各人脸质量评估模型的分数进行加权处理，获取所述综合分数。
12.一种人脸图像质量评估系统，其特征在于，包括：
质量评估模块，用于人脸图像对应的人脸总分在预设的阈值范围内时，根据获得的各人脸质量评估模型得到的分数，输出人脸图像质量评估结果。
13.根据权利要求12所述的人脸图像质量评估系统，其特征在于，
人脸图像对应的人脸总分超出所述预设的阈值范围时，根据所述人脸总分输出人脸图像质量评估结果。
14.根据权利要求12所述的人脸图像质量评估系统，其特征在于，包括总分评估模块，用于预先根据人脸总分质量评估模型获取所述人脸图像对应的人脸总分。
15.根据权利要求14所述的人脸图像质量评估系统，其特征在于，所述人脸总分质量评估模型对预先标注的人脸图像特征区域进行识别，输出人脸总分。
16.根据权利要求12所述的人脸图像质量评估系统，其特征在于，包括间隔评估模块，用于对于同一目标对象的多帧图像，按照确定的帧间隔数，确定待评估目标帧；
通过所述人脸质量评估模型，对所述待评估目标帧包含的所述目标对象的人脸图像进行质量评估。
17.根据权利要求16所述的人脸图像质量评估系统，其特征在于，确定帧间隔数的过程为：
设置初始帧间隔数，并根据所述初始帧间隔数获取同一目标对象的间隔帧；获取所述间隔帧中同一目标对象的人脸图像质量分误差；判断所述质量分误差是否在设置的允许范围内；
若超出所述允许范围，则调整所述初始帧间隔数，直至所述质量分误差在所述允许范围内。
18.根据权利要求12所述的人脸图像质量评估系统，其特征在于，所述人脸质量评估模型至少包括：
人脸总分质量评估模型、人脸关键点质量评估模型、人脸清晰度质量评估模型、人脸角度质量评估模型、人脸亮度质量评估模型。
19.根据权利要求18所述的人脸图像质量评估系统，其特征在于，所述预设的阈值范围的确定过程为：
根据图像质量参数预设范围确定所述阈值范围：
若所述人脸总分小于所述预设范围的下界，则将所述人脸总分作为所述阈值范围的下界；
若所述人脸总分大于所述预设范围的上界，则将所述人脸总分作为所述阈值范围的上界。
20.根据权利要求19所述的人脸图像质量评估系统，其特征在于，所述图像质量参数包括以下至少之一：图像亮度值、图像灰度值、图像清晰度值。
21.根据权利要求19所述的人脸图像质量评估系统，其特征在于，包括阈值更新模块，用于当所述人脸总分大于所述阈值范围的上界时，获取所述人脸总分加上预设常数后与所有人脸质量评估模型综合分数的误差，判断所述误差是否小于所述预设常数，若是，则将所述人脸总分加上所述预设常数用于更新所述阈值范围的上界。
22.根据权利要求21所述的人脸图像质量评估系统，其特征在于，包括综合评分模块，用于将各人脸质量评估模型的分数进行加权处理，获取所述综合分数。
23.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-11中一个或多个所述的方法。
24.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-11中一个或多个所述的方法。
CN202010554425.2A 2020-06-17 2020-06-17 一种人脸图像质量评估方法、系统、设备和介质 Pending CN111814840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554425.2A CN111814840A (zh) 2020-06-17 2020-06-17 一种人脸图像质量评估方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554425.2A CN111814840A (zh) 2020-06-17 2020-06-17 一种人脸图像质量评估方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN111814840A true CN111814840A (zh) 2020-10-23

Family

ID=72844731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554425.2A Pending CN111814840A (zh) 2020-06-17 2020-06-17 一种人脸图像质量评估方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN111814840A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822171A (zh) * 2021-08-31 2021-12-21 苏州中科先进技术研究院有限公司 一种宠物颜值评分方法、装置、存储介质及设备
CN116432152A (zh) * 2023-04-18 2023-07-14 山东广电信通网络运营有限公司 一种跨平台协同制作系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140254680A1 (en) * 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US20190172494A1 (en) * 2013-05-28 2019-06-06 Apple Inc. Reference and non-reference video quality evaluation
CN110097001A (zh) * 2019-04-30 2019-08-06 恒睿(重庆)人工智能技术研究院有限公司 生成最佳多人脸图像的方法、系统、设备及存储介质
CN110751043A (zh) * 2019-09-19 2020-02-04 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、装置及存储介质
CN110837750A (zh) * 2018-08-15 2020-02-25 华为技术有限公司 一种人脸质量评价方法与装置
CN110874547A (zh) * 2018-08-30 2020-03-10 富士通株式会社 从视频中识别对象的方法和设备
CN110996169A (zh) * 2019-07-12 2020-04-10 北京达佳互联信息技术有限公司 剪辑视频的方法、装置、电子设备及计算机可读存储介质
CN111241925A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 人脸质量评定方法、系统、电子设备及可读存储介质
CN111241927A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 级联式人脸图像优选方法、系统、设备及可读存储介质
CN111275683A (zh) * 2020-01-20 2020-06-12 上海云从汇临人工智能科技有限公司 图像质量评分处理方法、系统、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140254680A1 (en) * 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US20190172494A1 (en) * 2013-05-28 2019-06-06 Apple Inc. Reference and non-reference video quality evaluation
CN110837750A (zh) * 2018-08-15 2020-02-25 华为技术有限公司 一种人脸质量评价方法与装置
CN110874547A (zh) * 2018-08-30 2020-03-10 富士通株式会社 从视频中识别对象的方法和设备
CN110097001A (zh) * 2019-04-30 2019-08-06 恒睿(重庆)人工智能技术研究院有限公司 生成最佳多人脸图像的方法、系统、设备及存储介质
CN110996169A (zh) * 2019-07-12 2020-04-10 北京达佳互联信息技术有限公司 剪辑视频的方法、装置、电子设备及计算机可读存储介质
CN110751043A (zh) * 2019-09-19 2020-02-04 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、装置及存储介质
CN111241925A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 人脸质量评定方法、系统、电子设备及可读存储介质
CN111241927A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 级联式人脸图像优选方法、系统、设备及可读存储介质
CN111275683A (zh) * 2020-01-20 2020-06-12 上海云从汇临人工智能科技有限公司 图像质量评分处理方法、系统、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AYMAN ABAZA 等: "Quality Metrics for Practical Face Recognition", 《21ST INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR 2012)》 *
KAMAL NASROLLAHI 等: "Face Quality Assessment System in Video Sequences", 《BIOID 2008: BIOMETRICS AND IDENTITY MANAGEMENT》 *
尹思璐 等: "级联型多测度可见光虹膜图像质量评价方法", 《微处理机》 *
邹国锋 等: "融合二级评价指标的人脸图像质量评价方法", 《山东大学学报（工学版）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822171A (zh) * 2021-08-31 2021-12-21 苏州中科先进技术研究院有限公司 一种宠物颜值评分方法、装置、存储介质及设备
CN116432152A (zh) * 2023-04-18 2023-07-14 山东广电信通网络运营有限公司 一种跨平台协同制作系统

Similar Documents

Publication Publication Date Title
CN111260665B (zh) 图像分割模型训练方法和装置
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
CN107844781A (zh) 人脸属性识别方法及装置、电子设备及存储介质
CN109120854B (zh) 图像处理方法、装置、电子设备及存储介质
CN113903317B (zh) 电子设备的屏幕亮度调节方法、装置以及电子设备
CN107464253A (zh) 眉毛定位方法及装置
CN112333385B (zh) 电子防抖控制方法及装置
CN112580472A (zh) 一种快速轻量的人脸识别方法、装置、机器可读介质及设备
CN103869977B (zh) 图像显示方法、装置和电子设备
CN111814840A (zh) 一种人脸图像质量评估方法、系统、设备和介质
CN111914693A (zh) 一种人脸姿态调整方法、系统、装置、设备及介质
CN112541400A (zh) 基于视线估计的行为识别方法及装置、电子设备、存储介质
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN117593493A (zh) 三维脸部拟合方法、装置、电子设备及存储介质
CN109241942B (zh) 图像处理方法、装置、人脸识别设备及存储介质
CN111080589A (zh) 目标对象匹配方法、系统、设备及机器可读介质
CN113286082B (zh) 目标对象跟踪方法、装置、电子设备及存储介质
CN112417197B (zh) 一种排序方法、装置、机器可读介质及设备
CN114466140A (zh) 图像拍摄方法及装置
CN111079662A (zh) 一种人物识别方法、装置、机器可读介质及设备
CN116088580B (zh) 一种飞行物体跟踪方法及装置
CN116744102B (zh) 一种基于反馈调节的球机跟踪方法及装置
CN110489689B (zh) 一种页面内容更新方法、装置、电子设备及存储介质
CN112989890B (zh) 图像检测方法、装置及存储介质
CN115984333B (zh) 一种飞机目标平滑跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination