CN109670473A - 基于人脸抓图的优选方法及装置 - Google Patents

基于人脸抓图的优选方法及装置 Download PDF

Info

Publication number
CN109670473A
CN109670473A CN201811622304.6A CN201811622304A CN109670473A CN 109670473 A CN109670473 A CN 109670473A CN 201811622304 A CN201811622304 A CN 201811622304A CN 109670473 A CN109670473 A CN 109670473A
Authority
CN
China
Prior art keywords
face
score value
grabgraf
score
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811622304.6A
Other languages
English (en)
Inventor
魏园波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Intelligent Technology Co Ltd
Original Assignee
Shenzhen Infinova Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Intelligent Technology Co Ltd filed Critical Shenzhen Infinova Intelligent Technology Co Ltd
Priority to CN201811622304.6A priority Critical patent/CN109670473A/zh
Publication of CN109670473A publication Critical patent/CN109670473A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供了一种基于人脸抓图的优选方法及装置，通过选定七个维度的多种方案对人脸抓图图片进行客观排序打分，最终通过对七个维度的打分加权后形成策略组合，从而客观的实现对每个人的多个人脸抓图进行筛选，最终给出最优的人脸图片以供保存。

Description

基于人脸抓图的优选方法及装置
技术领域
本发明涉及一种数据处理方法，尤其是指一种基于人脸抓图的优选方法及装置。
背景技术
随着信息技术不断推广与发展，人脸识别技术的应用也在全面铺开，为我国平安城市的创建中起到积极的作用。人脸识别实现了对进出人员人脸的抓拍采集、建模存储，实时黑名单比对报警和人脸大库检索等功能，人脸识别系统主要采用人脸检测算法、人脸跟踪算法、人脸优选算法以及人脸识别算法。在检测和追踪到目标的整个生命周期中，选取哪一张人脸图片提交给系统识别？这是一个值得关注的问题，人脸优选算法在人脸识别之前，优选算法的好坏直接影响到人脸识别的效果。
众所周知，监控视频是由一些列的单帧图像组成，当行人在监控画面中从出现到消失的过程，人脸可能出现在画面中的不同位置，假设人脸检测和跟踪正常工作，同一个目标在画面中的人脸位置就能够清晰捕捉到，如果将同一人的多张人脸图片存储、上传识别服务器，一来浪费存储空间，二来对识别服务器带来较大压力，如何做到一个目标只输出一张最优的人脸图片一直是业内关注的重点。
发明内容
本发明所要解决的技术问题是：
为了解决上述技术问题，本发明采用的技术方案为：一种基于人脸抓图的优选方法，包括打分流程及优选流程；
所述打分流程包括：
判别人脸抓图中人脸的位置，按远近依次给与最低至最高的人脸位置分值的步骤；
提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值的步骤；
计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值的步骤；
提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值的步骤；
提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值的步骤；
根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值的步骤；
对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由大到小的人脸质量分值的步骤；
所述优选流程包括：
将打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
上述中，所述打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选流程中加权求和的人脸位置分值权重0.19、人脸亮度分值权重0.19、人脸大小分值权重0.01、人脸角度分值权重0.1、增益分值权重0.01、人脸速度分值权重0.01、人脸质量分值权重0.19。
本发明还涉及一种基于人脸抓图的优选方法，包括打分流程及优选流程；
所述打分流程包括：
判别人脸抓图中人脸在画面的位置，位置靠近画面中间至两侧给与最高至最低的人脸位置分值的步骤；
提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值的步骤；
计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值的步骤；
提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值的步骤；
提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值的步骤；
根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值的步骤；
对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由小到大的人脸质量分值的步骤；
所述优选流程包括：
将打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
上述中，所述打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选流程中加权求和的人脸位置分值权重0.01、人脸亮度分值权重0.01、人脸大小分值权重0.19、人脸角度分值权重0.1、增益分值权重0.19、人脸速度分值权重0.19、人脸质量分值权重0.01。
上述中，所述人脸特征包括人脸特征眉毛、眼睛、嘴巴、耳朵、鼻子。
本发明还提供了一种基于人脸抓图的优选装置，包括打分模块及优选模块；
所述打分模块包括：
人脸位置打分单元，用于判别人脸抓图中人脸的位置，按远近依次给与最低至最高的人脸位置分值；
人脸亮度打分单元，用于提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值；
人脸大小打分单元，用于计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值；
人脸角度打分单元，用于提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值；
增益打分单元，用于提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值；
人脸速度打分单元，用于根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值；
人脸质量打分单元，用于对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由大到小的人脸质量分值；
所述优选模块，用于将打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
上述中，所述打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选模块中加权求和的人脸位置分值权重0.19、人脸亮度分值权重0.19、人脸大小分值权重0.01、人脸角度分值权重0.1、增益分值权重0.01、人脸速度分值权重0.01、人脸质量分值权重0.19。
本发明还提供了一种基于人脸抓图的优选装置，包括打分模块及优选模块；
所述打分模块包括：
人脸位置打分单元，用于判别人脸抓图中人脸在画面的位置，位置靠近画面中间至两侧给与最高至最低的人脸位置分值；
人脸亮度打分单元，用于提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值；
人脸大小打分单元，用于计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值；
人脸角度打分单元，用于提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值；
增益打分单元，用于提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值；
人脸速度打分单元，用于根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值；
人脸质量打分单元，用于对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由小到大的人脸质量分值；
所述优选模块，用于将打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
上述中，所述打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选模块中加权求和的人脸位置分值权重0.01、人脸亮度分值权重0.01、人脸大小分值权重0.19、人脸角度分值权重0.1、增益分值权重0.19、人脸速度分值权重0.19、人脸质量分值权重0.01。
上述中，所述人脸特征包括人脸特征眉毛、眼睛、嘴巴、耳朵、鼻子。
本发明的有益效果在于：七个维度的多种方案对人脸抓图图片进行客观排序打分，最终通过对七个维度的打分加权后形成策略组合，从而客观的实现对每个人的多个人脸抓图进行筛选，最终给出最优的人脸图片以供保存。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的方法流程图；
图2为本发明的实施示例1中的监控视频图像示意图；
图3为本发明的实施示例2中人脸速度分析时监控视频图像示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
人脸抓图通常在监控领域得以应用，只要监控系统中人脸检测和跟踪正常工作，人脸出现在监控画面中，系统能够通过拍摄的视频流，正确捕捉到每一帧画面中的人脸位置，进一步经人脸检测、人脸跟踪后提取得到人脸抓图。
为了对每个人的多张人脸抓图进行数据简化，优选效果相对好的一张保存，本发明提供了一种基于人脸抓图的优选方法，该方法特别适用于白天的人脸优选，请参阅图1，包括打分流程及优选流程；
所述打分流程包括：
判别人脸抓图中人脸的位置，按远近依次给与最低至最高的人脸位置分值的步骤；
提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值的步骤；
计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值的步骤；
提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值的步骤；
提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值的步骤；
根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值的步骤；
对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由大到小的人脸质量分值的步骤；
对应本案例更适于白天人脸检测，这里，当二次模糊前后人脸抓图的差异值越大说明细节越丰富，因此该图的得分越高、
所述优选流程包括：
将打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
从上述描述可知，本发明的有益效果在于：七个维度的多种方案对人脸抓图图片进行客观排序打分，最终通过对七个维度的打分加权后形成策略组合，从而客观的实现对每个人的多个人脸抓图进行筛选，最终给出最优的人脸图片以供保存。
实施例1
上述中，所述打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选流程中加权求和的人脸位置分值权重0.19、人脸亮度分值权重0.19、人脸大小分值权重0.01、人脸角度分值权重0.1、增益分值权重0.01、人脸速度分值权重0.01、人脸质量分值权重0.19。
需要说明的是，上述给出的值只是一个实施例举例，实际情况可根据应用需求进行调整。
本发明还涉及一种基于人脸抓图的优选方法，包括打分流程及优选流程；
所述打分流程包括：
判别人脸抓图中人脸在画面的位置，位置靠近画面中间至两侧给与最高至最低的人脸位置分值的步骤；
提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值的步骤；
计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值的步骤；
提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值的步骤；
提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值的步骤；
根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值的步骤；
对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由小到大的人脸质量分值的步骤；
所述优选流程包括：
将打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
从上述描述可知，本发明的有益效果在于：七个维度的多种方案对人脸抓图图片进行客观排序打分，最终通过对七个维度的打分加权后形成策略组合，从而客观的实现对每个人的多个人脸抓图进行筛选，最终给出最优的人脸图片以供保存。
实施例2
上述中，所述打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选流程中加权求和的人脸位置分值权重0.01、人脸亮度分值权重0.01、人脸大小分值权重0.19、人脸角度分值权重0.1、增益分值权重0.19、人脸速度分值权重0.19、人脸质量分值权重0.01。
需要说明的是，上述给出的值只是一个实施例举例，实际情况可根据应用需求进行调整。
实施例3
在上述两个方案中，所述人脸特征包括人脸特征眉毛、眼睛、嘴巴、耳朵、鼻子。
选取五官作为人脸特征分辨正面与否，可大大简化画面比对处理的数据量，且精准度相对也较高。
实施示例1：
参见图2为监控视频图像示意，监控视频每帧图像宽高分别为width，height，目标从远至近走来，假设目标人脸左上坐标为(sx，sy),右下坐标为(ex,ey)。
本发明提供一种基于人脸抓图的优选方法的方案，打分流程从7个维度为人脸抓图打分(权重)：
1、人脸位置分值
此处，白天与夜间采用不同的人脸位置评分策略。
白天：白天光线较好，人脸位置越近越好，
假设ey＝0，score(人脸)＝0，ey＝height，score(人脸)＝100，
Score(人脸)＝100*ey/height；
夜间：夜间光线较差，人脸位置处在画面中间最好，较远目标太小，看不清，较近的时候，光源等影响，人脸泛白；
假设ey＝0和ey＝height时，score(人脸)＝0，ey＝height/2，score(人脸)＝100。
2、人脸亮度分值
从脸部提取的灰度图亮度均值(x)在127左右之间，建议脸部区域亮度均值为127为100分，0和255为0分，中间值按比例给分；
3、人脸大小分值
人脸大小与位置有关，理论上越大越易识别，同一目标抓拍多张，根据人脸面积＝(ex-sx)*(ey-sy)排序，人脸尺寸最大的给100分，人脸尺寸最小的给0分，其它尺寸按比例给分；
4、人脸角度分值
人脸角度是正面的时候，对于识别认知而言最好，所以正面的分数最高，侧面分数最低，人脸角度可通过对称性判断，人脸中眉毛、眼睛、嘴巴、耳朵、鼻子位置相对固定，可通过取人脸目标中线，在中线两侧寻找对于的眉毛、眼睛、嘴巴、耳朵、鼻子是否配对，如果配对成功，正面加分，配对不成功，侧面加分，然后根据正面得分排序，正面得分最高，人脸角度得100分，正面得分最低，人脸角度得0分，其他按比例给分；
5、增益分值：场景中有行人时，场景发生变化，增益会进行调整，增益大，噪点会多，图像质量下降，从设备端可以实时获取增益补偿系数；同一目标抓拍的时候，增益最小的图像得分为100分，增益最大的得分为0分，其它图像按比例给分；
白天光线较好，基本不需要增益补偿系数，此时的增益补偿系数是相同的，夜间增大增益补偿系数权重；
6、人脸速度分值
根据人脸在不同帧的位置关系，计算相邻帧的位移差，然后获取每个人脸图像的瞬时速度，
如图3中，face blob为同一个人脸在生命周期内出现的的位置，bx,by为目标中心点的坐标，
bx＝(sx+ex)/2 by＝(sy+ey)/2,
第i个人脸的瞬时速度为：
我们将每个人脸目标的瞬时速度计算出来排序，速度最快的得0分，速度最慢的得100分，其他按照排序情况给分；
7、人脸质量分值：
白天与夜间采用不同的人脸质量评分策略。
白天：采用2次模糊的方式，对比模糊前后图像的差异，给出评分。将所有人脸图像按照差异值排序，差异越大，说明图像细节越丰富，评分越高，差异越小，细节越少，评分越低，但只适用于白天
夜间：夜间有噪声干扰，图像噪声会误当作细节，所以夜间恰恰相反，差异越大，说明图像噪声越多，评分越低，差异越小，噪声越少，评分越高。
实施示例2：
如图3
1、人脸位置分值得分(s1)：人脸位置白天与夜间评分分开，
白天T(n)时刻人脸最大、光线充足，人脸最清晰s1得分最高，T(0)时刻s1得分最低；
夜间T(i)在by(i)离height/2最近的最清晰,此时s1得分最高，T(0)时刻目标小，光线不足，T(n)时刻因光源问题，会导致人脸面部过亮，所以也不清晰，此时人脸不利于识别，s1得分最低；
2、人脸大小分值得分(s2)：原则上人脸越大，像素越高，图像越好，S2得分越高；
3、人脸亮度分值得分(s3)：人脸亮度采用经验值，白天情况下约为127，此时s3得分最高，过亮过暗都不易人脸识别，s3得分低；
4、人脸角度分值得分(s4)：人脸正面时最好，易于人脸识别，侧面难度较大，所以正面分数s4最高；
5、增益分值得分(s5)：获取设备实时增益值，白天光线正常，基本不需要增益补偿，夜间增益参考价值较大，增益越高，图像噪声越大，图像质量越差，s5得分越低，增益值越小，s5得分越高；
6、人脸速度分值得分(s6)：人脸速度越小，图像越不容易发生运动模糊、拖影，s6得分越高
7、人脸质量分值得分(s7)：人脸图像评分白天越夜间分开，
白天，人脸模糊前后的差异越大，说明图像越清晰，s7得分越高；
夜间，由于光照不足，人脸模糊前后差异越大，说明噪点越多，s7得分越低。
白天和夜间的区分可以通过设备的时间，当然需要做时间同步，最直接的是通过获取设备增益判断，白天光线充足，增益补偿系数一般为1，当光线不足需要补偿时，增益补偿系数>1，可以作为白天与夜间的判断条件；
在同一个人脸的生命周期内(T(0),.......T(n))，每张人脸的最终加权得分为：
F＝a1*s1+a2*s2+a3*s3+a4*s4+a5*s5+a6*s6+a7*s7，a1.....a7为权重系数时，综合7个因素给出同一个人脸的生命周期内(F(0),.......F(n)),理论上7个因子的得分越高，该时刻的图像越好，越利于识别。当然得分最高的图像7个因子并不一定都是得分最高的，这里只是选一张综合得分最高的出来即可。
人脸抓图优选的最终目的是人脸识别，其中提到的7个因子得分，得分高的图片不论是是肉眼查看还是给到人脸识别服务器，都是相对较理想的，易于识别的，因果关系，没法证明，比如：人脸越大，理论上对识别越有利，人脸角度越正，识别起来肯定好于侧脸，人脸速度慢，运动拖影和模糊小，识别肯定好于速度较快的。设备增益补偿系数小，说明光线充足，光线充足下人脸特征丰富，增益补偿系数越大，图像噪声越多，所以，增益补偿系数小人脸识别肯定好于补偿系数大的情况；
加权举例：
不加权时：F＝0.1*s1+0.1*s2+0.1*s3+0.1*s4+0.1*s5+0.1*s6+0.1*s7
白天加权：F＝0.19*s1+0.19*s2+0.01*s3+0.1*s4+0.01*s5+0.01*s6+0.19*s7
夜间加权：F＝0.01*s1+0.01*s2+0.19*s3+0.1*s4+0.19*s5+0.19*s6+0.01*s7
根据白天、夜间人脸抓图的得分，选出加权得分最高的存贮，传给人脸识别服务器识别；
上面实施例中，白天人脸位置、大小、图像质量可信度更高，增大权重，白天设备增益系数基本一致，白天运动拖影模糊的影响较小，所以降低权重；
夜间人脸速度快，容易造成拖影、运动模糊，人脸亮度变化较大、设备增益补偿系数反应光照情况，对图像质量影响很大，因此提高权重，而夜间人脸大小、位置、以及人脸质量可信度低，降低权重；
本发明还提供了一种基于人脸抓图的优选装置，该方法特别适用于白天的人脸优选应用，包括打分模块及优选模块；
所述打分模块包括：
人脸位置打分单元，用于判别人脸抓图中人脸的位置，按远近依次给与最低至最高的人脸位置分值；
人脸亮度打分单元，用于提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值；
人脸大小打分单元，用于计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值；
人脸角度打分单元，用于提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值；
增益打分单元，用于提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值；
人脸速度打分单元，用于根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值；
人脸质量打分单元，用于对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由大到小的人脸质量分值；
所述优选模块，用于将打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
从上述描述可知，本发明的有益效果在于：七个维度的多种方案对人脸抓图图片进行客观排序打分，最终通过对七个维度的打分加权后形成策略组合，从而客观的实现对每个人的多个人脸抓图进行筛选，最终给出最优的人脸图片以供保存。
实施例4
上述中，所述打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选模块中加权求和的人脸位置分值权重0.19、人脸亮度分值权重0.19、人脸大小分值权重0.01、人脸角度分值权重0.1、增益分值权重0.01、人脸速度分值权重0.01、人脸质量分值权重0.19。
需要说明的是，上述给出的值只是一个实施例举例，实际情况可根据应用需求进行调整。
本发明还提供了一种基于人脸抓图的优选装置，该方法特别适用于晚上的人脸优选应用，包括打分模块及优选模块；
所述打分模块包括：
人脸位置打分单元，用于判别人脸抓图中人脸在画面的位置，位置靠近画面中间至两侧给与最高至最低的人脸位置分值；
人脸亮度打分单元，用于提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值；
人脸大小打分单元，用于计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值；
人脸角度打分单元，用于提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值；
增益打分单元，用于提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值；
人脸速度打分单元，用于根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值；
人脸质量打分单元，用于对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由小到大的人脸质量分值；
所述优选模块，用于将打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
从上述描述可知，本发明的有益效果在于：七个维度的多种方案对人脸抓图图片进行客观排序打分，最终通过对七个维度的打分加权后形成策略组合，从而客观的实现对每个人的多个人脸抓图进行筛选，最终给出最优的人脸图片以供保存。
实施例5
上述中，所述打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选模块中加权求和的人脸位置分值权重0.01、人脸亮度分值权重0.01、人脸大小分值权重0.19、人脸角度分值权重0.1、增益分值权重0.19、人脸速度分值权重0.19、人脸质量分值权重0.01。
需要说明的是，上述给出的值只是一个实施例举例，实际情况可根据应用需求进行调整。
实施例6
上述两个方案中，所述人脸特征包括人脸特征眉毛、眼睛、嘴巴、耳朵、鼻子。
选取五官作为人脸特征分辨正面与否，可大大简化画面比对处理的数据量，且精准度相对也较高。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人脸抓图的优选方法，其特征在于：包括打分流程及优选流程；
所述打分流程包括：
判别人脸抓图中人脸的位置，按远近依次给与最低至最高的人脸位置分值的步骤；
提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值的步骤；
计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值的步骤；
提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值的步骤；
提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值的步骤；
根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值的步骤；
对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由大到小的人脸质量分值的步骤；
所述优选流程包括：
将打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
2.如权利要求1所述的基于人脸抓图的优选方法，其特征在于：所述打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选流程中加权求和的人脸位置分值权重0.19、人脸亮度分值权重0.19、人脸大小分值权重0.01、人脸角度分值权重0.1、增益分值权重0.01、人脸速度分值权重0.01、人脸质量分值权重0.19。
3.一种基于人脸抓图的优选方法，其特征在于：包括打分流程及优选流程；
所述打分流程包括：
判别人脸抓图中人脸在画面的位置，位置靠近画面中间至两侧给与最高至最低的人脸位置分值的步骤；
提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值的步骤；
计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值的步骤；
提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值的步骤；
提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值的步骤；
根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值的步骤；
对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由小到大的人脸质量分值的步骤；
所述优选流程包括：
将打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
4.如权利要求3所述的基于人脸抓图的优选方法，其特征在于：所述打分流程中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选流程中加权求和的人脸位置分值权重0.01、人脸亮度分值权重0.01、人脸大小分值权重0.19、人脸角度分值权重0.1、增益分值权重0.19、人脸速度分值权重0.19、人脸质量分值权重0.01。
5.如权利要求1-4任意一项所述的基于人脸抓图的优选方法，其特征在于：所述人脸特征包括人脸特征眉毛、眼睛、嘴巴、耳朵、鼻子。
6.一种基于人脸抓图的优选装置，其特征在于：包括打分模块及优选模块；
所述打分模块包括：
人脸位置打分单元，用于判别人脸抓图中人脸的位置，按远近依次给与最低至最高的人脸位置分值；
人脸亮度打分单元，用于提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值；
人脸大小打分单元，用于计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值；
人脸角度打分单元，用于提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值；
增益打分单元，用于提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值；
人脸速度打分单元，用于根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值；
人脸质量打分单元，用于对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由大到小的人脸质量分值；
所述优选模块，用于将打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
7.如权利要求6所述的基于人脸抓图的优选装置，其特征在于：所述打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选模块中加权求和的人脸位置分值权重0.19、人脸亮度分值权重0.19、人脸大小分值权重0.01、人脸角度分值权重0.1、增益分值权重0.01、人脸速度分值权重0.01、人脸质量分值权重0.19。
8.一种基于人脸抓图的优选装置，其特征在于：包括打分模块及优选模块；
所述打分模块包括：
人脸位置打分单元，用于判别人脸抓图中人脸在画面的位置，位置靠近画面中间至两侧给与最高至最低的人脸位置分值；
人脸亮度打分单元，用于提取人脸抓图中人脸的灰度图亮度，计算灰度图亮度均值，按均值靠近亮度范围的中间值至两边基于最高至最低的人脸亮度分值；
人脸大小打分单元，用于计算人脸抓图中人脸的面积，根据人脸面积将人脸抓图排序，根据排序对应将人脸面积从大到小赋予从大到小的人脸大小分值；
人脸角度打分单元，用于提取人脸抓图中人脸的中线，判别中线两侧的人脸特征的配对性，配对成功则正面得分加1，配对失败则侧面得分加1，最后将正面得分的人脸抓图排序，按排序正面最高的人脸抓图赋予最高的人脸角度分值，其他按比例赋予人脸角度分值；
增益打分单元，用于提取人脸抓图对应的设备端增益补偿系数，按增益补偿系数从大到小赋予从小到大的增益分值；
人脸速度打分单元，用于根据不同帧人脸抓图中人脸的位置关系，计算相邻帧人脸抓图的位移差，然后获取每个人脸图像的瞬时速度，将人脸瞬时速度计算出来排序，按瞬时速度由快到慢赋予由小到大的人脸速度分值；
人脸质量打分单元，用于对人脸抓图进行二次模糊，而后对模糊前后人脸抓图的差异值进行排序，根据差异从大到小赋予由小到大的人脸质量分值；
所述优选模块，用于将打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值进行加权求和，而后对求和结果排序，输出求和结果最高对应的人脸抓图作为优选人脸抓图。
9.如权利要求8所述的基于人脸抓图的优选装置，其特征在于：所述打分模块中人脸位置分值、人脸亮度分值、人脸大小分值、人脸角度分值、增益分值、人脸速度分值和人脸质量分值的范围为0-100；
所述优选模块中加权求和的人脸位置分值权重0.01、人脸亮度分值权重0.01、人脸大小分值权重0.19、人脸角度分值权重0.1、增益分值权重0.19、人脸速度分值权重0.19、人脸质量分值权重0.01。
10.如权利要求6-9任意一项所述的基于人脸抓图的优选装置，其特征在于：所述人脸特征包括人脸特征眉毛、眼睛、嘴巴、耳朵、鼻子。
CN201811622304.6A 2018-12-28 2018-12-28 基于人脸抓图的优选方法及装置 Pending CN109670473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811622304.6A CN109670473A (zh) 2018-12-28 2018-12-28 基于人脸抓图的优选方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811622304.6A CN109670473A (zh) 2018-12-28 2018-12-28 基于人脸抓图的优选方法及装置

Publications (1)

Publication Number Publication Date
CN109670473A true CN109670473A (zh) 2019-04-23

Family

ID=66146504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811622304.6A Pending CN109670473A (zh) 2018-12-28 2018-12-28 基于人脸抓图的优选方法及装置

Country Status (1)

Country Link
CN (1) CN109670473A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652131A (zh) * 2020-06-02 2020-09-11 浙江大华技术股份有限公司 人脸识别装置及其补光方法、可读存储介质
CN113177917A (zh) * 2021-04-25 2021-07-27 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113536991A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 训练集生成、人脸图像处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202197300U (zh) * 2010-08-05 2012-04-18 北京海鑫智圣技术有限公司 移动人脸识别系统
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法
CN108921143A (zh) * 2018-08-22 2018-11-30 北京慕华信息科技有限公司 一种面部仪态的评估方法及装置
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202197300U (zh) * 2010-08-05 2012-04-18 北京海鑫智圣技术有限公司 移动人脸识别系统
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN108921143A (zh) * 2018-08-22 2018-11-30 北京慕华信息科技有限公司 一种面部仪态的评估方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652131A (zh) * 2020-06-02 2020-09-11 浙江大华技术股份有限公司 人脸识别装置及其补光方法、可读存储介质
CN113177917A (zh) * 2021-04-25 2021-07-27 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113177917B (zh) * 2021-04-25 2023-10-13 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质
CN113536991A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 训练集生成、人脸图像处理方法、装置及电子设备
CN113536991B (zh) * 2021-06-29 2023-06-23 北京百度网讯科技有限公司 训练集生成、人脸图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN104091176B (zh) 人像比对在视频中的应用技术
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN110837784B (zh) 一种基于人体头部特征的考场偷窥作弊检测系统
CN106128022B (zh) 一种智慧金睛识别暴力动作报警方法
CN109670473A (zh) 基于人脸抓图的优选方法及装置
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN104951773A (zh) 一种实时人脸识别监视系统
CN110309718A (zh) 一种电网作业人员安全帽佩戴检测方法
CN109887040A (zh) 面向视频监控的运动目标主动感知方法及系统
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
CN102542246A (zh) Atm机异常人脸检测方法
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN106210635A (zh) 一种智慧金睛识别移动过快报警方法和装置
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN107862240A (zh) 一种多摄像头协同的人脸追踪方法
CN110163135A (zh) 一种基于动态算法的一人一档人脸聚类的方法及系统
CN108764096A (zh) 一种行人重识别系统和方法
Ghidoni et al. Texture-based crowd detection and localisation
CN108764338A (zh) 一种应用于视频分析的行人跟踪算法
CN110427815A (zh) 实现门禁有效内容截取的视频处理方法及装置
CN108491857A (zh) 一种视域重叠的多摄像机目标匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423

RJ01 Rejection of invention patent application after publication