CN107977639A - 一种人脸清晰度判断方法 - Google Patents

一种人脸清晰度判断方法 Download PDF

Info

Publication number
CN107977639A
CN107977639A CN201711311445.1A CN201711311445A CN107977639A CN 107977639 A CN107977639 A CN 107977639A CN 201711311445 A CN201711311445 A CN 201711311445A CN 107977639 A CN107977639 A CN 107977639A
Authority
CN
China
Prior art keywords
face
image
carried out
judgment method
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711311445.1A
Other languages
English (en)
Other versions
CN107977639B (zh
Inventor
尚凌辉
鲍迪钧
王弘玥
张兆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jieshang Safety Equipment Co ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201711311445.1A priority Critical patent/CN107977639B/zh
Publication of CN107977639A publication Critical patent/CN107977639A/zh
Application granted granted Critical
Publication of CN107977639B publication Critical patent/CN107977639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T3/608—Skewing or deskewing, e.g. by two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明公开了一种人脸清晰度判断方法，包括以下步骤：步骤一：对视频图像进行图像预处理；步骤二：对预处理后的图像进行人脸特征点检测；步骤三：根据特征点坐标获取中心点坐标和半径大小；步骤四：提取人脸区域包围盒，根据包围盒进行人脸区域抠图；步骤五：计算得到人脸的倾斜角度，根据倾斜角度抠取人脸正脸图像；步骤六：对人脸正脸图像进行归一化操作；步骤七：对归一化后的人脸图像，进行深度学习得分判断；步骤八：对同一个人的不同人脸图像进行清晰度得分排序，提取最高得分的人脸。本发明能够快速的从大量人脸中选择最清晰的人脸并存储相关信息，只需要少量储存空间存储关键信息，节约了时间、空间和成本。

Description

一种人脸清晰度判断方法
技术领域
本发明涉及机器人技术，尤其涉及一种人脸清晰度判断方法。
背景技术
目前，单摄像头的监控广泛应用于工业控制，安全保障，交通监控，门禁系统，人脸考勤、人脸抓拍等领域，在很多领域(如:人脸抓拍)需要自动的将人脸的图像在视频中检测出来，并进行记录。由于视频是连续的图像，同一个人根据其停留的长短可以产生几千至几万幅图像，如果将其全部记录是一种对空间的浪费，也为后期的查找工作带来很大的麻烦，所以选择其中清晰度高的一张图像进行记录是一种直观的可行办法，由于光线，视角，遮挡等因素，视频中检测到的人脸并不总是正面清晰的，很可能是模糊的，从大量的连续图像中自动的选取一张清晰人脸成为了一个难题。
经过对现有技术文献的查找发现，目前的方法还是基于传统数字图像和模式识别的方法进行处理的，处理速度慢，性能不高，严重影响对人脸提取进行记录准确性和高效性。
发明内容
为解决现有技术的不足，本发明能够快速的从大量人脸中选择最清晰的人脸并且存储相关信息，不需要大量的空间存储监控视频，只需要少量空间存储关键信息，节约了时间、空间和成本。
为实现上述目的，采用以下技术方案：
一种人脸清晰度判断方法，其特征在于，包括以下步骤：
步骤一：对视频图像进行图像预处理；预处理即把监控区域摄像头捕获的视频的每一帧彩色图像转换成灰度图像；将彩色图像转换成灰度图，减小数据的处理量，在保证准确性的情况下加快后续数据处理的效率。
步骤二：对预处理后的图像用AdaBoost方法进行检测人脸并确定人脸的特征点位置；所述的特征点包括左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点。
步骤三：根据特征点坐标获取中心点坐标和半径大小。
步骤四：以步骤三中获取的中心点坐标为中心，步骤三中获取的半径扩大2倍，提取人脸区域包围盒，根据包围盒进行人脸区域抠图。
步骤五：根据左眼中心点和右眼中心点的连线计算跟水平线的夹角度数，夹角度数即人脸倾斜角度，根据人脸倾斜角度对人脸区域进行旋转，同时计算旋转后的人脸区域包围盒，根据包围盒抠取人脸正脸图像。
步骤六：对人脸正脸图像进行归一化操作。具体包括：
6a：对人脸正脸图像进行缩放操作；
6b：对缩放后的图像进行求灰度均值和方差，并进行减灰度均值和除方差归一化操作；
缩放图像大小，使得后一步骤的输入图像占用储存空间小，有效的减少图像处理的数据量。
步骤七：对归一化后的人脸图像，进行深度学习得分判断；其中深度学习得分判断包括：
7a：提取图像样本；
7b：对人脸图像得分进行人工标注；
7c：将标注好的信息分类；
7d：对分类后的标注信息进行训练，并将生成的模型保存；
7e：利用生成的模型对人脸图像进行得分判断。
步骤八：对同一个人的不同人脸图像进行清晰度得分排序，提取最高得分的人脸。
本发明的有益效果：
1.本发明不需要对图像进行特征提取，而直接实现端到端的效果，输入图像数据，直接获取清晰度判断的结果。
2.考虑到监控需要实时进行，需要记录的图像的量大，本发明只需要60*100像素大小的人脸图像，所以其深度网络结构的输入图像占用储存空间小，有效的减少了图像处理数据。
3.深度学习的网络结构简单，识别和判断速度快，能够有效地进行实时运算。
4.利用深度学习方法，可以高效地对人脸清晰度进行判断，并提高算法的性能。
附图说明
图1为本发明一个实施例的人脸清晰度判断方法的流程示意图。
具体实施方式
参照图1，一种人脸清晰度判断方法，包括以下步骤：
步骤一：对视频图像进行图像预处理；所述的预处理即把监控区域摄像头捕获的视频的每一帧彩色图像转换成灰度图像，并以图片格式保存图像。
步骤二：对预处理后的图像用AdaBoost方法进行检测人脸并确定人脸的特征点，特征点共5个，分别为左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点，检测特征点的同时得到5个特征点的坐标。
步骤三：根据5个特征点坐标计算特征点内切圆的中心点和半径，并获取中心点坐标和半径大小。
步骤四：以步骤三中获取的中心点坐标为中心，步骤三中获取的半径扩大2倍，提取人脸区域包围盒，根据包围盒进行人脸区域抠图。
步骤五：根据左眼中心点和右眼中心点的连线，计算跟水平线的夹角度数。所述的夹角度数即人脸倾斜角度，根据人脸倾斜角度对人脸区域进行旋转得到人脸正脸图像，同时计算旋转后的人脸区域包围盒，根据包围盒，抠取人脸正脸图像。
步骤六：对人脸正脸图像进行归一化操作。具体包括：
6a：对人脸正脸图像进行缩放操作，缩放到60*100图像大小；
6b：对缩放后的图像进行求灰度均值和方差，并进行减灰度均值和除方差归一化操作。
步骤七：对归一化后的人脸图像，进行深度学习得分判断；其中深度学习得分判断包括：
8a：提取10万的缩图后的图像样本；
8b：人工对人脸图像进行得分标注；
8c：将标注好的信息，分为训练集和测试集；
8d：用Caffe工具，对训练集和测试集的数据进行训练，并将生成的模型保存；
8e：利用生成的模型对人脸图像进行得分判断。
步骤八：对同一个人的不同人脸图像的清晰度进行步骤一至步骤七的得分判断，并对图像的得分排序，提取最高得分的人脸。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (9)

1.一种人脸清晰度判断方法，其特征在于，包括以下步骤：
步骤一：对视频图像进行图像预处理；
步骤二：对预处理后的图像进行人脸特征点检测；
步骤三：根据特征点坐标获取中心点坐标和半径大小；
步骤四：提取人脸区域包围盒，根据包围盒进行人脸区域抠图；
步骤五：计算得到人脸的倾斜角度，根据倾斜角度抠取人脸正脸图像；
步骤六：对人脸正脸图像进行归一化操作；
步骤七：对归一化后的人脸图像，进行深度学习得分判断；
步骤八：对同一个人的不同人脸图像进行清晰度得分排序，提取最高得分的人脸。
2.根据权利要求1所述的人脸清晰度判断方法，其特征在于：步骤一中所述的预处理即把监控区域摄像头捕获的视频的每一帧彩色图像转换成灰度图像。
3.根据权利要求2所述的人脸清晰度判断方法，其特征在于：步骤二中，对预处理后的图像用AdaBoost方法进行检测人脸并确定人脸的特征点位置。
4.根据权利要求3所述的人脸清晰度判断方法，其特征在于：所述的特征点包括左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点。
5.根据权利要求4所述的人脸清晰度判断方法，其特征在于：步骤四中所述提取人脸区域包围盒的方法为：以步骤三中获取的中心点坐标为中心，步骤三中获取的半径扩大2倍，提取人脸区域包围盒。
6.根据权利要求5所述的人脸清晰度判断方法，其特征在于：步骤五包括根据左眼中心点和右眼中心点的连线计算跟水平线的夹角度数，所得到的夹角度数即为人脸倾斜角度。
7.根据权利要求6所述的人脸清晰度判断方法，其特征在于：步骤五中根据人脸倾斜角度对人脸区域进行旋转，同时计算旋转后的人脸区域包围盒，根据包围盒抠取人脸正脸图像。
8.根据权利要求7所述的人脸清晰度判断方法，其特征在于，步骤六包括：
6a：对人脸正脸图像进行缩放操作；
6b：对缩放后的图像进行求灰度均值和方差，并进行减灰度均值和除方差归一化操作。
9.根据权利要求8所述的人脸清晰度判断方法，其特征在于，步骤七所述的深度学习包括：
7a：提取图像样本；
7b：对人脸图像得分进行人工标注；
7c：将标注好的信息分类；
7d：对分类后的标注信息进行训练，并将生成的模型保存；
7e：利用生成的模型对人脸图像进行得分判断。
CN201711311445.1A 2017-12-11 2017-12-11 一种人脸清晰度判断方法 Active CN107977639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711311445.1A CN107977639B (zh) 2017-12-11 2017-12-11 一种人脸清晰度判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711311445.1A CN107977639B (zh) 2017-12-11 2017-12-11 一种人脸清晰度判断方法

Publications (2)

Publication Number Publication Date
CN107977639A true CN107977639A (zh) 2018-05-01
CN107977639B CN107977639B (zh) 2020-07-10

Family

ID=62009981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711311445.1A Active CN107977639B (zh) 2017-12-11 2017-12-11 一种人脸清晰度判断方法

Country Status (1)

Country Link
CN (1) CN107977639B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409305A (zh) * 2018-11-01 2019-03-01 深圳技术大学（筹） 一种人脸图像清晰度评价方法及装置
CN109785343A (zh) * 2019-01-17 2019-05-21 深圳英飞拓科技股份有限公司 基于清晰度的人脸抠图图片的优选方法及装置
CN110533773A (zh) * 2019-09-02 2019-12-03 北京华捷艾米科技有限公司 一种三维人脸重建方法、装置及相关设备
CN110796108A (zh) * 2019-11-04 2020-02-14 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
CN111199165A (zh) * 2018-10-31 2020-05-26 浙江宇视科技有限公司 图像处理方法及装置
CN111860057A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN113593145A (zh) * 2021-07-28 2021-11-02 车航道(吉林)科技有限公司 一种基于门禁设备的智能缴费系统
CN114944004A (zh) * 2022-07-25 2022-08-26 海易科技(北京)有限公司 人脸图像存储方法、装置、设备、计算机介质和程序产品
CN116112645A (zh) * 2023-04-11 2023-05-12 重庆华悦生态环境工程研究院有限公司深圳分公司 水库环境的多影像传输方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383001A (zh) * 2008-10-17 2009-03-11 中山大学 一种快速准确的正面人脸判别方法
CN101582163A (zh) * 2009-06-25 2009-11-18 上海交通大学 视频监控图像中最清晰人脸的捕捉方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN106909882A (zh) * 2017-01-16 2017-06-30 广东工业大学 一种应用于保安机器人的人脸识别系统及方法
CN107292240A (zh) * 2017-05-24 2017-10-24 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383001A (zh) * 2008-10-17 2009-03-11 中山大学 一种快速准确的正面人脸判别方法
CN101582163A (zh) * 2009-06-25 2009-11-18 上海交通大学 视频监控图像中最清晰人脸的捕捉方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN106909882A (zh) * 2017-01-16 2017-06-30 广东工业大学 一种应用于保安机器人的人脸识别系统及方法
CN107292240A (zh) * 2017-05-24 2017-10-24 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199165A (zh) * 2018-10-31 2020-05-26 浙江宇视科技有限公司 图像处理方法及装置
CN111199165B (zh) * 2018-10-31 2024-02-06 浙江宇视科技有限公司 图像处理方法及装置
CN109409305A (zh) * 2018-11-01 2019-03-01 深圳技术大学（筹） 一种人脸图像清晰度评价方法及装置
CN109785343A (zh) * 2019-01-17 2019-05-21 深圳英飞拓科技股份有限公司 基于清晰度的人脸抠图图片的优选方法及装置
CN111860057A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN110533773A (zh) * 2019-09-02 2019-12-03 北京华捷艾米科技有限公司 一种三维人脸重建方法、装置及相关设备
CN110796108A (zh) * 2019-11-04 2020-02-14 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
CN113256586A (zh) * 2021-05-28 2021-08-13 深圳数联天下智能科技有限公司 人脸图像的模糊判断方法、装置、设备和介质
CN113593145A (zh) * 2021-07-28 2021-11-02 车航道(吉林)科技有限公司 一种基于门禁设备的智能缴费系统
CN114944004A (zh) * 2022-07-25 2022-08-26 海易科技(北京)有限公司 人脸图像存储方法、装置、设备、计算机介质和程序产品
CN116112645A (zh) * 2023-04-11 2023-05-12 重庆华悦生态环境工程研究院有限公司深圳分公司 水库环境的多影像传输方法及装置
CN116112645B (zh) * 2023-04-11 2023-11-21 重庆华悦生态环境工程研究院有限公司深圳分公司 水库环境的多影像传输方法及装置

Also Published As

Publication number Publication date
CN107977639B (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN107977639A (zh) 一种人脸清晰度判断方法
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及系统
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN111507283A (zh) 基于课堂场景的学生行为识别方法及系统
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
CN111079625B (zh) 一种摄像头自动跟随人脸转动的控制方法
CN108960076B (zh) 基于卷积神经网络的耳朵识别与跟踪方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN114842397B (zh) 一种基于异常检测的实时老人跌倒检测方法
CN106709518A (zh) 基于Android平台的盲道识别系统
Xu et al. Real-time pedestrian detection based on edge factor and Histogram of Oriented Gradient
Amit et al. Efficient focusing and face detection
CN103605971A (zh) 一种捕获人脸图像的方法及装置
CN109359577B (zh) 一种基于机器学习的复杂背景下人数检测系统
CN110008793A (zh) 人脸识别方法、装置及设备
CN110414571A (zh) 一种基于特征融合的网站报错截图分类方法
CN103544478A (zh) 一种全方位人脸检测的方法及系统
CN108009574A (zh) 一种轨道扣件检测方法
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN113177439B (zh) 一种行人翻越马路护栏检测方法
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN106650735A (zh) 一种led字符自动定位识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230519

Address after: Room 319-2, 3rd Floor, Building 2, No. 262 Wantang Road, Xihu District, Hangzhou City, Zhejiang Province, 310012

Patentee after: Hangzhou Jieshang Safety Equipment Co.,Ltd.

Address before: East Building, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000

Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.