CN107977639B - 一种人脸清晰度判断方法 - Google Patents
一种人脸清晰度判断方法 Download PDFInfo
- Publication number
- CN107977639B CN107977639B CN201711311445.1A CN201711311445A CN107977639B CN 107977639 B CN107977639 B CN 107977639B CN 201711311445 A CN201711311445 A CN 201711311445A CN 107977639 B CN107977639 B CN 107977639B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- carrying
- central point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸清晰度判断方法，包括以下步骤：步骤一：对视频图像进行图像预处理；步骤二：对预处理后的图像进行人脸特征点检测；步骤三：根据特征点坐标获取中心点坐标和半径大小；步骤四：提取人脸区域包围盒，根据包围盒进行人脸区域抠图；步骤五：计算得到人脸的倾斜角度，根据倾斜角度抠取人脸正脸图像；步骤六：对人脸正脸图像进行归一化操作；步骤七：对归一化后的人脸图像，进行深度学习得分判断；步骤八：对同一个人的不同人脸图像进行清晰度得分排序，提取最高得分的人脸。本发明能够快速的从大量人脸中选择最清晰的人脸并存储相关信息，只需要少量储存空间存储关键信息，节约了时间、空间和成本。
Description
技术领域
本发明涉及机器人技术，尤其涉及一种人脸清晰度判断方法。
背景技术
目前，单摄像头的监控广泛应用于工业控制，安全保障，交通监控，门禁系统，人脸考勤、人脸抓拍等领域，在很多领域(如:人脸抓拍)需要自动的将人脸的图像在视频中检测出来，并进行记录。由于视频是连续的图像，同一个人根据其停留的长短可以产生几千至几万幅图像，如果将其全部记录是一种对空间的浪费，也为后期的查找工作带来很大的麻烦，所以选择其中清晰度高的一张图像进行记录是一种直观的可行办法，由于光线，视角，遮挡等因素，视频中检测到的人脸并不总是正面清晰的，很可能是模糊的，从大量的连续图像中自动的选取一张清晰人脸成为了一个难题。
经过对现有技术文献的查找发现，目前的方法还是基于传统数字图像和模式识别的方法进行处理的，处理速度慢，性能不高，严重影响对人脸提取进行记录准确性和高效性。
发明内容
为解决现有技术的不足，本发明能够快速的从大量人脸中选择最清晰的人脸并且存储相关信息，不需要大量的空间存储监控视频，只需要少量空间存储关键信息，节约了时间、空间和成本。
为实现上述目的，采用以下技术方案：
一种人脸清晰度判断方法，其特征在于，包括以下步骤：
步骤一：对视频图像进行图像预处理；预处理即把监控区域摄像头捕获的视频的每一帧彩色图像转换成灰度图像；将彩色图像转换成灰度图，减小数据的处理量，在保证准确性的情况下加快后续数据处理的效率。
步骤二：对预处理后的图像用AdaBoost方法进行检测人脸并确定人脸的特征点位置；所述的特征点包括左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点。
步骤三：根据特征点坐标获取特征点内切圆的中心点坐标和半径大小；步骤四：以步骤三中获取的中心点坐标为中心，步骤三中获取的半径扩大2倍，提取人脸区域包围盒，根据包围盒进行人脸区域抠图；
步骤五：根据左眼中心点和右眼中心点的连线计算跟水平线的夹角度数，夹角度数即人脸倾斜角度，根据人脸倾斜角度对人脸区域进行旋转，同时计算旋转后的人脸区域包围盒，根据包围盒抠取人脸正脸图像。
步骤六：对人脸正脸图像进行归一化操作。具体包括：
6a：对人脸正脸图像进行缩放操作；
6b：对缩放后的图像进行求灰度均值和方差，并进行减灰度均值和除方差归一化操作；
缩放图像大小，使得后一步骤的输入图像占用储存空间小，有效的减少图像处理的数据量。
步骤七：对归一化后的人脸图像，进行深度学习得分判断；其中深度学习得分判断包括：
7a：提取图像样本；
7b：对人脸图像得分进行人工标注；
7c：将标注好的信息分类；
7d：对分类后的标注信息进行训练，并将生成的模型保存；
7e：利用生成的模型对人脸图像进行得分判断。
步骤八：对同一个人的不同人脸图像进行清晰度得分排序，提取最高得分的人脸。
本发明的有益效果：
1.本发明不需要对图像进行特征提取，而直接实现端到端的效果，输入图像数据，直接获取清晰度判断的结果。
2.考虑到监控需要实时进行，需要记录的图像的量大，本发明只需要60*100像素大小的人脸图像，所以其深度网络结构的输入图像占用储存空间小，有效的减少了图像处理数据。
3.深度学习的网络结构简单，识别和判断速度快，能够有效地进行实时运算。
4.利用深度学习方法，可以高效地对人脸清晰度进行判断，并提高算法的性能。
附图说明
图1为本发明一个实施例的人脸清晰度判断方法的流程示意图。
具体实施方式
参照图1，一种人脸清晰度判断方法，包括以下步骤：
步骤一：对视频图像进行图像预处理；所述的预处理即把监控区域摄像头捕获的视频的每一帧彩色图像转换成灰度图像，并以图片格式保存图像。
步骤二：对预处理后的图像用AdaBoost方法进行检测人脸并确定人脸的特征点，特征点共5个，分别为左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点，检测特征点的同时得到5个特征点的坐标。
步骤三：根据5个特征点坐标计算特征点内切圆的中心点和半径，并获取中心点坐标和半径大小。
步骤四：以步骤三中获取的中心点坐标为中心，步骤三中获取的半径扩大2倍，提取人脸区域包围盒，根据包围盒进行人脸区域抠图。
步骤五：根据左眼中心点和右眼中心点的连线，计算跟水平线的夹角度数。所述的夹角度数即人脸倾斜角度，根据人脸倾斜角度对人脸区域进行旋转得到人脸正脸图像，同时计算旋转后的人脸区域包围盒，根据包围盒，抠取人脸正脸图像。
步骤六：对人脸正脸图像进行归一化操作。具体包括：
6a：对人脸正脸图像进行缩放操作，缩放到60*100图像大小；
6b：对缩放后的图像进行求灰度均值和方差，并进行减灰度均值和除方差归一化操作。
步骤七：对归一化后的人脸图像，进行深度学习得分判断；其中深度学习得分判断包括：
8a：提取10万的缩图后的图像样本；
8b：人工对人脸图像进行得分标注；
8c：将标注好的信息，分为训练集和测试集；
8d：用Caffe工具，对训练集和测试集的数据进行训练，并将生成的模型保存；
8e：利用生成的模型对人脸图像进行得分判断。
步骤八：对同一个人的不同人脸图像的清晰度进行步骤一至步骤七的得分判断，并对图像的得分排序，提取最高得分的人脸。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (8)
1.一种人脸清晰度判断方法，其特征在于，包括以下步骤：
步骤一：对视频图像进行图像预处理；
步骤二：对预处理后的图像进行人脸特征点检测；
步骤三：根据特征点坐标获取特征点内切圆的中心点坐标和半径大小；
步骤四：以步骤三中获取的中心点坐标为中心，步骤三中获取的半径扩大2倍，提取人脸区域包围盒，根据包围盒进行人脸区域抠图；
步骤五：计算得到人脸的倾斜角度，根据倾斜角度抠取人脸正脸图像；
步骤六：对人脸正脸图像进行归一化操作；
步骤七：对归一化后的人脸图像，进行深度学习得分判断；
步骤八：对同一个人的不同人脸图像进行清晰度得分排序，提取最高得分的人脸。
2.根据权利要求1所述的人脸清晰度判断方法，其特征在于：步骤一中所述的预处理即把监控区域摄像头捕获的视频的每一帧彩色图像转换成灰度图像。
3.根据权利要求2所述的人脸清晰度判断方法，其特征在于：步骤二中，对预处理后的图像用AdaBoost方法进行检测人脸并确定人脸的特征点位置。
4.根据权利要求3所述的人脸清晰度判断方法，其特征在于：所述的特征点包括左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点。
5.根据权利要求4所述的人脸清晰度判断方法，其特征在于：步骤五包括根据左眼中心点和右眼中心点的连线计算跟水平线的夹角度数，所得到的夹角度数即为人脸倾斜角度。
6.根据权利要求5所述的人脸清晰度判断方法，其特征在于：步骤五中根据人脸倾斜角度对人脸区域进行旋转，同时计算旋转后的人脸区域包围盒，根据包围盒抠取人脸正脸图像。
7.根据权利要求6所述的人脸清晰度判断方法，其特征在于，步骤六包括：6a：对人脸正脸图像进行缩放操作；
6b：对缩放后的图像进行求灰度均值和方差，并进行减灰度均值和除方差归一化操作。
8.根据权利要求7所述的人脸清晰度判断方法，其特征在于，步骤七所述的深度学习包括：
7a：提取图像样本；
7b：对人脸图像得分进行人工标注；
7c：将标注好的信息分类；
7d：对分类后的标注信息进行训练，并将生成的模型保存；
7e：利用生成的模型对人脸图像进行得分判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311445.1A CN107977639B (zh) | 2017-12-11 | 2017-12-11 | 一种人脸清晰度判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311445.1A CN107977639B (zh) | 2017-12-11 | 2017-12-11 | 一种人脸清晰度判断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107977639A CN107977639A (zh) | 2018-05-01 |
| CN107977639B true CN107977639B (zh) | 2020-07-10 |
Family
ID=62009981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711311445.1A Active CN107977639B (zh) | 2017-12-11 | 2017-12-11 | 一种人脸清晰度判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977639B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199165B (zh) * | 2018-10-31 | 2024-02-06 | 浙江宇视科技有限公司 | 图像处理方法及装置 |
| CN109409305A (zh) * | 2018-11-01 | 2019-03-01 | 深圳技术大学（筹） | 一种人脸图像清晰度评价方法及装置 |
| CN109785343B (zh) * | 2019-01-17 | 2021-10-19 | 深圳英飞拓科技股份有限公司 | 基于清晰度的人脸抠图图片的优选方法及装置 |
| CN111476060A (zh) * | 2019-01-23 | 2020-07-31 | 北京奇虎科技有限公司 | 人脸清晰度分析方法、装置、计算机设备及存储介质 |
| CN111860057A (zh) * | 2019-04-29 | 2020-10-30 | 北京眼神智能科技有限公司 | 人脸图像模糊和活体检测方法、装置、存储介质及设备 |
| CN110533773A (zh) * | 2019-09-02 | 2019-12-03 | 北京华捷艾米科技有限公司 | 一种三维人脸重建方法、装置及相关设备 |
| CN110796108B (zh) * | 2019-11-04 | 2022-05-17 | 北京锐安科技有限公司 | 一种人脸质量检测的方法、装置、设备及存储介质 |
| CN112528939B (zh) * | 2020-12-22 | 2024-09-06 | 广州海格星航信息科技有限公司 | 一种人脸图像的质量评价方法及装置 |
| CN113256586A (zh) * | 2021-05-28 | 2021-08-13 | 深圳数联天下智能科技有限公司 | 人脸图像的模糊判断方法、装置、设备和介质 |
| CN113593145A (zh) * | 2021-07-28 | 2021-11-02 | 车航道(吉林)科技有限公司 | 一种基于门禁设备的智能缴费系统 |
| CN114944004A (zh) * | 2022-07-25 | 2022-08-26 | 海易科技(北京)有限公司 | 人脸图像存储方法、装置、设备、计算机介质和程序产品 |
| CN116112645B (zh) * | 2023-04-11 | 2023-11-21 | 重庆华悦生态环境工程研究院有限公司深圳分公司 | 水库环境的多影像传输方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383001A (zh) * | 2008-10-17 | 2009-03-11 | 中山大学 | 一种快速准确的正面人脸判别方法 |
| CN101582163A (zh) * | 2009-06-25 | 2009-11-18 | 上海交通大学 | 视频监控图像中最清晰人脸的捕捉方法 |
| CN104361327A (zh) * | 2014-11-20 | 2015-02-18 | 苏州科达科技股份有限公司 | 一种行人检测方法和系统 |
| CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别系统及方法 |
| CN107292240A (zh) * | 2017-05-24 | 2017-10-24 | 深圳市深网视界科技有限公司 | 一种基于人脸与人体识别的找人方法及系统 |
-
2017
- 2017-12-11 CN CN201711311445.1A patent/CN107977639B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383001A (zh) * | 2008-10-17 | 2009-03-11 | 中山大学 | 一种快速准确的正面人脸判别方法 |
| CN101582163A (zh) * | 2009-06-25 | 2009-11-18 | 上海交通大学 | 视频监控图像中最清晰人脸的捕捉方法 |
| CN104361327A (zh) * | 2014-11-20 | 2015-02-18 | 苏州科达科技股份有限公司 | 一种行人检测方法和系统 |
| CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别系统及方法 |
| CN107292240A (zh) * | 2017-05-24 | 2017-10-24 | 深圳市深网视界科技有限公司 | 一种基于人脸与人体识别的找人方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107977639A (zh) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977639B (zh) | 一种人脸清晰度判断方法 | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| CN110689037B (zh) | 用于使用深度网络的自动对象注释的方法和系统 | |
| CN108710865B (zh) | 一种基于神经网络的司机异常行为检测方法 | |
| CN108596102B (zh) | 基于rgb-d的室内场景物体分割分类器构造方法 | |
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN108564052A (zh) | 基于mtcnn的多摄像头动态人脸识别系统与方法 | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| CN109767422A (zh) | 基于深度学习的管道检测识别方法、存储介质及机器人 | |
| CN111460967A (zh) | 一种违法建筑识别方法、装置、设备及存储介质 | |
| CN109413411B (zh) | 一种监控线路的黑屏识别方法、装置及服务器 | |
| CN108961276B (zh) | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 | |
| CN104361357B (zh) | 基于图片内容分析的相片集分类系统及分类方法 | |
| CN111310662A (zh) | 一种基于集成深度网络的火焰检测识别方法及系统 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN113297956B (zh) | 一种基于视觉的手势识别方法及系统 | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| CN112465854A (zh) | 基于无锚点检测算法的无人机跟踪方法 | |
| CN114140745A (zh) | 施工现场人员属性检测方法、系统、装置及介质 | |
| CN118196309B (zh) | 基于图像处理工控机的高清视觉检测识别系统 | |
| CN110807416A (zh) | 适用于移动检测装置的数字式仪表智能识别装置及方法 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| CN111832497A (zh) | 一种基于几何特征的文本检测后处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230519 Address after: Room 319-2, 3rd Floor, Building 2, No. 262 Wantang Road, Xihu District, Hangzhou City, Zhejiang Province, 310012 Patentee after: Hangzhou Jieshang Safety Equipment Co.,Ltd. Address before: East Building, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province 310000 Patentee before: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |