CN104751144B - 一种面向视频监控的正面人脸快速评价方法 - Google Patents
一种面向视频监控的正面人脸快速评价方法 Download PDFInfo
- Publication number
- CN104751144B CN104751144B CN201510154919.0A CN201510154919A CN104751144B CN 104751144 B CN104751144 B CN 104751144B CN 201510154919 A CN201510154919 A CN 201510154919A CN 104751144 B CN104751144 B CN 104751144B
- Authority
- CN
- China
- Prior art keywords
- face
- front face
- facial image
- image
- video monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向视频监控的正面人脸快速评价方法,包括两个阶段:训练阶段和正面人脸评价阶段,在训练阶段,从标准视频库、标准人脸图像库以及监控视频中提取正面人脸图像作为训练正样本,提取非正脸图像作为训练负样本,建立正面人脸特征空间模型和非正面人脸特征空间模型,在正面人脸评价阶段,判断出视频中人脸最正的那一帧图像,用于后续的人脸分析。本发明可以快速并精确的,对输入人脸图像进行评价。
Description
技术领域
本发明涉及图像处理与模式识别领域,特别涉及一种面向视频监控的正面人脸快速评价方法。
背景技术
随着信息技术不断发展,视频信息越来越广泛的应用与娱乐、教育、安全、生活等各种领域技术,现有的数字视频监控系统实现了视频监控手段的数字化、网络化和集成化,但是它存在一个最主要的缺陷:对视频内容只能靠人来判断,同时,它多用于“事后处理”,并不能充分发挥视频监控系统的主动性。
基于人脸识别技术的智能视频监控系统可以有效地解决目前数字监控系统存在的某些难题,如确定监控场景中是否有人,对监视对象跟踪、确定当前监控对象的身份等问题,在室内监控视频中,主要关注的是监控视频中的人,为便于对海量视频数据中人脸的识别和分析,最有用的信息也可以视为人脸最正面的那张图像,问题就转化为从视频图像中如何自动的抓取质量最好的正面人脸图像,本发明主要涉及在已检测到的视频人脸中如何选取质量较好的正面人脸图像,进行人脸的识别和分析。
正面人脸评价问题,是一个人脸姿态估计的问题,国内外人脸姿态估计的方法大体上可以分为三类:基于模型的方法、基于人脸外观的方法和基于分类的方法。
基于模型的方法通常利用人脸的几何关系或者人脸的特征点来估计人脸姿态。其基本思想是利用某种几何模型或结构来表示人脸的结构和形状,并通过提取某些人脸特征,在模型和图像之间建立起对应关系,然后通过几何或者其它方法实现人脸空间姿态的估计。很多基于模型的方法利用面部特征点对人脸进行建模。这些方法通常首先进行特征点检测,然后将二维图像与三维模型相对应的特征点进行匹配,由匹配的特征点得到姿态估计参数。该方法对面部特征点的定位要求很高,目前面部特征点的精确定位仍然是一个难点。
基于人脸外观的方法假设人脸空间姿态和人脸图像的某些特征(如灰度、色彩、图像梯度等)之间存在着某种特定的对应关系,用大量的样本通过统计方法来建立这种特定的对应关系。该方法不需要精确提取特征点,只需要有大量的三维人脸姿态的样本,目前比较流行的统计学习方法有支持向量机、神经网络等。该方法依赖于大量的样本和机器学习方法获得的分类器,计算量大,复杂度高。
采用基于分类的人脸姿态估计方法首要的一点就是图像的参数估计。所谓参数估计,就是根据样本选定一个统计量,然后用样本值代入,算出统计量的值。具体的人脸图像和它所对应的人脸姿态可以用一个参数来表示。
发明内容
本发明的目的就是为了解决上述问题,提供一种面向视频监控的正面人脸快速评价方法,用于解决在视频监控中,如何快速准确的获取正面人脸图像,用于后续的人脸识别和分析等,它具有可以提高监控视频中正面人脸评价的速度和精度,降低正面人脸评价的复杂度的优点。
为了实现上述目的,本发明采用如下技术方案:
一种面向视频监控的正面人脸快速评价方法,包括以下步骤:
步骤(1):训练阶段:建立正面人脸图象库和非正面人脸图象库,然后分别对正面人脸图象库和非正面人脸图象库进行人脸图象分析,从而建立正面人脸特征空间模型eigen_pos和非正面人脸特征空间模型eigen_neg;
步骤(2):正面人脸评价阶段:
步骤(2-1):对输入的视频序列,进行人脸检测,提取检测到的人脸Face_Raw;
步骤(2-2):
将检测到的人脸Face_Raw向正面人脸特征空间模型eigen_pos投影,并重构一张正面特征脸图像Face_Reconstruction_pos,计算该重构人脸图像Face_Reconstruction_pos与检测到的人脸Face_Raw的相似度spos;
步骤(2-3):
将检测到的人脸Face_Raw向非正面人脸特征空间eigen_neg投影,并重构一张非正面特征脸图像Face_Reconstruction_neg,计算该重构人脸图像Face_Reconstruction_neg与检测到的人脸Face_Raw的相似度sneg;
步骤(2-4):最后融合spos和sneg,即score=sneg-spos,作为该人脸的评价分数,评价分数越高说明该图像的正脸效果越好;统计K帧视频的评价结果,选出分数最高即人脸最正的一帧图像,用于人脸识别。
所述步骤(1)的正面人脸图像库是通过在标准正面人脸库、标准视频库、监控视频中提取正面人脸图像来形成的;
所述步骤(1)的非正面人脸图像库是通过在标准正面人脸库、标准视频库、监控视频中提取非正面人脸图象来形成的;
所述非正面人脸图象包括左侧脸、右侧脸、上侧脸、下侧脸。
所述左侧脸包括人脸图像绕Y轴旋转角度大于30度的左侧脸。
所述右侧脸包括人脸图像绕Y轴旋转角度大于30度的右侧脸。
所述上侧脸包括人脸图像绕X轴旋转角度大于30度的上侧脸。
所述下侧脸包括人脸图像绕X轴旋转角度大于30度的下侧脸。
所述步骤(1)的人脸图象分析是基于子空间分析的人脸图象分析。
所述步骤(2-1)的人脸检测是采用Adaboost人脸检测算法来实现的。
所述步骤(2-2)的相似度计算通过采用距离判别准则来实现。
所述步骤(2-3)的相似度计算采用距离判别准则。
所述正面人脸图象库和非正面人脸图象库中的人脸图像都经过图像预处理,并归一化到相同的分辨率。
所述图像预处理采用直方图均衡化方法。
基于子空间的人脸图象分析,包括主成分分析法PCA或线性判别分析LDA。
本发明的有益效果:
1、现有技术基于三维人脸模型的人脸矫正方法,需要建立三维人脸模型,通过与三维人脸模型的匹配来评价测试人脸是否为正面人脸。该方法运算量大,不易于嵌入式系统的集成。本文提供的方法,可以快速有效的对视频中的人脸进行正面人脸的评价,易于集成在高清摄像机等嵌入式系统。
2、目前,基于硬件产品的一些方法,通过自动控制摄像机的拍摄角度,调节摄像机聚焦参数等来获取正面人脸,对于现有的一些没有改功能的监控系统,只能硬件升级,成本太高。
附图说明
图1为本发明的一种面向视频监控的正面人脸评价方法的原理图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,
一、训练阶段:
1、在标准正面人脸库、标准视频库、监控视频中提取正面人脸图像作为正面人脸图像库,提取非正面人脸(左侧脸、右侧脸、上侧脸、下侧脸)包括,人脸图像绕Y轴旋转角度大于30度的左侧脸和右侧脸,以及人脸图像绕X轴旋转角度大于30度的上侧脸和下侧脸。
2、分别对正面人脸图像库和非正面人脸图像库进行基于子空间的人脸图像分析,建立正面人脸特征空间模型eigen_pos和非正面人脸特征空间模型eigen_neg。
二、正面人脸评价阶段
1、对输入的视频序列,采用Adaboost人脸检测算法进行人脸检测,提取检测到的人脸Face_Raw.
2、将检测到的人脸Face_Raw向正面人脸特征空间eigen_pos投影,并重构一张正面特征脸图像Face_Reconstruction_pos,计算该重构人脸图像Face_Reconstruction_pos与检测到的原始人脸Face_Raw的相似度,相似度准则采用距离判别准则(欧式距离等),。
3、将检测到的人脸Face_Raw向非正面人脸特征空间eigen_neg投影,并重构一张非正面特征脸图像Face_Reconstruction_neg,计算该重构人脸图像Face_Reconstruction_neg与检测到的原始人脸Face_Raw的相似度,相似度准则采用距离判别准则(欧式距离等)。
4、最后融合spos和sneg,即score=sneg-spos,作为该人脸的评价分数,评价分数越高说明该图像的正脸效果越好。统计K帧视频的评价结果,选出分数最高即人脸最正的一帧图像,用于人脸识别等具体应用。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种面向视频监控的正面人脸快速评价方法,其特征是,包括以下步骤:
步骤(1):训练阶段:建立正面人脸图像库和非正面人脸图像库,然后分别对正面人脸图像库和非正面人脸图像库进行人脸图像分析,从而建立正面人脸特征空间模型eigen_pos和非正面人脸特征空间模型eigen_neg;
步骤(2):正面人脸评价阶段:
步骤(2-1):对输入的视频序列,进行人脸检测,提取检测到的人脸Face_Raw;
步骤(2-2):
将检测到的人脸Face_Raw向正面人脸特征空间模型eigen_pos投影,并重构一张正面特征脸图像Face_Reconstruction_pos,计算该重构人脸图像Face_Reconstruction_pos与检测到的人脸Face_Raw的相似度spos;
步骤(2-3):
将检测到的人脸Face_Raw向非正面人脸特征空间模型eigen_neg投影,并重构一张非正面特征脸图像Face_Reconstruction_neg,计算该重构人脸图像Face_Reconstruction_neg与检测到的人脸Face_Raw的相似度sneg;
步骤(2-4):最后融合spos和sneg,即score=sneg-spos,作为该人脸的评价分数,评价分数越高说明该图像的正脸效果越好;统计K帧视频的评价结果,选出分数最高即人脸最正的一帧图像,用于人脸识别。
2.如权利要求1所述的一种面向视频监控的正面人脸快速评价方法,其特征是,所述步骤(1)的正面人脸图像库是通过在标准正面人脸库、标准视频库、监控视频中提取正面人脸图像来形成的。
3.如权利要求1所述的一种面向视频监控的正面人脸快速评价方法,其特征是,所述步骤(1)的非正面人脸图像库是通过在标准正面人脸库、标准视频库、监控视频中提取非正面人脸图像来形成的。
4.如权利要求1所述的一种面向视频监控的正面人脸快速评价方法,其特征是,所述非正面人脸图像包括左侧脸、右侧脸、上侧脸、下侧脸。
5.如权利要求4所述的一种面向视频监控的正面人脸快速评价方法,其特征是,
所述左侧脸包括人脸图像绕Y轴旋转角度大于30度的左侧脸;
所述右侧脸包括人脸图像绕Y轴旋转角度大于30度的右侧脸;
所述上侧脸包括人脸图像绕X轴旋转角度大于30度的上侧脸;
所述下侧脸包括人脸图像绕X轴旋转角度大于30度的下侧脸。
6.如权利要求1所述的一种面向视频监控的正面人脸快速评价方法,其特征是,所述步骤(1)的人脸图像分析是基于子空间分析的人脸图像分析。
7.如权利要求1所述的一种面向视频监控的正面人脸快速评价方法,其特征是,
所述步骤(2-1)的人脸检测是采用Adaboost人脸检测算法来实现的;
所述步骤(2-2)的相似度计算通过采用距离判别准则来实现;
所述步骤(2-3)的相似度计算采用距离判别准则来实现。
8.如权利要求1所述的一种面向视频监控的正面人脸快速评价方法,其特征是,
所述正面人脸图像库和非正面人脸图像库中的人脸图像都经过图像预处理,并归一化到相同的分辨率。
9.如权利要求8所述的一种面向视频监控的正面人脸快速评价方法,其特征是,
所述图像预处理采用直方图均衡化方法。
10.如权利要求6所述的一种面向视频监控的正面人脸快速评价方法,其特征是,
基于子空间的人脸图像分析,包括主成分分析法PCA或线性判别分析LDA。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510154919.0A CN104751144B (zh) | 2015-04-02 | 2015-04-02 | 一种面向视频监控的正面人脸快速评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510154919.0A CN104751144B (zh) | 2015-04-02 | 2015-04-02 | 一种面向视频监控的正面人脸快速评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104751144A CN104751144A (zh) | 2015-07-01 |
CN104751144B true CN104751144B (zh) | 2017-11-17 |
Family
ID=53590801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510154919.0A Active CN104751144B (zh) | 2015-04-02 | 2015-04-02 | 一种面向视频监控的正面人脸快速评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104751144B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109214324A (zh) * | 2018-08-27 | 2019-01-15 | 曜科智能科技(上海)有限公司 | 基于多相机阵列的最正脸图像输出方法及输出系统 |
CN109543633A (zh) * | 2018-11-29 | 2019-03-29 | 上海钛米机器人科技有限公司 | 一种人脸识别方法、装置、机器人和存储介质 |
CN111008935B (zh) * | 2019-11-01 | 2023-12-12 | 北京迈格威科技有限公司 | 一种人脸图像增强方法、装置、系统及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103473564A (zh) * | 2013-09-29 | 2013-12-25 | 公安部第三研究所 | 一种基于敏感区域的正面人脸检测方法 |
CN103870811A (zh) * | 2014-03-06 | 2014-06-18 | 中国人民解放军国防科学技术大学 | 一种用于视频监控的正面人脸快速判别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9596515B2 (en) * | 2012-01-04 | 2017-03-14 | Google Inc. | Systems and methods of image searching |
-
2015
- 2015-04-02 CN CN201510154919.0A patent/CN104751144B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103473564A (zh) * | 2013-09-29 | 2013-12-25 | 公安部第三研究所 | 一种基于敏感区域的正面人脸检测方法 |
CN103870811A (zh) * | 2014-03-06 | 2014-06-18 | 中国人民解放军国防科学技术大学 | 一种用于视频监控的正面人脸快速判别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104751144A (zh) | 2015-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034013B (zh) | 一种人脸图像识别方法、装置及存储介质 | |
US7848548B1 (en) | Method and system for robust demographic classification using pose independent model from sequence of face images | |
Gourier et al. | Estimating face orientation from robust detection of salient facial structures | |
Hatem et al. | A survey of feature base methods for human face detection | |
AU2011301774B2 (en) | A method for enhancing depth maps | |
García et al. | Adaptive multi-cue 3D tracking of arbitrary objects | |
CN104063709A (zh) | 视线检测装置及方法、图像捕获装置及其控制方法 | |
Das et al. | Action recognition based on a mixture of RGB and depth based skeleton | |
CN103544478A (zh) | 一种全方位人脸检测的方法及系统 | |
CN104751144B (zh) | 一种面向视频监控的正面人脸快速评价方法 | |
Jia et al. | View-invariant gait authentication based on silhouette contours analysis and view estimation | |
Lee et al. | Robust Face Detection Based on Knowledge‐Directed Specification of Bottom‐Up Saliency | |
Kanaujia et al. | Part segmentation of visual hull for 3d human pose estimation | |
Gürel | Development of a face recognition system | |
Luo et al. | Dynamic face recognition system in recognizing facial expressions for service robotics | |
Kuo et al. | People counting base on head and shoulder information | |
Tofighi et al. | Hand pointing detection using live histogram template of forehead skin | |
Chau et al. | Online tracking parameter adaptation based on evaluation | |
Zhang et al. | Ethnicity classification based on fusion of face and gait | |
Ashraf et al. | View-invariant action recognition using rank constraint | |
Hammouche et al. | Toward a real time view-invariant 3d action recognition | |
Hung et al. | Real-time counting people in crowded areas by using local empirical templates and density ratios | |
Duanmu et al. | A multi-view pedestrian tracking framework based on graph matching | |
Powar et al. | Reliable face detection in varying illumination and complex background | |
Mademlis et al. | Stereoscopic video description for human action recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |