CN105046227B - 一种针对人像视频系统的关键帧获取方法 - Google Patents

一种针对人像视频系统的关键帧获取方法 Download PDF

Info

Publication number
CN105046227B
CN105046227B CN201510442187.5A CN201510442187A CN105046227B CN 105046227 B CN105046227 B CN 105046227B CN 201510442187 A CN201510442187 A CN 201510442187A CN 105046227 B CN105046227 B CN 105046227B
Authority
CN
China
Prior art keywords
frame
confidence level
key
illumination
lbp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510442187.5A
Other languages
English (en)
Other versions
CN105046227A (zh
Inventor
陈远浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yitu Information Technology Co., Ltd.
Original Assignee
Shanghai Is According To Figure Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Is According To Figure Network Technology Co Ltd filed Critical Shanghai Is According To Figure Network Technology Co Ltd
Priority to CN201510442187.5A priority Critical patent/CN105046227B/zh
Publication of CN105046227A publication Critical patent/CN105046227A/zh
Priority to PCT/CN2016/092298 priority patent/WO2017016515A1/zh
Priority to SG11201801050VA priority patent/SG11201801050VA/en
Priority to PH12018500287A priority patent/PH12018500287A1/en
Application granted granted Critical
Publication of CN105046227B publication Critical patent/CN105046227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种针对人像视频系统的关键帧获取方法，包括以下步骤：1)获取视频图像，对每帧图像均进行关键点检测；2)根据所检测的关键点对每帧图像进行属性分类，并计算各属性下的置信度；3)根据每帧图像在不同属性下的置信度选取P帧关键帧，作为人脸识别的基础。与现有技术相比，本发明对关键帧选取过程进行了改进，既保证了速度，又具有较高的识别性能。

Description

一种针对人像视频系统的关键帧获取方法
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种针对人像视频系统的关键帧获取方法。
背景技术
人像视频系统中人脸识别是最核心的模块。在大部分人像系统中，对于经过人员，都会得到对应的轨迹。单个人员的轨迹可以表示为K帧图像上的矩形框的集合。人像视频系统中人脸识别模块输入的是一个人的轨迹，输出该人的身份。
相对于人像图像系统的识别模块，人像视频系统的主要区别是它需要挑选合适的帧上的人脸进行识别。最简单的方式是对K帧图像都进行识别，这会导致系统速度变慢，因为识别模块的时间开销是非常大的(1帧1秒时间，而一个人每秒中有24帧图像)。常见做法是选择最正脸的P帧(P约等于3)，这样保证速度，但是识别性能会受影响。
因此，需要开发一种既能保证处理效率，又影响识别性能的新方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种针对人像视频系统的关键帧获取方法，通过该方法选取关键帧后再进行人脸识别，既保证了速度，又具有较高的识别性能。
本发明的目的可以通过以下技术方案来实现：
一种针对人像视频系统的关键帧获取方法，包括以下步骤：
1)获取视频图像，对每帧图像均进行关键点检测；
2)根据所检测的关键点对每帧图像进行属性分类，并计算各属性下的置信度；
3)根据每帧图像在不同属性下的置信度选取P帧关键帧，作为人脸识别的基础。
所述步骤1)中，关键点检测具体为：
首先利用HoG与SVM结合方法进行第一轮关键点检测，每个关键点都保留K种选项；然后利用全局形状信息，在KN种可能中找出最像人脸的形状，作为最终的关键点，N为关键点数目。
所述属性包括光照强烈、光照昏暗、光照不均、模糊分类、张嘴分类、闭眼分类、姿态估计和尺寸。
所述计算各属性下的置信度具体为：
a)光照强烈：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照强烈的置信度S1；
b)光照昏暗：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照昏暗的置信度S2；
c)光照不均：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照不均的置信度S3
d)模糊分类：基于LPSS、梯度直方图、色彩饱和度分布和局部自相关性特征向量，使用boosting分类器得到模糊的置信度S4；
e)张嘴分类：使用LBP与SVM结合方法进行张嘴分类，得到置信度S5；
f)闭眼分类：使用LBP与SVM结合方法进行闭眼分类，得到置信度S6；
g)姿态估计：使用POSIT方法估计X轴、Y轴和Z轴的旋转角度，通过LogisticFunction将各方向轴旋转角度转换成置信度S7、S8和S9；
h)尺寸：先将实际人脸尺寸除以标准尺寸，再转化成置信度S10。
所述标准尺寸取为150pixels×150pixels。
所述步骤3)中，选取P帧关键帧的具体过程为：
301)将每帧图像不同属性下的置信度组合，作为该帧图像的特征向量(S1k,S2k,…,S10k)，k表示第k帧；
302)将所述特征向量输入第一SVM分类器中，计算每帧图像在该第一SVM分类器中的得分Score，以Score最大的帧作为第一帧关键帧选出；
303)将未选出的帧和上一步骤中已选出的帧的特征向量组合作为该未选出的帧的新特征向量输入第二SVM分类器，计算各未选出的帧的在该第二SVM分类器中的得分Score，以Score最大的帧作为第二帧关键帧选出；
304)采用与步骤303)相同方法选出剩余P-2帧。
所述P取为3。
与现有技术相比，本发明具有以下优点：
(1)本发明在已知关键点的情况下，对图像进行了属性分类，获取各属性下的置信度，根据该置信度选取关键帧，提高了所选取的关键帧的精度；
(2)本发明在选取关键帧时不仅考虑各帧本身的特征向量，还对已选出的帧的特征向量进行综合考虑，参考了不同帧之间的协同合作信息，进一步提高了所选取关键帧的精度，保证了识别性能；
(3)本发明通过选取关键帧进行识别，保证了识别速度。
附图说明
图1为本发明的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种针对人像视频系统的关键帧获取方法，该方法考虑了多张图像间因素的影响，也考虑到不同帧之间协同合作的信息，具体步骤如下：
步骤S1，获取视频图像，对每帧图像均进行关键点检测。关键点检测过程的输入是图像和人脸框的位置，输出是关键点位置。这里利用HoG+SVM做第一轮关键点检测，每个关键点都保留K种选项；然后利用全局形状信息，在K^N种可能中找出最像人脸的形状，获取关键点，N是关键点数目。
步骤S2，根据所检测的关键点对每帧图像进行属性分类，并计算各属性下的置信度，这里的属性包括光照强烈、光照昏暗、光照不均、模糊分类、张嘴分类、闭眼分类、姿态估计和尺寸，具体置信度的计算如下：
a)光照强烈：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照强烈的置信度S1；
b)光照昏暗：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照昏暗的置信度S2；
c)光照不均：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照不均的置信度S3
d)模糊分类：使用boosting分类器得到模糊的置信度S4，所采用的特征主要是：
d1)LPSS(Local Power Spectrum Slope)：模糊图像丢失了高频区域的信息，因此在低频区域占的能量比较高，因此可以将图像做傅立叶变换，得到不同频率的能量作为特征向量；
d2)梯度直方图：模糊图像中强边缘的点非常少，梯度强度一定程度上刻画了边缘强度，因此使用梯度直方图也是一种描述模糊的方式；
d3)色彩饱和度分布：清晰图像的色彩饱和度远远超过模糊图像；
d4)局部自相关性：在运动模糊中，物体和背景都会变模糊，除了和运动方向相同的边缘，该特点一是可以通过描述频谱形状特征描述，二是可以通过StructuralSIMilarity(SSIM)描述。
e)张嘴分类：使用LBP与SVM结合方法进行张嘴分类，得到置信度S5；
f)闭眼分类：使用LBP与SVM结合方法进行闭眼分类，得到置信度S6；
g)姿态估计：使用POSIT方法估计X轴、Y轴和Z轴的旋转角度，通过LogisticFunction将各方向轴旋转角度转换成置信度S7、S8和S9；
h)尺寸：先将实际人脸尺寸除以标准尺寸，标准尺寸取为150pixels×150pixels，再转化成置信度S10。
上述各置信度的取值范围均为(-1,1)。
步骤S3，根据每帧图像在不同属性下的置信度选取P帧关键帧，作为人脸识别的基础。
以P取为3为例，选取关键帖的具体过程为：
301)将每帧图像不同属性下的置信度组合，作为该帧图像的特征向量(S1k,S2k,…,S10k)，k表示第k帧；
302)将所述特征向量输入第一SVM分类器中，计算每帧图像在该第一SVM分类器中的得分Score，以Score最大的帧作为第一帧关键帧选出，此时特征向量维度为10维；
303)将未选出的帧和上一步骤中已选出的帧的特征向量组合作为该未选出的帧的新特征向量输入第二SVM分类器，计算各未选出的帧的在该第二SVM分类器中的得分Score，以Score最大的帧作为第二帧关键帧选出，此时特征向量维度为20维；
304)采用与步骤303)相同方法选出第三帧关键帧，此时特征向量维度为30维。
该方法在保证最小计算量(在普通4核达到实时)的情况下，保证了性能最优。

Claims (4)

1.一种针对人像视频系统的关键帧获取方法，其特征在于，包括以下步骤：
1)获取视频图像，对每帧图像均进行关键点检测；
2)根据所检测的关键点对每帧图像进行属性分类，并计算各属性下的置信度；
3)根据每帧图像在不同属性下的置信度选取P帧关键帧，作为人脸识别的基础；
所述属性包括光照强烈、光照昏暗、光照不均、模糊分类、张嘴分类、闭眼分类、姿态估计和尺寸；
所述计算各属性下的置信度具体为：
a)光照强烈：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照强烈的置信度S1；
b)光照昏暗：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照昏暗的置信度S2；
c)光照不均：基于LBP和Gray Grid特征向量，使用Boosting分类器得到光照不均的置信度S3；
d)模糊分类：基于LPSS、梯度直方图、色彩饱和度分布和局部自相关性特征向量，使用boosting分类器得到模糊的置信度S4；
e)张嘴分类：使用LBP与SVM结合方法进行张嘴分类，得到置信度S5；
f)闭眼分类：使用LBP与SVM结合方法进行闭眼分类，得到置信度S6；
g)姿态估计：使用POSIT方法估计X轴、Y轴和Z轴的旋转角度，通过Logistic Function将各方向轴旋转角度转换成置信度S7、S8和S9；
h)尺寸：先将实际人脸尺寸除以标准尺寸，再转化成置信度S10，所述标准尺寸取为150pixels×150pixels。
2.根据权利要求1所述的针对人像视频系统的关键帧获取方法，其特征在于，所述步骤1)中，关键点检测具体为：
首先利用HoG与SVM结合方法进行第一轮关键点检测，每个关键点都保留K种选项；然后利用全局形状信息，在KN种可能中找出最像人脸的形状，作为最终的关键点，N为关键点数目。
3.根据权利要求1所述的针对人像视频系统的关键帧获取方法，其特征在于，所述步骤3)中，选取P帧关键帧的具体过程为：
301)将每帧图像不同属性下的置信度组合，作为该帧图像的特征向量(S1k,S2k,…,S10k)，k表示第k帧；
302)将所述特征向量输入第一SVM分类器中，计算每帧图像在该第一SVM分类器中的得分Score，以Score最大的帧作为第一帧关键帧选出；
303)将未选出的帧和上一步骤中已选出的帧的特征向量组合作为该未选出的帧的新特征向量输入第二SVM分类器，计算各未选出的帧在该第二SVM分类器中的得分Score，以Score最大的帧作为第二帧关键帧选出；
304)采用与步骤303)相同方法选出剩余P-2帧。
4.根据权利要求3所述的针对人像视频系统的关键帧获取方法，其特征在于，所述P取为3。
CN201510442187.5A 2015-07-24 2015-07-24 一种针对人像视频系统的关键帧获取方法 Active CN105046227B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510442187.5A CN105046227B (zh) 2015-07-24 2015-07-24 一种针对人像视频系统的关键帧获取方法
PCT/CN2016/092298 WO2017016515A1 (zh) 2015-07-24 2016-07-29 一种针对人像视频系统的关键帧获取方法
SG11201801050VA SG11201801050VA (en) 2015-07-24 2016-07-29 Key frame acquisition method for human image video system
PH12018500287A PH12018500287A1 (en) 2015-07-24 2018-02-08 Key frame acquisition method for human image video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510442187.5A CN105046227B (zh) 2015-07-24 2015-07-24 一种针对人像视频系统的关键帧获取方法

Publications (2)

Publication Number Publication Date
CN105046227A CN105046227A (zh) 2015-11-11
CN105046227B true CN105046227B (zh) 2018-07-31

Family

ID=54452756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510442187.5A Active CN105046227B (zh) 2015-07-24 2015-07-24 一种针对人像视频系统的关键帧获取方法

Country Status (4)

Country Link
CN (1) CN105046227B (zh)
PH (1) PH12018500287A1 (zh)
SG (1) SG11201801050VA (zh)
WO (1) WO2017016515A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046227B (zh) * 2015-07-24 2018-07-31 上海依图网络科技有限公司 一种针对人像视频系统的关键帧获取方法
CN105631419B (zh) * 2015-12-24 2019-06-11 浙江宇视科技有限公司 人脸识别方法及装置
CN108206929A (zh) * 2016-12-16 2018-06-26 北京华泰科捷信息技术股份有限公司 一种非接触式人员信息采集装置及其采集方法
CN108230293A (zh) 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
CN108875652A (zh) * 2018-06-26 2018-11-23 四川斐讯信息技术有限公司 用户场景分析装置及方法
CN108985240B (zh) * 2018-07-23 2020-11-13 北京百度网讯科技有限公司 评估对象检测算法的方法、装置、电子设备和存储介质
CN109509177B (zh) * 2018-10-22 2021-02-23 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109816011B (zh) * 2019-01-21 2021-09-07 厦门美图之家科技有限公司 视频关键帧提取方法
CN110110646B (zh) * 2019-04-30 2021-05-04 浙江理工大学 一种基于深度学习的手势图像关键帧提取方法
TWI699661B (zh) * 2019-07-11 2020-07-21 台達電子工業股份有限公司 場景模型之建構系統及其建構方法
CN112215940B (zh) 2019-07-11 2024-01-19 台达电子工业股份有限公司 场景模型的建构系统及其建构方法
CN111191520B (zh) * 2019-12-10 2023-02-07 北京大学 用于动作识别的人体骨架压缩方法、装置以及设备
CN111507948A (zh) * 2020-04-08 2020-08-07 四川大学华西第二医院 基于机器视觉的超声视频流关键图像自动截取系统和方法
CN112597842B (zh) * 2020-12-15 2023-10-20 芜湖明瞳数字健康科技有限公司 基于人工智能的运动检测面瘫程度评估系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376003A (zh) * 2013-08-13 2015-02-25 深圳市腾讯计算机系统有限公司 一种视频检索方法及装置
CN104504397A (zh) * 2014-12-31 2015-04-08 云智视像科技（上海）有限公司 一种基于人脸识别的监控视频摘要方法及系统
CN104794464A (zh) * 2015-05-13 2015-07-22 上海依图网络科技有限公司 一种基于相对属性的活体检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7612832B2 (en) * 2005-03-29 2009-11-03 Microsoft Corporation Method and system for video clip compression
CN102831382A (zh) * 2011-06-15 2012-12-19 北京三星通信技术研究有限公司 人脸跟踪设备和方法
CN102360421B (zh) * 2011-10-19 2014-05-28 苏州大学 一种基于视频流的人脸识别方法及系统
CN104573614B (zh) * 2013-10-22 2020-01-03 北京三星通信技术研究有限公司 用于跟踪人脸的设备和方法
CN104794465B (zh) * 2015-05-13 2019-06-07 上海依图网络科技有限公司 一种基于姿态信息的活体检测方法
CN105046227B (zh) * 2015-07-24 2018-07-31 上海依图网络科技有限公司 一种针对人像视频系统的关键帧获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376003A (zh) * 2013-08-13 2015-02-25 深圳市腾讯计算机系统有限公司 一种视频检索方法及装置
CN104504397A (zh) * 2014-12-31 2015-04-08 云智视像科技（上海）有限公司 一种基于人脸识别的监控视频摘要方法及系统
CN104794464A (zh) * 2015-05-13 2015-07-22 上海依图网络科技有限公司 一种基于相对属性的活体检测方法

Also Published As

Publication number Publication date
WO2017016515A1 (zh) 2017-02-02
SG11201801050VA (en) 2018-03-28
CN105046227A (zh) 2015-11-11
PH12018500287A1 (en) 2018-08-13

Similar Documents

Publication Publication Date Title
CN105046227B (zh) 一种针对人像视频系统的关键帧获取方法
Hatem et al. A survey of feature base methods for human face detection
Yin et al. Nose shape estimation and tracking for model-based coding
CN111105368A (zh) 图像处理方法及其装置、电子设备和计算机可读存储介质
Choudhury et al. A novel hand segmentation method for multiple-hand gesture recognition system under complex background
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
Kalam et al. Gender classification using geometric facial features
Sikander et al. Facial feature detection: A facial symmetry approach
Deng et al. A new method for eye extraction from facial image
Mehrübeoglu et al. Real-time iris tracking with a smart camera
Liang et al. Applying Image Processing Technology to Face Recognition.
Dharavath et al. Impact of image preprocessing on face recognition: A comparative analysis
CN109886186A (zh) 一种人脸识别方法及装置
Van Huan et al. Eye feature extraction using K-means clustering for low illumination and iris color variety
El Kaddouhi et al. Eye detection based on Viola & Jones Detector, skin color, and eye template
Priya et al. Face detection using CbCr color model in video
Yildirim et al. Gender classification based on binary haar cascade
Yoo et al. Real-Time Age and Gender Estimation from Face Images
Jung et al. A robust eye detection method in facial region
Nel et al. An integrated sign language recognition system
Sharma et al. Face detection from digital images: A comparative study
Mariappan et al. A labVIEW design for frontal and non-frontal human face detection system in complex background
Liang et al. Robust hand detection and tracking based on monocular vision
Sikdar et al. An ellipse fitted training-less model for pedestrian detection
Ma et al. A lip localization algorithm under variant light conditions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190923

Address after: Room 1901E, 488 Yaohua Road, Pudong New Area, Shanghai 201125

Patentee after: Shanghai Yitu Information Technology Co., Ltd.

Address before: 200240 room 2, building 1189, No. 839, Minhang District, Shanghai, Wuzhong Road

Patentee before: Shanghai is according to figure network technology company limited