CN109711311B - 一种基于动态人脸最优帧选取方法 - Google Patents

一种基于动态人脸最优帧选取方法 Download PDF

Info

Publication number
CN109711311B
CN109711311B CN201811563372.XA CN201811563372A CN109711311B CN 109711311 B CN109711311 B CN 109711311B CN 201811563372 A CN201811563372 A CN 201811563372A CN 109711311 B CN109711311 B CN 109711311B
Authority
CN
China
Prior art keywords
target
information
face
pictures
target group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811563372.XA
Other languages
English (en)
Other versions
CN109711311A (zh
Inventor
武传营
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ISSA Technology Co Ltd
Original Assignee
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yisa Technology Co ltd, Qingdao Yisa Data Technology Co Ltd filed Critical Beijing Yisa Technology Co ltd
Priority to CN201811563372.XA priority Critical patent/CN109711311B/zh
Publication of CN109711311A publication Critical patent/CN109711311A/zh
Application granted granted Critical
Publication of CN109711311B publication Critical patent/CN109711311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于动态人脸最优帧选取方法，包括以下步骤：1、采集视频样本信息；2、将视频样本信息提取每位目标人的连续帧图片作为目标组单元并存储；3、对目标组单元进行人脸信息提取并作为目标组特征信息进行存储；4、对目标组特征信息人工打标签，并按人脸信息图像质量，由高到低逐次打分；5、随机挑选两张图片，转化为灰度图像，合并成2‑channel数据输入2‑channel网络进行训练，网络输出0或1，0代表第一张质量差于第二张，训练好模型后，和人脸检测算法结合使用，选择出人脸连续帧的最优帧。本发明能够快速有效地完成对动态人脸最优帧选取，节约了人力物力成本，显著提高了准确性。

Description

一种基于动态人脸最优帧选取方法
技术领域
本发明涉及图像检测与智能识别技术领域，具体来说，涉及一种基于动态人脸最优帧选取方法。
背景技术
人脸检测是当今视觉领域里非常重要和实用的研究课题，它应用于现实生活中的各个领域，如公安、金融、网络安全、物业管理以及考勤等。
人脸识别目前主要有静态人脸识别和动态人脸识别两种。静态人脸识别是在特定的区域或者范围之内，进行识别，也就是说识别对角度、距离、位置的要求会比较高。静态人脸识别的特点就在于用户容量小，比较适合一些小型公司的考勤之类的使用。由于是静态的，所以价格相对也比较便宜。图形识别率较高，可达到95％以上。动态人脸识别是不需要停驻等待，你只要出现在范围内，无论你是在行走还是停立，系统都可以自动识别。也就是说，人以自然的形态走过去，摄像头会进行信息的抓拍和采集，发出相应的指令，进行动态人脸识别。相较于静态人脸识别，动态人脸识别的难度会更大一些。
主要表现在以下几个方面：
1.光照问题，可能出现侧光、顶光、背光和高光等现象，而且有可能出现各个时段的光照不同，甚至在监控区域内各个位置的光照都不同。
2.人脸姿态多样和饰物繁。
3.摄像机的图像质量参差不齐。
4.丢帧和丢脸问题。
综合以上几点，如何从视频的连续帧选择出最优帧，解决了此项问题将会极大提高人脸识别的准确率。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于动态人脸最优帧选取方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于动态人脸最优帧选取方法，包括以下步骤：
S101、视频样本的采集：预先通过前端摄像头采集视频样本信息；
S103、提取目标组信息：将步骤S101所得视频样本信息提取每位目标人的连续帧图片作为目标组单元，并存储目标组单元；
S105、提取目标组特征信息：将步骤S103所得目标组单元利用MTCNN进行人脸信息的提取，并将提取的人脸信息作为目标组特征信息进行存储；
S107、信息分组：将步骤S105所得目标组特征信息进行人工打标签，并按人脸信息的图像质量，由高到低逐次打分；
S109、选取优帧：将步骤S107信息分组中随机挑选两张图片，转化为灰度图像，合并成2-channel的数据输入到2-channel网络中进行训练，其中，网络输出0或1两个值，从而判断两张图片的优劣，0代表第一张质量差于第二张，训练好模型后，和人脸检测算法进行结合使用，选择出人脸连续帧的最优帧。
进一步的，所述S103中提取图片为利用目标检测和目标跟踪的算法提取，其中，目标检测和目标跟踪的算法为先利用目标检测算法检测出目标，再结合目标跟踪算法跟踪目标，直到目标从视频中消失。
进一步的，所述S109中2-channel网络结构为：数据输入层2-channel data，后接卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，全连接层fc1和SPP池化层，最后接softmax层进行二分类。
本发明的有益效果：本发明通过构建2-channel网络，实现了比较两张人脸图片质量的优劣，且应用了基于2-channel data数据的构建，基于卷积神经网络特征提取和基于SPP池化层和分类损失训练softmax，其中，2-channel data数据的构建，2-channel data主要解决的是如何在一个网络同时实现两张图像的输入。基于卷积神经网络的图像特征提取网络，完成对两张图像的特征获取。基于SPP池化层实现，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。基于分类损失训练softmax层可训练模型分类的损失，从而训练出模型参数。另外通过上述各块功能的相互配合，各司其职，相互协作实现了快速有效地完成对动态人脸最优帧的选取，以及在动态人脸识别的实践中节约了人力物力成本、显著提高准确性等良好效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于动态人脸最优帧选取方法的方法流程示意图；
图2是根据本发明实施例的一种基于动态人脸最优帧选取方法的2-channel网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于动态人脸最优帧选取方法。
如图1-2所示，根据本发明实施例的基于动态人脸最优帧选取方法，包括以下步骤：
S101、视频样本的采集：预先通过前端摄像头采集视频样本信息；
S103、提取目标组信息：将步骤S101所得视频样本信息提取每位目标人的连续帧图片作为目标组单元，并存储目标组单元；
S105、提取目标组特征信息：将步骤S103所得目标组单元利用MTCNN进行人脸信息的提取，并将提取的人脸信息作为目标组特征信息进行存储；
S107、信息分组：将步骤S105所得目标组特征信息进行人工打标签，并按人脸信息的图像质量，由高到低逐次打分；
S109、选取优帧：将步骤S107信息分组中随机挑选两张图片，转化为灰度图像，合并成2-channel的数据输入到2-channel网络中进行训练，其中，网络输出0或1两个值，从而判断两张图片的优劣，0代表第一张质量差于第二张，训练好模型后，和人脸检测算法进行结合使用，选择出人脸连续帧的最优帧。
借助于上述技术方案，通过构建2-channel网络，实现了比较两张人脸图片质量的优劣，且应用了基于2-channel data数据的构建，基于卷积神经网络特征提取和基于SPP池化层和分类损失训练softmax，其中，2-channel data数据的构建，2-channel data主要解决的是如何在一个网络同时实现两张图像的输入。基于卷积神经网络的图像特征提取网络，完成对两张图像的特征获取。基于SPP池化层实现，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。基于分类损失训练softmax层可训练模型分类的损失，从而训练出模型参数。另外通过上述各块功能的相互配合，各司其职，相互协作实现了快速有效地完成对动态人脸最优帧的选取，以及在动态人脸识别的实践中节约了人力物力成本、显著提高准确性等良好效果。
另外，在一个实施例中，所述S103中提取图片为利用目标检测和目标跟踪的算法提取，其中，目标检测和目标跟踪的算法为先利用目标检测算法检测出目标，再结合目标跟踪算法跟踪目标，直到目标从视频中消失。
另外，在一个实施例中，所述S109中2-channel网络结构为：数据输入层2-channeldata，后接卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，全连接层fc1和SPP池化层，最后接softmax层进行二分类。
另外，在一个实施例中，对于上述步骤S101视频样本的采集来说，视频样本要求角度较正、目标清晰。
另外，在一个实施例中，对于上述2-channel data来说，2-channel data是把两张单通道灰度图像合在一起，把这两张图片，看成是一张双通道的图像。也就是把两个(1，64，64)单通道的数据，放在一起，成为了(2，64，64)的双通道矩阵，然后把这个矩阵数据作为网络的输入。
另外，在一个实施例中，对于SPP池化层来说，SPP池化层，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。
综上所述，借助于本发明的上述技术方案，通过构建2-channel网络，实现了比较两张人脸图片质量的优劣，且应用了基于2-channel data数据的构建，基于卷积神经网络特征提取和基于SPP池化层和分类损失训练softmax，其中，2-channel data数据的构建，2-channel data主要解决的是如何在一个网络同时实现两张图像的输入。基于卷积神经网络的图像特征提取网络，完成对两张图像的特征获取。基于SPP池化层实现，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。基于分类损失训练softmax层可训练模型分类的损失，从而训练出模型参数。另外通过上述各块功能的相互配合，各司其职，相互协作实现了快速有效地完成对动态人脸最优帧的选取，以及在动态人脸识别的实践中节约了人力物力成本、显著提高准确性等良好效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于动态人脸最优帧选取方法，其特征在于，包括以下步骤：
S101、视频样本的采集：预先通过前端摄像头采集视频样本信息；
S103、提取目标组信息：将步骤S101所得视频样本信息提取每位目标人的连续帧图片作为目标组单元，并存储目标组单元；
S105、提取目标组特征信息：将步骤S103所得目标组单元利用MTCNN进行人脸信息的提取，并将提取的人脸信息作为目标组特征信息进行存储；
S107、信息分组：将步骤S105所得目标组特征信息进行人工打标签，并按人脸信息的图像质量，由高到低逐次打分；
S109、选取优帧：将步骤S107信息分组中随机挑选两张图片，转化为灰度图像，合并成2-channel的数据输入到2-channel网络中进行训练，其中，网络输出0或1两个值，从而判断两张图片的优劣，0代表第一张质量差于第二张，训练好模型后，和人脸检测算法进行结合使用，选择出人脸连续帧的最优帧。
2.根据权利要求1所述的基于动态人脸最优帧选取方法，其特征在于，所述S103中提取图片为利用目标检测和目标跟踪的算法提取，其中，目标检测和目标跟踪的算法为先利用目标检测算法检测出目标，再结合目标跟踪算法跟踪目标，直到目标从视频中消失。
3.根据权利要求1所述的基于动态人脸最优帧选取方法，其特征在于，所述S109中2-channel网络结构为：数据输入层2-channel data，后接卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，全连接层fc1和SPP池化层，最后接softmax层进行二分类。
CN201811563372.XA 2018-12-20 2018-12-20 一种基于动态人脸最优帧选取方法 Active CN109711311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811563372.XA CN109711311B (zh) 2018-12-20 2018-12-20 一种基于动态人脸最优帧选取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811563372.XA CN109711311B (zh) 2018-12-20 2018-12-20 一种基于动态人脸最优帧选取方法

Publications (2)

Publication Number Publication Date
CN109711311A CN109711311A (zh) 2019-05-03
CN109711311B true CN109711311B (zh) 2020-11-20

Family

ID=66256972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811563372.XA Active CN109711311B (zh) 2018-12-20 2018-12-20 一种基于动态人脸最优帧选取方法

Country Status (1)

Country Link
CN (1) CN109711311B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348366B (zh) * 2019-07-05 2021-08-17 杭州师范大学 一种自动化最优人脸搜索方法及装置
CN111738243B (zh) * 2020-08-25 2020-11-20 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622274A (zh) * 2016-07-15 2018-01-23 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN108009600A (zh) * 2017-11-30 2018-05-08 北京小米移动软件有限公司 模型优化、质量检测方法、装置、设备及存储介质
CN108492290A (zh) * 2018-03-19 2018-09-04 携程计算机技术（上海）有限公司 图像评价方法及系统
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306290B (zh) * 2011-10-14 2013-10-30 刘伟华 一种基于视频的人脸跟踪识别方法
CN106294425B (zh) * 2015-05-26 2019-11-19 富泰华工业（深圳）有限公司 商品相关网络文章之自动图文摘要方法及系统
CN106897681B (zh) * 2017-02-15 2020-11-10 武汉喜恩卓科技有限责任公司 一种遥感图像对比分析方法及系统
CN109034247B (zh) * 2018-07-27 2021-04-23 北京以萨技术股份有限公司 一种基于跟踪算法的较高纯度的人脸识别样本提取方法
CN109035246B (zh) * 2018-08-22 2020-08-04 浙江大华技术股份有限公司 一种人脸的图像选择方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622274A (zh) * 2016-07-15 2018-01-23 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN108009600A (zh) * 2017-11-30 2018-05-08 北京小米移动软件有限公司 模型优化、质量检测方法、装置、设备及存储介质
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
CN108492290A (zh) * 2018-03-19 2018-09-04 携程计算机技术（上海）有限公司 图像评价方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Metadata-Based Feature Aggregation Network for Face Recognition;Nishant Sankaran等;《2018 International Conference on Biometrics (ICB)》;20180716;第118-123页 *
RankIQA: Learning from Rankings for No-Reference Image Quality Assessment;Xialei Liu等;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171225;第1040-1049页 *
基于深度学习的图像美学质量评价;张小威;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第3期);I138-1367 *

Also Published As

Publication number Publication date
CN109711311A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
CN110008298B (zh) 驻车多维信息感知应用系统及方法
CN102663743B (zh) 一种复杂场景中多摄影机协同的人物追踪方法
CN103020941A (zh) 基于全景拼接的旋转摄像头背景建立法及运动物体检测法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN107977639A (zh) 一种人脸清晰度判断方法
CN109711311B (zh) 一种基于动态人脸最优帧选取方法
CN103646550A (zh) 一种智能车牌识别系统
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN102542246A (zh) Atm机异常人脸检测方法
CN110290346B (zh) 一种基于智能视频分析的招投标视频的获取方法
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN103605971A (zh) 一种捕获人脸图像的方法及装置
CN105788351A (zh) 基于视频图像的智能停车场管理系统与管理方法
CN111914742A (zh) 基于多模态生物特征的考勤方法、系统、终端设备及介质
CN104134067A (zh) 基于智能视觉物联网的道路车辆监控系统
CN109446946A (zh) 一种基于多线程的多摄像头实时检测方法
CN107516076A (zh) 人像识别方法及装置
CN110533011B (zh) 发放传单行为的检测方法及检测系统
CN113963373A (zh) 一种基于视频图像动态检测与跟踪算法系统及方法
CN202872972U (zh) 一种图像监测处理装置
CN112200007A (zh) 一种社区监控场景下车牌检测及识别方法
CN111898448A (zh) 一种基于深度学习的行人属性识别方法和系统
Kročka et al. Extending parking occupancy detection model for night lighting and snowy weather conditions
CN116259007A (zh) 一种园区巡逻职工异常行为检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Patentee after: Issa Technology Co.,Ltd.

Patentee after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Patentee before: Qingdao Issa Technology Co.,Ltd.

Patentee before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP03 Change of name, title or address

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Patentee after: Qingdao Issa Technology Co.,Ltd.

Patentee after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 108, 102 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Patentee before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Patentee before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address