CN109871780A - 一种人脸质量判决方法、系统及人脸识别方法、系统 - Google Patents

一种人脸质量判决方法、系统及人脸识别方法、系统 Download PDF

Info

Publication number
CN109871780A
CN109871780A CN201910078852.5A CN201910078852A CN109871780A CN 109871780 A CN109871780 A CN 109871780A CN 201910078852 A CN201910078852 A CN 201910078852A CN 109871780 A CN109871780 A CN 109871780A
Authority
CN
China
Prior art keywords
face
facial image
image
mass fraction
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910078852.5A
Other languages
English (en)
Other versions
CN109871780B (zh
Inventor
杨飞
张丽君
邓平聆
邵枭虎
周祥东
石宇
程俊
罗代建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN201910078852.5A priority Critical patent/CN109871780B/zh
Publication of CN109871780A publication Critical patent/CN109871780A/zh
Application granted granted Critical
Publication of CN109871780B publication Critical patent/CN109871780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种人脸质量判决系统,该系统包括:视频采集模块,用于采集包含被识别者的视频序列;视频存储模块,用于将所述视频采集模块所采集到的所述视频序列进行存储;人脸检测模块,用于根据所述视频序列检测出人脸图像;质量判决模块,用于将所述人脸检测模块所检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数。本发明通过对视频图像序列传入的人脸图像信息进行自动学习预测,得到图像的质量分数,筛选质量好的图像输出给人脸识别模块。本发明利用轻量级深度学习框架,提高了预测的准确率,压缩了模型,加快了模块的运算速度。

Description

一种人脸质量判决方法、系统及人脸识别方法、系统
技术领域
本发明涉及图像处理技术领域。具体涉及一种人脸质量判决方法、系统及人脸识别方法、系统。
背景技术
随着人工智能技术的不断发展,越来越多智能化的产品开始走进人们的生活。
“刷脸”这个名词在当今社会并不陌生,越来越多刷脸的产品应运而生。利用人脸识别技术的智能门禁系统、智能支付平台、智能认证通关系统等智慧化的产品不断地更新迭代。
然而,这种智能化的产品在实际应用中也存在着一些问题。比如光照、人脸的角度、人脸视频序列帧图像的清晰度等都会影响人脸识别技术最终的识别结果,导致误判、错判等事情的发生。所以,在进行人脸识别之前,需要对识别者的视频帧序列进行筛选,滤除掉那些质量不好的图像或选择质量最好的图像进行识别,能够保证在识别过程中大大地提高准确率。
目前,在人工智能的技术发展中,深度学习技术作为发展最火热的一个技术领域,以其创新性的网络结构与高精度的准确率受到了大多数公司的热捧。深度学习技术在安防、安保、金融、游戏等各种领域都有着广泛地应用。但是在实际应用中,不光要求高精度的数值,还需要高速度的时间。所以,找到一种既能保证精度又能保证速度的质量判决系统是目前的当务之急。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种人脸质量判决方法、系统及人脸识别方法、系统,用于解决视频帧序列图像的质量筛选速度不够快的问题。
为实现上述目的及其他相关目的,本发明提供一种人脸质量判决系统,该系统包括:
视频采集模块,用于采集被识别者的视频序列;
视频存储模块,用于将所述视频采集模块所采集到的所述视频序列进行存储;
人脸检测模块,用于根据所述视频序列检测出人脸图像;
质量判决模块,用于将所述人脸检测模块所检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数。
可选地,所述卷积神经网络模型至少包括:
第一卷积层,用于提取人脸图像的低维信息;
最大值池化层,用于对所述低维信息进行降维操作;
第二卷积层,包括多个卷积子层,每个所述卷积子层输出多通道特征图;
Contact输出层,用于将所述每个卷积子层输出的多通道特征图进行合并;
第三卷积层,用于将所述Contact输出层输出的多通道特征图转换成单通道特征图;
平均值池化层,用于对所述单通道特征图中的所有点进行求和取平均的操作。
将特征图中的所有点进行求和取平均的操作,
其中,M为特征图的行数,N为特征图的列数,I为特征图,最终预测出图像的质量分数,利用Euclidean Loss进行目标约束,
其中,L代表输入特征向量维度,x表示预测质量分数,y表示ground-truth。
为实现上述目的及其他相关目的,本发明还提供一种人脸质量判决方法,该方法包括:
采集被识别者的视频序列;
将所述视频序列进行存储;
根据所述视频序列检测出人脸图像;
将检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数。
可选地,将检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数,包括:
提取人脸图像的低维信息;
对所述低维信息进行降维操作;
输出多个多通道特征图;
对多个多通道特征图进行合并;
将合并后的多通道特征图转换成单通道特征图;
对所述单通道特征图中的所有点进行求和取平均的操作,
将特征图中的所有点进行求和取平均的操作,
其中,M为特征图的行数,N为特征图的列数,I为特征图,最终预测出图像的质量分数,利用Euclidean Loss进行目标约束,
其中,L代表输入特征向量维度,x表示预测的质量分数,y表示ground-truth。
为实现上述目的及其他相关目的,本发明还提供一种计算机可读存储介质,存储计算机程序,所述计算机程序被处理器运行时执行所述的判决方法。
为实现上述目的及其他相关目的,本发明还提供一种设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器存储的计算机程序,以使所述设备执行所述的判决方法。
为实现上述目的及其他相关目的,本发明还提供一种人脸识别系统,该人脸识别系统包括所述的人脸质量判决系统,还包括:
人脸提取模块,用于提取质量分数最高的人脸图像或满足约束条件的人脸图像;
人脸识别模块,用于将所述人脸提取模块提取的人脸图像与存储于数据库中的人脸图像进行比对,并输出比对结果;
控制平台,用于根据人脸识别模块反馈的比对结果执行相应操作。
可选地,所述人脸提取模块提取人脸图像的方法包括:
提取质量分数大于第一阈值且质量分数与第一阈值最接近的人脸图像,或在一组质量分数中,提取质量分数大于第二阈值的所有人脸图像,或将质量分数组归一化到[0,1]作为每张人脸图像的权重,所述人脸识别模块对于不同质量分数的图像特征赋予不同的权重。
为实现上述目的及其他相关目的,本发明还提供一种人脸识别方法,该人脸识别方法包括所述的人脸质量判决方法,还包括:
提取质量分数最高的人脸图像或满足约束条件的人脸图像;
将提取的人脸图像与存储于数据库中的人脸图像进行比对,并输出比对结果;
根据所述比对结果执行相应操作。
可选地,提取人脸图像的方法包括:
提取质量分数大于第一阈值且质量分数与第一阈值最接近的人脸图像,或在一组质量分数中,提取质量分数大于第二阈值的所有人脸图像,或将质量分数组归一化到[0,1]作为每张人脸图像的权重,在人脸识别过程中对于不同质量分数的图像特征赋予不同的权重。
如上所述,本发明的一种人脸质量判决方法、系统及人脸识别方法、系统,具有以下有益效果:
本发明的一种人脸质量判决方法、系统及人脸识别方法、系统,通过对视频图像序列传入的人脸图像信息进行自动学习预测,得到图像的质量分数,筛选或过滤质量不好的图像输出给人脸识别模块。本发明利用轻量级深度学习框架,提高了预测的准确率,压缩了模型,加快了模块的运算速度。
附图说明
图1为本发明的一种人脸质量判决系统的原理框图;
图2为本发明的一种人脸质量判决系统中的卷积神经网络模型的架构图;
图3为本发明的一种人脸质量判决方法的流程图;
图4为本发明的一种人脸质量判决方法中的质量判决的流程图;
图5为本发明的一种人脸识别系统的原理框图;
图6为本发明的一种人脸识别方法的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,为本发明提供的一种人脸质量判决系统,主要包括视频采集模块1、视频存储模块2、人脸检测模块3和质量判决模块4,
视频采集模块1,主要用于采集被识别者的视频序列。视频采集模块主要选择摄像头作为采集设备,将摄像头安置于多种场景中,比如门禁的入口处、闸机的两侧或者平板设备内置摄像头等等。摄像头一般由镜头CMOS传感器PCB板和DSP控制芯片构成。被识别者站在摄像头前,通过镜头传送到CMOS上转换为电信号,经到A/D处理转换为数字图像信号,再送到DSP控制芯片中加工处理。
视频存储模块2,主要用于将所述视频采集模块所采集到的所述视频序列进行存储。具体地,视频采集模块采集的视频序列先需经过DSP控制芯片进行预处理,然后再进行存储。存储器可选择范围较广,比如DDR2SRAM存储器、SSD、硬盘等等,可根据不同场景的需求进行不同的选择。
人脸检测模块3,主要将视频存储模块2所存储的视频图像序列输入到该模块中,人脸检测模块将根据所述视频序列检测出人脸图像,人脸图像信息至少包括人脸的位置。人脸检测模块可选择框架较多,包括AdaBoost框架、DPM模型、DenseBox模型等多种架构。目前,基于这些机器学习的人脸检测器都能够快速准确地框出图像中人脸的位置,技术已非常成熟。
质量判决模块4,主要对所述人脸检测模块所检测出的人脸图像进行人脸质量评估,从而获得人脸质量分数。
人脸图像的质量评估需要考虑多种因素,包括:光照、人脸的角度、遮挡物、模糊度等等,上述这些因素对人脸图像最终的分数评估都有较大的影响。
目前,做图像质量评估的方法多种多样,但是专门针对人脸图像做质量评估的算法模块甚少,因为人脸图像需要考虑的实际因素太多,而单纯的图像质量评估主要考虑图像的失真度,也就是对比度、噪声、分辨率、压缩等等,这些模型的考虑因素与实际中人脸图像需要考虑的因素还是有较大出入的。
本实施例中,采用深度学习架构,设计一种轻量级的CNN(卷积神经网络,Convolutional Neural Networks,CNN)架构,在保证精度的前提下,压缩网络模型的大小,提高其判决速度,使其适用于实际的质量评估场景中。具体CNN架构如图2所示:
从图2中可以看出,该CNN架构主要由inception结构(类似于Googlenet)构成。具体包括第一卷积层、最大值池化层、第二卷积层、Contact输出层、第三卷积层和平均值池化层。
输入图像先经过一个50通道7×7的第一卷积层Conv1提取图像的低维信息,比如颜色、纹理、轮廓等基本信息,并经过一层最大值池化层Pool1进行降维操作。再经过inception结构的第二卷积层,该第二卷积层包含了3种卷积层Conv2_1、Conv2_2、Conv2_3,卷积核大小依次为2×2,3×3,5×5等较小的参数核,这样既能保证不同尺度下的图像信息又能简化计算过程。最终3种卷积层输出相同通道数目的同等大小尺寸的特征图,为了保证尺寸相同,卷积操作中采取边框补零的设置,随后输入到Contact输出层中进行合并操作。经过Contact层输出的特征层经过一个卷积核是1×1的卷积层Conv3,这种结构抛弃了传统在最后几层设计的全连接的结构,使用1×1的卷积核,直接将多通道的特征图转换成单通道的特征图起到降维的作用,大大减少了运算量,进一步地起到压缩模型与加速的作用。最后经过一层平均值池化层Pool2,将特征图中的所有点进行求和取平均的操作,如公式(1)所示:
其中,M为特征图的行数,N为特征图的列数,I为特征图。最终预测出图像的质量分数,利用Euclidean Loss进行目标约束,如公式(2)所示:
其中,L代表输入特征向量维度,此公式中,L=1。x表示预测质量分数,y表示ground-truth(表示有监督学习的训练集的分类准确性)。
这种轻量级的深度学习架构模拟HVS模式感知图像的全局信息、局部细节与语义信息,对于人脸图像的整体结构,包括角度、细节、清晰度都有一个全面的认知,通过网络自身的反向传播不断地自动学习图像的质量分数,最终寻找到最优参数预测出一张人脸图像的质量分数。本实施例中所描述的质量判决模块利用轻量级的深度学习架构能将参数数量降低到最低化,运算量达到最小化,速度达到最大化。CNN网络模型可以压缩到3M甚至更小,每张图像的质量评估速度达到2ms及以下。
如图3所示,本发明还提供一种人脸质量判决方法,该方法包括:
S1采集被识别者的视频序列;
S2将所述视频序列进行存储;
S3根据所述视频序列检测出人脸图像;
S4将检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数。
于一实施例中,将检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数,如图4所示,该步骤具体包括:
S41提取人脸图像的低维信息;
S42对所述低维信息进行降维操作;
S43输出多个多通道特征图;
S44对多个多通道特征图进行合并;
S45将合并后的多通道特征图转换成单通道特征图;
S46对所述单通道特征图中的所有点进行求和取平均的操作;
S47将特征图中的所有点进行求和取平均的操作;
其中,M为特征图的行数,N为特征图的列数,I为特征图,最终预测出图像的质量分数,利用Euclidean Loss进行目标约束,
其中,L代表输入特征向量维度,x表示预测的质量分数,y表示ground-truth。
如图5所示,本发明还提供一种人脸识别系统,该人脸识别系统包括前述的人脸质量判决系统,还包括人脸图像提取模块5、人脸识别模块6、数据库7和控制平台8,
人脸图像提取模块5。主要将质量判决模块4所预测的分数进行整合并提取出符合质量要求的人脸图像。根据不同的场景需求对预测分数进行操作,对于视频输入的图像序列,每幅人脸图像都将会预测一个分数,当分数大于一个阈值时,可以结束视频图像序列的输入,直接选择大于某个阈值的分数图像进行识别。或者输入一段图像序列,提取一组图像质量分数,自动筛选掉小于某些阈值的图像,将其他优质图像序列输入到人脸识别模块进行识别。或者输入的一段图像序列,将质量分数组归一化到[0,1]作为每张人脸图像的权重,一起输入到人脸识别模块6中,在识别模块中提取图像特征的过程中对于不同质量分数的图像特征赋予不同的权重。
人脸识别模块6,主要对经过人脸图像提取模块5的图像序列或者图像进行识别,用于将所述人脸提取模块提取的人脸图像与存储于数据库7中的人脸图像进行比对,并输出比对结果;数据库中存储有人脸图像信息,比如某个社区内部的人员图像、机场等运输领域的旅客人员信息或者是某个公司的工作人员图像信息。
应对不同的场景,人脸识别模块6也有不同的设计方案。在本实施例中,人脸识别模块6对输入的人脸图像进行识别分析,检索被识别者是否在服务器7中的数据库中,若属于则反馈“YES”信号到控制平台,若不属于则反馈“NO”信号到控制平台,等待控制平台进行相应的动作。
于本实施例中,上述人脸检测模块3、质量判决模块4,人脸图像提取模块5、人脸识别模块6都可写入MCU、ARM、FPGA或者专用的AI芯片中,写入过程为该领域最基本的操作,在此不再一一赘述。另外,目前专用的AI芯片主要分为两种:一种是基于传统冯·诺依曼架构的FPGA(现场可编程门阵列);一种是ASIC(专用集成电路)芯片。
本实施例中采用FPGA+DSP+CNN架构,利用FPGA强大的并行计算功能与方便灵活地设计方式与DSP在处理图像方面的成熟技术,将人脸检测模块3、质量判决模块4,人脸图像提取模块5、人脸识别模块6集成在FPGA+DSP中。FPGA通过SRAM接口将视频存储模块2中存储的视频图像序列读入到SRAM中,再利用FPGA进行人脸检测操作,定位人脸的具体位置再输入给内部嵌入的DSP模块处理人脸图像。经过质量判决模块4,其中质量判决模块4调用CNN模型导入参数,在设计硬件结构时,其内部构造模拟CNN中的inception的结构,舍去传统的全连接的运算方式,改成1×1的卷积核,减少了计算单元的个数与运算次数,加快了FPGA整体的运算速度。另外,DSP在进行卷积操作时,inception结构也使得加法器与乘法器的运算结构从原有的串行改变成并行结构,而最后1×1的卷积核在硬件实现中也改变了原有全连接结构,改变了加法器与乘法器的数量与运算模式,减少了更多冗余的操作,进一步地实现加速目的。最终经过人脸图像提取模块5和人脸识别模块6,与外部连接的数据接口对比分析,数据库中的数据提前保存在ROM中,最终得到被识别者的身份信息并反馈给控制平台。
控制平台8与人脸识别模块6连接,用于根据人脸识别模块反馈的比对结果执行相应操作。控制平台8可以是计算机、平板、手机等设备,主要控制门禁、闸机、智能锁等设备,根据人脸识别模块6反馈的信号执行“开”或“关”等动作,完成整个流程的结果操作。
综上所述,本发明的人脸识别系统通过对视频图像序列传入的人脸图像信息进行自动学习预测,得到图像的质量分数,筛选或过滤质量不好的图像输出给人脸识别模块。利用轻量级深度学习框架,提高了预测的准确率,压缩了模型,加快了模块的运算速度。利用FPGA+DSP+CNN框架的结合方式,加速了CNN中复杂的运算效率,而轻量级的深度学习架构更是节省了模块的空间与硬件的速度,保证高精度的同时又加快了速度。
如图6所示,本发明还提供一种人脸识别方法,该人脸识别方法包括所述的人脸质量判决方法,还包括:
S5提取质量分数最高的人脸图像或满足约束条件的人脸图像;
S6将提取的人脸图像与存储于数据库中的人脸图像进行比对,并输出比对结果;
S7根据所述比对结果执行相应操作。
于一实施例中,提取人脸图像的方法包括:对于视频输入的图像序列,每幅人脸图像都将会预测一个分数,当分数大于一个阈值时,可以结束视频图像序列的输入,直接选择大于某个阈值的分数图像进行识别。或者输入一段图像序列,提取一组图像质量分数,自动筛选掉小于某些阈值的图像,将其他优质图像序列输入到人脸识别模块进行识别。或者输入的一段图像序列,将质量分数组归一化到[0,1]作为每张人脸图像的权重,一起输入到人脸识别模块6中,在识别模块中提取图像特征的过程中对于不同质量分数的图像特征赋予不同的权重。
本发明还提供一种设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器存储的计算机程序,以使所述设备执行所述的寻优方法。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specifi。工ntegrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是内部存储单元或外部存储设备,例如插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,所述存储器还可以既包括内部存储单元,也包括外部存储设备。所述存储器用于存储所述计算机程序以及其他程序和数据。所述存储器还可以用于暂时地存储己经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的藕合或直接藕合或通讯连接可以是通过一些接口,装置或单元的间接藕合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸质量判决系统,其特征在于,该系统包括:
视频采集模块,用于采集包含被识别者的视频序列;
视频存储模块,用于将所述视频采集模块所采集到的所述视频序列进行存储;
人脸检测模块,用于根据所述视频序列检测出人脸图像;
质量判决模块,用于将所述人脸检测模块所检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数。
2.根据权利要求1所述的一种人脸质量判决系统,其特征在于,所述卷积神经网络模型至少包括:
第一卷积层,用于提取人脸图像的低维信息;
最大值池化层,用于对所述低维信息进行降维操作;
第二卷积层,包括多个卷积子层,每个所述卷积子层输出多通道特征图;
Contact输出层,用于将所述每个卷积子层输出的多通道特征图进行合并;
第三卷积层,用于将所述Contact输出层输出的多通道特征图转换成单通道特征图;
平均值池化层,用于对所述单通道特征图中的所有点进行求和取平均的操作;
将特征图中的所有点进行求和取平均的操作,则特征图中的所有点的平均值为预测出的图像质量分数。
3.一种人脸质量判决方法,其特征在于,该方法包括:
采集包含被识别者的视频序列;
将所述视频序列进行存储;
根据所述视频序列检测出人脸图像;
将检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数。
4.根据权利要求3所述的一种人脸质量判决方法,其特征在于,将检测出的人脸图像作为训练好的卷积神经网络模型的输入,预测出人脸图像的质量分数,包括:
提取人脸图像的低维信息;
对所述低维信息进行降维操作;
输出多个多通道特征图;
对多个多通道特征图进行合并;
将合并后的多通道特征图转换成单通道特征图;
对所述单通道特征图中的所有点进行求和取平均的操作;
将特征图中的所有点进行求和取平均的操作,则特征图中的所有点的平均值为预测出的图像质量分数。
其中,M为特征图的行数,N为特征图的列数,I为特征图,最终预测出图像的质量分数,利用Euclidean Loss进行目标约束,
其中,L代表输入特征向量维度,x表示预测的质量分数,y表示ground-truth。
5.一种计算机可读存储介质,存储计算机程序,其特征在于,所述计算机程序被处理器运行时执行如权利要求3或4项所述的判决方法。
6.一种设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器存储的计算机程序,以使所述设备执行如权利要求3或4所述的判决方法。
7.一种人脸识别系统,其特征在于,该人脸识别系统包括如权利要求1或2所述的人脸质量判决系统,还包括:
人脸提取模块,用于提取质量分数最高的人脸图像或满足约束条件的人脸图像;
人脸识别模块,用于将所述人脸提取模块提取的人脸图像与存储于数据库中的人脸图像进行比对,并输出比对结果;
控制平台,用于根据人脸识别模块反馈的比对结果执行相应操作。
8.根据权利要求7所述的一种人脸识别系统,其特征在于,所述人脸提取模块提取人脸图像的方法包括:
提取质量分数大于第一阈值且质量分数与第一阈值最接近的人脸图像,或在一组质量分数中,提取质量分数大于第二阈值的所有人脸图像,或将质量分数组归一化到[0,1]作为每张人脸图像的权重,所述人脸识别模块对于不同质量分数的图像特征赋予不同的权重。
9.一种人脸识别方法,其特征在于,该人脸识别方法包括如权利要求3或4所述的人脸质量判决方法,还包括:
提取质量分数最高的人脸图像或满足约束条件的人脸图像;
将提取的人脸图像与存储于数据库中的人脸图像进行比对,并输出比对结果;
根据所述比对结果执行相应操作。
10.根据权利要求9所述的一种人脸识别方法,其特征在于,提取人脸图像的方法包括:
提取质量分数大于第一阈值且质量分数与第一阈值最接近的人脸图像,或在一组质量分数中,提取质量分数大于第二阈值的所有人脸图像,或将质量分数组归一化到[0,1]作为每张人脸图像的权重,在人脸识别过程中对于不同质量分数的图像特征赋予不同的权重。
CN201910078852.5A 2019-01-28 2019-01-28 一种人脸质量判决方法、系统及人脸识别方法、系统 Active CN109871780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910078852.5A CN109871780B (zh) 2019-01-28 2019-01-28 一种人脸质量判决方法、系统及人脸识别方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910078852.5A CN109871780B (zh) 2019-01-28 2019-01-28 一种人脸质量判决方法、系统及人脸识别方法、系统

Publications (2)

Publication Number Publication Date
CN109871780A true CN109871780A (zh) 2019-06-11
CN109871780B CN109871780B (zh) 2023-02-10

Family

ID=66918179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910078852.5A Active CN109871780B (zh) 2019-01-28 2019-01-28 一种人脸质量判决方法、系统及人脸识别方法、系统

Country Status (1)

Country Link
CN (1) CN109871780B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348378A (zh) * 2019-07-10 2019-10-18 北京旷视科技有限公司 一种认证方法、装置和存储介质
CN110489955A (zh) * 2019-08-23 2019-11-22 中国工商银行股份有限公司 应用于电子设备的图像处理、装置、计算设备、介质
CN110558972A (zh) * 2019-08-27 2019-12-13 安徽心之声医疗科技有限公司 一种心电信号深度学习模型的轻量化方法
CN110781740A (zh) * 2019-09-20 2020-02-11 网宿科技股份有限公司 一种视频画质识别方法、系统及设备
CN111274919A (zh) * 2020-01-17 2020-06-12 桂林理工大学 基于卷积神经网络的五官检测方法、系统、服务器及介质
CN111340213A (zh) * 2020-02-19 2020-06-26 浙江大华技术股份有限公司 神经网络的训练方法、电子设备、存储介质
CN112329638A (zh) * 2020-11-06 2021-02-05 上海优扬新媒信息技术有限公司 一种图像打分方法、装置和系统
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544705A (zh) * 2013-10-25 2014-01-29 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
US20160358321A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN107944416A (zh) * 2017-12-06 2018-04-20 成都睿码科技有限责任公司 一种通过视频进行真人验证的方法
CN108108676A (zh) * 2017-12-12 2018-06-01 北京小米移动软件有限公司 人脸识别方法、卷积神经网络生成方法及装置
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108765394A (zh) * 2018-05-21 2018-11-06 上海交通大学 基于质量评价的目标识别方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN109086799A (zh) * 2018-07-04 2018-12-25 江苏大学 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544705A (zh) * 2013-10-25 2014-01-29 华南理工大学 一种基于深度卷积神经网络的图像质量测试方法
US20160358321A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN107944416A (zh) * 2017-12-06 2018-04-20 成都睿码科技有限责任公司 一种通过视频进行真人验证的方法
CN108108676A (zh) * 2017-12-12 2018-06-01 北京小米移动软件有限公司 人脸识别方法、卷积神经网络生成方法及装置
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108765394A (zh) * 2018-05-21 2018-11-06 上海交通大学 基于质量评价的目标识别方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN109086799A (zh) * 2018-07-04 2018-12-25 江苏大学 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李秋珍: "基于卷积神经网络的人脸图像质量评价", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348378A (zh) * 2019-07-10 2019-10-18 北京旷视科技有限公司 一种认证方法、装置和存储介质
CN110489955A (zh) * 2019-08-23 2019-11-22 中国工商银行股份有限公司 应用于电子设备的图像处理、装置、计算设备、介质
CN110489955B (zh) * 2019-08-23 2021-07-27 中国工商银行股份有限公司 应用于电子设备的图像处理、装置、计算设备、介质
CN110558972A (zh) * 2019-08-27 2019-12-13 安徽心之声医疗科技有限公司 一种心电信号深度学习模型的轻量化方法
CN110781740A (zh) * 2019-09-20 2020-02-11 网宿科技股份有限公司 一种视频画质识别方法、系统及设备
CN110781740B (zh) * 2019-09-20 2023-04-07 网宿科技股份有限公司 一种视频画质识别方法、系统及设备
CN111274919A (zh) * 2020-01-17 2020-06-12 桂林理工大学 基于卷积神经网络的五官检测方法、系统、服务器及介质
CN111340213A (zh) * 2020-02-19 2020-06-26 浙江大华技术股份有限公司 神经网络的训练方法、电子设备、存储介质
CN112329638A (zh) * 2020-11-06 2021-02-05 上海优扬新媒信息技术有限公司 一种图像打分方法、装置和系统
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109871780B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN109871780A (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN108090433B (zh) 人脸识别方法及装置、存储介质、处理器
CN111008640B (zh) 图像识别模型训练及图像识别方法、装置、终端及介质
CN108921061A (zh) 一种表情识别方法、装置和设备
CN109376615A (zh) 用于提升深度学习网络预测性能的方法、装置及存储介质
CN106599854B (zh) 基于多特征融合的人脸表情自动识别方法
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN107633207A (zh) Au特征识别方法、装置及存储介质
CN108875522A (zh) 人脸聚类方法、装置和系统及存储介质
CN107958230B (zh) 人脸表情识别方法及装置
CN104063719A (zh) 基于深度卷积网络的行人检测方法及装置
CN109472209A (zh) 一种图像识别方法、装置和存储介质
CN110490238A (zh) 一种图像处理方法、装置及存储介质
CN111061898A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111597870A (zh) 一种基于注意力机制与多任务学习的人体属性识别方法
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN109886110A (zh) 微表情评分方法、装置、计算机设备及存储介质
Wang et al. S 3 d: scalable pedestrian detection via score scale surface discrimination
CN109376766A (zh) 一种画像预测分类方法、装置及设备
CN109885597A (zh) 基于机器学习的用户分群处理方法、装置及电子终端
CN106874913A (zh) 一种菜品检测方法
CN107967461A (zh) Svm 差分模型训练及人脸验证方法、装置、终端及存储介质
CN110096991A (zh) 一种基于卷积神经网络的手语识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant