CN109784230A - 一种人脸视频图像质量寻优方法、系统及设备 - Google Patents

一种人脸视频图像质量寻优方法、系统及设备 Download PDF

Info

Publication number
CN109784230A
CN109784230A CN201811632469.1A CN201811632469A CN109784230A CN 109784230 A CN109784230 A CN 109784230A CN 201811632469 A CN201811632469 A CN 201811632469A CN 109784230 A CN109784230 A CN 109784230A
Authority
CN
China
Prior art keywords
image
score
facial
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811632469.1A
Other languages
English (en)
Inventor
张丽君
邵枭虎
高敏
徐卉
杨飞
石宇
周祥东
程俊
罗代建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN201811632469.1A priority Critical patent/CN109784230A/zh
Publication of CN109784230A publication Critical patent/CN109784230A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供一种人脸视频图像质量寻优方法,该寻优方法包括:采集包含人脸的视频序列;提取所述视频序列中的目标人脸图像;对所述目标人脸图像进行无参考质量评估。利用帧间差分法提取所述视频序列中的目标人脸图像。本发明对于视频序列图像进行无参考的质量评估,对同一身份的每张图片给出质量分数,实现对优质图像的筛选和质量低劣图像的滤除。

Description

一种人脸视频图像质量寻优方法、系统及设备
技术领域
本发明涉及数字图像处理技术领域,具体涉及一种人脸视频图像质量寻优方法及系统。
背景技术
在基于视频的人脸识别中,通常是将视频序列中一个身份的多张图片取出来进行人脸识别模型训练。视频序列通常由在各种复杂的非限定环境下拍摄的多帧人脸图像组成,图像通常会随着视频帧的变化而具有不同的光照、遮挡、模糊、偏转角度、焦距等影响。因此同一个身份的所有图像中可能包括很多光照不均、遮挡严重、模糊、失焦等质量较差的图像,直接将这些图像用于人脸识别模型训练,会降低人脸识别模型的性能。而利用质量较好图片进行模型训练,可以有效增强模型的识别能力,因此筛选出视频序列图片中的质量优良图片对于基于视频的人脸识别十分重要。
目前视频图像质量评估方法分为主观评价和和客观评价。主观评价是通过观察者对图像质量经验性地给出质量分数,依赖于观察者的经验及标准,稳定性较差。客观评价方法主要包括全参考帧、半参考帧和无参考帧的测量方法,全参考和半参考方法均需要依赖于参考的标准人脸图像帧,无参考方法成为研究的重点和难点。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种人脸视频图像质量寻优方法及系统,用于筛选出人脸视频序列中同一身份的优质人脸图像。
为实现上述目的及其他相关目的,本发明提供一种人脸视频图像质量寻优方法,该寻优方法包括:
采集包含人脸的视频序列;
提取所述视频序列中的目标人脸图像;
对所述目标人脸图像进行无参考质量评估。
可选地,利用帧间差分法提取所述视频序列中的目标人脸图像。
可选地,所述利用帧间差分法提取所述视频序列中的目标人脸图像,具体包括:
根据视频序列中的第n帧及其前后多帧的图像计算所述第n帧及其前后多帧的图像对应的像素点;
计算第n帧及其前后多帧的图像之间的差分图像;
将第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像进行与操作以获得第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像的共同目标图像;
对所述共同目标图像进行连通性分析。
可选地,对所述目标人脸图像进行无参考质量评估,具体包括:
计算所述目标人脸图像的光照度分数、模糊度分数和偏转度分数;
对所述光照度分数、模糊度分数和偏转度分数进行加权平均得到人脸图像综合质量分数。
可选地,计算所述目标人脸图像的当照度分数,具体包括:
将所述目标人脸图像灰度化;
设图像总的光阶数为灰度值总数n,每个灰度值对应于一个光照度分数;
通过灰度直方图统计每个光阶的数量,从而获得整个人脸图像总的光照度分数。
可选地,计算所述目标人脸图像的模糊度分数,具体包括:
将所述目标人脸图像灰度化;
采用窗函数将目标人脸图像进行分块;
获取每一块分块区域不同方向的边缘;
计算每一块分块区域的平均边缘;
计算所有分块区域的边缘之和并对所述边缘之和进行归一化。
可选地,计算所述目标人脸图像的偏转度分数,具体包括:
检测人脸目标图像的多个偏转角度;
计算多个角度偏转的平均值得到人脸偏转度分数Sp,其中N指角度方向的个数,P指角度大小的范围,Pij指第i张图像在第j个方向的角度大小;
可选地,利用CNN网络模型检测人脸目标图像的多个偏转角度。
为实现上述目的及其他相关目的,本发明还提供一种人脸视频图像质量寻优系统,该寻优系统包括:
视频采集模块,用于采集包含人脸的视频序列;
图像提取模块,用于提取所述视频序列中的目标人脸图像;
评估模块,用于对所述目标人脸图像进行无参考质量评估。
为实现上述目的及其他相关目的,本发明还提供一种设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器存储的计算机程序,以使所述设备执行所述的寻优方法。
如上所述,本发明的一种人脸视频图像质量寻优方法及系统,具有以下有益效果:
本发明对于视频序列图像进行无参考的质量评估,对同一身份的每张图片给出质量分数,实现对优质图像的筛选和质量低劣图像的滤除。该方法用在人脸识别训练端可有效筛选出优质图像用人脸识别模型训练,用于测试端能够优选出质量优良的测试图像,可有效提升基于视频的人脸识别性能。
附图说明
图1为本发明所述的一种人脸视频图像质量寻优方法的流程图;
图2为利用帧间差分法提取所述视频序列中的目标人脸图像的流程图;
图3为对目标人脸图像进行无参考质量评估的流程图;
图4为计算所述目标人脸图像的光照度分数的流程图;
图5为计算所述目标人脸图像的模糊度分数的流程图;
图6为计算所述目标人脸图像的偏转度分数的流程图;
图7为CNN网络模型示意图;
图8为本发明所述的一种人脸视频图像质量寻优系统的框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
如图1所示,本发明提供一种人脸视频图像质量寻优方法,该方法包括:
S1.采集包含人脸的视频序列;
S2.提取所述视频序列中的目标人脸图像;
S3.对所述目标人脸图像进行无参考质量评估。
由于实际应用中视频中的目标通常是动态变化的,因此,在步骤S1中,利用帧间差分法提取所述视频序列中的目标人脸图像。如图2所示,具体地,
S21根据视频序列中的第n帧及其前后多帧的图像计算所述第n帧及其前后多帧的图像对应的像素点;
S22计算第n帧及其前后多帧的图像之间的差分图像;
S23将第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像进行与操作以获得第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像的共同目标图像;
S24对所述共同目标图像进行连通性分析。
更加具体地,
设视频序列中第n帧及其前后多帧的图像分别表示为In-m、...、In-1、In、In+1、...、In+m
则各帧对应像素点的灰度值记为In-m(x,y)、...、In-1(x,y)、In(x,y)、In+1(x,y)、...、In+m(x,y),
计算各帧图像间的差分图像Dn-m-1、...、Dn-2、Dn-1、Dn、...、Dn+m-1
比如,分别记视频序列中第n帧、第n-1帧和第n-2帧图像为In、In-1和In-2,则对应像素点的灰度值记为In(x,y)、In-1(x,y)和In-2(x,y),将相邻两帧图像对应像素点的灰度值进行相减,并取其绝对值,得到差分图像Dn和Dn-1,则
Dn=|In(x,y)-In-1(x,y)|,Dn-1=|In-1(x,y)-In-2(x,y)|,
对Dn,Dn-1进行与操作提取差分图像间的共同目标图像Dn',
图像与操作:先分别求取各差分图像前景与背景的分离阈值Tn-m-1,...,Tn-1,Tn,...,Tn+m+1,来对它们进行二值化处理,获取各差分图像的二值化图像Bn-m-1,…,Bn-1,Bn,…,Bn+m-1,再对它们进行像素级的逻辑与操作其中(j,k)指图像像素坐标,(M,N)指图像像素坐标范围。
再设置阈值T对其进行前景人脸与背景的区分处理,对分离前景与背景后的图像进行连通性分析,最终提取出人脸目标图像。
对于第i帧图像,利用循环迭代方法来获取前景与背景的分离阈值T的最优值,方法如下:
(1)设置初始阈值T0,T0=(gmax+gmin)/2,其中gmax,gmin分别为图像i的最大和最小灰度值。
(2)基于初始阈值T0,初始分割前景与背景,并求取前景与背景的平均灰度值Gf,Gb
(3)获取最终阈值T:Tk=(Gb+Gf)/2,当Tk=Tk+1时T=Tk
阈值T的选择会直接影响目标的准确性,若太大可能丢失目标图像信息,若太小会增加背景噪声的影响。连通性分析可以采用对图像先进行膨胀处理,增强图像的轮廓目标信息,再进行腐蚀处理,去除边缘背景噪声。
实际拍摄的人脸视频会因各种因素的影响而使得人脸图像的质量参差不齐,主要影响因素包括复杂光照条件引起的图像不均匀光照,相机抖动或失焦导致的图像模糊,人姿态各异产生的不同人脸角度等。光照太强或太暗,图像过于模糊都会使图像的有用信息丢失,增大模型识别的难度。对于同一个身份,不同角度图像使其信息更加全面,因此会增强模型的鲁棒性,但角度太大时图像信息不明确,反而使模型识别能力降低。因此本实施例主要从光照、模糊、角度几方面进行人脸图像的无参考质量评估。
因此,如图3所示,在步骤S3中,对所述目标人脸图像进行无参考质量评估,具体包括:
S31计算所述目标人脸图像的光照度分数、模糊度分数和偏转度分数;
S32对所述光照度分数、模糊度分数和偏转度分数进行加权平均得到人脸图像综合质量分数。
具体地,如图4所示,在步骤S32中,计算所述目标人脸图像的光照度分数,具体包括:
S311将所述目标人脸图像灰度化;
S312设图像总的光阶数为灰度值总数n,每个灰度值对应于一个光照度分数;
S313通过灰度直方图统计每个光阶的数量,从而获得整个人脸图像总的光照度分数。
更加具体地,将目标人脸图像灰度化,设图像总的光阶数为灰度值总数256,每个灰度值对应于一个光照度分数,通过灰度直方图统计每个光阶的数量,从而获得整个人脸图像总的光照度分数。设每个光阶i的数量为Ni,每个光阶i的光照度分数为si,则整个人脸图像的光照分数为SI表示为式(1):
由于清晰图像相对于模糊图像通常具有更加清楚的边缘,因此通过对图像进行边缘检测来实现清晰度评估。如图5所示,在步骤S32中,计算所述目标人脸图像的模糊度分数,具体包括:
S321将所述目标人脸图像灰度化;
S322采用窗函数将目标人脸图像进行分块;
S323获取每一块分块区域不同方向的边缘;
S324计算每一块分块区域的平均边缘;
S325计算所有分块区域的边缘之和并对所述边缘之和进行归一化。
具体地,将目标人脸图像灰度化,并采用窗函数将图像分块,窗函数移动不重叠,对每一块分别利用0°,45°,90°,135°的Sobel算子来获取分块区域不同方向的边缘,通过计算其平均值获得每一块的平均边缘。图像整体模糊度为所有分块区域的边缘之和,将其归一化到0至1范围内,即为图像模糊度分数,表示为Sc。图像越清晰,其值越大。
如图6所示,在步骤S32中,计算所述目标人脸图像的偏转度分数,具体包括:
S331检测人脸目标图像的多个偏转角度;
S332计算多个角度偏转的平均值得到人脸偏转度分数Sp
具体地,利用层数较少的CNN网络模型用来检测人脸偏转的多个角度,通过计算多个角度偏转的平均程度得到人脸偏转度分数Sp,如式(2)所示,其中N指角度方向的个数,P指角度大小的范围,Pij指第i张图像在第j个方向的角度大小。
CNN网络模型如图7所示。输入图片大小为60*60,网络由四个卷积层、三个最大池化层、一个全连接层组成,全连接层的loss选用softmax函数。
人脸图像综合质量分数:综合质量分数通过对各项分数进行加权平均获取,表示为式(3)
其中L代表上述三种类型,L=1,2,3,ω123分别为光照度分数、模糊度分数和偏转度分数所占权重,∑ωL=1,为光照度分数或模糊度分数或偏转度分数。为了增加综合质量分数的可靠度,当某一类的质量分数较低时,应增大其对图像综合质量的影响,此时其对应权值变大。
比如,光照度分数较低时,可以增大光照度分数所对应的权值,模糊度分数和偏转度分数按类似的方式处理。
本发明为了筛选出人脸视频序列中同一身份的优质人脸图像,在利用帧间差分法考虑帧间信息基础上,再基于光照、模糊、角度等信息考虑图像帧内信息,评估图像质量,实现视频序列人脸图像的质量寻优。该方法用在人脸识别训练端可有效筛选出优质图像用人脸识别模型训练,用于测试端能够优选出质量优良的测试图像,可有效提升基于视频的人脸识别性能。
如图8所示,本发明还提供一种人脸视频图像质量寻优系统,该寻优系统包括视频采集模块1、图像提取模块2和评估模块3。
所述视频采集模块1,用于采集包含人脸的视频序列;
所述图像提取模块2,用于提取所述视频序列中的目标人脸图像;
所述评估模块3,用于对所述目标人脸图像进行无参考质量评估。
所述视频采集模块利用帧间差分法提取所述视频序列中的目标人脸图像,该模块具体包括:
像素点计算子模块,用于根据视频序列中的第n帧及其前后多帧的图像计算所述第n帧及其前后多帧的图像对应的像素点;
差分图像计算子模块,用于计算第n帧及其前后多帧的图像之间的差分图像;
共同目标图像计算子模块,用于将第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像进行与操作以获得第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像的共同目标图像;
连接性分析子模块,用于对所述共同目标图像进行连通性分析。
所述评估子模块包括:
光照度分数计算单元,用于计算所述目标人脸图像的光照度分数;
模糊度分数计算单元,用于计算所述目标人脸图像的模糊度分数;
偏转度分数计算单元,用于计算所述目标人脸图像的光偏转度分数;
图像综合质量分数计算单元,用于对所述光照度分数、模糊度分数和偏转度分数进行加权平均得到人脸图像综合质量分数。
所述光照度分数计算单元包括:
第一灰度化子单元,用于将所述目标人脸图像灰度化;
设图像总的光阶数为灰度值总数n,每个灰度值对应于一个光照度分数;
光阶统计子单元,用于通过灰度直方图统计每个光阶的数量,从而获得整个人脸图像总的光照度分数SI
其中,每个光阶i的数量为Ni,每个光阶i的光照度分数为si
所述模糊度分数计算单元包括:
第二灰度化子单元,用于将所述目标人脸图像灰度化;
分块子单元,用于采用窗函数将目标人脸图像进行分块;
第一边缘计算子单元,用于获取每一块分块区域不同方向的边缘;
第二边缘计算子单元,用于计算每一块分块区域的平均边缘;
求和单元,用于计算所有分块区域的边缘之和并对所述边缘之和进行归一化。
具体地,将目标人脸图像灰度化,并采用窗函数将图像分块,窗函数移动不重叠,对每一块分别利用0°,45°,90°,135°的Sobel算子来获取分块区域不同方向的边缘,通过计算其平均值获得每一块的平均边缘。图像整体模糊度为所有分块区域的边缘之和,将其归一化到0至1范围内,即为图像模糊度分数,表示为Sc。图像越清晰,其值越大。
所述偏转度分数计算单元,包括:
偏转角度检测子单元,用于检测人脸目标图像的多个偏转角度;
偏转度计算子单元,用于计算多个角度偏转的平均值得到人脸偏转度分数Sp
其中N指角度方向的个数,P指角度大小的范围,Pij指第i张图像在第j个方向的角度大小。
人脸图像综合质量分数:综合质量分数通过对各项分数进行加权平均获取,表示为
其中L代表上述三种类型,L=1,2,3,ω123分别为光照度分数、模糊度分数和偏转度分数所占权重,∑ωL=1,为光照度分数或模糊度分数或偏转度分数。为了增加综合质量分数的可靠度,当某一类的质量分数较低时,应增大其对图像综合质量的影响,此时其对应权值变大。
本发明还提供一种设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器存储的计算机程序,以使所述设备执行所述的寻优方法。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specifi。工ntegrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是内部存储单元或外部存储设备,例如插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。进一步地,所述存储器还可以既包括内部存储单元,也包括外部存储设备。所述存储器用于存储所述计算机程序以及其他程序和数据。所述存储器还可以用于暂时地存储己经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的藕合或直接藕合或通讯连接可以是通过一些接口,装置或单元的间接藕合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸视频图像质量寻优方法,其特征在于,该寻优方法包括:
采集包含人脸的视频序列;
提取所述视频序列中的目标人脸图像;
对所述目标人脸图像进行无参考质量评估。
2.根据权利要求1所述的一种人脸视频图像质量寻优方法,其特征在于,利用帧间差分法提取所述视频序列中的目标人脸图像。
3.根据权利要求2所述的一种人脸视频图像质量寻优方法,其特征在于,所述利用帧间差分法提取所述视频序列中的目标人脸图像,具体包括:
根据视频序列中的第n帧及其前后多帧的图像计算所述第n帧及其前后多帧的图像对应的像素点;
计算第n帧及其前后多帧的图像之间的差分图像;
将第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像进行与操作以获得第n帧图像与第n-1帧图像之间的差分图像与将第n-1帧图像与第n-2帧图像之间的差分图像的共同目标图像;
对所述共同目标图像进行连通性分析。
4.根据权利要求3所述的一种人脸视频图像质量寻优方法,其特征在于,对所述目标人脸图像进行无参考质量评估,具体包括:
计算所述目标人脸图像的光照度分数、模糊度分数和偏转度分数;
对所述光照度分数、模糊度分数和偏转度分数进行加权平均得到人脸图像综合质量分数。
5.根据权利要求4所述的一种人脸视频图像质量寻优方法,其特征在于,计算所述目标人脸图像的光照度分数,具体包括:
将所述目标人脸图像灰度化;
设图像总的光阶数为灰度值总数n,每个灰度值对应于一个光照度分数;
通过灰度直方图统计每个光阶的数量,获得整个人脸图像总的光照度分数。
6.根据权利要求4所述的一种人脸视频图像质量寻优方法,其特征在于,计算所述目标人脸图像的模糊度分数,具体包括:
将所述目标人脸图像灰度化;
采用窗函数将目标人脸图像进行分块;
获取每一块分块区域不同方向的边缘;
计算每一块分块区域的平均边缘;
计算所有分块区域的边缘之和并对所述边缘之和进行归一化。
7.根据权利要求4所述的一种人脸视频图像质量寻优方法,其特征在于,计算所述目标人脸图像的偏转度分数,具体包括:
检测人脸目标图像的多个偏转角度;
计算多个角度偏转的平均值得到人脸偏转度分数Sp,其中N指角度方向的个数,P指角度大小的范围,Pij指第i张图片在第j个方向的角度大小;
8.根据权利要求4所述的一种人脸视频图像质量寻优方法,其特征在于,利用CNN网络模型检测人脸目标图像的多个偏转角度。
9.一种人脸视频图像质量寻优系统,其特征在于,该寻优系统包括:
视频采集模块,用于采集包含人脸的视频序列;
图像提取模块,用于提取所述视频序列中的目标人脸图像;
评估模块,用于对所述目标人脸图像进行无参考质量评估。
10.一种设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器存储的计算机程序,以使所述设备执行如权利要求1~8任意一项所述的寻优方法。
CN201811632469.1A 2018-12-29 2018-12-29 一种人脸视频图像质量寻优方法、系统及设备 Pending CN109784230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811632469.1A CN109784230A (zh) 2018-12-29 2018-12-29 一种人脸视频图像质量寻优方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811632469.1A CN109784230A (zh) 2018-12-29 2018-12-29 一种人脸视频图像质量寻优方法、系统及设备

Publications (1)

Publication Number Publication Date
CN109784230A true CN109784230A (zh) 2019-05-21

Family

ID=66498850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811632469.1A Pending CN109784230A (zh) 2018-12-29 2018-12-29 一种人脸视频图像质量寻优方法、系统及设备

Country Status (1)

Country Link
CN (1) CN109784230A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN112445935A (zh) * 2020-11-25 2021-03-05 开望(杭州)科技有限公司 一种基于内容分析的视频精选合集的自动生成方法
CN113076813A (zh) * 2021-03-12 2021-07-06 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置
CN113435428A (zh) * 2021-08-27 2021-09-24 深圳市爱深盈通信息技术有限公司 基于相册选取大头贴的方法、电子设备与存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819681A (zh) * 2009-12-16 2010-09-01 东南大学 权值自适应调整的加权平均背景更新方法
CN102421008A (zh) * 2011-12-07 2012-04-18 浙江捷尚视觉科技有限公司 视频质量智能检测系统
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置
CN107767367A (zh) * 2017-09-26 2018-03-06 天津大学 一种针对hdr图的无参考质量客观评价方法
US20180189937A1 (en) * 2017-01-04 2018-07-05 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108664839A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 一种图像处理方法和设备
CN108875542A (zh) * 2018-04-04 2018-11-23 北京旷视科技有限公司 一种人脸识别方法、装置、系统及计算机存储介质
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819681A (zh) * 2009-12-16 2010-09-01 东南大学 权值自适应调整的加权平均背景更新方法
CN102421008A (zh) * 2011-12-07 2012-04-18 浙江捷尚视觉科技有限公司 视频质量智能检测系统
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置
US20180189937A1 (en) * 2017-01-04 2018-07-05 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
CN108664839A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 一种图像处理方法和设备
CN107767367A (zh) * 2017-09-26 2018-03-06 天津大学 一种针对hdr图的无参考质量客观评价方法
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108875542A (zh) * 2018-04-04 2018-11-23 北京旷视科技有限公司 一种人脸识别方法、装置、系统及计算机存储介质
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蒋少华著: "《多源图像处理技术》", 31 July 2012 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244032A1 (zh) * 2019-06-03 2020-12-10 罗普特科技集团股份有限公司 用于检测人脸图像的方法和装置
CN112445935A (zh) * 2020-11-25 2021-03-05 开望(杭州)科技有限公司 一种基于内容分析的视频精选合集的自动生成方法
CN112445935B (zh) * 2020-11-25 2023-07-04 开望(杭州)科技有限公司 一种基于内容分析的视频精选合集的自动生成方法
CN113076813A (zh) * 2021-03-12 2021-07-06 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置
CN113076813B (zh) * 2021-03-12 2024-04-12 首都医科大学宣武医院 面具脸特征识别模型训练方法和装置
CN113435428A (zh) * 2021-08-27 2021-09-24 深圳市爱深盈通信息技术有限公司 基于相册选取大头贴的方法、电子设备与存储介质
CN113435428B (zh) * 2021-08-27 2021-12-31 深圳市爱深盈通信息技术有限公司 基于相册选取大头贴的方法、电子设备与存储介质

Similar Documents

Publication Publication Date Title
CN112949565B (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN109784230A (zh) 一种人脸视频图像质量寻优方法、系统及设备
CN110378931A (zh) 一种基于多摄像头的行人目标移动轨迹获取方法及系统
CN110427905A (zh) 行人跟踪方法、装置以及终端
CN103116763B (zh) 一种基于hsv颜色空间统计特征的活体人脸检测方法
Faraji et al. Face recognition under varying illuminations using logarithmic fractal dimension-based complete eight local directional patterns
CN108549886A (zh) 一种人脸活体检测方法及装置
CN110097115B (zh) 一种基于注意力转移机制的视频显著性物体检测方法
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN105160318A (zh) 基于面部表情的测谎方法及系统
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN110136144B (zh) 一种图像分割方法、装置及终端设备
Yao et al. Improving long range and high magnification face recognition: Database acquisition, evaluation, and enhancement
CN111462128A (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
Ling et al. Image quality assessment for free viewpoint video based on mid-level contours feature
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN114529593A (zh) 红外与可见光图像配准方法、系统、设备、图像处理终端
CN112287802A (zh) 人脸图像检测方法、系统、存储介质及设备
CN114170537A (zh) 一种多模态三维视觉注意力预测方法及其应用
CN109815823A (zh) 数据处理方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521