CN114783020A - 基于新型对抗学习去模糊理论的动态人脸识别方法 - Google Patents

基于新型对抗学习去模糊理论的动态人脸识别方法 Download PDF

Info

Publication number
CN114783020A
CN114783020A CN202210352184.2A CN202210352184A CN114783020A CN 114783020 A CN114783020 A CN 114783020A CN 202210352184 A CN202210352184 A CN 202210352184A CN 114783020 A CN114783020 A CN 114783020A
Authority
CN
China
Prior art keywords
picture
deblurring
face
processing
deblurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210352184.2A
Other languages
English (en)
Other versions
CN114783020B (zh
Inventor
张晖
赵上辉
赵海涛
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210352184.2A priority Critical patent/CN114783020B/zh
Publication of CN114783020A publication Critical patent/CN114783020A/zh
Application granted granted Critical
Publication of CN114783020B publication Critical patent/CN114783020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于新型对抗学习去模糊理论的动态人脸识别方法，提升了生成对抗网络的训练速度，避免了找不到纳什平衡点陷入死循环的问题，利用这种新型生成对抗网络对原始模糊图片进行去模糊处理；然后对去模糊后的图片进行模糊度变化率计算，根据模糊度变化率对去模糊后的图片进行分类，对于变化率过高或过低的图片直接进行人脸识别，对于变化率不高且不低的图片添加去模糊后处理模块后再进行人脸识别；本发明采用了新型DeblurGAN_V2对图像进行去模糊操作，提出了新的训练截止方法，解决了生成对抗网络模型训练困难的问题，引入了人脸模糊度计算方法对于输出的图片分类操作，添加了去模糊后处理优化结果，有广阔的应用场景。

Description

基于新型对抗学习去模糊理论的动态人脸识别方法
技术领域
本发明属于深度学习领域与计算机视觉领域，具体涉及基于新型对抗学习去模糊理论的动态人脸识别方法。
背景技术
随着互联网技术的飞速发展，算法对数据进行处理的能力也得到了极大的提高，伴随大数据技术的高速发展，会产生诸如信息安全等相关问题的隐患，使得信息识别以及检测等相关技术手段显得尤为重要。人脸识别技术的出现解决了这些问题。相较于传统的使用磁卡或是身份证等带有磁力密码的手段，人脸识别作为一个人体的固有特征，对于单个人来说是固定不变的，对于不同人来说是无法重复的，人脸是一种生物特征，由每个人唯一不变的基因决定，通过人脸来识别身份既简便又快捷，因此人脸识别的快速发展是社会前进的必要趋势。
面向社会场景下的动态人脸识别，由于不需要被识别人主动配合摄像机进行静态人脸识别，因此经常会导致摄像机抓拍到的人脸图像存在各种模糊问题，主要体现在抓拍运动中人脸而出现的运动模糊和因为摄像机没来得及对焦远近物体而出现的对焦模糊。目前市面上各式各样的去模糊算法应运而生，以生成对抗网络为主的去模糊算法得到了广泛应用，虽然当下的去模糊算法的运行效果都很好，几乎不会产生图像失真的问题，但在运行速度上几乎都达不到动态人脸识别的实时性要求。
发明内容
本发明的目的在于提供基于新型对抗学习去模糊理论的动态人脸识别方法，以解决现有技术中对抗网络DeblurGAN_V2找不到纳什平衡点陷入死循环，对模糊人脸图片识别速度慢的问题。
为实现上述目的，本发明提供如下技术方案：基于新型对抗学习去模糊理论的动态人脸识别方法，基于各个原始模糊人脸图片，执行步骤A获得各个原始模糊人脸图片对应的去一次模糊处理图片，然后执行步骤B至步骤C获得基于预设人脸图片模糊度各变化率分类阈值下的各一次模糊后处理图片的各个划分集合，之后根据所述各一次去模糊后处理图片的划分集合，执行人脸识别方法，得到各原始模糊人脸图片的人脸识别结果；
步骤A：基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，随后进入步骤B；
步骤B：应用人脸模糊度方法，针对各个一次去模糊后图片进行处理，获得各个一次去模糊处理后图片的模糊度、以及各个一次去模糊处理后图片的模糊度变化率；随后进入步骤C；
步骤C：根据第一次去模糊处理后图片的模糊度变化率、预设人脸图片模糊度各变化率分类阈值、以及各个一次去模糊处理后图片的模糊度，获得一次去模糊处理后图片模糊度变化率与一次去模糊处理后图片模糊度相结合的划分区间下的一次去模糊后处理图片的各个划分集合。
进一步地，前述的步骤A中，基于对抗网络DeblurGAN_V2去模糊模型的目标训练截止点函数包括全局对抗损失函数、以及训练截止点函数，其中，全局对抗损失函数如下：
Figure BDA0003581109280000031
其中，xg是原始模糊人脸图片，noi是输入噪声，Gen(noi)是生成样本，Pr是清晰图片数据分布，Pg是去模糊图片数据分布，Gen是生成器，Dis是判别器，
Figure BDA0003581109280000032
是损失函数，Dis(xg)是判别器的输出结果；所述训练训练截止点函数为：
ek＝[max(||gk-gk+1||∞,||dk-dk+1||∞)]×Gtrue(1-Dtrue)，其中，ek表示训练截止点，||·||∞表示∞-范数，Gtrue表示生成器的图片通过率，Dtrue表示判别器的识别正确率，gk表示经过k次迭代的生成器状态，dk表示经过k次迭代的判别器状态。
进一步地，前述的步骤B中分别针对各一次去模糊处理后图片，执行以下步骤B1至步骤B12:
步骤B1:针对一次去模糊处理后图片，按如下公式计算一次去模糊处理后图片的亮度掩阈值ΔL：
Figure BDA0003581109280000033
其中，L0表示人眼对于亮度为0的区域边缘的可察觉阈值，L表示输入强度，Γ是预设常数；
步骤B2:针对该一次去模糊处理后图片，计算人脸图像中大小为N×N区域B内以(xfu,yfu)为中心的区域亮度：
Figure BDA0003581109280000041
其中，B(xfu,yfu)表示该一次去模糊处理后图片的区域亮度，
Figure BDA0003581109280000042
为一次去模糊处理后图片；
步骤B3：基于一次去模糊处理后图片的亮度掩阈值ΔL、和一次去模糊处理后图片的区域亮度，针对一次去模糊处理后图片按下公式进行亮度掩盖、背景亮度增强、空间复杂度对一次去模糊处理后图片进行更新，并获得该更新后一次去模糊处理后图片及所述一次去模糊处理后图片的梯度值；
Figure BDA0003581109280000043
其中，M0是一次去模糊处理后图片的平均空间复杂度，M(xfu,yfu)表示像素点(xfu,yfu)处的空间复杂度，ψ是预设常数，
Figure BDA0003581109280000044
表示经过亮度掩盖后的一次去模糊处理后图片在(xfu,yfu)处的梯度值，
Figure BDA0003581109280000045
是更新后的一次去模糊处理后图片梯度值；
步骤B4:针对所述一次去模糊处理后图片，按如下公式用小波变换在每个分辨率级别j(0＜j＜J)提取边缘，获得一次去模糊后处理图片的细节轮廓图的像素点；
Figure BDA0003581109280000046
其中，J表示最高分辨率级别，Nhj表示水平方向，Nvj表示垂直方向，Cj(xfu,yfu)表示像素点(xfu,yfu)对应的细节轮廓图的像素点，Tj表示边缘阈值；
步骤B5：根据一次去模糊后处理图片的细节轮廓图的像素点，按如下公式：
Figure BDA0003581109280000051
计算该一次去模糊后处理图片的能检测到细节轮廓图的感知像素点边缘的概率；其中，w(Cj(xfu,yfu))是检测到的边缘像素宽度，β表示预设失真常数，值固定为3.6，LE和WI表示图片的长和宽，wJNB表示恰可察觉边缘像素的边缘宽度，LCj(xfu,yfu)表示检测到细节轮廓图的像素点边缘的概率，|·|表示取绝对值；
步骤B6:基于检测到细节轮廓图的像素点边缘的概率，按如下公式：
Figure BDA0003581109280000052
计算感知像素点边缘图矩阵PCj，其中，PCj(xfu,yfu)表示感知边缘图矩阵；
步骤B7:分别从垂直和水平两个方向计算感知边缘图的两个相邻像素区域的均值：
Figure BDA0003581109280000053
Figure BDA0003581109280000054
其中，PAhj(xfu,yfu)表示水平方向感知边缘图两个邻域的均值，PAvj(xfu,yfu)表示垂直方向感知边缘图两个邻域的均值；
步骤B8:按如下公式：
Figure BDA0003581109280000061
计算模糊像素，其中，PNBj(xfu,yfu)表示在分辨率j下时，像素点(xfu,yfu)的模糊像素；
步骤B9:按如下公式：
PNEj(xfu,yfu)＝1-PNBj(xfu,yfu)，
计算清晰像素；其中，PNEj(xfu,yfu)表示在分辨率j下时，像素点(xfu,yfu)的清晰像素；
步骤B10:基于获得的不同分辨率水平下的模糊像素PNBj和清晰像素PNEj，计算不同分辨率水平下的模糊像素总数PNBj和清晰像素总数PNEj，然后按如下公式：
Figure BDA0003581109280000062
计算模糊质量因数PQj：
步骤B11:按如下公式：
Figure BDA0003581109280000063
计算人脸模糊度CI；其中，CI表示人脸模糊度，PQj表示模糊质量因数，j是当前分辨率水平，J是最高分辨率水平，上式计算人脸图像模糊度得到的分数范围是[0,1]，随着人脸图像模糊程度的增加，质量分数从0增加到1；
步骤B12:根据人脸模糊度CI，按如下公式：
Figure BDA0003581109280000071
计算人脸模糊度变化率CJ，即该一次去模糊处理后图片的人脸模糊度变化率，其中，
Figure BDA0003581109280000072
表示计算模糊度变化率的初始图片序号，
Figure BDA0003581109280000073
表示计算模糊度变化率的结束图片序号，ξ表示预设察觉边缘阈值常数，取值为0.63，CJ表示一次去模糊处理后人脸模糊度变化率。
进一步地，前述的步骤C中，基于一次去模糊后处理图片模糊度变化率划分阈值、以及各个一次去模糊后处理图片的人脸模糊度变化率的排序，分别针对各个一次去模糊后图片进行划分，获得三个一次去模糊后图片的划分集合S1、划分集合S2、划分集合S3；基于划分集合S3、以及一次去模糊后处理图片的模糊度，针对所述划分集合S3再次划分，获得一次去模糊后处理图片的划分集合S31和划分集合S4；最终以划分集合S1、划分集合S2、划分集合S31、划分集合S4作为一次模糊后处理图片的划分集合。
进一步地，针对划分集合S1中的各个一次去模糊后处理图片、划分集合S2中的各个一次去模糊后处理图片、划分集合S4中的各个一次去模糊后处理图片，执行人脸识别方法W1，获得人脸识别结果；针对划分集合S31中的各个一次去模糊后处理图片执行人脸识别方法W2之后获得二次去模糊后处理图片，之后针对各个二次去模糊后处理图片，执行人脸识别方法W1，获得人脸识别结果。
进一步地，前述的，前述的人脸识别方法W1具体为以下步骤E1至步骤E3；
步骤E1:计算去模糊处理后图片的模糊人脸特征映射矩阵，再将去模糊处理后图片的模糊人脸特征映射矩阵按照如下公式：
Figure BDA0003581109280000081
计算去模糊后处理图片的模糊人脸特征相似度投影矩阵，其中，ε是去模糊后处理图片的模糊人脸特征相似度投影矩阵，WI是去模糊处理后图片的模糊人脸图片宽度，LE是去模糊处理后图片的模糊人脸图片长度，|·|表示取绝对值，dis(a,b)是去模糊处理后图片在映射空间的投影距离，b是去模糊处理后图片在映射空间的纵坐标，a是去模糊处理后图片在映射空间的横坐标；
步骤E2:按照如下公式计算基于三元空间融合去提取去模糊后图片的模糊人脸局部特征描述子：
Figure BDA0003581109280000082
其中，
Figure BDA0003581109280000083
是去模糊处理后图片的模糊人脸局部特征描述子，
Figure BDA0003581109280000084
是某一维度下去模糊处理后图片局部特征向量维度元素值，
Figure BDA0003581109280000085
是物理空间、信息空间下的去模糊后图片，
Figure BDA0003581109280000086
是人类认知空间状态下的去模糊后处理图片；
步骤E3:按照如下相似性度量方程计算公式：
Figure BDA0003581109280000087
计算去模糊处理后图片的识别结果；其中，
Figure BDA0003581109280000088
是人类认知空间状态下去模糊处理后图片的人脸特征的第z维元素值，
Figure BDA0003581109280000089
是物理空间、信息空间状态下去模糊处理后图片的人脸特征的第z维元素值，(xf,yf)是去模糊处理后图片的像素点坐标，
Figure BDA0003581109280000091
是三元空间下去模糊处理后图片的人脸相似度识别状态，
Figure BDA0003581109280000092
是相似度度量方程。
进一步地，前述的人脸识别方法W2具体为以下步骤G1至步骤G5；步骤G1:按如下公式：
Figure BDA0003581109280000093
建立人脸识别方法W2的去初级模糊处理模块，其中，||·||1表示1-范数，H是模糊图像，cl是清晰图像，fc是卷积核也就是模糊核，
Figure BDA0003581109280000094
表示卷积操作，γ和μ是常数，Efc(fc)表示模糊核的退化均值，Ecl(cl)表示清晰图像的退化均值；随后进入步骤G2；
步骤G2:针对人脸识别方法W2的初级去模糊处理模块，按如下公式：
Figure BDA0003581109280000095
对人脸识别方法W2的初级去模糊处理模块在提取去模糊处理后图片的模糊人脸显著边缘时削减无关细节并增强显著边缘；其中，N(x)表示以x为中心的区域，ε为常量，
Figure BDA0003581109280000096
表示边缘变化模型，▽H(y)表示对初步去模糊图片纵坐标的梯度求解，
Figure BDA0003581109280000097
表示2-范数的平方，通过
Figure BDA0003581109280000098
来区分显著边缘和平坦区域，用梯度值ev表示梯度大小，梯度向量eu表示梯度方向；随后进入步骤G3；
步骤G3：针对去模糊后处理图片，按如下公式：
Figure BDA0003581109280000101
Figure BDA0003581109280000102
提取人脸模糊图像显著边缘，其中，Hy和Hx分别是去模糊后处理图片的模糊人脸的纵向和横向梯度，
Figure BDA0003581109280000103
||·||0.8表示1-范数的0.8次方，w自适应的增强和削弱边缘，既能增强显著边缘又能忽略不重要的细节，θx和θy表去模糊后处理图片的横向和纵向的显著边缘；随后进入步骤G4；
步骤G4:针对人脸识别方法W2的初级去模糊处理模块，用拉普拉斯先验的方法改写该初级去模糊模块，获得二级去模糊处理模型：
Figure BDA0003581109280000104
其中，
Figure BDA0003581109280000105
表示对清晰人脸图像的横坐标x求偏导，
Figure BDA0003581109280000106
表示对清晰人脸图像的纵坐标y求偏导，|·|0.8表示绝对值的0.8次方；随后进入步骤G5:
步骤G5:对二级去模糊处理模块中fc求解，即得出二次去模糊处理后图片，用以下IRLS方法将迭代求解转换成最小二乘加权的形式：
Figure BDA0003581109280000107
其中，
Figure BDA0003581109280000108
t表示迭代轮次，cl(t)表示经过t次迭代的清晰图像，ωf表示图像模糊参量常数，
Figure BDA0003581109280000109
表示运动模糊参量常数，
Figure BDA00035811092800001010
表示对经过t次迭代的清晰人脸图像的纵坐标y求偏导，
Figure BDA0003581109280000111
表示对经过t次迭代的更新图片的横坐标x求偏导，|·|表示取绝对值。
进一步地，前述的模糊度变化率划分阈值为阈值|CJ|＝0、阈值|CJ|＝2％、以及阈值|CJ|＝30％，一次去模糊后处理图片的模糊度变化率阈值为|CI|＝0.3；获得人脸模糊度变化率划0≤|CJ|＜2％下的划分集合S1、人脸模糊度变化率划|CJ|﹥30％下的划分集合S2、人脸模糊度变化率划2％≤|CJ|≤30％且人脸模糊度|CI|＜0.3下的划分集合S4，人脸模糊度变化率划2％≤|CJ|≤30％且人脸模糊度|CI|≥0.3下的划分集合S31。
进一步地，前述的对抗网络DeblurGAN_V2去模糊模型的目标训练截止点函数，选取45％≤ek≤55％作为训练截止点。
本发明所述基于新型对抗学习去模糊理论的动态人脸识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：有益效果：本发明采用了新型DeblurGAN_V2对图像进行去模糊操作，提出了新的训练截止方法，解决了生成对抗网络模型训练困难的的问题，为了避免没有完全训练的生成器在去模糊方面出现问题，根据模糊度变化率对去模糊后的图片引入了人脸模糊度计算方法对于输出的图片进行分类，针对不同分类下的模糊人脸图片进行不同处理，添加了去模糊后处理优化结果，提高了对模糊人脸图片识别的速度，有广阔的应用场景。
附图说明
图1为本发明的流程图；
图2为DeblurGAN_V2生成器网络结构；
图3为DeblurGAN_V2判别器网络结构；
图4为人脸图像模糊度变化率计算流程图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下：本发明提供了基于新型对抗学习去模糊理论的动态人脸识别方法，如图1所示，首先基于DeblurGAN_V2提出了一种新型的训练截止方法，提升了生成对抗网络的训练速度，避免了找不到纳什平衡点而陷入死循环的问题，利用这种新型生成对抗网络对输入图片进行去模糊操作。然后提出了一种人脸模糊度评价模型，根据人脸模糊度变化率对生成器生成的图片进行分类，并针对各个分类下的图片进行不同操作操作，对于变化率过高或过低的图片放弃使用DeblurGAN_V2去模糊算法，直接进行人脸识别，对于变化率不高且不低的图片添加去模糊后处理模块后再进行人脸识别。具体为：
步骤A：基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，随后进入步骤B；
步骤B：应用人脸模糊度方法，针对各个一次去模糊后图片进行处理，获得各个一次去模糊处理后图片的模糊度、以及各个一次去模糊处理后图片的模糊度变化率；随后进入步骤C；
步骤C：根据第一次去模糊处理后图片的模糊度变化率、预设人脸图片模糊度各变化率分类阈值、以及各个一次去模糊处理后图片的模糊度，获得一次去模糊处理后图片模糊度变化率与一次去模糊处理后图片模糊度相结合的划分区间下的一次去模糊后处理图片的各个划分集合，获得三个一次去模糊后图片的划分集合S1、划分集合S2、划分集合S3；基于划分集合S3、以及一次去模糊后处理图片的模糊度，针对所述划分集合S3再次划分，获得一次去模糊后处理图片的划分集合S31和划分集合S4；最终以划分集合S1、划分集合S2、划分集合S31、划分集合S4作为一次模糊后处理图片的划分集。
针对划分集合S1中的各个一次去模糊后处理图片、划分集合S2中的各个一次去模糊后处理图片、划分集合S4中的各个一次去模糊后处理图片，直接执行人脸识别方法，获得人脸识别结果；针对划分集合S31中的各个一次去模糊后处理图片经过执行人脸识别方法W2，即图中所示去模糊后处理模块，获得二次去模糊后处理图片，之后针对各个二次去模糊后处理图片，执行人脸识别方法，获得人脸识别结果。
如图2所示的DeblurGAN_V2生成器网络结构，DeblurGAN_V2构建了一个专门用于去模糊算法的新条件生成对抗网络框架，对于生成器，使用了特征金字塔网络FeaturePyramid Deblurring，FPN作为整体基础框架。DeblurGAN_V2的生成器由三个特征金字塔骨干网组成，第一个特征金字塔由五层网络组成，除了最上层仅由一个卷积快构成，其余四层均由最大池化层和卷积层共同组成，第二个特征金字塔依旧由五层网络组成，除了最上层由卷积层组成，其余四层均有上采样层、附加层和卷积层组成，前一个金字塔的卷积输出组成了该座金字塔对应网络层的上采样层，第三个特征金字塔仅由三层网络组成，最上层由两层连接层和一层卷积层组成，中间一层由上采样层、附加层和卷积层组成，最下层由上采样层和卷积层组成，前一个特征金字塔的前四层卷积层的卷积输出先输入到最大池化层中池化，前一个特征金字塔的最后一层的卷积输出进行卷积操作后输入到该座金字塔的中间层进行上采样，最终映射到最下层并输出结果，也就是最终去完模糊的人脸图片。
如图3所示的DeblurGAN_V2判别器网络结构，DeblurGAN_V2使用了一个相对判别结构组成判别器。对于同一幅模糊或者清晰图像，除了需要输入到全局判别器生成惩罚损失函数之外，还需要对图像进行局部随机切片，将切片的图片输入到局部判别器中并生成惩罚损失函数，整合两个损失函数对生成器进行惩罚，监督生成器的学习过程。
在DeblurGAN_V2的实际使用训练过程中可以发现，很难找到生成器生成的模糊图像通过率达到100％以及判别器判别准确度达到50％的纳什平衡点。主要因为生成对抗网络的平衡点难以检测，需要反复的截停网络进行测算数据并加以调整，没有直观的监测手段，常常会陷入到死循环中找不到纳什平衡点。而且虽然DeblurGAN_V2相比于V1版本有了几十倍的速度上的提高，对于整体图像的去模糊效果也非常好，但是其速度依旧达不到人脸识别的实时性要求，代码对于人脸模糊度拥有一定的鲁棒性，关键在于是否能检测到关键的人脸特征点，也就是说如果能检测到人脸特征点，并不需要死板的将人脸图像去模糊到纳什平衡点。因此需要找出除了纳什平衡点以外的一个新型方法去截停生成对抗网络，此时的生成器虽然没有达到最佳状态，但其去模糊算法已经达到了人脸识别的要求，可以进行进一步人脸识别，这样既避免了找不到苛刻的纳什平衡点的局面，又能加快训练速度和运行速度。所以，基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，具体为：
首先进行初始化，令
Figure BDA0003581109280000151
对于任意的初始化图片(g0,d0)，g0表示生成器的初始状态，d0表示判别器的初始状态，可以求解下列问题得到d1∈D：
Figure BDA0003581109280000152
其中，<·>表示内积，d表示判别器的当前状态，d1表示经过第一次迭代的判别器的状态，D表示判别器的识别记录，G表示生成器的生成记录，
Figure BDA0003581109280000153
和
Figure BDA0003581109280000154
是常数，随后进行迭代计算，对于给定的状态(gk,dk,dk-1)，分别求解下列变分不等式，先后可得到当前情况下最优策略gk+1∈G和dk+1∈D：
Figure BDA0003581109280000155
其中，<·>表示内积，γ和l表示常数，g表示生成器的当前状态，gk表示经过k次迭代的生成器状态，dk表示经过k次迭代的判别器状态，记W＝G×D，有：
Figure BDA0003581109280000156
其中，w表示生成对抗网络的整体状态，I表示单位矩阵，D(wk+1,wk,wk-1)表示经过k次迭代的判别器状态，此时上式可以写成如下的紧凑形式：
<w-wk+1,D(wk+1,wk,wk-1)+G(wk+1-wk)>≥0,
Figure BDA0003581109280000161
其中，<·>表示内积，终止条件为：
ek＝[max(||gk-gk+1||∞,||dk-dk+1||∞)]×Gtrue(1-Dtrue)，
其中，ek表示训练截止点，||·||∞表示∞-范数，Gtrue表示生成器的图片通过率，Dtrue表示判别器的识别正确率，对于纳什平衡点，ek＝50％。
如图4所示，人脸图像模糊度变化率计算流程图。分别针对各一次去模糊处理后图片，执行以下步骤B1至步骤B12:
步骤B1:针对一次去模糊处理后图片，按如下公式计算一次去模糊处理后图片的亮度掩阈值ΔL：
Figure BDA0003581109280000162
其中，L0表示人眼对于亮度为0的区域边缘的可察觉阈值，L表示输入强度，Γ是预设常数；
步骤B2:针对该一次去模糊处理后图片，计算人脸图像中大小为N×N区域B内以(xfu,yfu)为中心的区域亮度：
Figure BDA0003581109280000163
其中，B(xfu,yfu)表示该一次去模糊处理后图片的区域亮度，
Figure BDA0003581109280000164
为一次去模糊处理后图片；
步骤B3：基于一次去模糊处理后图片的亮度掩阈值ΔL、和一次去模糊处理后图片的区域亮度，针对一次去模糊处理后图片按下公式进行亮度掩盖、背景亮度增强、空间复杂度对一次去模糊处理后图片进行更新，并获得该更新后一次去模糊处理后图片及所述一次去模糊处理后图片的梯度值；
Figure BDA0003581109280000171
其中，M0是一次去模糊处理后图片的平均空间复杂度，M(xfu,yfu)表示像素点(xfu,yfu)处的空间复杂度，ψ是预设常数，
Figure BDA0003581109280000172
表示经过亮度掩盖后的一次去模糊处理后图片在(xfu,yfu)处的梯度值，
Figure BDA0003581109280000173
是更新后的一次去模糊处理后图片梯度值；
步骤B4:针对所述一次去模糊处理后图片，按如下公式用小波变换在每个分辨率级别j(0＜j＜J)提取边缘，获得一次去模糊后处理图片的细节轮廓图的像素点；
Figure BDA0003581109280000174
其中，J表示最高分辨率级别，Nhj表示水平方向，Nvj表示垂直方向，Cj(xfu,yfu)表示像素点(xfu,yfu)对应的细节轮廓图的像素点，Tj表示边缘阈值；
步骤B5：根据一次去模糊后处理图片的细节轮廓图的像素点，按如下公式：
Figure BDA0003581109280000181
计算该一次去模糊后处理图片的能检测到细节轮廓图的感知像素点边缘的概率；其中，w(Cj(xfu,yfu))是检测到的边缘像素宽度，β表示预设失真常数，值固定为3.6，LE和WI表示图片的长和宽，wJNB表示恰可察觉边缘像素的边缘宽度，LCj(xfu,yfu)表示检测到细节轮廓图的像素点边缘的概率，|·|表示取绝对值；
步骤B6:基于检测到细节轮廓图的像素点边缘的概率，按如下公式：
Figure BDA0003581109280000182
计算感知像素点边缘图矩阵PCj，其中，PCj(xfu,yfu)表示感知边缘图矩阵；
步骤B7:分别从垂直和水平两个方向计算感知边缘图的两个相邻像素区域的均值：
Figure BDA0003581109280000183
Figure BDA0003581109280000184
其中，PAhj(xfu,yfu)表示水平方向感知边缘图两个邻域的均值，PAvj(xfu,yfu)表示垂直方向感知边缘图两个邻域的均值；
步骤B8：按如下公式：
Figure BDA0003581109280000185
计算模糊像素，其中，PNBj(xfu,yfu)表示在分辨率j下时，像素点(xfu,yfu)的模糊像素；
步骤B9：按如下公式：
PNEj(xfu,yfu)＝1-PNBj(xfu,yfu)，
计算清晰像素；其中，PNEj(xfu,yfu)表示在分辨率j下时，像素点(xfu,yfu)的清晰像素；
步骤B10：基于获得的不同分辨率水平下的模糊像素PNBj和清晰像素PNEj，计算不同分辨率水平下的模糊像素总数PNBj和清晰像素总数PNEj，然后按如下公式：
Figure BDA0003581109280000191
计算模糊质量因数PQj：
步骤B11:按如下公式：
Figure BDA0003581109280000192
计算人脸模糊度CI；其中，CI表示人脸模糊度，PQj表示模糊质量因数，j是当前分辨率水平，J是最高分辨率水平，上式计算人脸图像模糊度得到的分数范围是[0,1]，随着人脸图像模糊程度的增加，质量分数从0增加到1；
步骤B12:根据人脸模糊度CI，按如下公式：
Figure BDA0003581109280000201
计算人脸模糊度变化率CJ，即该一次去模糊处理后图片的人脸模糊度变化率，其中，
Figure BDA0003581109280000202
表示计算模糊度变化率的初始图片序号，
Figure BDA0003581109280000203
表示计算模糊度变化率的结束图片序号，ξ表示预设察觉边缘阈值常数，取值为0.63，CJ表示一次去模糊处理后人脸模糊度变化率。
ek表示生成对抗网络训练截止时的截止数值，由于标准的纳什平衡点难以寻找，因此将其更改为：当数据训练完成时，如果45％≤ek≤55％，则训练截止并进行下一步运算。由于此时未达到标准的纳什平衡点，因此无法对生成器能否完美的对图像去模糊下定论，因此这里对生成器生成的图片进行分情况讨论。
表1使用DeblurGAN_V2对多张图片去模糊的结果：
Figure BDA0003581109280000204
由于在45％≤ek≤55％的时候截停DeblurGAN_V2的训练，没能达到标准的纳什平衡点ek＝50％，因此引入了人脸模糊度变化率对生成器生成的图片加以讨论，当0≤|CJ|＜2％或|CJ|﹥30％的时候，说明人脸模糊度变化率过低或过高，前者说明生成的图片过于稳定，如果是真的达到了纳什平衡点那么变化率是可以在2％的范围内变化的，但此处并未达到纳什平衡点，所以这种稳定的变化反而变相的说明DeblurGAN_V2失效，应该直接进行下一步的人脸识别。后者说明人脸模糊度变化率过高，对于同样一批图片，有的图片去模糊效果好，有的图片去模糊效果很差，这也同样说明生成对抗网络训练失败，生成器失效，此时也应直接进行下一步的人脸识别。当2％≤|CJ|≤30％时，说明人脸模糊度变化率不高不低，恰好符合先前设定的45％≤ek≤55％的平衡点范围的结果把控，说明生成器生效但却没有达到最好的状态，此时可以通过添加后处理的方式进行锐化和钝化。
在45％≤ek≤55％且2％≤|CJ|≤30％的情况下，以|CI|≥0.3作为分界线，当人脸模糊度大于0.3时，说明生成器生效但并未能很好的对人脸图片进行去模糊操作，此时对其添加后处理进行进一步去模糊。
人脸识别方法W2，即图1中去模糊后处理模块，具体为以下步骤G1至步骤G5；
步骤G1:按如下公式：
Figure BDA0003581109280000211
建立人脸识别方法W2的去初级模糊处理模块，其中，||·||1表示1-范数，H是模糊图像，cl是清晰图像，fc是卷积核也就是模糊核，
Figure BDA0003581109280000212
表示卷积操作，γ和μ是常数，Efc(fc)表示模糊核的退化均值，Ecl(cl)表示清晰图像的退化均值；随后进入步骤G2；
步骤G2:针对人脸识别方法W2的初级去模糊处理模块，按如下公式：
Figure BDA0003581109280000221
对人脸识别方法W2的初级去模糊处理模块在提取去模糊处理后图片的模糊人脸显著边缘时削减无关细节并增强显著边缘；其中，N(x)表示以x为中心的区域，ε为常量，
Figure BDA0003581109280000222
表示边缘变化模型，▽H(y)表示对初步去模糊图片纵坐标的梯度求解，
Figure BDA0003581109280000223
表示2-范数的平方，通过
Figure BDA0003581109280000224
来区分显著边缘和平坦区域，用梯度值ev表示梯度大小，梯度向量eu表示梯度方向；随后进入步骤G3；
步骤G3：针对去模糊后处理图片，按如下公式：
Figure BDA0003581109280000225
Figure BDA0003581109280000226
提取人脸模糊图像显著边缘，其中，Hy和Hx分别是去模糊后处理图片的模糊人脸的纵向和横向梯度，
Figure BDA0003581109280000227
||·||0.8表示1-范数的0.8次方，w自适应的增强和削弱边缘，既能增强显著边缘又能忽略不重要的细节，θx和θy表去模糊后处理图片的横向和纵向的显著边缘；随后进入步骤G4；
步骤G4:针对人脸识别方法W2的初级去模糊处理模块，用拉普拉斯先验的方法改写该初级去模糊模块，获得二级去模糊处理模型：
Figure BDA0003581109280000231
其中，
Figure BDA0003581109280000232
表示对清晰人脸图像的横坐标x求偏导，
Figure BDA0003581109280000233
表示对清晰人脸图像的纵坐标y求偏导，|·|0.8表示绝对值的0.8次方；随后进入步骤G5:
步骤G5:对二级去模糊处理模块中fc求解，即得出二次去模糊处理后图片，用以下IRLS方法将迭代求解转换成最小二乘加权的形式：
Figure BDA0003581109280000234
其中，
Figure BDA0003581109280000235
t表示迭代轮次，cl(t)表示经过t次迭代的清晰图像，ωf表示图像模糊参量常数，
Figure BDA0003581109280000236
表示运动模糊参量常数，
Figure BDA0003581109280000237
表示对经过t次迭代的清晰人脸图像的纵坐标y求偏导，
Figure BDA0003581109280000238
表示对经过t次迭代的更新图片的横坐标x求偏导，|·|表示取绝对值。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所示。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (9)

1.基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，基于各个原始模糊人脸图片，执行步骤A获得各个原始模糊人脸图片对应的去一次模糊处理图片，然后执行步骤B至步骤C获得基于预设人脸图片模糊度各变化率分类阈值下的各一次模糊后处理图片的各个划分集合，之后根据所述各一次去模糊后处理图片的划分集合，执行人脸识别方法，得到各原始模糊人脸图片的人脸识别结果；
步骤A：基于以原始模糊人脸图片为输入、以相对应一次去模糊处理后图片为输出，结合目标训练截止点函数、已训练完成的对抗网络DeblurGAN_V2去模糊模型，针对各个原始模糊人脸图片进行去模糊处理，获得所述各个模糊人脸图片所对应的一次模糊处理后图片，随后进入步骤B；
步骤B：应用人脸模糊度方法，针对各个一次去模糊后图片进行处理，获得各个一次去模糊处理后图片的模糊度、以及各个一次去模糊处理后图片的模糊度变化率；随后进入步骤C；
步骤C：根据第一次去模糊处理后图片的模糊度变化率、预设人脸图片模糊度各变化率分类阈值、以及各个一次去模糊处理后图片的模糊度，获得一次去模糊处理后图片模糊度变化率与一次去模糊处理后图片模糊度相结合的划分区间下的一次去模糊后处理图片的各个划分集合。
2.根据权利要求1所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，步骤A中，基于对抗网络DeblurGAN_V2去模糊模型的目标训练截止点函数包括全局对抗损失函数、以及训练截止点函数，其中，全局对抗损失函数如下：
Figure FDA0003581109270000011
其中，xg是原始模糊人脸图片，noi是输入噪声，Gen(noi)是生成样本，Pr是清晰图片数据分布，Pg是去模糊图片数据分布，Gen是生成器，Dis是判别器，
Figure FDA0003581109270000021
是损失函数，Dis(xg)是判别器的输出结果；所述训练训练截止点函数为：
ek＝[max(||gk-gk+1||∞,||dk-dk+1||∞)]×Gtrue(1-Dtrue)，
其中，ek表示训练截止点，||·||∞表示∞-范数，Gtrue表示生成器的图片通过率，Dtrue表示判别器的识别正确率，gk表示经过k次迭代的生成器状态，dk表示经过k次迭代的判别器状态。
3.根据权利要求1所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，所述步骤B中分别针对各一次去模糊处理后图片，执行以下步骤B1至步骤B12:
步骤B1:针对一次去模糊处理后图片，按如下公式计算一次去模糊处理后图片的亮度掩阈值ΔL：
Figure FDA0003581109270000022
其中，L0表示人眼对于亮度为0的区域边缘的可察觉阈值，L表示输入强度，Γ是预设常数；
步骤B2:针对该一次去模糊处理后图片，计算人脸图像中大小为N×N区域B内以(xfu,yfu)为中心的区域亮度：
Figure FDA0003581109270000023
其中，B(xfu,yfu)表示该一次去模糊处理后图片的区域亮度，
Figure FDA0003581109270000031
为一次去模糊处理后图片；
步骤B3:基于一次去模糊处理后图片的亮度掩阈值ΔL、和一次去模糊处理后图片的区域亮度，针对一次去模糊处理后图片按下公式进行亮度掩盖、背景亮度增强、空间复杂度对一次去模糊处理后图片进行更新，并获得该更新后一次去模糊处理后图片及所述一次去模糊处理后图片的梯度值；
Figure FDA0003581109270000032
其中，M0是一次去模糊处理后图片的平均空间复杂度，M(xfu,yfu)表示像素点(xfu,yfu)处的空间复杂度，ψ是预设常数，
Figure FDA0003581109270000033
表示经过亮度掩盖后的一次去模糊处理后图片在(xfu,yfu)处的梯度值，
Figure FDA0003581109270000034
是更新后的一次去模糊处理后图片梯度值；
步骤B4:针对所述一次去模糊处理后图片，按如下公式用小波变换在每个分辨率级别j(0＜j＜J)提取边缘，获得一次去模糊后处理图片的细节轮廓图的像素点；
Figure FDA0003581109270000035
其中，J表示最高分辨率级别，Nhj表示水平方向，Nvj表示垂直方向，Cj(xfu,yfu)表示像素点(xfu,yfu)对应的细节轮廓图的像素点，Tj表示边缘阈值；
步骤B5：根据一次去模糊后处理图片的细节轮廓图的像素点，按如下公式：
Figure FDA0003581109270000041
计算该一次去模糊后处理图片的能检测到细节轮廓图的感知像素点边缘的概率；其中，w(Cj(xfu,yfu))是检测到的边缘像素宽度，β表示预设失真常数，值固定为3.6，LE和WI表示图片的长和宽，wJNB表示恰可察觉边缘像素的边缘宽度，LCj(xfu,yfu)表示检测到细节轮廓图的像素点边缘的概率，|·|表示取绝对值；
步骤B6:基于检测到细节轮廓图的像素点边缘的概率，按如下公式：
Figure FDA0003581109270000042
计算感知像素点边缘图矩阵PCj，其中，PCj(xfu,yfu)表示感知边缘图矩阵；
步骤B7:分别从垂直和水平两个方向计算感知边缘图的两个相邻像素区域的均值：
Figure FDA0003581109270000043
Figure FDA0003581109270000044
其中，PAhj(xfu,yfu)表示水平方向感知边缘图两个邻域的均值，PAvj(xfu,yfu)表示垂直方向感知边缘图两个邻域的均值；
步骤B8:按如下公式：
Figure FDA0003581109270000045
计算模糊像素，其中，PNBj(xfu,yfu)表示在分辨率j下时，像素点(xfu,yfu)的模糊像素；
步骤B9:按如下公式：
PNEj(xfu,yfu)＝1-PNBj(xfu,yfu)，
计算清晰像素；其中，PNEj(xfu,yfu)表示在分辨率j下时，像素点(xfu,yfu)的清晰像素；
步骤B10:基于获得的不同分辨率水平下的模糊像素PNBj和清晰像素PNEj，计算不同分辨率水平下的模糊像素总数PNBj和清晰像素总数PNEj，然后按如下公式：
Figure FDA0003581109270000051
计算模糊质量因数PQj：
步骤B11:按如下公式：
Figure FDA0003581109270000052
计算人脸模糊度CI；
其中，CI表示人脸模糊度，PQj表示模糊质量因数，j是当前分辨率水平，J是最高分辨率水平，上式计算人脸图像模糊度得到的分数范围是[0,1]，随着人脸图像模糊程度的增加，质量分数从0增加到1；
步骤B12:根据人脸模糊度CI，按如下公式：
Figure FDA0003581109270000053
计算人脸模糊度变化率CJ，即该一次去模糊处理后图片的人脸模糊度变化率，其中，
Figure FDA0003581109270000061
表示计算模糊度变化率的初始图片序号，
Figure FDA0003581109270000062
表示计算模糊度变化率的结束图片序号，ξ表示预设察觉边缘阈值常数，取值为0.63，CJ表示一次去模糊处理后人脸模糊度变化率。
4.根据权利要求1所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，所述步骤C中，基于一次去模糊后处理图片模糊度变化率划分阈值、以及各个一次去模糊后处理图片的人脸模糊度变化率的排序，分别针对各个一次去模糊后图片进行划分，获得三个一次去模糊后图片的划分集合S1、划分集合S2、划分集合S3；基于划分集合S3、以及一次去模糊后处理图片的模糊度，针对所述划分集合S3再次划分，获得一次去模糊后处理图片的划分集合S31和划分集合S4；最终以划分集合S1、划分集合S2、划分集合S31、划分集合S4作为一次模糊后处理图片的划分集合。
5.根据权利要求4所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，针对划分集合S1中的各个一次去模糊后处理图片、划分集合S2中的各个一次去模糊后处理图片、划分集合S4中的各个一次去模糊后处理图片，执行人脸识别方法W1，获得人脸识别结果；针对划分集合S31中的各个一次去模糊后处理图片执行人脸识别方法W2之后获得二次去模糊后处理图片，之后针对各个二次去模糊后处理图片，执行人脸识别方法W1，获得人脸识别结果。
6.根据权利要求5所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，所述人脸识别方法W1具体为以下步骤E1至步骤E3；
步骤E1:计算去模糊处理后图片的模糊人脸特征映射矩阵，再将去模糊处理后图片的模糊人脸特征映射矩阵按照如下公式：
Figure FDA0003581109270000071
计算去模糊后处理图片的模糊人脸特征相似度投影矩阵，其中，ε是去模糊后处理图片的模糊人脸特征相似度投影矩阵，WI是去模糊处理后图片的模糊人脸图片宽度，LE是去模糊处理后图片的模糊人脸图片长度，|·|表示取绝对值，dis(a,b)是去模糊处理后图片在映射空间的投影距离，b是去模糊处理后图片在映射空间的纵坐标，a是去模糊处理后图片在映射空间的横坐标；
步骤E2:按照如下公式计算基于三元空间融合去提取去模糊后图片的模糊人脸局部特征描述子：
Figure FDA0003581109270000072
其中，
Figure FDA0003581109270000073
是去模糊处理后图片的模糊人脸局部特征描述子，
Figure FDA0003581109270000074
是某一维度下去模糊处理后图片局部特征向量维度元素值，
Figure FDA0003581109270000075
是物理空间、信息空间下的去模糊后图片，
Figure FDA0003581109270000076
是人类认知空间状态下的去模糊后处理图片；
步骤E3:按照如下相似性度量方程：
Figure FDA0003581109270000077
计算去模糊处理后图片的识别结果；其中，
Figure FDA0003581109270000078
是人类认知空间状态下去模糊处理后图片的人脸特征的第z维元素值，
Figure FDA0003581109270000079
是物理空间、信息空间状态下去模糊处理后图片的人脸特征的第z维元素值，(xf,yf)是去模糊处理后图片的像素点坐标，
Figure FDA00035811092700000710
是三元空间下去模糊处理后图片的人脸相似度识别状态，
Figure FDA00035811092700000711
是相似度度量方程。
7.根据权利要求5所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，所述人脸识别方法W2具体为以下步骤G1至步骤G5；
步骤G1:按如下公式：
Figure FDA0003581109270000081
建立人脸识别方法W2的去初级模糊处理模块，其中，||·||1表示1-范数，H是模糊图像，cl是清晰图像，fc是卷积核也就是模糊核，
Figure FDA0003581109270000082
表示卷积操作，γ和μ是常数，Efc(fc)表示模糊核的退化均值，Ecl(cl)表示清晰图像的退化均值；随后进入步骤G2；
步骤G2:针对人脸识别方法W2的初级去模糊处理模块，按如下公式：
Figure FDA0003581109270000083
对人脸识别方法W2的初级去模糊处理模块在提取去模糊处理后图片的模糊人脸显著边缘时削减无关细节并增强显著边缘；其中，N(x)表示以x为中心的区域，ε为常量，
Figure FDA0003581109270000084
表示边缘变化模型，▽H(y)表示对初步去模糊图片纵坐标的梯度求解，
Figure FDA0003581109270000085
表示2-范数的平方，通过
Figure FDA0003581109270000086
来区分显著边缘和平坦区域，用梯度值ev表示梯度大小，梯度向量eu表示梯度方向；随后进入步骤G3；
步骤G3：针对去模糊后处理图片，按如下公式：
Figure FDA0003581109270000087
Figure FDA0003581109270000088
提取人脸模糊图像显著边缘：其中，Hy和Hx分别是去模糊后处理图片的模糊人脸的纵向和横向梯度，
Figure FDA0003581109270000089
||·||0.8表示1-范数的0.8次方，w自适应的增强和削弱边缘，既能增强显著边缘又能忽略不重要的细节，θx和θy表去模糊后处理图片的横向和纵向的显著边缘；随后进入步骤G4；
步骤G4:针对人脸识别方法W2的初级去模糊处理模块，用拉普拉斯先验的方法改写该初级去模糊模块，获得二级去模糊处理模型：
Figure FDA0003581109270000091
其中，
Figure FDA0003581109270000092
表示对清晰人脸图像的横坐标x求偏导，
Figure FDA0003581109270000093
表示对清晰人脸图像的纵坐标y求偏导，|·|0.8表示绝对值的0.8次方；随后进入步骤G5:
步骤G5:对二级去模糊处理模块中fc求解，即得出二次去模糊处理后图片，用以下IRLS方法将迭代求解转换成最小二乘加权的形式：
Figure FDA0003581109270000094
其中，
Figure FDA0003581109270000095
t表示迭代轮次，cl(t)表示经过t次迭代的清晰图像，ωf表示图像模糊参量常数，
Figure FDA0003581109270000096
表示运动模糊参量常数，
Figure FDA0003581109270000097
表示对经过t次迭代的清晰人脸图像的纵坐标y求偏导，
Figure FDA0003581109270000098
表示对经过t次迭代的更新图片的横坐标x求偏导，|·|表示取绝对值。
8.根据权利要求4所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，模糊度变化率划分阈值为阈值|CJ|＝0、阈值|CJ|＝2％、以及阈值|CJ|＝30％，一次去模糊后处理图片的模糊度变化率阈值为|CI|＝0.3；获得人脸模糊度变化率划0≤|CJ|＜2％下的划分集合S1、人脸模糊度变化率|CJ|﹥30％下的划分集合S2、人脸模糊度变化率划2％≤|CJ|≤30％且人脸模糊度|CI|＜0.3下的划分集合S4，人脸模糊度变化率划2％≤|CJ|≤30％且人脸模糊度|CI|≥0.3下的划分集合S31。
9.根据权利要求2所述的基于新型对抗学习去模糊理论的动态人脸识别方法，其特征在于，选取45％≤ek≤55％作为训练截止点。
CN202210352184.2A 2022-04-03 2022-04-03 基于新型对抗学习去模糊理论的动态人脸识别方法 Active CN114783020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210352184.2A CN114783020B (zh) 2022-04-03 2022-04-03 基于新型对抗学习去模糊理论的动态人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210352184.2A CN114783020B (zh) 2022-04-03 2022-04-03 基于新型对抗学习去模糊理论的动态人脸识别方法

Publications (2)

Publication Number Publication Date
CN114783020A true CN114783020A (zh) 2022-07-22
CN114783020B CN114783020B (zh) 2024-10-18

Family

ID=82426744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210352184.2A Active CN114783020B (zh) 2022-04-03 2022-04-03 基于新型对抗学习去模糊理论的动态人脸识别方法

Country Status (1)

Country Link
CN (1) CN114783020B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205822A (zh) * 2023-04-27 2023-06-02 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103171A1 (zh) * 2018-11-21 2020-05-28 北京大学深圳研究生院 用于图像去模糊的Bi-Level优化方法
CN112541877A (zh) * 2020-12-24 2021-03-23 广东宜教通教育有限公司 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN112651894A (zh) * 2020-12-29 2021-04-13 湖北工业大学 基于rrdb的生成对抗网络的图像去模糊算法
WO2021184894A1 (zh) * 2020-03-20 2021-09-23 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103171A1 (zh) * 2018-11-21 2020-05-28 北京大学深圳研究生院 用于图像去模糊的Bi-Level优化方法
WO2021184894A1 (zh) * 2020-03-20 2021-09-23 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN112541877A (zh) * 2020-12-24 2021-03-23 广东宜教通教育有限公司 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN112651894A (zh) * 2020-12-29 2021-04-13 湖北工业大学 基于rrdb的生成对抗网络的图像去模糊算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205822A (zh) * 2023-04-27 2023-06-02 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质
CN116205822B (zh) * 2023-04-27 2023-10-03 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN114783020B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
Shin et al. Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing
Bhat et al. Multi-focus image fusion techniques: a survey
EP4109392A1 (en) Image processing method and image processing device
Sahu et al. Single image dehazing using a new color channel
Deng et al. A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution
Ding et al. U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement
Fang et al. Deep3DSaliency: Deep stereoscopic video saliency detection model by 3D convolutional networks
CN103841298B (zh) 一种基于颜色恒量和几何不变特征的视频稳像方法
Lin et al. Low-light enhancement using a plug-and-play Retinex model with shrinkage mapping for illumination estimation
KR102328029B1 (ko) 블러 이미지 처리 방법 및 장치
Chengtao et al. A survey of image dehazing approaches
CN113421206B (zh) 一种基于红外偏振成像的图像增强方法
Zhang et al. Dual-channel multi-task CNN for no-reference screen content image quality assessment
CN110555820A (zh) 基于卷积神经网络和动态引导滤波的图像融合方法
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN114783020A (zh) 基于新型对抗学习去模糊理论的动态人脸识别方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
Li et al. Infrared and visible image fusion using a novel deep decomposition method
Ataman et al. Visible and infrared image fusion using encoder-decoder network
Nair et al. Benchmarking single image dehazing methods
Revanth et al. A Framework For Single Image Dehazing Using DWT Based Cross Bilateral Filter Fusion of Generative and ASM Models
Juneja et al. Single Image Dehazing Using Hybrid Convolution Neural Network
CN110264417B (zh) 基于分层模型的局部运动模糊区域自动检测提取方法
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation
Sharma et al. Technical Assessment of Various Image Enhancement Techniques using Finger Vein for personal Authentication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant