CN116259087A - 一种低分辨率人脸识别方法 - Google Patents

一种低分辨率人脸识别方法 Download PDF

Info

Publication number
CN116259087A
CN116259087A CN202211686286.4A CN202211686286A CN116259087A CN 116259087 A CN116259087 A CN 116259087A CN 202211686286 A CN202211686286 A CN 202211686286A CN 116259087 A CN116259087 A CN 116259087A
Authority
CN
China
Prior art keywords
image
face
definition
network
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211686286.4A
Other languages
English (en)
Inventor
陈炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Jieyu Computer Technology Co ltd
Original Assignee
Fujian Jieyu Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Jieyu Computer Technology Co ltd filed Critical Fujian Jieyu Computer Technology Co ltd
Priority to CN202211686286.4A priority Critical patent/CN116259087A/zh
Publication of CN116259087A publication Critical patent/CN116259087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及低分辨率人脸识别方法，具体步骤包括：通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对人脸区域进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度判断人脸区域图像是否属于模糊图像；根据判断结果对模糊图像进行修复后再输入预训练的人脸识别网络中进行识别，若人脸区域图像不属于模糊图像，则直接输入至预训练的人脸识别网络进行人脸识别。

Description

一种低分辨率人脸识别方法
技术领域
本发明涉及机器学习和图像识别技术领域，具体为一种低分辨率人脸识别方法。
背景技术
现有人脸识别技术都是基于深度学习，通过大量的人脸数据训练获取算法模型。模型的类别有基于分类，基于三元组，基于比对学习的。由于数据集中清晰的高分辨率率的数据比例比较高，所以在对低分辨率图像进行比对时，往往准确率比较低。
本发明中的低分辨率人脸识别，主要用于人证比对、监控数据人脸识别等场景，这些场景下的人脸会因为身份证芯片容量有限，压缩证据照使图像分辨率下降；或者因为监控距离较远，造成人脸图像小，放大后图像分辨率下降；或者因为拍摄人像时镜头失焦造成的失焦模糊，行人在相对镜头运动发生的运动模糊，从而造成图像质量下降。而现有人脸识别针对清晰照片有较高的准确率，对于低分辨率的人脸图像，准确率会比较低。
在现有技术CN109886135A一种低分辨率人脸识别方法、装置及存储介质中，先对高分辨率人脸图像进行插值下采样处理，得到低分辨率人脸图像，接着通过构建哈尔小波神经网络和人脸识别网络分别获得高分辨率的人脸重建图像和人脸识别结果；在现有技术中，都是使用经高分辨率图片处理后获得的低分辨率图片进行训练，实际输入人脸识别模型中的图片没办法确定其模糊程度，并一定都要进行图像重建；所以需要先对输入的图片做一个模糊程度判断，根据判断结果确定输入图片是否需要进行图像重建，并且现有的图像重建模型和人脸识别模型并非最优，所以对低分辨率图像的识别准确率还不够高。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种低分辨率人脸识别方法。
本发明的技术方案如下：
一方面，本发明提出一种低分辨率人脸识别方法，具体步骤包括：
通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；
通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对人脸区域进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度的比值和预先设定的阈值做比较，判断所述人脸区域图像是否属于模糊图像；
若人脸区域图像属于模糊图像，则通过预训练的超分辨率修复网络对该人脸区域图像进行修复生成对应的高清人脸图像，再将高清人脸图像输入至预训练的人脸识别网络进行人脸识别；若人脸区域图像不属于模糊图像，则直接输入至预训练的人脸识别网络进行人脸识别。
作为优选实施方式，所述预训练的超分辨率修复网络为GAN网络，包括生成器网络和判别器网络，超分辨率修复网络的预训练步骤具体为：
随机收集若干高清人脸图像，并对高清人脸进行模糊处理获得对应的模糊人脸图像；
获取若干组特征图像，每组特征图像包括高清人脸图像和对应的模糊人脸图像，并对高清人脸图像和对应的模糊人脸图像分别添加高清和模糊标签，形成训练样本集；
将特征图像中对应的模糊人脸图像输入生成器网络中，输出修复后的高清人脸图像，再将修复后的高清人脸图像输入对抗器网络中与原高清人脸图像进行比较判断图片的真假，根据判断结果反向调整生成器网络的参数，直到输入对抗器网络的修复后的高清人脸图像与原高清人脸图像的判断结果为真，接着调整对抗器网络的参数进而调整精度，以经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的差距最小为目标进行迭代训练，重复训练对抗器网络和生成器网络，结束迭代输出最优的超分辨率修复网络。
作为优选实施方式，所述对高清人脸进行模糊处理获得对应的模糊人脸图像步骤具体包括：
模拟小图像放大的场景：将获取的高清人脸图像先缩小后再利用二次插值法进行放大；
模拟失焦模糊场景：对获取的高清人脸图像使用高斯模糊处理；
模拟运动模糊场景：对获取的高清人脸图像使用动态模糊核进行二维滤波处理。
作为优选实施方式，所述GAN网络的损失函数包括生成器网络中的重构损失函数和对抗器网络中的对抗损失函数：
重构损失函数为经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的平均损失误差，具体公式如下：
Figure BDA0004016618490000041
式中，ISR为特征图像中的高清人脸图像，ILR为对应的模糊人脸图像，W为图像宽度，H为图像高度，G()为经生成器修复后的高清人脸图像；
对抗损失函数为经生成器修复后的高清人脸图像与特征图像中的高清人脸图像间的真实标记的误差，其中，特征图像中的高清人脸图像标记为“1”，具体公式如下：
Figure BDA0004016618490000042
式中，N为单批次训练数据数量，ISR为特征图像中的高清人脸图像，G为生成器模型，D为判别器模型；
重构损失和对抗损失组成共同组成了模型的整体损失函数，具体公式如下：
Figure BDA0004016618490000043
式中，λMSE为重构损失系数，
Figure BDA0004016618490000044
为重构损失函数，λGen为对抗损失系数，/>
Figure BDA0004016618490000045
为对抗损失函数。
作为优选实施方式，所述人脸识别网络的预训练步骤具体为：
获取若干高清人脸图片并做归一化处理，接着对所述高清人脸图片作尺寸缩小再放大处理、高斯模糊处理和运动模糊处理；对处理后的图像进行模糊判断，判断结果为模糊的图像输入上述训练好的超分辨率修复模型中进行修复，输出模拟图像；
获取特征图像，所述特征图像包括模拟图像和高清人脸图像，并对模拟图像和高清人脸图像分别添加生成图像和实际图像标签，形成训练样本集；
建立人脸识别网络，所述人脸识别网络为卷积神经网络，将特征图像中的模拟图像作为输入，输出为模拟图像对应身份的高清人脸图像，以模拟图像和模拟图像对应身份的高清人脸图像间的区别最小为目标进行迭代训练，并构建一个损失函数来度量模拟图像和模拟图像对应身份的高清人脸图像间的区别，输出最优的人脸识别模型；
上述损失函数的表达式如下：
Figure BDA0004016618490000051
式中，N为批归一化系数，s为尺度因子系数，θ为参数x和权重W之间的角度；m为间隔系数，n为分类类别数量。
另一方面，本发明提出一种低分辨率人脸识别系统，具体步骤包括：
人脸截取模块：通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；
人脸模糊判断模块：通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对人脸区域进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度的比值和预先设定的阈值做比较，判断所述人脸区域图像是否属于模糊图像；
人脸修复模块：若人脸区域图像属于模糊图像，则通过预训练的超分辨率修复网络对该人脸区域图像进行修复生成对应的高清人脸图像；
人脸识别模块：将人脸区域图像不属于模糊图像的人脸图像或者通过预训练的超分辨率修复网络修复后生成的对应的高清人脸图像输入至预训练的人脸识别网络进行人脸识别。
作为优选实施方式，所述预训练的超分辨率修复网络为GAN网络，包括生成器网络和判别器网络，超分辨率修复网络的预训练步骤具体为：
随机收集若干高清人脸图像，并对高清人脸进行模糊处理获得对应的模糊人脸图像；
获取若干组特征图像，每组特征图像包括高清人脸图像和对应的模糊人脸图像，并对高清人脸图像和对应的模糊人脸图像分别添加高清和模糊标签，形成训练样本集；
将特征图像中对应的模糊人脸图像输入生成器网络中，输出修复后的高清人脸图像，再将修复后的高清人脸图像输入对抗器网络中与原高清人脸图像进行比较判断图片的真假，根据判断结果反向调整生成器网络的参数，直到输入对抗器网络的修复后的高清人脸图像与原高清人脸图像的判断结果为真，接着调整对抗器网络的参数进而调整精度，以经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的差距最小为目标进行迭代训练，重复训练对抗器网络和生成器网络，结束迭代输出最优的超分辨率修复网络。
作为优选实施方式，所述对高清人脸进行模糊处理获得对应的模糊人脸图像步骤具体包括：
模拟小图像放大的场景：将获取的高清人脸图像先缩小后再利用二次插值法进行放大；
模拟失焦模糊场景：对获取的高清人脸图像使用高斯模糊处理；
模拟运动模糊场景：对获取的高清人脸图像使用动态模糊核进行二维滤波处理。
作为优选实施方式，所述GAN网络的损失函数包括生成器网络中的重构损失函数和对抗器网络中的对抗损失函数：
重构损失函数为经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的平均损失误差，具体公式如下：
Figure BDA0004016618490000071
式中，ISR为特征图像中的高清人脸图像，ILR为对应的模糊人脸图像，W为图像宽度，H为图像高度，G()为经生成器修复后的高清人脸图像；
对抗损失函数为经生成器修复后的高清人脸图像与特征图像中的高清人脸图像间的真实标记的误差，其中，特征图像中的高清人脸图像标记为“1”，具体公式如下：
Figure BDA0004016618490000081
式中，N为单批次训练数据数量，ISR为特征图像中的高清人脸图像，G为生成器模型，D为判别器模型；
重构损失和对抗损失组成共同组成了模型的整体损失函数，具体公式如下：
Figure BDA0004016618490000082
式中，λMSE为重构损失系数，
Figure BDA0004016618490000083
为重构损失函数，λGen为对抗损失系数，/>
Figure BDA0004016618490000084
为对抗损失函数。
作为优选实施方式，所述人脸识别网络的预训练步骤具体为：
获取若干高清人脸图片并做归一化处理，接着对所述高清人脸图片作尺寸缩小再放大处理、高斯模糊处理和运动模糊处理；对处理后的图像进行模糊判断，判断结果为模糊的图像输入上述训练好的超分辨率修复模型中进行修复，输出模拟图像；
获取特征图像，所述特征图像包括模拟图像和高清人脸图像，并对模拟图像和高清人脸图像分别添加生成图像和实际图像标签，形成训练样本集；
建立人脸识别网络，所述人脸识别网络为卷积神经网络，将特征图像中的模拟图像作为输入，输出为模拟图像对应身份的高清人脸图像，以模拟图像和模拟图像对应身份的高清人脸图像间的区别最小为目标进行迭代训练，并构建一个损失函数来度量模拟图像和模拟图像对应身份的高清人脸图像间的区别，输出最优的人脸识别模型；
上述损失函数的表达式如下：
Figure BDA0004016618490000091
式中，N为批归一化系数，s为尺度因子系数，θ为参数x和权重W之间的角度；m为间隔系数，n为分类类别数量。
本发明具有如下有益效果：
1、本发明对采集的人脸图像进行模糊判断，确定采集到的图像的模糊程度，根据图像的模糊程度判断是否需要对图像进行图像重建，再根据重建后的图像进行人脸识别，不需要进行图像重建的图像可以直接进行人脸识别。
2、本发明利用GAN网络对判断结果为模糊图像的采集图像进行图像重建，通过GAN网络的生成网络先生成重建图像，再将重建图像输入判断网络进行真实性判断，根据判断结果的反向传播来调整生成网络生成重建图像的效果，通过不断的迭代使生成网络生成的重建图像最为接近真实图像。
3、本发明提供一种人脸识别网络模型，构建新的损失函数，可以获得更高的识别准确率。
附图说明
图1为本发明流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，一种低分辨率人脸识别方法，具体步骤包括：
通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；
具体实施时，本实施例采用Dlib人脸检测算法进行人脸检测。
通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对图像进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度的比值和预先设定的阈值做比较，判断所述人脸区域图像是否属于模糊图像；
具体实施时，本实施例采用Sobel算子来提取人脸区域图像的水平和垂直方向的梯度。
若人脸区域图像属于模糊图像，则通过预训练的超分辨率修复网络对该人脸区域图像进行修复生成对应的高清人脸图像，再将高清人脸图像输入至预训练的人脸识别网络进行人脸识别；若人脸区域图像不属于模糊图像，则直接输入至预训练的人脸识别网络进行人脸识别。
作为本实施例的优选实施方式，所述预训练的超分辨率修复网络为GAN网络，包括生成器网络和判别器网络，超分辨率修复网络的预训练步骤具体为：
随机收集若干高清人脸图像，并对高清人脸进行模糊处理获得对应的模糊人脸图像；
具体实施时，本实施例对数据预处理使用高清人脸数据集模拟三种低分辨率图像情况：1、模拟小图像放大的场景，将数据缩小至56*56，然后用二次插值放大到112*112；2、模拟失焦模糊场景，将数据使用高斯模糊处理；3、模拟运动模糊的场景，将数据使用动态模糊核进行二维滤波处理。
获取若干组特征图像，每组特征图像包括高清人脸图像和对应的模糊人脸图像，并对高清人脸图像和对应的模糊人脸图像分别添加高清和模糊标签，形成训练样本集；
具体实施时，将高清数据与处理后的模糊数据组成数据对，然后将数据对按8：1：1的比例分为训练集，验证集，测试集。
将特征图像中对应的模糊人脸图像输入生成器网络中，输出修复后的高清人脸图像，再将修复后的高清人脸图像输入对抗器网络中与原高清人脸图像进行比较判断图片的真假，根据判断结果反向调整生成器网络的参数，直到输入对抗器网络的修复后的高清人脸图像与原高清人脸图像的判断结果为真，接着调整对抗器网络的参数进而调整精度，以经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的差距最小为目标进行迭代训练，重复训练对抗器网络和生成器网络，结束迭代输出最优的超分辨率修复网络。
具体实施时，本实施例采用的生成器模型和判别器模型结构如下：
生成器模型结构如下：
INPUT->Conv1->Block1->Block2->Block3->Block4->OUTPUT
输入层INPUT，INPUT为模糊图像数据，尺寸为112*112*3；
卷积层Conv1，尺寸为9*9*64，步长为1；
残差模块Block1，尺寸为3*3*96，步长为1；
残差模块Block2，尺寸为3*3*96，步长为1；
残差模块Block3，尺寸为3*3*96，步长为1；
残差模块Block4，尺寸为3*3*96，步长为1；
输出层OUTPUT
其中，残差模块Block结构如下：
INPUT->Conv1->BatchNorm1->Prelu->Conv2->BatchNorm2->Ele mentwiseSum->OUTPUT
输入层INPUT；
卷积层Conv1，尺寸为3*3*96；
批归一化层BatchNorm1；
激活函数Prelu；
卷积层Conv2，尺寸为3*3*96；
批归一化层BatchNorm2；
按位相加操作，ElementwiseSum(input,batchnorm2)；
输出层output；
判别器模型结构如下：
INPUT->Conv1->Conv2->Conv3->Conv4->Dense1->Dense2->OUTP UT
输入层INPUT，尺寸为112*112*3；
卷积层Conv1，尺寸为11*11*96，步长为1；
卷积层Conv2，尺寸为5*5*128，步长为1；
卷积层Conv3，尺寸为3*3*128，步长为1；
卷积层Conv4，尺寸为3*3*64，步长为1；
全连接层Dense1,尺寸为1024*1；
全连接层Dense2,尺寸为1*1；
输出层OUTPUT。
作为本实施例的优选实施方式，所述对高清人脸进行模糊处理获得对应的模糊人脸图像步骤具体包括：
模拟小图像放大的场景：将获取的高清人脸图像先缩小后再利用二次插值法进行放大；
模拟失焦模糊场景：对获取的高清人脸图像使用高斯模糊处理；
模拟运动模糊场景：对获取的高清人脸图像使用动态模糊核进行二维滤波处理。
作为本实施例的优选实施方式，所述GAN网络的损失函数包括生成器网络中的重构损失函数和对抗器网络中的对抗损失函数：
重构损失函数为经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的平均损失误差，具体公式如下：
Figure BDA0004016618490000141
式中，ISR为特征图像中的高清人脸图像，ILR为对应的模糊人脸图像，W为图像宽度，H为图像高度，G()为经生成器修复后的高清人脸图像；
对抗损失函数为经生成器修复后的高清人脸图像与特征图像中的高清人脸图像间的真实标记的误差，其中，特征图像中的高清人脸图像标记为“1”，具体公式如下：
Figure BDA0004016618490000151
/>
式中，N为单批次训练数据数量，ISR为特征图像中的高清人脸图像，G为生成器模型，D为判别器模型。
重构损失和对抗损失组成共同组成了模型的整体损失函数，具体公式如下：
Figure BDA0004016618490000152
式中，λMSE为重构损失系数，
Figure BDA0004016618490000153
为重构损失函数，λGen为对抗损失系数，/>
Figure BDA0004016618490000154
为对抗损失函数。
作为本实施例的优选实施方式，所述人脸识别网络的预训练步骤具体为：
获取若干高清人脸图片并做归一化处理，接着对所述高清人脸图片作尺寸缩小再放大处理、高斯模糊处理和运动模糊处理；对处理后的图像进行模糊判断，判断结果为模糊的图像输入上述训练好的超分辨率修复模型中进行修复，输出模拟图像；
具体实施时，本实施例将人脸图像尺寸归一化为112*112*3，其中30％的数据进行尺寸缩小后放大处理、高斯模糊处理、运动模糊处理。
获取特征图像，所述特征图像包括模拟图像和高清人脸图像，并对模拟图像和高清人脸图像分别添加生成图像和实际图像标签，形成训练样本集；
具体实施时，处理过的图像图其他图像混合打乱，按8：1：1比例划分成训练集、测试集和验证集。
建立人脸识别网络，所述人脸识别网络为卷积神经网络，将特征图像中的模拟图像作为输入，输出为模拟图像对应身份的高清人脸图像，以模拟图像和模拟图像对应身份的高清人脸图像间的区别最小为目标进行迭代训练，并构建一个损失函数来度量模拟图像和模拟图像对应身份的高清人脸图像间的区别，输出最优的人脸识别模型；
上述损失函数的表达式如下：
Figure BDA0004016618490000161
式中，N为批归一化系数，s为尺度因子系数，θ为参数x和权重W之间的角度；m为间隔系数，n为分类类别数量。
具体实施时，本实施例采用的人脸识别模型使用卷积神经网络，包括输入层、隐藏层和输出层，其具体结构为：
INPUT->ResNet18->Dense->OUTPUT
其中INPUT为输入层，输入图像尺寸为112*112*3；
ResNet18为17个卷积层和1个全连接层的隐藏层；
Dense为全连接层，尺寸为3*3*512；
OUTPUT输出层，输出大小为1*1*85172，85172为数据集中分类的类别数量。
并且在损失函数中，N为批归一化系数，设置为64；s为尺度因子系数，设置为30；m为间隔系数，设置为0.35。
实施例二：
一种低分辨率人脸识别系统，具体步骤包括：
人脸截取模块：通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；
人脸模糊判断模块：通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对人脸区域进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度的比值和预先设定的阈值做比较，判断所述人脸区域图像是否属于模糊图像；
人脸修复模块：若人脸区域图像属于模糊图像，则通过预训练的超分辨率修复网络对该人脸区域图像进行修复生成对应的高清人脸图像；
人脸识别模块：将人脸区域图像不属于模糊图像的人脸图像或者通过预训练的超分辨率修复网络修复后生成的对应的高清人脸图像输入至预训练的人脸识别网络进行人脸识别。
作为本实施例的优选实施方式，所述预训练的超分辨率修复网络为GAN网络，包括生成器网络和判别器网络，超分辨率修复网络的预训练步骤具体为：
随机收集若干高清人脸图像，并对高清人脸进行模糊处理获得对应的模糊人脸图像；
获取若干组特征图像，每组特征图像包括高清人脸图像和对应的模糊人脸图像，并对高清人脸图像和对应的模糊人脸图像分别添加高清和模糊标签，形成训练样本集；
将特征图像中对应的模糊人脸图像输入生成器网络中，输出修复后的高清人脸图像，再将修复后的高清人脸图像输入对抗器网络中与原高清人脸图像进行比较判断图片的真假，根据判断结果反向调整生成器网络的参数，直到输入对抗器网络的修复后的高清人脸图像与原高清人脸图像的判断结果为真，接着调整对抗器网络的参数进而调整精度，以经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的差距最小为目标进行迭代训练，重复训练对抗器网络和生成器网络，结束迭代输出最优的超分辨率修复网络。
作为本实施例的优选实施方式，所述对高清人脸进行模糊处理获得对应的模糊人脸图像步骤具体包括：
模拟小图像放大的场景：将获取的高清人脸图像先缩小后再利用二次插值法进行放大；
模拟失焦模糊场景：对获取的高清人脸图像使用高斯模糊处理；
模拟运动模糊场景：对获取的高清人脸图像使用动态模糊核进行二维滤波处理。
作为本实施例的优选实施方式，所述GAN网络的损失函数包括生成器网络中的重构损失函数和对抗器网络中的对抗损失函数：
重构损失函数为经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的平均损失误差，具体公式如下：
Figure BDA0004016618490000191
式中，ISR为特征图像中的高清人脸图像，ILR为对应的模糊人脸图像，W为图像宽度，H为图像高度，G()为经生成器修复后的高清人脸图像；
对抗损失函数为经生成器修复后的高清人脸图像与特征图像中的高清人脸图像间的真实标记的误差，其中，特征图像中的高清人脸图像标记为“1”，具体公式如下：
Figure BDA0004016618490000192
式中，N为单批次训练数据数量，ISR为特征图像中的高清人脸图像，G为生成器模型，D为判别器模型；
重构损失和对抗损失组成共同组成了模型的整体损失函数，具体公式如下：
Figure BDA0004016618490000193
式中，λMSE为重构损失系数，
Figure BDA0004016618490000194
为重构损失函数，λGen为对抗损失系数，/>
Figure BDA0004016618490000195
为对抗损失函数。
作为本实施例的优选实施方式，所述人脸识别网络的预训练步骤具体为：
获取若干高清人脸图片并做归一化处理，接着对所述高清人脸图片作尺寸缩小再放大处理、高斯模糊处理和运动模糊处理；对处理后的图像进行模糊判断，判断结果为模糊的图像输入上述训练好的超分辨率修复模型中进行修复，输出模拟图像；
获取特征图像，所述特征图像包括模拟图像和高清人脸图像，并对模拟图像和高清人脸图像分别添加生成图像和实际图像标签，形成训练样本集；
建立人脸识别网络，所述人脸识别网络为卷积神经网络，将特征图像中的模拟图像作为输入，输出为模拟图像对应身份的高清人脸图像，以模拟图像和模拟图像对应身份的高清人脸图像间的区别最小为目标进行迭代训练，并构建一个损失函数来度量模拟图像和模拟图像对应身份的高清人脸图像间的区别，输出最优的人脸识别模型；
上述损失函数的表达式如下：
Figure BDA0004016618490000201
式中，N为批归一化系数，s为尺度因子系数，θ为参数x和权重W之间的角度；m为间隔系数，n为分类类别数量。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种低分辨率人脸识别方法，其特征在于，具体步骤包括：
通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；
通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对人脸区域进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度的比值和预先设定的阈值做比较，判断所述人脸区域图像是否属于模糊图像；
若人脸区域图像属于模糊图像，则通过预训练的超分辨率修复网络对该人脸区域图像进行修复生成对应的高清人脸图像，再将高清人脸图像输入至预训练的人脸识别网络进行人脸识别；若人脸区域图像不属于模糊图像，则直接输入至预训练的人脸识别网络进行人脸识别。
2.根据权利要求1所述的一种低分辨率人脸识别方法，其特征在于，所述预训练的超分辨率修复网络为GAN网络，包括生成器网络和判别器网络，超分辨率修复网络的预训练步骤具体为：
随机收集若干高清人脸图像，并对高清人脸进行模糊处理获得对应的模糊人脸图像；
获取若干组特征图像，每组特征图像包括高清人脸图像和对应的模糊人脸图像，并对高清人脸图像和对应的模糊人脸图像分别添加高清和模糊标签，形成训练样本集；
将特征图像中对应的模糊人脸图像输入生成器网络中，输出修复后的高清人脸图像，再将修复后的高清人脸图像输入对抗器网络中与原高清人脸图像进行比较判断图片的真假，根据判断结果反向调整生成器网络的参数，直到输入对抗器网络的修复后的高清人脸图像与原高清人脸图像的判断结果为真，接着调整对抗器网络的参数进而调整精度，以经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的差距最小为目标进行迭代训练，重复训练对抗器网络和生成器网络，结束迭代输出最优的超分辨率修复网络。
3.根据权利要求2所述的一种低分辨率人脸识别方法，其特征在于，所述对高清人脸进行模糊处理获得对应的模糊人脸图像步骤具体包括：
模拟小图像放大的场景：将获取的高清人脸图像先缩小后再利用二次插值法进行放大；
模拟失焦模糊场景：对获取的高清人脸图像使用高斯模糊处理；
模拟运动模糊场景：对获取的高清人脸图像使用动态模糊核进行二维滤波处理。
4.根据权利要求2所述的一种低分辨率人脸识别方法，其特征在于，所述GAN网络的损失函数包括生成器网络中的重构损失函数和对抗器网络中的对抗损失函数：
重构损失函数为经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的平均损失误差，具体公式如下：
Figure FDA0004016618480000031
式中，ISR为特征图像中的高清人脸图像，ILR为对应的模糊人脸图像，W为图像宽度，H为图像高度，G()为经生成器修复后的高清人脸图像；
对抗损失函数为经生成器修复后的高清人脸图像与特征图像中的高清人脸图像间的真实标记的误差，其中，特征图像中的高清人脸图像标记为“1”，具体公式如下：
Figure FDA0004016618480000032
式中，N为单批次训练数据数量，ISR为特征图像中的高清人脸图像，G为生成器模型，D为判别器模型；
重构损失和对抗损失组成共同组成了模型的整体损失函数，具体公式如下：
Figure FDA0004016618480000033
式中，λMSE为重构损失系数，
Figure FDA0004016618480000034
为重构损失函数，λGen为对抗损失系数，/>
Figure FDA0004016618480000035
为对抗损失函数。
5.根据权利要求4所述的一种低分辨率人脸识别方法，其特征在于，所述人脸识别网络的预训练步骤具体为：
获取若干高清人脸图片并做归一化处理，接着对所述高清人脸图片作尺寸缩小再放大处理、高斯模糊处理和运动模糊处理；对处理后的图像进行模糊判断，判断结果为模糊的图像输入上述训练好的超分辨率修复模型中进行修复，输出模拟图像；
获取特征图像，所述特征图像包括模拟图像和高清人脸图像，并对模拟图像和高清人脸图像分别添加生成图像和实际图像标签，形成训练样本集；
建立人脸识别网络，所述人脸识别网络为卷积神经网络，将特征图像中的模拟图像作为输入，输出为模拟图像对应身份的高清人脸图像，以模拟图像和模拟图像对应身份的高清人脸图像间的区别最小为目标进行迭代训练，并构建一个损失函数来度量模拟图像和模拟图像对应身份的高清人脸图像间的区别，输出最优的人脸识别模型；
上述损失函数的表达式如下：
Figure FDA0004016618480000041
式中，N为批归一化系数，s为尺度因子系数，θ为参数x和权重W之间的角度；m为间隔系数，n为分类类别数量。
6.一种低分辨率人脸识别系统，其特征在于，具体步骤包括：
人脸截取模块：通过人脸检测算法对输入图像进行人脸检测，获取人脸区域图像；
人脸模糊判断模块：通过边缘检测算子提取所述人脸区域图像的水平和垂直方向的梯度，利用上述梯度计算得到第一图像模糊度；使用高斯模糊对人脸区域进行模糊处理，再次使用边缘检测算子提取经模糊处理后的图像的水平和垂直方向的梯度，利用上述梯度计算得到第二图像模糊度；通过第一图像模糊度与第二图像模糊度的比值和预先设定的阈值做比较，判断所述人脸区域图像是否属于模糊图像；
人脸修复模块：若人脸区域图像属于模糊图像，则通过预训练的超分辨率修复网络对该人脸区域图像进行修复生成对应的高清人脸图像；
人脸识别模块：将人脸区域图像不属于模糊图像的人脸图像或者通过预训练的超分辨率修复网络修复后生成的对应的高清人脸图像输入至预训练的人脸识别网络进行人脸识别。
7.根据权利要求6所述的一种低分辨率人脸识别系统，其特征在于，所述预训练的超分辨率修复网络为GAN网络，包括生成器网络和判别器网络，超分辨率修复网络的预训练步骤具体为：
随机收集若干高清人脸图像，并对高清人脸进行模糊处理获得对应的模糊人脸图像；
获取若干组特征图像，每组特征图像包括高清人脸图像和对应的模糊人脸图像，并对高清人脸图像和对应的模糊人脸图像分别添加高清和模糊标签，形成训练样本集；
将特征图像中对应的模糊人脸图像输入生成器网络中，输出修复后的高清人脸图像，再将修复后的高清人脸图像输入对抗器网络中与原高清人脸图像进行比较判断图片的真假，根据判断结果反向调整生成器网络的参数，直到输入对抗器网络的修复后的高清人脸图像与原高清人脸图像的判断结果为真，接着调整对抗器网络的参数进而调整精度，以经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的差距最小为目标进行迭代训练，重复训练对抗器网络和生成器网络，结束迭代输出最优的超分辨率修复网络。
8.根据权利要求7所述的一种低分辨率人脸识别系统，其特征在于，所述对高清人脸进行模糊处理获得对应的模糊人脸图像步骤具体包括：
模拟小图像放大的场景：将获取的高清人脸图像先缩小后再利用二次插值法进行放大；
模拟失焦模糊场景：对获取的高清人脸图像使用高斯模糊处理；
模拟运动模糊场景：对获取的高清人脸图像使用动态模糊核进行二维滤波处理。
9.根据权利要求7所述的一种低分辨率人脸识别系统，其特征在于，所述GAN网络的损失函数包括生成器网络中的重构损失函数和对抗器网络中的对抗损失函数：
重构损失函数为经生成器修复后的高清人脸图像和特征图像中的高清人脸图像间的平均损失误差，具体公式如下：
Figure FDA0004016618480000061
式中，ISR为特征图像中的高清人脸图像，ILR为对应的模糊人脸图像，W为图像宽度，H为图像高度，G()为经生成器修复后的高清人脸图像；
对抗损失函数为经生成器修复后的高清人脸图像与特征图像中的高清人脸图像间的真实标记的误差，其中，特征图像中的高清人脸图像标记为“1”，具体公式如下：
Figure FDA0004016618480000071
式中，N为单批次训练数据数量，ISR为特征图像中的高清人脸图像，G为生成器模型，D为判别器模型；
重构损失和对抗损失组成共同组成了模型的整体损失函数，具体公式如下：
Figure FDA0004016618480000072
/>
式中，λMSE为重构损失系数，
Figure FDA0004016618480000073
为重构损失函数，λGen为对抗损失系数，/>
Figure FDA0004016618480000074
为对抗损失函数。
10.根据权利要求9所述的一种低分辨率人脸识别系统，其特征在于，所述人脸识别网络的预训练步骤具体为：
获取若干高清人脸图片并做归一化处理，接着对所述高清人脸图片作尺寸缩小再放大处理、高斯模糊处理和运动模糊处理；对处理后的图像进行模糊判断，判断结果为模糊的图像输入上述训练好的超分辨率修复模型中进行修复，输出模拟图像；
获取特征图像，所述特征图像包括模拟图像和高清人脸图像，并对模拟图像和高清人脸图像分别添加生成图像和实际图像标签，形成训练样本集；
建立人脸识别网络，所述人脸识别网络为卷积神经网络，将特征图像中的模拟图像作为输入，输出为模拟图像对应身份的高清人脸图像，以模拟图像和模拟图像对应身份的高清人脸图像间的区别最小为目标进行迭代训练，并构建一个损失函数来度量模拟图像和模拟图像对应身份的高清人脸图像间的区别，输出最优的人脸识别模型；
上述损失函数的表达式如下：
Figure FDA0004016618480000081
式中，N为批归一化系数，s为尺度因子系数，θ为参数x和权重W之间的角度；m为间隔系数，n为分类类别数量。
CN202211686286.4A 2022-12-26 2022-12-26 一种低分辨率人脸识别方法 Pending CN116259087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211686286.4A CN116259087A (zh) 2022-12-26 2022-12-26 一种低分辨率人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211686286.4A CN116259087A (zh) 2022-12-26 2022-12-26 一种低分辨率人脸识别方法

Publications (1)

Publication Number Publication Date
CN116259087A true CN116259087A (zh) 2023-06-13

Family

ID=86680136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211686286.4A Pending CN116259087A (zh) 2022-12-26 2022-12-26 一种低分辨率人脸识别方法

Country Status (1)

Country Link
CN (1) CN116259087A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116959077A (zh) * 2023-09-12 2023-10-27 深圳须弥云图空间科技有限公司 图像识别方法、装置、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116959077A (zh) * 2023-09-12 2023-10-27 深圳须弥云图空间科技有限公司 图像识别方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Liu et al. Global texture enhancement for fake face detection in the wild
Kim et al. Median filtered image restoration and anti-forensics using adversarial networks
CN109801215B (zh) 基于对抗生成网络的红外超分辨率成像方法
CN112001429B (zh) 一种基于纹理特征的深度伪造视频检测方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN111797702A (zh) 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
Yu et al. Manipulation classification for jpeg images using multi-domain features
Li et al. Image quality assessment using deep convolutional networks
CN114596290A (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN111696049A (zh) 基于深度学习的水下扭曲图像重建方法
CN116259087A (zh) 一种低分辨率人脸识别方法
CN114724218A (zh) 视频检测方法、装置、设备及介质
Zhu et al. Remote sensing image watermarking based on motion blur degeneration and restoration model
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN114445726B (zh) 一种基于深度学习的样本库建立方法和装置
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN112381725B (zh) 基于深度卷积对抗生成网络的图像修复方法及装置
Jiang et al. Nert: Implicit neural representations for general unsupervised turbulence mitigation
Shahu BLUR IMAGE RESTORATION USING SOFT COMPUTING TECHNIQUES

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination