CN109493297B - 低质量人脸图像增强方法、系统、设备及存储介质 - Google Patents
低质量人脸图像增强方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN109493297B CN109493297B CN201811295423.5A CN201811295423A CN109493297B CN 109493297 B CN109493297 B CN 109493297B CN 201811295423 A CN201811295423 A CN 201811295423A CN 109493297 B CN109493297 B CN 109493297B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- quality
- face
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000003672 processing method Methods 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 210000000056 organ Anatomy 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 39
- 230000001815 facial effect Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 210000000697 sensory organ Anatomy 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种低质量人脸图像增强方法、系统、设备及存储介质，该方法包括：基于图像处理方法合成低质量人脸图像；计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。通过合成低质量人脸图像模拟现实环境中多种原因造成的低质量人脸图像，提高了生成图像增强模型通用性；在人脸识别过程中，利用人脸特征相似度的监督信号训练GAN模型，以提升低质量人脸图像场景下人脸识别性能。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种低质量人脸图像增强方法、系统、设备及存储介质。
背景技术
随着人脸识别性能的提升，人脸识别技术逐渐落地，应用到现实各个领域中。人脸识别系统的一般需要在应用场景中采集或抓取目标人的现场照片，将其与本人的证件照，或者检索库中的照片一起提取人脸特征，根据两者人脸特征比对的相似程度实现人脸识别。
然而，在一些应用场景中，由于存在现场环境不可控，用户无法配合等因素，往往抓取不到高质量的人脸照片，从而影响人脸特征的提取，从而影响人脸相似度的比对。低质量图像是指图像存在模糊、噪声、低分辨率、过暗或过曝等情况，比如：动态监控场景，天气因素会导致拍摄出不同亮度的图像，甚至参数欠曝光或者过曝光的情况；夜晚中由于光照严重不足，会产生非常严重的图像噪声；由于人物一般处于移动状态，拍摄到的人物也存在严重的模糊。在实际应用中，拍摄到的人脸图像往往质量很低，并且形成的原因非常复杂。低质量图片往往会极大的降低人脸识别系统的性能，因此，提升人脸图像质量，进而提升人脸识别系统性能，在许多应用场景，都具有非常重要的意义，是该类应用领域中的一个迫切需求。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种低质量人脸图像增强方法、系统、设备及存储介质，用于解决现有技术中增强低质量人脸图像以提高人脸识别准确率的问题。
为实现上述目的及其他相关目的，本发明提供一种低质量人脸图像增强方法，包括：
基于图像处理方法合成低质量人脸图像；
计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；
构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；
利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。
本发明的另一目的在于提供一种低质量人脸图像增强系统，包括：
低质量人脸图像生成模块，用于基于图像处理方法合成低质量人脸图像；
人脸权重矩阵估算模块，用于计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；
图像增强模型，用于构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；
图像恢复模块，用于利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。
于本发明的另一目的在于提供一种计算设备，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明还有一目的在于存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。
如上所述，本发明的低质量人脸图像增强方法、系统、设备及存储介质，具有以下有益效果：
通过合成低质量人脸图像模拟现实环境中多种原因造成的低质量人脸图像，提高了生成图像增强模型通用性；在人脸识别过程中，利用人脸特征相似度的监督信号训练GAN模型，以提升低质量人脸图像场景下人脸识别性能。对于任一张用于测试的人脸图像，经该图像增强模型处理后，均可以生成符合目标图像特征的人脸图像，也就是说，通过该图像增强模型能够自适应地对测试图像进行调整，以得到人脸美化和画质提升的人脸图像。
附图说明
图1显示为本发明提供的一种低质量人脸图像增强方法流程示意图；
图2显示为本发明提供的一种低质量人脸图像增强方法中图像增强模型训练流程图；
图3显示为本发明提供的一种低质量人脸图像增强系统结构框图；
图4显示为本发明提供的一种低质量人脸图像增强系统图像增强模型结构框图；
图5显示为本发明提供的一种包含低质量人脸图像增强方法的计算设备结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，为本发明提供一种低质量人脸图像增强方法流程图，包括：
步骤S101，基于图像处理方法合成低质量人脸图像；
其中，基于图像处理方法，构造不同类型低质量人脸图像的生成模块，例如采用低光照图像、噪声图像、模糊图像、JPEG压缩失真图像、低bit图像等，在具体应用场景，可以有更多的低质量类型的生成模块；
从低质量人脸图像生成模块构成的集合Mi内，随机选择N个生成模块，其中，
Mi,i∈[1,N]，N为大于1的自然数。
将N个生成模块以随机顺序逐个应用到所述真实图像得到低质量人脸图像：
L＝Mp(1)Mp(2)…Mp(N)(I)
式中，p为N个数的随机排列，L为低质量人脸图像，I为高质量人脸图像，即，真实人脸图像。
步骤S102，计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；
其中，采用关键点定位模型得到低质量人脸图像中关键点坐标；
初始化得到一个与所述低质量人脸图像相同尺寸的二维矩阵，当初始值为0时，表示人脸图像中对应的位置的权重为0；
根据所述关键点坐标确定人脸图像中五官区域，而将五官区域内所对应的位置权重设为1，也可采用其他数值来表示其它不同部位具有不同的权重；
利用二维矩阵M表示所述五官区域的人脸权重矩阵；另外，也可采用像素分割的方法计算人脸权重矩阵。
步骤S103，构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；
其中，所述生成模型G的输入为所述低质量人脸图像；所述生成模型的输出为所述增强的低质量人脸图像，即高质量复原图像；
所述判别模型D的输入为所述增强的低质量人脸图像和高质量的真实图像，所述判别模型的输出为二分类判断值，即判别模型主要区分该图像为真实图像还是复原图像，有利于后续。
步骤S104，利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。
其中，当图像增强模型训练完毕后，针对输入的低质量人脸图像可直接进行复原，通过该模型处理以增强低质量人脸图像，便于后续人脸识别过程中，因人脸图像自身问题所带来的降低人脸识别准确率的问题，使图像增强模型的应用场景更真实，从而提高了人脸识别准确率。
在本实施例中，由于图像增强模型在训练时引入的各类低质量人脸图像极大的增强了训练集数据，通过前期合成各种不同种类的低质量人脸图像，使得图像增强模型在对低质量人脸图像增强时通用性大大增强，针对低质量人脸图像增强效果更佳。
请参阅图2，为本发明提供的一种低质量人脸图像增强方法中图像增强模型训练流程图，详述如下：
步骤S201，采用多组不同类型且不同低质程度的低质量人脸图像，得到每一真实图像对应的每组低质量人脸图像与人脸权重矩阵；
其中，由于低质量人脸图像是基于真实图像(真实人脸图像)转化而来，而每组低质量人脸图像有其对应的人脸权重矩阵，因此，这三者之间为一一对应关系，当然，由于同一真实图像可能是基于多种不同低质量生成模块演化而来，因此，可以多个低质量人脸图像分别对应同一真实图像。
步骤S202，采用人脸特征提取模型提取真实图像与图像增强模型生成的复原图像的特征；
具体地，使用人脸特征提取模型F，计算真实图像F(I)、F(GL)，F(I)为人脸特征提取模型提取的真实图像中人脸特征，G(L)为复原的低质量人脸图像。
步骤S203，给定训练数据，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数，训练图像增强模型。
具体地，人脸特征相似度函数：min s(F(I),F(G(L)))，其中，s为欧式距离函数中的相似度函数；基于人脸权重的图像相似度min s1(M⊙(I-G(L)))，式中，⊙表示逐元素乘法，s1为相似度函数，M为表示人脸权重矩阵，I为真实人脸图像，G(L)为复原的低质量人脸图像；其中，结合原生的GAN监督函数训练基于深层神经网络的图像增强模型，由于联合了人脸特征相似度监督函数和基于人脸权重的图像相似度监督函数，只需一次模型训练，减少了图像增强模型的训练时间，极大的减少了模型的开发周期。
在本实施例中，采用上述人脸图像增强方法可有效恢复诸如动态视频件监控下等场景，低质量人脸场景下人脸图像质量，提高人脸识别系统在上述场景的中识别性能。
请参阅图3，为本发明提供一种低质量人脸图像增强系统结构框图，包括：
低质量人脸图像生成模块31，用于基于图像处理方法合成低质量人脸图像；
其中，模块生成单元，用于基于图像处理方法，构造不同类型低质量人脸图像的生成模块；
随机选择单元，用于从低质量人脸图像生成模块构成的集合Mi内，随机选择N个生成模块，其中，Mi,i∈[1,N]；
低质量人脸图像生成单元，用于将N个生成模块以随机顺序逐个应用到所述真实图像得到低质量人脸图像。
人脸权重矩阵估算模块32，用于计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；
其中，关键点坐标生成单元，采用关键点定位模型得到低质量人脸图像中关键点坐标；
矩阵初始化单元，用于初始化得到一个与所述低质量人脸图像相同尺寸的二维矩阵；
五官提取单元，用于根据所述关键点坐标确定人脸图像中五官区域；
人脸权重矩阵单元，利用二维矩阵表示所述五官区域的人脸权重矩阵。
图像增强模型33，用于构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集来拟合参数，生成图像增强模型；
所述生成模型的输入为所述低质量人脸图像；所述生成模型的输出为所述增强的低质量人脸图像；
所述判别模型的输入为所述增强的低质量人脸图像和高质量的真实图像，所述判别模型的输出为二分类判断值。
图像恢复模块34，用于利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。
请参阅图4，本发明提供的一种低质量人脸图像增强系统图像增强模型结构框图，详述如下：
预处理单元，采用多组不同类型且不同低质程度的低质量人脸图像，得到每一真实图像对应的每组低质量人脸图像与人脸权重矩阵；
特征提取单元，采用人脸特征提取模型提取真实图像与图像增强模型生成的复原图像的特征；
模型训练单元，给定训练数据，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数，训练图像增强模型。
由于该系统与上述方法为一一对应关系，其涉及的技术细节与技术效果参照上述方法实施例，在此不一一赘述。
请参阅图5，为本发明提供一种计算设备，包括：
一个或多个处理器50；和
存储器51；
一个或多个程序(计算机程序52)，其中所述一个或多个程序存储在所述存储器中51并被配置为由所述一个或多个处理器50执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行上述的方法中的任一方法。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能
综上所述，本发明通过合成低质量人脸图像模拟现实环境中多种原因造成的低质量人脸图像，提高了生成图像增强模型通用性；在人脸识别过程中，利用人脸特征相似度的监督信号训练GAN模型，以提升低质量人脸图像场景下人脸识别性能。对于任一张用于测试的人脸图像，经该图像增强模型处理后，均可以生成符合目标图像特征的人脸图像，也就是说，通过该图像增强模型能够自适应地对测试图像进行调整，以得到人脸美化和画质提升的人脸图像。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种低质量人脸图像增强方法，其特征在于，所述方法包括以下步骤：
基于图像处理方法合成各种不同种类的低质量人脸图像；
计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；其中，采用关键点定位模型得到低质量人脸图像中关键点坐标；初始化得到一个与所述低质量人脸图像相同尺寸的二维矩阵；根据所述关键点坐标确定人脸图像中五官区域；利用二维矩阵表示所述五官区域的人脸权重矩阵；
构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数来拟合参数，生成图像增强模型；其中，所述人脸特征相似度监督函数为mins(F(I),F(G(L)))，所述基于人脸权重矩阵的图像相似度监督函数为mins1(M⊙(I-G(L)))，式中，s为欧式距离函数中的相似度函数；⊙表示逐元素乘法，s1为相似度函数，M为表示人脸权重矩阵，I为真实图像，G(L)为复原的低质量人脸图像，F为人脸特征提取模型；
利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。
2.根据权利要求1所述的低质量人脸图像增强方法，其特征在于，所述基于图像处理方法合成低质量人脸图像的步骤，包括：
基于图像处理方法，构造不同类型低质量人脸图像的生成模块；
从低质量人脸图像生成模块构成的集合Mi内，随机选择N个生成模块，其中，Mi,i∈[1,N]；
将N个生成模块以随机顺序逐个应用到所述真实图像得到低质量人脸图像。
3.根据权利要求1所述的低质量人脸图像增强方法，其特征在于，所述图像增强模型为生成式对抗神经网络模型，包括生成模型和判别模型：
所述生成模型的输入为所述低质量人脸图像；所述生成模型的输出为所述增强的低质量人脸图像；
所述判别模型的输入为所述增强的低质量人脸图像和高质量的真实图像，所述判别模型的输出为二分类判断值。
4.根据权利要求1所述的低质量人脸图像增强方法，其特征在于，所述构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数来拟合参数，生成图像增强模型的步骤，包括：
采用多组不同类型且不同低质程度的低质量人脸图像，得到每一真实图像对应的每组低质量人脸图像与人脸权重矩阵；
采用人脸特征提取模型提取真实图像与图像增强模型生成的复原图像的特征；
获取预先给定的训练数据，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数，训练图像增强模型。
5.一种低质量人脸图像增强系统，其特征在于，所述系统包括：
低质量人脸图像生成模块，用于基于图像处理方法合成各种不同种类的低质量人脸图像；
人脸权重矩阵估算模块，用于计算所述低质量人脸图像关于其五官区域的人脸权重矩阵；所述人脸权重矩阵估算模块包括：关键点坐标生成单元，采用关键点定位模型得到低质量人脸图像中关键点坐标；矩阵初始化单元，用于初始化得到一个与所述低质量人脸图像相同尺寸的二维矩阵；五官提取单元，用于根据所述关键点坐标确定人脸图像中五官区域；人脸权重矩阵单元，利用二维矩阵表示所述五官区域的人脸权重矩阵；
图像增强模型，用于构造深层神经网络，使用低质量人脸图像、真实图像以及相对应的人脸权重矩阵作为训练集，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数来拟合参数，生成图像增强模型；其中，所述人脸特征相似度监督函数为mins(F(I),F(G(L)))，所述基于人脸权重矩阵的图像相似度监督函数为mins1(M⊙(I-G(L)))，式中，s为欧式距离函数中的相似度函数；⊙表示逐元素乘法，s1为相似度函数，M为表示人脸权重矩阵，I为真实图像，G(L)为复原的低质量人脸图像，F为人脸特征提取模型；
图像恢复模块，用于利用所述图像增强模型对输入低质量人脸图像处理，以增强图像低质量人脸图像。
6.根据权利要求5所述的低质量人脸图像增强系统，其特征在于，所述低质量人脸图像生成模块包括：
模块生成单元，用于基于图像处理方法，构造不同类型低质量人脸图像的生成模块；
随机选择单元，用于从低质量人脸图像生成模块构成的集合Mi内，随机选择N个生成模块，其中，Mi,i∈[1,N]；
低质量人脸图像生成单元，用于将N个生成模块以随机顺序逐个应用到所述真实图像得到低质量人脸图像。
7.根据权利要求5所述的低质量人脸图像增强系统，其特征在于，所述图像增强模型为生成式对抗神经网络模型，包括生成模型和判别模型：
所述生成模型的输入为所述低质量人脸图像；所述生成模型的输出为所述增强的低质量人脸图像；
所述判别模型的输入为所述增强的低质量人脸图像和高质量的真实图像，所述判别模型的输出为二分类判断值。
8.根据权利要求5所述的低质量人脸图像增强系统，其特征在于，所述图像增强模型进一步包括：
预处理单元，采用多组不同类型且不同低质程度的低质量人脸图像，得到每一真实图像对应的每组低质量人脸图像与人脸权重矩阵；
特征提取单元，采用人脸特征提取模型提取真实图像与图像增强模型生成的复原图像的特征；
模型训练单元，获取预先给定的训练数据，利用人脸特征相似度监督函数，基于人脸权重矩阵的图像相似度监督函数与原生的GAN监督函数，训练图像增强模型。
9.一种计算设备，其特征在于，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-4所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-4所述的方法中的任一方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811295423.5A CN109493297B (zh) | 2018-11-01 | 2018-11-01 | 低质量人脸图像增强方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811295423.5A CN109493297B (zh) | 2018-11-01 | 2018-11-01 | 低质量人脸图像增强方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109493297A CN109493297A (zh) | 2019-03-19 |
| CN109493297B true CN109493297B (zh) | 2020-08-18 |
Family
ID=65692032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811295423.5A Active CN109493297B (zh) | 2018-11-01 | 2018-11-01 | 低质量人脸图像增强方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109493297B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135336B (zh) * | 2019-05-14 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 行人生成模型的训练方法、装置及存储介质 |
| CN112288638A (zh) * | 2019-07-27 | 2021-01-29 | 华为技术有限公司 | 图像增强设备以及系统 |
| CN112396558A (zh) * | 2019-08-15 | 2021-02-23 | 株式会社理光 | 图像处理方法、装置及计算机可读存储介质 |
| CN110602403A (zh) * | 2019-09-23 | 2019-12-20 | 华为技术有限公司 | 一种暗光下拍照的方法及电子设备 |
| CN112991191A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 人脸图像增强方法、装置及电子设备 |
| CN112070744B (zh) * | 2020-09-08 | 2022-11-22 | 济南博观智能科技有限公司 | 一种人脸识别的方法、系统、设备及可读存储介质 |
| CN112561813B (zh) * | 2020-12-10 | 2024-03-26 | 深圳云天励飞技术股份有限公司 | 人脸图像增强方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN107038429A (zh) * | 2017-05-03 | 2017-08-11 | 四川云图睿视科技有限公司 | 一种基于深度学习的多任务级联人脸对齐方法 |
| CN107895358A (zh) * | 2017-12-25 | 2018-04-10 | 科大讯飞股份有限公司 | 人脸图像的增强方法及系统 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108573243A (zh) * | 2018-04-27 | 2018-09-25 | 上海敏识网络科技有限公司 | 一种基于深度卷积神经网络的低质量人脸的比对方法 |
| CN108573479A (zh) * | 2018-04-16 | 2018-09-25 | 西安电子科技大学 | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 |
| CN108648163A (zh) * | 2018-05-17 | 2018-10-12 | 厦门美图之家科技有限公司 | 一种人脸图像的增强方法及计算设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6631208B1 (en) * | 1998-05-29 | 2003-10-07 | Fuji Photo Film Co., Ltd. | Image processing method |
| JP2017084065A (ja) * | 2015-10-27 | 2017-05-18 | 株式会社東芝 | なりすまし検出装置 |
| US9996772B2 (en) * | 2016-04-28 | 2018-06-12 | International Business Machines Corporation | Detection of objects in images using region-based convolutional neural networks |
| US10861605B2 (en) * | 2016-08-22 | 2020-12-08 | Aic Innovations Group, Inc. | Method and apparatus for determining health status |
| CN107423707A (zh) * | 2017-07-25 | 2017-12-01 | 深圳帕罗人工智能科技有限公司 | 一种基于复杂环境下的人脸情绪识别方法 |
| CN107491771A (zh) * | 2017-09-21 | 2017-12-19 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
-
2018
- 2018-11-01 CN CN201811295423.5A patent/CN109493297B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN107038429A (zh) * | 2017-05-03 | 2017-08-11 | 四川云图睿视科技有限公司 | 一种基于深度学习的多任务级联人脸对齐方法 |
| CN107895358A (zh) * | 2017-12-25 | 2018-04-10 | 科大讯飞股份有限公司 | 人脸图像的增强方法及系统 |
| CN108537743A (zh) * | 2018-03-13 | 2018-09-14 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108573479A (zh) * | 2018-04-16 | 2018-09-25 | 西安电子科技大学 | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 |
| CN108573243A (zh) * | 2018-04-27 | 2018-09-25 | 上海敏识网络科技有限公司 | 一种基于深度卷积神经网络的低质量人脸的比对方法 |
| CN108648163A (zh) * | 2018-05-17 | 2018-10-12 | 厦门美图之家科技有限公司 | 一种人脸图像的增强方法及计算设备 |
Non-Patent Citations (2)
| Title |
|---|
| Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network;Christian Ledig;《2017 IEEE conference oncomputer vision and pattern》;20170701;参见第1-19页 * |
| 基于半监督学习生成对抗网络的人脸还原算法研究;曹志义 等;《电子与信息学报》;20180215;第40卷(第2期);参见第323-330页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109493297A (zh) | 2019-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109493297B (zh) | 低质量人脸图像增强方法、系统、设备及存储介质 | |
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN108710847B (zh) | 场景识别方法、装置及电子设备 | |
| Chen et al. | Hdrunet: Single image hdr reconstruction with denoising and dequantization | |
| Wang et al. | Deep learning for hdr imaging: State-of-the-art and future trends | |
| CN106603941B (zh) | 计算复杂度自适应的hdr图像转换方法及其系统 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| CN110033463B (zh) | 一种前景数据生成及其应用方法、相关装置和系统 | |
| CN108875751B (zh) | 图像处理方法和装置、神经网络的训练方法、存储介质 | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| Ji et al. | Geometry-aware single-image full-body human relighting | |
| Le et al. | Single-image hdr reconstruction by multi-exposure generation | |
| CN111353965A (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN111951373B (zh) | 一种人脸图像的处理方法和设备 | |
| CN111080683A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN115439367A (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN109360176A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Guindy et al. | Performance evaluation of HDR image reconstruction techniques on light field images | |
| CN116128707A (zh) | 图像处理方法及装置、电子设备、计算可读存储介质 | |
| CN114913287A (zh) | 一种三维人体模型重建方法及系统 | |
| CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和系统 | |
| CN112085025A (zh) | 物体分割方法、装置、设备 | |
| TWI757965B (zh) | 擴增實境體感遊戲機之深度學習方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 401122 5 stories, Block 106, West Jinkai Avenue, Yubei District, Chongqing Applicant after: Chongqing Zhongke Yuncong Technology Co., Ltd. Address before: 401122 5 stories, Block 106, West Jinkai Avenue, Yubei District, Chongqing Applicant before: CHONGQING ZHONGKE YUNCONG TECHNOLOGY CO., LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |