CN113409207A - 一种人脸图像清晰度提升方法及装置 - Google Patents
一种人脸图像清晰度提升方法及装置 Download PDFInfo
- Publication number
- CN113409207A CN113409207A CN202110659802.3A CN202110659802A CN113409207A CN 113409207 A CN113409207 A CN 113409207A CN 202110659802 A CN202110659802 A CN 202110659802A CN 113409207 A CN113409207 A CN 113409207A
- Authority
- CN
- China
- Prior art keywords
- face image
- definition
- face
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000015556 catabolic process Effects 0.000 claims abstract description 22
- 238000006731 degradation reaction Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000007850 degeneration Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011423 initialization method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸图像清晰度提升方法及装置,属于图像处理领域;在获取待提升清晰度的人脸图像后,将人脸图像输入到经退化操作训练的模型中得到清晰度提升后的人脸图像。由于模型经过退化操作训练,即原本清晰的图像处理为清晰度不高的图像,然后以清晰度不高的图像为训练样本使其得到清晰的图像,这样待提升清晰度的人脸图像输入到模型中后能够大大提升人脸图像的清晰度。
Description
技术领域
本发明涉及图像处理技术,特别地,涉及一种人脸图像清晰度提升方法及装置。
背景技术
当前市场上的提升照片清晰度的图片编辑类应用中,用户可以输入照片对照片进行清晰度的提升。但是,在对照片进行清晰度提升的时候,使用的方法在人脸图像上的效果会比较一般。传统方法对人脸图像做针对性优化,也只能进行简单的降噪操作,但降噪的同时会让人脸有很重的涂抹感,脸部细节会大量丢失,清晰度的提升效果较差。
发明内容
为了克服现有技术的不足,本发明提供一种人脸图像清晰度提升方法及装置,以解决传统提升人脸照片清晰度方法让人脸有很重的涂抹感,脸部细节会大量丢失,清晰度的提升效果较差的问题。
本发明解决其技术问题所采用的技术方案是:
一方面,
一种人脸图像清晰度提升方法,包括以下步骤:
获取待提升清晰度的人脸图像;
将所述人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。
进一步地,所述经退化操作训练的模型的训练步骤包括:
获取训练人脸图像的高清图片;
将所述训练人脸图像进行退化操作得到低清图片;
将所述低清图片输入到预构建的卷积神经网络模型中得到生成图片;
计算所述生成图片与所述高清图片之间的损失;
判断所述损失是否收敛;
若不收敛,则采用自适应矩估计算法优化所述卷积神经网络模型的参数;
重复上述步骤直至所述损失收敛且所述生成图片清晰度达到要求时,保存所述卷积神经网络模型的参数得到经退化操作训练的模型。
进一步地,所述退化操作包含以下步骤:
以50%的概率进行模糊操作;
以20%的概率进行加噪操作;
以70%的概率进行JPEG压缩操作;
进行缩放操作,缩放至图片长宽分别是所述高清图片的长宽的1/4大小。
进一步地,还包括:
将所述高清图片输入到预构建的多层判别模型中得到所述高清图片为真的第一概率;
将所述生成图片输入到所述多层判别模型中得到所述生成图片为假的第二概率;
用Hinge损失函数分别计算所述第一概率和第二概率与1的损失,并将计算得到的两个损失求和得到损失和;
判断所述损失和是否收敛;
若不收敛,则采用自适应矩估计算法优化所述多层判别模型的参数;
重复上述步骤直至所述损失和收敛,保存此时的多层判别模型。
进一步地,将所述人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像包括:
对所述人脸图像进行预处理得到只包含人脸的原始降噪人脸图像;
将原始降噪人脸图像输入到所述模型中。
进一步地,所述对所述人脸图像进行预处理得到只包含人脸的原始降噪人脸图像包括:
将所述人脸图像输入到预构建的人脸识别模型中得到人脸数据,所述人脸数据包括人脸框、左眼、右眼、鼻尖、左嘴角和右嘴角的位置;
根据所述人脸数据在所述人脸图像上进行剪裁操作得到原始人脸图像;
对所述原始人脸图像进行人脸选择对齐操作得到原始对齐人脸图像;
对所述原始对齐图像使用三次插值算法进行缩放操作,得到大小为128*128的原始缩放人脸图像;
对所述原始缩放人脸图像进行降噪操作,得到原始降噪人脸图像。
进一步地,所述将原始降噪人脸图像输入到所述模型后得到高清降噪人脸图像;
对所述高清降噪人脸图像进行预处理得到高清人脸图像;
将所述高清人脸图像融合到所述人脸图像中得到最终图像。
进一步地,所述对所述高清降噪人脸图像进行预处理得到高清人脸图像包括:
对所述高清降噪人脸图像使用三次插值算法进行缩放操作,得到大小与原始人脸图像大小一致的高清缩放人脸图像;
将所述高清人脸图像进行旋转还原操作,得到高清人脸图像,所述高清人脸图像中人脸的位置与原始人脸图像中人脸的位置一致。
进一步地,所述将所述高清人脸图像融合到所述人脸图像中得到最终图像包括:
将所述高清人脸图像输入到预构建的人像分割模型,得到高清人脸掩膜图像;
对所述高清人脸掩膜图像进行腐蚀、膨胀和模糊操作,得到高清人脸羽化掩膜图像;
以高清人脸羽化掩膜图像中的像素值为权重,将所述高清人脸图像融合到人脸图像中得到最终图像。
另一方面,
一种人脸图像清晰度提升装置,包括:
人脸图像获取模块,用于获取待提升清晰度的人脸图像;
人脸图像输入模块,用于将所述人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。
本申请采用以上技术方案,至少具备以下有益效果:
本申请技术方案提供的一种人脸图像清晰度提升方法及装置,在获取待提升清晰度的人脸图像后,将人脸图像输入到经退化操作训练的模型中得到清晰度提升后的人脸图像。由于模型经过退化操作训练,即原本清晰的图像处理为清晰度不高的图像,然后以清晰度不高的图像为训练样本使其得到清晰的图像,这样待提升清晰度的人脸图像输入到模型中后能够大大提升人脸图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸图像清晰度提升方法流程图;
图2是本发明实施例提供的一种经退化操作训练的模型训练示意图;
图3是本发明实施例提供的一种高清图片退化操作后得到低清图片的示意图;
图4是本发明实施例提供的一种人脸图像清晰度提升的具体实施的方式;
图5是本发明实施例提供的一种人脸图像清晰度提升装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本申请所保护的范围。
参照图1,本发明实施例提供一种人脸图像清晰度提升方法,包括以下步骤:
获取待提升清晰度的人脸图像;
将人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。
本发明实施例提供的一种人脸图像清晰度提升方法,在获取待提升清晰度的人脸图像后,将人脸图像输入到经退化操作训练的模型中得到清晰度提升后的人脸图像。由于模型经过退化操作训练,即原本清晰的图像处理为清晰度不高的图像,然后以清晰度不高的图像为训练样本使其得到清晰的图像,这样待提升清晰度的人脸图像输入到模型中后能够大大提升人脸图像的清晰度。
作为对上述实施例的一种补充说明,经退化操作训练的模型的训练步骤包括:
获取训练人脸图像的高清图片;具体地,从FFHQ数据集中随机选择一张人脸图片,缩放至大小为512x512,并以30%的概率对人脸图片进行灰度操作,得到高清图片。其中,FFHQ全称Flickr-Faces-High-Quality(Flickr-Faces-HQ),最初是作为生成式对抗网络(GAN)的基准创建的,也用于StyleGAN的训练数据集中,并由英伟达于2019年开源。FFHQ是一个高质量的人脸数据集,包含1024×1024分辨率的70000张PNG格式高清人脸图像,在年龄、种族和图像背景上丰富多样且差异明显,在人脸属性上也拥有非常多的变化,拥有不同的年龄、性别、种族、肤色、表情、脸型、发型、人脸姿态等,囊盖普通眼镜、太阳镜、帽子、发饰及围巾等多种人脸周边配件,因此该数据集也是可以用于开发一些人脸属性分类或者人脸语义分割模型的。
将训练人脸图像进行退化操作得到低清图片;其中退化操作包含以下步骤:
(1)以50%的概率进行模糊操作;
(2)以20%的概率进行加噪操作;
(3)以70%的概率进行JPEG压缩操作;
(4)进行缩放操作,缩放至图片长宽分别是高清图片的长宽的1/4大小。
将低清图片输入到预构建的卷积神经网络模型中得到生成图片;需要说明的是,预构建的卷积神经网络模型的参数使用kaiming初始化方法初始化生成模型的参数。kaiming初始化是一种在卷积神经网络的训练中常用的权重初始化方法,在此不再详述。
计算生成图片与高清图片之间的损失;具体地,用交叉熵损失函数计算生成图片与高清图片之间的损失。
判断损失是否收敛;
若不收敛,则采用自适应矩估计算法优化卷积神经网络模型的参数;
重复上述步骤直至损失收敛且生成图片清晰度达到要求时,保存卷积神经网络模型的参数得到经退化操作训练的模型。可以理解的是,损失不是完全递减的,是一个抖动下降的过程,训练到后面会趋于一个上下波动的状态,同时效果不一定会符合要求,这个时候需要不定时人为观察模型产出效果。
作为本发明实施例一种可选的实现方式,还包括:
将高清图片输入到预构建的多层判别模型中得到高清图片为真的第一概率;
将生成图片输入到多层判别模型中得到生成图片为假的第二概率;
用Hinge损失函数分别计算第一概率和第二概率与1的损失,并将计算得到的两个损失求和得到损失和;
判断损失和是否收敛;
若不收敛,则采用自适应矩估计算法优化多层判别模型的参数;
重复上述步骤直至损失和收敛,保存此时的多层判别模型。
多层判别模型用于判断生成图片是否与高清图片相同,在机器学习领域,判别模型是一种对未知数据y与已知数据x之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量x,判别模型通过构建条件概率分布P(y|x)预测y。本申请中高清图片为真是已知数据,而生成图片为假是未知数据。由于最开始构建的多层次判别模型参数并不准确,因此需要经过多次更新调整。
在实际操作过程中,将人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像包括:
对人脸图像进行预处理得到只包含人脸的原始降噪人脸图像;具体地,将人脸图像输入到预构建的人脸识别模型中得到人脸数据,人脸数据包括人脸框、左眼、右眼、鼻尖、左嘴角和右嘴角的位置;
根据人脸数据在人脸图像上进行剪裁操作得到原始人脸图像;
对原始人脸图像进行人脸选择对齐操作得到原始对齐人脸图像;中原始对齐人脸图像中的人脸左眼与右眼处于水平位置,左眼与右眼的中间位置处于原始对齐人脸图像的中心。
对原始对齐图像使用三次插值算法进行缩放操作,得到大小为128*128的原始缩放人脸图像;三次插值法是在1959年由Davidon首先提出来的,它是用三次插值多项式逼近函数,而求函数的近似最小点的一种迭代算法。
使用基于离散余弦变换的降噪算法对原始缩放人脸图像进行降噪操作,得到原始降噪人脸图像。
将原始降噪人脸图像输入到模型中得到高清降噪人脸图像,其中高清降噪人脸图像大小为512x512,高清降噪人脸图像中人脸肤质改善和脸部细节清晰度提升。
对高清降噪人脸图像进行预处理得到高清人脸图像;具体地,对高清降噪人脸图像使用三次插值算法进行缩放操作,得到大小与原始人脸图像大小一致的高清缩放人脸图像;
将高清人脸图像进行旋转还原操作,得到高清人脸图像,高清人脸图像中人脸的位置与原始人脸图像中人脸的位置一致
将高清人脸图像融合到人脸图像中得到最终图像。具体地,将高清人脸图像输入到预构建的人像分割模型,得到高清人脸掩膜图像;其中,人像分割模型可接收输入图像,输出人像掩膜图像,人像掩膜图像的像素值范围为0~1,其中像素值表示该像素属于人像的置信度。具体的人像分割模型实现方式可根据需要采用合适的实现方案。
对高清人脸掩膜图像进行腐蚀、膨胀和模糊操作,得到高清人脸羽化掩膜图像;膨胀操作、腐蚀操作、模糊操作均为图像处理方面的经典算法,在OpenCV上都有其具体的实现方法。在此不再详述。
以高清人脸羽化掩膜图像中的像素值为权重,将高清人脸图像融合到人脸图像中得到最终图像。具体计算如下:记高清人脸羽化掩膜图像中的像素值为a,记原始图像中的像素值为B,记高清人脸图像的像素值为S,记最终图像的像素值为R,则可以通过公式R=S*a+B*(1-a)计算得到最终人脸肤质改善和脸部细节清晰度提升的图像。
为了更清楚的说明本发明实施例,以下提供一种具体实施的方式,如图4所示,
S1.模型训练模块(如图2所示)
1.使用卷积神经网络构建一个生成模型G,使用kaiming初始化方法初始化生成模型G的参数。
2.使用卷积神经网络构建一个多层判别模型D。
3.从FFHQ数据集中随机选择一张人脸图片,缩放至大小为512x512,并以30%的概率对人脸图片进行灰度操作,得到高清图片HR。
4.对高清图片HR,进行退化操作,得到低清图片LR,其中退化操作包含以下步骤(如图3所示):
(1)以50%的概率进行模糊操作;
(2)以20%的概率进行加噪操作;
(3)以70%的概率进行JPEG压缩操作;
(4)进行缩放操作,缩放至图片长宽分别是HR的长宽的1/4大小。
5.将低清图片LR输入到生成模型G,根据生成模型G的参数计算,得到生成图片SR。
6.用交叉熵损失函数计算生成图片SR与原始高清图片HR之间的损失LG,用自适应矩估计算法更新生成模型G的参数。
7.将高清图片HR输入到多层判别模型D,根据多层判别模型D的参数计算,得到高清图片HR为真的概率DH。
8.将生成图片SR输入到多层判别模型D,根据多层判别模型D的参数计算,得到生成图片SR为假的概率DS。
9.用Hinge损失函数计算(DH与1的损失)+(DS与1的损失)的损失和,用自适应矩估计算法更新生成模型D的参数。
10.重复以上3~9的步骤,直到损失LG收敛并且生成模型G生成的生成图片SR达到人脸肤质改善和脸部细节清晰度提升的效果的时候,存储生成模型G,完成模型训练。
S2.人脸预处理模块
1.利用移动客户端获取原始图像。
2.载入人脸识别模型到移动客户端,人脸识别模型可接收输入图像,输出为输入图像中的人脸数据,其中人脸数据包含人脸框、左眼、右眼、鼻尖、左嘴角和右嘴角的位置。具体的人脸识别模型实现方式可根据需要采用合适的实现方案。
3.将原始图像输入到人脸识别模型,进行识别操作,得到图像中的人脸数据。
4.根据人脸数据,在原始图像上进行裁剪操作,得到原始人脸图像。
5.将原始人脸图像进行人脸旋转对齐操作,得到原始对齐人脸图像,其中原始对齐人脸图像中的人脸左眼与右眼处于水平位置,左眼与右眼的中间位置处于原始对齐人脸图像的中心。
6.对原始对齐人脸图像使用三次插值算法进行缩放操作,得到大小为128x128的原始缩放人脸图像。
7.使用基于离散余弦变换的降噪算法,将原始缩放人脸图像进行降噪操作,得到原始降噪人脸图像。
S3.模型推算模块
1.将原始降噪人脸图像输入至存储的生成模型G,得到人脸肤质改善和脸部细节清晰度提升的高清降噪人脸图像,其中高清降噪人脸图像大小为512x512。
2.对高清降噪人脸图像使用三次插值算法进行缩放操作,得到大小与原始人脸图像大小一致的高清缩放人脸图像。
3.将高清缩放人脸图像进行旋转还原操作,得到高清人脸图像,高清人脸图像中人脸的位置与原始人脸图像中人脸的位置一致。
S4.融合模块
1.载入人像分割模型到移动客户端,人像分割模型可接收输入图像,输出人像掩膜图像,人像掩膜图像的像素值范围为0~1,其中像素值表示该像素属于人像的置信度。具体的人像分割模型实现方式可根据需要采用合适的实现方案。
2.将高清人脸图像输入到人像分割模型,得到高清人脸掩膜图像。
3.将高清人脸掩膜图像进行腐蚀、膨胀和模糊操作,得到高清人脸羽化掩膜图像。
4.以高清人脸羽化掩膜图像中的像素值为权重,将高清人脸图像融合到原始图像中,得到最终人脸肤质改善和脸部细节清晰度提升的图像。具体计算如下:记高清人脸羽化掩膜图像中的像素值为a,记原始图像中的像素值为B,记高清人脸图像的像素值为S,记最终人脸肤质改善和脸部细节清晰度提升的图像的像素值为R,则可以通过公式R=S*a+B*(1-a)计算得到最终人脸肤质改善和脸部细节清晰度提升的图像。
一个实施例中本发明还提供一种人脸图像清晰度提升装置,如图5所示,包括:
人脸图像获取模块51,用于获取待提升清晰度的人脸图像;
人脸图像输入模块52,用于将人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。
其中,经退化操作训练的模型的训练步骤包括:
获取训练人脸图像的高清图片;将训练人脸图像进行退化操作得到低清图片;所退化操作包含以下步骤:以50%的概率进行模糊操作;以20%的概率进行加噪操作;以70%的概率进行JPEG压缩操作;进行缩放操作,缩放至图片长宽分别是高清图片的长宽的1/4大小。将低清图片输入到预构建的卷积神经网络模型中得到生成图片;计算生成图片与高清图片之间的损失;判断损失是否收敛;若不收敛,则采用自适应矩估计算法优化卷积神经网络模型的参数;重复上述步骤直至损失收敛且生成图片清晰度达到要求时,保存卷积神经网络模型的参数得到经退化操作训练的模型。
还包括,将高清图片输入到预构建的多层判别模型中得到高清图片为真的第一概率;将生成图片输入到多层判别模型中得到生成图片为假的第二概率;用Hinge损失函数分别计算第一概率和第二概率与1的损失,并将计算得到的两个损失求和得到损失和;判断损失和是否收敛;若不收敛,则采用自适应矩估计算法优化多层判别模型的参数;重复上述步骤直至损失和收敛,保存此时的多层判别模型。
作为本发明实施例一种可选的方式,将人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像包括:
对人脸图像进行预处理得到只包含人脸的原始降噪人脸图像;将原始降噪人脸图像输入到模型中。
对人脸图像进行预处理得到只包含人脸的原始降噪人脸图像包括:将人脸图像输入到预构建的人脸识别模型中得到人脸数据,人脸数据包括人脸框、左眼、右眼、鼻尖、左嘴角和右嘴角的位置;根据人脸数据在人脸图像上进行剪裁操作得到原始人脸图像;对原始人脸图像进行人脸选择对齐操作得到原始对齐人脸图像;对原始对齐图像使用三次插值算法进行缩放操作,得到大小为128*128的原始缩放人脸图像;对原始缩放人脸图像进行降噪操作,得到原始降噪人脸图像。
还包括:将原始降噪人脸图像输入到模型后得到高清降噪人脸图像;对高清降噪人脸图像进行预处理得到高清人脸图像;将高清人脸图像融合到人脸图像中得到最终图像。
其中,对高清降噪人脸图像进行预处理得到高清人脸图像包括:对高清降噪人脸图像使用三次插值算法进行缩放操作,得到大小与原始人脸图像大小一致的高清缩放人脸图像;将高清人脸图像进行旋转还原操作,得到高清人脸图像,高清人脸图像中人脸的位置与原始人脸图像中人脸的位置一致。
进一步地,将高清人脸图像融合到人脸图像中得到最终图像包括:将高清人脸图像输入到预构建的人像分割模型,得到高清人脸掩膜图像;对高清人脸掩膜图像进行腐蚀、膨胀和模糊操作,得到高清人脸羽化掩膜图像;以高清人脸羽化掩膜图像中的像素值为权重,将高清人脸图像融合到人脸图像中得到最终图像。
本发明实施例提供的一种人脸图像清晰度提升装置,人脸图像获取模块获取待提升清晰度的人脸图像;人脸图像输入模块将人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。设计一种数据退化的方式和一种训练方式,让模型学习到如何生成质量高的人脸肤质改善和脸部细节清晰度提升的图片,再使用该模型来生成人脸图片,即可得到人脸肤质改善和脸部细节清晰度提升的效果。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种人脸图像清晰度提升方法,其特征在于,包括以下步骤:
获取待提升清晰度的人脸图像;
将所述人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。
2.根据权利要求1所述的方法,其特征在于:所述经退化操作训练的模型的训练步骤包括:
获取训练人脸图像的高清图片;
将所述训练人脸图像进行退化操作得到低清图片;
将所述低清图片输入到预构建的卷积神经网络模型中得到生成图片;
计算所述生成图片与所述高清图片之间的损失;
判断所述损失是否收敛;
若不收敛,则采用自适应矩估计算法优化所述卷积神经网络模型的参数;
重复上述步骤直至所述损失收敛且所述生成图片清晰度达到要求时,保存所述卷积神经网络模型的参数得到经退化操作训练的模型。
3.根据权利要求1所述的方法,其特征在于:所述退化操作包含以下步骤:
以50%的概率进行模糊操作;
以20%的概率进行加噪操作;
以70%的概率进行JPEG压缩操作;
进行缩放操作,缩放至图片长宽分别是所述高清图片的长宽的1/4大小。
4.根据权利要求2所述的方法,其特征在于,还包括:
将所述高清图片输入到预构建的多层判别模型中得到所述高清图片为真的第一概率;
将所述生成图片输入到所述多层判别模型中得到所述生成图片为假的第二概率;
用Hinge损失函数分别计算所述第一概率和第二概率与1的损失,并将计算得到的两个损失求和得到损失和;
判断所述损失和是否收敛;
若不收敛,则采用自适应矩估计算法优化所述多层判别模型的参数;
重复上述步骤直至所述损失和收敛,保存此时的多层判别模型。
5.根据权利要求1所述的方法,其特征在于:将所述人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像包括:
对所述人脸图像进行预处理得到只包含人脸的原始降噪人脸图像;
将原始降噪人脸图像输入到所述模型中。
6.根据权利要求5所述的方法,其特征在于:所述对所述人脸图像进行预处理得到只包含人脸的原始降噪人脸图像包括:
将所述人脸图像输入到预构建的人脸识别模型中得到人脸数据,所述人脸数据包括人脸框、左眼、右眼、鼻尖、左嘴角和右嘴角的位置;
根据所述人脸数据在所述人脸图像上进行剪裁操作得到原始人脸图像;
对所述原始人脸图像进行人脸选择对齐操作得到原始对齐人脸图像;
对所述原始对齐图像使用三次插值算法进行缩放操作,得到大小为128*128的原始缩放人脸图像;
对所述原始缩放人脸图像进行降噪操作,得到原始降噪人脸图像。
7.根据权利要求6所述的方法,其特征在于,还包括:
所述将原始降噪人脸图像输入到所述模型后得到高清降噪人脸图像;
对所述高清降噪人脸图像进行预处理得到高清人脸图像;
将所述高清人脸图像融合到所述人脸图像中得到最终图像。
8.根据权利要求7所述的方法,其特征在于:所述对所述高清降噪人脸图像进行预处理得到高清人脸图像包括:
对所述高清降噪人脸图像使用三次插值算法进行缩放操作,得到大小与原始人脸图像大小一致的高清缩放人脸图像;
将所述高清人脸图像进行旋转还原操作,得到高清人脸图像,所述高清人脸图像中人脸的位置与原始人脸图像中人脸的位置一致。
9.根据权利要求7所述的方法,其特征在于:所述将所述高清人脸图像融合到所述人脸图像中得到最终图像包括:
将所述高清人脸图像输入到预构建的人像分割模型,得到高清人脸掩膜图像;
对所述高清人脸掩膜图像进行腐蚀、膨胀和模糊操作,得到高清人脸羽化掩膜图像;
以高清人脸羽化掩膜图像中的像素值为权重,将所述高清人脸图像融合到人脸图像中得到最终图像。
10.一种人脸图像清晰度提升装置,其特征在于,包括:
人脸图像获取模块,用于获取待提升清晰度的人脸图像;
人脸图像输入模块,用于将所述人脸图像输入经退化操作训练的模型中得到清晰度提升后的人脸图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110659802.3A CN113409207B (zh) | 2021-06-15 | 2021-06-15 | 一种人脸图像清晰度提升方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110659802.3A CN113409207B (zh) | 2021-06-15 | 2021-06-15 | 一种人脸图像清晰度提升方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113409207A true CN113409207A (zh) | 2021-09-17 |
CN113409207B CN113409207B (zh) | 2023-12-08 |
Family
ID=77683857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110659802.3A Active CN113409207B (zh) | 2021-06-15 | 2021-06-15 | 一种人脸图像清晰度提升方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113409207B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100266207A1 (en) * | 2009-04-21 | 2010-10-21 | ArcSoft ( Hangzhou) Multimedia Technology Co., Ltd | Focus enhancing method for portrait in digital image |
CN106778684A (zh) * | 2017-01-12 | 2017-05-31 | 易视腾科技股份有限公司 | 深度神经网络训练方法及人脸识别方法 |
CN107730458A (zh) * | 2017-09-05 | 2018-02-23 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的模糊人脸重建方法及系统 |
CN108629753A (zh) * | 2018-05-22 | 2018-10-09 | 广州洪森科技有限公司 | 一种基于循环神经网络的人脸图像恢复方法及装置 |
CN110009573A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
CN110059652A (zh) * | 2019-04-24 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 人脸图像处理方法、装置及存储介质 |
CN110335199A (zh) * | 2019-07-17 | 2019-10-15 | 上海骏聿数码科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN110472566A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种高精度的模糊人脸识别方法与系统 |
CN110569721A (zh) * | 2019-08-01 | 2019-12-13 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
CN111695421A (zh) * | 2020-04-30 | 2020-09-22 | 北京迈格威科技有限公司 | 图像识别方法、装置及电子设备 |
CN111738230A (zh) * | 2020-08-05 | 2020-10-02 | 深圳市优必选科技股份有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
CN111832517A (zh) * | 2020-07-22 | 2020-10-27 | 福建帝视信息科技有限公司 | 基于门控卷积的低清人脸关键点检测方法 |
CN112507617A (zh) * | 2020-12-03 | 2021-03-16 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
CN112598580A (zh) * | 2020-12-29 | 2021-04-02 | 广州光锥元信息科技有限公司 | 提升人像照片清晰度的方法及装置 |
CN112785507A (zh) * | 2019-11-07 | 2021-05-11 | 上海耕岩智能科技有限公司 | 图像处理方法及装置、存储介质、终端 |
-
2021
- 2021-06-15 CN CN202110659802.3A patent/CN113409207B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100266207A1 (en) * | 2009-04-21 | 2010-10-21 | ArcSoft ( Hangzhou) Multimedia Technology Co., Ltd | Focus enhancing method for portrait in digital image |
CN106778684A (zh) * | 2017-01-12 | 2017-05-31 | 易视腾科技股份有限公司 | 深度神经网络训练方法及人脸识别方法 |
CN107730458A (zh) * | 2017-09-05 | 2018-02-23 | 北京飞搜科技有限公司 | 一种基于生成式对抗网络的模糊人脸重建方法及系统 |
CN108629753A (zh) * | 2018-05-22 | 2018-10-09 | 广州洪森科技有限公司 | 一种基于循环神经网络的人脸图像恢复方法及装置 |
CN110009573A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
CN110059652A (zh) * | 2019-04-24 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 人脸图像处理方法、装置及存储介质 |
CN110335199A (zh) * | 2019-07-17 | 2019-10-15 | 上海骏聿数码科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN110569721A (zh) * | 2019-08-01 | 2019-12-13 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
CN110472566A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种高精度的模糊人脸识别方法与系统 |
CN112785507A (zh) * | 2019-11-07 | 2021-05-11 | 上海耕岩智能科技有限公司 | 图像处理方法及装置、存储介质、终端 |
CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
CN111695421A (zh) * | 2020-04-30 | 2020-09-22 | 北京迈格威科技有限公司 | 图像识别方法、装置及电子设备 |
CN111832517A (zh) * | 2020-07-22 | 2020-10-27 | 福建帝视信息科技有限公司 | 基于门控卷积的低清人脸关键点检测方法 |
CN111738230A (zh) * | 2020-08-05 | 2020-10-02 | 深圳市优必选科技股份有限公司 | 一种人脸识别方法、人脸识别装置及电子设备 |
CN112507617A (zh) * | 2020-12-03 | 2021-03-16 | 青岛海纳云科技控股有限公司 | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 |
CN112598580A (zh) * | 2020-12-29 | 2021-04-02 | 广州光锥元信息科技有限公司 | 提升人像照片清晰度的方法及装置 |
Non-Patent Citations (2)
Title |
---|
SERGIO BENINI ET AL.: "Face analysis through semantic face segmentation Sergio Benini", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
龙海强 等: "基于深度卷积网络算法的人脸识别方法研究", 《计算机仿真》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113409207B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
CN108416752B (zh) | 一种基于生成式对抗网络进行图像去运动模糊的方法 | |
US11017586B2 (en) | 3D motion effect from a 2D image | |
US20200334892A1 (en) | Automatic rigging of three dimensional characters for animation | |
US10198624B2 (en) | Segmentation-guided real-time facial performance capture | |
CN108921782B (zh) | 一种图像处理方法、装置及存储介质 | |
CN108932693B (zh) | 基于人脸几何信息的人脸编辑补全方法及装置 | |
WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
CN114339409A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
Liang et al. | Improved non-local iterative back-projection method for image super-resolution | |
Kim et al. | Zoom-to-inpaint: Image inpainting with high-frequency details | |
CN114022497A (zh) | 一种图像处理方法及装置 | |
CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
CN114821404B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
CN113240687A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
CN114783022A (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
CN111681192B (zh) | 一种基于残差图像条件生成对抗网络的比特深度增强方法 | |
WO2023241298A1 (zh) | 一种视频生成方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |