CN111724310B - 图像修复模型的训练方法、图像修复方法及装置 - Google Patents

图像修复模型的训练方法、图像修复方法及装置 Download PDF

Info

Publication number
CN111724310B
CN111724310B CN201910219334.0A CN201910219334A CN111724310B CN 111724310 B CN111724310 B CN 111724310B CN 201910219334 A CN201910219334 A CN 201910219334A CN 111724310 B CN111724310 B CN 111724310B
Authority
CN
China
Prior art keywords
image
model
training
image set
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910219334.0A
Other languages
English (en)
Other versions
CN111724310A (zh
Inventor
付华
赵立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Xiaofei Finance Co Ltd
Original Assignee
Mashang Xiaofei Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Xiaofei Finance Co Ltd filed Critical Mashang Xiaofei Finance Co Ltd
Priority to CN201910219334.0A priority Critical patent/CN111724310B/zh
Publication of CN111724310A publication Critical patent/CN111724310A/zh
Application granted granted Critical
Publication of CN111724310B publication Critical patent/CN111724310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像修复模型的训练方法、图像修复方法及装置,该图像修复模型的训练方法包括:通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集;将第一图像集和第二图像集输入到深度生成模型中,通过深度生成模型对第二图像集进行图像修复,得到修复后的第三图像集;根据损失函数确定是否对深度生成模型进行再训练,并将训练完成的深度生成模型确定为图像修复模型;其中,损失函数根据第一图像集的图像特征信息、第三图像集的图像特征信息以及判别器的判别结果确定。通过上述方式,本申请能够提高工作效率,并提高图像修复模型的应用范围。

Description

图像修复模型的训练方法、图像修复方法及装置
技术领域
本申请涉及到图像识别技术领域,特别是涉及图像修复模型的训练方法、图像修复方法及装置。
背景技术
随着科技的发展,用户经常需要上传一些图片信息。比如,用户在线申请金融贷款或其他身份识别场景的时候,需要用户上传个人的身份证照片。为了减小网络延迟,往往需要对用户上传身份证照片进行有损压缩,以便传输;同时,由于用户拍摄设备、场景的环境光等因素的影响,这会导致我们得到的照片质量参差不齐。其中甚至会有一部分照片可能质量过差,这时就需要我们对其进行图像修复。
目前采用深度生成模型对身份证照片的图像修复,训练深度生成模型需要有成对的一一对应的高质量和低质量图像,常见的做法是:对网上爬取的高质量人脸图像,采取加噪、模糊、降质量、颜色抖动等方式,人为的模拟制造低质量的人脸图像。
这种人工模拟的做法费时费力,需要不断尝试和调整,有时候很难模拟得相像,并且也很难完全复现各种复杂场景中的光照和拍摄效果。而当用这样的成对训练集去训练深度分类模型后,会导致该深度分类模型的图像修复效果不佳。
发明内容
本申请主要解决的技术问题是提供一种图像修复模型的训练方法、图像修复方法以及装置,能够提高工作效率,并提高图像修复模型的应用范围。
为解决上述技术问题,本申请采用的第一个技术方案是:提供一种图像修复模型的训练方法,包括:通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集;将所述第一图像集和所述第二图像集输入到深度生成模型中,通过所述深度生成模型对所述第二图像集进行图像修复,得到修复后的第三图像集;根据损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型;其中,所述损失函数根据所述第一图像集的图像特征信息、所述第三图像集的图像特征信息以及判别器的判别结果确定。
为解决上述技术问题,本申请采用的第二个技术方案是:提供一种图像修复方法,包括:获取到待修复图像;将待修复图像输入到所述图像修复模型中,通过所述图像修复模型对所述待修复图像进行修复;输出修复后的图像,其中,所述图像修复模型是通过如上所述的训练方法训练得到。
为解决上述技术问题,本申请采用的第三个技术方案是:提供一种身份识别方法,所述身份识别方法包括:获取待识别的人脸图像;将所述待识别的人脸图像输入到所述图像修复模型中,通过所述图像修复模型对所述待识别的人脸图像进行修复,获取修复后的人脸图像;对所述修复后的人脸图像进行人脸识别,得到所述人脸图像的身份识别结果,其中,所述图像修复模型是通过上述任一项训练方法训练得到的。
为解决上述技术问题,本申请采用的第四个技术方案是:提供一种支付方法,所述支付方法包括:获取到待支付的人脸图像和待支付的账户预设的人脸图像;将所述待支付的人脸图像输入到图像修复模型中,通过所述图像修复模型对所述待支付的人脸图像进行修复,得到修复后的人脸图像;对所述修复后的人脸图像进行人脸识别,得到所述人脸图像的身份识别结果;若所述身份识别结果表示修复后的人脸图像与所述待支付的账户预设的人脸图像匹配,则执行支付其中,所述图像修复模型是通过上述任一项训练方法得到的。
为解决上述技术问题,本申请采用的第五个技术方案是:提供一种图像处理装置,包括处理器和存储器,所述处理器耦接所述存储器;所述存储器用于存储程序指令,所述处理器用于运行所述存储器中的程序指令实现如上所述的图像修复模型的训练方法或如上所述的图像修复方法。
为解决上述技术问题,本申请采用的第六个技术方案是:提供一种具有存储功能的装置,存储有程序指令,所述程序指令能够被执行以实现如上所述的图像修复模型的训练方法或如上所述的图像修复方法的步骤。
本申请的有益效果是:区别于现有技术的情况,本申请通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集,将具有不同图像质量的第一图像集和第二图像集输入到深度生成模型,以对该深度生成模型进行训练,并通过该深度生成模型对第二图像集修复得到的第三图像集与第二图像集对应的损失函数确定对该深度生成模型是否进行再训练,并将训练完成的深度生成模型确定为图像修复模型。通过上述方式,能够无需人工对具有第一图像质量的第一图像集进行处理,通过映射得到具有第二图像质量的第二图像集,在无监督的前提下丰富模型训练集,有效提升了工作效率。并且进一步地通过上述第二图像集对深度生成模型进行监督训练,提高模型训练的精度,实现更好的训练效果。能够覆盖/复现各种复杂场景中的光照和拍摄效果,提高了图像修复模型的应用范围。
附图说明
为了更清楚地说明本申请实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的双向映射的生成式对抗网络模型的训练方法一实施方式的流程示意图;
图2是本申请提供的图像修复模型的训练方法的第一实施方式的流程示意图;
图3是本申请提供的图像修复模型的训练方法的第二实施方式的流程示意图;
图4是本申请提供的图像修复方法的一实施方式的流程示意图;
图5是本申请身份识别方法一实施方式的流程示意图;
图6是本申请支付方法一实施方式的流程示意图;
图7是本申请提供的电子装置的一实施方式的结构示意图;
图8是本申请提供的具有存储功能的装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部实施方式。基于本申请中的实施方式,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
在日常生活中,用户在经常需要用户上传自己的身份证照片以供佐证,例如,用户想要申请一个金融账户,为了提高账户的安全性和可靠性,需要用户提供自己的身份证照片。由于该身份证照片用于对用户的身份认证十分重要,因此对该身份证照片的质量要求很高。为了减小网络延迟,往往需要对用户上传身份证照片进行有损压缩,以便传输;同时,由于用户拍摄设备、场景的环境光等因素的影响,这将会导致部分照片可能质量过差,不能满足使用需求。
对低图像质量的身份证照片通常采用深度生成模型进行修复,在此之前需要对深度生成模型进行训练,训练深度生成模型需要成对的图像集,当前所具有的低图像质量的身份证照片和从网络上获取的高图像质量的照片并非成对图像集,因此,无法直接用于对深度生成模型进行训练。
本申请是利用双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集。其中,第一图像集与第二图像集彼此对应,在无监督的前提下丰富模型训练集,有效提升了工作效率。通过将第一图像集和第二图像集输入到深度生成模型,以对深度生成模型进行训练,提高模型训练的精度,实现更好的训练效果。在其他实施方式中,根据业务需求,也可以将成对的分别具有第一图像质量和第二图像质量的人工模拟的图像相应图像质量分别对应混合入第一图像集和第二图像集,从而进一步丰富训练集样本,实现通过半监督的方式训练深度生成模型的方式进行训练,且使得训练出的深度生成模型的泛化性更强。上述深度生成模型的训练方法能够覆盖/复现各种复杂场景中的光照和拍摄效果,提高了图像修复模型的应用范围。
具体地,如图1所示,图1是本申请提供的双向映射的生成式对抗网络模型的训练方法一实施方式的流程示意图,包括如下步骤:
S101:将所述具有第一图像质量的第一训练图像集和具有第二图像质量的第二训练图像集输入到初始双向映射的生成式对抗网络模型中,通过所述初始双向映射的生成式对抗网络模型分别对所述第一训练图像集以及所述第二训练图像集进行预测。
其中,第一训练图像集与第二训练图像集不需要一定为对应的图像集对,其中,该第一训练图像集与所述第二训练图像集具有相同类型的图像特征信息。比如都包括人脸五官的特征信息。
在一个具体的实施方式中,第一图像质量高于第二图像质量。在一个具体的实施方式中,该图像质量可以为图像分辨率,在其他实施方式中,也可以为图像背光等,在此不作限定。
在一个具体的实施方式中,第一图像质量高于第二图像质量。在一个具体的实施方式中,该图像质量可以为图像分辨率,在其他实施方式中,也可以为图像背光等,在此不作限定。
该双向映射的生成式对抗网络模型包括生成器以及判别器。再将具有相同性质的第一训练图像集和第二训练图像集输入到初始双向映射的生成式对抗网络模型中。其中,在本实施方式中,该初始双向映射的生成式对抗网络模型为CycleGAN,在其他实施场景中,该双向映射的生成式对抗网络模型还可以是DualGAN以及DiscoGAN等其他生成对抗性网络模型。
通过该生成器分别对第一训练图像集和第二训练图像集进行图像预测,得到第一训练预测集和第二训练预测集。在一个可选的实施方式中,该生成器包括第一子生成器以及第二子生成器,该第一子生成器用于对第一训练图像集进行预测,得到第一训练预测集。该第二子生成器用于对第二训练图像集进行预测,得到第二训练预测集。
在得到上述第一训练预测集和第二训练预测集以后,通过该判别器对判断第一训练预测集的图像特征信息是否属于第二训练图像集的分布范围,以及判断第二训练预测集的图像特征信息是否属于第一训练图像集的分布范围。例如,将第一训练图像集与第二训练图像集分别即为A和B,将第一训练预测集和第二训练预测集分别记为A1和B1,通过判别器判断A1的图像特征信息是否属于B的图像特征信息的分布范围以及判断B1的图像特征信息是否属于A的图像特征信息的分布范围。
S102:根据所述第一训练图像集的图像特征信息及其预测结果、所述第二训练图像集的图像特征信息及其预测结果对应损失函数确定是否对所述初始双向映射的生成式对抗网络模型进行再训练,并将训练完成后的模型确定为所述双向映射的生成式对抗网络模型。
具体地,根据第一训练图像集、第二训练图像集、第一训练预测集和第二训练预测集以及判别器的判别结果搭建损失函数,对该损失函数是否处于收敛状态来判断初始双向映射的生成式对抗网络模型是否训练完成。
例如,在本实施方式中,该损失函数可以通过如下公式进行计算:
LGAN(G,A1,A,B)=Eb-pdata(b)[log DB(b)]+
Ea-pdata(a)[log(1-DB(G(a)))] (1)
LGAN(G,B1,A,B)=Ea-pdata(a)[log DA(a)]+
Eb-pdata(b)[log(1-DA(F(b)))] (2)
其中,G和F为CycleGAN中的两个生成器,DA和DB为CycleGAN中的判别器,a为A中的任一图像的图像特征信息,b为B中的任一图像的图像特征信息。公式(1)表示由A训练至A1的损失函数,公式(2)表示由B训练至B1的损失函数。此处以CycleGAN的损失函数公式说明损失函数的计算方法,在其他实施方式中采用的其他双向映射的生成式对抗网络模型的损失函数原理与CycleGAN类似,此处不再进行赘述。
在另一个实施方式中,也可以通过检测损失函数的值是否小于预设阈值来判断是否训练完成,或者输入一张具有第一图像质量的图像A,通过检测A对应生成的图像B的图像质量是否符合要求(例如,具有第二图像质量)来判断是否训练完成。
在确定训练完成后,即损失函数收敛时,当前训练完成的模型确定为该双向映射的生成式对抗网络模型。
在本申请中,就是通过该双向映射的生成式对抗网络模型丰富图像修复模型的训练集。具体地,如图2所示,图2是本申请提供的图像修复模型的训练方法的第一实施方式的流程示意图。本申请提供的图像修复模型的训练方法包括:
S201:通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集。
在本实施场景中,将具有第一图像质量的第一图像集也就是具有高图像质量的图像集输入双向映射的生成式对抗网络模型进行映射,通过该生成式对抗网络模型获取具有第二图像质量的第二图像集。这样,第二图像为通过第一图像集映射获取,于是该第一图像集和第二图像集为相互对应的图像集。
S202:将所述第一图像集和所述第二图像集输入到深度生成模型中,通过所述深度生成模型对所述第二图像集进行图像修复,得到修复后的第三图像集。
深度生成模型需要输入成对的图像,才能实现修复的效果,以确定是否对模型进行再训练,因此,本实施方式中,将互为对应的图像集的第一图像集和第二图像集均输入到深度生成模型中,通过该深度生成模型对该第二图像进行修复,以得到第三图像集。具体地,通过深度分类模型的生成器对第二图像集进行修复,得到第三图像集。
在一个具体的实施方式中,深度生成模型为基于深度学习的单向映射的生成对抗网络模型,例如pix2pix模型;在其他实施场景中,深度生成模型还可以是基于深度学习的超分辨率模型,例如:RCAN模型、RCAN、WDSR、EDSR、MDSR、DCSCN或DRRN模型。
S203:根据损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型。
在本实施场景中,该损失函数根据第一图像集的图像特征信息、第三图像集的图像特征信息以及判别器的判别结果确定。
通过该深度分类模型的判别器来判断步骤S203中生成的第三图像集的图像特征信息是否满足第一图像集的图像特征信息分布。可以根据以下公式获取根据第一图像集的特征信息、第三图像集的特征信息以及判别器的判别结果对应的损失函数:
LGAN(G,D)=Ey[log D(y)]+
Ex,z[log(1-D(G(x,z)))]
其中,G为该深度生成模型的生成器,D为该深度生成模型的判别器,x为输入的第一图像集的图像特征信息,z为输入的第二图像集的图像特征信息,y为生成的第三图像集的图像特征信息。该损失函数与根据第一图像集的特征信息、第三图像集的特征信息以及判别器的判别结果对应。根据该损失函数确定是否对深度生成模型进行再训练,并将训练完成的深度生成模型确定为图像修复模型。
具体地,将当前损失值为最小损失值所对应的所述损失函数的参数确定为所述损失函数的当前优化参数,并对该深度生成模型进行再训练。至当前损失值的变化小于预设范围时,即损失函数出现收敛时,将当前的损失函数参数确定为当前述深度生成模型的模型参数,并将该参数下的训练完成的深度生成模型确定为图像修复模型。
在其他实施场景中,还可以根据第三图像集的图像质量来判断深度生成模型是否需要继续训练。
通过上述描述可知,本实施方式中通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集,在无监督的前提下丰富模型训练集,有效提升了工作效率。将第一图像集和第二图像集输入深度生成模型,可以对深度生成模型进行训练。进一步地通过第二图像集对深度生成模型进行监督训练,提高模型训练的精度,实现更好的训练效果。能够覆盖/复现各种复杂场景中的光照和拍摄效果,提高了图像修复模型的应用范围。
请参阅图3,图3是本申请提供的图像修复模型的训练方法的第二实施方式的流程示意图。本申请提供的图像修复模型的训练方法包括:
S301:通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集。
在本实施场景中,本步骤与本申请提供的图像修复模型的训练方法的第一实施方式中的步骤S201基本一致,此处不在进行赘述。
S302:获取到具有第一图像质量的第四图像集以及与其对应的具有第二图像质量的第五图像集。
为了丰富第二图像集的样本种类,补充双向映射的生成式对抗网络模型的遗漏或不足,调节各种场景种类的比例分布,也为了提高深度分类模型训练的灵活性,在本实施方式的一个具体的实施场景中,当执行完步骤S301后,用户可以对第二图像集进行检查,判断第二图像集是否覆盖/复现设定的多种复杂场景中的光照和拍摄效果,如果不能满足覆盖/复现上述多种复杂场景中的光照和拍摄效果,则获取具有第一图像质量的第四图像集,对第四图像集进行手动的处理,获得与第四图像集对应的具有第二图像质量的第五图像集。通过半监督的方式丰富训练图像集。
在本实施场景中,具有第一图像质量的第四图像集可以从网络上下载,或者是预先准备的之前拍摄好的高图像质量的图像。
S303:将所述第一图像集、所述第二图像集,第四图像集以及第五图像集输入到所述深度生成模型中,通过所述深度生成模型对设定比例的所述第二图像集以及第五图像集进行图像修复,得到修复后的第三图像集。
在本实施场景中,将第一图像集、第二图像集、第四图像集和第五图像集输入到深度生成模型中。在本实施场景中,深度生成模型为基于深度学习的单向映射的生成对抗网络模型,例如pix2pix模型;在其他实施场景中,深度生成模型还可以是基于深度学习的超分辨率模型,例如:RCAN模型、RCAN、WDSR、EDSR、MDSR、DCSCN或DRRN模型。
深度生成模型需要输入成对的图像才能进行图像修复,第二图像集是由对第一图像集映射而得到,与第一图像集对应。而第五图像就为对第四图像集进行图像处理得到,与第四图像集对应。因此第一图像集、第二图像集、第四图像集合第五图像集输入深度生成模型后,深度生成模型可以根据第一图像集和第四图像集的图像质量对第二图像集和第五图像集进行修复,得到第三图像集。
S304:根据损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型。
在本实施场景中,该损失函数根据第一图像集的图像特征信息、第三图像集的图像特征信息和第五图像集的图像特征信息以及判别器的判别结果确定。
通过损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型。
在得到第三图像集后,进一步地,获取该第三图像集以及与第二图像集的图像特征信息和所述第四图像集的图像特征信对应的损失函数息,具体可参考步骤S203中所述的公式,将x替换为第一图像集的图像特征信息和第四图像集的图像特征信息,将z替换为第二图像集的图像特征信息和第五图像集的图像特征信息。通过损失函数的损失值来确定当前的深度生成模型的图像修复效果是否达到了预设效果,即确定第三图像集与第一图像集和第四图像集的差距是否小于预设值。
具体地,将当前损失值为最小损失值所对应的所述损失函数的参数确定为所述损失函数的当前优化参数,并对该深度生成模型进行再训练。至当前损失值的变化小于预设范围时,即损失函数出现收敛时,将当前的损失函数参数确定为当前述深度生成模型的模型参数,并将该参数下的训练完成的深度生成模型确定为图像修复模型。
通过上述描述可知,本实施方式添加通过人工拟合的图像集对第四图像集以及与第四图像集对应的第五图像集来丰富训练图像集,通过这种半监督学习的方式不仅丰富第二图像集的样本种类,补充了双向映射的生成式对抗网络模型的遗漏或不足,调节各种场景种类的比例分布,也提高深度分类模型训练的灵活性,使训练得到的图像修复模型的泛化性更强。
在将深度生成模型训练完成后,可以使用该深度生成模型对需要修复的图片进行修复。具体地,请参阅图4,图4是本申请提供的图像修复方法的一实施方式的流程示意图。本申请提供的图像修复方法包括:
S401:获取到待修复图像。
在一个具体的实施场景中,待修复图像为用户上传的身份证照片或者是经过有损压缩的身份证照片。获取待修复的身份证照片。在其他实施场景中,该待修复图像还可以是其他任何经过有损压缩的图像,或者是其他任何具有低图像质量的图像。
S402:将待修复图像输入到所述图像修复模型中,通过所述图像修复模型对所述待修复图像进行修复。
在本实施场景中,将步骤S401中获取的待修复图像输入到图像修复模型中,利用图像修复模型对该待修复图像进行修复。在本实施场景中,该图像修复模型为图2或图3中所示的图像修复模型的训练方法中训练完成的图像修复模型。
S403:输出修复后的图像。
获取到通过图像修复模型修复后的图像,由于修复后的图像的质量高于待修复图像,因此用户可以获得具有高图像质量的图片,例如身份证照片,以进行使用。
通过上述描述可知,本实施方式中将待修复的图像采用训练完成的图像修复模型进行修复,可以快速完成对待修复图像的修复,有效提升工作效率,并确保图像修复的质量符合要求。
请参阅图5,图5是本申请提供的身份识别方法的一实施方式的流程示意图。本申请提供的身份识别方法包括:
S501:获取待识别的人脸图像。
在一个具体的实施场景中,身份识别的装置可以通过摄像头获取待识别的用户的人脸图像,例如,可以是拍摄一张包括用户人脸的照片。由于身份识别的摄像头无法与专业摄像装置相比,且用户站立的距离远近、拍摄的角度、光照等条件均不可控,因此,拍摄出的人脸图像的图像质量不可控,若该人脸图像的图像质量过低(例如,模糊不清、过曝或者亮度不足),则可能无法准确进行身份识别,此时需要对获取的人脸图像进行修复。
S502:将所述待识别的人脸图像输入到图像修复模型中,通过所述图像修复模型对所述待识别的人脸图像进行修复,得到修复后的人脸图像。
将步骤S501获取到的待识别的人脸图像输入到图像修复模型中。在本实施场景中,该图像修复模型为图2或图3中所示的图像修复模型的训练方法中训练完成的图像修复模型。
具体地,将待识别的人脸图像输入到该图像修复模型中,经过该图像修复模型进行修复,得到修复后的人脸图像,其中,该修复后的人脸图像的质量高于上述待识别的人脸图像,利用该修复后的人脸图像进行身份识别,可以有效提高人脸识别的准确率。
S503:对所述修复后的人脸图像进行人脸识别,得到所述人脸图像的身份识别结果。
经过步骤S502修复后的人脸图像具有人脸识别所需的图像质量。
在本实施场景中,设置有预设的人脸图像,将修复后的人脸图像和预设的人脸图像输入身份识别模型中,通过该身份识别模型处理,得到身份识别结果。例如,如果该修改后的人脸图像与预设的人脸图像相一致的概率大于预设值,则本次身份识别通过,否则就不通过。
通过上述描述可知,在本实施方式中通过将待识别的人脸图像输入到图像修复模型中进行修复后,再利用修复后的人脸图像进行人脸识别,可以有效提升身份识别的准确性。
请参阅图6,图6是本申请提供的支付方法的一实施方式的流程示意图。本申请提供的支付方法包括:
S601:获取到待支付的人脸图像和待支付的账户预设的人脸图像。
在一个具体的实施场景中,当用户选择采用支付时,移动终端会开启前置摄像头获取用户的人脸图像。
而在实际获取待支付的人脸图像时,可能会因为摄像头的像素不高,用户手持移动终端,出现手抖的情况,或者拍照时是逆光或者背光等不可控因素导致获取到的待支付的人脸图像的质量过低,可能会导致后续无法准确识别出待支付的用户为需支付费用的用户,因此,需要对获取到的待支付的人脸图像进行图像修复。
S602:将所述待支付的人脸图像输入到图像修复模型中,通过所述图像修复模型对所述待支付的人脸图像进行修复,得到修复后的人脸图像。
将步骤S601获取到的待支付的人脸图像输入到图像修复模型中。通过该图像修复模型对该待支付的人脸图像进行修复。在本实施场景中,该图像修复模型为图2或图3中所示的图像修复模型的训练方法中训练完成的图像修复模型。得到修复后的人脸图像。由于修复后的人脸图像的质量高于该修复前待支付的人脸图像,因此,可以有效提高人脸识别的准确率。
S603:对所述修复后的人脸图像进行人脸识别,得到所述人脸图像的身份识别结果。
进一步地,得到修复后的人脸图像后,从系统或服务器获取到待支付的账户预设的人脸图像。其中,该待支付账户预设的人脸图像为用户在注册支付账户时提供的。
在一个可选的实施方式中,将修复后的人脸图像和预设的人脸图像输入身份识别模型中,通过该身份识别模型判断是否修复后的人脸图像与预设的人脸图像的相似度是否高于设定值。如果高于设定值,即为两者是同一人的人脸图像。如果低于该设定值,则本次待支付的人脸图像不通过验证。
S604:若所述身份识别结果表示修复后的人脸图像与所述待支付的账户预设的人脸图像匹配,则执行支付。
通过上述描述可知,本实施方式中通过将待识别的人脸图像输入到图像修复模型中进行修复后,再进行人脸识别以判断是否与待支付账户的预设人脸图像匹配,从而确定是否执行本次支付,可以有效提高支付的安全性。
请参阅图7,图7是本申请提供的电子装置一实施方式的结构示意图,该电子装置包括:处理器71和存储器72,处理器71耦接存储器72,处理器71在工作时控制自身以及存储器72以实现上述任一项实施方式中所述方法中的步骤。
其中,电子装置可以是手机、笔记本、平板电脑以及车载电脑等,在此不做限制。详细的方法可参见上述,在此不再赘述。
处理器71在执行存储器72存储的程序指令时能够执行图2或图3及其相关文字描述的任一实施方式的图像修复模型的训练方法,或者执行图4及其相关文字描述的任一实施方式的图像修复方法,或者图5及其相关文字描述的任一实施方式的身份识别方法,或者图6及其相关文字描述的任一实施方式的支付方法。
参阅图8,图8是本申请提供的具有存储功能的装置一实施方式的结构示意图,该具有存储功能的装置80存储有程序指令81,程序指令81能够被执行以实现图2或图3及其相关文字描述的任一实施方式的图像修复模型的训练方法,或者实现图4及其相关文字描述的任一实施方式的图像修复方法,或者图5及其相关文字描述的任一实施方式的身份识别方法,或者图6及其相关文字描述的任一实施方式的支付方法。
其中,该具有存储功能的装置80具体可以为U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory,)、磁碟或者光盘等可以存储程序指令81的介质,或者也可以为存储有该程序指令81的服务器,该服务器可将存储的程序指令81发送给其他设备运行,或者也可以自运行该存储的程序指令81。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,单元或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像修复模型的训练方法,其特征在于,包括:
通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射,得到具有第二图像质量的第二图像集;其中,所述双向映射的生成式对抗网络模型是基于第一训练图像集的图像特征信息及其预测结果、第二训练图像集的图像特征信息及其预测结果对应的损失函数,对初始双向映射的生成式对抗网络模型训练得到的,所述第一训练图像集具有第一图像质量,所述第二训练图像集具有第二图像质量,所述第一训练图像集的图像特征信息和所述第二训练图像集的图像特征信息是通过所述双向映射的生成式对抗网络模型分别对所述第一训练图像集和所述第二训练图像集进行预测得到的;
对所述第二图像集进行检查,判断所述第二图像集是否覆盖或复现设定的多种复杂场景中的光照和拍摄效果;
如果所述第二图像集不能覆盖或不能复现设定的多种复杂场景中的光照和拍摄效果,则获取具有第一图像质量的第四图像集以及与其对应的具有第二图像质量的第五图像集;其中,所述第五图像集是按照所述第二图像集未覆盖或者不能复现的复杂场景中光照和拍摄效果对第四图像集进行人工处理得到的;
将所述第一图像集、所述第二图像集、所述第四图像集和所述第五图像集输入到深度生成模型中以对所述深度生成模型进行训练,通过所述深度生成模型对设定比例的所述第二图像集以及所第五图像集修复,得到修复后的第三图像集;
根据所述深度生成模型的损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型;
所述深度生成模型的损失函数根据所述第一图像集的图像特征信息、所述第三图像集的图像特征信息和所述第五图像集的图像特征信息以及判别器的判别结果确定。
2.根据权利要求1所述的训练方法,其特征在于,所述通过双向映射的生成式对抗网络模型对具有第一图像质量的第一图像集进行映射之前,包括:
将所述具有第一图像质量的第一训练图像集和具有第二图像质量的第二训练图像集输入到初始双向映射的生成式对抗网络模型中,通过所述初始双向映射的生成式对抗网络模型分别对所述第一训练图像集以及所述第二训练图像集进行预测;
根据所述第一训练图像集的图像特征信息及其预测结果、所述第二训练图像集的图像特征信息及其预测结果对应损失函数确定是否对所述初始双向映射的生成式对抗网络模型进行再训练,并将训练完成后的模型确定为所述双向映射的生成式对抗网络模型;
其中,所述第一训练图像集与所述第二训练图像集具有相同类型的图像特征信息。
3.根据权利要求1所述的训练方法,其特征在于,所述将所述第一图像集和所述第二图像集输入到深度生成模型中,通过所述深度生成模型对所述第二图像集进行图像修复,得到修复后的第三图像集的步骤具体包括:
通过所述深度生成模型的生成器对所述第二图像集进行修复,得到所述第三图像集;
所述通过损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型的步骤包括:
通过所述深度生成模型的判别器判断所述第三图像集的图像特征信息是否满足所述第一图像集的图像特征信息分布;
根据所述损失函数确定是否对所述深度生成模型进行再训练,并将训练完成的所述深度生成模型确定为所述图像修复模型;
其中,所述损失函数根据所述第一图像集的图像特征信息、所述第三图像集的图像特征信息以及所述判别器的判别结果确定。
4.根据权利要求1-3任一项所述的训练方法,其特征在于,所述双向映射的生成式对抗网络包括CycleGAN、DualGAN以及DiscoGAN中的任一种;所述深度生成模型包括单向映射生成对抗网络模型或超分辨率模型中的任一种。
5.根据权利要求1-3任一项所述的训练方法,其特征在于,所述第一图像质量高于所述第二图像质量。
6.一种图像修复方法,其特征在于,所述图像修复方法包括:
获取到待修复图像;
将待修复图像输入到所述图像修复模型中,通过所述图像修复模型对所述待修复图像进行修复;
输出修复后的图像;
其中,所述图像修复模型是通过权利要求1-5任一项所述训练方法训练得到。
7.一种身份识别方法,其特征在于,所述身份识别方法包括:
获取待识别的人脸图像;
将所述待识别的人脸图像输入到图像修复模型中,通过所述图像修复模型对所述待识别的人脸图像进行修复,得到修复后的人脸图像;
对所述修复后的人脸图像进行人脸识别,得到所述人脸图像的身份识别结果;
其中,所述图像修复模型是通过权利要求1-5任一项所述训练方法训练得到。
8.一种支付方法,其特征在于,所述支付方法包括:
获取到待支付的人脸图像和待支付的账户预设的人脸图像;
将所述待支付的人脸图像输入到图像修复模型中,通过所述图像修复模型对所述待支付的人脸图像进行修复,得到修复后的人脸图像;
对所述修复后的人脸图像进行人脸识别,得到所述人脸图像的身份识别结果;
若所述身份识别结果表示修复后的人脸图像与所述待支付的账户预设的人脸图像匹配,则执行支付;
其中,所述图像修复模型是通过权利要求1-5任一项所述训练方法训练得到。
9.一种电子装置,其特征在于,包括处理器和存储器,所述处理器耦接所述存储器;
所述存储器用于存储程序指令,所述处理器用于运行所述存储器中的程序指令实现如权利要求1-5任一项所述的图像修复模型的训练方法,或权利要求6所述的图像修复方法,或权利要求7所述的身份识别方法,或权利要求8所述的支付方法。
10.一种具有存储功能的装置,其特征在于,存储有程序指令,所述程序指令能够被执行以实现如权利要求1-5任一项所述的图像修复模型的训练方法,或权利要求6所述的图像修复方法,或权利要求7所述的身份识别方法,或权利要求8所述的支付方法的步骤。
CN201910219334.0A 2019-03-21 2019-03-21 图像修复模型的训练方法、图像修复方法及装置 Active CN111724310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910219334.0A CN111724310B (zh) 2019-03-21 2019-03-21 图像修复模型的训练方法、图像修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910219334.0A CN111724310B (zh) 2019-03-21 2019-03-21 图像修复模型的训练方法、图像修复方法及装置

Publications (2)

Publication Number Publication Date
CN111724310A CN111724310A (zh) 2020-09-29
CN111724310B true CN111724310B (zh) 2023-08-15

Family

ID=72562720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910219334.0A Active CN111724310B (zh) 2019-03-21 2019-03-21 图像修复模型的训练方法、图像修复方法及装置

Country Status (1)

Country Link
CN (1) CN111724310B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104967B (zh) * 2019-12-02 2023-12-22 精锐视觉智能科技(上海)有限公司 图像识别网络训练方法、图像识别方法、装置及终端设备
CN112560791B (zh) * 2020-12-28 2022-08-09 苏州科达科技股份有限公司 识别模型的训练方法、识别方法、装置及电子设备
CN113609928B (zh) * 2021-07-19 2022-12-20 广州市雅天网络科技有限公司 基于云计算和图像识别的智慧城市管理系统
CN113592732B (zh) * 2021-07-19 2023-03-24 安徽省赛达科技有限责任公司 基于大数据和智慧安防的图像处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108304858A (zh) * 2017-12-28 2018-07-20 中国银联股份有限公司 对抗样本识别模型生成方法、验证方法及其系统
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN108460760A (zh) * 2018-03-06 2018-08-28 陕西师范大学 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法
CN108520504A (zh) * 2018-04-16 2018-09-11 湘潭大学 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN108665432A (zh) * 2018-05-18 2018-10-16 百年金海科技有限公司 一种基于生成对抗网络的单幅图像去雾方法
CN108961174A (zh) * 2018-05-24 2018-12-07 北京飞搜科技有限公司 一种图像修复方法、装置以及电子设备
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840086B2 (en) * 2005-10-12 2010-11-23 The Regents Of The University Of California Method for inpainting of images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108304858A (zh) * 2017-12-28 2018-07-20 中国银联股份有限公司 对抗样本识别模型生成方法、验证方法及其系统
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108460760A (zh) * 2018-03-06 2018-08-28 陕西师范大学 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN108520504A (zh) * 2018-04-16 2018-09-11 湘潭大学 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN108665432A (zh) * 2018-05-18 2018-10-16 百年金海科技有限公司 一种基于生成对抗网络的单幅图像去雾方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN108961174A (zh) * 2018-05-24 2018-12-07 北京飞搜科技有限公司 一种图像修复方法、装置以及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Unpaired image-to-image translation using cycle-consistent adversarial networks;Zhu Jun Yan等;《Proceedings of the IEEE international conference on computer vision》;20171225;第2223-2232页 *

Also Published As

Publication number Publication date
CN111724310A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111724310B (zh) 图像修复模型的训练方法、图像修复方法及装置
CN110675328B (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
US11302118B2 (en) Method and apparatus for generating negative sample of face recognition, and computer device
CN109871845B (zh) 证件图像提取方法及终端设备
US20210279469A1 (en) Image signal provenance attestation
CN110418153B (zh) 水印添加方法、装置、设备及存储介质
CN108198177A (zh) 图像获取方法、装置、终端及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110570420A (zh) 一种无参考对比度失真图像质量评价方法
CN103745430A (zh) 一种数字图像的快速美容方法
WO2021128593A1 (zh) 人脸图像处理的方法、装置及系统
CN109636867B (zh) 图像处理方法、装置及电子设备
CN109040033A (zh) 基于拍摄的身份认证方法、电子设备及存储介质
US20170365037A1 (en) Apparatus and method for generating an extrapolated image using a recursive hierarchical process
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
Lunerti et al. Environmental effects on face recognition in smartphones
Ko et al. IceNet for interactive contrast enhancement
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN115170834A (zh) 色差度量方法、装置、电子设备
CN109815796B (zh) 人脸识别通过率的影响因素的测试方法及装置
Meng et al. Learning to encode user-generated short videos with lower bitrate and the same perceptual quality
CN104954767B (zh) 一种信息处理方法和电子设备
CN114187185A (zh) 一种数据处理方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant