CN113077379B - 特征潜码的提取方法及装置、设备及存储介质 - Google Patents

特征潜码的提取方法及装置、设备及存储介质 Download PDF

Info

Publication number
CN113077379B
CN113077379B CN202110311446.6A CN202110311446A CN113077379B CN 113077379 B CN113077379 B CN 113077379B CN 202110311446 A CN202110311446 A CN 202110311446A CN 113077379 B CN113077379 B CN 113077379B
Authority
CN
China
Prior art keywords
latent code
face image
feature
network
feature latent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110311446.6A
Other languages
English (en)
Other versions
CN113077379A (zh
Inventor
陈仿雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202110311446.6A priority Critical patent/CN113077379B/zh
Publication of CN113077379A publication Critical patent/CN113077379A/zh
Application granted granted Critical
Publication of CN113077379B publication Critical patent/CN113077379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种特征潜码的提取方法及装置、设备及存储介质。获取生成式对抗网络及第一人脸图像，利用生成式对抗网络及第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原第一人脸图像，第一特征潜码为特征潜码生成网络输出的第一人脸图像的特征潜码，且将该第一特征潜码确定为基于第一人脸图像提取的目标特征潜码。通过利用生成式对抗网络及第一人脸图像对特征潜码生成网络进行训练的方式，使得在训练的过程中，从第一人脸图像中提取的第一特征潜码将不断地优化，直至该第一特征潜码能够还原第一人脸图像，使得能够得到与第一人脸图像匹配的第一特征潜码，有效实现特征潜码的提取，且有效扩展生成式对抗网络的应用。

Description

特征潜码的提取方法及装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种特征潜码的提取方法及装置、设备及存储介质。
背景技术
基于风格的对抗生成网络(stylegan2)作为生成式对抗网络(gan)的一个分支，能够生成非常逼真的图像。例如，可以将随机生成的特征潜码输入至对抗生成网络中，就可以生成一张图像。
然而，目前都是将随机生成的特征潜码输入到对抗生成网络生成图像，由于无法获取到真实场景下的图像的特征潜码，导致限制了对抗生成网络的应用，例如，无法利用对抗生成网络生成实际用户的人脸的表情变化的图像，及衰老变化的图像等等。因此，如何从人脸图像中提取特征潜码为亟待解决的问题。
发明内容
本发明的主要目的在于提供一种特征潜码的提取方法及装置、设备及存储介质装置、计算机设备及存储介质，使得能够有效地从人脸图像中提取出能够还原人脸图像的特征潜码，有效扩展对抗生成网络的应用。
为实现上述目的，本发明第一方面提供一种特征潜码的提取方法，所述方法包括：
获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，所述第一特征潜码为所述特征潜码生成网络输出的所述第一人脸图像的特征潜码；
将能够还原所述第一人脸图像的第一特征潜码确定为基于所述第一人脸图像提取的目标特征潜码。
可选地，所述利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，包括：将所述第一人脸图像输入第i特征潜码生成网络进行训练，得到所述第i特征潜码生成网络输出的第一特征潜码，i的初始值为1，且第1特征潜码生成网络为初始网络；
将所述第一特征潜码输入所述生成式对抗网络中进行图像生成，得到所述生成式对抗网络输出的第二人脸图像；
将所述第二人脸图像输入至所述第i特征潜码生成网络进行训练，获取所述第二人脸图像的第二特征潜码；
根据所述第一人脸图像、所述第一特征潜码，所述第二人脸图像及所述第二特征潜码确定所述第i特征潜码生成网络是否收敛；
若所述第i特征潜码生成网络收敛，则确定所述第一特征潜码能够还原所述第一人脸图像；
若所述第i特征潜码生成网络不收敛，则对所述第i特征潜码生成网络进行参数优化，得到第i+1特征潜码生成网络，并令i＝i+1，返回执行所述将所述第一人脸图像输入第i特征潜码生成网络进行训练的步骤。
可选地，所述根据所述第一人脸图像、所述第一特征潜码，所述第二人脸图像及所述第二特征潜码确定所述第i特征潜码生成网络是否收敛，包括：
根据所述第一人脸图像及所述第二人脸图像，确定人脸图像之间的像素相似性损失值及结构相似性损失值；
根据所述第一特征潜码及所述第二特征潜码，确定特征潜码之间的特征相似性损失值；
根据所述像素相似性损失值、结构相似性损失值及所述特征相似性损失值，确定所述第i特征潜码生成网络是否收敛。
可选地，所述根据所述像素相似性损失值、结构相似性损失值及所述特征相似性损失值，确定所述第i特征潜码生成网络是否收敛，包括：
获取预设的所述像素相似性损失值对应的第一权重、所述结构相似性损失值对应的第二权重，及所述特征相似性损失值对应的第三权重；
计算所述第一权重与所述像素相似性损失值的第一乘积、所述第二权重与所述结构相似性损失值的第二乘积、所述第三权重与所述特征相似性损失值的第三乘积，并计算所述第一乘积、第二乘积与所述第三乘积的和作为总损失值；
根据所述总损失值确定所述第i特征潜码生成网络是否收敛。
可选地，所述获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像之后还包括：
获取所述第一人脸图像的目标人脸关键点，所述目标人脸关键点包含左眼中心关键点及右眼中心关键点；
计算所述左眼中心关键点至右眼中心关键点的连线形成的向量值；
根据所述向量值对所述第一人脸图像进行人脸对齐处理，得到优化后的第一人脸图像。
可选地，所述根据所述向量值对所述第一人脸图像进行人脸对齐处理，得到优化后的第一人脸图像，包括：
基于所述向量值的正负确定进行人脸对齐处理时的旋转方向，并确定所述向量值与水平方向形成的夹角；
利用所述旋转方向及所述夹角对所述第一人脸图像中各像素点进行坐标变换，得到优化后的第一人脸图像。
为实现上述目的，本发明第二方面提供一种特征潜码的提取装置，所述装置包括：
获取模块，用于获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
训练模块，用于利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，所述第一特征潜码为所述特征潜码生成网络输出的所述第一人脸图像的特征潜码；
确定模块，用于将能够还原所述第一人脸图像的第一特征潜码确定为基于所述第一人脸图像提取的目标特征潜码。
为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面所述的特征潜码的提取方法中的步骤。
为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行如第一方面所述的特征潜码的提取方法中的步骤。
采用本发明实施例，具有如下有益效果：
本发明提供一种特征潜码的提取方法，该方法包括：获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像，利用该生成式对抗网络及第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原第一人脸图像，其中，该第一特征潜码为特征潜码生成网络输出的第一人脸图像的特征潜码，且将该第一特征潜码确定为基于第一人脸图像提取的目标特征潜码。通过利用生成式对抗网络及第一人脸图像对特征潜码生成网络进行训练的方式，使得在训练的过程中，从第一人脸图像中提取的第一特征潜码将不断地优化，直至该第一特征潜码能够还原第一人脸图像，使得能够得到与第一人脸图像匹配的第一特征潜码，有效实现特征潜码的提取，且在能够实现特征潜码的提取的基础上，能够有效扩展生成式对抗网络的应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明实施例中特征潜码的提取方法的流程示意图；
图2为本发明实施例中特征潜码的提取方法的流程示意图；
图3为本发明图1或者图2所示实施例的追加步骤的流程示意图；
图4为本发明实施例中特征潜码的提取装置的结构示意图；
图5为本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本发明实施例中特征潜码的提取方法的流程示意图，该方法包括：
步骤101、获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
步骤102、利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，所述第一特征潜码为所述特征潜码生成网络输出的所述第一人脸图像的特征潜码；
步骤103、将能够还原所述第一人脸图像的第一特征潜码确定为基于所述第一人脸图像提取的目标特征潜码。
在本发明实施例中，上述的特征潜码的提取方法可以由特征潜码的提取装置实现，该提取装置为程序模块，存储与计算机可读存储介质中，处理器可以从该计算机可读存储机制中调用并运行该提取装置，以实现特征潜码的提取方法。
其中，生成式对抗网络是一种深度学习模型，且具有多种不同的类型，包括但不限于基于风格的对抗生成网络(stylegan2)，生成式对抗网络主要包含两个独立的神经网络，分别是生成器和判别器，生成器的任务是，从一个随机均匀分布里采样一个噪声z，然后输出合成数据G(z)，判别器获得一个真实数据x或者合成数据G(z)作为输入，输出这个样本为“真”的概率，在训练的过程中，生成器努力地欺骗判别器，而判别器努力地学习如何正确区分真假样本，这样，两者就形成了对抗的关系，最终的目的则是生成器能够生成足以以假乱真的伪样本。需要说明的是，本发明实施例中，使用的训练完成的生成式对抗网络。可以理解的是，生成式对抗网络的应用场景有多种，例如，用于图像生成场景。
其中，特征潜码是一种特征向量，也可以称为是特征图，具体可以是多维的向量，且向量中的每个值均在[-1,1]的范围内，例如，可以是18*512的向量，该向量中的每个值都在[-1,1]的范围内。可以理解的是，将特征潜码输入至生成式对抗网络中，可以生成该特征潜码对应的图像。可以理解的是，特征潜码也可以理解为基于神经网络从图像中提取的图像的特征，特征潜码能够代表图像，在特征潜码确定的情况下，基于该特征潜码生成的图像也是确定的，且在另一角度，特征潜码也可以理解为图像通过神经网络中的卷积层之后输出的向量。
可以利用生成式对抗网络及待提取特征潜码的第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原第一人脸图像，其中，该第一特征潜码是特征潜码生成网络输出的第一人脸图像的特征潜码，可以理解的是，第一特征潜码能够还原第一人脸图像是指：将第一特征潜码输入生成式对抗网络生成的图像与第一人脸图像的相似度大于或等于预设阈值，该预设阈值可以是98％或者其他值，此处不做限定。
且进一步地，可以将能够还原第一人脸图像的第一特征潜码确定为基于第一人脸图像提取的目标特征潜码，完成了特征潜码的提取。
可以理解的是，通过上述方式，能够有效的从人脸图像中提取特征潜码，使得特征潜码的提取成为可能，进一步地，由于能够从人脸图像中提取特征潜码，使得能够通过对特征潜码进行修改的方式，改变人脸图像中的人脸的表情，或者实现人脸的年龄变化，为用户提供更丰富的体验。例如，若利用上述方式提取了用户A的人脸图像a1的特征潜码a2，其中，该人脸图像a1中用户A的人脸是严肃的表情，对该特征潜码a2进行修改之后得到特征潜码a3，将该特征潜码a3输入到生成式对抗网络中，可以得到新的人脸图像a4，该a4中的用户A的人脸则是微笑的表情，使得通过修改特征潜码的方式，就可以得到更多且更丰富的属于同一个用户的图像。
需要说明的是，在本发明实施例中，第一人脸图像是一副图像，基于该副图像对潜码特征生成网络进行训练，即可得到该第一人脸图像一一对应的潜码特征生成网络，且可以理解的是，该潜码特征生成网络更适用于得到第一人脸图像的第一潜码特征，而不适用于其他的人脸图像，且进一步的，进行前面特征生成网络的训练并不是为了得到训练完成的潜码特征生成网络，而是为了从第一人脸图像中提取第一潜码特征，在训练的过程中，随着潜码特征生成网络的逐渐训练完成，第一潜码特征还原得到的图像与第一人脸图像的相似度就越高，使得能够通过训练的方式得到目标潜码特征。
在本发明实施例中，通过利用生成式对抗网络及第一人脸图像对特征潜码生成网络进行训练的方式，使得在训练的过程中，从第一人脸图像中提取的第一特征潜码将不断地优化，直至该第一特征潜码能够还原第一人脸图像，使得能够得到与第一人脸图像匹配的第一特征潜码，有效实现特征潜码的提取，且在能够实现特征潜码的提取的基础上，能够有效扩展生成式对抗网络的应用。
进一步地，请参阅图2，为本发明实施例中特征潜码的提取方法的流程示意图，包括：
步骤201、获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
步骤202、将所述第一人脸图像输入第i特征潜码生成网络进行训练，得到所述第i特征潜码生成网络输出的第一特征潜码，i的初始值为1，且第1特征潜码生成网络为初始网络；
步骤203、将所述第一特征潜码输入所述生成式对抗网络中进行图像生成，得到所述生成式对抗网络输出的第二人脸图像；
步骤204、将所述第二人脸图像输入至所述第i特征潜码生成网络进行训练，获取所述第二人脸图像的第二特征潜码；
步骤205、根据所述第一人脸图像、所述第一特征潜码，所述第二人脸图像及第二特征潜码确定所述第i特征潜码生成网络是否收敛；
步骤206、若所述第i特征潜码生成网络收敛，则确定所述第一特征潜码能够还原所述第一人脸图像；
步骤207、若所述第i特征潜码生成网络不收敛，则对所述第i特征潜码生成网络进行参数优化，得到第i+1特征潜码生成网络，并令i＝i+1，返回执行步骤202。
在发明实施例中，在从第一人脸图像中提取特征潜码时，需要对特征潜码生成网络进行迭代训练，具体的，可以将第一人脸图像输入第i特征潜码生成网络进行训练，得到该第i特征潜码生成网络输出的第一特征潜码，其中，i用于表示特征潜码生成网络的训练次数，且i的初始值为1，第1特征潜码生成网络可以是初始网络。
进一步地，在得到第i特征潜码生成网络输出的第一特征潜码之后，可以将该第一特征潜码输入生成式对抗网络中进行图像生成，该生成式对抗网络将输出生成的第二人脸图像，可以理解的是，使用生成式对抗网络生成第二人脸图像的过程即为对第一人脸图像进行还原的过程，使得能够根据第一人脸图像和第二人脸图像的相似度确定还原程度。
在一种可行的实现方式中，为了更好地比较第一人脸图像和第二人脸图像之间的相似度，还可以将第二人脸图像输入至第i特征潜码生成网络进行训练，得到该第二人脸图像的第二特征潜码，并进一步地根据第一人脸图像、第一特征潜码、第二人脸图像及第二特征潜码确定第i特征潜码生成网络是否收敛。可以理解的是，第i特征潜码生成网络如果收敛，则表示第i特征潜码生成网络已经完成训练，且该第i特征潜码生成网络输出的第一特征潜码则为从第一人脸图像中提取出来的目标特征潜码，利用该目标特征潜码可以还原第一人脸图像。
若第i特征潜码生成网络不收敛，则需要继续对该第i特征潜码生成网络进行训练，具体的，可以对第i特征潜码生成网络进行参数优化，得到第i+1特征潜码生成网络，并令i＝i+1，返回执行上述步骤202中的内容。
在一种可行的实现方式中，是基于损失值确定第i特征潜码生成网络是否收敛的，具体的上述步骤205可以包括以下步骤：
步骤b1、根据所述第一人脸图像及所述第二人脸图像，确定人脸图像之间的像素相似性损失值及结构相似性损失值；
步骤b2、根据所述第一特征潜码及所述第二特征潜码，确定特征潜码之间的特征相似性损失值；
步骤b3、根据所述像素相似性损失值、结构相似性损失值及所述特征相似性损失值，确定所述第i特征潜码生成网络是否收敛。
在本发明实施例中，为了能够更好地确定第一人脸图像及第二人脸图像的相似度，以确定第i特征潜码生成网络是否收敛，将构建多维度相似性损失函数，该多维度相似性损失函数，包含体现局部相似度的像素相似性损失值、以及体现全局相似度的结构相似性损失值，及特征相似性损失值。
其中，可根据第一人脸图像和第二人脸图像，确定人脸图像之间的像素相似性损失值及结构相似性损失值，及根据第一特征潜码和第二特征潜码，确定特征特征潜码之间的特征相似性损失值，以便能够根据该三个损失值确定第i特征潜码生成网络是否收敛。
且进一步地，可以获取到预设的像素相似性损失值对应的第一权重、结构相似性损失值对应的第二权重，特征相似性损失值对应的第三权重，计算该第一权重与像素相似性损失值的第一乘积、第二权重与结构相似性损失值的第二乘积、第三权重与特征相似性损失值的第三乘积，并计算第一乘积、第二乘积与第三乘积的和作为总损失值；并根据该总损失值确定第i特征潜码生成网络是否收敛。
在一种可行的实现方式中，上述的结构性损失值可以是结构相似性(StructuralSIMilarity，SSIM)指数，SSIM指数是用于衡量两幅图像相似度的指标。可以先计算第一人脸图像与第二人脸图像的亮度相似值r(Y,Y′)、对比度值c(Y,Y′)及结构性相似值s(Y,Y′)，如下：
其中，Y表示第一人脸图像，Y′表示第二人脸图像，μY表示第一人脸图像的像素值均值，μY′表示第二人脸图像的像素值均值，σY表示第一人脸图像的像素值方差值，σY′表示第二人脸图像的像素值方差值，σYY′表示第一人脸图像和第二人脸图像的协方差值，c1＝(k1*L0)2,c2＝(k2*L0)2，k1、k2表示预设的常数，例如k1、k2分别可以为0.01和0.03，L0为像素值的范围，通常可以取值255。
且进一步地，可以按照如下公式得到上述的结构性损失值Ls(Y,Y′)：
Ls(Y,Y′)＝r(Y,Y′)×c(Y,Y′)×s(Y,Y′)
在一种可行的实现方式中，总损失值L可以按照如下公式计算得到：
α、β和γ分别为像素相似性损失值Lp的第一权重、结构相似性损失值Ls的第二权重、及特征相似性损失值Lv的第三权重。
Yi,j表示第一人脸图像Y中的坐标为(i，j)的像素点的像素值，Yi,′j表示第二人脸图像Y′中坐标为(i，j)的像素点的像素值，Vi,j表示第一特征潜码中坐标为(i，j)的位置的值，Vi′，j表示第二特征潜码中坐标为(i，j)的位置的值，P*Q表示的是第一人脸图像和第二人脸图像的分辨率大小，例如P可以为1024、Q也可以为1024，则第一人脸图像和第二人脸图像的分辨率为1024*1024，T和H表示的第一特征潜码和第二特征潜码的结构大小，例如，T可以为18、H可以为512，因此第一特征潜码和第二特征潜码的结构大小为18*512。
进一步地，在上述步骤207中，若第i特征潜码生成网络不收敛，需要对第i特征潜码生成网络进行参数优化时，也需要使用到上述的总损失值，以得到第i+1特征潜码生成网络。在一种可行的实现方式中，可以利用该i的值对自适应矩估计(Adaptive momentestimation，adam)算法的学习率进行更新，得到更新后的学习率，并利用总损失值、更新后的学习率及adam算法对第i特征潜码生成网络进行参数优化，得到第i+1特征潜码生成网络。需要说明的是，使用adam算法需要预先配置参数，包括迭代次数的设置，初始学习率，学习率的权重衰减等等，每一次迭代训练，都需要更新adam算法的学习率。例如，迭代次数可以设置为500次，初始化学习率设置为0.001，学习率的权重衰减设置为0.0005，经过50次迭代，学习率将衰减成原来的1/10，其中，可以将学习率、总损失值输入adam算法中，得到adam输出的调整参数，利用该调整参数实现第i特征潜码生成网络的参数优化。
需要说明的是，上述的特征潜码生成网络中包含特征提取结构，使得能够实现特征潜码的提取，且在具体的应用中，可以有多种不同的具体结构，例如，可以包含Mobilenet，Resnet，VGG等结构，为了更好地理解本发明实施例中的技术方案，下面提供一种可行的特征潜码生成网络，包括13个3*3的卷积层，6个池化层和1个全连接层，且以输入的人脸图像的分辨率为1024*1024，输出的特征潜码的大小为18*512为例进行说明，如下：
其中，c表示输出的通道数，s表示卷积核步长，Conv2d(3*3)表示卷积层、Pooling表示池化层、FC表示全连接层。需要说明的是，特征潜码生成网络的目的是得到特征潜码，如18*512大小的，在结构设计上进行了简化，可使用3*3大小的卷积层和2*2大小的池化层。可以理解的是，上述的特征潜码生成网络的输出的特征潜码为18*512，是因为使用到的生成式对抗网络对输入数据的大小要求为18*512，为了使得特征潜码生成网络能够匹配生成式对抗网络，可设置该特征潜码生成网络的输出为18*512，在实际应用中，可以根据生成式对抗网络需要的输入数据的大小确定特征潜码生成网络输出的特征潜码的大小，且利用特征潜码生成网络，可以实现从不同特征潜码进行比较生成的第二人脸图像和第一人脸图像的差异，能够更加有效并且更加快速的生成第一人脸图像对应的特征潜码，加快获取高质量的特征潜码。
可以理解的是，该特征潜码生成网络所需要的输入图像的分辨率为1024*1024，若第一人脸图像的分辨率是1024*1024，则可以输入该特征潜码生成网络，得到18*512的第一特征潜码，若第一人脸图像的分辨率不是1024*1024，则需要对该第一人脸图像进行归一化处理，使得归一化处理后的第一人脸图像的分辨率为1024*1024。
在本发明实施例中，通过利用生成式对抗网络、多维度相似性损失函数及第一人脸图像对特征潜码生成网络进行训练的方式，使得在训练的过程中，从第一人脸图像中提取的第一特征潜码将不断地优化，直至该第一特征潜码能够还原第一人脸图像，使得能够得到与第一人脸图像匹配的第一特征潜码，有效实现特征潜码的提取，且在能够实现特征潜码的提取的基础上，能够有效扩展生成式对抗网络的应用，例如可以应用于基于调整后的特征潜码，进而实现在不改变人脸图像的本来面貌的基础上，达到改变人脸属性如表情，年龄等的目的，为生成式对抗网络的应用提供更多的可能性。
在另一种可实现的方式中，为了使得提高对第一人脸图像的特征潜码的提取的准确性，还可以先对第一人脸图像执行人脸对齐处理，具体的，请参阅图3，为本发明图1或图2的追加步骤的流程示意图，包括：
步骤301、获取所述第一人脸图像的目标人脸关键点，所述目标人脸关键点包含左眼中心关键点及右眼中心关键点；
步骤302、计算所述左眼中心关键点至右眼中心关键点的连线形成的向量值；
步骤303、根据所述向量值对所述第一人脸图像进行人脸对齐处理，得到优化后的第一人脸图像。
需要说明的是，上述步骤301可以在是图1所示实施例中的步骤101之后执行，也可以是在图2所示实施例中的步骤201之后执行，即在获取到第一人脸图像之后，在利用第一人脸图像对特征潜码生成网络进行训练之前，对该第一人脸图像进行人脸对齐处理。
具体的，可以确定第一人脸图像中的人脸关键点，并获取该第一人脸图像的目标人脸关键点，该目标人脸关键点包含左眼中心关键点和右眼中心关键点，且还可以建议标准二维坐标系，例如，以第一人脸图像的左下角为坐标原点，从坐标原点开始，沿着第一人脸图像的两条相邻的边分别延伸形成X轴和Y轴，可以确定左眼中心关键点和右眼中心关键点在该标准二维坐标系中的坐标值，则可以得到左眼中心关键点到右眼中心关键点的向量值，该向量值包含左眼中心关键点与右眼中心关键点的距离，及方向向量，该方向向量是指该距离与水平方向即X轴形成的夹角向量，可以理解的是，方向向量的正负也会体现在向量值上，若向量值是负值，则夹角向量也为负值，在进行人脸对齐时，第一人脸图像需要逆时针旋转，方向向量为正值时，则夹角向量也为正值，在进行人脸对齐时，第一人脸图像需要顺时针旋转，由此可以确定，可基于向量值的正负确定进行人脸对齐时第一人脸图像的旋转方向为顺时针旋转还是逆时针旋转。且进一步地，上述的夹角向量为向量值与水平方向形成的，且夹角向量的值(夹角)则可以作为旋转时所需要旋转的角度，可以利用该确定的旋转方向及夹角对第一人脸图像中各个像素点进行坐标变化，得到优化后的第一人脸图像。
在一种可行的实现方式中，上述距离可以通过以下方式计算得到：
其中，(x1，y1)表示左眼中心关键点的坐标值，(x2，y2)表示右眼中心关键点的坐标值，Z表示距离。
上述夹角可以为：
且在一种可行的实现方式中，可以采用人脸图像坐标变换公式得到人脸对齐后的第一人脸图像，该人脸图像坐标变换公式如下：
其中，(x，y)表示第一人脸图像中像素点的坐标值，(x′，y′)表示人脸对齐后的像素点的坐标值，旋转方向为顺时针旋转时，s为正，旋转方向为逆时针旋转时，s为负，s的值表示缩放因子，该缩放因子的值可以为预设常数，例如可以为1，tx和ty表示平移值，也可以是预设常数，例如均为1。
在本发明实施例中，通过上述方式能够有效的实现第一人脸图像的人脸对齐，使得能够降低提取该第一人脸图像的特征潜码的难度，且提高提取的特征潜码的准确性。
请参阅图4，为本发明实施例中特征潜码的提取装置的结构示意图，包括：
获取模块401，用于获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
训练模块402，用于利用生成式对抗网络及第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原第一人脸图像，第一特征潜码为特征潜码生成网络输出的第一人脸图像的特征潜码；
确定模块403，用于将能够还原第一人脸图像的第一特征潜码确定为基于第一人脸图像提取的目标特征潜码。
在本发明实施例中，上述获取模块401、训练模块402及确定模块403的内容在前述方法实施例中进行了详细描述，具体可以参阅前述方法实施例中的内容，此处不再赘述。
在本发明实施例中，通过利用生成式对抗网络及第一人脸图像对特征潜码生成网络进行训练的方式，使得在训练的过程中，从第一人脸图像中提取的第一特征潜码将不断地优化，直至该第一特征潜码能够还原第一人脸图像，使得能够得到与第一人脸图像匹配的第一特征潜码，有效实现特征潜码的提取，且在能够实现特征潜码的提取的基础上，能够有效扩展生成式对抗网络的应用。
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法实施例中的各个步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法实施例中的各个步骤。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法实施例中的各个步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法实施例中的各个步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种特征潜码的提取方法，其特征在于，所述方法包括：
获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，所述第一特征潜码为所述特征潜码生成网络输出的所述第一人脸图像的特征潜码；
将能够还原所述第一人脸图像的第一特征潜码确定为基于所述第一人脸图像提取的目标特征潜码；
其中，所述利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，包括：
将所述第一人脸图像输入第i特征潜码生成网络进行训练，得到所述第i特征潜码生成网络输出的第一特征潜码，i的初始值为1，且第1特征潜码生成网络为初始网络；
将所述第一特征潜码输入所述生成式对抗网络中进行图像生成，得到所述生成式对抗网络输出的第二人脸图像；
将所述第二人脸图像输入至所述第i特征潜码生成网络进行训练，获取所述第二人脸图像的第二特征潜码；
根据所述第一人脸图像、所述第一特征潜码，所述第二人脸图像及所述第二特征潜码确定所述第i特征潜码生成网络是否收敛；
若所述第i特征潜码生成网络收敛，则确定所述第一特征潜码能够还原所述第一人脸图像；
若所述第i特征潜码生成网络不收敛，则对所述第i特征潜码生成网络进行参数优化，得到第i+1特征潜码生成网络，并令i=i+1，返回执行所述将所述第一人脸图像输入第i特征潜码生成网络进行训练的步骤。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸图像、所述第一特征潜码，所述第二人脸图像及所述第二特征潜码确定所述第i特征潜码生成网络是否收敛，包括：
根据所述第一人脸图像及所述第二人脸图像，确定人脸图像之间的像素相似性损失值及结构相似性损失值；
根据所述第一特征潜码及所述第二特征潜码，确定特征潜码之间的特征相似性损失值；
根据所述像素相似性损失值、结构相似性损失值及所述特征相似性损失值，确定所述第i特征潜码生成网络是否收敛。
3.根据权利要求2所述的方法，其特征在于，所述根据所述像素相似性损失值、结构相似性损失值及所述特征相似性损失值，确定所述第i特征潜码生成网络是否收敛，包括：
获取预设的所述像素相似性损失值对应的第一权重、所述结构相似性损失值对应的第二权重，及所述特征相似性损失值对应的第三权重；
计算所述第一权重与所述像素相似性损失值的第一乘积、所述第二权重与所述结构相似性损失值的第二乘积、所述第三权重与所述特征相似性损失值的第三乘积，并计算所述第一乘积、第二乘积与所述第三乘积的和作为总损失值；
根据所述总损失值确定所述第i特征潜码生成网络是否收敛。
4.根据权利要求1所述的方法，其特征在于，所述获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像之后还包括：
获取所述第一人脸图像的目标人脸关键点，所述目标人脸关键点包含左眼中心关键点及右眼中心关键点；
计算所述左眼中心关键点至右眼中心关键点的连线形成的向量值；
根据所述向量值对所述第一人脸图像进行人脸对齐处理，得到优化后的第一人脸图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述向量值对所述第一人脸图像进行人脸对齐处理，得到优化后的第一人脸图像，包括：
基于所述向量值的正负确定进行人脸对齐处理时的旋转方向，并确定所述向量值与水平方向形成的夹角；
利用所述旋转方向及所述夹角对所述第一人脸图像中各像素点进行坐标变换，得到优化后的第一人脸图像。
6.一种特征潜码的提取装置，其特征在于，所述装置包括：
获取模块，用于获取已训练好的生成式对抗网络及待提取特征潜码的第一人脸图像；
训练模块，用于利用所述生成式对抗网络及所述第一人脸图像，对特征潜码生成网络进行迭代训练，直至利用第一特征潜码能够还原所述第一人脸图像，所述第一特征潜码为所述特征潜码生成网络输出的所述第一人脸图像的特征潜码；
确定模块，用于将能够还原所述第一人脸图像的第一特征潜码确定为基于所述第一人脸图像提取的目标特征潜码；
其中，所述训练模块具体用于：
将所述第一人脸图像输入第i特征潜码生成网络进行训练，得到所述第i特征潜码生成网络输出的第一特征潜码，i的初始值为1，且第1特征潜码生成网络为初始网络；
将所述第一特征潜码输入所述生成式对抗网络中进行图像生成，得到所述生成式对抗网络输出的第二人脸图像；
将所述第二人脸图像输入至所述第i特征潜码生成网络进行训练，获取所述第二人脸图像的第二特征潜码；
根据所述第一人脸图像、所述第一特征潜码，所述第二人脸图像及所述第二特征潜码确定所述第i特征潜码生成网络是否收敛；
若所述第i特征潜码生成网络收敛，则确定所述第一特征潜码能够还原所述第一人脸图像；
若所述第i特征潜码生成网络不收敛，则对所述第i特征潜码生成网络进行参数优化，得到第i+1特征潜码生成网络，并令i=i+1，返回执行所述将所述第一人脸图像输入第i特征潜码生成网络进行训练的步骤。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
8.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
CN202110311446.6A 2021-03-23 2021-03-23 特征潜码的提取方法及装置、设备及存储介质 Active CN113077379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110311446.6A CN113077379B (zh) 2021-03-23 2021-03-23 特征潜码的提取方法及装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110311446.6A CN113077379B (zh) 2021-03-23 2021-03-23 特征潜码的提取方法及装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113077379A CN113077379A (zh) 2021-07-06
CN113077379B true CN113077379B (zh) 2024-03-22

Family

ID=76613831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110311446.6A Active CN113077379B (zh) 2021-03-23 2021-03-23 特征潜码的提取方法及装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113077379B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612139A (zh) * 2023-12-19 2024-02-27 昆明盛嗳谐好科技有限公司 基于深度学习的场景目标检测方法、系统和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800732A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成漫画头像生成模型的方法和装置
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
WO2020258668A1 (zh) * 2019-06-26 2020-12-30 平安科技（深圳）有限公司 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备
WO2021023003A1 (zh) * 2019-08-05 2021-02-11 深圳Tcl新技术有限公司 一种人脸转换模型的训练方法、存储介质及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800732A (zh) * 2019-01-30 2019-05-24 北京字节跳动网络技术有限公司 用于生成漫画头像生成模型的方法和装置
WO2020258668A1 (zh) * 2019-06-26 2020-12-30 平安科技（深圳）有限公司 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备
WO2021023003A1 (zh) * 2019-08-05 2021-02-11 深圳Tcl新技术有限公司 一种人脸转换模型的训练方法、存储介质及终端设备
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络的人脸灰度图上色;李炬;;电脑知识与技术(第11期);全文 *

Also Published As

Publication number Publication date
CN113077379A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
US11080833B2 (en) Image manipulation using deep learning techniques in a patch matching operation
CN110555526B (zh) 神经网络模型训练方法、图像识别方法和装置
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111160229B (zh) 基于ssd网络的视频目标检测方法及装置
CN111598087B (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN113077379B (zh) 特征潜码的提取方法及装置、设备及存储介质
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN110570487A (zh) 欠采样模型生成方法、图像重建方法、装置和计算机设备
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
WO2011117890A2 (en) Method for streaming svd computation
CN113255700B (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN114820755A (zh) 一种深度图估计方法及系统
CN111461091B (zh) 万能指纹生成方法和装置、存储介质及电子装置
CN113379637A (zh) 基于递进学习策略的图像修复方法、系统、介质及设备
RU2817316C2 (ru) Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства
CN115861044B (zh) 基于生成对抗网络的复杂云层背景仿真方法、装置和设备
CN112767223B (zh) 一种图像安全取证模型生成方法、取证方法及电子设备
CN113239878B (zh) 图像分类方法、装置、设备及介质
CN112329925B (zh) 模型生成方法、特征提取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant