CN109670476A - 用户头像的生成方法及装置、电子设备、存储介质 - Google Patents
用户头像的生成方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN109670476A CN109670476A CN201811627121.3A CN201811627121A CN109670476A CN 109670476 A CN109670476 A CN 109670476A CN 201811627121 A CN201811627121 A CN 201811627121A CN 109670476 A CN109670476 A CN 109670476A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- user
- sample image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 8
- 238000003475 lamination Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了用户头像的生成方法及装置、电子设备、存储介质，所述方法包括：获取第一用户图像及第二用户图像；从所述第一用户图像中提取第一用户图像特征信息，以及从所述第二用户图像中提取第二用户图像特征信息；采用预先训练的生成模型，根据所述第一图像特征信息和所述第二图像特征信息生成目标用户图像。通过本发明实施例，实现了对用户头像的定制，使得用户头像兼容了个人特征和风格，保证了用户头像的个性化和专属性，且能够保障用户隐私。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及用户头像的生成方法及装置、电子设备、存储介质。
背景技术
在注册账户后，通常需要设置账户对应的用户头像，其可以由用户自行上传，也可以直接采用默认的用户头像。
对于由用户上传的情况，上传的图像通常与用户个人相关，其可能包含隐私信息，用户不想在网络上公开，但又缺乏修图能力，进而可能直接采用默认的用户头像，而默认的用户头像又难以突出用户的个性特点。
发明内容
鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的用户头像的生成方法及装置、电子设备、存储介质，包括：
一种用户头像的生成方法，所述方法包括：
获取第一用户图像及第二用户图像；
从所述第一用户图像中提取第一用户图像特征信息，以及从所述第二用户图像中提取第二用户图像特征信息；
采用预先训练的生成模型，根据所述第一图像特征信息和所述第二图像特征信息生成目标用户图像。
可选地，还包括：
获取第一样本图像及第二样本图像；其中，所述第一样本图像与所述第一用户图像相关联，所述第二样本图像与所述第二用户图像相关联；
对所述第一样本图像及所述第二样本图像进行训练，得到所述生成模型。
可选地，对所述第一样本图像及所述第二样本图像进行训练，得到所述生成模型，包括：
生成所述第一样本图像及所述第二样本图像对应的第三样本图像；
获取所述第二样本图像对应的第二样本特征信息，以及获取所述第三样本图像对应的第三样本特征信息；
采用所述第二样本特征信息信息和所述第三样本特征信息信息，计算得到纹理损失；
根据预先训练的判别模型和所述纹理损失，更新所述生成模型。
可选地，根据预先训练的判别模型和所述纹理损失，更新所述生成模型，包括：
采用所述预先训练的所述判别模型，确定所述第三样本图像对应的内容损失；
根据所述内容损失和所述纹理损失的权值，更新所述生成模型。
可选地，还包括：
获取第四样本图像、第五样本图像，以及所述第四样本图像及所述第五样本图像对应的第六样本图像；其中，所述第四样本图像与所述第一用户图像相关联，所述第五样本图像与所述第二用户图像相关联；
将所述第四样本图像和所述第六样本图像组织为正样本，以及将所述第五样本图像和所述第六样本图像组织为负样本；
分别对所述正样本和所述负样本进行训练，得到判别模型；其中，所述判别模型对应的正样本损失在预设的正样本损失范围内，所述判别模型对应的负样本损失在预设的负样本损失范围内。
可选地，采用如下方式计算所述判别模型对应的正样本损失：
确定所述正样本对应的正样本矩阵；
计算所述正样本矩阵与第一预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第一预设矩阵与所述第四样本图像相对应；
采用如下方式计算所述判别模型对应的负样本损失：
确定所述负样本对应的负样本矩阵；
计算所述负样本矩阵与第二预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第二预设矩阵与所述第五样本图像相对应。
可选地，所述采用预先训练的生成模型，生成所述第一用户图像特征信息和所述第二用户图像特征信息对应的目标用户图像的步骤包括：
将所述第一用户图像特征信息和所述第二用户图像特征信息合并为第三用户图像特征信息；
将所述第三用户图像特征信息输入预先训练的生成模型，经由所述生成模型中卷积层与反卷积层处理，获得所述生成模型输出的目标用户图像。
一种用户头像的生成装置，所述装置包括：
用户图像获取模块，用于获取第一用户图像及第二用户图像；
用户特征提取模块，用于从所述第一用户图像中提取第一用户图像特征信息，以及从所述第二用户图像中提取第二用户图像特征信息；
用户图像生成模块，用于采用预先训练的生成模型，根据所述第一用户图像特征信息和所述第二用户图像特征信息生成目标用户图像。
可选地，还包括：
样本图像获取模块，用于获取第一样本图像及第二样本图像；其中，所述第一样本图像与所述第一用户图像相关联，所述第二样本图像与所述第二用户图像相关联；
生成模型训练模块，用于对所述第一样本图像及所述第二样本图像进行训练，得到所述生成模型。
可选地，所述生成模型训练模块包括：
样本图像生成子模块，用于生成所述第一样本图像及所述第二样本图像对应的第三样本图像；
样本特征信息获取子模块，用于获取所述第二样本图像对应的第二样本特征信息，以及获取所述第三样本图像对应的第三样本特征信息；
纹理损失计算子模块，用于采用所述第二样本特征信息和所述第三样本特征信息，计算得到纹理损失；
生成模型更新子模块，用于根据预先训练的判别模型和所述纹理损失，更新所述生成模型。
可选地，所述生成模型更新子模块包括：
内容损失确定模块，用于采用所述预先训练的所述判别模型，确定所述第三样本图像对应的内容损失；
权值更新模块，用于根据所述内容损失和所述纹理损失的权值，更新所述生成模型。
可选地，还包括：
第一样本图像获取模块，用于获取第四样本图像、第五样本图像，以及所述第四样本图像及所述第五样本图像对应的第六样本图像；其中，所述第四样本图像与所述第一用户图像相关联，所述第五样本图像与所述第二用户图像相关联；
正负样本组织模块，用于将所述第四样本图像和所述第六样本图像组织为正样本，以及将所述第五样本图像和所述第六样本图像组织为负样本；
判别模型训练模块，用于分别对所述正样本和所述负样本进行训练，得到判别模型；其中，所述判别模型对应的正样本损失在预设的正样本损失范围内，所述判别模型对应的负样本损失在预设的负样本损失范围内。
可选地，采用如下方式计算所述判别模型对应的正样本损失：
确定所述正样本对应的正样本矩阵；
计算所述正样本矩阵与第一预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第一预设矩阵与所述第四样本图像相对应；
采用如下方式计算所述判别模型对应的负样本损失：
确定所述负样本对应的负样本矩阵；
计算所述负样本矩阵与第二预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第二预设矩阵与所述第五样本图像相对应。
可选地，所述用户图像生成模块包括：
特征合并子模块，用于将所述第一用户图像特征信息和所述第二用户图像特征信息合并为第三用户图像特征信息；
卷积处理子模块，用于将所述第三用户图像特征信息输入预先训练的生成模型，经由所述生成模型中卷积层与反卷积层处理，获得所述生成模型输出的目标用户图像。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的用户头像的生成方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的用户头像的生成方法的步骤。
本发明实施例具有以下优点：
在本发明实施例中，通过获取第一用户图像及第二用户图像，从第一用户图像中提取第一用户图像特征信息，以及从第二用户图像中提取第二用户图像特征信息，然后采用预先训练的生成模型，根据第一用户图像特征信息和第二用户图像特征信息生成目标用户图像，实现了对用户头像的定制，使得用户头像兼容了个人特征和风格，保证了用户头像的个性化和专属性，且能够保障用户隐私。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种用户头像的生成方法的步骤流程图；
图2是本发明一实施例提供的一种生成模型的示意图；
图3是本发明一实施例提供的用户头像的生成装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明一实施例提供的一种用户头像的生成方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取第一用户图像及第二用户图像；
其中，第一用户图像可以为包含用户期望内容的图像，如第一用户图像可以为人脸图像，用户期望内容可以为人脸图像的人脸等特征。
第二用户图像可以为包含用户期望纹理的图像，如第二用户图像可以为油画图像，用户期望纹理可以为油画的色调等风格。
在具体实现中，可以获取用户上传第一用户图像，并可以向用户展示预置的多个候选图像，然后将用户选定的候选图像作为第二用户图像。
步骤102，从第一用户图像中提取第一用户图像特征信息，以及从第二用户图像中提取第二用户图像特征信息；
在实际应用中，可以预先训练提取模型，提取模型可以为采用CNN(ConvolutionNeural Network，卷积神经网络)的模型。
在获得用户图像后，可以分别将用户图像输入提取模型，经过多次卷积处理后，获得提取模型输出的用户图像特征信息。
步骤103，采用预先训练的生成模型，根据第一用户图像特征信息和第二用户图像特征信息生成目标用户图像。
其中，目标用户图像可以为至少部分包含用户期望内容及用户期望纹理的图像，即目标用户图像融合了第一用户图像中的用户期望内容，以及第二用户图像中的用户期望纹理。
在实际应用中，可以预先训练生成模型，生成模型可以采用Encode-Decode结构，如图2，可以包括Encode、Block、Decode三个部分
其中，Encode部分可以由多个卷积层组成，Block部分可以用于增加网络深度，使网络具有更强的处理能力，Decode部分可以把抽象特征重新还原为图像，其由多个反卷积层组成。
在获得用户图像特征信息后，可以将用户图像特征信息输入生成模型，经过Encode、Block、Decode三个部分后，获得输出的目标用户图像。
在发明一实施例中，步骤103可以包括如下子步骤：
将第一用户图像特征信息和第二用户图像特征信息合并为第三用户图像特征信息；将第三用户图像特征信息输入预先训练的生成模型，经由生成模型中卷积层与反卷积层处理，获得生成模型输出的目标用户图像。
在实际应用中，经由提取模型输出的第一用户图像特征信息和第二用户图像特征信息可以为特征图谱(Featuremap)，其尺寸可以为H*W*C(H为高度，W为宽度，C为通道数目)，可以将第一用户图像特征信息和第二用户图像特征信息拼接(Concat)为第三用户图像特征信息，第三用户图像特征信息的尺寸可以为H*W*2C。
在获得第三用户图像特征信息后，可以将第三用户图像特征信息输入生成模型，经由生成模型中卷积层将其进行处理，得到尺寸较小的抽象特征，然后再由反卷积层将抽象特征重新处理，得到尺寸与原始用户图像相同的目标用户图像。
在一示例中，在获得目标用户图像后，可以响应于用户的操作，将目标用户图像设置为当前用户的用户头像，使得用户头像能够融合外貌与风格。
在发明一实施例中，还可以包括如下步骤：
获取第一样本图像及第二样本图像；对第一样本图像及第二样本图像进行训练，得到生成模型。
其中，第一样本图像可以与第一用户图像相关联，即第一样本图像可以为包含期望内容的图像，第二样本图像可以与第二用户图像相关联，即第二样本图像可以为包含期望纹理的图像。
在具体实现中，可以获取第一样本图像及第二样本图像，然后采用第一样本图像及第二样本图像对初始生成模型进行训练，进而得到生成模型。
在发明一实施例中，对第一样本图像及第二样本图像进行训练，得到所述生成模型的步骤可以包括如下子步骤：
生成第一样本图像及第二样本图像对应的第三样本图像；获取第二样本图像对应的第二样本特征信息，以及获取第三样本图像对应的第三样本特征信息；采用第二样本特征信息和第三样本特征信息，计算得到纹理损失；根据预先训练的判别模型和纹理损失，更新生成模型；
在获得第一样本图像及第二样本图像后，可以采用初始生成模型，生成对第一样本图像及第二样本图像对应的第三样本图像，其过程与步骤103类似，便不再重复。
在获得第三样本图像后，可以进一步确定第三样本图像对应的第三样本特征信息，并可以计算第二样本图像对应的第二样本特征信息与第三样本特征信息的均方误差，作为纹理损失。
在获得纹理损失后，可以结合预先训练的判别模型和纹理损失，对初始生成模型进行更新，判别模型可以与生成模型构成生成式对抗网络(GenerativeAdversarialNetwork，GAN)。
在发明一实施例中，根据预先训练的判别模型和纹理损失，更新生成模块的步骤包括如下子步骤：
采用预先训练的所述判别模型，确定第三样本图像对应的内容损失；根据内容损失和纹理损失的权值，更新所述生成模型。
在具体实现中，通过将第三样本图像输入预先训练的判别模型，可以获得判别模型输出的内容损失，然后可以采用预先设置的权值分别对内容损失和纹理损失进行加权，得到整体损失。
由于最终的生成模型对应的整体损失在预设的整体损失范围内，若计算得到的整体损失未在预设的整体损失范围内时，则可以调整模型参数，进一步训练，直至整体损失在预设的整体损失范围内，则可以获取对应的模型参数，得到最终的生成模型。
在发明一实施例中，还可以包括如下步骤：
获取第四样本图像、第五样本图像，以及第四样本图像及第五样本图像对应的第六样本图像；将第四样本图像和第六样本图像组织为正样本，以及将第五样本图像和第六样本图像组织为负样本；分别对正样本和负样本进行训练，得到判别模型；判别模型对应的正样本损失在预设的正样本损失范围内，判别模型对应的负样本损失在预设的负样本损失范围内。
其中，第四样本图像可以与第一用户图像相关联，即第四样本图像可以为包含期望内容的图像，第五样本图像可以与第二用户图像相关联，即第五样本图像可以为包含期望纹理的图像。
在获得第四样本图像及第五样本图像后，可以采用生成模型对第四样本图像及第五样本图像进行处理，得到第六样本图像，具体过程可以参考上文。
在获得第六样本图像后，可以将第四样本图像和第六样本图像组织为正样本，以及将第五样本图像和第六样本图像组织为负样本，其组织过程可以为在图像的RGB上的拼接。
在正样本和负样本进行训练的过程中，可以计算正样本对应的正样本损失以及负样本对应的负样本损失，正样本损失可以表征第六样本图像较第四样本图像在期望内容上的损失，即其保留了多少第四样本图像中内容，负样本损失可以表征第六样本图像较第五样本图像在期望纹理上的损失，即其保留了多少第五样本图像中的纹理。
当正样本损失在预设的正样本损失范围内，且负样本损失在预设的负样本损失范围内，则可以停止训练，采用对应的模型参数，得到判别模型。
在一示例中，第四样本图像可以为第一样本图像，第五样本图像可以为第二样本图像，第六样样本图像可以为第三样本图像，生成模型与判别模型可以采用交替更新的训练方式，即训练判别模型时冻结生成模型，训练生成模型时冻结判别模型，在每一批次的训练数据输入时依次完成以上两个步骤，从而达到训练两个模型的目的。
在发明一实施例中，采用如下方式计算判别模型对应的正样本损失：
确定正样本对应的正样本矩阵；计算正样本矩阵与第一预设矩阵之间的距离，作为判别模型对应的正样本损失。
其中，第一预设矩阵与第四样本图像相对应。
采用如下方式计算判别模型对应的负样本损失：
确定负样本对应的负样本矩阵；计算负样本矩阵与第二预设矩阵之间的距离，作为判别模型对应的正样本损失。
其中，第二预设矩阵与第五样本图像相对应。
在具体实现中，可以预先设置样本图像对应的标签，其可以为与样本图像的尺寸相同的矩阵，则可以确定第四样本图像对应的第一预设矩阵，如全1矩阵，并可以确定第五样本图像对应的第二预设矩阵，如全0矩阵。
在获得正负样本后，可以确定正样本对应的正样本矩阵及负样本对应的负样本矩阵，然后可以采用均方误差或绝对值误差等方式，计算正样本矩阵与第一预设矩阵之间的距离及负样本矩阵与第二预设矩阵之间的距离，得到判别模型对应的正样本损失和负样本损失。
在本发明实施例中，通过获取第一用户图像及第二用户图像，并从第一用户图像中提取第一用户图像特征信息，以及从第二用户图像中提取第二用户图像特征信息，然后采用预先训练的生成模型，根据第一用户图像特征信息和第二用户图像特征信息生成目标用户图像，实现了对用户头像的定制，使得用户头像兼容了个人特征和风格，保证了用户头像的个性化和专属性，且能够保障用户隐私。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明一实施例提供的一种用户头像的生成装置的结构示意图，具体可以包括如下模块：
用户图像获取模块301，用于获取第一用户图像及第二用户图像；
用户特征提取模块302，用于从第一用户图像中提取第一用户图像特征信息，以及从第二用户图像中提取第二用户图像特征信息；
用户图像生成模块303，用于采用预先训练的生成模型，根据第一用户图像特征信息和第二用户图像特征信息生成目标用户图像。
在发明一实施例中，还包括：
样本图像获取模块，用于获取第一样本图像及第二样本图像；其中，第一样本图像与第一用户图像相关联，第二样本图像与第二用户图像相关联；
生成模型训练模块，用于对第一样本图像及第二样本图像进行训练，得到生成模型。
在发明一实施例中，生成模型训练模块包括：
样本图像生成子模块，用于生成第一样本图像及第二样本图像对应的第三样本图像；
样本特征信息获取子模块，用于获取第二样本图像对应的第二样本特征信息，以及获取第三样本图像对应的第三样本特征信息；
纹理损失计算子模块，用于采用第二样本特征信息和第三样本特征信息，计算得到纹理损失；
生成模型更新子模块，用于根据预先训练的判别模型和纹理损失，更新生成模型。
在发明一实施例中，生成模型更新子模块包括：
内容损失确定模块，用于采用预先训练的判别模型，确定第三样本图像对应的内容损失；
权值更新模块，用于根据内容损失和纹理损失的权值，更新生成模型。
在发明一实施例中，还包括：
第一样本图像获取模块，用于获取第四样本图像、第五样本图像，以及第四样本图像及第五样本图像对应的第六样本图像；其中，第四样本图像与第一用户图像相关联，第五样本图像与第二用户图像相关联；
正负样本组织模块，用于将第四样本图像和第六样本图像组织为正样本，以及将第五样本图像和第六样本图像组织为负样本；
判别模型训练模块，用于分别对正样本和负样本进行训练，得到判别模型；其中，判别模型对应的正样本损失在预设的正样本损失范围内，判别模型对应的负样本损失在预设的负样本损失范围内。
在发明一实施例中，采用如下方式计算判别模型对应的正样本损失：
确定正样本对应的正样本矩阵；
计算正样本矩阵与第一预设矩阵之间的距离，作为判别模型对应的正样本损失；其中，第一预设矩阵与第四样本图像相对应；
采用如下方式计算判别模型对应的负样本损失：
确定负样本对应的负样本矩阵；
计算负样本矩阵与第二预设矩阵之间的距离，作为判别模型对应的正样本损失；其中，第二预设矩阵与第五样本图像相对应。
在发明一实施例中，用户图像生成模块包括：
特征合并子模块，用于将第一用户图像特征信息和第二用户图像特征信息合并为第三用户图像特征信息；
卷积处理子模块，用于将第三用户图像特征信息输入预先训练的生成模型，经由生成模型中卷积层与反卷积层处理，获得生成模型输出的目标用户图像。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上用户头像的生成方法的步骤。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上用户头像的生成方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的用户头像的生成方法及装置、电子设备、存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种用户头像的生成方法，其特征在于，所述方法包括：
获取第一用户图像及第二用户图像；
从所述第一用户图像中提取第一用户图像特征信息，以及从所述第二用户图像中提取第二用户图像特征信息；
采用预先训练的生成模型，根据所述第一图像特征信息和所述第二图像特征信息生成目标用户图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取第一样本图像及第二样本图像；其中，所述第一样本图像与所述第一用户图像相关联，所述第二样本图像与所述第二用户图像相关联；
对所述第一样本图像及所述第二样本图像进行训练，得到所述生成模型。
3.根据权利要求2所述的方法，其特征在于，对所述第一样本图像及所述第二样本图像进行训练，得到所述生成模型，包括：
生成所述第一样本图像及所述第二样本图像对应的第三样本图像；
获取所述第二样本图像对应的第二样本特征信息，以及获取所述第三样本图像对应的第三样本特征信息；
采用所述第二样本特征信息信息和所述第三样本特征信息信息，计算得到纹理损失；
根据预先训练的判别模型和所述纹理损失，更新所述生成模型。
4.根据权利要求3所述的方法，其特征在于，根据预先训练的判别模型和所述纹理损失，更新所述生成模型，包括：
采用所述预先训练的所述判别模型，确定所述第三样本图像对应的内容损失；
根据所述内容损失和所述纹理损失的权值，更新所述生成模型。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
获取第四样本图像、第五样本图像，以及所述第四样本图像及所述第五样本图像对应的第六样本图像；其中，所述第四样本图像与所述第一用户图像相关联，所述第五样本图像与所述第二用户图像相关联；
将所述第四样本图像和所述第六样本图像组织为正样本，以及将所述第五样本图像和所述第六样本图像组织为负样本；
分别对所述正样本和所述负样本进行训练，得到判别模型；其中，所述判别模型对应的正样本损失在预设的正样本损失范围内，所述判别模型对应的负样本损失在预设的负样本损失范围内。
6.根据权利要求5所述的方法，其特征在于，采用如下方式计算所述判别模型对应的正样本损失：
确定所述正样本对应的正样本矩阵；
计算所述正样本矩阵与第一预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第一预设矩阵与所述第四样本图像相对应；
采用如下方式计算所述判别模型对应的负样本损失：
确定所述负样本对应的负样本矩阵；
计算所述负样本矩阵与第二预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第二预设矩阵与所述第五样本图像相对应。
7.根据权利要求1所述的方法，其特征在于，所述采用预先训练的生成模型，生成所述第一用户图像特征信息和所述第二用户图像特征信息对应的目标用户图像的步骤包括：
将所述第一用户图像特征信息和所述第二用户图像特征信息合并为第三用户图像特征信息；
将所述第三用户图像特征信息输入预先训练的生成模型，经由所述生成模型中卷积层与反卷积层处理，获得所述生成模型输出的目标用户图像。
8.一种用户头像的生成装置，其特征在于，所述装置包括：
用户图像获取模块，用于获取第一用户图像及第二用户图像；
用户特征提取模块，用于从所述第一用户图像中提取第一用户图像特征信息，以及从所述第二用户图像中提取第二用户图像特征信息；
用户图像生成模块，用于采用预先训练的生成模型，根据所述第一用户图像特征信息和所述第二用户图像特征信息生成目标用户图像。
9.根据权利要求8所述的装置，其特征在于，还包括：
样本图像获取模块，用于获取第一样本图像及第二样本图像；其中，所述第一样本图像与所述第一用户图像相关联，所述第二样本图像与所述第二用户图像相关联；
生成模型训练模块，用于对所述第一样本图像及所述第二样本图像进行训练，得到所述生成模型。
10.根据权利要求9所述的装置，其特征在于，所述生成模型训练模块包括：
样本图像生成子模块，用于生成所述第一样本图像及所述第二样本图像对应的第三样本图像；
样本特征信息获取子模块，用于获取所述第二样本图像对应的第二样本特征信息，以及获取所述第三样本图像对应的第三样本特征信息；
纹理损失计算子模块，用于采用所述第二样本特征信息和所述第三样本特征信息，计算得到纹理损失；
生成模型更新子模块，用于根据预先训练的判别模型和所述纹理损失，更新所述生成模型。
11.根据权利要求10所述的装置，其特征在于，所述生成模型更新子模块包括：
内容损失确定模块，用于采用所述预先训练的所述判别模型，确定所述第三样本图像对应的内容损失；
权值更新模块，用于根据所述内容损失和所述纹理损失的权值，更新所述生成模型。
12.根据权利要求8至11中任一项所述的装置，其特征在于，还包括：
第一样本图像获取模块，用于获取第四样本图像、第五样本图像，以及所述第四样本图像及所述第五样本图像对应的第六样本图像；其中，所述第四样本图像与所述第一用户图像相关联，所述第五样本图像与所述第二用户图像相关联；
正负样本组织模块，用于将所述第四样本图像和所述第六样本图像组织为正样本，以及将所述第五样本图像和所述第六样本图像组织为负样本；
判别模型训练模块，用于分别对所述正样本和所述负样本进行训练，得到判别模型；其中，所述判别模型对应的正样本损失在预设的正样本损失范围内，所述判别模型对应的负样本损失在预设的负样本损失范围内。
13.根据权利要求12所述的装置，其特征在于，采用如下方式计算所述判别模型对应的正样本损失：
确定所述正样本对应的正样本矩阵；
计算所述正样本矩阵与第一预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第一预设矩阵与所述第四样本图像相对应；
采用如下方式计算所述判别模型对应的负样本损失：
确定所述负样本对应的负样本矩阵；
计算所述负样本矩阵与第二预设矩阵之间的距离，作为所述判别模型对应的正样本损失；其中，所述第二预设矩阵与所述第五样本图像相对应。
14.根据权利要求8所述的装置，其特征在于，所述用户图像生成模块包括：
特征合并子模块，用于将所述第一用户图像特征信息和所述第二用户图像特征信息合并为第三用户图像特征信息；
卷积处理子模块，用于将所述第三用户图像特征信息输入预先训练的生成模型，经由所述生成模型中卷积层与反卷积层处理，获得所述生成模型输出的目标用户图像。
15.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的用户头像的生成方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的用户头像的生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811627121.3A CN109670476A (zh) | 2018-12-28 | 2018-12-28 | 用户头像的生成方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811627121.3A CN109670476A (zh) | 2018-12-28 | 2018-12-28 | 用户头像的生成方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109670476A true CN109670476A (zh) | 2019-04-23 |
Family
ID=66146558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811627121.3A Pending CN109670476A (zh) | 2018-12-28 | 2018-12-28 | 用户头像的生成方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109670476A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434633A (zh) * | 2021-06-28 | 2021-09-24 | 平安科技（深圳）有限公司 | 基于头像的社交话题推荐方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919885A (zh) * | 2015-12-24 | 2017-07-04 | 掌赢信息科技（上海）有限公司 | 一种基于机器学习的人脸风格化方法及电子设备 |
| CN107277391A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 图像转换网络处理方法、服务器、计算设备及存储介质 |
| CN107464210A (zh) * | 2017-07-06 | 2017-12-12 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| US20180158224A1 (en) * | 2015-07-31 | 2018-06-07 | Eberhard Karls Universitaet Tuebingen | Method and device for image synthesis |
| CN108647560A (zh) * | 2018-03-22 | 2018-10-12 | 中山大学 | 一种基于cnn的保持表情信息的人脸转移方法 |
-
2018
- 2018-12-28 CN CN201811627121.3A patent/CN109670476A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180158224A1 (en) * | 2015-07-31 | 2018-06-07 | Eberhard Karls Universitaet Tuebingen | Method and device for image synthesis |
| CN106919885A (zh) * | 2015-12-24 | 2017-07-04 | 掌赢信息科技（上海）有限公司 | 一种基于机器学习的人脸风格化方法及电子设备 |
| CN107277391A (zh) * | 2017-06-30 | 2017-10-20 | 北京奇虎科技有限公司 | 图像转换网络处理方法、服务器、计算设备及存储介质 |
| CN107464210A (zh) * | 2017-07-06 | 2017-12-12 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN108647560A (zh) * | 2018-03-22 | 2018-10-12 | 中山大学 | 一种基于cnn的保持表情信息的人脸转移方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHUAN LI等: "Combining Markov random fields and convolutional neural networks for image synthesis", 《IEEE COMPUTER SOCIETY》 * |
| 栗科峰: "《人脸图像处理与识别技术》", 31 August 2018, 黄河水利出版社 * |
| 蒋先刚: "《数字图像模式识别工程项目研究》", 31 March 2014, 西南交通大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434633A (zh) * | 2021-06-28 | 2021-09-24 | 平安科技（深圳）有限公司 | 基于头像的社交话题推荐方法、装置、设备及存储介质 |
| CN113434633B (zh) * | 2021-06-28 | 2022-09-16 | 平安科技（深圳）有限公司 | 基于头像的社交话题推荐方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN109271933A (zh) | 基于视频流进行三维人体姿态估计的方法 | |
| CN109615073A (zh) | 一种神经网络模型的构建方法、设备以及存储介质 | |
| CN110473141A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109087258A (zh) | 一种基于深度学习的图像去雨方法及装置 | |
| JP2013225192A (ja) | 報酬関数推定装置、報酬関数推定方法、およびプログラム | |
| CN113177470A (zh) | 行人轨迹预测方法、装置、设备及存储介质 | |
| CN109325516A (zh) | 一种面向图像分类的集成学习方法及装置 | |
| CN107871306A (zh) | 一种图片去噪的方法和装置 | |
| CN109766881A (zh) | 一种竖向文本图像的字符识别方法和装置 | |
| KR20190125029A (ko) | 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치 | |
| TW201841504A (zh) | 視訊壓縮感測重建方法及裝置 | |
| CN106951912A (zh) | 一种果蔬外观变化识别模型的建立方法和识别方法 | |
| CN114360018B (zh) | 三维人脸表情的渲染方法及装置、存储介质及电子装置 | |
| CN109670476A (zh) | 用户头像的生成方法及装置、电子设备、存储介质 | |
| CN110378883A (zh) | 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质 | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| JP2017059193A (ja) | 時系列画像補完装置、時系列画像生成方法、時系列画像補完装置用プログラム | |
| CN113822790B (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| CN109859537A (zh) | 一种织锦教学系统及方法、信息数据处理终端 | |
| WO2022127603A1 (zh) | 一种模型处理方法及相关装置 | |
| CN115941871A (zh) | 视频插帧方法、装置、计算机设备和存储介质 | |
| CN108898527A (zh) | 一种基于有损测量的生成模型的交通数据填充方法 | |
| CN113518229B (zh) | 环路滤波网络的训练方法、装置、计算机设备和存储介质 | |
| CN112016456B (zh) | 基于自适应反向投影深度学习的视频超分辨率方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190423 |
|
| RJ01 | Rejection of invention patent application after publication |