CN112927343B - 一种图像生成方法及装置 - Google Patents

一种图像生成方法及装置 Download PDF

Info

Publication number
CN112927343B
CN112927343B CN201911235192.3A CN201911235192A CN112927343B CN 112927343 B CN112927343 B CN 112927343B CN 201911235192 A CN201911235192 A CN 201911235192A CN 112927343 B CN112927343 B CN 112927343B
Authority
CN
China
Prior art keywords
image
dimensional model
sample
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911235192.3A
Other languages
English (en)
Other versions
CN112927343A (zh
Inventor
颜雪军
浦世亮
王春茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911235192.3A priority Critical patent/CN112927343B/zh
Publication of CN112927343A publication Critical patent/CN112927343A/zh
Application granted granted Critical
Publication of CN112927343B publication Critical patent/CN112927343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种图像生成方法及装置,上述方法包括:对包含目标对象部位的原始图像进行三维建模,获得目标对象的部位三维模型,并获得物件三维模型;获得部位三维模型中目标对象部位的大小和姿态;根据目标对象部位的大小和姿态,调整物件三维模型,使得调整后物件三维模型中物件的大小和姿态与目标对象部位的大小和姿态相匹配;以部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型,对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像。应用本发明实施例提供的方案,提高了生成图像的真实度。

Description

一种图像生成方法及装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像生成方法及装置。
背景技术
为了对包含人、动物等对象的图像进行美化,可以在图像中对象的部分对象部位处添加装饰性物件。例如,上述对象为人时,上述对象部位可以是人脸,这种情况下,可以在图像中人脸上眼睛处添加眼镜,还可以在图像中人脸上嘴巴处添加口罩;上述部位还可以是人的头部,在这种情况下,可以在图像中人的头部处添加帽子。
然而,当图像中对象具有姿态时。以上述对象为人为例,有些图像中人的姿态为:头部向上抬起90度,而有些图像中人的姿态为:头部向右转动90度等。对于人的姿态不同的图像,人脸这一对象部位上眼睛、鼻子、耳朵等在图像中可能无法完整显示,那么基于上述方式在图像中人脸上眼睛处添加眼镜时,难以准确确定人的眼睛、鼻子、耳朵在图像中的位置。从而导致生成的图像真实度较低。
发明内容
本发明实施例的目的在于提供一种图像生成方法及装置,以提高生成的图像的真实度。具体技术方案如下:
第一方面,本发明实施例提供了一种图像生成方法,所述方法包括:
对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型;
获得所述部位三维模型中所述目标对象部位的大小和姿态;
根据所述目标对象部位的大小和姿态,调整所述物件三维模型,使得调整后物件三维模型中所述物件的大小与所述目标对象部位的大小相匹配、且调整后物件三维模型中所述物件的姿态与所述目标对象部位的姿态一致;
以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型;
对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像。
本发明的一个实施例中,上述根据目标对象部位的大小,通过以下方式,调整所述物件三维模型:
获得所述物件三维模型中所述物件的大小;
根据所获得的物件的大小和目标对象部位的大小,计算模型缩放系数;
按照所述模型缩放系数,对所述物件三维模型进行缩放处理。
本发明的一个实施例中,上述以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型,包括:
确定所述部位三维模型中第三基准位置对应的基准方向;
将调整后物件三维模型中第四基准位置移动至所述基准方向上;
沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型。
本发明的一个实施例中,上述沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型,包括:
沿所述基准方向进行模型移动;
在模型移动过程中通过三维碰撞检测方式,检测所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置是否发生碰撞,获得碰撞检测结果;
根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,以使得调整后的所述第一基准位置与第二基准位置相贴合,得到叠加三维模型。
本发明的一个实施例中,上述根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,包括:
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置发生碰撞时,调整所述第一基准位置与所述第二基准位置;
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置未发生碰撞时,判断所述第一基准位置与所述第二基准位置是否指向同一位置;
若为否,调整所述第一基准位置与所述第二基准位置。
本发明的一个实施例中,上述方法还包括:
确定所述二维图像中所述物件所在的区域,作为物件区域;
基于所述二维图像相对于所述原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述物件区域位置相同的区域叠加至所述物件区域的方式,修正所述二维图像相对于所述原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
本发明的一个实施例中,在所述确定所述二维图像中所述物件所在的区域,作为物件区域之后,还包括:
获得针对所述物件区域的掩码图,其中,所述掩码图的大小与所述二维图像的大小相同;
所述基于所述二维图像相对于所述原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述物件区域位置相同的区域叠加至所述物件区域的方式,修正所述二维图像相对于所述原始图像发生的显示风格偏移,包括:
将所述二维图像和所述掩码图输入预先训练的第一生成对抗网络模型中的图像生成子网络模型,修正所述二维图像相对于所述原始图像发生的显示风格偏移。
本发明的一个实施例中,上述预先训练的第一生成对抗网络模型包括:所述第一图像生成子网络模型和第二图像判别子网络模型,所述第一图像生成子网络模型为:采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练得到的、用于修正所述第一样本二维图像相对于第一样本图像所发生的显示风格偏移、输出第一样本合成图像的模型;所述第一样本二维图像为:在所述第一样本图像中样本对象部位处添加样本物件得到的二维图像;所述第一样本掩码图为:针对所述第一样本二维图像中所述样本物件所在区域的掩码图;所述第一图像判别子网络模型为:采用所述第一样本合成图像和第一样本真实图像对第二原始模型进行训练得到的、用于判断所述第一样本合成图像是否为第一合成图像的模型;所述第一样本真实图像为:通过图像传感器拍摄的、且包含的目标对象与所述第一样本合成图像的目标对象一致的图像。
本发明的一个实施例中,上述第一原始模型通过以下方式修正第一样本二维图像相对于所述第一样本图像发生的显示风格偏移:
基于针对所述第一样本二维图像相对于所述第一样本原始图像所发生的显示风格偏移的预测结果,生成样本偏移图像;
将所述样本偏移图像与所述第一样本掩码图相乘,获得所述物件所在区域的区域偏移图像;
通过将所述区域偏移图像与所述第一样本二维图像叠加的方式,修正所述第一样本二维图像相对于所述第一样本图像发生的偏移,获得所述第一样本合成图像。
本发明的一个实施例中,上述第二原始模型通过以下方式判别所述第一样本合成图像是否为第一合成图像:
对比所述第一样本合成图像与所述第一样本真实图像,获得表征所述第一样本合成图像是否为第一合成图像的第一结果;
确定所述第一样本合成图像中物件所在的第一样本区域和非物件所在的第二样本区域;
根据所述第一样本区域的显示风格和所述第二样本区域的显示风格,判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果;
根据所述第一结果与所述第二结果,获得表示所述第一样本合成图像是否为合成图像的结果。
本发明的一个实施例中,上述判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果,包括:
在所述第一样本区域和第二样本区域采样大小相等的图像块;
判断所述第一样本区域中的第一图像块与所述第二样本区域中的第二图像块是否显示风格一致;
若为是,判定所述第一样本区域和第二样本区域的显示风格一致。
本发明的一个实施例中,上述对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型,包括:
对包含人脸的原始图像进行三维建模,获得人脸三维模型;
获得眼镜三维模型。
本发明的一个实施例中,上述根据所述目标对象部位的大小和姿态,调整所述物件三维模型,包括:
根据所述人脸三维模型中人脸的大小以及所述眼镜三维模型中眼镜的大小,计算所述眼镜三维模型的缩放系数;
按照所述缩放系数,对所述眼镜三维模型进行缩放处理;
根据所述人脸三维模型中人脸的姿态和所述眼镜三维模型中眼镜的姿态,对所述眼镜三维模型进行旋转处理。
本发明的一个实施例中,上述以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型,包括:
确定所述人脸三维模型中眼睛所在的视线方向;
将调整后眼镜三维模型中镜片中心移动至所述视线方向上;
沿所述视线方向进行模型移动,直至所述人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合;
对调整后眼镜三维模型中镜腿进行旋转,使得旋转后的眼镜三维模型中镜腿所在的位置与所述人脸三维模型中头皮所在的位置相贴合,获得人脸三维模型与眼镜三维模型贴合后的三维模型。
本发明的一个实施例中,上述对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像,包括:
对所述人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加眼镜的二维图像。
本发明的一个实施例中,上述方法还包括:确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域;
上述基于在人脸处添加眼镜的二维图像相对于包含人脸的原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述眼镜区域位置相同的区域叠加至所述眼镜区域的方式,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移。
本发明的一个实施例中,在所述确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域之后,还包括:
获得针对所述眼镜区域的掩码图,其中,所述掩码图的大小与所述在人脸处添加眼镜的二维图像的大小相同;
所述基于在人脸处添加眼镜的二维图像相对于包含人脸的原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述眼镜区域位置相同的区域叠加至所述眼镜区域的方式,修正所述在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移,包括:
将在人脸处添加眼镜的二维图像和所述掩码图,输入预先训练的第二生成对抗网络模型中的图像生成子网络模型,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移,获得修正后的在人脸处添加眼镜的二维图像。
本发明的一个实施例中,上述方法还包括:
按照以下方式中的至少一种方式对修正后的在人脸处添加眼镜的二维图像进行处理:
展示修正后的在人脸处添加眼镜的二维图像;
以修正后的在人脸处添加眼镜的二维图像为训练样本,训练人脸识别模型;
对修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
第二方面,本发明实施例提供了一种图像生成装置,所述装置包括:
三维模型获得模块,用于对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型;
大小和姿态获得模块,用于获得所述部位三维模型中所述目标对象部位的大小和姿态;
三维模型调整模块,用于根据所述目标对象部位的大小和姿态,调整所述物件三维模型,使得调整后物件三维模型中所述物件的大小与所述目标对象部位的大小相匹配、且调整后物件三维模型中所述物件的姿态与所述目标对象部位的姿态一致;
三维模型叠加模块,用于以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型;
第一二维图像获得模块,用于对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像。
本发明的一个实施例中,上述三维模型调整模块,包括:
第一大小调整子模块,用于获得所述物件三维模型中所述物件的大小;根据所获得的物件的大小和目标对象部位的大小,计算模型缩放系数;按照所述模型缩放系数,对所述物件三维模型进行缩放处理;
第一姿态调整子模块,用于根据所述目标对象部位的姿态,调整所述物件三维模型。
本发明的一个实施例中,上述三维模型叠加模块,包括:
基准方向确定子模块,用于确定所述部位三维模型中第三基准位置对应的基准方向;
位置移动子模块,用于将调整后物件三维模型中第四基准位置移动至所述基准方向上;
第一三维模型移动子模块,用于沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型。
本发明的一个实施例中,上述第一三维模型获得子模块,包括:
模型移动单元,用于沿所述基准方向进行模型移动;
检测结果获得单元,用于在模型移动过程中通过三维碰撞检测方式,检测所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置是否发生碰撞,获得碰撞检测结果;
模型获得单元,用于根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,以使得调整后的所述第一基准位置与第二基准位置相贴合,得到叠加三维模型。
本发明的一个实施例中,上述模型获得单元,具体用于:
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置发生碰撞时,调整所述第一基准位置与所述第二基准位置;
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置未发生碰撞时,判断所述第一基准位置与所述第二基准位置是否指向同一位置;
若为否,调整所述第一基准位置与所述第二基准位置。
本发明的一个实施例中,上述装置还包括:
物件区域确定模块,用于确定所述二维图像中所述物件所在的区域,作为物件区域;
图像修正模块,用于基于所述二维图像相对于所述原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述物件区域位置相同的区域叠加至所述物件区域的方式,修正所述二维图像相对于所述原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
本发明的一个实施例中,上述装置还包括:
掩码图获得模块,用于在所述物件区域确定模块确定所述二维图像中所述物件所在的区域,作为物件区域之后,获得针对所述物件区域的掩码图,其中,所述掩码图的大小与所述二维图像的大小相同;
所述图像修正模块,具体用于:
将所述二维图像和所述掩码图输入预先训练的第一生成对抗网络模型中的图像生成子网络模型,修正所述二维图像相对于所述原始图像发生的显示风格偏移。
本发明的一个实施例中,上述预先训练的第一生成对抗网络模型包括:所述第一图像生成子网络模型和第一图像判别子网络模型,所述第一图像生成子网络模型为:采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练得到的、用于修正所述第一样本二维图像相对于第一样本图像发生的显示风格偏移、输出第一样本合成图像的模型;所述第一样本二维图像为:在所述第一样本图像中样本对象部位处添加样本物件得到的二维图像;所述第一样本掩码图为:针对所述第一样本二维图像中所述样本物件所在区域的掩码图;所述第一图像判别子网络模型为:采用所述第一样本合成图像和第一样本真实图像对第二原始模型进行训练得到的、用于判断所述第一样本合成图像是否为第一合成图像的模型;所述第一样本真实图像为:通过图像传感器拍摄的、且包含的目标对象与所述第一样本合成图像的目标对象一致的图像。
本发明的一个实施例中,上述第一原始模型,具体用于:
基于所述第一样本二维图像相对于所述第一样本原始图像所发生的显示风格偏移的预测结果,生成样本偏移图像;
将所述样本偏移图像与所述第一样本掩码图相乘,获得所述物件所在区域的区域偏移图像;
通过将所述区域偏移图像与所述第一样本二维图像叠加的方式,修正所述第一样本二维图像相对于所述第一样本图像发生的偏移,获得所述第一样本合成图像。
本发明的一个实施例中,上述第二原始模型,具体用于:
对比所述第一样本合成图像与所述第一样本真实图像,获得表征所述第一样本合成图像是否为第一合成图像的第一结果;
确定所述第一样本合成图像中物件所在的第一样本区域和非物件所在的第二样本区域;
根据所述第一样本区域的显示风格和所述第二样本区域的显示风格,判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果;
根据所述第一结果与所述第二结果,获得表示所述第一样本合成图像是否为合成图像的结果。
本发明的一个实施例中,上述判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果,具体用于:
在所述第一样本区域和第二样本区域采样大小相等的图像块;
判断所述第一样本区域中的第一图像块与所述第二样本区域中的第二图像块是否显示风格一致;
若为是,判定所述第一样本区域和第二样本区域的显示风格一致。
本发明的一个实施例中,上述三维模型获得模块,包括:
人脸三维模型获得子模块,用于对包含人脸的原始图像进行三维建模,获得人脸三维模型;
眼镜三维模型获得子模块,用于获得眼镜三维模型。
本发明的一个实施例中,上述三维模型调整模块,包括:
第二大小调整子模块,用于根据所述人脸三维模型中人脸的大小以及所述眼镜三维模型中眼镜的大小,计算所述眼镜三维模型的缩放系数;按照所述缩放系数,对所述眼镜三维模型进行缩放处理;
第二姿态调整子模块,用于根据所述人脸三维模型中人脸的姿态和所述眼镜三维模型中眼镜的姿态,对所述眼镜三维模型进行旋转处理。
本发明的一个实施例中,上述三维模型叠加模块,包括:
视线方向确定子模块,用于确定所述人脸三维模型中眼睛所在的视线方向;
镜片中心移动子模块,用于将调整后眼镜三维模型中镜片中心移动至所述视线方向上;
第二三维模型移动子模块,用于沿所述视线方向进行模型移动,直至所述人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合;
三维模型获得子模块,用于对调整后眼镜三维模型中镜腿进行旋转,使得旋转后的眼镜三维模型中镜腿所在的位置与所述人脸三维模型中头皮所在的位置相贴合,获得人脸三维模型与眼镜三维模型贴合后的三维模型。
本发明的一个实施例中,上述二维图像获得模块,具体用于:
对所述人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加眼镜的二维图像。
本发明的一个实施例中,上述装置还包括:
眼镜区域确定模块,用于确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域;
第二二维图像获得模块,用于基于在人脸处添加眼镜的二维图像相对于包含人脸的原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述眼镜区域位置相同的区域叠加至所述眼镜区域的方式,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移。
本发明的一个实施例中,在所述眼镜区域确定模块之后,还包括:
掩码图获得模块,用于获得针对所述眼镜区域的掩码图,其中,所述掩码图的大小与所述在人脸处添加眼镜的二维图像的大小相同;
所述第二二维图像获得模块,具体用于:
将在人脸处添加眼镜的二维图像和所述掩码图,输入预先训练的第二生成对抗网络模型中的图像生成子网络模型,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移。
本发明的一个实施例中,上述装置还包括:
按照以下方式中的至少一种方式对修正后的在人脸处添加眼镜的二维图像进行处理:
展示修正后的在人脸处添加眼镜的二维图像;
以修正后的在人脸处添加眼镜的二维图像为训练样本,训练人脸识别模型;
对修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
第三方面,本发明实施例提供了一种终端设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
由以上可见,应用本发明实施例提供的方案生成图像时,通过部位三维模型中目标对象部位的大小和姿态,调整物件三维模型,使得调整后的物件三维模型中物件的大小和姿态与目标对象部位的大小和姿态相匹配,并以调整后物件三维模型的第二基准位置与部位三维模型中第一基准位置相贴合的方式,叠加部位三维模型和调整后物件三维模型,对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像。由于三维模型记录有位置信息、深度信息等多种信息,因此部位三维模型可以准确地确定目标对象部位的大小和姿态,进而能够准确调整物件三维模型,使得物件三维模型对应的物件与目标对象部位的大小和姿态相匹配。又由于现实空间也是三维空间,通过两个三维模型的预设基准位置相贴合的方式使得两个三维模型贴合,可以精确模拟现实空间中两个物体相贴合的过程。相较于现有技术,由于二维图像的信息有限,所以基于二维图像难以真实模拟现实空间中两个物体相贴合的过程。因此,应用本发明实施例提供的方案生成图像时,能够提高所生成图像的真实度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种图像生成方法的流程示意图;
图2为本发明实施例提供的一种人头三维模型的示意图;
图3为本发明实施例提供的一种眼镜三维模型的示意图;
图4为本发明实施例提供的第二种图像生成方法的流程示意图;
图5为本发明实施例提供的一种图像修正方法的流程示意图;
图6为本发明实施例提供的一种掩码图的示意图;
图7为本发明实施例中提供的第一种图像生成装置的结构示意图;
图8为本发明实施例中提供的第二种图像生成装置的结构示意图;
图9为本发明实施例提供的一种图像修正装置的结构示意图;
图10为本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1为本发明实施例提供的第一种图像生成方法的流程示意图,上述方法包括S101-S105。
S101:对包含目标对象部位的原始图像进行三维建模,获得目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型。
其中,上述目标对象部位可以理解为目标对象的一个或者多个部位。上述目标对象为原始图像中的一个对象。
上述目标对象可以是生物,也可以是非生物。具体的,生物可以包括人、动物、植物等,非生物可以包括房子、车辆、椅子等。当上述目标对象为人时,上述目标对象部位可以是人面部、人头、人四肢等。当上述目标对象为动物时,上述目标对象部位可以是动物面部、动物头、动物四肢等。当上述目标对象为房子时,上述目标对象部位可以是房子的窗户、房子的门等。
在一张原始图像中,可能包含多个对象,这种情况下,可以将上述多个对象中的一个对象作为目标对象。例如,在一张包含人、树、房子的原始图像中,可以将原始图像中的人作为目标对象,也可以将原始图像中的树作为目标对象,还可以将原始图像中的房子作为目标对象。
具体的,在对包含目标对象部位的原始图像进行三维建模时,可以采用现有技术中任意一种三维建模方法进行三维建模,例如:当目标对象部位为人面部时,上述三维建模方法可以是基于3DMM(3D Morphable Model,三维形变模型)的建模方法、基于PRNet(Position map Regression Network,位置映射回归网络)的建模方法等。
上述物件是与上述目标对象部位相关的。当上述目标对象部位是人面部或者动物面部时,上述物件可以为眼镜、口罩等装饰人面部或者动物面部的物件,当上述目标对象部位是房子的门时,上述物件可以为门帘、对联等装饰房子的门的物件。
上述物件三维模型可以是采用现有技术中任意一种三维建模方法对上述物件进行三维建模而获得的。上述物件三维模型还可以是从物件三维模型库中获得的。其中,上述物件三维模型库中存储有预先构建的各种物件的三维模型。
S102:获得部位三维模型中目标对象部位的大小和姿态。
本发明的一个实施例中,上述目标对象部位的大小和姿态可以通过部位三维模型中的位置信息、深度信息、区域信息等信息中的至少一种表征。
例如,当上述目标对象部位为人头部时,上述目标对象部位的大小可以用人头部所在区域的大小进行表征,上述目标对象部位的姿态可以包括头部向上抬起90度、向右转动90度等。
当上述目标对象部位为人手臂时,上述目标对象部位的大小可以用人手臂所在区域的大小进行表征,上述目标对象部位的姿态可以包括手臂向上抬起90度、向前抬起90度等。
当上述目标对象部位为房子的窗户时,上述目标对象部位的大小可以用窗户所在区域的大小进行表征,上述目标对象部位的姿态可以是窗户向前打开45度等。
参见图2,图2为本发明实施例提供的一种人头三维模型的示意图,在图2中各个灰色点为用于描述人头三维模型中的关键点。根据各个灰色点的位置信息、深度信息、角度信息等,可以获得人头部的大小和姿态。
S103:根据目标对象部位的大小和姿态,调整物件三维模型,使得调整后物件三维模型中物件的大小与目标对象部位的大小相匹配、且调整后物件三维模型中物件的姿态与目标对象部位的姿态一致。
本发明的一个实施例中,上述调整后物件三维模型中物件的大小与目标对象部位的大小相匹配可以理解为:物件三维模型的预设基准位置之间的间距与部位三维模型的预设基准位置之间的间距一致。
例如:当物件为儿童眼镜、目标对象部位为成人脸时,调整后物件三维模型的预设基准位置为两个镜片中心的位置,部位三维模型的预设基准位置为两只眼睛中心的位置,由于儿童眼镜的三维模型中两个镜片中心的间距较小,成人脸部上两只眼睛中心的间距较大,所以,可以认为上述两个三维模型的大小不匹配。对儿童眼镜三维模型进行调整,当儿童眼镜的三维模型的两个镜片中心的间距与成人脸部上两只眼睛中心的间距一致时,可以认为上述两个三维模型的大小相匹配。
当物件为儿童手镯、目标对象部位为成人手臂时,调整后物件三维模型的预设基准位置为儿童手镯上经过直径的两点,部位三维模型的预设基准位置为成人手腕上的左右水平两点,由于儿童手镯的三维模型中经过直径的两点的间距较小,成人手腕上左右水平两点的间距较大,所以,可以认为上述两个三维模型的大小不匹配。对儿童手镯三维模型进行调整,当儿童手镯的三维模型的经过直径的两点的间距与成人手腕上左右水平两点的间距一致时,可以认为上述两个三维模型的大小相匹配。
具体的,调整物件三维模型时,可以调整物件三维模型的位置信息、深度信息、旋转角度信息等参数信息。
具体的,调整物件三维模型时,可以以部位三维模型中用于反映目标对象部位的姿态信息作为对物件三维模型进行调整的目标姿态信息,从而对物件三维模型进行调整,这样调整后物件三维模型中物件的姿态与目标对象部位的姿态一致。
例如,当部位三维模型为人面部三维模型,物件三维模型为眼镜三维模型时,人面部三维模型中人面部的姿态信息为:向右旋转90度、且方向水平,将上述姿态信息作为对眼镜三维模型进行调整的目标姿态信息,并对眼镜三维模型进行调整,这样调整后的眼镜三维模型中眼镜的姿态为:向右旋转90度、且方向水平,可见调整后眼镜三维模型中眼镜的姿态与人面部的姿态一致。
S104:以部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型。
上述第二基准位置可以理解为:物件各个组成部分在物件三维模型中所在的位置。例如:参见图3,图3为本发明实施例提供的一种眼镜三维模型的示意图,由于眼镜由镜腿、鼻托、镜片和铰链组成,上述第二预设位置可以分别是镜腿、鼻托、镜片和铰链在眼镜三维模型中的位置。
具体的,在确定上述第二基准位置时,可以分为两种情况:当上述物件三维模型是从物件三维模型库中获得时,也就是,上述物件三维模型是预先构建的模型时,上述第二基准位置可以是事先标定的。当上述物件三维模型是在生成图像过程中采用现有技术中任意一种三维建模方法对上述物件进行三维建模而获得时,上述第二基准位置可以是根据三维建模后的物件三维模型确定的。
由于第二基准位置对应的物件的各个部分与目标对象部位的各个部分具有对应关系,上述第一基准位置可以理解为:目标对象部位中与物件各个部分具有对应关系的各个部分在部位三维模型中所在的位置。例如:当物件三维模型为眼镜三维模型,部位三维模型为人脸三维模型时,上述第二基准位置可以为眼镜中镜片、鼻托、镜腿在眼镜三维模型中的位置,由于眼镜上的镜片、鼻托、镜腿依次与人面部上眼睛、鼻子、耳朵具有对应关系,因此,人脸三维模型中第一基准位置分别为眼睛、鼻子、耳朵在人脸三维模型中的位置。具体的,上述第一基准位置可以是根据三维建模后的部位三维模型确定的。
具体的,上述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,可以是按照第一基准位置与第二基准位置之间的一一对应的关系,将上述第一基准位置与上述第二基准位置相贴合。
上述贴合可以理解为:上述第一基准位置与上述第二基准位置在同一个坐标系中指向同一个位置。具体的,可以采用多种方式实现两个位置之间的贴合,如,平移、旋转等。例如:当物件三维模型为眼镜三维模型、部位三维模型为人脸三维模型时,眼镜三维模型中第二基准位置可以为镜片、鼻托、镜腿、在眼镜三维模型中所在的位置,相对应的,人脸三维模型中第一基准位置为眼睛、鼻子、头皮在人脸三维模型中所在的位置,在贴合的过程中,可以按照人面部中视线所在的方向,移动眼镜三维模型,使得鼻托所在的位置与鼻子所在的位置位于同一坐标系、且指向同一位置;还可以对镜腿进行旋转,使得旋转后的镜腿上的各个第二基准位置与头皮上的各个第一基准位置均指向同一个位置。
沿用上面的例子,由于人脸三维模型中眼睛中心所在的位置与眼镜三维模型中镜片中心所在的位置之间具有对应的关系、人脸三维模型中鼻子所在的位置与眼镜三维模型中鼻托所在的位置之间具有对应的关系,人脸三维模型中靠近耳朵的头皮所在的位置与眼镜三维模型中镜腿所在的位置之间具有对应的关系,根据上述对应关系,可以将眼睛中心所在的位置与眼镜三维模型中镜片中心所在的位置进行贴合、鼻子所在的位置与鼻托所在的位置进行贴合,靠近耳朵的头皮所在的位置与镜腿所在的位置进行贴合。
具体获得叠加三维模型的方式可以参见图4对应的实施例,在此暂不详述。
S105:对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像。
具体的,可以采用现有技术中任意一种图像渲染技术,例如:Z-buffer(Z缓存)等技术,对叠加三维模型进行渲染。由于叠加三维模型是部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合后的三维模型,因此渲染后的二维图像为包含目标对象部位处添加有物件的图像。
由以上可见,应用本发明实施例提供的方案生成图像时,通过部位三维模型中目标对象部位的大小和姿态,调整物件三维模型,使得调整后的物件三维模型中物件的大小和姿态与目标对象部位的大小和姿态相匹配,并以调整后物件三维模型的第二基准位置与部位三维模型中第一基准位置相贴合的方式,叠加部位三维模型和调整后物件三维模型,对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像。由于三维模型记录有位置信息、深度信息等多种信息,因此部位三维模型可以准确地确定目标对象部位的大小和姿态,进而能够准确调整物件三维模型,使得物件三维模型对应的物件与目标对象部位的大小和姿态相匹配。又由于现实空间也是三维空间,通过两个三维模型的预设基准位置相贴合的方式使得两个三维模型贴合,可以精确模拟现实空间中两个物体相贴合的过程。相较于现有技术,由于二维图像的信息有限,所以基于二维图像难以真实模拟现实空间中两个物体相贴合的过程。因此,应用本发明实施例提供的方案生成图像时,能够提高所生成图像的真实度。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,在S101中对包含目标对象部位的原始图像进行三维建模,获得目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型,可以包括以下步骤A1-步骤A2。
步骤A1:对包含人脸的原始图像进行三维建模,获得人脸三维模型。
具体的,在对包含人脸的原始图像进行三维建模时,可以采用基于3DMM(3DMorphable Model,三维形变模型)的建模方法、基于PRNet(Position map RegressionNetwork,位置映射回归网络)的建模方法等人脸三维建模方式进行三维建模,获得人脸三维模型。
步骤A2:获得眼镜三维模型。
本发明的一个实施例中,上述眼镜三维模型可以采用现有技术中任意一种眼镜三维建模方式对眼镜进行三维建模而获得。
本发明的一个实施例中,上述眼镜三维模型还可以是从眼镜三维模型库中获得的,其中,上述眼镜三维模型库中存储有预先构建的各种眼镜的三维模型。
本发明的一个实施例中,上述S103中根据上述目标对象的大小,可以通过步骤B1-步骤B3,调整上述物件三维模型,使得调整后物件三维模型中物件的大小与目标对象部位的大小相匹配。
步骤B1:获得物件三维模型中物件的大小。
上述物件的大小可以用物件所在区域的大小进行表征。
具体的,在物件三维模型中,可以根据物件三维模型的参数信息,例如:位置信息、深度信息等,确定物件的大小。
步骤B2:根据所获得的物件的大小和目标对象部位的大小,计算模型缩放系数。
具体的,可以将目标对象部位的大小与物件的大小之间的比值作为模型缩放系数。
例如:当目标对象部位为人面部,物件为眼镜时,可以以人面部上两只眼睛的间距a表征人面部的眼睛的大小,以眼镜中两只镜片的中心间距b表征眼镜的大小,计算a/b的值,将计算的值作为上述模型缩放系数。
当目标对象部位为人手腕,物件为手镯时,可以以手腕的宽度c表征手腕的大小,以手镯的直径d表征手镯的大小,计算c/d的值,将计算的值作为上述模型缩放系数。
步骤B3:按照模型缩放系数,对物件三维模型进行缩放处理。
具体的,当模型缩放系数大于1时,对物件三维模型进行放大处理。如,当上述模型缩放系数为2时,将物件三维模型放大两倍,当上述模型缩放系数为3时,将物件三维模型放大三倍。当模型缩放系数小于1时,对物件三维模型进行缩小处理。如,当上述模型缩放系数为0.5时,将物件三维模型缩小一半。
这样,按照计算得到的模型缩放系数对物件三维模型进行缩放处理,能够使得经过缩放处理的物件三维模型中物件大小较为准确地与部位三维模型中部位大小匹配。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,在上述S103中根据目标对象部位的大小和姿态,还可以通过以下步骤C1-步骤C3,调整物件三维模型。
步骤C1:根据人脸三维模型中人脸的大小以及眼镜三维模型中眼镜的大小,计算眼镜三维模型的缩放系数。
具体的,可以根据人脸三维模型和眼镜三维模型中的参数信息,例如:位置信息、深度信息等参数信息分别确定人脸和眼镜的大小。例如:根据人脸三维模型中人脸所在区域的大小作为人脸的大小,将眼镜三维模型中眼镜所在区域的大小作为眼镜的大小。
上述缩放系数可以为人脸的大小与眼镜的大小之间的比值。例如:以人脸上两只眼睛的间距a表征人脸的眼睛的大小,以眼镜中两只镜片的中心间距b表征眼镜的大小,计算a/b的值,将计算的值作为上述模型缩放系数。
步骤C2:按照缩放系数,对眼镜三维模型进行缩放处理。
具体的,当模型缩放系数大于1时,对眼镜三维模型进行放大处理。如,当上述模型缩放系数为2时,将眼镜三维模型放大两倍,当上述模型缩放系数为3时,将眼镜三维模型放大三倍。当模型缩放系数小于1时,对眼镜三维模型进行缩小处理。如,当上述模型缩放系数为0.5时,将眼镜三维模型缩小一半。
步骤C3:根据人脸三维模型中人脸的姿态和眼镜三维模型中眼镜的姿态,对眼镜三维模型进行旋转处理。
具体的,可以根据人脸三维模型和眼镜三维模型中的参数信息,例如:位置信息、深度信息等参数信息分别确定人脸和眼镜的姿态。例如:根据人脸三维模型中人脸所在区域的各个像素点的位置信息、深度信息,确定人脸的姿态,根据眼镜三维模型中眼镜所在区域的各个像素点的位置信息、深度信息,确定眼镜的姿态。
在对眼镜三维模型进行旋转处理时,可以将人脸的姿态作为对眼镜三维模型进行旋转的目标姿态,从而对眼镜三维模型进行旋转处理,这样可以使得旋转处理后的物件三维模型中物件的姿态与人脸的姿态一致。
参见图4,图4为本发明实施例提供的第二种图像生成方法的流程示意图,上述S104中获得叠加三维模型可以按照S104A-S104C实现。
S104A:确定部位三维模型中第三基准位置对应的基准方向。
上述第三基准位置可以理解为:目标对象部位的某个部分在部位三维模型中所在的位置,这一基准位置是与目标对象部位相关的。例如:上述第三基准位置可以为人面部中眼睛在人脸三维模型中所在的位置,还可以为人面部中鼻子在人脸三维模型中所在的位置,还可以为人面部中嘴巴在人脸三维模型中所在的位置。
由于第三基准位置对应的目标对象部位的某个部分,上述第三基准位置对应的基准方向可以理解为:该部分在目标对象部位上的朝向方向。例如:上述第三基准位置可以为眼睛在人脸三维模型所在的位置,那么,上述第三基准位置对应的部分为人面部的眼睛,因此上述第三基准位置对应的基准方向为人面部的眼睛朝向方向,也就是视线方向;上述第三基准位置还可以为手腕在手臂三维模型中所在的位置,那么,上述第三基准位置对应的部分为手臂上的手腕,因此上述第三基准位置对应的基准方向为手臂上手腕的朝向方向,也就是手腕指向方向。
S104B:将调整后物件三维模型中第四基准位置移动至基准方向上。
由于第三基准位置对应的目标对象部位的某个部分,该部分与物件的具体部分具有对应关系,上述第四位置可以理解为:物件中与目标对象部位某个部分具有对应关系的具体部分在物件三维模型中所在的位置。例如:当物件三维模型为眼镜三维模型,部位三维模型为人脸三维模型时,上述第三基准位置可以为人面部中眼睛在人脸三维模型中的位置,由于人面部上眼睛与眼镜上镜片具有对应关系,因此,眼镜三维模型中第四基准位置为镜片在眼镜三维模型中的位置。
将调整后物件三维模型中第四基准位置移动至上述第三基准位置对应的基准方向上,具体的,可以使得上述第四基准位置与第三极准位置位于同一坐标系,这样能够使得调整后物件三维模型能够位于上述基准方向上。
S104C:沿基准方向进行模型移动,直至部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型。
具体的,上述沿基准方向进行模型移动可以有多种情况,例如:可以是固定部位三维模型,沿着基准方向,移动调整后物件三维模型,还可以是固定调整后物件三维模型,沿着基准方向,移动部位三维模型,还可以是沿着基准方向,同时移动调整后物件三维模型和部位三维模型。
可以在模型移动的过程中,判断上述第一基准位置与第二基准位置是否指向同一坐标系下的同一位置,若指向的是同一位置,则表明部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合。
这样,通过确定部位三维模型中第三基准位置对应的基准方向,沿着基准方向进行模型移动,获得叠加的三维模型,能够提高三维模型之间叠加的精准度。
本发明的一个实施例中,在S104C中可以通过以下步骤D1-步骤D3得到上述叠加三维模型,包括:
步骤D1:沿基准方向进行模型移动。
具体的,可以参见步骤S104C中描述的模型移动方式。
步骤D2:在模型移动过程中通过三维碰撞检测方式,检测部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置是否发生碰撞,获得碰撞检测结果。
步骤D3:根据碰撞检测结果,调整第一基准位置与第二基准位置,以使得调整后的第一基准位置与第二基准位置相贴合,得到叠加三维模型。
本发明的一个实施例中,当碰撞检测结果表示部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置发生碰撞时,调整第一基准位置与第二基准位置。
具体的,若上述沿基准方向进行模型移动时是固定部位三维模型,沿着基准方向,移动调整后物件三维模型,那么将物件三维模型沿着之前移动方向的反方向进行移动,使得移动后的第二基准位置与第一基准位置相贴合;若上述沿基准方向进行模型移动时是固定调整后物件三维模型,沿着基准方向,移动部位三维模型,那么将部位三维模型沿着之前移动方向的反方向进行移动,使得移动后的第一基准位置与第二基准位置相贴合;若上述沿基准方向进行模型移动时是沿着基准方向,同时移动调整后物件三维模型和部位三维模型,那么将物件三维模型和部位三维模型同时沿着之前移动方向的反方向进行移动。
本发明的一个实施例中,当碰撞检测结果表示部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置未发生碰撞时,判断第一基准位置与第二基准位置是否指向同一位置,若为是,表明第一基准位置与第二基准位置相贴合,若为否,则调整第一基准位置与第二基准位置。具体的,可以继续沿着基准方向进行模型移动,直至检测到上述第一基准位置与第二基准位置指向同一位置,。
这样,通过三维碰撞检测的方式判断第一基准位置与第二基准位置是否发生碰撞,从而能够提高两个三维模型贴合的精确度。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,在上述S104中以部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,可以通过以下步骤E1-步骤E4对部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型,
步骤E1:确定人脸三维模型中眼睛所在的视线方向。
在确定人脸三维模型中眼睛所在的视线方向时,可以首先确定人脸三维模型中眼镜所在的位置,将所确定的位置的朝向方向确定为眼镜所在的视线方向。
步骤E2:将调整后眼镜三维模型中镜片中心移动至视线方向上。
具体的,将调整后眼镜三维模型中镜片中心移动至视线方向上可以是将调整后眼镜三维模型中镜片中心的位置移动至人脸三维模型中眼睛的位置上,还可以是先确定沿着视线方向上任一位置,将调整后眼镜三维模型中镜片中心的位置移动至所确定的位置上。
步骤E3:沿视线方向进行模型移动,直至人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合。
具体的,上述沿视线方向进行模型移动可以有多种情况,例如:可以是固定人脸三维模型,沿着基准方向,移动调整后的眼镜三维模型。还可以是固定调整后的眼镜三维模型,沿着基准方向,移动人脸三维模型。还可以是沿着基准方向,同时移动调整后的眼镜三维模型和人脸三维模型。
可以在模型移动的过程中,判断人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置是否指向同一位置,若指向的是同一位置,则表明人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合。
步骤E4:对调整后眼镜三维模型中镜腿进行旋转,使得旋转后的眼镜三维模型中镜腿所在的位置与人脸三维模型中头皮所在的位置相贴合,获得人脸三维模型与眼镜三维模型贴合后的三维模型。
具体的,在对调整后眼镜三维模型中镜腿进行旋转时,可以以镜腿与镜框之间的交点作为旋转中心,对镜腿进行旋转。在旋转镜腿的过程中,确定镜腿所在的位置,当所确定的镜腿的位置与人脸三维模型中头皮所在的位置指向同一位置时,表明人脸三维模型中头皮所在的位置与眼镜三维模型中镜腿所在的位置相贴合。
这样,通过确定人脸三维模型中眼睛的视线方向,沿着视线方向进行模型移动,获得叠加的三维模型,能够提高三维模型之间叠加的精准度。
在S105中对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像,由于叠加三维模型仅仅是将两个三维模型进行贴合,然而物件三维模型和部位三维模型的来源不同,根据叠加三维模型渲染得到的二维图像可能会存在风格不统一的情况。为了使得渲染得到的二维图像更加真实,可以采用图5对应的实施例对二维图像的风格进行修正。
参见图5,图5为本发明实施例提供的一种图像修正方法的流程示意图,包括S501-S502。
S501:确定二维图像中物件所在的区域,作为物件区域。
上述二维图像为S105中渲染后得到的二维图像。
具体的,可以根据S104中获得的叠加三维模型中物件三维模型和部位三维模型的深度信息,确定物件在二维图像中的可见区域,也就是二维图像中物件所在的区域。
还可以对二维图像进行物件检测,确定二维图像中物件所在的区域。
S502:基于二维图像相对于原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将偏移图像中与物件区域位置相同的区域叠加至物件区域的方式,修正二维图像相对于原始图像发生的显示风格偏移。
本发明的一个实施例中,图像的显示风格可以理解为:图像中显示目标对象的显示方式。例如:两种图像均包含目标对象猫,其中,一张图像中猫的显示方式为卡通方式,另一张图像中猫的显示方式为油画方式,那么前者图像的显示风格为卡通风格,后者图像的显示风格为油画风格。
具体的,图像的显示风格可以用对比度、亮度、噪声水平、饱和度等参数来描述,也可以用非参数化的向量来描述。
上述原始图像为上述S101中包含目标对象部位的原始图像。
由于二维图像相对于原始图像添加了物件,物件所在区域的显示风格可能会与原始图像的显示风格差异较大,因此上述二维图像相对于原始图像发生了显示风格偏移。
这样修正了二维图像相对于原始图像发生的显示风格偏移后,能够提高修正后的二维图像的真实度。
本发明的一个实施例中,可以统计二维图像中与物件所在区域相邻的非物件所在区域的第一显示风格信息和物件所在区域的第二显示风格信息,根据上述第一显示风格信息和第二显示风格信息,基于二维图像相对于原始图像所发生的显示风格偏移的预测结果,生成偏移图像。
例如,根据第一显示风格信息与第二显示风格信息之间的差值,生成上述偏移图像。
本发明的一个实施例中,在确定二维图像中物件所在的区域,作为物件区域后,可以获得针对物件区域的掩码图。图6为本发明实施例提供的一种掩码图的示意图,图6中白色区域为物件所在区域,黑色区域为非物件所在区域。
上述掩码图的大小与上述二维图像的大小相同。
这样,用物件区域的掩码图能够更加清楚表示二维图像中物件所在的区域,
基于此,在获得针对物件区域的掩码图后,上述S502中基于二维图像相对于原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将偏移图像中与物件区域位置相同的区域叠加至物件区域的方式,可以通过以下方式进行修正二维图像相对于原始图像发生的显示风格偏移:
将二维图像和掩码图输入预先训练的第一生成对抗网络模型中的图像生成子网络模型,修正二维图像相对于原始图像发生的显示风格偏移。
本发明的一个实施例中,上述预先训练的第一生成对抗网络模型包括:第一图像生成子网络模型和第一图像判别子网络模型,
上述图像生成子网络模型为:采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练得到的、用于修正第一样本二维图像相对于第一样本图像所发生的显示风格偏移、输出第一样本合成图像的模型。
上述样本二维图像为:在第一样本图像中样本对象部位处添加样本物件得到的二维图像。
上述第一样本掩码图为:针对上述第一样本二维图像中样本物件所在区域的掩码图。
上述第一图像判别子网络模型为:采用第一样本合成图像和第一样本真实图像对第二原始模型进行训练得到的、用于判断上述第一样本合成图像是否为第一合成图像的模型。
上述第一样本合成图像为上述第一图像生成子网络模型输出的图像,上述第一样本真实图像为:通过图像传感器拍摄的、且包含的目标对象与上述第一样本合成图像的目标对象一致的图像。
具体的,在对上述第一生成对抗网络模型进行训练时,上述第一图像生成子网络模型和上述第一图像判别子网络模型这两个子网络模型可以交替训练。
在训练第一图像生成子网络模型参数时,固定第一图像判别子网络模型,采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练,修正上述第一样本二维图像相对于第一样本图像发生的风格偏移,并输出第一样本合成图像,将上述第一样本合成图像输入至第一图像判别子网络模型中,根据第一图像判别子网络模型的判别结果调整第一图像生成子网络模型的模型参数;在训练第一图像判别子网络模型参数时,固定第一图像生成子网络模型,采用第一样本合成图像和第一样本真实图像对第二原始模型进行训练,对第一样本合成图像和第一样本真实图像进行判别,并根据判别结果调整第一图像判别子网络的模型参数。
训练第一图像生成子网络模型的目标是使得第一图像生成子网络模型生成的图像更加真实,能误导第一图像判别子网络模型的判断;训练第一图像判别子网络模型的目标是提升第一图像判别子网络模型的判断能力,能更好的区分第一样本合成图像和第一样本真实图像。
训练过程中,通过生成子网络和判别子网络的交替训练与相互博弈,最终使得第一图像判别子网络模型对第一样本合成图像的判断能力越来越强、且第一图像生成子网络模型生成的第一样本合成图像越来越接近第一样本真实图像。
这样,由于预先训练的第一生成对抗网络模型中的第一图像生成子网络模型采用大量第一样本二维图像进行训练得到,训练过程中,上述第一图像生成子网络模型可以学习到第一样本二维图像相对于第一样本图像所发生的显示风格偏移,根据学习到的显示风格偏移生成偏移图像,能够准确预测二维图像相对于原始图像发生的显示风格偏移。另外,由于学习的是第一样本二维图像相对于第一样本图像所发生的显示风格偏移,也就是第一样本二维图像中添加的物件所在区域发生的显示风格偏移,由于图像的显示风格为目标对象的显示方式,因此,在学习显示风格偏移时不需要对图像包含的目标对象进行学习,降低了学习难度。
本发明的一个实施例中,上述第一原始模型可以通过步骤F1-步骤F3修正样本二维图像相对于原始图像发生的风格偏移。
步骤F1:基于第一样本二维图像相对于第一样本原始图像所发生的显示风格偏移的预测结果,生成样本偏移图像。
步骤F2:将样本偏移图像与第一样本掩码图相乘,获得物件所在区域的偏移图像。
具体的,掩码图一般为二值图,也就是,掩码图中像素点的像素值一类为“0”,一类为“1”。一种情况下,掩码图中所针对的对象所在的区域中像素点的像素值为“1”,而其他区域中像素点的像素值为“0”。
鉴于此,样本掩码图中像素点的像素值为“0”或“1”,具体的,物件所在的区域内像素点的像素值为“1”,也就是物件所在区域为白色区域,而非物件所在的区域内像素点的像素值为“0”,也就是非物件所在区域为黑色区域。这样,当样本偏移图像与样本掩码图相乘后,上述偏移图像中保留了样本偏移图像中物件所在区域的信息,而上述偏移图像中与非物件所在区域相对应的区域内像素值均为0。
步骤F3:将掩码图的偏移图像与第一样本二维图像叠加,修正第一样本二维图像相对于第一样本图像发生的偏移,获得第一样本合成图像。
由于上述偏移图像中只保留了样本偏移图像中物件所在区域的信息,因此,与第一样本二维图像叠加后,在第一样本二维图像中物件所在区域叠加上第一样本偏移图像中物件所在区域的信息,进而修正了第一样本二维图像物件所在区域相对于第一样本图像发生的风格偏移。由于本步骤中所得到的图像是两张图像相叠加而生成的图像,所以属于合成图像,基于此,将本步骤得到的图像称为第一样本合成图像。
这样,由于第一样本掩码图表示第一样本图像中物件所在的区域,因此对样本掩码图、样本偏移图像与第一样本二维图像进行相乘、叠加处理,能够更加准确修正第一样本二维图像中物件所在区域相对于第一样本图像发生的风格偏移。
本发明的一个实施例中,上述第二原始模型可以通过步骤G1-步骤G3判别样本合成图像是否为合成图像。
G1:对比第一样本合成图像与第一样本真实图像,获得表征第一样本合成图像是否为第一合成图像的第一结果。
具体的,可以预设第一样本合成图像为第一样本真实图像的第一结果为1,第一样本合成图像为第一合成图像的第一结果为0。若第一结果为0,表征第一样本合成图像为合成图像,若第一结果为1,表征第一样本合成图像为真实图像。
G2:确定第一样本合成图像中物件所在的第一样本区域和非物件所在的第二样本区域。
本发明的一个实施例中,可以将上述第一样本掩码图与上述第一样本合成图像进行叠加,从而确定出上述第一样本合成图像中物件所在的区域,也就是上述第一区域。然后将上述第一样本合成图像中除第一区域以外的区域作为非物件所在区域,也就是上述第二区域。
本发明的另一个实施例中,还可以对上述第一样本合成图像进行物件识别,从而确定上述第一样本合成图像中物件所在区域,然后将上述第一样本合成图像中物件所在区域之外的区域确定为非物件所在区域。
G3:根据第一样本区域的显示风格和第二样本区域的显示风格,判断第一样本区域和第二样本区域是否显示风格一致,获得第二结果。
具体的,可以预设第一样本区域的风格与第二样本区域的显示风格一致的第二结果为1,第一样本区域的显示风格与第二样本区域的显示风格不一致的第二结果为0。若第二结果为0,表征第一样本区域的显示风格与第二样本区域的显示风格不一致,若第二结果为1,表征第一样本区域的显示风格与第二样本区域的显示风格一致。
本发明的一个实施例中,还可以在第一样本区域和第二样本区域采样大小相等的图像块;判断上述第一样本区域中的第一图像块与上述第二样本区域中的第二图像块是否显示风格一致,若为是,判定第一样本区域和第二样本区域的显示风格一致。
具体的,上述采样方式可以包括:均匀采样,随机采样。均匀采样为:分别对第一样本区域和第二样本区域进行等间距划分,所划分的两个区域中的图像块的大小相等。随机采样为:分别在第一样本区域和第二样本区域内随机选择多个点,以每个点为中心,分别确定两个区域中大小相等的图像块。
上述第一图像块与上述第二图像块可以是在样本二维图像中距离小于预设距离的图像块或者相邻的两个图像块。
上述第一图像块可以是第一样本区域中的一个或者多个图像块。
上述第二图像块可以是第二样本区域中的一个或者多个图像块。
G4:根据第一结果与第二结果,获得表示样本合成图像是否为合成图像的结果。
本发明的一个实施中,生成子网络的生成结果既需要满足第一结果的判断和第二结果的判断。第一结果从图像整体风格的角度对合成图像进行监督,第二结果从图像局部细节风格的角度对合成图像进行监督。通过对整体显示风格和细节显示风格的监督,来实现更好真实度的图像合成。
这样,根据第一结果从整体图像的角度对样本合成图像进行了判断,根据第二结果从图像局部的角度对样本合成图像进行判断,有助于根据二者判断结果对图像生成子网络模型的参数进行更加全面地调整。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,上述S105中可以通过以下方式对所述叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像,可以包括:
对人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加眼镜的二维图像。
具体的,可以采用现有技术中任意一种图像渲染技术,例如:Z-buffer(Z缓存)等技术,对人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加有眼镜的二维图像。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,在上述S105之后,还可以包括以下步骤H1-步骤H2。
步骤H1:确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域。
具体的,可以根据所获得的人脸三维模型和眼镜三维模型相贴合的三维模型中眼镜三维模型和人脸三维模型的深度信息,确定眼镜在包含人脸处添加眼镜的二维图像中的可见区域,也就是上述二维图像中眼镜所在的区域。
还可以对上述二维图像进行眼镜检测,确定上述二维图像中眼镜所在的区域。
步骤H2:基于在人脸处添加眼镜的二维图像相对于包含人脸的原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将偏移图像中与眼镜区域位置相同的区域叠加至眼镜区域的方式,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移,获得修正后的在人脸处添加眼镜的二维图像。
本发明的一个实施例中,可以统计上述在人脸处添加眼镜的二维图像中与眼镜所在区域相邻的非眼镜所在区域的第三显示风格信息和眼镜所在区域的第四显示风格信息,根据上述第三显示风格信息和第四显示风格信息,基于在人脸处添加眼镜的二维图像相对于原始图像所发生的显示风格偏移的预测结果,生成偏移图像。
例如,可以根据第三显示风格信息与第四显示风格信息之间的差值,生成上述偏移图像。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,在上述步骤H1确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域之后,还可以获得针对眼镜区域的掩码图。
其中,掩码图的大小与在人脸处添加眼镜的二维图像的大小相同。
鉴于此,在上述获得针对眼镜区域的掩码图后,上述H2中基于在人脸处添加眼镜的二维图像相对于包含人脸的原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将偏移图像中与眼镜区域位置相同的区域叠加至眼镜区域的方式,可以通过以下方式修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移,获得修正后的在人脸处添加眼镜的二维图像。
将人脸处添加眼镜的二维图像和掩码图,输入预先训练的第二生成对抗网络模型中的图像生成子网络模型,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移,获得修正后的人脸处添加眼镜的二维图像。
本发明的一个实施例中,上述预先训练的第二生成对抗网络模型包括:第二图像生成子网络模型和第二图像判别子网络模型。
上述第二图像生成子网络模型为:采用第二样本二维图像和第二样本掩码图对第三原始模型进行训练得到的、用于修正第二样本二维图像相对于第二样本图像发生的显示风格偏移、输出第二样本合成图像的模型。
上述第二样本二维图像为:在第二样本图像中人脸处添加眼镜得到的二维图像。
上述第二样本掩码图为:针对第二样本二维图像中眼镜所在区域的掩码图。
上述第二图像判别子网络模型为:采用第二样本合成图像和第二样本真实图像对第四原始模型进行训练得到的、用于判断上述第二样本合成图像是否为第二合成图像的模型。
上述第二样本真实图像为:通过图像传感器拍摄的、且包含的人脸处添加眼镜与第二样本合成图像中的人脸处添加眼镜一致的图像。
本发明的一个实施例中,当目标对象部位为人脸、物件为眼镜时,在获得修正后的在人脸处添加眼镜的二维图像后,可以按照以下方式中的至少一种方式对上述二维图像进行处理。
第一种方式:展示修正后的在人脸处添加眼镜的二维图像。
具体的,可以在用户使用的电子设备上展示修正后的在人脸处添加眼镜的二维图像。
第二种方式:以修正后的在人脸处添加眼镜的二维图像为训练样本,训练人脸识别模型。
在对人脸识别模型进行训练时,当训练样本为包含人脸处添加眼镜的二维图像时,由于需要获得大量训练样本,若通过图像传感器获得上述二维图像的效率较低,因此,采用本实施例提供的方案进行图像生成时,将生成的图像作为训练样本能够大大提高图像获得的效率。
上述人脸识别模型为:以包含人脸处添加眼镜的样本二维图像为模型输入、且以样本二维图像中的人脸对应的身份为训练监督信息,对预设的神经网络模型训练得到的、且用于识别包含在人脸处添加眼镜的图像的模型。
第三种方式:对修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
具体的,可以采用人脸识别模型对上述修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
还可以对修正后的在人脸处添加眼镜的二维图像中的人脸进行检测,将检测后的人脸与预设人脸进行匹配,根据匹配结果确定上述二维图像中人脸的身份。
需要说明的是,本实施例是以对修正后的在人脸处添加眼镜的二维图像进行处理的方式为例。而对修正后的在人脸处添加眼镜的二维图像进行处理的方式不限于以上几种方式。
与上述图像生成方法相对应,本发明实施例还提供了一种图像生成装置。
参见图7,图7为本发明实施例提供的一种图像生成装置的结构示意图,上述装置包括:
三维模型获得模块701,用于对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型。
大小和姿态获得模块702,用于获得所述部位三维模型中所述目标对象部位的大小和姿态。
三维模型调整模块703,用于根据所述目标对象部位的大小和姿态,调整所述物件三维模型,使得调整后物件三维模型中所述物件的大小与所述目标对象部位的大小相匹配、且调整后物件三维模型中所述物件的姿态与所述目标对象部位的姿态一致。
三维模型叠加模块704,用于以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型。
第一二维图像获得模块705,用于对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像。
由以上可见,应用本发明实施例提供的方案生成图像时,通过部位三维模型中目标对象部位的大小和姿态,调整物件三维模型,使得调整后的物件三维模型中物件的大小和姿态与目标对象部位的大小和姿态相匹配,并以调整后物件三维模型的第二基准位置与部位三维模型中第一基准位置相贴合的方式,叠加部位三维模型和调整后物件三维模型,对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像。由于三维模型记录有位置信息、深度信息等多种信息,因此部位三维模型可以准确地确定目标对象部位的大小和姿态,进而能够准确调整物件三维模型,使得物件三维模型对应的物件与目标对象部位的大小和姿态相匹配。又由于现实空间也是三维空间,通过两个三维模型的预设基准位置相贴合的方式使得两个三维模型贴合,可以精确模拟现实空间中两个物体相贴合的过程。相较于现有技术,由于二维图像的信息有限,所以基于二维图像难以真实模拟现实空间中两个物体相贴合的过程。因此,应用本发明实施例提供的方案生成图像时,能够提高所生成图像的真实度。
本发明的一个实施例中,在上述三维模型调整模块703中,包括:
第一大小调整子模块,用于获得所述物件三维模型中所述物件的大小;根据所获得的物件的大小和目标对象部位的大小,计算模型缩放系数;按照所述模型缩放系数,对所述物件三维模型进行缩放处理;
第一姿态调整子模块,用于根据所述目标对象部位的姿态,调整所述物件三维模型。
这样,按照计算得到的模型缩放系数对物件三维模型进行缩放处理,能够使得经过缩放处理的物件三维模型中物件大小较为准确得与部位三维模型反应的部位大小匹配。
参见图8,图8为本发明的一个实施例中提供的第二种图像生成装置的结构示意图,上述三维模型叠加模块704,包括:
基准方向确定子模块704A,用于确定所述部位三维模型中第三基准位置对应的基准方向;
位置移动子模块704B,用于将调整后物件三维模型中第四基准位置移动至所述基准方向上;
第一三维模型获得子模块704C,用于沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型。
这样,通过确定部位三维模型中第三基准位置对应的基准方向,沿着基准方向进行模型移动进行三维模型的叠加,能够提高获得叠加三维模型的效率。
本发明的一个实施例中,上述第一三维模型获得子模块704C,包括:
模型移动单元,用于沿所述基准方向进行模型移动;
检测结果获得单元,用于在模型移动过程中通过三维碰撞检测方式,检测所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置是否发生碰撞,获得碰撞检测结果;
模型获得单元,用于根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,以使得调整后的所述第一基准位置与第二基准位置相贴合,得到叠加三维模型。
这样,通过三维碰撞检测的方式判断第一基准位置与第二基准位置是否发生碰撞,从而能够确定叠加三维模型,能够提高获得叠加三维模型的精确度。
本发明的一个实施例中,上述模型获得单元,具体用于:
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置发生碰撞时,调整所述第一基准位置与所述第二基准位置;
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置未发生碰撞时,判断所述第一基准位置与所述第二基准位置是否指向同一位置;
若为否,调整所述第一基准位置与所述第二基准位置。
参见图9,图9为本发明实施例提供的一种图像修正装置的示意图。上述装置还包括:
物件区域确定模块901,用于确定所述二维图像中所述物件所在的区域,作为物件区域。
图像修正模块902,用于基于所述二维图像相对于所述原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述物件区域位置相同的区域叠加至所述物件区域的方式,修正所述二维图像相对于所述原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
这样,由于修正二维图像相对于原始图像发生的显示风格偏移,能够提高修正后的二维图像的真实度。
本发明的一个实施例中,上述装置还包括:
掩码图获得模块,用于在所述物件区域确定模块确定所述二维图像中所述物件所在的区域,作为物件区域之后,获得针对所述物件区域的掩码图,其中,所述掩码图的大小与所述二维图像的大小相同;
所述图像修正模块902,具体用于:将所述二维图像和所述掩码图输入预先训练的第一生成对抗网络模型中的图像生成子网络模型,修正所述二维图像相对于所述原始图像发生的显示风格偏移。
本发明的一个实施例中,上述预先训练的第一生成对抗网络模型包括:所述第一图像生成子网络模型和第一图像判别子网络模型,所述第一图像生成子网络模型为:采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练得到的、用于修正所述第一样本二维图像相对于第一样本图像发生的显示风格偏移、输出第一样本合成图像的模型;所述第一样本二维图像为:在所述第一样本图像中样本对象部位处添加样本物件得到的二维图像;所述第一样本掩码图为:针对所述第一样本二维图像中所述样本物件所在区域的掩码图;所述第一图像判别子网络模型为:采用所述第一样本合成图像和第一样本真实图像对第二原始模型进行训练得到的、用于判断所述第一样本合成图像是否为第一合成图像的模型;所述第一样本真实图像为:通过图像传感器拍摄的、且包含的目标对象与所述第一样本合成图像的目标对象一致的图像。
这样,通过预先训练的生成对抗网络模型中的图像生成子网络模型,能够更加准确修正二维图像相对于原始图像发生的风格偏移。
本发明的一个实施例中,上述第一原始模型,具体用于:
基于所述第一样本二维图像相对于所述第一样本原始图像所发生的显示风格偏移的预测结果,生成样本偏移图像;
将所述样本偏移图像与所述第一样本掩码图相乘,获得所述物件所在区域的区域偏移图像;
通过将所述区域偏移图像与所述第一样本二维图像叠加的方式,修正所述第一样本二维图像相对于所述第一样本图像发生的偏移,获得所述第一样本合成图像。
这样,由于样本掩码图表示样本图像中物件所在的区域,因此对样本掩码图、样本偏移图像与样本二维图像进行相乘、叠加处理,能够更加准确修正样本二维图像中物件所在区域相对于样本图像发生的风格偏移。
本发明的一个实施例中,上述第二原始模型,具体用于:
对比所述第一样本合成图像与所述第一样本真实图像,获得表征所述第一样本合成图像是否为第一合成图像的第一结果;
确定所述第一样本合成图像中物件所在的第一样本区域和非物件所在的第二样本区域;
根据所述第一样本区域的显示风格和所述第二样本区域的显示风格,判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果;
根据所述第一结果与所述第二结果,获得表示所述第一样本合成图像是否为合成图像的结果。
这样,根据第一结果从整体图像的角度对样本合成图像进行了判断,根据第二结果从图像局部的角度对样本合成图像进行判断,有助于根据二者判断结果对图像生成子网络模型的参数进行更加全面地调整。
本发明的一个实施例中,上述判断所述第一样本区域和第二样本区域是否风格一致,获得第二结果,具体用于:
在所述第一样本区域和第二样本区域采样大小相等的图像块;
判断所述第一样本区域中的第一图像块与所述第二样本区域中的第二图像块是否显示风格一致;
若为是,判定所述第一样本区域和第二样本区域的显示风格一致。
本发明的一个实施例中,上述三维模型获得模块701,包括:
人脸三维模型获得子模块,用于对包含人脸的原始图像进行三维建模,获得人脸三维模型;
眼镜三维模型获得子模块,用于获得眼镜三维模型。
本发明的一个实施例中,上述三维模型调整模块703,包括:
第二大小调整子模块,用于根据所述人脸三维模型中人脸的大小以及所述眼镜三维模型中眼镜的大小,计算所述眼镜三维模型的缩放系数;按照所述缩放系数,对所述眼镜三维模型进行缩放处理;
第二姿态调整子模块,用于根据所述人脸三维模型中人脸的姿态和所述眼镜三维模型中眼镜的姿态,对所述眼镜三维模型进行旋转处理。
本发明的一个实施例中,上述三维模型叠加模块70X,包括:
视线方向确定子模块,用于确定所述人脸三维模型中眼睛所在的视线方向;
镜片中心移动子模块,用于将调整后眼镜三维模型中镜片中心移动至所述视线方向上;
第二三维模型移动子模块,用于沿所述视线方向进行模型移动,直至所述人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合;
三维模型获得子模块,用于对调整后眼镜三维模型中镜腿进行旋转,使得旋转后的眼镜三维模型中镜腿所在的位置与所述人脸三维模型中头皮所在的位置相贴合,获得人脸三维模型与眼镜三维模型贴合后的三维模型。
本发明的一个实施例中,上述二维图像获得模块,具体用于:
对所述人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加眼镜的二维图像。
本发明的一个实施例中,上述装置还包括:
眼镜区域确定模块,用于确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域;
第二二维图像获得模块,用于基于在人脸处添加眼镜的二维图像相对于包含人脸的原始图像所发生的显示风格偏移的预测结果,生成偏移图像,通过将所述偏移图像中与所述眼镜区域位置相同的区域叠加至所述眼镜区域的方式,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移。
本发明的一个实施例中,在所述眼镜区域确定模块之后,还包括:
掩码图获得模块,用于获得针对所述眼镜区域的掩码图,其中,所述掩码图的大小与所述在人脸处添加眼镜的二维图像的大小相同;
所述第二二维图像获得模块,具体用于:
将在人脸处添加眼镜的二维图像和所述掩码图,输入预先训练的第二生成对抗网络模型中的图像生成子网络模型,修正在人脸处添加眼镜的二维图像相对于包含人脸的原始图像发生的显示风格偏移。
本发明的一个实施例中,上述装置还包括:
按照以下方式中的至少一种方式对修正后的在人脸处添加眼镜的二维图像进行处理:
展示修正后的在人脸处添加眼镜的二维图像;
以修正后的在人脸处添加眼镜的二维图像为训练样本,训练人脸识别模型;
对修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
与上述图像生成方法相对应,本发明实施例还提供了一种终端设备。
参见图10,图10为本发明实施例提供的一种终端设备的结构示意图,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现本发明实施例提供的图像生成方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的图像生成方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行时实现本发明实施例提供的图像生成方法。
由以上可见,应用上述实施例提供的终端设备、计算机可读存储介质以及包含指令的计算机程序产品,通过部位三维模型中目标对象部位的大小和姿态,调整物件三维模型,使得调整后的物件三维模型中物件的大小和姿态与目标对象部位的大小和姿态相匹配,并以调整后物件三维模型的第二基准位置与部位三维模型中第一基准位置相贴合的方式,叠加部位三维模型和调整后物件三维模型,对叠加三维模型进行渲染,获得在目标对象部位处添加有物件的二维图像。由于三维模型记录有位置信息、深度信息等多种信息,因此部位三维模型可以准确地确定目标对象部位的大小和姿态,进而能够准确调整物件三维模型,使得物件三维模型对应的物件与目标对象部位的大小和姿态相匹配。又由于现实空间也是三维空间,通过两个三维模型的预设基准位置相贴合的方式使得两个三维模型贴合,可以精确模拟现实空间中两个物体相贴合的过程。相较于现有技术,由于二维图像的信息有限,所以基于二维图像难以真实模拟现实空间中两个物体相贴合的过程。因此,应用本发明实施例提供的方案生成图像时,能够提高所生成图像的真实度。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、终端设备、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (30)

1.一种图像生成方法,其特征在于,所述方法包括:
对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型;
获得所述部位三维模型中所述目标对象部位的大小和姿态;
根据所述目标对象部位的大小和姿态,调整所述物件三维模型,使得调整后物件三维模型中所述物件的大小与所述目标对象部位的大小相匹配、且调整后物件三维模型中所述物件的姿态与所述目标对象部位的姿态一致;
以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型;
对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像;
确定所述二维图像中所述物件所在的区域,作为物件区域;
获得针对所述物件区域的掩码图,其中,所述掩码图的大小与所述二维图像的大小相同;
基于预先训练的第一生成对抗网络模型,统计所述二维图像中与所述物件区域相邻的非物件区域的第一显示风格信息和所述物件区域的第二显示风格信息,并根据所述第一显示风格信息与所述第二显示风格信息之间的差值,确定二维图像相对于所述原始图像所发生的显示风格偏移的预测结果,生成偏移图像;
基于所述预先训练的第一生成对抗网络模型,根据所述掩码图,通过将所述偏移图像中与所述物件区域位置相同的区域叠加至所述物件区域的方式,修正所述二维图像相对于所述原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
2.根据权利要求1所述的方法,其特征在于,根据所述目标对象部位的大小,通过以下方式,调整所述物件三维模型:
获得所述物件三维模型中所述物件的大小;
根据所获得的物件的大小和目标对象部位的大小,计算模型缩放系数;
按照所述模型缩放系数,对所述物件三维模型进行缩放处理。
3.根据权利要求1所述的方法,其特征在于,所述以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型,包括:
确定所述部位三维模型中第三基准位置对应的基准方向;
将调整后物件三维模型中第四基准位置移动至所述基准方向上;
沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型。
4.根据权利要求3所述的方法,其特征在于,所述沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型,包括:
沿所述基准方向进行模型移动;
在模型移动过程中通过三维碰撞检测方式,检测所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置是否发生碰撞,获得碰撞检测结果;
根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,以使得调整后的所述第一基准位置与第二基准位置相贴合,得到叠加三维模型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,包括:
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置发生碰撞时,调整所述第一基准位置与所述第二基准位置;
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置未发生碰撞时,判断所述第一基准位置与所述第二基准位置是否指向同一位置;
若为否,调整所述第一基准位置与所述第二基准位置。
6.根据权利要求1所述的方法,其特征在于,
所述预先训练的第一生成对抗网络模型包括:第一图像生成子网络模型和第二图像判别子网络模型,所述第一图像生成子网络模型为:采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练得到的、用于修正所述第一样本二维图像相对于第一样本图像所发生的显示风格偏移、输出第一样本合成图像的模型;所述第一样本二维图像为:在所述第一样本图像中样本对象部位处添加样本物件得到的二维图像;所述第一样本掩码图为:针对所述第一样本二维图像中所述样本物件所在区域的掩码图;所述第一图像判别子网络模型为:采用所述第一样本合成图像和第一样本真实图像对第二原始模型进行训练得到的、用于判断所述第一样本合成图像是否为第一合成图像的模型;所述第一样本真实图像为:通过图像传感器拍摄的、且包含的目标对象与所述第一样本合成图像的目标对象一致的图像。
7.根据权利要求6所述的方法,其特征在于,所述第一原始模型通过以下方式修正第一样本二维图像相对于所述第一样本图像发生的显示风格偏移:
统计所述第一样本二维图像中与所述样本物件所在区域相邻的非物件区域的显示风格信息和所述样本物件所在区域的显示风格信息,并根据所述第一样本二维图像中与所述样本物件所在区域相邻的非物件区域的显示风格信息与所述样本物件所在区域的显示风格信息之间的差值,确定所述第一样本二维图像相对于所述第一样本原始图像所发生的显示风格偏移的预测结果,生成样本偏移图像;
将所述样本偏移图像与所述第一样本掩码图相乘,获得所述物件所在区域的区域偏移图像;
通过将所述区域偏移图像与所述第一样本二维图像叠加的方式,修正所述第一样本二维图像相对于所述第一样本图像发生的偏移,获得所述第一样本合成图像。
8.根据权利要求6或7所述的方法,其特征在于,所述第二原始模型通过以下方式判别所述第一样本合成图像是否为第一合成图像:
对比所述第一样本合成图像与所述第一样本真实图像,获得表征所述第一样本合成图像是否为第一合成图像的第一结果;
确定所述第一样本合成图像中物件所在的第一样本区域和非物件所在的第二样本区域;
根据所述第一样本区域的显示风格和所述第二样本区域的显示风格,判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果;
根据所述第一结果与所述第二结果,获得表示所述第一样本合成图像是否为合成图像的结果。
9.根据权利要求8所述的方法,其特征在于,所述判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果,包括:
在所述第一样本区域和第二样本区域采样大小相等的图像块;
判断所述第一样本区域中的第一图像块与所述第二样本区域中的第二图像块是否显示风格一致;
若为是,判定所述第一样本区域和第二样本区域的显示风格一致。
10.根据权利要求1所述的方法,其特征在于,所述对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型,包括:
对包含人脸的原始图像进行三维建模,获得人脸三维模型;
获得眼镜三维模型。
11.根据权利要求10所述的方法,其特征在于,所述根据所述目标对象部位的大小和姿态,调整所述物件三维模型,包括:
根据所述人脸三维模型中人脸的大小以及所述眼镜三维模型中眼镜的大小,计算所述眼镜三维模型的缩放系数;
按照所述缩放系数,对所述眼镜三维模型进行缩放处理;
根据所述人脸三维模型中人脸的姿态和所述眼镜三维模型中眼镜的姿态,对所述眼镜三维模型进行旋转处理。
12.根据权利要求10所述的方法,其特征在于,所述以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型,包括:
确定所述人脸三维模型中眼睛所在的视线方向;
将调整后眼镜三维模型中镜片中心移动至所述视线方向上;
沿所述视线方向进行模型移动,直至所述人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合;
对调整后眼镜三维模型中镜腿进行旋转,使得旋转后的眼镜三维模型中镜腿所在的位置与所述人脸三维模型中头皮所在的位置相贴合,获得人脸三维模型与眼镜三维模型贴合后的三维模型。
13.根据权利要求12所述的方法,其特征在于,所述对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像,包括:
对所述人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加眼镜的二维图像。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域;
获得针对所述眼镜区域的掩码图,其中,所述针对所述眼镜区域的掩码图的大小与所述在人脸处添加眼镜的二维图像的大小相同;
基于所述预先训练的第一生成对抗网络模型,统计所述在人脸处添加眼镜的二维图像中与所述眼镜区域相邻的非眼镜区域的第三显示风格信息和所述眼镜区域的第四显示风格信息,并根据所述第三显示风格信息与所述第四显示风格信息之间的差值,确定所述在人脸处添加眼镜的二维图像相对于所述包含人脸的原始图像所发生的显示风格偏移的预测结果,生成在人脸处添加眼镜的偏移图像;
基于所述预先训练的第一生成对抗网络模型,根据所述针对所述眼镜区域的掩码图,通过将所述在人脸处添加眼镜的偏移图像中与所述眼镜区域位置相同的区域叠加至所述眼镜区域的方式,修正所述在人脸处添加眼镜的二维图像相对于所述包含人脸的原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
按照以下方式中的至少一种方式对修正后的在人脸处添加眼镜的二维图像进行处理:
展示修正后的在人脸处添加眼镜的二维图像;
以修正后的在人脸处添加眼镜的二维图像为训练样本,训练人脸识别模型;
对修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
16.一种图像生成装置,其特征在于,所述装置包括:
三维模型获得模块,用于对包含目标对象部位的原始图像进行三维建模,获得所述目标对象部位的三维模型,作为部位三维模型,并获得物件的三维模型,作为物件三维模型;
大小和姿态获得模块,用于获得所述部位三维模型中所述目标对象部位的大小和姿态;
三维模型调整模块,用于根据所述目标对象部位的大小和姿态,调整所述物件三维模型,使得调整后物件三维模型中所述物件的大小与所述目标对象部位的大小相匹配、且调整后物件三维模型中所述物件的姿态与所述目标对象部位的姿态一致;
三维模型叠加模块,用于以所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合的方式,对所述部位三维模型和调整后物件三维模型进行模型叠加,获得叠加三维模型;
第一二维图像获得模块,用于对所述叠加三维模型进行渲染,获得在所述目标对象部位处添加有所述物件的二维图像;
物件区域确定模块,用于确定所述二维图像中所述物件所在的区域,作为物件区域;
掩码图获得模块,用于获得针对所述物件区域的掩码图,其中,所述掩码图的大小与所述二维图像的大小相同;
图像修正模块,用于基于预先训练的第一生成对抗网络模型,统计所述二维图像中与所述物件区域相邻的非物件区域的第一显示风格信息和所述物件区域的第二显示风格信息,并根据所述第一显示风格信息与所述第二显示风格信息之间的差值,确定二维图像相对于所述原始图像所发生的显示风格偏移的预测结果,生成偏移图像;基于所述预先训练的第一生成对抗网络模型,根据所述掩码图,通过将所述偏移图像中与所述物件区域位置相同的区域叠加至所述物件区域的方式,修正所述二维图像相对于所述原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
17.根据权利要求16所述的装置,其特征在于,所述三维模型调整模块,包括:
第一大小调整子模块,用于获得所述物件三维模型中所述物件的大小;根据所获得的物件的大小和目标对象部位的大小,计算模型缩放系数;按照所述模型缩放系数,对所述物件三维模型进行缩放处理;
第一姿态调整子模块,用于根据所述目标对象部位的姿态,调整所述物件三维模型。
18.根据权利要求16所述的装置,其特征在于,所述三维模型叠加模块,包括:
基准方向确定子模块,用于确定所述部位三维模型中第三基准位置对应的基准方向;
位置移动子模块,用于将调整后物件三维模型中第四基准位置移动至所述基准方向上;
第一三维模型移动子模块,用于沿所述基准方向进行模型移动,直至所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置相贴合,得到叠加三维模型。
19.根据权利要求18所述的装置,其特征在于,所述第一三维模型获得子模块,包括:
模型移动单元,用于沿所述基准方向进行模型移动;
检测结果获得单元,用于在模型移动过程中通过三维碰撞检测方式,检测所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置是否发生碰撞,获得碰撞检测结果;
模型获得单元,用于根据所述碰撞检测结果,调整所述第一基准位置与所述第二基准位置,以使得调整后的所述第一基准位置与第二基准位置相贴合,得到叠加三维模型。
20.根据权利要求19所述的装置,其特征在于,所述模型获得单元,具体用于:
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置发生碰撞时,调整所述第一基准位置与所述第二基准位置;
当碰撞检测结果表示所述部位三维模型中第一基准位置与调整后物件三维模型中第二基准位置未发生碰撞时,判断所述第一基准位置与所述第二基准位置是否指向同一位置;
若为否,调整所述第一基准位置与所述第二基准位置。
21.根据权利要求16所述的装置,其特征在于,
所述预先训练的第一生成对抗网络模型包括:第一图像生成子网络模型和第一图像判别子网络模型,所述第一图像生成子网络模型为:采用第一样本二维图像和第一样本掩码图对第一原始模型进行训练得到的、用于修正所述第一样本二维图像相对于第一样本图像发生的显示风格偏移、输出第一样本合成图像的模型;所述第一样本二维图像为:在所述第一样本图像中样本对象部位处添加样本物件得到的二维图像;所述第一样本掩码图为:针对所述第一样本二维图像中所述样本物件所在区域的掩码图;所述第一图像判别子网络模型为:采用所述第一样本合成图像和第一样本真实图像对第二原始模型进行训练得到的、用于判断所述第一样本合成图像是否为第一合成图像的模型;所述第一样本真实图像为:通过图像传感器拍摄的、且包含的目标对象与所述第一样本合成图像的目标对象一致的图像。
22.根据权利要求21所述的装置,其特征在于,所述第一原始模型,具体用于:
统计所述第一样本二维图像中与所述样本物件所在区域相邻的非物件区域的显示风格信息和所述样本物件所在区域的显示风格信息,并根据所述第一样本二维图像中与所述样本物件所在区域相邻的非物件区域的显示风格信息与所述样本物件所在区域的显示风格信息之间的差值,确定所述第一样本二维图像相对于所述第一样本原始图像所发生的显示风格偏移的预测结果,生成样本偏移图像;
将所述样本偏移图像与所述第一样本掩码图相乘,获得所述物件所在区域的区域偏移图像;
通过将所述区域偏移图像与所述第一样本二维图像叠加的方式,修正所述第一样本二维图像相对于所述第一样本图像发生的偏移,获得所述第一样本合成图像。
23.根据权利要求21或22所述的装置,其特征在于,所述第二原始模型,具体用于:
对比所述第一样本合成图像与所述第一样本真实图像,获得表征所述第一样本合成图像是否为第一合成图像的第一结果;
确定所述第一样本合成图像中物件所在的第一样本区域和非物件所在的第二样本区域;
根据所述第一样本区域的显示风格和所述第二样本区域的显示风格,判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果;
根据所述第一结果与所述第二结果,获得表示所述第一样本合成图像是否为合成图像的结果。
24.根据权利要求23所述的装置,其特征在于,所述判断所述第一样本区域和第二样本区域是否显示风格一致,获得第二结果,具体用于:
在所述第一样本区域和第二样本区域采样大小相等的图像块;
判断所述第一样本区域中的第一图像块与所述第二样本区域中的第二图像块是否显示风格一致;
若为是,判定所述第一样本区域和第二样本区域的显示风格一致。
25.根据权利要求16所述的装置,其特征在于,所述三维模型获得模块,包括:
人脸三维模型获得子模块,用于对包含人脸的原始图像进行三维建模,获得人脸三维模型;
眼镜三维模型获得子模块,用于获得眼镜三维模型。
26.根据权利要求25所述的装置,其特征在于,所述三维模型调整模块,包括:
第二大小调整子模块,用于根据所述人脸三维模型中人脸的大小以及所述眼镜三维模型中眼镜的大小,计算所述眼镜三维模型的缩放系数;按照所述缩放系数,对所述眼镜三维模型进行缩放处理;
第二姿态调整子模块,用于根据所述人脸三维模型中人脸的姿态和所述眼镜三维模型中眼镜的姿态,对所述眼镜三维模型进行旋转处理。
27.根据权利要求25所述的装置,其特征在于,所述三维模型叠加模块,包括:
视线方向确定子模块,用于确定所述人脸三维模型中眼睛所在的视线方向;
镜片中心移动子模块,用于将调整后眼镜三维模型中镜片中心移动至所述视线方向上;
第二三维模型移动子模块,用于沿所述视线方向进行模型移动,直至所述人脸三维模型中鼻子所在的位置与调整后眼镜三维模型中鼻托所在的位置相贴合;
三维模型获得子模块,用于对调整后眼镜三维模型中镜腿进行旋转,使得旋转后的眼镜三维模型中镜腿所在的位置与所述人脸三维模型中头皮所在的位置相贴合,获得人脸三维模型与眼镜三维模型贴合后的三维模型。
28.根据权利要求27所述的装置,其特征在于,所述二维图像获得模块,具体用于:
对所述人脸三维模型与眼镜三维模型贴合后的三维模型进行渲染,获得在人脸处添加眼镜的二维图像。
29.根据权利要求28所述的装置,其特征在于,所述装置还包括:
眼镜区域确定模块,用于确定在人脸处添加眼镜的二维图像中眼镜所在的区域,作为眼镜区域;
掩码图获得模块,用于获得针对所述眼镜区域的掩码图,其中,所述针对所述眼镜区域的掩码图的大小与所述在人脸处添加眼镜的二维图像的大小相同;
第二二维图像获得模块,用于基于所述预先训练的第一生成对抗网络模型,统计所述在人脸处添加眼镜的二维图像中与所述眼镜区域相邻的非眼镜区域的第三显示风格信息和所述眼镜区域的第四显示风格信息,并根据所述第三显示风格信息与所述第四显示风格信息之间的差值,确定所述在人脸处添加眼镜的二维图像相对于所述包含人脸的原始图像所发生的显示风格偏移的预测结果,生成在人脸处添加眼镜的偏移图像;基于所述预先训练的第一生成对抗网络模型,根据所述针对所述眼镜区域的掩码图,通过将所述在人脸处添加眼镜的偏移图像中与所述眼镜区域位置相同的区域叠加至所述眼镜区域的方式,修正所述在人脸处添加眼镜的二维图像相对于所述包含人脸的原始图像发生的显示风格偏移,所述显示风格偏移为:图像显示风格之间的差异。
30.根据权利要求28或29所述的装置,其特征在于,所述装置还包括:
按照以下方式中的至少一种方式对修正后的在人脸处添加眼镜的二维图像进行处理:
展示修正后的在人脸处添加眼镜的二维图像;
以修正后的在人脸处添加眼镜的二维图像为训练样本,训练人脸识别模型;
对修正后的在人脸处添加眼镜的二维图像中的人脸进行身份识别。
CN201911235192.3A 2019-12-05 2019-12-05 一种图像生成方法及装置 Active CN112927343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911235192.3A CN112927343B (zh) 2019-12-05 2019-12-05 一种图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911235192.3A CN112927343B (zh) 2019-12-05 2019-12-05 一种图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN112927343A CN112927343A (zh) 2021-06-08
CN112927343B true CN112927343B (zh) 2023-09-05

Family

ID=76160969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911235192.3A Active CN112927343B (zh) 2019-12-05 2019-12-05 一种图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN112927343B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435226B (zh) * 2020-03-23 2022-09-16 北京百度网讯科技有限公司 信息处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878846B1 (en) * 2012-10-29 2014-11-04 Google Inc. Superimposing virtual views of 3D objects with live images
CN104574504A (zh) * 2014-12-26 2015-04-29 上海沙斐网络科技有限公司 一种基于终端的眼镜虚拟试戴方法和眼镜虚拟试戴装置
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN107341827A (zh) * 2017-07-27 2017-11-10 腾讯科技(深圳)有限公司 一种视频处理方法、装置和存储介质
CN108447043A (zh) * 2018-03-30 2018-08-24 腾讯科技(深圳)有限公司 一种图像合成方法、设备及计算机可读介质
CN108765273A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸拍照的虚拟整容方法和装置
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878846B1 (en) * 2012-10-29 2014-11-04 Google Inc. Superimposing virtual views of 3D objects with live images
CN104574504A (zh) * 2014-12-26 2015-04-29 上海沙斐网络科技有限公司 一种基于终端的眼镜虚拟试戴方法和眼镜虚拟试戴装置
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN107341827A (zh) * 2017-07-27 2017-11-10 腾讯科技(深圳)有限公司 一种视频处理方法、装置和存储介质
CN108447043A (zh) * 2018-03-30 2018-08-24 腾讯科技(深圳)有限公司 一种图像合成方法、设备及计算机可读介质
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN108765273A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸拍照的虚拟整容方法和装置

Also Published As

Publication number Publication date
CN112927343A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN108369643B (zh) 用于3d手部骨架跟踪的方法和系统
CN109859305B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
CN104424649A (zh) 检测运动物体的方法和系统
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
JP6409433B2 (ja) 画像生成装置、画像検出システム及び画像生成方法
CN113689578A (zh) 一种人体数据集生成方法及装置
CN109752855A (zh) 一种光斑发射装置和检测几何光斑的方法
JP2018129007A (ja) 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN106504265A (zh) 运动估计优化方法、设备和系统
CN112927343B (zh) 一种图像生成方法及装置
Elmquist et al. Modeling cameras for autonomous vehicle and robot simulation: An overview
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN111353325A (zh) 关键点检测模型训练方法及装置
WO2019150431A1 (ja) 情報処理装置
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
CN108876704B (zh) 人脸图像变形的方法、装置及计算机存储介质
US10713847B2 (en) Method and device for interacting with virtual objects
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
Schlette et al. A new benchmark for pose estimation with ground truth from virtual reality
CN114972601A (zh) 模型生成方法、人脸渲染方法、装置及电子设备
CN113191462A (zh) 信息获取方法、图像处理方法、装置及电子设备
CN112419361B (zh) 一种目标追踪方法和仿生视觉装置
CN113824898B (zh) 一种视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant