CN113706678A - 获取虚拟形象的方法、装置、设备及计算机可读存储介质 - Google Patents

获取虚拟形象的方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113706678A
CN113706678A CN202110310458.7A CN202110310458A CN113706678A CN 113706678 A CN113706678 A CN 113706678A CN 202110310458 A CN202110310458 A CN 202110310458A CN 113706678 A CN113706678 A CN 113706678A
Authority
CN
China
Prior art keywords
avatar
virtual image
image
weight
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110310458.7A
Other languages
English (en)
Inventor
张浩贤
陈雅静
暴林超
陈克喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110310458.7A priority Critical patent/CN113706678A/zh
Publication of CN113706678A publication Critical patent/CN113706678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了获取虚拟形象的方法、装置、设备及计算机可读存储介质,属于人工智能技术领域。方法包括:获取目标对象对应的第一虚拟形象,第一虚拟形象对应第一风格属性。获取第二虚拟形象,根据第一虚拟形象更新第二虚拟形象,得到与第一虚拟形象相匹配的第三虚拟形象,第二虚拟形象和第三虚拟形象对应第二风格属性,第一风格属性和第二风格属性不同。融合第一虚拟形象和第三虚拟形象,得到目标对象对应的目标虚拟形象。由于用户无需手动对第一虚拟形象进行编辑,因而提高了虚拟形象的获取效率,且所获取的虚拟形象的质量较高。

Description

获取虚拟形象的方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及人工智能技术领域,特别涉及一种获取虚拟形象的方法、装置、设备及计算机可读存储介质。
背景技术
随着CV(Computer Vision,计算机视觉)技术的不断发展,针对人或物体的3D(3-dimension)重建成为可能,通过3D重建能够得到与人或物体相似度较高的写实3D虚拟形象。在游戏、影视等不同场景中,往往需要对写实3D虚拟形象进行转换,以使得转换后的3D虚拟形象与场景具有相适配的风格。
相关技术中,工作人员将写实3D虚拟形象导入编辑软件,手动对写实3D虚拟形象进行编辑,从而实现转换。然而,该手动编辑过程工作量较大,工作人员进行手动编辑的效率较低,从而使得相关技术中获取虚拟形象的效率较低。并且,工作人员进行手动编辑的主观性较强、不够可靠,可能导致相关技术中获取的虚拟形象质量较低。
发明内容
本申请实施例提供了一种获取虚拟形象的方法、装置、设备及计算机可读存储介质,以改善相关技术中获取虚拟形象的效率较低,获取的虚拟形象质量较低的问题。所述技术方案如下:
一方面,提供了一种获取虚拟形象的方法,所述方法包括:
获取目标对象对应的第一虚拟形象,所述第一虚拟形象对应第一风格属性;
获取第二虚拟形象,根据所述第一虚拟形象更新所述第二虚拟形象,得到与所述第一虚拟形象相匹配的第三虚拟形象,所述第二虚拟形象和所述第三虚拟形象对应第二风格属性,所述第一风格属性和所述第二风格属性不同;
融合所述第一虚拟形象和所述第三虚拟形象,得到所述目标对象对应的目标虚拟形象。
一方面,提供了一种获取虚拟形象的装置,所述装置包括:
获取模块,用于获取目标对象对应的第一虚拟形象,所述第一虚拟形象对应第一风格属性;
所述获取模块,还用于获取第二虚拟形象;
更新模块,用于根据所述第一虚拟形象更新所述第二虚拟形象,得到与所述第一虚拟形象相匹配的第三虚拟形象,所述第二虚拟形象和所述第三虚拟形象对应第二风格属性,所述第一风格属性和所述第二风格属性不同;
融合模块,用于融合所述第一虚拟形象和所述第三虚拟形象,得到所述目标对象对应的目标虚拟形象。
在示例性实施例中,所述更新模块,用于根据所述第一虚拟形象的拓扑对所述第二虚拟形象进行拓扑转换,得到转换后的第二虚拟形象,所述转换后的第二虚拟形象的拓扑与所述第一虚拟形象的拓扑相匹配;基于所述转换后的第二虚拟形象获取所述第三虚拟形象。
在示例性实施例中,所述转换后的第二虚拟形象和所述第一虚拟形象对应相匹配的关键点,所述更新模块,用于基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行目标处理,得到所述第三虚拟形象,所述目标处理包括缩放、位姿调整以及平移中的至少一种。
在示例性实施例中,所述目标处理包括缩放,所述更新模块,用于基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,确定缩放比例;按照所述缩放比例对所述转换后的第二虚拟形象进行缩放,得到缩放后的第二虚拟形象,所述缩放后的第二虚拟形象与所述第一虚拟形象的拓扑和尺寸相匹配;基于所述缩放后的第二虚拟形象获取所述第三虚拟形象。
在示例性实施例中,所述目标处理包括位姿调整,所述更新模块,用于基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行位姿调整,得到位姿调整后的第二虚拟形象,所述位姿调整后的第二虚拟形象与所述第一虚拟形象的拓扑和位姿相匹配;基于所述位姿调整后的第二虚拟形象获取所述第三虚拟形象。
在示例性实施例中,所述目标处理包括平移,所述更新模块,用于从所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点中确定目标关键点;基于所述转换后的第二虚拟形象对应的目标关键点和所述第一虚拟形象对应的目标关键点,对所述转换后的第二虚拟形象进行平移,得到平移后的第二虚拟形象,所述平移后的第二虚拟形象与所述第一虚拟形象的拓扑相匹配,且所述平移后的第二虚拟形象对应的目标关键点与所述第一虚拟形象对应的目标关键点重合;基于所述平移后的第二虚拟形象获取所述第三虚拟形象。在示例性实施例中,所述融合模块,用于确定所述第一虚拟形象对应的权重,基于所述第一虚拟形象对应的权重确定所述第三虚拟形象对应的权重;根据所述第一虚拟形象对应的权重以及所述第三虚拟形象对应的权重,对所述第一虚拟形象和所述第三虚拟形象进行加权融合,得到所述目标虚拟形象。
在示例性实施例中,所述第一虚拟形象对应有纹理图像,所述纹理图像包括至少两个子图像,所述融合模块,用于确定所述至少两个子图像中的各个子图像对应的权重;基于所述至少两个子图像对应的权重确定所述纹理图像对应的权重,所述纹理图像对应的权重平滑过渡;按照所述第一虚拟形象与所述纹理图像之间的映射关系,将所述纹理图像对应的权重映射至所述第一虚拟形象,得到所述第一虚拟形象对应的权重。
在示例性实施例中,所述至少两个子图像中的各个子图像对应有位置信息,任一子图像对应的位置信息用于指示所述任一子图像在所述纹理图像中的位置,所述融合模块,用于对所述各个子图像对应的权重进行平滑处理,得到所述各个子图像对应的处理后的权重,根据所述各个子图像对应的位置信息和所述各个子图像对应的处理后的权重确定所述纹理图像对应的权重;或者,根据所述各个子图像对应的位置信息和所述各个子图像对应的权重确定参考权重,对所述参考权重进行平滑处理,得到所述纹理图像对应的权重。
在示例性实施例中,所述第一虚拟形象包括至少两个虚拟形象区域,所述融合模块,用于确定所述至少两个虚拟形象区域中的各个虚拟形象区域对应的权重,所述第一虚拟形象的权重包括所述各个虚拟形象区域对应的权重。
一方面,提供了一种电子设备,所述电子设备包括存储器及处理器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现本申请的任一种示例性实施例所提供的获取虚拟形象的方法。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现本申请的任一种示例性实施例所提供的获取虚拟形象的方法。
另一方面,提供了一种计算机程序或计算机程序产品,所述计算机程序或计算机程序产品包括:计算机指令,所述计算机指令被计算机执行时,使得所述计算机实现本申请的任一种示例性实施例所提供的获取虚拟形象的方法。
本申请实施例所提供的技术方案带来的有益效果至少包括:
基于第一虚拟形象进行第二虚拟形象的更新,从而得到与第一虚拟形象相匹配,也就是能够与第一虚拟形象融合的第三虚拟形象。之后,通过融合第一虚拟形象和第三虚拟形象得到目标虚拟形象。相比于对应第一风格属性的第一虚拟形象,通过融合得到的目标虚拟形象与第三虚拟形象对应的风格属性更为接近,从而实现了风格改变。由于用户无需对第一虚拟形象进行手动编辑,因而不仅提高了虚拟形象的获取效率,而且改善了虚拟形象的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的实施环境的示意图;
图2是本申请实施例提供的获取虚拟形象的方法的流程图;
图3是本申请实施例提供的第一虚拟形象的示意图;
图4是本申请实施例提供的对第二虚拟形象进行拓扑转换的示意图;
图5是本申请实施例提供的虚拟形象关键点的示意图;
图6是本申请实施例提供的融合得到目标虚拟形象的示意图;
图7是本申请实施例提供的虚拟形象对应的三个方向的示意图;
图8是本申请实施例提供的虚拟形象区域的示意图;
图9是本申请实施例提供的纹理图像的示意图;
图10是本申请实施例提供的子图像的示意图;
图11是本申请实施例提供的获取虚拟形象的装置的结构示意图;
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
AI(Artificial Intelligence,人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
近年来,随着CV技术的不断发展,针对人或物体的3D重建成为可能,通过3D重建能够得到与人或物体相似度较高的写实3D虚拟形象。在游戏、影视等不同场景中,往往需要对写实3D虚拟形象进行转换,以使得转换后的3D虚拟形象与场景具有相适配的风格。
相关技术一中,工作人员将写实3D虚拟形象导入编辑软件,手动对写实3D虚拟形象进行编辑,从而实现风格的转换。然而,该手动编辑过程工作量较大,工作人员进行手动编辑的效率较低,从而使得相关技术一中获取虚拟形象的效率较低。
相关技术二中,用户或者工作人员通过Blend Shape(混合变形)技术实现写实3D虚拟形象的风格转换。其中,3D虚拟形象由至少两个网格组成,各个网格分别配置有多个可选择的形状。用户或者工作人员通过调整系数为各个网格选择形状,使得至少一个网格的形状相比于该网格在写实3D虚拟形象中的形状发生改变,从而实现风格转变。但是,通过相关技术二提供的方法获取的虚拟形象质量依赖于各个网格配置的形状数量。在各个网格配置的形状数量较少的情况下,写实3D虚拟形象所能发生的形状改变较小,从而使得获取的虚拟形象质量较低,影响了风格转变的效果。
本申请实施例提供了一种获取虚拟形象的方法,该方法可应用于如图1所示的实施环境中。图1中,包括至少一个电子设备11和服务器12,电子设备11可与服务器12进行通信连接,以从服务器12上下载与应用场景风格一致的3D虚拟形象。
其中,电子设备11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如PC(PersonalComputer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视等。
服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。
本领域技术人员应能理解上述电子设备11和服务器12仅为举例,其他现有的或今后可能出现的电子设备或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
基于上述图1所示的实施环境,参见图2,本申请实施例提供了一种获取虚拟形象的方法,该方法可应用于图1所示的电子设备中。如图2所示,该方法包括如下的步骤。
201,获取目标对象对应的第一虚拟形象,第一虚拟形象对应第一风格属性。
示例性地,目标对象包括人或者物体,获取目标对象对应的第一虚拟形象,包括但不限于针对目标对象进行3D重建得到3D虚拟形象,该3D虚拟形象即为该第一虚拟形象。第一虚拟形象对应第一风格属性,第一风格属性例如为写实风格属性。在本实施例中,不对第一虚拟形象的类型加以限定。以目标对象为人脸为例,则第一虚拟形象例如为3DMM(3DMorphable Model,三维可变形虚拟形象)。例如,参见图3,图3示出了3DMM在两个不同方向上的视图。其中,3DMM通过固定的点数来表示人脸,各个点均位于三维坐标系中,具有对应的坐标。基于各个点对应的坐标,人脸形状可以通过形状向量表示,参见如下的公式(1):
S={X1,Y1,Z1,X2,…,Xn,Yn,Zn}T∈R3n (1)
其中,S用于表示人脸的形状向量,该形状向量包括n个点对应的坐标,Xn,Yn,Zn即为第n个点在三维坐标系中的坐标。
在3DMM中,任一人脸的形状向量可以通过其他形状向量的正交基加权计算得到,参见如下的公式(2):
Figure BDA0002989473340000071
其中,Si表示第i个其他形状向量的正交基,ai表示第i个其他形状向量的正交基对应的权重,
Figure BDA0002989473340000072
表示其他形状向量的平均值。
202,获取第二虚拟形象,根据第一虚拟形象更新第二虚拟形象,得到与第一虚拟形象相匹配的第三虚拟形象,第二虚拟形象和第三虚拟形象对应第二风格属性,第一风格属性和第二风格属性不同。
其中,第二虚拟形象为3D虚拟形象,第二虚拟形象对应第二风格属性,第二风格属性例如为应用场景对应的风格属性,应用场景例如为游戏、影视等场景。也就是说,第二虚拟形象是适用于应用场景的形象。示例性地,获取第二虚拟形象的过程包括但不限于:采用获取第一虚拟形象的方式获取对应第二风格属性的第二虚拟形象。或者,获取第二虚拟形象的过程,包括:获取手动建立的对应第二风格属性的第二虚拟形象。
在获取第二虚拟形象之后,如果第二虚拟形象能够与第一虚拟形象融合,则可以直接融合第一虚拟形象与第二虚拟形象。如果第二虚拟形象不能够与第一虚拟形象融合,则根据第一虚拟形象对第二虚拟形象进行更新,从而得到与第一虚拟形象匹配的第三虚拟形象,也就是能够与第一虚拟形象融合的第三虚拟形象。其中,该第三虚拟形象对应第二风格属性,也就是说,对第二虚拟形象的更新过程不会对风格属性造成影响。能够看出,对于不同的第一虚拟形象,本实施例获取至少一个第二虚拟形象即可。即使获取的第二虚拟形象与第一虚拟形象不能直接融合,也能够通过对第二虚拟形象的更新过程获取能够与第一虚拟形象直接融合的第三虚拟形象。
参见图4,在示例性实施例中,根据第一虚拟形象更新第二虚拟形象,得到与第一虚拟形象相匹配的第三虚拟形象,包括:根据第一虚拟形象的拓扑对第二虚拟形象进行拓扑转换,得到转换后的第二虚拟形象,转换后的第二虚拟形象的拓扑与第一虚拟形象的拓扑相匹配。基于转换后的第二虚拟形象获取第三虚拟形象。
其中,3D虚拟形象由至少两个面(面也称为网格)连接构成,面由点和连接不同点的线组成,一个3D虚拟形象的拓扑即用于指示组成该3D虚拟形象的点和线之间的连接关系。不同虚拟形象能够融合的前提是:不同虚拟形象上的点一一对应。因此,在不同虚拟形象上的点无法一一对应的情况下,则需要对点的数量进行调整,从而引发点和线之间的连接关系的转换,也即是拓扑转换。
由此可见,对第二虚拟形象进行的拓扑转换,改变了用于表示第二虚拟形象的点的数量,拓扑转换的目的在于:使得转换后的第二虚拟形象与第一虚拟形象能够基于相同数量的点进行表示。例如,第一虚拟形象由一万个点以及一万个点之间的连线组成,而第二虚拟形象仅基于一千个点以及一千个点之间的连线组成。则在拓扑转换的过程中,重新通过一万个点表示该第二虚拟形象,得到基于一万个点以及一万个点之间的连接组成的转换后的第二虚拟形象。示例性地,本实施例进行拓扑转换的方式包括但不限于:通过NICP(Non-rigid Iterative Closest Points,非刚性迭代最近点)进行转换。
当然,以上举例中仅改变了用于表示第二虚拟形象的点的数量,本实施例还可以对用于表示第一虚拟形象和第二虚拟形象的点数量均进行改变。例如,第一虚拟形象由一万个点以及一万个点之间的连线组成,而第二虚拟形象仅基于一千个点以及一千个点之间的连线组成,则在拓扑转换的过程中,重新通过五千个点表示第一虚拟形象和第二虚拟形象,同样能够使得转换后的第二虚拟形象与第一虚拟形象基于相同数量的点进行表示。
在本实施例中,响应于第二虚拟形象与第一虚拟形象的拓扑不同,则首先按照上述说明进行拓扑转换,从而得到转换后的第二虚拟形象。之后,可以将转换后的第二虚拟形象直接作为第三虚拟形象。或者,还可以继续对转换后的第二虚拟形象进行调整,从而得到第三虚拟形象,参见如下说明。
在示例性实施例中,转换后的第二虚拟形象和第一虚拟形象对应相匹配的关键点,基于转换后的第二虚拟形象获取第三虚拟形象,包括:基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行目标处理,得到第三虚拟形象。其中,目标处理包括缩放、位姿调整以及平移中的至少一种。
其中,由于转换后的第二虚拟形象与第一虚拟形象的拓扑相匹配,因而转换后的第二虚拟形象和第一虚拟形象对应相匹配的关键点,即转换后的第一虚拟形象的关键点与第一虚拟形象的关键点是一一对应的。例如,转换后的第二虚拟形象在左右太阳穴处分别包括一个关键点,则第一虚拟形象在左右太阳穴处也分别包括一个关键点。又例如,转换后的第二虚拟形象在嘴部包括参考数量个关键点,则第一虚拟形象在嘴部也包括参考数量个关键点,本实施例不对参考数量加以限定。参见图5,图5示出了86个关键点的情况。
能够理解的是,上述缩放、位姿调整以及平移仅为目标处理的举例,不用于对目标处理包括的处理过程造成限定。在目标处理包括至少两种处理过程的情况下,本实施例不对各种处理过程的执行顺序加以限定。其中,第一个被执行的处理过程针对于转换后的第二虚拟形象,而后续被执行的处理过程针对于上一个处理过程得到的虚拟形象。也就是说,第二个被执行的处理过程针对于第一个处理过程得到的虚拟形象,第三个被执行的处理过程针对于第二个处理过程得到的虚拟形象。以依次进行缩放和位姿调整两个处理过程为例,则首先针对转换后的第二虚拟形象进行缩放,得到缩放后的第二虚拟形象。之后,在进行位姿调整时,针对该缩放后的第二虚拟形象进行位姿调整,而不是重新针对转换后的第二虚拟形象进行位姿调整。
在示例性实施例中,目标处理包括缩放,基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行目标处理,得到第三虚拟形象,包括:基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,确定缩放比例。按照缩放比例对转换后的第二虚拟形象进行缩放,得到缩放后的第二虚拟形象,缩放后的第二虚拟形象与第一虚拟形象的拓扑和尺寸相匹配,基于缩放后的第二虚拟形象获取第三虚拟形象。
示例性地,确定缩放比例的方式包括:在第一虚拟形象对应的关键点中确定两个第一参考关键点,将第一参考关键点之间的距离确定为第一距离。在转换后的第二虚拟形象对应的关键点中确定两个第二参考关键点,将第二参考关键点之间的距离确定为第二距离。之后,将第一距离与第二距离之间的距离比值确定为缩放比例。响应于该距离比值大于一,则说明第一距离大于第二距离,因而对转换后的第二虚拟形象进行放大。响应于该距离比值小于一,则说明第一距离小于第二距离,因而对转换后的第二虚拟形象进行缩小。
需要强调的是,第一参考关键点和第二参考关键点是相匹配的两个关键点。本实施例不对第一参考关键点以及第二参考关键点加以限定。以第一虚拟形象和转换后的第二虚拟形象均为人脸虚拟形象为例,则第一参考关键点例如为第一虚拟形象上两个太阳穴处的关键点,第二参考关键点例如为转换后的第二虚拟形象上两个太阳穴处的关键点,两个太阳穴处的关键点可以参见图5中的关键点1和关键点17。
其中,虚拟形象由面连接构成,而面由点和不同点之间的连线组成。用于组成转换后的第二虚拟形象的各个点均具有坐标,对转换后的第二虚拟形象的缩放通过改变各个点具有的坐标来实现,参见如下的公式(3):
Figure BDA0002989473340000101
X表示缩放后的第二虚拟形象上的点具有的坐标,也就是缩放之后的坐标。X0表示转换后的第二虚拟形象上的点具有的坐标,也就是还未进行缩放的坐标。D1表示上述第一距离,D2表示上述第二距离。
其中,上述公式(3)针对于转换后的第二虚拟形象的虚拟形象中心位于坐标系原点的情况。在该虚拟形象中心不位于坐标系原点的情况下,则需要先将该虚拟形象中心调整至坐标系原点,再执行上述缩放过程,以避免转换后的第二虚拟形象发生异常变形。将该虚拟形象中心调整至坐标系原点的过程包括:确定用于组成转换后的第二虚拟形象的各个点(也称为转换后的第二虚拟形象的顶点)的坐标平均值,将转换后的第二虚拟形象上各个点的坐标与该平均值作差,从而得到虚拟形象中心位于坐标系原点的转换后的第二虚拟形象。此种情况下,转换后的第二虚拟形象的缩放过程可以通过如下的公式(4)表示:
Figure BDA0002989473340000102
公式(4)中的
Figure BDA0002989473340000111
表示用于组成转换后的第二虚拟形象的各个点的坐标平均值,其他符号与公式(3)中一致,此处不再进行赘述。
无论按照何种方式缩放转换后的第二虚拟形象,均能得到与第一虚拟形象尺寸相匹配的缩放后的第二虚拟形象。之后,本实施例可以将该缩放后的第二虚拟形象作为第三虚拟形象,或者,还可以对该缩放后的第二虚拟形象进行位姿调整和平移中的至少一种处理,从而得到第三虚拟形象。其中,对缩放后的第二虚拟形象进行位姿调整的过程,可以参见下文对转换后的第二虚拟形象进行位姿调整的过程,对缩放后的第二虚拟形象进行平移的过程,可以参见下文对转换后的第二虚拟形象进行平移的过程。
在示例性实施例中,目标处理包括位姿调整,基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行目标处理,得到第三虚拟形象,包括:基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行位姿调整,得到位姿调整后的第二虚拟形象,位姿调整后的第二虚拟形象与第一虚拟形象的拓扑和位姿相匹配,基于位姿调整后的第二虚拟形象获取第三虚拟形象。
其中,转换后的第一虚拟形象的关键点与第一虚拟形象的关键点是一一对应的,根据关键点之间的一一对应关系可以求解转换后的第二虚拟形象所需的平移量以及旋转量,从而根据求解得到的平移量以及旋转量实现位姿调整,得到位姿调整后的第二虚拟形象。示例性地,上述说明中的位姿调整过程是基于ICP(Iterative Closest Points,迭代最近点)算法完成的,本实施例不对位姿调整过程进行限定。
在完成位姿调整之后,本实施例可以将该位姿调整后的第二虚拟形象作为第三虚拟形象。或者,本实施例也可以对位姿调整后的第二虚拟形象进行缩放或者平移中的至少一种处理,从而得到第三虚拟形象。其中,对位姿调整后的第二虚拟形象进行缩放的过程,可以参见上文对转换后的第二虚拟形象进行缩放的过程。对位姿调整后的第二虚拟形象进行平移的过程,可以参见下文对转换后的第二虚拟形象进行平移的过程。
在示例性实施例中,目标处理包括平移,基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行目标处理,得到第三虚拟形象,包括:从转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点中确定目标关键点。基于转换后的第二虚拟形象对应的目标关键点和第一虚拟形象对应的目标关键点,对转换后的第二虚拟形象进行平移,得到平移后的第二虚拟形象,平移后的第二虚拟形象与第一虚拟形象的拓扑相匹配,且平移后的第二虚拟形象对应的目标关键点与第一虚拟形象对应的目标关键点重合,基于平移后的第二虚拟形象获取第三虚拟形象。
其中,本实施例不对目标关键点进行限定,目标关键点可以是根据经验或者实际需要确定的。例如,目标关键点为鼻尖处的关键点,鼻尖处的关键点可以参见图5中的关键点64。通过平移转换后的第二虚拟形象,能够得到平移后的第二虚拟形象,该平移后的第二虚拟形象的目标关键点与第一虚拟形象的目标关键点重合。示例性地,目标关键点的数量可以为一个或至少两个,本实施例不对目标关键点的数量加以限定。
对于该平移后的第二虚拟形象,本实施例可以将该平移后的第二虚拟形象直接作为第三虚拟形象。或者,本实施例还可以对该平移后的第二虚拟形象进行缩放以及位姿调整中的至少一种处理,从而得到第三虚拟形象。其中,对该平移后的第二虚拟形象进行缩放的过程,可以参见上文对转换后的第二虚拟形象进行缩放的过程。对该平移后的第二虚拟形象进行位姿调整的过程,可以参见上文对转换后的第二虚拟形象进行位姿调整的过程,此处不再进行赘述。
203,融合第一虚拟形象和第三虚拟形象,得到目标对象对应的目标虚拟形象。
参见图6,通过融合第一虚拟形象和第三虚拟形象,能够得到目标对象对应的目标虚拟形象。相比于201中获取的目标对象对应的第一虚拟形象,该目标虚拟形象的风格属性更接近于第二风格属性。由于应用场景也对应第二风格属性,因而融合得到的目标虚拟形象比第一虚拟形象更适用于该应用场景。其中,本实施例不对第三虚拟形象的数量加以限定,第三虚拟形象的数量可以为一个,也可以为两个以上。相比于相关技术一中通过手动编辑来获取虚拟形象的方式,本实施例获取目标虚拟形象的效率较高,且避免了用户主观意愿对虚拟形象的质量造成的影响,从而改善了虚拟形象的质量。相比于相关技术二中通过BlendShape技术改变虚拟形象中网格的形状来获取虚拟形象的方式,本实施例直接对不同虚拟形象进行整体融合,不仅获取效率较高,而且所获取的虚拟形象具有较高的质量。
在示例性实施例中,融合第一虚拟形象和第三虚拟形象,得到目标对象对应的目标虚拟形象,包括:确定第一虚拟形象对应的权重,基于第一虚拟形象对应的权重确定第三虚拟形象对应的权重。根据第一虚拟形象对应的权重以及第三虚拟形象对应的权重,对第一虚拟形象和第三虚拟形象进行加权融合,得到目标虚拟形象。通过调整第一虚拟形象和第三虚拟形象对应的权重,能够改变目标虚拟形象的最终显示效果,从而使得获取虚拟形象的过程更为灵活。
需要说明的是,对于第一虚拟形象和第三虚拟形象而言,权重是三维数组,三维数组对应虚拟形象的三个不同方向。如图7所示,图7示出了上述虚拟形象对应的三个不同方向。其中,X方向为水平方向,Y方向为垂直方向,而Z方向为深度方向。以X方向为例对融合过程进行说明:由于第一虚拟形象与第三虚拟形象相匹配,因而第一虚拟形象上的点与第三虚拟形象上的点是一一对应的。对于第一虚拟形象和第三虚拟形象上相对应的任一对点,确定第一虚拟形象上该点在X方向上的坐标与第一虚拟形象在X方向上的权重之间的第一乘积,确定第三虚拟形象上该点在X方向上的坐标与第三虚拟形象在X方向上的权重之间的第二乘积,从而将第一乘积与第二乘积之和确定为目标虚拟形象上该点在X方向上的坐标。其他方向上的融合过程均可以参见X方向上的融合过程,此处不再进行赘述。
例如,第一虚拟形象上的点(1,1,1)与第三虚拟形象上的点(2,2,2)是相对应的一对点。第一虚拟形象的权重为(0.9,0.9,0.1),第三虚拟形象的权重为(0.1,0.1,0.9)。在X方向上,计算第一乘积为1×0.9=0.9,第二乘积为2×0.1=0.2,则目标虚拟形象上该点在X方向的坐标为0.9+0.2=1.1。相应地,目标虚拟形象上该点在Y方向的坐标也为1.1。在Z方向上,计算第一乘积为1×0.1=0.1,第二乘积为2×0.9=1.8,则目标虚拟形象上该点在Z方向的坐标为0.1+1.8=1.9。因此,目标虚拟形象上该点的坐标为(1.1,1.1,1.9)。
示例性地,本实施例可以将第一虚拟形象对应的权重和第三虚拟形象对应的权重之和确定为一。则在确定第一虚拟形象对应的权重之后,基于一与第一虚拟形象对应的权重的差值确定第三虚拟形象对应的权重。在第三虚拟形象的数量为一的情况下,将该差值作为第三虚拟形象对应的权重。在第三虚拟形象的数量为两个以上的情况下,则计算该差值与第三虚拟形象的数量之间的数量比值,将该数量比值确定为各个第三虚拟形象的权重。例如,第一虚拟形象的权重为(0.6,0.6,0.6),第三虚拟形象的数量为两个,则两个第三虚拟形象的权重均为(0.2,0.2,0.2)。
在本实施例中,第一虚拟形象的不同部位对应相同的权重。或者,第一虚拟形象的不同部位可以对应不同的权重。也就是说,第一虚拟形象的不同部位中,至少两个部位的权重不同。接下来,针对第一虚拟形象的不同部位对应不同权重的情况,对确定第一虚拟形象对应的权重的两种不同方式进行说明。
第一种方式:第一虚拟形象包括至少两个虚拟形象区域。确定第一虚拟形象对应的权重,包括:确定至少两个虚拟形象区域中的各个虚拟形象区域对应的权重,第一虚拟形象的权重包括各个虚拟形象区域对应的权重。
其中,以第一虚拟形象包括人脸虚拟形象为例,划分的虚拟形象区域包括但不限于:脸颊区域、轮廓区域、眼睛区域、眉骨区域、下巴区域、嘴巴区域、鼻梁区域以及鼻头区域等。不同虚拟形象区域对应的权重可以根据经验或者实际需要确定,本实施例不对不同虚拟形象区域对应的权重进行限定。示例性地,眼睛、眉骨、嘴巴、鼻梁以及鼻头属于主要人脸特征,为保留这些主要人脸特征,为眼睛区域、眉骨区域、嘴巴区域、鼻梁区域以及鼻头区域确定较大的权重。参见图8,图8示出了对应较大权重的区域。
第二种方式:第一虚拟形象对应有纹理图像,纹理图像包括至少两个子图像,第一虚拟形象与纹理图像之间具有映射关系,确定第一虚拟形象对应的权重,包括:确定至少两个子图像中的各个子图像对应的权重;基于至少两个子图像对应的权重确定纹理图像对应的权重,纹理图像对应的权重平滑过渡;按照第一虚拟形象与纹理图像之间的映射关系,将纹理图像对应的权重映射至第一虚拟形象,得到第一虚拟形象对应的权重。
其中,图9示出了一种示例性的纹理图像。纹理图像也称为UV图像,U、V分别用于指示不同方向,U方向对应上述虚拟形象中的X方向,V方向对应上述虚拟形象中的Y方向。纹理图像包括多个点,多个点与第一虚拟形象上的点一一对应,也就是第一虚拟形象与纹理图像之间具有映射关系。根据点之间的映射关系,能够将纹理图像上的各个点精确映射至第一虚拟形象表面。对于不同点之间的间隙,则可以进行图像光滑插值处理,以使得第一虚拟形象上显示与纹理图像相同的纹理,该过程也称为UV贴图。
纹理图像包括的子图像可以参见图10。各个子图像对应的权重可以根据经验或者实际需要确定,本实施例不对各个子图像对应的权重加以限定。由于后续需要将各个子图像对应的权重映射至第一虚拟形象,而第一虚拟形象对应的权重是对应三个不同方向的三维数组,因而各个子图像对应的权重也为对应三个不同方向的三维数组。示例性地,本实施例中X方向和Y方向对应相同的权重,此种情况下各个子图像对应的权重可以参见如下表1中的举例。
表1
子图像 X方向权重 Y方向权重 Z方向权重
脸颊区域 0.65 0.65 0.65
轮廓区域 0.50 0.50 0.50
眼睛区域 1.00 1.00 1.00
眉骨区域 0.75 0.75 0.75
下巴区域 0.65 0.65 1.00
嘴巴区域 1.00 1.00 0.50
鼻梁区域 0.50 0.50 0.50
鼻头区域 0.50 0.50 0.50
在确定各个子图像对应的权重后,便可以基于至少两个子图像确定纹理图像对应的权重,纹理图像对应的权重是平滑过渡的。其中,在上述第一种方式中,响应于存在相邻且权重不同的虚拟形象区域,则可能导致第一虚拟形象的权重不能平滑过渡的情况。而在第二种方式中,由于权重图像对应的权重能够平滑过渡,因而将权重图像对应的权重映射至第一虚拟形象之后,第一虚拟形象上的权重也是平滑过渡的。在确定纹理图像对应的权重后,根据纹理图像与第一虚拟形象之间的映射关系,能够将纹理图像对应的权重映射至第一虚拟形象。由于纹理图像包括不同子图像对应的多个权重,因而进行映射之后,第一虚拟形象也对应多个权重,从而使得第一虚拟形象上的不同部位具有不同的权重。
在示例性实施例中,至少两个子图像中的各个子图像对应有位置信息,任一子图像对应的位置信息用于指示任一子图像在纹理图像中的位置,基于至少两个子图像对应的权重确定纹理图像对应的权重,包括如下的两种过程,以使得纹理图像对应的权重平滑过渡。
在第一种过程中,对各个子图像对应的权重进行平滑处理,得到各个子图像对应的处理后的权重,根据各个子图像对应的位置信息和各个子图像对应的处理后的权重确定纹理图像对应的权重。示例性地,本实施例对子图像进行高斯模糊处理,以使得子图像对应的权重平滑。当然,本实施例不限定对权重进行平滑处理的方式,除了上述高斯模糊的处理方式以外,也可以采用其他的数据平滑算法对子图像对应的权重进行平滑处理。在得到各个子图像对应的处理后的权重之后,根据任一子图像对应的位置信息,将该任一子图像对应的处理后的权重映射至纹理图像中位置信息所指示的位置。例如,纹理图像包括位于左侧的子图像A和位于右侧的子图像B,则将子图像A对应的处理后的权重映射纹理图像的左侧,将子图像B对应的处理后的权重映射至纹理图像的右侧,从而得到纹理图像对应的权重。
或者,在第二种过程中,根据各个子图像对应的位置信息和各个子图像对应的权重确定参考权重,对参考权重进行平滑处理,得到纹理图像对应的权重。在该过程中,首先按照位置信息对各个子图像对应的权重进行映射,再对映射得到的参考权重进行平滑处理,从而得到纹理图像对应的权重。其中,子图像对应的权重的映射过程和平滑处理过程可以参见第一种过程的说明,此处不再进行赘述。
综上所述,本实施例基于第一虚拟形象进行第二虚拟形象的更新,从而得到与第一虚拟形象相匹配,也就是能够与第一虚拟形象融合的第三虚拟形象。之后,通过融合第一虚拟形象和第三虚拟形象得到目标虚拟形象。相比于对应第一风格属性的第一虚拟形象,通过融合得到的目标虚拟形象与第三虚拟形象对应的风格属性更为接近,从而实现了风格改变。由于用户无需对第一虚拟形象进行手动编辑,因而不仅提高了虚拟形象的获取效率,而且改善了虚拟形象的质量。
本申请实施例提供了一种获取虚拟形象的装置,该获取虚拟形象的装置可通过如下多个模块来实现上述电子设备所执行的获取虚拟形象的方法。参见图11,该装置包括:
获取模块1101,用于获取目标对象对应的第一虚拟形象,第一虚拟形象对应第一风格属性;
获取模块1101,还用于获取第二虚拟形象;
更新模块1102,用于根据第一虚拟形象更新第二虚拟形象,得到与第一虚拟形象相匹配的第三虚拟形象,第二虚拟形象和第三虚拟形象对应第二风格属性,第一风格属性和第二风格属性不同;
融合模块1103,用于融合第一虚拟形象和第三虚拟形象,得到目标对象对应的目标虚拟形象。
在示例性实施例中,更新模块1102,用于根据第一虚拟形象的拓扑对第二虚拟形象进行拓扑转换,得到转换后的第二虚拟形象,转换后的第二虚拟形象的拓扑与第一虚拟形象的拓扑相匹配;基于转换后的第二虚拟形象获取第三虚拟形象。
在示例性实施例中,转换后的第二虚拟形象和第一虚拟形象对应相匹配的关键点,更新模块1102,用于基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行目标处理,得到第三虚拟形象,目标处理包括缩放、位姿调整以及平移中的至少一种。
在示例性实施例中,目标处理包括缩放,更新模块1102,用于基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,确定缩放比例;按照缩放比例对转换后的第二虚拟形象进行缩放,得到缩放后的第二虚拟形象,缩放后的第二虚拟形象与第一虚拟形象的拓扑和尺寸相匹配;基于缩放后的第二虚拟形象获取第三虚拟形象。
在示例性实施例中,目标处理包括位姿调整,更新模块1102,用于基于转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点,对转换后的第二虚拟形象进行位姿调整,得到位姿调整后的第二虚拟形象,位姿调整后的第二虚拟形象与第一虚拟形象的拓扑和位姿相匹配;基于位姿调整后的第二虚拟形象获取第三虚拟形象。
在示例性实施例中,目标处理包括平移,更新模块1102,用于从转换后的第二虚拟形象对应的关键点和第一虚拟形象对应的关键点中确定目标关键点;基于转换后的第二虚拟形象对应的目标关键点和第一虚拟形象对应的目标关键点,对转换后的第二虚拟形象进行平移,得到平移后的第二虚拟形象,平移后的第二虚拟形象与第一虚拟形象的拓扑相匹配,且平移后的第二虚拟形象对应的目标关键点与第一虚拟形象对应的目标关键点重合;基于平移后的第二虚拟形象获取第三虚拟形象。在示例性实施例中,融合模块1103,用于确定第一虚拟形象对应的权重,基于第一虚拟形象对应的权重确定第三虚拟形象对应的权重;根据第一虚拟形象对应的权重以及第三虚拟形象对应的权重,对第一虚拟形象和第三虚拟形象进行加权融合,得到目标虚拟形象。
在示例性实施例中,第一虚拟形象对应有纹理图像,纹理图像包括至少两个子图像,融合模块1103,用于确定至少两个子图像中的各个子图像对应的权重;基于至少两个子图像对应的权重确定纹理图像对应的权重,纹理图像对应的权重平滑过渡;按照第一虚拟形象与纹理图像之间的映射关系,将纹理图像对应的权重映射至第一虚拟形象,得到第一虚拟形象对应的权重。
在示例性实施例中,至少两个子图像中的各个子图像对应有位置信息,任一子图像对应的位置信息用于指示任一子图像在纹理图像中的位置,融合模块1103,用于对各个子图像对应的权重进行平滑处理,得到各个子图像对应的处理后的权重,根据各个子图像对应的位置信息和各个子图像对应的处理后的权重确定纹理图像对应的权重;或者,根据各个子图像对应的位置信息和各个子图像对应的权重确定参考权重,对参考权重进行平滑处理,得到纹理图像对应的权重。
在示例性实施例中,第一虚拟形象包括至少两个虚拟形象区域,融合模块1103,用于确定至少两个虚拟形象区域中的各个虚拟形象区域对应的权重,第一虚拟形象的权重包括各个虚拟形象区域对应的权重。
综上所述,本实施例基于第一虚拟形象进行第二虚拟形象的更新,从而得到与第一虚拟形象相匹配,也就是能够与第一虚拟形象融合的第三虚拟形象。之后,通过融合第一虚拟形象和第三虚拟形象得到目标虚拟形象。相比于对应第一风格属性的第一虚拟形象,通过融合得到的目标虚拟形象与第三虚拟形象对应的风格属性更为接近,从而实现了风格改变。由于用户无需对第一虚拟形象进行手动编辑,因而不仅提高了虚拟形象的获取效率,而且改善了虚拟形象的质量。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
参见图12,其示出了本申请实施例提供的一种电子设备1200的结构示意图。该电子设备1200可以是便携式移动电子设备,比如:智能手机、平板电脑、笔记本电脑或台式电脑。电子设备1200还可能被称为用户设备、便携式电子设备、膝上型电子设备、台式电子设备等其他名称。
通常,电子设备1200包括有:处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)所组成的群组中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏1205所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的获取虚拟形象的方法。
在一些实施例中,电子设备1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209所组成的群组中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1204包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或Wi-Fi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1205用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置在电子设备1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在电子设备1200的不同表面或呈折叠设计;在另一些实施例中,显示屏1205可以是柔性显示屏,设置在电子设备1200的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地,摄像头组件1206包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。
定位组件1208用于定位电子设备1200的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件1208可以是基于美国的GPS(Global Positioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为电子设备1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于:加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1210可以检测以电子设备1200建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号,控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测电子设备1200的机体方向及转动角度,陀螺仪传感器1212可以与加速度传感器1211协同采集用户对电子设备1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在电子设备1200的侧边框和/或显示屏1205的下层。当压力传感器1213设置在电子设备1200的侧边框时,可以检测用户对电子设备1200的握持信号,由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时,由处理器1201根据用户对显示屏1205的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件所组成的群组中的至少一种。
指纹传感器1214用于采集用户的指纹,由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份,或者,由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1201授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置在电子设备1200的正面、背面或侧面。当电子设备1200上设置有物理按键或厂商Logo时,指纹传感器1214可以与物理按键或厂商Logo集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中,处理器1201可以根据光学传感器1215采集的环境光强度,控制显示屏1205的显示亮度。具体地,当环境光强度较高时,调高显示屏1205的显示亮度;当环境光强度较低时,调低显示屏12012的显示亮度。在另一个实施例中,处理器1201还可以根据光学传感器1215采集的环境光强度,动态调整摄像头组件1206的拍摄参数。
接近传感器1216,也称距离传感器,通常设置在电子设备1200的前面板。接近传感器1216用于采集用户与电子设备1200的正面之间的距离。在一个实施例中,当接近传感器1216检测到用户与电子设备1200的正面之间的距离逐渐变小时,由处理器1201控制显示屏1205从亮屏状态切换为息屏状态;当接近传感器1216检测到用户与电子设备1200的正面之间的距离逐渐变大时,由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图12中示出的结构并不构成对电子设备1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例提供了一种电子设备,电子设备包括存储器及处理器,存储器中存储有至少一条指令,至少一条指令由处理器加载并执行,以实现本申请的任一种示例性实施例所提供的获取虚拟形象的方法。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有至少一条指令,指令由处理器加载并执行以实现本申请的任一种示例性实施例所提供的获取虚拟形象的方法。
本申请实施例提供了一种计算机程序或计算机程序产品,计算机程序或计算机程序产品包括:计算机指令,计算机指令被计算机执行时,使得计算机实现本申请的任一种示例性实施例所提供的获取虚拟形象的方法。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (13)

1.一种获取虚拟形象的方法,其特征在于,所述方法包括:
获取目标对象对应的第一虚拟形象,所述第一虚拟形象对应第一风格属性;
获取第二虚拟形象,根据所述第一虚拟形象更新所述第二虚拟形象,得到与所述第一虚拟形象相匹配的第三虚拟形象,所述第二虚拟形象和所述第三虚拟形象对应第二风格属性,所述第一风格属性和所述第二风格属性不同;
融合所述第一虚拟形象和所述第三虚拟形象,得到所述目标对象对应的目标虚拟形象。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一虚拟形象更新所述第二虚拟形象,得到与所述第一虚拟形象相匹配的第三虚拟形象,包括:
根据所述第一虚拟形象的拓扑对所述第二虚拟形象进行拓扑转换,得到转换后的第二虚拟形象,所述转换后的第二虚拟形象的拓扑与所述第一虚拟形象的拓扑相匹配;
基于所述转换后的第二虚拟形象获取所述第三虚拟形象。
3.根据权利要求2所述的方法,其特征在于,所述转换后的第二虚拟形象和所述第一虚拟形象对应相匹配的关键点,所述基于所述转换后的第二虚拟形象获取所述第三虚拟形象,包括:
基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行目标处理,得到所述第三虚拟形象,所述目标处理包括缩放、位姿调整以及平移中的至少一种。
4.根据权利要求3所述的方法,其特征在于,所述目标处理包括缩放,所述基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行目标处理,得到所述第三虚拟形象,包括:
基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,确定缩放比例;
按照所述缩放比例对所述转换后的第二虚拟形象进行缩放,得到缩放后的第二虚拟形象,所述缩放后的第二虚拟形象与所述第一虚拟形象的拓扑和尺寸相匹配;
基于所述缩放后的第二虚拟形象获取所述第三虚拟形象。
5.根据权利要求3所述的方法,其特征在于,所述目标处理包括位姿调整,所述基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行目标处理,得到所述第三虚拟形象,包括:
基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行位姿调整,得到位姿调整后的第二虚拟形象,所述位姿调整后的第二虚拟形象与所述第一虚拟形象的拓扑和位姿相匹配;
基于所述位姿调整后的第二虚拟形象获取所述第三虚拟形象。
6.根据权利要求3所述的方法,其特征在于,所述目标处理包括平移,所述基于所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点,对所述转换后的第二虚拟形象进行目标处理,得到所述第三虚拟形象,包括:
从所述转换后的第二虚拟形象对应的关键点和所述第一虚拟形象对应的关键点中确定目标关键点;
基于所述转换后的第二虚拟形象对应的目标关键点和所述第一虚拟形象对应的目标关键点,对所述转换后的第二虚拟形象进行平移,得到平移后的第二虚拟形象,所述平移后的第二虚拟形象与所述第一虚拟形象的拓扑相匹配,且所述平移后的第二虚拟形象对应的目标关键点与所述第一虚拟形象对应的目标关键点重合;
基于所述平移后的第二虚拟形象获取所述第三虚拟形象。
7.根据权利要求1-6任一所述的方法,其特征在于,所述融合所述第一虚拟形象和所述第三虚拟形象,得到所述目标对象对应的目标虚拟形象,包括:
确定所述第一虚拟形象对应的权重,基于所述第一虚拟形象对应的权重确定所述第三虚拟形象对应的权重;
根据所述第一虚拟形象对应的权重以及所述第三虚拟形象对应的权重,对所述第一虚拟形象和所述第三虚拟形象进行加权融合,得到所述目标虚拟形象。
8.根据权利要求7所述的方法,其特征在于,所述第一虚拟形象对应有纹理图像,所述纹理图像包括至少两个子图像,所述第一虚拟形象与所述纹理图像之间具有映射关系,所述确定所述第一虚拟形象对应的权重,包括:
确定所述至少两个子图像中的各个子图像对应的权重;
基于所述至少两个子图像对应的权重确定所述纹理图像对应的权重,所述纹理图像对应的权重平滑过渡;
按照所述第一虚拟形象与所述纹理图像之间的映射关系,将所述纹理图像对应的权重映射至所述第一虚拟形象,得到所述第一虚拟形象对应的权重。
9.根据权利要求8所述的方法,其特征在于,所述至少两个子图像中的各个子图像对应有位置信息,任一子图像对应的位置信息用于指示所述任一子图像在所述纹理图像中的位置,所述基于所述至少两个子图像对应的权重确定所述纹理图像对应的权重,包括:
对所述各个子图像对应的权重进行平滑处理,得到所述各个子图像对应的处理后的权重,根据所述各个子图像对应的位置信息和所述各个子图像对应的处理后的权重确定所述纹理图像对应的权重;
或者,根据所述各个子图像对应的位置信息和所述各个子图像对应的权重确定参考权重,对所述参考权重进行平滑处理,得到所述纹理图像对应的权重。
10.根据权利要求7所述的方法,其特征在于,所述第一虚拟形象包括至少两个虚拟形象区域,所述确定所述第一虚拟形象对应的权重,包括:
确定所述至少两个虚拟形象区域中的各个虚拟形象区域对应的权重,所述第一虚拟形象的权重包括所述各个虚拟形象区域对应的权重。
11.一种获取虚拟形象的装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象对应的第一虚拟形象,所述第一虚拟形象对应第一风格属性;
所述获取模块,还用于获取第二虚拟形象;
更新模块,用于根据所述第一虚拟形象更新所述第二虚拟形象,得到与所述第一虚拟形象相匹配的第三虚拟形象,所述第二虚拟形象和所述第三虚拟形象对应第二风格属性,所述第一风格属性和所述第二风格属性不同;
融合模块,用于融合所述第一虚拟形象和所述第三虚拟形象,得到所述目标对象对应的目标虚拟形象。
12.一种电子设备,其特征在于,所述电子设备包括存储器及处理器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现权利要求1-10任一所述的获取虚拟形象的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1-10任一所述的获取虚拟形象的方法。
CN202110310458.7A 2021-03-23 2021-03-23 获取虚拟形象的方法、装置、设备及计算机可读存储介质 Pending CN113706678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310458.7A CN113706678A (zh) 2021-03-23 2021-03-23 获取虚拟形象的方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310458.7A CN113706678A (zh) 2021-03-23 2021-03-23 获取虚拟形象的方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113706678A true CN113706678A (zh) 2021-11-26

Family

ID=78647869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310458.7A Pending CN113706678A (zh) 2021-03-23 2021-03-23 获取虚拟形象的方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113706678A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792355A (zh) * 2022-06-24 2022-07-26 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN114820908A (zh) * 2022-06-24 2022-07-29 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN115147265A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN115359220A (zh) * 2022-08-16 2022-11-18 支付宝(杭州)信息技术有限公司 虚拟世界的虚拟形象更新方法及装置
CN116030150A (zh) * 2023-01-03 2023-04-28 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792355A (zh) * 2022-06-24 2022-07-26 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN114820908A (zh) * 2022-06-24 2022-07-29 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN114820908B (zh) * 2022-06-24 2022-11-01 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN114792355B (zh) * 2022-06-24 2023-02-24 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN115147265A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和存储介质
CN115359220A (zh) * 2022-08-16 2022-11-18 支付宝(杭州)信息技术有限公司 虚拟世界的虚拟形象更新方法及装置
CN115359220B (zh) * 2022-08-16 2024-05-07 支付宝(杭州)信息技术有限公司 虚拟世界的虚拟形象更新方法及装置
CN116030150A (zh) * 2023-01-03 2023-04-28 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和介质
CN116030150B (zh) * 2023-01-03 2023-11-28 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
CN110189340B (zh) 图像分割方法、装置、电子设备及存储介质
CN109308727B (zh) 虚拟形象模型生成方法、装置及存储介质
CN109712224B (zh) 虚拟场景的渲染方法、装置及智能设备
CN110427110B (zh) 一种直播方法、装置以及直播服务器
CN111738220A (zh) 三维人体姿态估计方法、装置、设备及介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN113706678A (zh) 获取虚拟形象的方法、装置、设备及计算机可读存储介质
CN111738914B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109977775B (zh) 关键点检测方法、装置、设备及可读存储介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN111028144B (zh) 视频换脸方法及装置、存储介质
WO2022052620A1 (zh) 图像生成方法及电子设备
CN110599593B (zh) 数据合成的方法、装置、设备及存储介质
CN110335224B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111680758B (zh) 图像训练样本生成方法和装置
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
WO2020233403A1 (zh) 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN110675412B (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN109978996B (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN110796083A (zh) 图像显示方法、装置、终端及存储介质
CN110675413B (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN110837300A (zh) 虚拟交互的方法、装置、电子设备及存储介质
CN113160031B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant after: Shenzhen Tencent Computer System Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination