CN114820905B - 虚拟形象生成方法、装置、电子设备及可读存储介质 - Google Patents

虚拟形象生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114820905B
CN114820905B CN202210721026.XA CN202210721026A CN114820905B CN 114820905 B CN114820905 B CN 114820905B CN 202210721026 A CN202210721026 A CN 202210721026A CN 114820905 B CN114820905 B CN 114820905B
Authority
CN
China
Prior art keywords
model
target
rendering
mapping relation
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210721026.XA
Other languages
English (en)
Other versions
CN114820905A (zh
Inventor
李�杰
刘豪杰
张岩
申雪岑
陈睿智
赵晨
滕禹桥
丁二锐
吴甜
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210721026.XA priority Critical patent/CN114820905B/zh
Publication of CN114820905A publication Critical patent/CN114820905A/zh
Application granted granted Critical
Publication of CN114820905B publication Critical patent/CN114820905B/zh
Priority to JP2022195850A priority patent/JP2023029984A/ja
Priority to US18/082,997 priority patent/US20230120253A1/en
Priority to KR1020230001091A priority patent/KR20230012078A/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

本公开提供了一种虚拟形象生成方法、装置、电子设备及可读存储介质，涉及深度学习、计算机视觉、增强现实、虚拟现实等人工智能技术领域，可应用于虚拟形象生成等场景。该方法包括：对虚拟形象的初始模型进行减面处理，得到减面模型；对减面模型中每种材质类型所在的区域，分别进行白模贴图渲染和超写实渲染，并经白模贴图渲染后得到第一目标模型和经超写实渲染后得到第二目标模型；建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到目标虚拟形象。该方法可以在对虚拟形象对应的模型进行减面以降低模型复杂度的同时，也尽可能的保留虚拟形象的写实度和逼真度。

Description

虚拟形象生成方法、装置、电子设备及可读存储介质
技术领域
本公开涉及人工智能技术领域，具体涉及深度学习、计算机视觉、增强现实AR、虚拟现实等技术领域，可应用于虚拟形象生成等场景，尤其涉及一种虚拟形象生成方法、装置、电子设备及计算机可读存储介质。
背景技术
虚拟形象是创建元宇宙虚拟世界的关键组成部分。虚拟元宇宙世界的构建建立在高细腻、高沉浸、低延迟等主客观必需要求上。
根据不同应用场景下的不同需求，虚拟形象例如虚拟数字人可分为2D、3D、卡通、写实、超写实等几类，而目前超写实虚拟数字人的生成以及驱动渲染往往需要借助高性能设备。
发明内容
本公开实施例提出了一种虚拟形象生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面，本公开实施例提出了一种虚拟形象生成方法，包括：对虚拟形象的初始模型进行减面处理，得到减面模型；对减面模型中每种材质类型所在的区域，分别进行白模贴图渲染和超写实渲染，并经白模贴图渲染后得到第一目标模型和经超写实渲染后得到第二目标模型；建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到目标虚拟形象。
第二方面，本公开实施例提出了一种虚拟形象生成装置，包括：减面处理单元，被配置成对虚拟形象的初始模型进行减面处理，得到减面模型；分区渲染单元，被配置成对减面模型中每种材质类型所在的区域，分别进行白模贴图渲染和超写实渲染，并经白模贴图渲染后得到第一目标模型和经超写实渲染后得到第二目标模型；目标虚拟形象生成单元，被配置成建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到目标虚拟形象。
第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的虚拟形象生成方法。
第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的虚拟形象生成方法。
第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的虚拟形象生成方法的步骤。
本公开所提供的虚拟形象生成方案，通过对虚拟形象的初始模型进行减面处理，以降低模型面数的方式降低了模型复杂度，同时结合按材质类型的分区渲染，得以提升了渲染效率。而为了尽可能避免因减面处理对虚拟形象写实度和逼真度造成损失，还通过建立白膜贴图渲染与超写实渲染之间的双向映射使得超写实渲染能够进一步的映射关系中学习到白膜贴图渲染中记录的缺失的模型细节，进而提升目标虚拟形象的写实度和逼真度，使得在减面的同时也兼顾了虚拟形象的视觉呈现效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开可以应用于其中的示例性系统架构；
图2为本公开实施例提供的一种虚拟形象生成方法的流程图；
图3为本公开实施例提供的虚拟形象生成方法中一种对初始模型进行减面处理的方法的流程图；
图4为本公开实施例提供的虚拟形象生成方法中一种对减面模型进行分区渲染的方法的流程图；
图5为本公开实施例提供的虚拟形象生成方法中一种优化超写实渲染效果的方法的流程图；
图6为本公开实施例提供的一种虚拟形象生成装置的结构框图；
图7为本公开实施例提供的一种适用于执行虚拟形象生成方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1示出了可以应用本公开的虚拟形象生成方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如虚拟现实类应用、虚拟人物角色创建类应用、模型渲染类应用等。
终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务，以可以提供虚拟形象生成服务的模型渲染类应用为例，服务器105在运行该模型渲染类应用时可实现如下效果：首先，通过网络104接收用户通过其终端设备101、102、103传入的虚拟形象参数；然后，根据该虚拟形象参数确定对应虚拟形象的初始模型；接着，对初始模型进行减面处理，得到减面模型；下一步，对减面模型中每种材质类型所在的区域，分别进行白模贴图渲染和超写实渲染，并经白模贴图渲染后得到第一目标模型和经超写实渲染后得到第二目标模型；接下来，建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到目标虚拟形象。
进一步的，服务器105还可以将目标虚拟形象的画面形象通过网络104返回至终端设备101、102、103，以便于用户看到对应的虚拟形象，进而确定是否可用于虚拟数据空间。
需要指出的是，虚拟形象参数除可以从终端设备101、102、103通过网络104临时获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时（例如开始处理之前留存的待处理任务），可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。
本公开后续各实施例所提供的虚拟形象生成方法可以由运算能力较强的服务器105来执行，也可以因已经进行包括有减面处理操作，将本公开实施例所提供的执行步骤全部或部分的交由拥有相对较弱的运算能力的终端设备101、102、103来执行，只需要确认本公开所提供的虚拟形象生成所需要的运算能力可以由终端设备来提供即可。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2为本公开实施例提供的一种虚拟形象生成方法的流程图，其中流程200包括以下步骤：
步骤201：对虚拟形象的初始模型进行减面处理，得到减面模型。
本步骤旨在由虚拟形象生成方法的执行主体（例如图1所示的服务器105或终端设备101、102、103）利用减面算法对虚拟形象的初始模型进行减面处理，以利用减面处理来减少构成初始模型的三角面片的数量，进而降低模型的复杂度，得到减面模型。
由于三维场景浏览和交互操作更贴近人们在现实环境中的观察方式和感受，以及虚拟仿真技术、图形技术、网络技术和数字城市技术的快速发展，对三维仿真应用的需求越来越大。而通过建模工具生成或扫描仪得到的三维模型，作为仿真场景的组成部分，其数据量往往较大，若直接将其交给图形流水线处理，往往超出硬件的承受能力，无法达到实时显示的要求。
自动简化技术为处理复杂、大数据量模型提供了一种解决途径。在尽量保证场景显示不失真的前提下，依据模型表面的重要程度来逐渐简化细节，从而降低硬件负担。其用途在于，能产生场景中物体的细节层次模型，来提高整个场景的渲染速度；缩减模型文件尺寸，适合网络发布和下载；自动处理技术还可以降低人工编辑大数据量三维场景的作业强度。
现阶段，相当多的计算机图形应用要求使用复杂、高细节模型来给人更加真实的视觉感受。这样，在模型制作时，就要求达到非常高的分辨率来满足这种细节上的需求。然而，在应用的时候并不总是要求模型以完整的模式从始至终的表现出来，且模型越复杂，计算开销越大，有时使用一个复杂模型的简化版本就足够了。因此，自动产生这些模型的简化版本是很重要的。
通常使用较多的简化方式是基于迭代的边收缩和二次型误差度量简化算法，其特点是能快速的产生多边形模型的高质量近似，是一种兼顾效率和质量的方案。并且，多边形模型不仅仅是几何要素比较复杂，而且还可能包含不同的表面属性如颜色、纹理和面法向量等数据。而这种方法的一般形式，在简化模型表面几何要素的同时，还涉及到顶点的颜色和纹理属性。
即本步骤所进行的减面处理可以直接采用现有的简化算法，也可以是在现有简化算法基础上结合构建虚拟形象的模型特性和需求特性，进一步改进得到。
步骤202：对减面模型中每种材质类型所在的区域，分别进行白模贴图渲染和超写实渲染，并经白模贴图渲染后得到第一目标模型和经超写实渲染后得到第二目标模型。
在步骤201的基础上，本步骤旨在由上述执行主体对减面模型进行分区渲染，分区的方式为将构成减面模型上相同材质类型的区域划分为一个区域，即在串行渲染时仅对同一材质类型的区域进行渲染，在完成该材质类型区域的渲染后才对另一材质类型的区域进行渲染；若能够提供并行渲染能力，则每个渲染线程都只负责对一种材质类型的区域进行渲染。且结合本申请所要求的虚拟形象的渲染目的和使用场景，渲染还将细分为白膜贴图渲染和超写实渲染。
在对模型进行渲染时，根据模型中不同部位所需要呈现出的特性，可以将其分为不同的材质，例如以对光线的不同反射特性，可以包括：漫射材质，光泽材质，镜面材质，混合材质等。除此之外，也可以根据其它特性需求，划分出不同的材质类型，例如按照不同金属的光泽特性、不同柔软度的弹性特性等。
其中，超写实渲染比白膜贴图渲染的渲染结果，具有更高的写实度、细腻度和逼真度，更加符合在虚拟数据空间下充当用户的虚拟人物形象。
步骤203：建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到目标虚拟形象。
在步骤202的基础上，本步骤旨在由上述执行主体建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到能够充当目标虚拟形象的最终模型。其中，与目标虚拟形象对应的最终模型是在第二目标模型的基础上，进一步的增加了从第一目标模型上学习到了第二目标模型上没有的、缺失的模型细节的新模型。
简单来说，与目标虚拟形象对应的最终模型是第二目标模型的优化版，优化方向为增加了仅记录在第一目标模型中的模型细节，这也是本步骤建立第一目标模型与第二目标模型之间的双向映射的目的所在。
其中，迭代更新的目的是为了对初始的双向映射关系进行优化，使得优化后的映射关系更加准确，进而为优化第二目标模型提供更准确的优化方向。
本公开实施例提供的虚拟形象生成方法，通过对虚拟形象的初始模型进行减面处理，以降低模型面数的方式降低了模型复杂度，同时结合按材质类型的分区渲染，得以提升了渲染效率。而为了尽可能避免因减面处理对虚拟形象写实度和逼真度造成损失，还通过建立白膜贴图渲染与超写实渲染之间的双向映射使得超写实渲染能够进一步的映射关系中学习到白膜贴图渲染中记录的缺失的模型细节，进而提升目标虚拟形象的写实度和逼真度，使得在减面的同时也兼顾了虚拟形象的视觉呈现效果。
进一步的，除步骤202提供的按材质类型进行分区渲染外，也可以按照其它可以起到类似效果的方式进行分区，以同样借助分区的思想来提升渲染效率，例如将分别对具有连通性的区域进行分区、按照虚拟形象的不同部位进行分区、按照复杂程度进行分区等等。
请参考图3，图3为本公开实施例提供的一种对初始模型进行减面处理的方法的流程图，即针对图2所示的流程200中的步骤201提供了一种具体的实现方式，流程200中的其它步骤并不做调整，即可以通过将本实施例所提供的具体实现方式以替换步骤201的方式得到一个新的完整实施例。其中流程300包括以下步骤：
步骤301：利用附加有减面标记的标准减面算法对初始模型进行减面处理。
由于本公开所要减面的对象为虚拟形象对应的初始模型，那么相比于构成虚拟形象上其余区域的信息，面部的信息被关注的最多、关注的最仔细，因此为了尽可能的避免面部区域的模型细节因统一的减面操作而丢失过多的细节，本步骤预先对标准减面算法附加有减面标记，并利用该减面标记来指示对初始模型的面部区域进行减面处理的减面程度小于对其它区域（例如躯干部分、四肢部分等）进行减面处理的减面程度，进而通过减少面部区域减面程度的方式来尽可能的保障初始模型的面部细节，相对的，其它关注的较少、细节较少的区域（例如躯干部分、四肢部分等），则可以采用较大的减面程度，来使得初始模型的整体减面程度仍是可观的。
另外，其它场景下的初始模型若也需要进行减面处理，也同样可以基于模型各部分关注度的不同，适应性的设定不同部分的减面程度，进而提升关注度较高的部分不会因为较大程度的减面处理而丢失过多的模型细节。
其中，标准减面算法可以是标准的二次误差度量简化算法，也可以是其它能够起到相同或类似简化效果的简化算法。
步骤302：对进行减面处理的初始模型的二维贴图维度的坐标进行同步更新，得到更新后模型。
本步骤旨在由上述执行主体在进行减面处理过程中，在常规的仅对构成初始模型的各个三角面片的关键点的三维坐标进行更新的基础上，还对进行减面处理的初始模型的二维贴图维度（UV维度）的坐标进行同步更新，得到更新后模型。
即通过增加一个更新维度来优化因减面算法导致的关键点减少的错位问题，使得在关键点减少的情况下，剩下的少量关键点的坐标更加合适，而不是依然留在原位置。
进一步的，除增加二维贴图维度之外，还可以增加RGB（Red Green Blue，红绿蓝）维度、每个面片的法向维度等等，即可以自行增加其它可优化减面模型与初始模型接近程度的其它维度，以弥补因进行减面处理对模型细节的损失。
步骤303：利用初始模型的骨骼蒙皮信息对更新后模型的面部五官区域进行保护性处理，得到减面模型。
本步骤旨在由上述执行主体利用初始模型的骨骼蒙皮信息对更新后模型的面部五官区域进行保护性处理，以通过初始模型的骨骼蒙皮信息来得到准确的骨骼蒙皮权重，进而通过该骨骼蒙皮权重来修正更新后模型的面部五官区域的关键点的位移量，进而使得得到的减面模型更加接近初始模型。
本实施例通过步骤301-步骤303提供了一种针对虚拟形象对应初始模型的减面处理方案，步骤301通过为面部区域附加减面标记，使得在对初始模型进行减面操作时，对关注最多、关注的最仔细的面部区域按较低的减面程度进行减面处理，以尽可能的保留面部区域的模型细节；步骤302则通过控制在常规的减面算法仅更新构成三角面片的各关键点的三维空间坐标的基础上，增加了对二维贴图维度下坐标的更新步骤，从而更加适合虚拟形象最终在UV空间下展示和使用；步骤303则通过使用初始模型的骨骼蒙皮信息来对更新后模型的面部五官区域进行保护性处理，以使得经处理后的更新后模型的面部关键点拥有更准确的骨骼蒙皮权重，能够支持实现更准确的面部表情，提升减面模型的表情写实度和逼真程度。
需要说明的是，步骤301也可以单独作为对初始模型进行减面处理的一个完整下位实现方案，也可以像流程300所示的结合步骤302-步骤303得到另一个更加全面、在保持减面程度的情况下还能尽可能的提升模型写实度和逼真程度的另一完整下位实现方案，具体选择哪种可根据实际情况灵活选择，本实施例仅作为一个同时包含步骤301和步骤302-步骤303的优选实施例存在。
在图3所示实施例的基础上，在利用附加有面部减面标记的标准减面算法对初始模型进行减面处理之前，还可以结合上述执行主体的运算性能的强弱，来确定标准减面算法所具体采用的减面程度参数。
一种包括且不限于的实现方式可以为：确定当前设备的设备类型；响应于设备类型为移动终端，确定与当前的移动终端的运算性能相适配的目标减面程度参数；其中，运算性能越强，目标减面程度参数指示的减面程度越高。
那么对应的，上述实施例中“利用附加有减面标记的标准减面算法对原始虚拟数字人进行减面处理”中的标准减面算法的减面程度参数就可以具体为目标减面程度参数。
即首先确定设备类型，然后再通过确定与设备类型的运算性能，最终将与运算性能相适配的减面程度参数确定为后续采用的标准减面算法的减面程度参数。另外，即使同为移动终端，不同操作系统、不同型号的移动终端，其运算性能也不尽相同，在确定移动终端的运算性能时还需要充分考虑上述影响因素。
在上述任意实施例的基础上，为了尽可能的提升减面模型与初始模型的接近程度，还可以对减面模型与初始模型进行模型对齐和二维贴图坐标更新处理，以避免仅进行减面处理后使得减面模型与初始模型存在较为明显的差异。
请参考图4，图4为本公开实施例提供的一种对减面模型进行分区渲染的方法的流程图，即针对图2所示的流程200中的步骤202提供了一种具体的实现方式，流程200中的其它步骤并不做调整，即可以通过将本实施例所提供的具体实现方式以替换步骤202的方式得到一个新的完整实施例。其中流程400包括以下步骤：
步骤401：对减面模型按材质类型进行区域划分，得到分区模型。
本步骤旨在由上述执行主体对减面模型按材质类型进行区域划分，即将构成减面模型上相同材质类型的区域划分为一个区域，得到分区域的分区模型。
步骤402：利用可微分渲染器和白膜贴图渲染技术，建立各材质类型区域的二维贴图与白膜贴图渲染之间的映射关系，得到第一目标模型。
本步骤旨在由上述执行主体利用可微分渲染器和白膜贴图渲染技术，建立各材质类型区域的二维贴图与白膜贴图渲染之间的映射关系，得到第一目标模型。
其中，白膜贴图渲染技术是一种基于物理的渲染技术，其英文全称为Physicallly-Based-Rendering，英文缩写为PBR，旨在建立各材质类型区域的二维贴图与白膜贴图渲染之间的映射关系。
另外，也可以使用基于lambert（光照模型）的方式建立各材质类型区域的二维贴图与白膜贴图渲染之间的映射关系，可根据实际情况自行选用合适的方式。
步骤403：利用可微分渲染器和超写实管线，建立各材质类型区域的二维贴图与超写实渲染之间的映射关系，得到第二目标模型。
区别于步骤402所进行的白膜贴图渲染，本步骤旨在由上述执行主体利用可微分渲染器和超写实管线，建立各材质类型区域的二维贴图与超写实渲染之间的映射关系，得到第二目标模型。
超写实渲染是一种区别于白膜贴图渲染的渲染方式，能够得到比白膜贴图渲染具有更高写实度、细腻度、逼真度的渲染结果，更适合在虚拟数据空间下使用，能够满足用户对充当自身形象的虚拟形象的精细程度要求。
本实施例通过步骤401-步骤403对如何进行分区、如何对分区虚拟数字人分别进行白膜贴图渲染和超写实渲染，进行了详细的展开说明，进而通过更具体的实现方案提升了方案的可行性。
请参考图5，图5为本公开实施例提供的一种优化超写实渲染效果的方法的流程图，即针对图2所示的流程200中的步骤203提供了一种具体的实现方式，流程200中的其它步骤并不做调整，即可以通过将本实施例所提供的具体实现方式以替换步骤203的方式得到一个新的完整实施例。其中流程500包括以下步骤：
步骤501：利用循环神经网络建立第一目标模型与第二目标模型之间的第一映射关系。
步骤502：利用循环神经网络建立第二目标模型与第一目标模型之间的第二映射关系。
应当理解的是，第一映射关系是将第一目标模型作为映射的源、将第二目标模型作为映射的目的，所建立起的映射关系，确定的是第一目标模型上哪些部分、哪些点、哪些特征对应第二目标模型上的哪些部分、哪些点、哪些特征。
第二映射关系则是将第二目标模型作为映射的源、将第一目标模型作为映射的目的，所建立起的映射关系，确定的是第二目标模型上哪些部分、哪些点、哪些特征对应第一目标模型上的哪些部分、那些点、哪些特征。
应当理解的是，由于映射的源和目的相反，所以独立得到的第一映射关系和第二映射关系并不是简单的可逆关系，而是更独立的两组映射关系，反映了不同方向带来的不同映射关系，是存在差别的。
步骤503：基于循环神经网络中的感知损失函数和对抗损失函数，对第一映射关系和第二映射关系进行迭代更新，得到更新后第一映射关系和更新后第二映射关系。
在步骤501和步骤502的基础上，本步骤旨在由上述执行主体基于循环神经网络中的感知损失函数和对抗损失函数，来对原始的第一映射关系和第二映射关系进行迭代更新，其迭代更新的目的是为了对初始的双向映射关系进行优化，使得优化后的映射关系更加准确，进而为优化第二目标模型提供更准确的优化方向。
进一步的，除了感知损失函数和对抗损失函数之外，在上述实施例增加了RGB维度的情况下，还可以增加RGB的L1损失函数（用于最小化误差，该误差是真实值和预测值之间的所有绝对差之和）来指导RGB空间的模型参数进行优化。
步骤504：利用更新后第一映射关系和更新后第二映射关系更新所述第二目标模型，得到目标虚拟形象。
由于本公开所针对的虚拟形象对应模型的最终渲染需求为超写实渲染，所以本步骤利用更新后第一映射关系和更新后第二映射关系更新第二目标模型，得到目标虚拟形象。
即在第二目标模型的基础上，通过更新后第一映射关系和更新后第二映射关系将从第一目标模型上学习到的第二目标模型上没有的、缺失的模型细节更新进第二目标模型，得到模型细节更好的目标虚拟形象。
需要说明的是，虽然仅建立第一目标模型与第二目标模型的单向映射关系，也可以通过该单向映射关系从第一目标模型中学习到一些模型细节，但本实施例通过建立双向映射关系和迭代更新，使得通过双向映射关系可以得到比单向映射关系更多、更准确的模型细节，进而使得目标虚拟形象将具有更高的写实度、细腻度和逼真度。
在上述任意实施例的基础上，还可以使用U-NET（一种具有U型结构的神经网络）网络架构，并对block（模型功能单元）内部相关卷积计算进行裁剪优化，且使用float16（半精度）作为网络计算前向和梯度回传，来降低计算得到前向和梯度回传的复杂度和缩短耗时。
在上述任意实施例的基础上，在已经得到目标虚拟形象的情况下，还可以通过接收目标用户传入的用户图像，使得结合该用户图像和该目标虚拟形象，得以在虚拟数据空间下为该目标用户生成体现用户图像内相关图像特征的虚拟形象，以便用于作为该目标用户的个人专属虚拟形象。
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种虚拟形象生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的虚拟形象生成装置600可以包括：减面处理单元601、分区渲染单元602、目标虚拟形象生成单元603。其中，减面处理单元601，被配置成对虚拟形象的初始模型进行减面处理，得到减面模型；分区渲染单元602，被配置成对减面模型中每种材质类型所在的区域，分别进行白模贴图渲染和超写实渲染，并经白模贴图渲染后得到第一目标模型和经超写实渲染后得到第二目标模型；目标虚拟形象生成单元603，被配置成建立第一目标模型与第二目标模型之间的双向映射，并通过迭代更新得到目标虚拟形象。
在本实施例中，虚拟形象生成装置600中：减面处理单元601、分区渲染单元602、目标虚拟形象生成单元603的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，减面处理单元601可以包括：
边界保护子单元，被配置成利用附加有减面标记的标准减面算法对初始模型进行减面处理，得到减面模型；其中，减面标记用于指示对初始模型的面部区域进行减面处理的减面程度小于对其它区域进行减面处理的减面程度。
在本实施例的一些可选的实现方式中，减面处理单元601还可以包括：
同步更新子单元，被配置成对进行减面处理的初始模型的二维贴图维度的坐标进行同步更新，得到更新模型；
骨骼蒙皮处理子单元，被配置成利用初始模型的骨骼蒙皮信息对更新模型的面部五官区域进行保护性处理。
在本实施例的一些可选的实现方式中，减面处理单元601还可以包括：
设备类型确定子单元，被配置成在确定当前设备的设备类型；
目标减面程度参数确定单元，被配置成响应于设备类型为移动终端，确定与当前的移动终端的运算性能相适配的目标减面程度参数。
在本实施例的一些可选的实现方式中，边界保护子单元可以被进一步配置成：
利用附加有减面标记的标准减面算法对初始模型进行减面处理；其中，标准减面算法的减面程度参数为目标减面程度参数。
在本实施例的一些可选的实现方式中，虚拟形象生成装置600中还可以包括：
对齐及坐标更新单元，被配置成对减面模型与初始模型进行模型对齐和二维贴图坐标更新处理。
在本实施例的一些可选的实现方式中，分区渲染单元602可以被进一步配置成：
对减面模型按材质类型进行区域划分，得到分区模型；
利用可微分渲染器和白膜贴图渲染技术，建立各材质类型区域的二维贴图与白膜贴图渲染之间的映射关系，得到第一目标模型；
利用可微分渲染器和超写实管线，建立各材质类型区域的二维贴图与超写实渲染之间的映射关系，得到第二目标模型。
在本实施例的一些可选的实现方式中，目标虚拟形象生成单元603可以被进一步配置成：
利用循环神经网络建立第一目标模型与第二目标模型之间的第一映射关系；
利用循环神经网络建立第二目标模型与第一目标模型之间的第二映射关系；
基于循环神经网络中的感知损失函数和对抗损失函数，对第一映射关系和第二映射关系进行迭代更新，得到更新后第一映射关系和更新后第二映射关系；
利用更新后第一映射关系和更新后第二映射关系更新第二目标模型，得到目标虚拟形象。
在本实施例的一些可选的实现方式中，虚拟形象生成装置600中还可以还包括：
用户图像获取单元，被配置成获取目标用户的用户图像；
用户虚拟形象生成单元，被配置成根据用户图像和目标虚拟形象，在虚拟数据空间下生成与目标用户对应的虚拟形象。
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的虚拟形象生成装置，通过对虚拟形象的初始模型进行减面处理，以降低模型面数的方式降低了模型复杂度，同时结合按材质类型的分区渲染，得以提升了渲染效率。而为了尽可能避免因减面处理对虚拟形象写实度和逼真度造成损失，还通过建立白膜贴图渲染与超写实渲染之间的双向映射使得超写实渲染能够进一步的映射关系中学习到白膜贴图渲染中记录的缺失的模型细节，进而提升目标虚拟形象的写实度和逼真度，使得在减面的同时也兼顾了虚拟形象的视觉呈现效果。
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的虚拟形象生成方法。
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的虚拟形象生成方法。
根据本公开的实施例，本公开还提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的虚拟形象生成方法。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如虚拟形象生成方法。例如，在一些实施例中，虚拟形象生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的虚拟形象生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行虚拟形象生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器（VPS，Virtual Private Server）服务中存在的管理难度大，业务扩展性弱的缺陷。
根据本公开实施例的技术方案，通过对虚拟形象的初始模型进行减面处理，以降低模型面数的方式降低了模型复杂度，同时结合按材质类型的分区渲染，得以提升了渲染效率。而为了尽可能避免因减面处理对虚拟形象写实度和逼真度造成损失，还通过建立白膜贴图渲染与超写实渲染之间的双向映射使得超写实渲染能够进一步的映射关系中学习到白膜贴图渲染中记录的缺失的模型细节，进而提升目标虚拟形象的写实度和逼真度，使得在减面的同时也兼顾了虚拟形象的视觉呈现效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种虚拟形象生成方法，包括：
对虚拟形象的初始模型进行减面处理，得到减面模型；
对所述减面模型中每种材质类型所在的区域，进行白模贴图渲染，得到第一目标模型；
对所述减面模型中每种材质类型所在的区域，进行超写实渲染，得到第二目标模型；
利用循环神经网络建立以所述第一目标模型作为映射的源、以所述第二目标模型作为映射的目的的第一映射关系；利用所述循环神经网络建立以所述第二目标模型作为映射的源、以所述第一目标模型作为映射的目的的第二映射关系；基于所述循环神经网络中的感知损失函数和对抗损失函数，对所述第一映射关系和所述第二映射关系进行迭代更新，得到更新后第一映射关系和更新后第二映射关系；利用所述更新后第一映射关系和所述更新后第二映射关系更新所述第二目标模型，得到目标虚拟形象；其中，所述第一映射关系与所述第二映射关系之间不具备 映射关系上的可逆性。
2.根据权利要求1所述的方法，其中，所述对虚拟形象的初始模型进行减面处理，得到减面模型，包括：
利用附加有减面标记的标准减面算法对所述初始模型进行减面处理，得到所述减面模型；其中，所述减面标记用于指示对所述初始模型的面部区域进行减面处理的减面程度小于对其它区域进行减面处理的减面程度。
3.根据权利要求2所述的方法，还包括：
对进行减面处理的初始模型的二维贴图维度的坐标进行同步更新，得到更新后模型；
利用所述初始模型的骨骼蒙皮信息对所述更新后模型的面部五官区域进行保护性处理。
4.根据权利要求2所述的方法，还包括：
确定当前设备的设备类型；
响应于所述设备类型为移动终端，确定与当前的移动终端的运算性能相适配的目标减面程度参数。
5.根据权利要求4所述的方法，其中，所述利用附加有减面标记的标准减面算法对所述初始模型进行减面处理，包括：
利用附加有所述减面标记的标准减面算法对所述初始模型进行减面处理；其中，所述标准减面算法的减面程度参数为所述目标减面程度参数。
6.根据权利要求1所述的方法，还包括：
对所述减面模型与所述初始模型进行模型对齐和二维贴图坐标更新处理。
7.根据权利要求1所述的方法，其中，所述对所述减面模型中每种材质类型所在的区域，进行白模贴图渲染，得到第一目标模型、对所述减面模型中每种材质类型所在的区域，进行超写实渲染，得到第二目标模型，包括：
对所述减面模型按材质类型进行区域划分，得到分区模型；
利用可微分渲染器和白膜贴图渲染技术，建立各材质类型区域的二维贴图与所述白膜贴图渲染之间的映射关系，得到所述第一目标模型；
利用所述可微分渲染器和超写实管线，建立各材质类型区域的二维贴图与所述超写实渲染之间的映射关系，得到所述第二目标模型。
8.根据权利要求1-7任一项所述的方法，还包括：
获取目标用户的用户图像；
根据所述用户图像和所述目标虚拟形象，在虚拟数据空间下生成与所述目标用户对应的虚拟形象。
9.一种虚拟形象生成装置，包括：
减面处理单元，被配置成对虚拟形象的初始模型进行减面处理，得到减面模型；
分区渲染单元，被配置成对所述减面模型中每种材质类型所在的区域，进行白模贴图渲染，得到第一目标模型；对所述减面模型中每种材质类型所在的区域，进行超写实渲染，得到第二目标模型；
目标虚拟形象生成单元，被配置成利用循环神经网络建立以所述第一目标模型为映射的源、以所述第二目标模型为映射的目的的第一映射关系；利用所述循环神经网络建立以所述第二目标模型为映射的源、以所述第一目标模型为映射的目的的第二映射关系；基于所述循环神经网络中的感知损失函数和对抗损失函数，对所述第一映射关系和所述第二映射关系进行迭代更新，得到更新后第一映射关系和更新后第二映射关系；利用所述更新后第一映射关系和所述更新后第二映射关系更新所述第二目标模型，得到目标虚拟形象；其中，所述第一映射关系与所述第二映射关系之间不具备 映射关系上的可逆性。
10.根据权利要求9所述的装置，其中，所述减面处理单元包括：
边界保护子单元，被配置成利用附加有减面标记的标准减面算法对所述初始模型进行减面处理，得到所述减面模型；其中，所述减面标记用于指示对所述初始模型的面部区域进行减面处理的减面程度小于对其它区域进行减面处理的减面程度。
11.根据权利要求10所述的装置，其中，所述减面处理单元还包括：
同步更新子单元，被配置成对进行减面处理的初始模型的二维贴图维度的坐标进行同步更新，得到更新后模型；
骨骼蒙皮处理子单元，被配置成利用所述初始模型的骨骼蒙皮信息对所述更新后模型的面部五官区域进行保护性处理。
12.根据权利要求10所述的装置，其中，所述减面处理单元还包括：
设备类型确定子单元，被配置成在确定当前设备的设备类型；
目标减面程度参数确定单元，被配置成响应于所述设备类型为移动终端，确定与当前的移动终端的运算性能相适配的目标减面程度参数。
13.根据权利要求12所述的装置，其中，所述边界保护子单元被配置成：
利用附加有所述减面标记的标准减面算法对所述初始模型进行减面处理；其中，所述标准减面算法的减面程度参数为所述目标减面程度参数。
14.根据权利要求9所述的装置，还包括：
对齐及坐标更新单元，被配置成对所述减面模型与所述初始模型进行模型对齐和二维贴图坐标更新处理。
15.根据权利要求9所述的装置，其中，所述分区渲染单元被配置成：
对所述减面模型按材质类型进行区域划分，得到分区模型；
利用可微分渲染器和白膜贴图渲染技术，建立各材质类型区域的二维贴图与所述白膜贴图渲染之间的映射关系，得到所述第一目标模型；
利用所述可微分渲染器和超写实管线，建立各材质类型区域的二维贴图与所述超写实渲染之间的映射关系，得到所述第二目标模型。
16.根据权利要求9-15任一项所述的装置，还包括：
用户图像获取单元，被配置成获取目标用户的用户图像；
用户虚拟形象生成单元，被配置成根据所述用户图像和所述目标虚拟形象，在虚拟数据空间下生成与所述目标用户对应的虚拟形象。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
CN202210721026.XA 2022-06-24 2022-06-24 虚拟形象生成方法、装置、电子设备及可读存储介质 Active CN114820905B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210721026.XA CN114820905B (zh) 2022-06-24 2022-06-24 虚拟形象生成方法、装置、电子设备及可读存储介质
JP2022195850A JP2023029984A (ja) 2022-06-24 2022-12-07 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体
US18/082,997 US20230120253A1 (en) 2022-06-24 2022-12-16 Method and apparatus for generating virtual character, electronic device and readable storage medium
KR1020230001091A KR20230012078A (ko) 2022-06-24 2023-01-04 가상 형상 생성 방법, 장치, 전자 기기 및 판독 가능 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210721026.XA CN114820905B (zh) 2022-06-24 2022-06-24 虚拟形象生成方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114820905A CN114820905A (zh) 2022-07-29
CN114820905B true CN114820905B (zh) 2022-09-20

Family

ID=82521201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210721026.XA Active CN114820905B (zh) 2022-06-24 2022-06-24 虚拟形象生成方法、装置、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US20230120253A1 (zh)
JP (1) JP2023029984A (zh)
KR (1) KR20230012078A (zh)
CN (1) CN114820905B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345980B (zh) * 2022-10-18 2023-03-24 北京百度网讯科技有限公司 个性化纹理贴图的生成方法及装置
CN115775024B (zh) * 2022-12-09 2024-04-16 支付宝(杭州)信息技术有限公司 虚拟形象模型训练方法及装置
CN116310213B (zh) * 2023-02-23 2023-10-24 北京百度网讯科技有限公司 三维物体模型的处理方法、装置、电子设备与可读存储介质
CN116843808A (zh) * 2023-06-30 2023-10-03 北京百度网讯科技有限公司 基于点云的渲染、模型训练、虚拟形象生成方法及装置
CN117576280B (zh) * 2023-07-12 2024-04-19 杭州雪爪文化科技有限公司 一种基于3d数字人的智能端云一体化生成方法及系统
CN117315107B (zh) * 2023-09-21 2024-03-12 支付宝(杭州)信息技术有限公司 数字形象发布方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105491A (zh) * 2019-11-25 2020-05-05 腾讯科技（深圳）有限公司 场景渲染方法、装置、计算机可读存储介质和计算机设备
CN113906473A (zh) * 2019-07-01 2022-01-07 三星电子株式会社 用于学习可组合的三维(3d)对象的高阶函数网络及其操作方法
CN114022616A (zh) * 2021-11-16 2022-02-08 北京城市网邻信息技术有限公司 模型处理方法及装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3329466A4 (en) * 2016-06-10 2019-03-13 DIRTT Environmental Solutions, Ltd. ARCHITECTURAL DESIGN ENVIRONMENT WITH MIXED REALITY
US11288857B2 (en) * 2019-04-04 2022-03-29 Google Llc Neural rerendering from 3D models
CN114549710A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 一种虚拟形象的生成方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906473A (zh) * 2019-07-01 2022-01-07 三星电子株式会社 用于学习可组合的三维(3d)对象的高阶函数网络及其操作方法
CN111105491A (zh) * 2019-11-25 2020-05-05 腾讯科技（深圳）有限公司 场景渲染方法、装置、计算机可读存储介质和计算机设备
CN114022616A (zh) * 2021-11-16 2022-02-08 北京城市网邻信息技术有限公司 模型处理方法及装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3DMAX教程：渲染小白必看超写实风格Vray渲染五步法则;3Dmax;《知乎》;20180619;全文 *
现代远程教育起重机械虚拟实验中V-Ray渲染器的应用探索;徐磊等;《继续教育》;20180215(第02期);全文 *
虚拟现实和混合现实中全局光照组合算法探析;倪栋 等;《数字印刷》;20190610;全文 *

Also Published As

Publication number Publication date
KR20230012078A (ko) 2023-01-25
JP2023029984A (ja) 2023-03-07
CN114820905A (zh) 2022-07-29
US20230120253A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
CN114820905B (zh) 虚拟形象生成方法、装置、电子设备及可读存储介质
CN115345980B (zh) 个性化纹理贴图的生成方法及装置
CN113327278B (zh) 三维人脸重建方法、装置、设备以及存储介质
CN113643412A (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN113658309B (zh) 三维重建方法、装置、设备以及存储介质
CN114842121B (zh) 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN112652057B (zh) 生成人体三维模型的方法、装置、设备以及存储介质
EP4165606A1 (en) Object reconstruction with texture parsing
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN115147265A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114998490B (zh) 一种虚拟对象生成方法、装置、设备及存储介质
CN112862934B (zh) 用于处理动画的方法、装置、设备、介质和产品
CN115965735B (zh) 纹理贴图的生成方法和装置
WO2020117385A1 (en) Hybrid image rendering system
CN115861510A (zh) 对象渲染方法、装置、电子设备、存储介质及程序产品
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN115908687A (zh) 渲染网络的训练、渲染方法、装置及电子设备
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN114648601A (zh) 虚拟形象的生成方法、电子设备、程序产品及用户终端
CN116229008B (zh) 图像处理方法和装置
CN116012666B (zh) 图像生成、模型的训练、信息重建方法、装置及电子设备
CN116385643B (zh) 虚拟形象生成、模型的训练方法、装置及电子设备
CN116030150B (zh) 虚拟形象生成方法、装置、电子设备和介质
CN116363331B (zh) 图像生成方法、装置、设备以及存储介质
CN113838201B (zh) 模型适配方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant