CN116188698B

CN116188698B - 对象的处理方法和电子设备

Info

Publication number: CN116188698B
Application number: CN202310453993.7A
Authority: CN
Inventors: 王光远; 李凌志; 冉清; 申震; 申丽; 薄列峰
Original assignee: Alibaba Damo Institute Hangzhou Technology Co Ltd
Current assignee: Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date: 2023-04-23
Filing date: 2023-04-23
Publication date: 2023-09-12
Anticipated expiration: 2043-04-23
Also published as: CN116188698A

Abstract

本申请公开了一种对象的处理方法和电子设备。其中，该方法包括：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。本申请可以应用于虚拟现实、增强现实方面的三维（3D）重建领域，解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

Description

对象的处理方法和电子设备

技术领域

本申请涉及虚拟现实、增强现实方面的三维重建领域，具体而言，涉及一种对象的处理方法和电子设备。

背景技术

目前，随着神经渲染技术的发展，以虚拟现实(Virtual Reality，简称为VR)或增强现实(Augmented Reality，简称为AR)为代表的沉浸式体验正在成为未来视频和未来电商等新型应用的重点发展路径，而这些应用的关键是虚拟形象的创建。

在相关技术中，通常是使用标准渲染方法合成虚拟形象，但是，该方法训练速度较慢，训练时间较长，极大限制了虚拟形象的制作速度，仍存在在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种对象的处理方法和电子设备，以至少解决在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

根据本申请实施例的一个方面，提供了一种对象的处理方法。该方法可以包括：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

根据本申请实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

根据本实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

根据本实施例的另一方面，还提供了另一种对象的处理方法。该方法可以包括：通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

根据本实施例的另一方面，还提供了另一种对象的表面神经渲染方法。该方法可以包括：采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

根据本申请实施例的一个方面，提供了一种对象的处理装置。该装置可以包括：第一采集单元，用于采集位于真实世界中的目标对象的图像数据；第一重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第一渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；第一输出单元，用于至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

根据本申请实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：显示单元，用于响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；第二输出单元，用于响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

根据本实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：展示单元，用于响应作用于VR设备或AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；驱动单元，用于响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

根据本实施例的另一方面，还提供了另一种对象的处理装置。该装置可以包括：调取单元，用于通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；第二重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第二渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；第三输出单元，用于通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

根据本实施例的另一方面，还提供了另一种对象的表面神经渲染装置。该装置可以包括：第二采集单元，用于采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；第三重建单元，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；第三渲染单元，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

根据本申请实施例的另一方面，还提供了一种电子设备，电子设备可以包括存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，上述计算机可执行指令被处理器执行时，实现上述任意一项的对象的处理方法。

根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，在程序运行时执行上述任意一项的对象的处理方法。

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的对象的处理方法。

在本申请实施例中，采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。也即，在本申请实施例中，基于目标对象的网格模型，对目标对象的外表面(又可以称为模型表面)进行神经渲染，得到外观模型，从而可以忠实地捕捉真实世界物体并保留逼真的物体外观，可以将捕获到的外观模型输出至渲染管线中，进而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种对象的处理方法的虚拟现实设备的硬件环境的示意图；

图2是根据本申请实施例的一种对象的处理方法的计算环境的结构框图；

图3是根据本申请实施例的一种对象的处理方法的流程图；

图4是根据本申请实施例的另一种对象的处理方法的流程图；

图5是根据本申请实施例的另一种对象的处理方法的流程图；

图6是根据本申请实施例的一种对象的处理结果的示意图；

图7是根据本申请实施例的另一种对象的处理方法的流程图；

图8是根据本申请实施例的一种计算机设备对目标对象处理的示意图；

图9是根据本申请实施例的另一种对象的表面神经渲染方法的流程图；

图10是根据本申请实施例的一种计算机设备对目标对象处理的流程图；

图11a是根据本申请实施例的一种三角网格的示意图；

图11b是根据本申请实施例的一种四维特征图的示意图；

图12是根据本申请实施例的另一种四维特征图的示意图；

图13是根据本申请实施例的一种对象的处理装置的示意图；

图14是根据本申请实施例的另一种对象的处理装置的示意图；

图15是根据本申请实施例的另一种对象的处理装置的示意图；

图16是根据本申请实施例的另一种对象的处理装置的示意图；

图17是根据本申请实施例的另一种对象的表面神经渲染装置的示意图；

图18是根据本申请实施例的一种计算机终端的结构框图；

图19是根据本申请实施例的一种对象的处理方法的电子设备的框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

增强现实(Augmented Reality，简称为AR)，可以为透过摄像机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术；

虚拟现实(Virtual Reality，简称为VR)，可以利用计算技术创建模拟环境以及感觉，让用户在3D时间上进行交互；

混合现实(Extended Reality，简称为XR)，可以将真实的东西叠加到虚拟世界中；

多层感知器(Multilayer Perceptron，简称为MLP)，可以为一种前向结构的人工神经网络，可以用于映射一组输入向量到另一组输出向量；

网格几何，可以为三维模型表面几何的三角形网格表达。

实施例1

根据本申请实施例，提供了一种对象的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的一种对象的处理方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端106并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。

可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，从而解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题，达到了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的目的。

可选地，可以采集位于真实世界中的目标对象的图像数据，可以对图像数据进行模型重建，得到目标对象的网格模型，基于网格模型对目标对象的外表面进行神经渲染，得到外观模型。其中，神经渲染可以包括仅学习三维场景表示，并依赖计算机图像中的渲染函数进行监督来分离建模和渲染的过程，可以为通过深度的图像数据生成的方法，比如，神经渲染可以为神经辐射场(NeRF)，可以用于实现对目标对象的虚拟形象(比如，光照、相机参数、外观、几何)的隐式或者显式控制。

该实施例的终端可以用于执行在虚拟现实设备或增强现实设备的呈现画面上展示真实世界中目标对象的图像数据，并向虚拟现实设备104发送目标对象在虚拟世界中的虚拟形象，虚拟现实设备104在接收到目标对象在虚拟世界中的虚拟形象之后在目标投放位置显示出来。

可选地，该实施例的虚拟现实设备104带有的眼球追踪的头戴式显示器(HeadMount Display，简称为HMD)头显与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。

图1示出的硬件结构框图，不仅可以作为上述AR/VR设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的AR/VR设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例的一种对象的处理方法的计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。不同计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境201中的多个服务220-1，220-2，220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。

终端用户202可以通过客户端上的浏览器(web)或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。

服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(Virtual Machine，简称为VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(OperatingSystem，简称为OS)，以便多个工作负载可以在单个操作系统实例上运行。

在基于容器虚拟化的一个实施例中，服务的若干容器可以被组装成一个容器管理组(例如，Kubernetes，简称为Pod)。举例来说，如图2所示，服务220-2可以配备一个或多个容器管理组(Pod)240-1，240-2，…，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1，242-2，…，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务也可以为类似于Pod的Pod。

在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务，执行一个服务的一个或多个功能需要调用另一个服务的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。

上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。

在上述运行环境下，本申请提供了如图3所示的对象的处理方法。需要说明的是，该实施例的对象的处理方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例的一种对象的处理方法的流程图。如图3所示，该方法可以包括如下步骤：

步骤S302，采集位于真实世界中的目标对象的图像数据。

在本申请上述步骤S302提供的技术方案中，可以采集位于真实世界中的目标对象的图像数据。其中，目标对象可以为位于真实世界中的真实世界物体。图像数据可以为采集到的图像、视频等数据，比如，可以为环拍视频、多角度图片等，此处仅为举例，不对图像数据的内容做具体限制。

可选地，可以通过拍摄设备采集位于真实世界中的目标对象的图像数据。

举例而言，可以通过手机、摄像头等设备，对目标对象进行拍摄，从而采集到位于真实世界中的目标对象的环拍物体视频数据。

步骤S304，对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型。

在本申请上述步骤S304提供的技术方案中，可以对采集到的图像数据进行模型重建，得到目标对象的网格模型。其中，网格模型可以为带纹理的三角形网格(Mesh)，可以用于表示覆盖在目标对象的外表面的特征模型，可以为三维模型表面几何的三角形网格表达，又可以称为物体网格模型。

可选地，采集位于真实世界中的目标对象的图像数据，可以对采集到的图像数据进行模型重建，得到目标对象的网格模型。

举例而言，可以获取采集到的环拍视频，可以将环拍视频作为输入，输入至模型重建模块进行物体重建，得到物体网格模型。其中，模型重建模块中的模型重建算法可以为表面重建算法(InstantNeuralSurfaceReconstruction)，该算法重建精度高，训练速度快。

步骤S306，基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征。

在本申请上述步骤S306提供的技术方案中，可以获取网格模型，基于网格模型对目标对象的外表面进行神经渲染，得到外观模型。其中，外观模型可以为训练好的颜色网络(Color Net)模型，可以用于模拟目标对象的外网特征，可以为用一组数值描述颜色的数学模型。数值可以为三元组形式。

可选地，可以对图像数据进行模型重建，得到目标对象的网格模型。基于网格模型，可以通过颜色网络对目标对象的外表面进行神经渲染，得到外观模型。

在本申请实施例中，可以基于网络模型，对目标对象的外表面进行神经渲染，解决了相关技术中，无法在移动端实时渲染的问题。

步骤S308，至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

在本申请上述步骤S308提供的技术方案中，可以将渲染得到的外观模型输出至渲染管线中，以展示目标对象在虚拟世界中的虚拟形象。其中，虚拟形象可以为虚拟资产。

可选地，可以将外观模型输出至渲染管线中，通过着色器对外观模型进行处理，以得到目标对象在虚拟世界中的虚拟形象，并进行展示。

通过本申请上述步骤S302至步骤S308，采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。也即，在本申请实施例中，基于目标对象的网格模型，对目标对象的外表面(又可以称为模型表面)进行神经渲染，得到外观模型，从而可以忠实地捕捉真实世界物体并保留逼真的物体外观，可以将捕获到的外观模型输出至渲染管线中，进而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，进而解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

下面对该实施例的上述方法进行进一步的介绍。

作为一种可选的实施方式，步骤S304，对图像数据进行模型重建，得到目标对象的网格模型，包括：对图像数据进行三维模型重建，得到目标对象的三维网格模型，其中，三维网格模型用于表示目标对象的三维外表面的特征模型。

在该实施例中，采集位于真实世界中的目标对象的图像数据，可以图像数据进行三维模型重建，得到目标对象的三维网格模型。

可选地，采集到位于真实世界中的目标对象的图像数据，可以将图像数据传输至模型重建模块中，模型重建模块可以利用模型重建算法对图像数据进行三维模型重建，得到目标对象的三维网格模型。其中，模型重建算法可以根据实际情况进行选择，比如，可以为表面重建算法。

举例而言，可以将采集到的图像数据送入模型重建模块，模型重建模块可以利用表面重建算法对图像数据进行物体重建，从而得到三维网格模型，该三维网格模型又可以称为物体网格模型。

作为一种可选的实施方式，步骤S306，基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，包括：基于网格模型确定目标对象的外表面的采样位置；对采样位置进行神经渲染，得到外观模型。

在该实施例中，可以基于网格模型确定目标对象的外表面的采样位置，可以对采样位置进行神经渲染，得到外观模型，其中，采样位置可以为物体表面采样位置，又可以称为物体表面采样点，可以以位置坐标的形式表示。

可选地，可以将物体重建模型送入光栅化模块进行光栅化处理，以得到物体表面采样位置，可以对采样位置进行神经渲染，得到外观模型。

作为一种可选的实施方式，对采样位置进行神经渲染，得到外观模型，包括：将采样位置转换为高频信息；对高频信息进行非线性处理，得到采样位置上的目标特征；基于目标特征训练得到外观模型，其中，外观模型用于输出目标对象的外表面的颜色信息，以模拟目标对象的外观特征。

在该实施例中，可以对采样位置进行转换，将采样位置转换为高频信息。可以对高频信息进行非线性处理，得到采样位置上的目标特征。可以基于目标特征训练得到外观模型。其中，目标特征可以为每个采样点的特征。外观模型可以用于输出目标对象的外表面的颜色信息，以模拟目标对象的外观特征。

可选地，获取物体表面采样点之后可以将采样点的位置坐标输入至哈希编码模块中进行编码，以将采样位置转换为高频信息，其中，哈希编码模块可以为多分辨率哈希编码模块。可选地，该实施例可以将高频信息传输至特征网络中，特征网络对高频信息进行非线性处理，从而得到采样位置上的目标特征。其中，哈希编码模块可以用于将位置坐标映射到高维空间提供高频信息。特征网络可以由两个MLP组成，第一层MLP包含64个神经元，第二层MLP包含8个神经元，每层MLP可以接一个激活函数(比如，ReLU函数)进行非线性变化。

由于得到物体表面采样位置之后，直接将位置坐标映射到高维空间需要很大的神经网络，比如，需要大于8层的多层感知机(Multilayer Perceptron，简称为MLP)，因此，存在神经渲染算法在对全连接神经网络进行参数化时效率低的问题。为解决上述问题，本申请实施例在得到物体表面采样位置之后，并没有直接将位置坐标送入特征网络(FeatureNet)中，而是将位置坐标输入到哈希编码模块，将位置坐标映射到高维空间转换得到高频信息，从而使得将特征映射到高维空间只需要非常小的多层感知机完成索引过程即可，进而解决了神经渲染算法在对全连接神经网络进行参数化时的效率低的问题，且使用一个较小规模的网络来实现神经渲染同时不会产生精度的损失，从而达到了提高外观模型与目标对象的相似度的效果。

举例而言，获取物体表面采样点之后可以将采样点的位置坐标输入至哈希编码模块中进行编码，以将采样位置转换为高频信息。可以将高频信息传输至特征网络中，特征网络对高频信息进行非线性处理，从而得到每个采样位置上的目标特征。可以基于目标特征中的真值颜色进行监督训练网络，以得到外观模型。

作为一种可选的实施方式，获取网格模型的第一纹理图像；将目标特征烘焙至第一纹理图像上，得到第二纹理图像；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，包括：将第二纹理图像、网格模型和外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

在该实施例中，采集位于真实世界中的目标对象的图像数据，对图像数据进行模型重建，得到目标对象的网格模型，可以对网格模型进行纹理展开后，获取到网格模型的第一纹理图像，可以将目标特征烘焙至第一纹理图像上，得到第二纹理图像。可以将第二纹理图像、网格模型和外观模型输出至渲染管线中，以展示目标对象在虚拟世界中的虚拟形象。其中，第一纹理图像可以为纹理展开后的二维图像。网格模型可以为带纹理的三角形网格。第二纹理图像可以为纹理特征图。

可选地，训练好的网格模型还不能直接传输至渲染管线中进行展示，需要转换网格模型为渲染管线的输入格式。可以对网格模型进行纹理展开，以获取网格模型的第一纹理图像。可以将特征网络输出的目标特征烘焙至第一纹理图像上，得到第二纹理图像。可以获取训练好的外观模型，可以将网格模型、第二纹理图像和外观模型输出至渲染管线中，以展示目标对象在虚拟世界中的虚拟形象。

作为一种可选的实施方式，将第二纹理图像、网格模型和外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，包括：将第二纹理图像、网格模型和外观模型的模型参数输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

在该实施例中，可以将特征网络输出的目标特征烘焙至第一纹理图像上，得到第二纹理图像。可以将第二纹理图像、网格模型和外观模型的模型参数输出至渲染管线中以展示目标对象在虚拟世界中的虚拟形象。其中，外观模型可以为小型多层感知器网络。模型参数可以为网络权重，可以为对象简谱(javaScript Object Notation，简称为json)文件的形式，又可以称为多层感知器网络权重。

可选地，可以获取外观模型，并将外观模型的模型参数以对象简谱文件形式预先存储下来。可以获取第一纹理图像，将特征网络输出的目标特征烘焙至第一纹理图像上，得到第二纹理图像。将第一纹理图像、第二纹理图像和模型参数作为输出，输出至渲染管线上，以展示目标对象在虚拟世界中的虚拟形象。

举例而言，可以将重建得到的网格模型进行纹理展开后，获取到网格模型的第一纹理图像，可以将目标特征烘焙至第一纹理图像上，得到第二纹理图像。可以预先获取外观模型的模型参数并存储至本地。可以将网格模型、第二纹理模型和模型参数输入至渲染管线中进行渲染后，展示目标对象在虚拟世界中的虚拟形象。

由于根据密度值在物体周围采样在进行体积渲染的方式会导致移动端的推理速度较低，且由于存在复复杂的体渲染的过程，存在数据处理效率较低的技术问题。为解决该问题，本申请实施例对重建得到的网格模型进行展开，基于展开的第一纹理图像，确定第二纹理图像，直接将第二纹理图像、颜色网络的权重数据和重建的网格模型，作为渲染管线的输入，输出至渲染管线中，以得到目标对象在虚拟世界中的虚拟形象，从而实现了神经渲染可以在移动端实时推理的技术效果，解决了神经渲染受限于体积渲染算法无法在移动端实时推理的问题。

再举例而言，可以获取颜色网络的权重数据、带纹理的三角形网格和UV特征图，可以将上述数据输入至渲染管线中，作为着色器(Shader)的输入数据，以得到目标对象在虚拟世界中的虚拟形象。

作为一种可选的实施方式，将第一维度的目标特征，转换为第二维度的目标特征，其中，第二维度低于第一维度；将目标特征烘焙至第一纹理图像上，得到第二纹理图像，包括：将第二维度的目标特征烘焙至第一纹理图像上，得到第二纹理图像。

在该实施例中，可以对第一维度的目标特征进行转换，将第一维度的目标特征转换为第二维度的目标特征，可以将第二维度的目标特征烘焙至第一维度纹理图像上，得到第二纹理图像。其中，第二维度低于第一维度，比如，第二维度可以为一维、二维、八维等，此处仅为举例，不对第二维度做具体限制。

可选地，可以对采样位置上的目标特征进行压缩，以将第一维度的目标特征转换为第二维度的目标特征。可以将第二维度的目标特征烘焙至第一纹理图像上，得到第二纹理图像。

举例而言，可以将输出特征维度压缩到多维，以便于传统渲染管线将多维的维度特征烘焙到纹理图(UV图)中，从而可以得到纹理特征图。其中，多维的数量可以根据实际情况确定的，可以为在数据存储和效果之间做一个权衡确定的，比如，可以为八维、九维等，此处仅为举例，不对维度的大小和确定方式做具体限制。

作为一种可选的实施方式，对高频信息进行非线性处理，得到采样位置上的目标特征，包括：对第一维度的高频信息进行非线性处理，得到第一维度的目标特征。

在该实施例中，可以对第一维度的高频信息进行非线性处理，得到第一维度的目标特征。其中，第一维度可以为高维空间的维度，比如，第一维度可以为八维、九维等，此处仅为举例，不对第一维度的大小做具体限制。

可选地，可以对采样位置进行转换，将采样位置转换为第一维度的高频信息。可以对第一维度的高频信息进行非线性处理，得到采样位置上第一维度的目标特征。

可选地，获取物体表面采样点之后可以将采样点的位置坐标输入至哈希编码模块中进行编码，以将采样位置转换为第一维度的高频信息。可以将第一维度的高频信息传输至特征网络中，特征网络对高频信息进行非线性处理，从而得到采样位置上的第一维度的目标特征。

作为一种可选的实施方式，获取网格模型的第一纹理图像，包括：对网格模型进行减面；获取减面后的网格模型的第一纹理图像。

在该实施例中，可以对网格模型进行减面处理，得到减面后的网格模型的第一纹理图像。

可选地，可以获取网格模型，在适配传统管线渲染管线的过程中，训练好的物体网格模型不能直接接入传统渲染管线进行展示，需要通过适配传统管线渲染管线对物体网格模型进行转型转换，转换物体网格模型到传统渲染管线输入格式。可以对重建后的网格模型进行减面处理，得到减面后的网格模型的第一纹理图像，以达到降低物体网格模型的存储空间的目的。

举例而言，可以获取网格模型，对重建后的网格模型进行减面处理，可以对减面处理后的网格模型进行纹理展开，从而得到网格模型的第一纹理图像(可以为二维图像)。可以预先建立三维(3Dimension，简称为3D)模型到二维(2Dimension，简称为2D)图像的对应关系。基于3D模型到2D图像的对应关系，将特征网络的目标特征烘培到第一纹理图像上，得到第二纹理图像。

作为一种可选的实施方式，将采样位置转换为高频信息，包括：对采样位置进行哈希编码，得到高频信息。

在该实施例中，可以通过哈希编码模块，对采样位置进行哈希编码，得到高频信息。其中，高频信息可以用于表征编码后的位置特征。哈希编码模块可以用于对采样位置进行哈希编码，比如，可以为多分辨率哈希编码模块(HashGridEmbed)，此处仅为举例，不对哈希编码模块的种类做具体限制。

作为一种可选的实施方式，该方法还可以包括，对图像数据进行以下预处理：对图像数据进行抽帧处理，得到图像序列；确定图像序列对应的图像位姿，其中，图像位姿用于表示图像序列对应的图像采集设备的位姿；和/或，去除图像序列中的背景信息；对图像数据进行模型重建，得到目标对象的网格模型，包括：对预处理后的图像数据进行模型重建，得到网格模型。

在该实施例中，可以获取图像数据，对图像数据进行预处理后进行网格模型的重建。可以对图像数据进行抽帧处理，得到图像序列，确定图像序列对应的图像位姿，可以去除图像序列中的背景信息后，得到预处理后的图像数据，可以对预处理后的图像数据进行模型重建，得到网格模型。其中，图像位姿又可以称为相机位姿，可以用于表示图像序列对应的图像采集设备的位姿。图像采集设备可以用于采集图像数据，可以为相机、摄像头等设备，此处仅为举例，不对图像采集设备做具体限制。

可选地，对图像数据进行预处理可以包括：对图像数据按一定频率进行抽帧处理；可以对抽帧后的图像序列应用图像位姿计算算法恢复图像数据对应的图像位姿；对图像序列进行去背景处理，以去除图像序列中的背景信息，从而完成对图像数据的预处理。其中，图像位姿计算算法可以为结合运动恢复结构和多视角立体匹配的三维重建工具，此处仅为举例，不对图像位姿计算算法做具体限制。

举例而言，可以采集环拍视频，对获取到的环拍视频可以按照一定频率进行抽帧处理，得到抽帧后的图像序列。可以通过图像位姿计算算法恢复抽帧后的图像序列的图像位姿。其中，图像位姿可以为图像所对应的相机的位姿，可以用于表征相机在世界坐标系下的位置。

在本申请实施例中，为了使图像位姿计算算法能够适应多种场景，可以将图像位姿计算算法中的局部特征(sift)替换为深度学习特征，并加入更强的特征匹配和特征监测算法来提高图像位姿计算算法在各个场景的适应能力。其中，深度学习特征可以为用更深的神经网络提取的图像特征。

举例而言，可以对物体进行神经渲染训练，之后可以应用训练后的模型在三维空间对图像去背景，从而完成了对图像序列去背景，解决了二维的图像去背景算法边缘处理不好且泛化能力差的问题。

作为一种可选的实施方式，该方法还可以包括，对外观模型进行渲染和/或打光。

在该实施例中，可以对外观模型进行渲染和/或打光，以提高外观模型的精度。

可选地，可以对外观模型进行二次渲染和/或打光，以提高外观模型的精度。

在本申请实施例中，基于目标对象的网格模型，对目标对象的外表面(又可以称为模型表面)进行神经渲染，得到外观模型，从而可以忠实地捕捉真实世界物体并保留逼真的物体外观，可以将捕获到的外观模型输出至渲染管线中，进而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，进而解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

实施例2

根据本申请实施例，从人机交互侧，还提供了一种对象的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图4是根据本申请实施例的另一种对象的处理方法的流程图。如图4所示，该方法可以包括以下步骤：

步骤S402，响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据。

在本申请上述步骤S402提供的技术方案中，提取操作指令可以由用户触发，用于在操作界面上显示位于真实世界中的目标对象的图像数据，从而该实施例响应作用于操作界面上的提取操作指令，从而显示位于真实世界中的目标对象的图像数据。

步骤S404，响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

在本申请上述步骤S404提供的技术方案中，渲染指令可以由用户触发，用于至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，从而该实施例响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选地，响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据，可以对图像数据进行模型重建，得到用于表示覆盖在目标对象外表面上的特征模型的网络模型，可以基于网格模型对目标对象的外表面进行神经渲染而得到用于模拟目标对象的外观特征的外观模型。渲染指令可以由用户触发，响应作用于操作界面上的渲染指令，可以至少将目标对象对应的外观模型输出至渲染管线中，以展示目标对象在虚拟世界中的虚拟形象。

通过本申请上述步骤S402至步骤S404，响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到，从而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，进而解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

实施例3

根据本申请实施例，还提供了一种可以应用于虚拟现实设备、增强现实设备等虚拟现实场景下的对象的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图5是根据本申请实施例的另一种对象的处理方法的流程图。如图5所示，该方法可以包括如下步骤：

步骤S502，响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据。

在本申请上述步骤S502提供的技术方案中，虚拟现实设备或增强现实设备的操作界面上的图像输入指令可以由图像采集设备或用户触发，响应于图像输入指令，可以在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据。

步骤S504，响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

在本申请上述步骤S504提供的技术方案中，响应作用于VR设备或AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据，可以对图像数据进行模型重建，得到用于表示覆盖在目标对象外表面上的特征模型的网络模型，可以基于网格模型对目标对象的外表面进行神经渲染而得到用于模拟目标对象的外观特征的外观模型。渲染指令可以由用户触发，响应作用于操作界面上的渲染指令，可以驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选地，在本实施例中，上述对象的处理方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在VR设备或AR设备的呈现画面上展示目标对象在虚拟世界中的虚拟形象，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。

可选地，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：响应作用于VR设备或AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

需要说明的是，该实施例的上述应用在VR设备或AR设备中的对象的处理方法可以包括图3所示实施例的方法，以实现驱动VR设备或AR设备展示目标对象在虚拟世界中的虚拟形象的目的。

可选地，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。

可选地，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该HMD头显中的屏幕，用于显示展示的视频画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹，跟踪系统，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪系统中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。

在本申请实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于PC、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。

图6是根据本申请实施例的一种对象的处理结果的示意图，如图6所示，在VR设备或AR设备的呈现画面上展示目标对象的图像数据，可以对图像数据进行模型重建，得到用于表示覆盖在目标对象外表面上的特征模型的网络模型，可以基于网格模型对目标对象的外表面进行神经渲染而得到用于模拟目标对象的外观特征的外观模型。渲染指令可以由用户触发，响应作用于操作界面上的渲染指令，可以驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象定。

在本申请实施例中，响应作用于VR设备或AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

根据本申请实施例，从软件服务侧(Software-as-a-Service，简称为SaaS)，还提供了一种对象的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图7是根据本申请实施例的另一种对象的处理方法的流程图。如图7所示，该方法可以包括以下步骤：

步骤S702，通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据。

在本申请上述步骤S702提供的技术方案中，第一接口可以是服务器与客户端之间进行数据交互的接口，客户端可以将真实世界中的目标对象的图像数据传入第一接口中去，作为第一接口的一个第一参数，实现获取真实世界中的目标对象的图像数据的目的。

步骤S704，对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型。

步骤S706，基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征。

步骤S708，通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

在本申请上述步骤S708提供的技术方案中，第二接口可以是服务器与客户端之间进行数据交互的接口，服务器可以将目标对象在虚拟世界中的虚拟形象传入第二接口中，作为第二接口的一个参数，实现展示目标对象在虚拟世界中的虚拟形象的目的。

图8是根据本申请实施例的一种计算机设备对目标对象处理的示意图，如图8所示，计算机设备可以实施步骤S802，通过调用第一接口调取位于真实世界中的目标对象的图像数据；步骤S804，对图像数据进行模型重建，得到目标对象的网格模型；步骤S806，基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型；步骤S808，调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

本申请实施例通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型，从而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，进而解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

根据本申请实施例，还提供了一种对象的表面神经渲染方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图9是根据本申请实施例的另一种对象的表面神经渲染方法的流程图。如图9所示，该方法可以包括以下步骤：

步骤S902，采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面。

在本申请上述步骤S902提供的技术方案中，可以采集位于真实世界中的目标对象的图像数据。其中，目标对象可以为位于真实世界中的真实世界物体。图像数据可以为采集到的图像、视频等数据，比如，可以为环拍视频、多角度图片等，图像数据可以用于表示目标对象的外表面，比如，可以用于表示目标图像的表面集合等，此处仅为举例，不对图像数据的内容做具体限制。

步骤S904，对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型。

步骤S906，基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

在本申请上述步骤S906提供的技术方案中，可以获取网格模型，基于网格模型对目标对象的外表面进行神经渲染，得到外观模型，可以将渲染得到的外观模型输出至渲染管线中，以展示目标对象在虚拟世界中的虚拟形象。其中，外观模型可以为训练好的颜色网络(Color Net)模型，可以用于模拟目标对象的外网特征，可以为用一组数值描述颜色的数学模型。数值可以为三元组形式。其中，虚拟形象可以为虚拟资产。

通过本申请上述步骤S902至步骤S906，采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象，实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

实施例4

目前，随着神经渲染技术的发展，以VR设备或AR设备为代表的沉浸式体验正在成为未来视频和未来电商等新型应用的重点发展路径，而这些应用的关键是虚拟“资产”的创建。当前创建逼真的虚拟“资产”是一个耗时的过程，神经渲染技术展示出了惊人的虚拟资产创建能力，虚拟“资产”通常需要设计对象，然后花费大量精力调整其外观，但是受限于体积渲染算法影响，当前神经渲染技术很难部署到移动端设备，这极大的限制了神经渲染技术在实际中的应用。

在一种实施方式中，可以使用标准渲染方法合成图片。但是，该方法训练速度较慢，一个场景训练时间大于12小时，极大限制了资产制作速度，由于训练资源消耗大，也进一步提高了制作成本；同时，该方法输出物体模型质量差，很难实现准确的重投影和打光；且该方法中使用的模型存储相对比较大，极大了限制多场景渲染的数量。

在另一种实施方式中，提出了一种通过解决体积渲染计算慢的问题来实现移动端实时渲染，可以在训练阶段在发射射线上进行均匀采样，调整(fine)阶段可以根据密度值在物体周围采样在进行体积渲染。但该方法需要进行体积渲染，因此，在移动端的推理速度还是受限，同时需要在传统管线实现复杂的体渲染过程，导致仍然存在解决神经渲染计算受限的问题。

考虑到上述问题，本申请实施例为了解决神经渲染计算受限问题，提出了一种基于网格的神经渲染方案，通过应用光栅化技术、哈希编码技术及烘培技术等，实现在物体表面进行神经渲染，同时可以无缝接入到传统管线进行展示的目的。该方法可以捕捉真实世界物体并保留逼真的物体外观，最终可以将捕获的物体转变成虚拟资产，并应用于VR/AR。且该方法可沉淀为人工智能(Artificial Intelligence，简称为AI)原子能力，可以作为扩展显示(Extended Reality，简称为XR)设备的基础模块，同时也可以直接部署在消费级设备，从而突破硬件配置的要求，扩展出多样的元宇宙应用。

下面对该实施例的上述方法进行进一步的介绍。

图10是根据本申请实施例的一种计算机设备对目标对象处理的流程图，如图10所示，该方法可以分为训练过程和适配传统管线两大部分。

步骤S1001，获取环拍视频。

在该实施例中，训练过程中输入数据可以为环拍物体视频数据(简称为环拍视频)。可以对真实世界物体进行摄影，得到获取环拍视频。

步骤S1002，对获取到的环拍视频进行预处理。

在该实施例中，可以对获取到的环拍视频进行预处理。

可选地，预处理可以包括：视频数据按一定频率抽帧；对抽帧后的图像序列应用图像位姿计算算法恢复视频数据对应的相机位姿(又可以称为图像位姿)；对图像序列进行去背景处理，从而完成对环拍视频的预处理。其中，图像位姿计算算法可以为结合运动恢复结构和多视角立体匹配的三维重建工具(比如，可以为COLMAP算法)。

举例而言，对获取到的环拍视频可以按照一定频率进行抽帧处理，得到抽帧后的图像序列。可以通过图像位姿计算算法恢复抽帧后的图像序列的图像位姿。其中，图像位姿可以为图像所对应的相机的位姿，可以用于表征相机在世界坐标系下的位置。

在该实施例中，为了使图像位姿计算算法能够适应多种场景，可以将COLMAP算法中的局部特征替换为深度学习特征，并加入更强的特征匹配和特征监测算法来提高图像位姿计算算法在各个场景的适应能力。其中，深度学习特征可以为用更深的神经网络提取的图像特征。

步骤S1003，基于预处理后的数据构建物体网格模型。

在该实施例中，对环拍视频进行预处理后，可以将处理过的数据传输至模型重建模块进行物体重建得到物体网格模型(又可以称为物体重建模型)。其中，模型重建算法可以为表面重建算法，该算法重建精度高，训练速度快。

步骤S1004，对物体重建模型进行光栅化处理，确定物体表面采样点。

在该实施例中，可以将物体重建模型送入光栅化模块进行光栅化处理，以得到物体表面采样位置。其中，物体表面采样位置可以为物体表面采样点。

步骤S1005，对物体表面采样位置的位置坐标进行哈希编码。

在该实施例中，获取物体表面采样点之后可以将采样点的位置坐标输入至分辨率哈希编码模块中进行编码。其中，哈希编码模块可以用于将位置坐标映射到高维空间提供高频信息。

由于得到物体表面采样位置之后，直接将位置坐标映射到高维空间需要很大的神经网络，比如，需要大于8层的多层感知机(Multilayer Perceptron，简称为MLP)，因此，存在神经渲染算法在对全连接神经网络进行参数化时效率低的问题。为解决上述问题，本申请实施例在得到物体表面采样位置之后，并没有直接将位置坐标送入特征网络中，而是将位置坐标输入到哈希编码模块，该模块可以将位置坐标映射到高维空间提供高频信息，从而使得将特征映射到高维空间只需要非常小的多层感知机完成一个索引过程即可，进而解决了神经渲染算法在对全连接神经网络进行参数化时的效率低的问题，使得可以使用一个较小规模的网络来实现神经渲染同时不会产生精度的损失。

步骤S1006，通过特征网络对编码后的位置特征进行处理。

在该实施例中，可以将编码后的位置特征送入特征网络进行非线性变化，同时可以将输出特征维度压缩到多维，从而便于适配传统渲染管线将多维的维度特征烘焙到纹理图(UV图)中。其中，多维的数量可以根据实际情况确定的，可以为在数据存储和效果之间做一个权衡确定的，比如，可以为8维、9维等，此处仅为举例，不对维度的大小和确定方式做具体限制。

可选地，特征网络可以由两个MLP组成，第一层MLP包含64个神经元，第二层MLP包含8个神经元，每层MLP可以接一个激活函数(比如，ReLU函数)进行非线性变化。

步骤S1007，获取视角方向的编码特征。

在该实施例中，可以对视角方向(View direction)进行特征编码(SH Embed)，得到视角方向(可以简称为视点)的编码特征。

步骤S1008，基于颜色网络对视角方向的编码特征和位置特征进行处理。

在该实施例中，可以将特征网络输出的特征和视点的编码特征送入颜色网络中进行处理，得到一个颜色三元组，可以使用激活函数(比如，sigmoid函数)进行激活。其中，该网络可以由三层MLP组成，每个隐层MLP可以包含16个神经元并接一个ReLU函数进行非线性变，该网络输出是一个颜色三元组并使用sigmoid函数激活。需要说明的是，颜色网络中的神经元个数可以随着需求的改变而改变，可以根据需求的推理速度，确定想要的神经元个数，神经元个数越多，推理速度越慢。

步骤S1009，利用真值颜色进行监督训练网络。

在该实施例中，可以通过真值颜色(RGB)进行监督训练网络。

步骤S1010，对物体网格模型进行减面处理。

在该实施例中，可以获取步骤S1003构建的物体网格模型，在适配传统管线渲染管线的过程中，训练好的物体网格模型不能直接接入传统渲染管线进行展示，需要通过适配传统管线渲染管线对物体网格模型进行转型转换，转换物体网格模型到传统渲染管线输入格式。

可选地，可以对重建后的物体网格模型进行减面处理，以降低物体网格模型的存储空间。

步骤S1011，对颜色网络中的网络权重进行提取。

在该实施例中，可以对颜色网络中的网络权重进行提取，并将提取到的网络权重预先保存到本地。其中，网络权重可以为训练好的颜色网络中的网络参数。

步骤S1012，对减面处理后的物体网络模型进行纹理展开。

在该实施例中，可以对处理后的模型进行纹理展开(UV展开)，其中，UV展开可以指的是创建UV贴图。

步骤S1013，烘焙特征到纹理特征图中。

可选地，可以预先建立三维模型到二维图像的对应关系。可以基于三维模型到二维图像的对应关系，将特征网络的输出特征烘培到二维图像中。

举例而言，图11a是根据本申请实施例的一种三角网格的示意图，如图11a所示，可以在物体表面采样计算出每个采样点的特征，根据三维模型到二维图像的对应关系，将每个采样点的特征赋值到二维图像中，以得到UV特征图。

图11b是根据本申请实施例的一种四维特征图的示意图，如图11b所示，可以得到一张四维的UV特征图。图12是根据本申请实施例的另一种四维特征图的示意图，如图11b和图12所示，由于一张图只能存储四维，所以可以得到两张八维的UV特征图。

步骤S1014，获取渲染数据。

在该实施例中，可以获取颜色网络的权重数据、带纹理的三角形网格和UV特征图，可以将上述数据输入至渲染管线中，作为着色器的输入数据，以得到目标对象在虚拟世界中的虚拟形象。

步骤S1015，展示目标对象在虚拟世界中的虚拟形象。

本申请实施例，提出基于网格模型的表面神经渲染算法，解决了当前传统神经渲染无法在移动端实时渲染的问题，训练速度和模型存储都有极大的降低，同时可以无缝对接到传统渲染管线，精确支持二次渲染和打光，解决了对对象进行处理局限性大的技术问题，实现了降低对对象进行处理的局限性的技术效果。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

实施例5

根据本申请实施例，还提供了一种用于实施上述图3所示的对象的处理方法的对象的处理装置的示意图。

图13是根据本申请实施例的一种对象的处理装置的示意图，如图13所示，该对象的处理装置1300可以包括：第一采集单元1302、第一重建单元1304、第一渲染单元1306和第一输出单元1308。

第一采集单元1302，用于采集位于真实世界中的目标对象的图像数据。

第一重建单元1304，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型。

第一渲染单元1306，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征。

第一输出单元1308，用于至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

此处需要说明的是，上述第一采集单元1302、第一重建单元1304、第一渲染单元1306和第一输出单元1308，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元可以是存储在存储器中并由一个或多个处理器(例如，处理器102a，102b……，102n)处理的硬件组件或软件组件，上述单元也可以作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

根据本申请实施例，还提供了一种用于实施上述图4所示的对象的处理方法的对象的处理装置的示意图。

图14是根据本申请实施例的另一种对象的处理装置的示意图，如图14所示，该对象的处理装置1400可以包括：显示单元1402和第二输出单元1404。

显示单元1402，用于响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数。

第二输出单元1404，用于响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

此处需要说明的是，上述显示单元1402和第二输出单元1404，两个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元可以是存储在存储器中并由一个或多个处理器(例如，处理器102a，102b……，102n)处理的硬件组件或软件组件，上述单元也可以作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

根据本申请实施例，还提供了一种用于实施上述图5所示的对象的处理方法的对象的处理装置的示意图。

图15是根据本申请实施例的另一种对象的处理装置的示意图，如图15所示，该对象的处理装置1500可以包括：展示单元1502和驱动单元1504。

展示单元1502，用于响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据。

驱动单元1504，用于响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

此处需要说明的是，上述展示单元1502和驱动单元1504，两个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元可以是存储在存储器中并由一个或多个处理器(例如，处理器102a，102b……，102n)处理的硬件组件或软件组件，上述单元也可以作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

根据本申请实施例，还提供了一种用于实施上述图7所示的对象的处理方法的对象的处理装置的示意图。

图16是根据本申请实施例的另一种对象的处理装置的示意图，如图16所示，该对象的处理装置1600可以包括：调取单元1602、第二重建单元1604、第二渲染单元1606和第三输出单元1608。

调取单元1602，用于通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据。

第二重建单元1604，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型。

第二渲染单元1606，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征。

第三输出单元1608，用于通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

此处需要说明的是，上述调取单元1602、第二重建单元1604、第二渲染单元1606和第三输出单元1608，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元可以是存储在存储器并由一个或多个处理器(例如，处理器102a，102b……，102n)处理的硬件组件或软件组件，上述单元也可以作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

根据本申请实施例，还提供了一种用于实施上述图9所示的对象的表面神经渲染方法的对象的表面神经渲染装置的示意图。

图17是根据本申请实施例的另一种对象的表面神经渲染装置的示意图，如图17所示，该对象的表面神经渲染装置1700可以包括：第二采集单元1702、第三重建单元1704和第三渲染单元1706。

第二采集单元1702，用于采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面。

第三重建单元1704，用于对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型。

第三渲染单元1706，用于基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

此处需要说明的是，上述第二采集单元1702、第三重建单元1704和第三渲染单元1706，三个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述单元可以是存储在存储器中并由一个或多个处理器(例如，处理器102a，102b……，102n)处理的硬件组件或软件组件，上述单元也可以作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

在对象的处理装置中，基于目标对象的网格模型，对目标对象的外表面(又可以称为模型表面)进行神经渲染，得到外观模型，从而可以忠实地捕捉真实世界物体并保留逼真的物体外观，可以将捕获到的外观模型输出至渲染管线中，进而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，进而解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

实施例6

本申请的实施例可以提供一种AR/VR设备，该AR/VR设备可以是AR/VR设备群中的任意一个AR/VR设备。可选地，在本实施例中，上述AR/VR设备也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述AR/VR设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述AR/VR设备可以执行对象的处理方法中以下步骤的程序代码：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选地，图18是根据本申请实施例的一种计算机终端的结构框图。如图18所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器1802、存储器1804、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的对象的处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的对象的处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选的，上述处理器还可以执行如下步骤的程序代码：对图像数据进行三维模型重建，得到目标对象的三维网格模型，其中，三维网格模型用于表示目标对象的三维外表面的特征模型。

可选的，上述处理器还可以执行如下步骤的程序代码：基于网格模型确定目标对象的外表面的采样位置；对采样位置进行神经渲染，得到外观模型。

可选的，上述处理器还可以执行如下步骤的程序代码：将采样位置转换为高频信息；对高频信息进行非线性处理，得到采样位置上的目标特征；基于目标特征训练得到外观模型，其中，外观模型用于输出目标对象的外表面的颜色信息，以模拟目标对象的外观特征。

可选的，上述处理器还可以执行如下步骤的程序代码：获取网格模型的第一纹理图像；将目标特征烘焙至第一纹理图像上，得到第二纹理图像；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，包括：将第二纹理图像、网格模型和外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选的，上述处理器还可以执行如下步骤的程序代码：将第二纹理图像、网格模型和外观模型的模型参数输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选的，上述处理器还可以执行如下步骤的程序代码：将第一维度的目标特征，转换为第二维度的目标特征，其中，第二维度低于第一维度；将目标特征烘焙至第一纹理图像上，得到第二纹理图像，包括：将第二维度的目标特征烘焙至第一纹理图像上，得到第二纹理图像。

可选的，上述处理器还可以执行如下步骤的程序代码：对第一维度的高频信息进行非线性处理，得到第一维度的目标特征。

可选的，上述处理器还可以执行如下步骤的程序代码：对网格模型进行减面；获取减面后的网格模型的第一纹理图像。

可选的，上述处理器还可以执行如下步骤的程序代码：对采样位置进行哈希编码，得到高频信息。

可选的，上述处理器还可以执行下步骤的程序代码：对图像数据进行抽帧处理，得到图像序列；确定图像序列对应的图像位姿，其中，图像位姿用于表示图像序列对应的图像采集设备的位姿；和/或，去除图像序列中的背景信息；对图像数据进行模型重建，得到目标对象的网格模型，包括：对预处理后的图像数据进行模型重建，得到网格模型。

可选的，上述处理器还可以执行如下步骤的程序代码：对外观模型进行渲染和/或打光。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

采用本申请实施例，提供了一种对象的处理方法。基于目标对象的网格模型，对目标对象的外表面(又可以称为模型表面)进行神经渲染，得到外观模型，从而可以忠实地捕捉真实世界物体并保留逼真的物体外观，可以将捕获到的外观模型输出至渲染管线中，进而实现了在创建虚拟世界的虚拟资产时，减少对对象进行处理的局限性的技术效果，解决了在创建虚拟世界的虚拟资产时，对对象进行处理局限性大的技术问题。

本领域普通技术人员可以理解，图18所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图18并不对上述计算机终端的结构造成限定。例如，计算机终端A还可包括比图18中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图18所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例7

本申请的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的对象的处理方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于AR/VR设备网络中AR/VR设备终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采集位于真实世界中的目标对象的图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：对图像数据进行三维模型重建，得到目标对象的三维网格模型，其中，三维网格模型用于表示目标对象的三维外表面的特征模型。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：基于网格模型确定目标对象的外表面的采样位置；对采样位置进行神经渲染，得到外观模型。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：将采样位置转换为高频信息；对高频信息进行非线性处理，得到采样位置上的目标特征；基于目标特征训练得到外观模型，其中，外观模型用于输出目标对象的外表面的颜色信息，以模拟目标对象的外观特征。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：获取网格模型的第一纹理图像；将目标特征烘焙至第一纹理图像上，得到第二纹理图像；至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，包括：将第二纹理图像、网格模型和外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：将第二纹理图像、网格模型和外观模型的模型参数输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：将第一维度的目标特征，转换为第二维度的目标特征，其中，第二维度低于第一维度；将目标特征烘焙至第一纹理图像上，得到第二纹理图像，包括：将第二维度的目标特征烘焙至第一纹理图像上，得到第二纹理图像。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：对第一维度的高频信息进行非线性处理，得到第一维度的目标特征。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：对网格模型进行减面；获取减面后的网格模型的第一纹理图像。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：对采样位置进行哈希编码，得到高频信息。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：对图像数据进行抽帧处理，得到图像序列；确定图像序列对应的图像位姿，其中，图像位姿用于表示图像序列对应的图像采集设备的位姿；和/或，去除图像序列中的背景信息；对图像数据进行模型重建，得到目标对象的网格模型，包括：对预处理后的图像数据进行模型重建，得到网格模型。

可选地，上述计算机可读存储介质还可以执行如下步骤的程序代码：对外观模型进行渲染和/或打光。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的输入指令，在操作界面上显示位于真实世界中的目标对象的图像数据；响应作用于操作界面上的渲染指令，至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在VR设备或AR设备的呈现画面上展示真实世界中目标对象的图像数据；响应作用于操作界面上的渲染指令，驱动VR设备或AR设备至少将目标对象对应的外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，外观模型用于模拟目标对象的外观特征，且为基于网格模型对目标对象的外表面进行神经渲染而得到，网格模型用于表示覆盖在目标对象外表面上的特征模型，且为对图像数据进行模型重建而得到。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，第一接口包括第一参数，第一参数的参数值为图像数据；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征；通过调用第二接口至少将外观模型输出至渲染管线中，展示目标对象在虚拟世界中的虚拟形象，其中，第二接口包括第二参数，第二参数的参数值至少为外观模型。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采集位于真实世界中的目标对象的图像数据，其中，图像数据用于表示目标对象的外表面；对图像数据进行模型重建，得到目标对象的网格模型，其中，网格模型用于表示覆盖在目标对象的外表面的特征模型；基于网格模型，对目标对象的外表面进行神经渲染，得到外观模型，其中，外观模型用于模拟目标对象的外观特征，且用于在渲染管线中展示目标对象在虚拟世界中的虚拟形象。

实施例8

本申请的实施例可以提供一种电子设备，该电子设备可以包括存储器和处理器。

图19是根据本申请实施例的一种对象的处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图19所示，设备1900包括计算单元1901，其可以根据存储在只读存储器(ROM)1902中的计算机程序或者从存储单元1908加载到随机访问存储器(RAM)1903中的计算机程序，来执行各种适当的动作和处理。在RAM1903中，还可存储设备1900操作所需的各种程序和数据。计算单元1901、ROM1902以及RAM1903通过总线1904彼此相连。输入/输出(I/O)接口1905也连接至总线1904。

设备1900中的多个部件连接至I/O接口1905，包括：输入单元1906，例如键盘、鼠标等；输出单元1907，例如各种类型的显示器、扬声器等；存储单元1908，例如磁盘、光盘等；以及通信单元1909，例如网卡、调制解调器、无线通信收发机等。通信单元1909允许设备1900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1901执行上文所描述的各个方法和处理，例如对象的处理方法。例如，在一些实施例中，对象的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1902和/或通信单元1909而被载入和/或安装到设备1900上。当计算机程序加载到RAM 1903并由计算单元1901执行时，可以执行上文描述的资源的配置方法的一个或多个步骤。备选地，在其他实施例中，计算单元1901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行对象的处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器、监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种对象的处理方法，其特征在于，包括：

采集位于真实世界中的目标对象的图像数据；

对所述图像数据进行模型重建，得到所述目标对象的网格模型，其中，所述网格模型用于表示覆盖在所述目标对象的外表面的特征模型；

基于所述网格模型，对所述目标对象的外表面进行神经渲染，得到外观模型，其中，所述外观模型用于模拟所述目标对象的外观特征；

至少将所述外观模型输出至渲染管线中，展示所述目标对象在虚拟世界中的虚拟形象；

其中，至少将所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，包括：将第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，其中，所述第二纹理图像为通过将目标特征烘焙至所述网格模型的第一纹理图像上得到，所述目标特征用于表征所述目标对象的外表面的采样位置上的特征；

其中，基于所述网格模型，对所述目标对象的外表面进行神经渲染，得到所述外观模型，包括：基于所述网格模型确定所述目标对象的外表面的所述采样位置；将所述采样位置输入至哈希编码模块中进行编码，得到高频信息；对所述高频信息进行非线性处理，得到所述采样位置上的所述目标特征；基于所述目标特征训练得到所述外观模型，其中，所述外观模型用于输出所述目标对象的外表面的颜色信息，以模拟所述目标对象的外观特征；

其中，将所述第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，包括：将所述第二纹理图像、所述网格模型和所述外观模型的模型参数输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象；

所述方法还包括：将第一维度的所述目标特征，转换为第二维度的所述目标特征，其中，所述第二维度低于所述第一维度；将所述目标特征烘焙至所述第一纹理图像上，得到第二纹理图像，包括：将所述第二维度的所述目标特征烘焙至所述第一纹理图像上，得到所述第二纹理图像。

2.根据权利要求1所述的方法，其特征在于，对所述图像数据进行模型重建，得到所述目标对象的网格模型，包括：

对所述图像数据进行三维模型重建，得到所述目标对象的三维网格模型，其中，所述三维网格模型用于表示所述目标对象的三维外表面的特征模型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述网格模型的所述第一纹理图像。

4.根据权利要求1所述的方法，其特征在于，获取所述网格模型的第一纹理图像，包括：

对所述网格模型进行减面；

获取减面后的所述网格模型的所述第一纹理图像。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：对所述图像数据进行以下预处理：

对所述图像数据进行抽帧处理，得到图像序列；

确定所述图像序列对应的图像位姿，其中，所述图像位姿用于表示所述图像序列对应的图像采集设备的位姿；和/或，

去除所述图像序列中的背景信息；

对所述图像数据进行模型重建，得到所述目标对象的网格模型，包括：对预处理后的所述图像数据进行模型重建，得到所述网格模型。

6.一种对象的处理方法，其特征在于，包括：

响应作用于操作界面上的输入指令，在所述操作界面上显示位于真实世界中的目标对象的图像数据；

响应作用于所述操作界面上的渲染指令，至少将所述目标对象对应的外观模型输出至渲染管线中，展示所述目标对象在虚拟世界中的虚拟形象，其中，所述外观模型用于模拟所述目标对象的外观特征，且为基于网格模型对所述目标对象的外表面进行神经渲染而得到，所述网格模型用于表示覆盖在所述目标对象外表面上的特征模型，且为对所述图像数据进行模型重建而得到；

其中，至少将所述目标对象对应的所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，包括：将第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，其中，所述第二纹理图像为通过将目标特征烘焙至所述网格模型的第一纹理图像上得到，所述目标特征用于表征所述目标对象的外表面的采样位置上的特征；

其中，所述外观模型用于输出所述目标对象的外表面的颜色信息，以模拟所述目标对象的外观特征，且所述外观模型为基于所述目标特征训练得到，所述目标特征为所述采样位置上的，且是通过对高频信息进行非线性处理得到的，所述高频信息为将所述采样位置输入至哈希编码模块中进行编码得到，所述采样位置为基于所述网格模型确定的，且为所述目标对象的外表面的位置；

7.一种对象的处理方法，其特征在于，包括：

响应作用于虚拟现实VR设备或增强现实AR设备的操作界面上的图像输入指令，在所述VR设备或所述AR设备的呈现画面上展示真实世界中目标对象的图像数据；

响应作用于所述操作界面上的渲染指令，驱动所述VR设备或所述AR设备至少将所述目标对象对应的外观模型输出至渲染管线中，展示所述目标对象在虚拟世界中的虚拟形象，其中，所述外观模型用于模拟所述目标对象的外观特征，且为基于网格模型对所述目标对象的外表面进行神经渲染而得到，所述网格模型用于表示覆盖在所述目标对象外表面上的特征模型，且为对所述图像数据进行模型重建而得到；

8.一种对象的处理方法，其特征在于，包括：

通过调用第一接口调取位于真实世界中的目标对象的图像数据，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述图像数据；

通过调用第二接口至少将所述外观模型输出至渲染管线中，展示所述目标对象在虚拟世界中的虚拟形象，其中，所述第二接口包括第二参数，所述第二参数的参数值至少为所述外观模型；

其中，将所述第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，包括：将所述第二纹理图像、所述网格模型和所述外观模型的模型参数输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象；所述方法还包括：将第一维度的所述目标特征，转换为第二维度的所述目标特征，其中，所述第二维度低于所述第一维度；将所述目标特征烘焙至所述第一纹理图像上，得到第二纹理图像，包括：将所述第二维度的所述目标特征烘焙至所述第一纹理图像上，得到所述第二纹理图像。

9.一种对象的表面神经渲染方法，其特征在于，包括：

采集位于真实世界中的目标对象的图像数据，其中，所述图像数据用于表示所述目标对象的外表面；

基于所述网格模型，对所述目标对象的外表面进行神经渲染，得到外观模型，其中，所述外观模型用于模拟所述目标对象的外观特征，且用于在渲染管线中展示所述目标对象在虚拟世界中的虚拟形象；

其中，在所述渲染管线中展示所述目标对象在所述虚拟世界中的所述虚拟形象，包括：将第二纹理图像、所述网格模型和所述外观模型输出至所述渲染管线中，展示所述目标对象在所述虚拟世界中的所述虚拟形象，其中，所述第二纹理图像为通过将目标特征烘焙至所述网格模型的第一纹理图像上得到，所述目标特征用于表征所述目标对象的外表面的采样位置上的特征；

10.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至9中任意一项所述方法的步骤。