CN114841783A - 商品信息处理方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种商品信息处理方法、装置、终端设备及存储介质。在本申请实施例中，基于第二用户的3D人体模型与候选商品的融合效果为第二用户选择商品，相当于通过VR预先看到了候选商品在第二用户上的试用效果，可以准确地为第二用户选择商品，能够做到精准匹配；另外，第一用户基于第二用户的3D人体模型准确地为第二用户选择商品，是一种新的电商应用模式，拓展了电商应用模式，提高电商应用的使用灵活性，可以满足一个用户为另一个用户选购商品的特殊需求，有利于给用户带来新的购物体验。

Description

商品信息处理方法、装置、终端设备及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种商品信息处理方法、装置、终端设备及存储介质。

背景技术

随着互联网技术的发展，基于互联网的应用越来越多。基于电商应用，用户可以足不出户，购买自己所需的各种商品。在使用电商应用购买商品之前，用户需要预先注册电子账号，该电子账号用于标识用户，并关联用户的收货地址、支付账号等信息。

在购买商品时，用户打开电商应用，通过商品详情页了解商品的类目、图片或评价等各种信息，并据此了解该商品是否适合自己；当确定该商品适合自己时，通过预先注册的电子账号进行下单和支付，最终完成商品的购买操作。

虽然，基于电商应用的在线购物可以极大地方便用户，但是目前的购物模式较为单调，灵活性不够，有时无法满足用户特殊的购物需求，用户的购物体验有待进一步提升。

发明内容

本申请的多个方面提供一种商品信息处理方法、装置、终端设备及存储介质，用以解决目前的购物模式较为单调，灵活性不够，有时无法满足用户特殊的购物需求的技术问题，拓展了电商应用功能模式，有利于给用户带来新的购物体验。

本申请实施例提供一种商品信息处理方法，适用于第一用户的终端设备，包括：显示第二用户的三维3D人体模型，所述3D人体模型是根据第二用户的多张图像进行三维重建得到的；选择候选商品，将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果；根据所述候选商品与所述3D人体模型的融合效果，从所述候选商品中选择与所述第二用户适配的目标商品。

本申请另一实施例还提供一种商品信息处理方法，包括：获取用户的隐式三维3D表征模型，所述隐式3D表征模型是根据用户的多张图像进行基于神经网络的三维重建得到的；基于所述隐式3D表征模型渲染出所述用户的3D人体模型，并显示所述3D人体模型；选择候选商品，将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果。

本申请又实施例还提供一种商品信息处理装置，可应用于第一用户的终端设备，包括：显示模块，用于显示第二用户的三维3D人体模型，所述3D人体模型是根据第二用户的多张图像进行三维重建得到的；选择模块，用于选择候选商品；渲染模块，用于将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果；所述选择模块还用于：根据所述候选商品与所述3D人体模型的融合效果，从所述候选商品中选择与所述第二用户适配的目标商品。

本申请又一实施例还提供一种商品信息处理装置，包括：获取模块，用于获取用户的隐式三维3D表征模型，所述隐式3D表征模型是根据用户的多张图像进行基于神经网络的三维重建得到的；渲染模块，用于基于所述隐式3D表征模型渲染出所述用户的3D人体模型，并显示所述3D人体模型；选择模块，用于选择候选商品；所述渲染模块还用于：将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果。

本申请实施例还提供一种终端设备，包括：存储器和处理器；存储器，用于存储计算机程序，处理器与存储器耦合，用于执行计算机程序，以用于实现以上所述方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现以上所述方法中的步骤。

在本申请实施例中，允许第一用户获取第二用户的3D人体模型，并渲染出候选商品与第二用户的3D人体模型的融合效果，进而根据候选商品与第二用户的3D人体模型的融合效果，为第二用户选择与之适配的目标商品。其中，基于第二用户的3D人体模型与候选商品的融合效果为第二用户选择商品，相当于通过VR预先看到了候选商品在第二用户上的试用效果，可以准确地为第二用户选择商品，能够做到精准匹配；另外，第一用户基于第二用户的3D人体模型准确地为第二用户选择商品，是一种新的电商应用模式，拓展了电商应用模式，提高电商应用的使用灵活性，可以满足一个用户为另一个用户选购商品的特殊需求，有利于给用户带来新的购物体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请一示例性实施例提供的商品信息处理方法的流程示意图；

图1b-1c为本申请一示例性实施例提供的商品信息处理系统的结构示意图；

图2a为本申请又一示例性实施例提供的商品信息处理方法的流程示意图；

图2b为本申请又一示例性实施例提供的3D人体模型的试妆效果图；

图3为本申请又一示例性实施例提供的商品信息处理装置的结构示意图；

图4为本申请又一示例性实施例提供的商品信息处理装置的结构示意图；

图5为本申请又一示例性实施例提供的终端设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有电商购物模式较为单调，灵活性不够，无法满足用户特殊的购物需求等问题，在本申请实施例中，提供了一种新的电商应用模式，允许第一用户通过自己使用的终端设备上的安装的电商应用为第二用户选购商品。具体地，允许第一用户获取第二用户的3D人体模型，并渲染出候选商品与第二用户的3D人体模型的融合效果，进而根据候选商品与第二用户的3D人体模型的融合效果，为第二用户选择与之适配的目标商品。

其中，基于第二用户的3D人体模型与候选商品的融合效果为第二用户选择商品，相当于通过VR预先看到了候选商品在第二用户上的试用效果，可以准确地为第二用户选择商品，能够做到精准匹配；另外，第一用户基于第二用户的3D人体模型准确地为第二用户选择商品，是一种新的电商应用模式，拓展了电商应用模式，提高电商应用的使用灵活性，可以满足一个用户为另一个用户选购商品的特殊需求，有利于给用户带来新的购物体验。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1a为本申请一示例性实施例提供的商品信息处理方法的流程示意图，适用于第一用户终端设备。如图1a所示，该方法包括：

101、显示第二用户的三维3D人体模型，3D人体模型是根据第二用户的多张图像进行三维重建得到的；

102、选择候选商品，将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果；

103、根据候选商品与3D人体模型的融合效果，从候选商品中选择与第二用户适配的目标商品。

在本实施例中，可以将直接通过终端设备选购商品的用户称为第一用户，第一用户的终端设备可以是智能手持设备，例如智能手机、平板电脑，可以是台式设备，例如笔记本电脑或台式电脑等，也可以是智能穿戴设备，例如智能手表、智能手环等，还可以是各种带有显示屏幕的智能家电，例如智能电视、智能大屏或智能机器人等可以实现网络通信且能安装应用程序的智能设备。应用程序可以是独立的APP，也可以是依赖于独立APP运行的小程序。

在本实施例中，为了便于区分，可以将第一用户使用的终端设备称为第一终端设备，第一用户使用的第一终端设备上安装有电商应用，第一用户可以通过第一终端设备上的电商应用选购商品，并且第一用户除了可以给自己选购商品外，也可以通过第一终端设备上安装的电商应用帮助第二用户选购商品，第二用户可以是与第一用户具有关联关系的人群，例如第一用户的家人、朋友、同学或同事等。在第一用户通过第一终端设备上的电商应用为第二用户选购商品的过程中，为了保证能够选择到与第二用户精准匹配的商品，可以通过第一用户的终端设备获取第二用户的3D人体模型，基于第二用户的3D人体模型，从电商应用提供的商品中选购与第二用户适配的目标商品，其中，3D人体模型是根据第二用户的多张图像进行三维重建得到的。可选地，根据第二用户的多张图像进行三维重建可以是隐式三维重建的方式，也可以是显示三维重建的方式，相应地，第二用户的3D人体模型可以是根据隐式三维重建得到的隐式3D表征模型渲染得到的，也可以是根据显式三维重建得到的人体网格(mesh)模型渲染得到的。本实施例中，这种由第一用户根据第二用户的3D人体模型通过第一终端设备上的电商应用为第二用户选择商品的新的电商模式，拓展了电商应用模式，提高了电商应用的使用灵活性，可以满足一个用户为另一个用户选购商品的特殊需求，有利于给用户带来新的购物体验。

在本实施例中，第二用户的多张图像是指至少包含第二用户的部分人体结构在内的图像，且多张图像是指从不同视角拍摄的包含相同人体结构的图像。其中，根据多张图像中包含的人体结构的不同，基于多张图像构建出的3D人体模型可以是第二用户的局部人体模型，也可以是第二用户的整体人体模型。在一可选实施例中，多张图像中包含第二用户的上半身信息，则基于这些图像可以构建出第二用户上半身对应的3D模型。在另一可选实施例中，多张图像中包含第二用户的头部信息，则基于这些图像可以构建出第二用户头部对应的3D模型。在又一可选实施例中，多张图像中包含第二用户的全身信息，则基于这些图像可以构建出第二用户的整个人体3D模型。

在本实施例中，第一终端设备获取到第二用户的三维3D人体模型后，可以通过第一终端设备的图形用户界面，具体是指在电商应用提供的页面上显示第二用户的三维3D人体模型，以及响应于第一用户在电商应用中为第二用户选择候选商品的操作，选择出候选商品；进而将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果。根据候选商品的不同，候选商品与3D人体模型的融合效果会有所不同，无论是哪种候选商品，候选商品与3D人体模型的融合效果可以理解为是候选商品在第二用户上的试用效果，能够反映候选商品与第二用户的匹配度。之后，根据候选商品与3D人体模型的融合效果，从候选商品中选择与第二用户适配的目标商品。可选地，可以从候选商品中，选择与3D人体模型的融合效果最优或符合要求的候选商品作为目标商品。其中，基于第二用户的3D人体模型与候选商品的融合效果为第二用户选择商品，相当于通过VR预先看到了候选商品在第二用户上的试用效果，可以准确地为第二用户选择商品能够做到精准匹配。

在一可选实施例中，3D人体模型可以是根据第二用户的多张图像进行隐式三维重建得到的。基于此，显示第二用户的3D人体模型的可选方式包括：获取第二用户的隐式3D表征模型，隐式3D表征模型是根据第二用户的多张图像进行基于神经网络的三维重建得到的，是对第二用户的人体的三维隐式表征；根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型。其中，基于神经网络的三维重建方式，即隐式三维重建方式，可以更好地保留被重建对象(在本实施例中是指第二用户待重建的人体结构)的纹理信息，有利于提高三维重建的人体模型的质量。关于根据第二用户的多张图像进行基于神经网络的三维重建得到的详细过程可参见后续实施例，在此暂不赘述。

在另一可选实施例中，3D人体模型可以是根据第二用户的多张图像进行显式三维重建得到的。基于此，显示第二用户的3D人体模型的可选方式包括：获取第二用户的人体mesh模型，根据人体mesh模型渲染出第二用户的3D人体模型。其中，人体mesh模型是根据第二用户的多张图像进行显式三维重建得到的。显式三维重建方式也可以称为传统的三维重建方式。人体mesh模型是指能够反映第二用户的人体表面特征且能够对第二用户进行显式三维表示的mesh模型，人体mesh模型包括第二用户的人体表面点及每个人体表面点的空间坐标和颜色信息。这些人体表面点可形成人体mesh模型中的三角面和顶点，人体mesh模型具体包括多个三角面和顶点，顶点的属性信息包括顶点的空间坐标、颜色信息、材质信息以及其它纹理信息等。顶点是人体表面点，每个三角面也包括多个人体表面点，其中，三角面上除作为顶点的人体表面点之外的其它人体表面点的空间坐标和颜色信息可由其所属三角面上的三个顶点的空间坐标和颜色信息进行插值计算得到。

在本实施例中，第一终端设备获取第二用户的隐式3D表征模型或人体mesh模型，可以采用但不限于以下几种方式：

方式一：第一终端设备向其他设备发送模型获取请求，以请求获取第二用户的隐式3D表征模型或人体mesh模型；接收其它设备根据该模型获取请求返回的第二用户的隐式3D表征模型或人体mesh模型。

方式二：第一终端设备接收其他设备主动发送的第二用户的隐式3D表征模型或人体mesh模型。具体地，其他设备在获取或生成第二用户的隐式3D表征模型或人体mesh模型的情况下，主动向第一终端设备发送第二用户的隐式3D表征模型或人体mesh模型。

方式三：第一终端设备向其它设备发送图像获取请求，以请求获取第二用户的多张图像；其它设备根据该图像获取请求向第一终端设备返回第二用户的多张图像；第一终端设备在获取第二用户的多张图像之后，基于第二用户的多张图像进行基于神经网络的三维重建或进行显式三维重建，得到第二用户的隐式3D表征模型或人体mesh模型。

方式四：第一终端设备接收其他设备主动发送的第二用户的多张图像。具体地，其他设备在获取或采集到第二用户的多张图像的情况下，主动向第一终端设备发送第二用户的多张图像。第一终端设备在获取第二用户的多张图像之后，基于第二用户的多张图像进行基于神经网络的三维重建或进行显式三维重建，得到第二用户的隐式3D表征模型或人体mesh模型。

上述实施例中，其他设备可以是第二用户使用的第二终端设备，如图1b所示，电商应用场景对应的商品信息处理系统中可以包括第一用户使用的第一终端设备11和第二用户使用的第二终端设备12，第一终端设备11和第二终端设备12通信连接。可选地，第一终端设备11与第二终端设备12进行交互，从第二终端设备12处获取第二用户的隐式3D表征模型或人体mesh模型或多张图像。

进一步可选地，如图1c所示，商品信息处理系统除了包括第一终端设备11和第二终端设备12之外，还包括服务端设备13，第一终端设备11和第二终端设备12分别与服务端设备13通信连接。相应的，第一终端设备11、第二终端设备12及服务端设备13之间进行交互，使得第一终端设备11从服务端设备13获取第二用户的隐式3D表征模型或人体mesh模型或多张图像。可选地，第二终端设备12将第二用户的多张图像上传至服务端设备13；或者，第二终端设备12采集到第二用户的多张图像之后，基于第二用户的多张图像进行基于神经网络的三维重建或进行显式三维重建，得到第二用户的隐式3D表征模型或人体mesh模型，并将第二用户的隐式3D表征模型或人体mesh模型上传至服务端设备13。

在一可选实施例中，第二终端设备可以采集第二用户的多张图像，根据第二用户的多张图像进行基于神经网络的三维重建或进行显式三维重建，得到第二用户的隐式3D表征模型或人体mesh模型，并将第二用户的隐式3D表征模型或人体mesh模型上传至服务端设备，并维护隐式3D表征模型或人体mesh模型的模型标识。第二终端设备主动向第一终端设备提供第二用户的隐式3D表征模型或人体mesh模型的模型标识，或者，第二终端根据第一终端设备发送的模型获取请求，向第一终端设备提供第二用户的隐式3D表征模型或人体mesh模型的模型标识。第一终端设备根据该模型标识，从服务端设备获取第二用户的隐式3D表征模型或人体mesh模型。在本实施例中，并不限定模型标识的实现方式，凡是能够唯一标识第二用户的隐式3D表征模型或人体mesh模型的实现方式均适用于本申请实施例。例如，可以使用第二用户的账号信息，或者是第二终端设备的标识信息，作为第二用户的隐式3D表征模型或人体mesh模型的模型标识。

在另一可选实施例中，第二终端设备可以采集第二用户的多张图像，将第二用户的多张图像上传至服务端设备，服务端设备预先维护有第一用户和第二用户之间的绑定关系，基于该绑定关系，主动将第二用户的多张图像发送至第一用户使用的第一终端设备，或者，也可以根据第一终端设备发送的图像获取请求，将第二用户的多张图像发送至第一用户使用的第一终端设备。第一终端设备根据服务端设备提供的第二用户的多张图像进行基于神经网络的三维重建或进行显式三维重建，得到第二用户的隐式3D表征模型或人体mesh模型。

接续于上述一些可选实施例，在获取到第二用户的隐式3D表征模型后，可以根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型。可选地，根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型的一种具体实施方式如下：根据第二用户的多张图像的图像特征，确定第二用户对应的人体空间范围，第二用户对应的人体空间范围为第二用户的隐式3D表征模型的形状和体积；然后基于人体空间范围和隐式3D表征模型生成第二用户对应的初始三维模型，初始三维模型包括第二用户的人体表面点，第二用户的人体表面点可以是具有体现外貌特征的点，例如眉毛、眼睛、鼻子、嘴巴、耳朵及身体的关节等特征点；之后将初始三维模型上每个人体表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到第二用户的3D人体模型，第一视线是指每张图像中拍摄到各像素点的视线。该实施例的详细实施过程与隐式3D表征模型的生成过程相关，具体可参见后续实施例中的描述，在此暂不赘述。

进一步，无论采用上述哪种方式得到第二用户的3D人体模型，在得到第二用户的3D人体模型后，为了给第二用户选择到精准匹配的商品，可以从电商应用提供的各商品中选择出候选商品，将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果。可选地，将候选商品渲染至3D人体模型上，得到候选商品与3D人体模型的融合效果的一种具体实施方式如下：首先对3D人体模型进行特征估计，得到多个人体特征点及其位置信息；然后根据多个人体特征点及其位置信息，确定3D人体模型上与候选商品适配的目标特征点位置；之后将候选商品对应的试用模型渲染至目标特征点位置上，以得到候选商品与3D人体模型的融合效果。

其中，多个人体特征点可以包括但不限于：五官特征点、人体骨骼特征点和手部特征点，具体可视3D人体模型对应的第二用户的人体结构而定。另外，针对不同类型的候选商品，在人体上的试用位置是不同的。例如对于美妆类商品，试用位置通常在人体五官上，对于服装类商品，试用位置通常在人体上半身，与人体骨骼特征有关；如果是穿戴类商品，试用位置通常在人体手腕等部位。基于此，将候选商品对应的试用模型渲染至目标特征点位置上，以得到候选商品与3D人体模型的融合效果，可选的具体实施方式包括以下至少一种操作：

若候选商品为美妆类商品，目标特征点位置为五官特征点对应的位置，将美妆类商品对应的二维试用模型渲染至五官特征点对应的位置上，以得到美妆类商品与3D人体模型的融合效果。其中，五官特征点对应的位置可以是眉毛、眼睛、鼻子、嘴巴及下巴对应的位置。以口红为例，其目标特征点位置为嘴唇位置，由于口红只需涂抹嘴唇的表面，那么口红对应的试用模型为二维模型，在试装时，将口红对应的二维试用模型渲染至第二用户的嘴唇位置，得到口红与第二用户的嘴唇的融合效果。

若候选商品为服饰类商品，目标特征点位置为人体骨骼特征点对应的位置，将服饰类商品对应的三维试用模型渲染至人体骨骼特征点对应的位置上，以得到服饰类商品与3D人体模型的融合效果。其中，人体骨骼特征点对应的位置可以是肩周、胳膊肘、手肘、胯骨、膝盖及脚腕对应的位置点。以上衣外套为例，目标特征点为肩周、胳膊肘、手肘，将上衣外套对应的三维试用模型渲染至上述人体骨骼特征点对应的位置上，得到上衣外套与3D人体模型的融合效果。

若候选商品为穿戴类商品，目标特征点位置为手部特征点对应的位置，将穿戴类商品对应的三维试用模型渲染至手部特征点对应的位置上，以得到穿戴类商品与3D人体模型的融合效果。其中，手部特征点可以是手腕和手指关节对应的位置。对于穿戴类商品，特征点位置还可以是脖颈部位、耳部特征点对应的位置。以手链为例，目标特征点为手腕对应的位置，将手链对应的三维试用模型渲染至手腕对应的位置上，得到手链与3D人体模型的融合效果。

在本申请上述实施例中，并未限定选择候选商品的实施方式。在一可选实施例中，第一用户可以根据自己的喜好或需求在电商应用中搜索所需的商品作为候选商品。例如，第一用户可以在搜索框内输入关键词“A品牌口红”，之后点击“搜索”控件发出搜索请求；第一终端设备响应第一用户发出的搜索请求，搜索出所有A品牌的口红商品并展示在搜索结果页面上。第一用户可以将搜索结果页面上的口红商品作为候选商品。或者，在另一可选实施例中，第一终端设备可以根据第一用户的历史操作数据，生成商品推荐列表，将商品推荐列表中的商品作为候选商品。除了这里列举的实施方式之外，还可以采用下述实施例提供的方式选择候选商品。

在本申请一可选实施例中，为了使电商购物场景更加丰富，进一步提高电商应用的灵活性，满足用户的购物需求，可以将第二用户的3D人体模型显示在第一界面上，第一界面可以是电商应用提供的任一页面、浮层或弹窗。第一界面上除了可以显示3D人体模型之外，还可以显示其他控件，以方便第一用户根据第二用户的3D人体模型为第二用户选择目标商品。可选地，可以将第一界面分为多个区域，例如划分为第一区域、第二区域及第三区域。其中，对第一区域、第二区域及第三区域的位置关系不做限定，例如三个区域分别分布在第一界面的左、中、右或上、中、下，或者三个区域还可以无序分布在第一界面的不同位置。在一可选实施例中，如图1b或图1c所示，可以将第二用户的3D人体模型显示于第一界面的第一区域中；相应地，在第一界面的第二区域中显示至少一个商品选择控件，进一步可选地，在第一界面的第三区域中显示分享控件、收藏控件、加购控件和下单控件中的至少一个。在图1b或图1c中，以第二区域、第一区域和第三区域分布在第一界面的左中右为例进行图示，但不限于此。

在一可选实施例中，不同商品选择控件可以对应不同的商品类型，在图1b或图1c中，示出试妆选择控件、试衣选择控件、眼镜试戴选择控件和手表试戴选择控件，但并不限于此。相应地，选择候选商品的又一种实施方式如下：响应于第一用户对任一商品选择控件的触发操作，确定展示与被触发的商品选择控件对应的商品类型下的至少一个商品；继续响应于第一用户的商品选择操作，确定被选择的商品作为候选商品。可选地，上述与被触发的商品选择控件对应的商品类型下的至少一个商品可以是第一终端设备根据第一用户针对该商品类型产生的历史操作数据所推荐的。这里的历史操作数据可以包括：第一用户加入购物车的属于该商品类型下的商品信息、之前购买过的该商品类型下的商品信息、收藏过的该商品类型下的商品信息以及多次浏览过过的该商品类型下的商品信息。

进一步可选地，第二区域中显示的每个一个商品选择控件可以是一类商品的总控件，每个商品选择控件还可以包括至少一个商品选择子控件，并且还可以根据至少一个商品选择子控件对应的商品的属性信息，适应性为至少一个商品选择子控件分别增加下一级子控件，其中，属性信息可以是商品的品牌、颜色及材质等。在一可选实施例中，商品选择控件及对应的商品选择子控件可以形成层级关系，该层级关系与商品类目之间的层级关系对应，即商品选择控件对应第一级商品类目，每一层商品选择子控件对应一级子类目，直至到达叶子类目。相应地，选择候选商品，具体实施方式如下：响应于第一用户对第二区域中显示的任一商品选择控件的选择操作，展示与该商品选择控件对应的第一级商品选择子控件；继续响应于第一用户对每一级商品选择子控件中任一商品选择子控件的选择操作，直至到达与叶子类目对应的商品选择子控件；响应于对该叶子类目对应的商品选择子控件中任一商品选择子控件的选择操作，展示该叶子类目下可被选择的商品列表；响应于第一用户对该商品列表中的选择操作，确定被选择商品作为候选商品。

例如，假设多个商品选择控件至少包括：服饰类商品选择控件、穿戴类商品选择控件及美妆类商品选择控件，可选地，服饰类商品选择控件对应的下一级商品选择子控件至少包括：外套商品选择子控件、T恤商品选择子控件、裤装商品选择子控件及裙装商品选择子控件；相应地，穿戴商品选择控件对应的下一级商品选择子控件包括：帽子商品选择子控件、眼镜商品选择子控件、耳饰商品选择子控件、项链商品选择子控件、手链商品选择子控件、戒指商品选择子控件及手表商品选择子控件；美妆商品选择控件对应的下一级商品选择子控件包括：眉笔商品选择子控件、眼线商品选择子控件、眼影商品选择子控件、粉底液商品选择子控件及口红商品选择子控件等。以第一用户想要为第二用户选购口红为例，响应于第一用户对美妆商品选择控件的选择操作，展示眉笔商品选择子控件、眼线商品选择子控件、眼影商品选择子控件、粉底液商品选择子控件及口红商品选择子控件等；继续响应于第一用户对口红商品选择子控件的选择操作，继续展示下一级选择子控件，假设下一级选择子控件是对应不同口红品牌的选择子控件；继续响应于第一用户对口红品牌子控件的选择操作，继续展示下一级选择子控件，假设下一级选择子控件是对应不同口红颜色的选择子控件；响应于对口红颜色子控件的选择操作，展示被选择的口红品牌下的被选择的口红颜色对应的口红商品列表；响应于第一用户对该口红商品列表中的某个口红商品的选择操作，确定被选择口红作为候选商品。

在一可选实施例中，第一界面的第三区域中可以显示分享控件、收藏控件、加购控件和下单控件中的至少一个；相应地，在从候选商品中选择与第二用户适配的目标商品之后，还可以进行以下至少一种操作：响应于第一用户对分享控件的触发操作，将目标商品的链接信息发送给第二用户的终端设备，以使第二用户购买目标商品；响应第一用户对收藏控件的触发操作，将目标商品的链接信息添加至收藏夹中；响应第一用户对加购控件的触发操作，将目标商品添加至购物车中；响应第一用户对下单控件的触发操作，对目标商品进行下单操作，其中，下单操作对应的账号可以为第一用户自己的账号，下单操作对应的收货地址可以为第二用户的收货地址，或者，下单操作对应的收货地址也可以为第一用户的收货地址。进一步，在收货地址是第一用户的收货地址的情况下，第一用户收到商品后，可以将目标商品转交给第二用户。

在本申请上述一些可选实施例中，第二用户的3D人体模型可以是基于第二用户的隐式3D表征模型渲染得到的。在基于第二用户的隐式3D表征模型渲染得到第二用户的3D人体模型之前，需要基于第二用户的多张图像进行基于神经网络的三维重建，得到第二用户的隐式3D表征模型。其中，基于第二用户的多张图像进行基于神经网络的三维重建，得到第二用户的隐式3D表征模型的过程可以是第一终端设备执行，也可以是第二终端设备执行，还可以是服务端设备执行，对此不做限定。无论是得到隐式3D表征模型的执行主体是谁，其基于第二用户的多张图像进行基于神经网络的三维重建，得到第二用户的隐式3D表征模型的过程相同或相似。下面实施例将展开进行详细描述。

具体地，可以对处于真实世界中的第二用户的至少部分人体结构从不同拍摄角度进行拍摄，得到包含该第二用户的至少部分人体结构(例如头部或上半身或整个人体)的多张图像或者视频，从视频中提取包含第二用户的多张图像。进一步可选的，为了能够准确重建出第二用户的三维模型，可以采用绕第二用户360度的环绕方式进行拍摄，得到第二用户的多张图像。需要说明的是，不同图像对应不同的相机位姿，相机位姿包括拍摄设备在拍摄图像时的位置和姿态。其中，本实施例对拍摄设备不做限制，拍摄设备例如可以是但不限于：第二用户的终端设备，该终端设备具有摄像头。在获取到多张图像之后，分别计算每张图像对应的相机位姿，根据每张图像对应的相机位姿和相机内参等数据确定相机在拍摄每张图像时发射出来的多条第一视线以及每条第一视线的视角信息。在每条第一视线上进行空间点采样，得到多个空间点。应理解，从同一条第一视线上采样得到的空间点的视角信息均是该第一视线的视角信息。在得到多个空间点之后，利用多个空间点的空间坐标及其视角信息进行基于神经网络的三维重建，该过程可以是不断进行模型训练的过程，但不限于此，最终可得到第二用户的隐式3D表征模型。进一步，还可以根据多张图像，构建第二用户对应的人体mesh模型，人体mesh模型包括第二用户的人体表面点及其颜色信息。

在另一可选实施例中，还可以采用下述实施例得到第二用户的隐式3D表征模型。该实施方式包括以下步骤：首先，根据第二用户的多张图像进行基于神经网络的三维重建，得到对第二用户进行隐式3D表达的初始隐式三维表征模型，第二用户的人体表面点与对应图像中的像素点对应，且与拍摄到该像素点的第一视线对应。得到初始隐式三维表征模型的三维重建过程是传统的基于神经网络的三维重建过程。接着，根据初始隐式三维表征模型和多张图像，构建第二用户对应的显式三维模型，显式三维模型包括第二用户的人体表面点的颜色信息，每个表面点的颜色信息是根据该表面点对应的第一视线的平均视角信息确定的。接着，随机生成显式三维模型上表面点对应的第二视线，并根据每个表面点的颜色信息分别生成每个表面点对应的第二视线对应的平均视角信息。最后，根据第二视线对应的平均视角信息和第二视线上空间点的空间坐标，基于初始隐式三维表征模型进行基于神经网络的三维重建，得到对目标物体进行隐式3D表达的目标隐式三维表征模型。该实施例中得到的目标隐式三维表征模型可作为上述各实施例中第二用户的隐式3D表征模型。

需要说明的是，对于一张图像上的每个像素点都会对应一条第一视线，相应地，样本图像中的像素点是由第一视线射到第二用户的一个人体表面点上成像得到的，该第一视线也就是拍摄到该像素点的视线。由此可知，第二用户的每个人体表面点与像素点以及拍摄到该像素点的第一视线之间存在对应关系。每张图像中的不同像素点与第二用户的不同人体表面点对应，不同人体表面点对应不同的第一视线。

在本实施例中，初始隐式三维表征模型或目标隐式三维表征模型能够对第二用户进行隐式三维表达，例如可以表达第二用户的人体形状、轮廓、皮肤纹理、颜色等多个维度人体信息。在本实施例中，初始隐式三维表征模型或目标隐式三维表征模型是一个全连接神经网络，全连接神经网络又称多层感知器((Multi-Layer Perceptron，MLP)。该初始隐式三维表征模型或目标隐式三维表征模型基于输入的空间点的空间坐标和视角信息，分别预测空间点的体积密度和颜色信息。其中，初始隐式三维表征模型或目标隐式三维表征模型可以表达为：

σ，c＝F(d，x)……(1)

其中，x＝(x,y,z)，x记为空间点的空间坐标(x,y,z)；d＝(θ,φ)，d＝(θ,φ)记为空间点的视角信息(θ,φ)，θ为方位角，φ为仰角。c＝(r,g,b)，c记为空间点的颜色信息(r,g,b)，r是指红色(Red，R)，g是指绿色(Green，G)，b是指蓝色(Blue，B)。σ记为空间点的体积密度。

实际应用中，初始隐式三维表征模型或目标隐式三维表征模型包括用于预测σ体积密度的Fσ网络和用于预测c颜色信息的Fc网络。于是，初始隐式三维表征模型或目标隐式三维表征模型可以进一步表达为：

Fσ：x→(σ，f)……(2)

Fc：(d，f)→c……(3)

值得注意的是，Fσ网络输入的是空间点的空间坐标x，输出的是空间点的体积密度和中间特征f。Fc网络输入的是中间特征f和空间点的视角信息d，输入的是空间点的颜色信息RGB值。也就是说，体积密度只和空间坐标x有关，颜色信息RGB值和空间坐标及视角信息相关。

在本实施例中，在获取到第二用户的多张图像之后，分别计算每张图像对应的相机位姿，根据每张图像对应的相机位姿和相机内参等数据确定相机在拍摄每张图像时发射出来的多条第一视线以及每条第一视线的视角信息。在每条第一视线上进行采样，得到多个空间点。在得到多个空间点之后，利用多个空间点的空间坐标及其视角信息进行基于神经网络的三维重建，该过程可以是分批多次执行的过程，最终可得到初始隐式3D表征模型。

具体地，可以采用不断迭代的方式进行基于神经网络的三维重建，例如每次可以随机选择k张图像，从k张图像中随机选择大小为m*n的图像块，利用k个图像块中各像素点对应的第一视线上空间点的空间坐标和视角信息进行基于神经网络的三维重建(或模型训练)，直到三维重建过程的损失函数符合设定要求时终止三维重建过程。其中，k是大于或等于1的自然数，且k小于或等于图像的总数；m、n是大于或等于1的自然数，m、n分别表示图像块在横向和纵向维度上的像素数，m小于或等于原始图像的宽度(宽度维度对应横向)，n小于或等于图像的长度(长度维度对应纵向)，m和n可以相同，也可以不同。可选地，可以采用等间隔方式在每条第一视线上采样多个空间点，即任意两个相邻空间点之间的采样间隔是相同的。也可以采用不同采样间隔在每条第一视线上采样多个空间点，采样间隔的大小不做限定。

在本实施例中，在得到对第二用户进行隐式三维表达的初始隐式三维表征模型之后，根据初始隐式三维表征模型和多张图像，可以构建第二用户对应的显式三维模型。在本实施例中，显式三维模型可以是指能够反映第二用户的表面特征且能够对第二用户进行显式三维表示的Mesh(网格)模型，该显式三维模型包括第二用户的人体表面点及每个人体表面点的空间坐标和颜色信息。在本实施例中，显式三维模型上每个人体表面点的颜色信息是根据该人体表面点对应的第一视线的平均视角信息确定的，表示该人体表面点对应的任何视线对应的平均视角信息。换而言之，显式三维模型上每个人体表面点的颜色信息并不是第二用户在光线照射下产生的真实颜色信息，而是与该人体表面点对应的各条第一视线的平均视角信息具有映射关系的颜色信息。

在一可选实现方式中，根据初始隐式3D表征模型和多张图像，构建第二用户对应的显式三维模型，包括：根据多张图像的图像特征，确定第二用户对应的空间范围；基于空间范围和初始隐式3D表征模型生成第二用户对应的初始三维模型，初始三维模型包括第二用户上的人体表面点；针对任一人体表面点，将该人体表面点对应的至少一条第一视线的视角信息的平均值转换为该人体表面点的颜色信息，以得到显式三维模型。

在本实施例中，可以采用诸如运动恢复结构(Structure from Motion，SfM)算法处理多张图像的图像特征，以估计出第二用户对应的稀疏3D点位置，第二用户对应的稀疏3D点位置可以帮助确定第二用户在世界坐标系中的空间范围。该空间范围可以是具有长、宽和高的空间范围，例如可以是正方体空间或长方体空间，但不限于此。

进一步可选的，上述基于空间范围和初始隐式三维表征模型生成第二用户对应的初始三维模型的一种实施方式是：基于空间范围和初始隐式三维表征模型生成第二用户对应的标量场数据，标量场数据包括多个体积元素(Volume Pixel)，可简称为体素；对多个体积元素进行三角面解析，得到初始三维模型包含的多个三角面、多个三角面上的多个顶点及其空间坐标，多个三角面和多个顶点用于限定初始三维模型包含的各人体表面点。

其中，人体表面点的颜色信息可采用下述方式确定的：针对任一人体表面点，从不同相机位姿对应的第一视线中，确定该人体表面点对应的至少一条第一视线，需要说明的是，同一人体表面点在同一相机位姿下只会有一条第一视线对应该人体表面点，但是，在采用不同相机位姿拍摄多张图像过程中，同一人体表面点通常会被两个或两个以上的相机位姿拍摄到，也就是说通常会有两条或两条以上来自不同相机位姿下的第一视线对应同一人体表面点，但是也会存在特殊情况，即某个人体表面点仅在一个相机位姿下被拍摄到，即只有一条第一视线对应该人体表面点。进一步，计算该人体表面点对应的至少一条第一视线的视角信息的平均值，将该平均值转换为该人体表面点的颜色信息进行保存。

进一步可选的，为了便于快速获取表面点对应的第一视线的视角信息，还可以生成每张图像对应的视角预存图，所述视角预存图中存储有该张图像中各像素点对应的第一视线的视角信息。值得注意的是，基于拍摄图像的相机位姿和相机内参，不难确定从拍摄图像时的光心位置出射并穿过图像的像素点对应的表面点的第一视线的直线方程信息，基于第一视线的直线方程信息根据几何原理可以快速获知第一视线的视角信息。

相应地，针对任一人体表面点，将该人体表面点对应的至少一条第一视线的视角信息的平均值转换为人体表面点的颜色信息，以得到显式三维模型，包括：针对任一人体表面点，根据多张图像对应的相机位姿，结合初始三维模型，从多张图像中确定包含该人体表面点对应的目标像素点的至少一张目标图像；将至少一张目标图像对应的视角预存图中存储的该目标像素点对应的第一视线的视角信息的平均值转换为该人体表面点的颜色信息。

在本实施例中，在得到第二用户的初始隐式3D表征模型和显式三维模型之后，还可以随机生成显式三维模型上各人体表面点对应的不同于第一视线的虚拟视线，为了便于理解，将随机生成的虚拟视线称作为第二视线，应理解，相对于真实相机发射出的第一视线来说，第二视线是假设的虚拟相机发射出的虚拟视线。可选地，针对显式三维模型任一人体表面点，可以随机生成该人体表面点对应的第二视线，并根据该人体表面点的颜色信息生成该人体表面点对应的第二视线对应的平均视角信息。

在本实施例中，针对显式三维模型上任一人体表面点，可以以该人体表面点对应的第一视线为参考视线，在该参考视线一定范围内随机生成该人体表面点对应的第二视线。进一步可选的，根据该人体表面点对应的第一视线随机生成该人体表面点对应的第二视线包括：根据该人体表面点的空间坐标和该人体表面点对应的第一视线的视角信息，随机生成一条经过该人体表面点且不同于该人体表面点对应的第一视线的视线作为第二视线。

具体而言，根据该人体表面点的空间坐标和该目标像素点对应的第一视线的视角信息，确定候选空间范围；在该候选空间范围中，随机生成一条经过该人体表面点且不同于该目标像素点对应的第一视线的视线作为第二视线。其中，候选空间范围可以是任意形状的空间范围。可选的，候选空间范围是以人体表面点的空间坐标为圆点，以穿过目标像素点对应的第一视线为中心线的椎体空间范围。在确定候选空间范围时，可以是第二视线与穿过人体表面点的第一视线之间的夹角范围为[-η,η]度。其中，η例如为30度。

在本实施例中，采用上述实施例的方法，可以针对多张图像中各像素点对应的人体表面点分别随机生成第二视线，即可得到随机产生多条第二视线，并得到多条第二视线对应的平均视角信息，进一步可以利用多条第二视线对应的平均视角信息和多条第二视线上空间点的空间坐标，继续基于初始隐式3D表征模型进行基于神经网络的三维重建(或模型训练)，得到目标隐式3D表征模型。

值得注意的是，在三维重建过程中，依次利用每条第二视线对应的平均视角信息和第二视线上空间点的空间坐标在该初始隐式3D表征模型的基础上继续进行三维重建，在每次利用上一批次的第二视线对应的平均视角信息和上一批次的第二视线上空间点的空间坐标执行一次重建操作后，采用立体渲染技术，利用预测出的上一批次中各条第二视线上各个空间点的体积密度分别对各条第二视线上各个空间点的RGB颜色信息进行积分，得到上一批次中各条第二视线对应的像素点的预测RGB颜色信息；基于上一批次中各条第二视线对应的像素点的预测RGB颜色信息与各条第二视线对应的像素点的实际RGB颜色信息(这里的实际RGB颜色信息是指相应样本图像中该像素点的颜色信息)计算损失函数，若损失函数收敛，至此完成三维重建(或模型训练)过程，若损失函数未收敛，则调整模型参数，并利用下一批次第二视线对应的平均视角信息和下一批次第二视线上空间点的空间坐标继续迭代训练，直至损失函数收敛。

本上述可选实施例中，以第二用户的多张图像为基础分别进行基于神经网络的三维重建和传统的三维重建，得到初始隐式三维表征模型和显式三维模型；基于显式三维模型进行随机视线和平均视角的生成，基于随机视线和平均视角在初始隐式3D表征模型的基础上继续进行基于神经网络的三维重建，得到目标隐式3D表征模型。其中，初始隐式3D表征模型和目标隐式3D表征模型都是对第二用户进行隐式三维表示的神经网络模型。在三维重建过程中，通过产生随机视线并以随机视线对应的平均视角信息代替其真实视角信息的方式，利用随机视线及其对应的平均视角信息增强视线数据，基于增强后的视线数据继续进行基于神经网络的三维重建，可以得到对视线具有较强鲁棒性的隐式3D表征模。

在本申请上述实施例中，第一用户可以通过第一终端设备的电商应用基于第二用户的3D人体模型为第二用户选择适配的目标商品，需要说明的是，除了该种方式外，每个用户还可以根据候选商品与自己的3D人体模型的融合效果，查看候选商品是否适合自己，进而决定是否购买相应的商品。基于此，本申请实施例还提供了另一商品信息处理方法。

如图2a为本申请另一示例性实施例提供的商品信息处理方法的流程示意图。如图2a所示，该方法包括：

201、获取用户的隐式3D表征模型，隐式3D表征模型是根据用户的多张图像进行基于神经网络的三维重建得到的；

202、基于隐式3D表征模型渲染出用户的3D人体模型，并显示3D人体模型；

203、选择候选商品，将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果。

本实施例提供的方法适用于任一用户的终端设备，例如可以是上述实施例中第一用户的第一终端设备，也可以是第二用户的第二终端设备。如果是第一用户的第一终端设备，则隐式3D表征模型是指第一用户的隐式3D表征模型；如果是第二用户的第二终端设备，则隐式3D表征模型是指第二用户的隐式3D表征模型。

进一步可选地，该方法还包括：从候选商品中选择融合效果符合要求的目标商品。

进一步可选地，该方法还包括：针对目标商品执行以下至少一种操作：将目标商品的链接信息添加至收藏夹中；将目标商品添加至购物车中；对目标商品进行下单操作；将目标商品的链接信息分享给其它用户，以使其它用户购买目标商品。

在本申请实施例中，并不限定将目标商品的链接信息分享给其它用户的实施方式，例如可以通过应用内消息的方式将目标商品的链接信息分享给其它用户，或者，通过淘口令的方式将目标商品的链接信息分享给其它用户，等等。

可选地，获取用户的隐式3D表征模型，包括：获取用户的多张图像，根据用户的多张图像进行基于神经网络的三维重建，以得到用户的隐式3D表征模型；根据用户的隐式3D表征模型，渲染出用户的3D人体模型。

需要说明的是，本实施例提供的商品信息处理方法中各步骤的详细实施方式可参见图1a-图1c所示实施例中的相应内容，此处不再赘述。

在本实施例中，每个用户可以根据用户自身的3D人体模型，渲染出候选商品与用户的3D人体模型的融合效果，据此可以了解候选商品是否适合自己，进而用户可以根据候选商品与用户的3D人体模型的融合效果，为自己选择适配的目标商品。其中，用户基于自己的3D人体模型与候选商品的融合效果为自己选择商品，相当于通过VR预先看到了候选商品在自己身上的试用效果，可以准确地为自己选择商品，能够做到精准匹配，给用户带来新的购物体验。

另外，在本实施例中，在得到用户的隐式3D表征模型之后，还可以保存用户的隐式3D表征模型，这样，当用户自己需要选购商品时，或者其它用户需要为该用户选购商品时，可以直接获取该用户的隐式3D表征模型，并渲染出3D人体模型，进而基于该3D人体模型进行候选商品的试用，得到候选商品与该3D人体模型融合效果，基于该融合效果进行商品选择或选购。对用户来说，只需一次打开摄像头，拍摄相关的图像进行人体模型的三维重建，在选择商品过程中，可以直接使用，无需再次打开摄像头，可以有效解决传统AR试用需要用户实时打开摄像头所引发的各种问题。例如，本申请实施例可以解决多次打开摄像头造成的隐私泄露问题，还可以解决实时进行图像处理所占用的内存和计算资源较大的问题，还可以解决因拍摄环境复杂造成的虚拟和现实叠加效果不佳的问题，而且还可以解决一些因为没有摄像头或者不具备拍摄环境或条件导致无法进行AR试用的问题等。进一步，在一些可选实施例中，可以采用基于神经网络的三维重建方式，构建用户的三维人体模型，相比于传统三维重建方式，重建效果更加有效可靠，适用范围更广。

下面结合一电商购物场景，对本申请实施例的技术方案进行详细阐述。

用户的终端设备，例如手机上安装了电商APP，在电商APP中增加了基于3D人体模型选购商品的功能。对用户来说，可以打开电商APP，在电商APP的相关页面找到该新增的基于3D人体模型选购商品的功能，然后启用该功能。此时，在页面上可显示拍摄控件，以引导用户完成3D人体模型的创建操作。具体地，用户可以点击拍摄控件，终端设备响应于用户对该页面上的拍摄控件的触发操作，调用终端设备的摄像头，并提示用户利用摄像头围绕用户采集包含至少部分人体外貌特征的视频或多张图像，这些图像可以从不同视角反映相同部位的人体外貌特征。在完成用户图像的采集操作之后，该页面上可显示一生成控件，响应于用户对该生成控件的触发操作，基于采集到的多张图像进行基于神经网络的三维重建，生成用户的隐式3D表征模型，并将用户的隐式3D表征模型保存在本地或上传至服务端设备。在本实施例中，隐式3D表征模型可以是NERF模型。经过NERF模型进行推理和神经渲染，可以输出与用户真人基本相似的3D人体模型，或称为3D虚拟人。

在用户有为自己选购商品的需求时，进入电商APP的试妆页面，该页面分为三个区域，分别为第一区域、第二区域及第三区域，第一区域中用于显示由NERF模型进行推理和神经渲染得到的用户的3D人体模型，第二区域中显示至少一个商品选择控件，第三区域中显示分享控件、收藏控件、加购控件和下单控件。在显示试妆页面过程中，可以加载用户的NERF模型并基于该NERF模型进行推理和神经渲染得到的用户的3D人体模型，将3D人体模型显示在第一区域中。之后，用户根据自己的需求通过第二区域中展示的商品控件选择候选商品，即响应于用户对一商品控件的触发操作，会展示该商品类目下的商品列表，商品列表可以以子控件的形式展示，用户可以从商品列表中选择自己需要的商品，响应于用户对商品列表中某一商品子控件的选择操作，可将该商品的试妆模型渲染至用户的3D人体模型上，展示出一张试妆效果图，用户可以基于对试妆效果的满意度决定是否要选购该商品。需要说明的是，用户还可以对3D人体模型进行选择放大、查看细节等操作。

用户可以基于对试妆效果的满意度决定是否要选购该商品时，如果用户对于本次试妆效果不满意，可以直接忽略该商品；如果用户对本次试妆效果较满意，但是还需要考虑是否购买，可以触发第三区域的加购物车或收藏控件，将该商品加入购物车或收藏，以便于后续查看；如果用户对本次试妆效果很满意，且决定购买，可以触发第三区域的下单控件，购买该商品。

在本实施例中，用户除了可以通过自己的NERF模型为自己选购商品外，还可以将自己的NERF模型授权给其它用户，这样其它用户就可以根据该用户的NERF模型，渲染出该用户的3D虚拟人，基于该3D虚拟人为该用户选购商品，实现送礼物等社交目的。相应地，该用户也可以获取其它用户的NERF模型，基于其它用户的NERF模型为其它用户选购商品，达到送礼物等社交目的。

用户通过自己的终端设备获取到其它用户的NERF模型，并保存于本地，当需要为其它用户选择商品时，可以进入试妆页面，基于其它用户的NERF模型进行推理和神经渲染得到的其它用户的3D人体模型，并将其它用户的3D人体模型显示在试妆页面的第一区域中；之后，通过第二区域中展示的商品控件选择候选商品进行试妆，基于试妆效果确定候选商品是否符合其它用户，进而选择出其它用户满意的目标商品，在选择好目标商品后，用户可以将目标商品添加至购物车或收藏夹，或者将目标商品的链接分享给其它用户，或者，直接下单帮助其它用户购买该目标商品，并将收货地址修改为其它用户的地址，以便于商品直接邮寄给其它用户。

需要说明的是，用户可以在3D人体模型上试用一种候选商品，也可以同时使用两种或两种以上的候选商品，两种或两种以上的候选商品对应不同的试妆位置。可选地，以用户想要试用眼镜和T恤为例，眼镜的目标特征点位置为鼻梁和耳朵对应的位置，响应于用户对眼镜控件的选择操作，将眼镜的三维试用模型渲染至鼻梁和耳朵对应的位置上，以得到眼镜与3D人体模型的融合效果。T恤的目标特征点是肩周、手臂、胸部及腰部，响应于用户对T恤控件的选择操作，将T恤的三维试用模型渲染至上述人体骨骼特征点对应的位置上，得到T恤与3D人体模型的融合效果，渲染效果如图2b所示。

本实施例中，基于3D人体模型的试妆方法属于VR试妆范畴，基于NERF的真人重建技术可以得到3D虚拟人，在该过程中，只需一次打开摄像头，拍摄相关的照片进行三维重建即可。完成3D虚拟人之后，即可进行试用使用，无需再打开摄像头，可以有效解决传统AR商品试用面临的各种问题。另外，基于NERF的真人重建技术，通过拍摄人体多视角的照片作为输入，经过NERF模型进行神经渲染，渲染出逼真的人体3D模型，相比于传统方案更加有效可靠，运用最新的神经渲染技术重建的三维人体模型，适用范围更广，具备更好的普适性。

图3为本申请一示例性实施例提供的商品信息处理装置的结构示意图，可适用于第一用户终端设备。如图3所示，该装置包括：显示模块31、选择模块32和渲染模块33。

显示模块31，用于显示第二用户的三维3D人体模型，3D人体模型是根据第二用户的多张图像进行三维重建得到的。选择模块32，用于选择候选商品。渲染模块33，用于将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果。选择模块32还用于：根据候选商品与3D人体模型的融合效果，从候选商品中选择与第二用户适配的目标商品。

进一步地，显示模块31在用于显示第二用户的三维3D人体模型时，具体用于：获取第二用户的隐式3D表征模型，隐式3D表征模型是根据第二用户的多张图像进行基于神经网络的三维重建得到的，是对第二用户的人体的三维隐式表征；根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型；或者，获取第二用户的人体网格mesh模型，根据人体mesh模型渲染出第二用户的3D人体模型。

进一步地，显示模块31在用于获取第二用户的隐式3D表征模型或人体mesh模型时，具体用于：获取用于标识第二用户的隐式3D表征模型或人体mesh模型的模型标识；根据模型标识，从服务端获取第二用户的隐式3D表征模型或人体mesh模型，服务端维护有各个用户的隐式3D表征模型或人体mesh模型；或者，获取第二用户的多张图像，根据第二用户的多张图像进行基于神经网络的三维重建或传统的三维重建，以得到第二用户的隐式3D表征模型或人体mesh模型。

进一步地，渲染模块33在用于根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型时，具体用于：根据第二用户的多张图像的图像特征，确定第二用户对应的空间范围；基于空间范围和隐式3D表征模型生成第二用户对应的初始三维模型，初始三维模型包括第二用户上的表面点；将初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到第二用户的3D人体模型，第一视线是指每张图像中拍摄到各像素点的视线。

进一步地，渲染模块33在用于将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果时，具体用于：对3D人体模型进行特征估计，得到多个人体特征点及其位置信息；根据多个人体特征点及其位置信息，确定3D人体模型上与候选商品适配的目标特征点位置；将候选商品对应的试用模型渲染至目标特征点位置上，以得到候选商品与3D人体模型的融合效果。

进一步地，多个人体特征点包括：五官特征点、人体骨骼特征点和手部特征点；

渲染模块33在用于将候选商品对应的试用模型渲染至目标特征点位置上，以得到候选商品与3D人体模型的融合效果时，具体用于一下至少一种操作：若候选商品为美妆类商品，目标特征点位置为五官特征点对应的位置，将美妆类商品对应的二维试用模型渲染至五官特征点对应的位置上，以得到美妆类商品与3D人体模型的融合效果；若候选商品为服饰类商品，目标特征点位置为人体骨骼特征点对应的位置，将服饰类商品对应的三维试用模型渲染至人体骨骼特征点对应的位置上，以得到服饰类商品与3D人体模型的融合效果；若候选商品为穿戴类商品，目标特征点位置为手部特征点对应的位置，将穿戴类商品对应的三维试用模型渲染至手部特征点对应的位置上，以得到穿戴类商品与3D人体模型的融合效果。

进一步地，显示模块31在用于显示第二用户的三维3D人体模型时，具体用于：在第一界面的第一区域中显示第二用户的3D人体模型，第一界面的第二区域中显示有至少一个商品选择控件，不同商品选择控件对应不同的商品类型；相应地，选择模块32在用于选择候选商品时，具体用于：响应于对任一商品选择控件的触发操作，确定展示与被触发的商品选择控件对应的商品类型下的至少一个商品；响应于商品选择操作，确定被选择的商品作为候选商品。

进一步地，第一界面的第三区域中显示有分享控件、收藏控件、加购控件和下单控件中的至少一个；在从候选商品中选择与第二用户适配的目标商品之后，商品信息处理装置还用于以下至少一种操作：响应于对分享控件的触发操作，将目标商品的链接信息发送给第二用户的终端设备，以使第二用户购买目标商品；响应对收藏控件的触发操作，将目标商品的链接信息添加至收藏夹中；响应对加购控件的触发操作，将目标商品添加至购物车中；响应对下单控件的触发操作，对目标商品进行下单操作，下单操作对应的收货地址为第二用户的收货地址。

这里需要说明的是：本实施例提供的商品信息处理装置可实现上述图1a方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图4为本申请一示例性实施例提供的另一商品信息处理装置的结构示意图。如图4所示，该装置包括：获取模块41、渲染模块42和选择模块43。

获取模块41，用于获取用户的隐式三维3D表征模型，隐式3D表征模型是根据用户的多张图像进行基于神经网络的三维重建得到的。渲染模块42，用于基于隐式3D表征模型渲染出用户的3D人体模型，并显示3D人体模型。选择模块43，用于选择候选商品。渲染模块42还用于：将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果。

进一步可选地地，该商品信息处理装置还用于：从候选商品中选择融合效果符合要求的目标商品。

进一步可选地，该商品信息处理装置还用于针对目标商品执行以下至少一种操作：将目标商品的链接信息添加至收藏夹中；将目标商品添加至购物车中；对目标商品进行下单操作；将目标商品的链接信息分享给其它用户，以使其它用户购买目标商品。

这里需要说明的是：本实施例提供的商品信息处理装置可实现上述图1a方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

图5为本申请一示例性实施例提供的终端设备的结构示意图。如图5所示，该终端设备包括：存储器50a和处理器50b；存储器50a，用于存储计算机程序，处理器50b与存储器50a耦合，用于执行计算机程序，以用于实现一下步骤：

显示第二用户的三维3D人体模型，3D人体模型是根据第二用户的多张图像进行三维重建得到的；选择候选商品；将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果；根据候选商品与3D人体模型的融合效果，从候选商品中选择与第二用户适配的目标商品。

进一步地，处理器50b在用于显示第二用户的三维3D人体模型时，具体用于：获取第二用户的隐式3D表征模型，隐式3D表征模型是根据第二用户的多张图像进行基于神经网络的三维重建得到的，是对第二用户的人体的三维隐式表征；根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型；或者，获取第二用户的人体网格mesh模型，根据人体mesh模型渲染出第二用户的3D人体模型。

进一步地，处理器50b在用于获取第二用户的隐式3D表征模型或人体mesh模型时，具体用于：获取用于标识第二用户的隐式3D表征模型或人体mesh模型的模型标识；根据模型标识，从服务端获取第二用户的隐式3D表征模型或人体mesh模型，服务端维护有各个用户的隐式3D表征模型或人体mesh模型；或者，获取第二用户的多张图像，根据第二用户的多张图像进行基于神经网络的三维重建或传统的三维重建，以得到第二用户的隐式3D表征模型或人体mesh模型。

进一步地，处理器50b在用于根据第二用户的隐式3D表征模型，渲染出第二用户的3D人体模型时，具体用于：根据第二用户的多张图像的图像特征，确定第二用户对应的空间范围；基于空间范围和隐式3D表征模型生成第二用户对应的初始三维模型，初始三维模型包括第二用户上的表面点；将初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到第二用户的3D人体模型，第一视线是指每张图像中拍摄到各像素点的视线。

进一步地，处理器50b在用于将候选商品渲染至3D人体模型上，以得到候选商品与3D人体模型的融合效果时，具体用于：对3D人体模型进行特征估计，得到多个人体特征点及其位置信息；根据多个人体特征点及其位置信息，确定3D人体模型上与候选商品适配的目标特征点位置；将候选商品对应的试用模型渲染至目标特征点位置上，以得到候选商品与3D人体模型的融合效果。

进一步地，多个人体特征点包括：五官特征点、人体骨骼特征点和手部特征点；处理器50b在用于将候选商品对应的试用模型渲染至目标特征点位置上，以得到候选商品与3D人体模型的融合效果时，具体用于一下至少一种操作：若候选商品为美妆类商品，目标特征点位置为五官特征点对应的位置，将美妆类商品对应的二维试用模型渲染至五官特征点对应的位置上，以得到美妆类商品与3D人体模型的融合效果；若候选商品为服饰类商品，目标特征点位置为人体骨骼特征点对应的位置，将服饰类商品对应的三维试用模型渲染至人体骨骼特征点对应的位置上，以得到服饰类商品与3D人体模型的融合效果；若候选商品为穿戴类商品，目标特征点位置为手部特征点对应的位置，将穿戴类商品对应的三维试用模型渲染至手部特征点对应的位置上，以得到穿戴类商品与3D人体模型的融合效果。

进一步地，处理器50b在用于显示第二用户的三维3D人体模型时，具体用于：在第一界面的第一区域中显示第二用户的3D人体模型，第一界面的第二区域中显示有至少一个商品选择控件，不同商品选择控件对应不同的商品类型；相应地，处理器50b在用于选择候选商品时，具体用于：响应于对任一商品选择控件的触发操作，确定展示与被触发的商品选择控件对应的商品类型下的至少一个商品；响应于商品选择操作，确定被选择的商品作为候选商品。

进一步地，第一界面的第三区域中显示有分享控件、收藏控件、加购控件和下单控件中的至少一个；在从候选商品中选择与第二用户适配的目标商品之后，处理器50b还用于以下至少一种操作：响应于对分享控件的触发操作，将目标商品的链接信息发送给第二用户的终端设备，以使第二用户购买目标商品；响应对收藏控件的触发操作，将目标商品的链接信息添加至收藏夹中；响应对加购控件的触发操作，将目标商品添加至购物车中；响应对下单控件的触发操作，对目标商品进行下单操作，下单操作对应的收货地址为第二用户的收货地址。

进一步地，如图5所示，该终端设备还包括：通信组件50c、显示器50d、电源组件50e、音频组件50f等其它组件。图5中仅示意性给出部分组件，并不意味着终端设备只包括图5所示组件。

这里需要说明的是：本实施例提供的终端设备可实现上述图1a方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。

本申请一示例性实施例提供存储有计算机程序或指令的计算机可读存储介质，当计算机程序或指令被处理器执行时，致使处理器能够实现以上方法中的步骤，此处不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种商品信息处理方法，适用于第一用户的终端设备，其特征在于，所述方法包括：

显示第二用户的三维3D人体模型，所述3D人体模型是根据第二用户的多张图像进行三维重建得到的；

选择候选商品，将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果；

根据所述候选商品与所述3D人体模型的融合效果，从所述候选商品中选择与所述第二用户适配的目标商品。

2.根据权利要求1所述的方法，其特征在于，显示第二用户的三维3D人体模型，包括：

获取第二用户的隐式3D表征模型，所述隐式3D表征模型是根据所述第二用户的多张图像进行基于神经网络的三维重建得到的，是对所述第二用户的人体的三维隐式表征；根据所述第二用户的隐式3D表征模型，渲染出所述第二用户的3D人体模型；

或者

获取第二用户的人体网格mesh模型，根据所述人体mesh模型渲染出所述第二用户的3D人体模型。

3.根据权利要求1所述的方法，其特征在于，获取第二用户的隐式3D表征模型或人体mesh模型，包括：

获取用于标识第二用户的隐式3D表征模型或人体mesh模型的模型标识；根据所述模型标识，从服务端获取所述第二用户的隐式3D表征模型或人体mesh模型，所述服务端维护有各个用户的隐式3D表征模型或人体mesh模型；

或者

获取所述第二用户的多张图像，根据所述第二用户的多张图像进行基于神经网络的三维重建或传统的三维重建，以得到所述第二用户的隐式3D表征模型或人体mesh模型。

4.根据权利要求2所述的方法，其特征在于，根据所述第二用户的隐式3D表征模型，渲染出所述第二用户的3D人体模型，包括：

根据所述第二用户的多张图像的图像特征，确定所述第二用户对应的空间范围；

基于所述空间范围和所述隐式3D表征模型生成所述第二用户对应的初始三维模型，所述初始三维模型包括所述第二用户上的表面点；

将所述初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到所述第二用户的3D人体模型，所述第一视线是指每张图像中拍摄到各像素点的视线。

5.根据权利要求1-4任一项所述的方法，其特征在于，将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果，包括：

对所述3D人体模型进行特征估计，得到多个人体特征点及其位置信息；

根据所述多个人体特征点及其位置信息，确定所述3D人体模型上与所述候选商品适配的目标特征点位置；

将所述候选商品对应的试用模型渲染至所述目标特征点位置上，以得到所述候选商品与所述3D人体模型的融合效果。

6.根据权利要求5所述的方法，其特征在于，所述多个人体特征点包括：五官特征点、人体骨骼特征点和手部特征点；

将所述候选商品对应的试用模型渲染至所述目标特征点位置上，以得到所述候选商品与所述3D人体模型的融合效果，包括以下至少一种操作：

若所述候选商品为美妆类商品，所述目标特征点位置为五官特征点对应的位置，将所述美妆类商品对应的二维试用模型渲染至所述五官特征点对应的位置上，以得到所述美妆类商品与所述3D人体模型的融合效果；

若所述候选商品为服饰类商品，所述目标特征点位置为人体骨骼特征点对应的位置，将所述服饰类商品对应的三维试用模型渲染至所述人体骨骼特征点对应的位置上，以得到所述服饰类商品与所述3D人体模型的融合效果；

若所述候选商品为穿戴类商品，所述目标特征点位置为手部特征点对应的位置，将所述穿戴类商品对应的三维试用模型渲染至所述手部特征点对应的位置上，以得到所述穿戴类商品与所述3D人体模型的融合效果。

7.根据权利要求1所述的方法，其特征在于，显示第二用户的三维3D人体模型，包括：在第一界面的第一区域中显示第二用户的3D人体模型，所述第一界面的第二区域中显示有至少一个商品选择控件，不同商品选择控件对应不同的商品类型；

相应地，选择候选商品，包括：响应于对任一商品选择控件的触发操作，确定展示与被触发的商品选择控件对应的商品类型下的至少一个商品；响应于商品选择操作，确定被选择的商品作为候选商品。

8.根据权利要求7所述的方法，其特征在于，所述第一界面的第三区域中显示有分享控件、收藏控件、加购控件和下单控件中的至少一个；

在从所述候选商品中选择与所述第二用户适配的目标商品之后，所述方法还包括以下至少一种操作：

响应于对所述分享控件的触发操作，将所述目标商品的链接信息发送给所述第二用户的终端设备，以使第二用户购买所述目标商品；

响应对所述收藏控件的触发操作，将所述目标商品的链接信息添加至收藏夹中；

响应对所述加购控件的触发操作，将所述目标商品添加至购物车中；

响应对所述下单控件的触发操作，对所述目标商品进行下单操作，所述下单操作对应的收货地址为所述第二用户的收货地址。

9.一种商品信息处理方法，其特征在于，包括：

获取用户的隐式三维3D表征模型，所述隐式3D表征模型是根据用户的多张图像进行基于神经网络的三维重建得到的；

基于所述隐式3D表征模型渲染出所述用户的3D人体模型，并显示所述3D人体模型；

选择候选商品，将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果。

10.根据权利要求9所述的方法，其特征在于，还包括：

从所述候选商品中选择融合效果符合要求的目标商品；以及针对所述目标商品执行以下至少一种操作：

将所述目标商品的链接信息添加至收藏夹中；

将所述目标商品添加至购物车中；

对所述目标商品进行下单操作；

将所述目标商品的链接信息分享给其它用户，以使其它用户购买所述目标商品。

11.一种商品信息处理装置，可应用于第一用户的终端设备，其特征在于，所述装置包括：

显示模块，用于显示第二用户的三维3D人体模型，所述3D人体模型是根据第二用户的多张图像进行三维重建得到的；

选择模块，用于选择候选商品；

渲染模块，用于将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果；

所述选择模块还用于：根据所述候选商品与所述3D人体模型的融合效果，从所述候选商品中选择与所述第二用户适配的目标商品。

12.一种商品信息处理装置，其特征在于，所述装置包括：

获取模块，用于获取用户的隐式三维3D表征模型，所述隐式3D表征模型是根据用户的多张图像进行基于神经网络的三维重建得到的；

渲染模块，用于基于所述隐式3D表征模型渲染出所述用户的3D人体模型，并显示所述3D人体模型；

选择模块，用于选择候选商品；

所述渲染模块还用于：将所述候选商品渲染至所述3D人体模型上，以得到所述候选商品与所述3D人体模型的融合效果。

13.一种终端设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序，所述处理器与所述存储器耦合，用于执行所述计算机程序，以用于实现权利要求1-10任一项所述方法中的步骤。

14.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器能够实现权利要求1-10任一项所述方法中的步骤。

Images