CN115936800A - 商品展示方法及电子设备 - Google Patents

Abstract

本申请实施例公开了商品展示方法及电子设备，所述方法包括：响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；从所采集到的现实环境图像中检测用户的手部图像；将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。通过本申请实施例，能够使得用户获得对在线下对商品进行“上手”试用的交互体验，从而可以帮助用户进行购物决策。

Description

商品展示方法及电子设备

技术领域

本申请涉及商品展示技术领域，特别是涉及商品展示方法及电子设备。

背景技术

在商品信息服务系统中，图文、视频、直播等都是用于对商品进行描述的常见方式，用户可以通过这种描述信息获得关于商品的特征信息，进而帮助用户进行购买决策。近年来还出现了通过三维模型对商品信息进行展示的方案，也即，通过对商品进行三维重建，可以在商品信息服务系统的客户端为用户呈现出关于商品的三维动态效果，并且可以实现用户和商品的互动，例如，用户可以通过滑动屏幕等方式触发商品转动，从而从多种不同视角观看到商品的外观，等等。

但是，即使通过三维模型对商品进行展示，用户能够获得的信息仍然是比较有限的。因此，如何进一步为用户提供关于具体商品的更详细的信息，并使得用户获得更接近于在线下购买商品时的体验，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了商品展示方法及电子设备，能够使得用户获得对在线下对商品进行“上手”试用的交互体验，从而可以帮助用户进行购物决策。

本申请提供了如下方案：

一种商品展示方法，包括：

响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；

从所采集到的现实环境图像中检测用户的手部图像；

将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

其中，还包括：

对用户的手部摆放姿势进行检测；

所述将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，包括：

在所述手部摆放姿势符合条件的情况下，将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

其中，还包括：

如果所述手部图像的手部姿势不符合条件，则提供关于摆放姿势的提示信息。

其中，所述三维模型的尺寸与所述目标商品的真实尺寸相同；

所述方法还包括：

对所述三维模型的尺寸信息进行展示。

其中，还包括：

从所述现实环境图像中检测到用户通过手部动作对所述三维模型执行的互动操作后，展示出由所述互动操作触发的关于所述三维模型的动态内容。

其中，所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：

在检测到所述手部图像发生平移或翻转时，将所述三维模型跟随所述手部图像的平移或翻转进行展示。

其中，所述手持物品包括带有显示屏的手持设备；

所述互动操作用于对所述手持设备中与启动目标功能相关的操作进行模拟；

所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：

在所述三维模型中的显示屏所在区域展示出所述目标功能对应的界面内容。

其中，还包括：

对所述手部图像进行实时的三维网格体Mesh重建，以获取多个三维手部关键点坐标；

根据所述三维手部关键点坐标确定所述手部的景深信息；

根据所述三维手部关键点坐标以及所述景深信息，确定所述目标商品的三维模型在所述现实环境图像中的展示位置及展示尺寸。

其中，还包括：

在对所述手部图像进行三维Mesh重建的过程中，还获取相机参数信息；

根据所述三维手部关键点坐标、景深信息以及相机参数信息，进行手部姿态估计；

根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

其中，所述目标商品的三维模型与标准姿态的三维手部模型具有绑定关系，在默认状态下，所述三维手部模型通过所述标准姿态持握所述目标商品的三维模型，所述标准姿态的三维手部模型为不可见状态；

所述手部姿态估计结果包括：真实手部的姿态相对于所述标准姿态的旋转矩阵和/或平移向量；

所述根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态，包括：

通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

一种商品展示装置，包括：

请求接收单元，用于响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；

手部图像检测单元，用于从所采集到的现实环境图像中检测用户的手部图像；

AR展示单元，用于将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，可以为手持物品类的目标商品提供通过AR方式进行展示的入口，用户通过该入口发起具体的AR展示请求后，可以采集现实环境图像并加载所述目标商品对应的三维模型，同时可以从所采集到的现实环境图像中检测用户的手部图像，并将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。这样，可以使得用户获得对在线下对商品进行“上手”试用的交互体验，从而可以帮助用户进行购物决策。

其中，具体的三维模型可以是与商品实际的真实尺寸相同，通过对手部图像的景深估计，还可以确定出三维模型在显示屏上的展示尺寸，从而体现出三维模型与手部图像的大小相对关系。

另外，三维模型还可以在AR空间中随着手部图像的运动而运动，呈现出“近大远小”的展示效果，还可以进行翻转等展示。再者，还可以为目标商品的三维模型创建标准姿态的三维手部模型，也即，在默认状态下，目标商品的三维模型可以是被一个透明的三维手部模型用标准姿态握住的。在进行手部姿态估计时，可以确定出现实世界图像中的真实手部的姿态相对于该标注姿态的旋转矩阵和/或平移向量，从而可以通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。这样，可以更好地呈现出目标商品的三维模型被真实人手握住的效果，甚至可以呈现出商品的三维模型被手指部分遮挡等效果，并更方便地实现三维模型随着人手运动的效果，使得用户获得更真实的体验。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的系统架构的示意图；

图2是本申请实施例提供的方法的流程图；

图3是本申请实施例提供的AR展示效果的示意图；

图4是本申请实施例提供的装置的示意图；

图5是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

首先需要说明的是，为了提升商品等目标对象信息的真实感，一种方式是可以将商品的三维重建技术与AR(Augmented Reality，增强现实)技术相结合，用于对商品进行展示。在这种方案中，预先对商品进行三维重建，在客户端展示时，可以通过终端设备的摄像头采集现实世界中的实时图像流，并对图像流中的“桌子”、“地板”等平面进行定位，将商品的三维模型投影到现实世界图像流中这种平面所在的位置，从而呈现出该商品实际被“放置”在现实世界环境中时的状态。

上述通过AR技术进行商品信息进行展示的方案，可以使得用户可以更直观地判断具体的商品是否适合自己所处的真实世界环境，例如，沙发类的家居商品是否适合放置在自己家的客厅中，等等，进而帮助用户更好地进行购物决策。

但是，在现有技术中，在通过AR方式对商品信息进行展示时，通常只能比较机械地将商品的三维模型放置到AR空间中。虽然可以通过滑动屏幕或者旋转手机等方式来改变视角，以实现对商品外观的360度查看，并且，对于沙发、茶几等类目的商品而言，做到这种程度基本是足以帮助用户完成购物决策的，但是，对于一些其他类目的商品而言，这种简单机械的AR放置通常是不够的。

例如，对于手机等手持设备类的商品，用户在线下购买时，可能不仅需要查看具体商品的外观，可能还需要体验手持状态下的效果，包括感受具体的尺寸是否适合自己手的大小，等等。但是，如果是通过AR方式将商品的模型放置到某个平面上进行展示，是难以达到上述效果的。

为此，在本申请实施例中，可以在提供了基于AR方式为用户提供“上手”体验的实现方案。具体的，可以预先为具体的商品生成三维模型，优选的实现方式下，该三维模型可以是根据商品实物的真实尺寸进行1：1创建的。对于这种具有三维模型的手持物品类商品，在商品详情页等页面中，可以提供“AR”入口，用户通过该入口发起相关请求后，可以加载该三维模型，同时启动终端设备的摄像头以采集现实环境图像，还可以提示用户伸手到镜头前，并从现实环境图像中识别用户的手部图像，之后，可以将具体商品的三维模型映射到该手部图像所在的位置进行展示。这样，使得用户可以通过AR的方式获得在线下场景中“上手”试用具体商品的体验。另外，在具体实现时，还可以通过手部的动作或者手势等，与三维模型进行互动，例如，平移或者翻转手部的过程中，商品的三维图像也随之发生平移或翻转，使得用户可以转换角度查看试用效果，还可以查看商品的背面，等等。

另外，为了使得“上手”体验效果更真实，在从采集到的现实环境图像中进行手部图像识别后，还可以对手部图像进行实时的三维Mesh(网格体)重建，以获取到多个三维手部关键点(例如，通常可以是778个，其中包括手部的一些关节等关键点)坐标。进而可以基于这些信息，确定出商品三维模型在投射到现实环境图像中时的展示位置、姿态等等，从而可以呈现出通过真实手部持握目标商品的三维模型，且所述目标商品的三维模型可跟随真实手部运动的展示效果。

从系统架构角度而言，参见图1，本申请实施例可以涉及到商品信息服务系统的服务端以及客户端，服务端主要可以用于预先对商品进行三维重建，并保存对应的三维模型，另外，在可选的实现方式下，还可以对用于对手部图像进行实时的三维重建的相关算法模型进行训练，并下发到客户端所在的终端设备。在客户端侧，则可以为用户提供通过AR进行商品展示的入口，当用户从该入口进入后，可以加载商品的三维模型，同时，启动终端设备的相机组件采集现实环境图像，并从中识别出用户手部图像，然后，将三维模型展示到现实环境图像中该手部图像所在的位置处进行展示。其中，在可选的方式下，还可以通过前述算法模型，对所述真实手部图像进行实时的三维网格体Mesh重建，获取多个三维手部关键点坐标。再根据这种三维手部关键点坐标，将商品的三维模型投射到现实环境图像中。

下面对本申请实施例提供的具体实现方案进行详细介绍。

首先，本申请实施例从上述客户端的角度，提供了一种商品展示方法，参见图2，该方法可以包括：

S201：响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品。

本申请实施例中，具体的目标商品可以是带有手持物品类商品，例如，具体可以是手机等移动通信设备，等等。具体实现时，可以通过商品详情页等页面提供通过AR方式对商品进行展示的入口，例如，具体可以在商品详情页的主图展示区域等，提供上述访问入口，等等。这样，用户在访问商品详情页的过程中，可以通过该访问入口发起通过AR方式进行商品展示的请求。当然，具体实现时，还可以通过其他方式发起上述请求，例如，还可以对配置了三维模型的商品聚合到同一主题页面中，在主题页面中提供通过AR方式对各个商品进行展示的入口，这样，用户可以直接通过该主题页面发起对其中某个目标商品以AR方式展示的请求，等等。在本申请实施例中，主要以商品为例对具体的AR展示过程中的互动方式进行介绍。

在接收到具体的AR展示请求后，可以创建AR空间，并加载目标商品的三维模型，以便将所述三维模型渲染到AR空间中进行展示。其中，具体在创建AR空间时，可以首先启动终端设备中的摄像头等组件，对现实世界进行图像采集。此时，在可选的方式下，还可以提示用户将手部位伸到镜头前，并且，可以对手的摆放姿势等进行提示，例如，可以提示用户掌心向上，成半握姿势，等等。

S202：从所采集到的现实环境图像中检测用户的手部图像。

在采集到现实环境图像后，客户端可以从采集到的现实环境图像流中对手部图像进行检测，其中，对手部图像进行检测时，可以采用预先生成的算法来实现，例如，可以根据手部图像的特征，从采集到的图像流中进行主体识别，等等，这里不再详述。

S203：将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

在从现实环境图像中识别到具体的手部图像所在位置之后，便可以将目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，以使得用户获得将商品三维模型进行“上手”试用的体验。另外，由于具体的三维模型的尺寸可以与所述目标商品的真实尺寸相同，因此，具体实现时，还可以对所述三维模型的尺寸信息进行展示。例如，如图3(A)所示，可以标示出三维模型的宽度、高度，在将三维模型翻转一定角度进行展示的状态下，还可以标示出三维模型的厚度，如图3(B)所示。其中，该尺寸信息可以是默认状态下就直接展示，或者，也可以在执行某互动操作之后再进行展示，等等。例如，可以是在当前终端设备的显示屏界面上展示出某互动按钮，可以使用持有当前终端设备的一只手(在本申请实施例的场景中，用户一只手握住自己的手机等终端设备，另一只手放到摄像头前，对虚拟的三维模型进行体验)在该界面上点击具体的互动按钮，以触发对具体尺寸信息的展示，等等。

具体实现时，在检测到手部图像时，还可以对用户的手部摆放姿势进行检测，以确定出手部的位姿(也即，不仅可以确定出手部的位置，还可以确定出手部姿态)信息，并根据该姿态确定三维模型的姿态(包括旋转、平移的角度等)。需要说明的是，具体实现时，客户端还可以对手部摆放姿势是否符合条件进行判断，如果符合，则可以将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，以便通过所述AR方式展示出用户通过手部握住所述三维模型的效果。例如，具体符合条件的手部摆放姿势可以是掌心向上呈半握姿势，等等。如果手部图像的手部姿势不符合条件，则还可以提供关于摆放姿势的提示信息，其中，具体的提示信息可以通过界面上展示的图形、文字等进行提示，等等。

其中，在实际应用中，基于人手距离镜头的远近不同，同样大小的人手在显示屏中显示出的尺寸是不同的，因此，为了更真实地体现出人手与三维模型的大小相对关系，最好是能够获取到手部图像在图像空间中的深度信息，这样可以按照该深度信息进行三维模型的投射，使得三维模型也可以呈现出“近大远小”的效果，以此进一步提升AR展示效果的真实性。但是，由于本申请实施例的场景中，用户通常是使用普通的手机等终端设备进行商品信息的浏览，这种终端设备的摄像头大部分可能是2D摄像头，不具有直接获取景深信息的能力，因此，为了能够获取到深度信息，还可以通过基于手部图像进行3D重建的方式来进行识别。

也就是说，可以根据现实环境图像流中识别出的手部图像，对手部进行实时的三维重建，以获取到多个三维手部关键点坐标，然后可以根据这些关键点坐标来确定手部的位置，其中，具体的位置信息就可以包括手部图像的景深信息。当然，对手部图像进行3D重建之后，可以识别出多个3D手部关键点，每个关键点都可以对应不同的景深信息，在本申请实施例中，可以取手掌中心点等关键点的景深，代表手部图像的景深，等等。其中，具体可以利用预先训练完成的深度学习算法模型对手部图像进行三维Mesh(网格体)重建。关于该用于对手部进行三维Mesh重建的算法模型，不属于本申请实施例中的重点内容，因此，这里不再详述。

在识别到具体手部图像的位置信息后，便可以将具体商品的三维模型映射到AR空间中所述手部图像所在的位置处进行展示。其中，由于对手部的深度信息进行了识别，因此，可以确定出三维模型的景深信息，并展示出三维模型在该景深条件下对应的展示尺寸。另外，由于还可以对手部姿态进行识别，因此，可以基于该姿态确定三维模型的姿态(例如，旋转或者倾斜的角度等)，从而可以在AR空间中呈现出手部握住具体的三维模型的效果。另外，由于手部3D重建可以是实时进行的，因此，在手部发生移动或者改变姿势时，三维模型在AR空间中的展示位置、展示尺寸以及姿态也可以随之变化。当然，这里所述的展示尺寸的变化，是指三维模型在显示屏中展示出的尺寸是可以随着手部的运动，而进行“近大远小”的变化，但是，无论展示尺寸如何变化，三维模型的真实尺寸，以及与人手的相对大小都是不变的。例如，当人手远离镜头时，人手在显示屏上的展示尺寸变小，相应的，商品三维模型也随之远离镜头，且在显示屏上的展示尺寸也变小，但是三维模型与人手的相对大小不变，反之亦然。

其中，为了对手部姿态进行量化识别，具体在对所述真实手部图像进行三维Mesh重建的过程中，还可以获取终端设备的相机参数信息，这样，可以根据所述三维手部关键点坐标、手部图像的景深信息以及相机参数信息，进行手部姿态估计，进而可以根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

具体实现时，为了更好地达到上述通过估计出的手部姿态来确定商品三维模型的姿态，且提升真实感(例如，体现出用手握住三维模型的过程中，指尖部分遮挡三维模型的效果，等等)，在可选的实施方式下，还可以预先为目标商品的三维模型建立标准姿态的三维手部模型，在默认状态下，该三维手部模型可以通过标准姿态持握目标商品的三维模型。也就是说，目标商品的三维模型可以是被一个标准姿态的三维手部模型握住的，并且目标商品的三维模型可以随着该三维手部模型的运动而运动。当然，该标准姿态的三维手部模型并不需要展示出来，因此，可以为不可见状态。

在上述存在标准姿态的三维手部模型的情况下，对真实手部的手部姿态估计结果可以包括：真实手部的姿态相对于所述标准姿态的旋转矩阵和/或平移向量。这样，可以通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

其中，具体在根据所述三维手部关键点坐标、手部景深信息以及相机参数信息，进行手部姿态估计时，可以首先根据所述三维手部关键点坐标、手部景深信息以及相机参数信息，利用从相机坐标到二维图像空间的转换公式，得到所述三维手部关键点在二维图像空间中的投影；然后，根据所述标准姿态的三维手部模型在世界空间坐标系下的坐标，以及所述三维手部关键点在二维图像空间中的投影，确定真实手部的姿态相对于所述标准姿态的旋转矩阵和/或平移向量。

通过这种方式，由于可以根据手部Mesh中各个三维手部关键点的位置，得到手部的全局位姿，利用这些信息，可以更好地达到手指和手掌一起握住商品的AR效果，还可以体现出手握住商品的过程中，手指对商品的遮挡，同时还可以更好地保证商品随着手的运动而运动。通过手部深度估计，则可以更准确地得到商品的三维模型在画面中应该呈现的尺寸，不受手掌估计大小的影响。也即，在通过不同手掌大小的手对商品进行AR展示的过程中，如果手部景深相同，则显示屏上呈现出的商品三维模型的尺寸是一致的，以此提升真实感效果。

其中，具体实现时，除了可以展示出用户用手部握住具体三维模型的效果，用户还可以通过手部动作或者手势与三维模型进行互动。具体的，客户端还可以从现实环境图像中检测到用户通过手部动作对所述三维模型执行的互动操作，并展示出由所述互动操作触发的关于所述三维模型的动态内容。例如，在检测到所述手部图像发生平移或翻转时，可以将所述三维模型进行跟随所述手部图像的平移或翻转展示，例如，如图3(A)、3(B)所示，其示出了手部翻转前后，三维模型跟随手部进行翻转展示的效果。或者，如果具体的手持物品是带有显示屏的手持设备(例如，手机等)，则具体互动操作还可以用于对所述目标对象中与启动目标功能相关的操作进行模拟，此时，在所述三维模型中的显示屏所在区域展示出所述目标功能对应的界面内容。例如，可以包括在三维模型上的开机键区域模拟执行按下该开机键的互动操作，此时，可以将三维模型的显示屏切换为亮起状态，还可以播放开机动画，等等。或者，如果具体的商品支持通过双击显示屏的方式唤醒显示屏，则用户也可以在三维模型的显示屏区域模拟执行该双击操作，此时，也可以将显示屏切换为亮起状态，等等。另外，还可以对手持设备的拍照功能、手电筒功能、智能语音助手功能或者音乐控制功能等进行体验。

总之，通过本申请实施例，可以为手持物品类的目标商品提供通过AR方式进行展示的入口，用户通过该入口发起具体的AR展示请求后，可以采集现实环境图像并加载所述目标商品对应的三维模型，同时可以从所采集到的现实环境图像中检测用户的手部图像，并将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。这样，可以使得用户获得对在线下对商品进行“上手”试用的体验，从而可以帮助用户进行购物决策。

其中，具体的三维模型可以是与商品实际的真实尺寸相同，通过对手部图像的景深估计，还可以确定出三维模型在显示屏上的展示尺寸，从而体现出三维模型与手部图像的大小相对关系。

另外，三维模型还可以在AR空间中随着手部图像的运动而运动，呈现出“近大远小”的展示效果，还可以进行翻转等展示。再者，还可以为目标商品的三维模型创建标准姿态的三维手部模型，也即，在默认状态下，目标商品的三维模型可以是被一个透明的三维手部模型用标准姿态握住的。在进行手部姿态估计时，可以确定出现实世界图像中的真实手部的姿态相对于该标注姿态的旋转矩阵和/或平移向量，从而可以通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。这样，可以更好地呈现出目标商品的三维模型被真实人手握住的效果，甚至可以呈现出商品的三维模型被手指部分遮挡等效果，并更方便地实现三维模型随着人手运动的效果，使得用户获得更真实的体验。

需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

与前述方法实施例相对应，本申请实施例还提供了一种商品展示装置，参见图4，该装置可以包括：

请求接收单元401，用于响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；

手部图像检测单元402，用于从所采集到的现实环境图像中检测用户的手部图像；

AR展示单元403，用于将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

具体实现时，该装置还可以包括：

姿势检测单元，用于对用户的手部摆放姿势进行检测；

所述AR展示单元具体可以用于：

在所述手部摆放姿势符合条件的情况下，将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，以便通过所述AR方式展示出用户通过手部握住所述三维模型的效果。

另外，该装置还可以包括：

提示单元，用于如果所述手部图像的手部姿势不符合条件，则提供关于摆放姿势的提示信息。

其中，所述三维模型的尺寸与所述目标商品的真实尺寸相同；

所述装置还可以包括：

尺寸信息展示单元，用于对所述三维模型的尺寸信息进行展示。

另外，该装置还可以包括：

互动单元，用于从所述现实环境图像中检测到用户通过手部动作对所述三维模型执行的互动操作后，展示出由所述互动操作触发的关于所述三维模型的动态内容。

具体的，所述互动单元具体可以用于：

在检测到所述手部图像发生平移或翻转时，将所述三维模型进行跟随所述手部图像的平移或翻转展示。

或者，所述手持物品包括带有显示屏的手持设备；

所述互动操作用于对所述目标对象中与启动目标功能相关的操作进行模拟；

此时，所述互动单元具体可以用于：

在所述三维模型中的显示屏所在区域展示出所述目标功能对应的界面内容。

另外，该装置还可以包括：

手部三维重建单元，用于对所述手部图像进行实时的三维网格体Mesh重建，以获取多个三维手部关键点坐标；

手部景深估计单元，用于根据所述三维手部关键点坐标确定所述手部的景深信息；

展示位置及尺寸确定单元，用于根据所述三维手部关键点坐标以及所述景深信息，确定所述目标商品的三维模型在所述现实环境图像中的展示位置及展示尺寸。

另外，该装置还可以包括：

相机参数获取单元，用于在对所述手部图像进行三维Mesh重建的过程中，还获取相机参数信息；

手部姿态估计单元，用于根据所述三维手部关键点坐标、景深信息以及相机参数信息，进行手部姿态估计；

展示姿态确定单元，用于根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

另外，所述目标商品的三维模型与标准姿态的三维手部模型具有绑定关系，在默认状态下，所述三维手部模型通过所述标准姿态持握所述目标商品的三维模型，所述标准姿态的三维手部模型为不可见状态；

所述手部姿态估计结果包括：真实手部的姿态相对于所述标准姿态的旋转矩阵和/或平移向量；

所述展示姿态确定单元具体可以用于：通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

以及一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。

其中，图5示例性的展示出了电子设备的架构，例如，设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。

参照图5，设备500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件502可以包括一个或多个处理器520来执行指令，以完成本公开技术方案提供的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的互动。例如，处理部件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的互动。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为设备500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为设备500生成、管理和分配电力相关联的组件。

多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为设备500的显示器和小键盘，传感器组件514还可以检测设备500或设备500一个组件的位置改变，用户与设备500接触的存在或不存在，设备500方位或加速/减速和设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络，如WiFi，或2G、3G、4G/LTE、5G等移动通信网络。在一个示例性实施例中，通信部件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由设备500的处理器520执行以完成本公开技术方案提供的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的商品展示方法及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种商品展示方法，其特征在于，包括：

响应于通过增强现实AR方式对目标商品进行展示的请求，采集现实环境图像并加载所述目标商品对应的三维模型；所述目标商品包括手持物品类商品；

从所采集到的现实环境图像中检测用户的手部图像；

将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

2.根据权利要求1所述的方法，其特征在于，还包括：

对用户的手部摆放姿势进行检测；

所述将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示，包括：

在所述手部摆放姿势符合条件的情况下，将所述目标商品的三维模型映射到所述现实环境图像中所述手部图像所在的位置处进行展示。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果所述手部图像的手部姿势不符合条件，则提供关于摆放姿势的提示信息。

4.根据权利要求1所述的方法，其特征在于，

所述三维模型的尺寸与所述目标商品的真实尺寸相同；

所述方法还包括：

对所述三维模型的尺寸信息进行展示。

5.根据权利要求1所述的方法，其特征在于，还包括：

从所述现实环境图像中检测到用户通过手部动作对所述三维模型执行的互动操作后，展示出由所述互动操作触发的关于所述三维模型的动态内容。

6.根据权利要求5所述的方法，其特征在于，

所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：

在检测到所述手部图像发生平移或翻转时，将所述三维模型跟随所述手部图像的平移或翻转进行展示。

7.根据权利要求5所述的方法，其特征在于，

所述手持物品包括带有显示屏的手持设备；

所述互动操作用于对所述手持设备中与启动目标功能相关的操作进行模拟；

所述展示出由所述互动操作触发的关于所述三维模型的动态内容，包括：

在所述三维模型中的显示屏所在区域展示出所述目标功能对应的界面内容。

8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：

对所述手部图像进行实时的三维网格体Mesh重建，以获取多个三维手部关键点坐标；

根据所述三维手部关键点坐标确定所述手部的景深信息；

根据所述三维手部关键点坐标以及所述景深信息，确定所述目标商品的三维模型在所述现实环境图像中的展示位置及展示尺寸。

9.根据权利要求8所述的方法，其特征在于，还包括：

在对所述手部图像进行三维Mesh重建的过程中，还获取相机参数信息；

根据所述三维手部关键点坐标、景深信息以及相机参数信息，进行手部姿态估计；

根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

10.根据权利要求9所述的方法，其特征在于，

所述目标商品的三维模型与标准姿态的三维手部模型具有绑定关系，在默认状态下，所述三维手部模型通过所述标准姿态持握所述目标商品的三维模型，所述标准姿态的三维手部模型为不可见状态；

所述手部姿态估计结果包括：真实手部的姿态相对于所述标准姿态的旋转矩阵和/或平移向量；

所述根据手部姿态估计结果确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态，包括：

通过将所估计出的旋转矩阵和/或平移向量作用于与所述目标商品的三维模型绑定的三维手部模型，确定目标商品的三维模型投射到所述现实环境图像中时的展示姿态。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10任一项所述的方法的步骤。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至10任一项所述的方法的步骤。

Images