CN114596140A - 一种面向开发人员的用户体验ar商品场景的重建系统 - Google Patents

Abstract

本发明公开了一种面向开发人员的用户体验AR商品场景的重建系统，包括：用户数据库模块用于存储用户个人信息以及体验AR商品产生的数据；资源库模块用于存储编码后的商品及其三维模型、用户的人物模型；环境图像模块用于存储用户所处位置的图像数据；数据处理模块根据用户个人信息构建每个用户的特征数据集；场景组件模块用于存储动作组件和动画组件；场景重建模块接收用户的特征数据集并建立完整的虚拟场景；场景显示模块将整个场景显示在开发人员的设备上。本发明能将用户体验AR商品的虚拟场景进行三维重建，并以可视化的方式展示给开发人员，从而能加速增强现实技术在应用上的试错和改进过程，便于提供给用户更好的AR体验。

Description

一种面向开发人员的用户体验AR商品场景的重建系统

技术领域

本发明属于增强现实(Augmented Reality，AR)领域，具体的说是一种面向开发人员的用户体验AR商品场景的重建系统。

背景技术

AR(Augmented Reality，增强现实)是一种实时计算摄像机影像的位置及角度并加上相应图像和3D模型的技术，这种技术将虚拟场景和现实场景结合起来，通过把虚拟的信息应用于真实世界中，即真实场景和虚拟场景实时地叠加到了同一个画面或空间中同时存在，从而使得虚拟信息能够被人类感官感知，从而达到更加真实的感官体验。

如今，增强现实(AR)技术飞速发展，被应用在医疗、游戏等各个领域，出现越来越多的AR应用进入人们的日常生活中。特别在线上销售中，开始出现商品的AR展示来帮助用户更加有效地体验产品。但是开发人员通过AR系统收集的相关数据通常不是可视化的，而且无法短时间内接收用户对AR展示方式的建议和反馈，这导致开发人员对程序部署和试错需要花费很长的时间，技术更新很慢。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种面向开发人员的用户体验AR商品场景的重建系统，以期能弥补现有AR应用系统上存在的不足，将用户数据以可视化方式及时提供给开发人员，从而加速增强现实(AR)技术在应用上的试错和改进过程，便于提供给用户更好的AR体验。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种面向开发人员的用户体验AR商品场景的重建系统的特点包括：用户数据库模块、资源库模块、环境图像模块、数据处理模块、场景组件模块、场景重建模块和场景显示模块；

所述用户数据库模块用于存储用户个人信息以及体验AR商品产生的数据，并传输至所述数据处理模块；所述用户个人信息为用户身份的ID；所述体验AR商品产生的数据包括用户所选择体验的AR商品，以及用户对所述AR商品的交互行为数据；

所述资源库模块用于存储编码后的商品及其三维模型、用户的人物模型，并传输至数据处理模块；

所述环境图像模块用于存储用户体验AR商品时所处位置的图像数据，并传输至数据处理模块；所述图像数据为用户利用所持设备的摄像头获取的环境图像；

所述数据处理模块根据用户个人信息，将所接收的相关用户的其他数据进行关联，从而构建每个用户的特征数据集，并传输至场景重建模块；

所述场景组件模块用于存储动作组件和动画组件；所述动作组件用于添加至人物模型以生成相应动作，所述动画组件用于添加至AR商品的三维模型，并根据人物模型的相应动作给三维模型添加相应的动画效果；

所述场景重建模块接收用户的特征数据集，并虚拟场景中的摄像头为坐标系原点，摄像头朝向的方向为Y轴，摄像头朝向的一侧方向为X轴，从而利用螺旋定则确定Z轴，并建立虚拟场景坐标系；然后根据图像数据提取用户所处空间的深度数据，以确定场景的大小，并重建用户体验AR商品的场景，接着，在所述场景中添加体验的AR商品的三维模型和对应用户的人物模型，并根据深度数据调整模型的大小和位置；再根据交互行为数据为人物模型添加动作组件以生成相应动作；最后，为AR商品的三维模型添加动画组件，从而根据人物模型的相应动作对AR商品的三维模型产生相应的动画效果；

所述场景显示模块将整个场景显示在开发人员的设备上。

与现有技术相比，本发明的有益效果在于：

本发明将虚拟现实技术应用于线上应用场景中，不同于以往的AR应用只为用户提供展示效果的情形，本系统通过用户数据库模块、资源库模块、环境图像模块、场景组件模块、数据处理模块、场景重建模块和场景显示模块之间的相互配合，在获取用户体验AR商品产生的数据的基础上，通过三维重建技术对用户所处真实环境进行建模，并在重建好的场景中添加人物模型和AR商品的三维模型，根据交互行为数据和场景组件模块为模型生成相应的动作效果，实现了用户数据的可视化展示，开发人员根据可视化的场景能够更及时有效地获取用户对AR应用的反馈，帮助开发人员加速试错和改进过程，便于提供给用户更好的AR体验。

附图说明

图1为本发明面向开发人员的用户体验AR商品场景的重建系统的实施例示意图；

图2为本发明面向开发人员的用户体验AR商品场景的重建系统的系统示意图。

具体实施方式

本实施例中，一种面向开发人员的用户体验AR商品场景的重建系统能保存用户体验AR商品时所处的场景以及用户的体验数据，并通过用户数据库模块、资源库模块、环境图像模块、场景组件模块、数据处理模块、场景重建模块和场景显示模块之间的相互配合，将用户体验AR商品的虚拟场景进行三维重建，并以可视化的方式展示给开发人员；如图1所示，具体实施中，根据用户在真实场景1体验AR商品后所产生的数据，通过场景重建系统3展示给开发人员，以场景2的形式进行展示。在真实场景1中，用户手持移动设备102在真实建筑101前体验AR商品，或借助建筑101进行相关的AR展示，在移动设备中应该显示建筑101的全体或部分图像。真实场景1中用户体验AR商品时的相关数据经过场景重建系统3进行保存，以场景2的形式展示给开发人员。场景2中主要包含3个子场景，模块201中主要包含用户的个人信息，例如代表用户身份的ID；场景202中显示用户体验AR商品时的具体环境，通过三维建模技术搭建虚拟场景；场景203中显示用户移动设备上的AR使用的动画效果；

本实施例中，如图2所示，一种面向开发人员的用户体验AR商品场景的重建系统，包括：用户数据库模块301、资源库模块302、环境图像模块303、数据处理模块304、场景组件模块305、场景重建模块306和场景显示模块307；

用户数据库模块301用于存储用户个人信息以及体验AR商品产生的数据，并传输至数据处理模块；

进一步，用户在真实场景1中体验AR商品后产生的数据将会保存在用户数据库模块302中，通过设备提供的权限获取；用户个人信息为用户身份的ID；体验AR商品产生的数据包括用户所选择体验的AR商品，以及用户对AR商品的交互行为数据；

资源库模块302用于存储编码后的商品及其三维模型、用户的人物模型的尺寸数据，并传输至数据处理模块；

进一步，商品的编码用于区分不同种类的商品，并关联商品的三维模型；用户的人物模型用于在虚拟场景中代表用户自己；商品三维模型和人物模型为已经设计好的模型，商品模型与商品实物外观保持一致，人物模型以通用的男女两种模型表示；商品的三维模型和用户的人物模型的尺寸数据经过设定为某个正常值；

环境图像模块303用于存储用户体验AR商品时所处位置的图像数据，并传输至数据处理模块；

进一步，图像数据通过调用用户所持设备102的摄像头对周围环境进行扫描记录，记录好的数据以图像的形式进行保存；

数据处理模块304根据用户个人信息，将所接收的相关用户的其他数据进行关联，从而构建每个用户的特征数据集，并传输至场景重建模块；

进一步，用户个人信息为代表用户身份的ID，根据每个用户独特的ID即可搜寻到该用户其他的数据，例如用户具体体验过哪些产品、用户对这些产品实施了哪些交互行为、用户所处的场景图像等，将用户的所有数据进行集合并构建代表用户的特征数据集；

场景组件模块305用于存储在重建虚拟场景过程中用到的动作组件和动画组件，并传输至场景重建模块；

进一步，动作组件用于添加至人物模型，使人物模型可以做出与人相似的动作，根据交互行为数据可以为人物模型添加相应动作，例如用户点击、滑动和双指滑动屏幕等动作；动画组件用于添加至AR商品的三维模型，使得AR商品的三维模型具有流畅的动画显示效果，根据人物模型的相应动作给三维模型添加相应的动画效果，例如商品旋转、放大和缩小等效果；

场景重建模块306接收用户的特征数据集，并虚拟场景中的摄像头为坐标系原点，摄像头朝向的方向为Y轴，摄像头朝向的一侧方向为X轴，从而利用螺旋定则确定Z轴，并建立虚拟场景坐标系；然后根据图像数据提取用户所处空间的深度数据，以确定场景的大小，并重建用户体验AR商品的场景；接着，在场景中添加体验的AR商品的三维模型和对应用户的人物模型，并根据深度数据调整模型的大小和位置；再根据交互行为数据为人物模型添加动作组件以生成相应动作；最后，为AR商品的三维模型添加动画组件，从而根据人物模型的相应动作对AR商品的三维模型产生相应的动画效果；

进一步，虚拟场景中的摄像头为AR摄像头(AR Camera)，在虚拟场景中建立坐标系，以AR摄像头为坐标系原点，摄像头朝向的方向为坐标轴Y，摄像头朝向的一侧(通常为右侧90度方向)为坐标轴X，根据螺旋定则确定坐标轴Z，得到虚拟场景坐标系；

进一步，图像数据为用户所处场景的环境图像，利用SIFT算法提取图像中的深度数据；深度数据表示虚拟场景中某个特征点离坐标系原点的距离，可用于确定整个虚拟场景的大小；场景中每个特征点的深度数据不同，可以用来处理场景中物体间的遮挡关系和远近关系，可用于确定场景中物体之间的位置，并重建用户体验AR商品的场景；如图1中，将场景1中不包含用户的真实场景重建为场景202中不包含用户的虚拟场景；

进一步，在虚拟场景中添加经过用户体验的AR商品的三维模型和用户对应的人物模型，模型包含尺寸数据，并根据场景深度数据即可确定模型在场景中的大小和位置；

进一步，交互行为数据为用户与AR商品的交互，一般通过点击屏幕实现商品模型的摆放，通过滑动屏幕实现商品模型的旋转，通过双指滑动屏幕实现商品模型的放缩，交互行为数据即为这些动作数据的集合；

进一步，为人物模型添加动作组件后，利用动作组件并根据交互数据识别交互过程中的动作，并将动作添加至人物模型上，使人物模型能够做出与用户相同的动作，如点击屏幕、滑动屏幕和双指滑动屏幕等；

进一步，为AR商品的三维模型添加动画组件后，动画组件会根据动作组件中保存的动作数据为三维模型添加相应的动画效果，如模型的移动，旋转和放缩等动画，使商品的三维模型与人物三维模型之间实现流畅的显示效果；

场景显示模块307将整个场景显示在开发人员的设备308上；

进一步，整个场景为经过场景重建模块306建立好的整个虚拟场景，其中包含用户所处位置的环境、代表用户的模型和AR商品的三维模型，以及模型之间能够实现流畅的显示效果；

进一步，设备308主要面向开发人员端，与场景显示模块307相连，用于将整个场景展示给开发人员；设备308中显示的信息可如图1中的场景2，除了显示整个虚拟场景202，同时显示用户个人信息的具体数据201，以及用户在手持设备102中体验过程中的具体AR动画效果203。

Claims (1)

1.一种面向开发人员的用户体验AR商品场景的重建系统，其特征包括：用户数据库模块、资源库模块、环境图像模块、数据处理模块、场景组件模块、场景重建模块和场景显示模块；

所述用户数据库模块用于存储用户个人信息以及体验AR商品产生的数据，并传输至所述数据处理模块；所述用户个人信息为用户身份的ID；所述体验AR商品产生的数据包括用户所选择体验的AR商品，以及用户对所述AR商品的交互行为数据；

所述资源库模块用于存储编码后的商品及其三维模型、用户的人物模型，并传输至数据处理模块；

所述环境图像模块用于存储用户体验AR商品时所处位置的图像数据，并传输至数据处理模块；所述图像数据为用户利用所持设备的摄像头获取的环境图像；

所述数据处理模块根据用户个人信息，将所接收的相关用户的其他数据进行关联，从而构建每个用户的特征数据集，并传输至场景重建模块；

所述场景组件模块用于存储动作组件和动画组件；所述动作组件用于添加至人物模型以生成相应动作，所述动画组件用于添加至AR商品的三维模型，并根据人物模型的相应动作给三维模型添加相应的动画效果；

所述场景重建模块接收用户的特征数据集，并虚拟场景中的摄像头为坐标系原点，摄像头朝向的方向为Y轴，摄像头朝向的一侧方向为X轴，从而利用螺旋定则确定Z轴，并建立虚拟场景坐标系；然后根据图像数据提取用户所处空间的深度数据，以确定场景的大小，并重建用户体验AR商品的场景，接着，在所述场景中添加体验的AR商品的三维模型和对应用户的人物模型，并根据深度数据调整模型的大小和位置；再根据交互行为数据为人物模型添加动作组件以生成相应动作；最后，为AR商品的三维模型添加动画组件，从而根据人物模型的相应动作对AR商品的三维模型产生相应的动画效果；

所述场景显示模块将整个场景显示在开发人员的设备上。

Images