CN111640183A - 一种ar数据展示控制方法及装置 - Google Patents

一种ar数据展示控制方法及装置 Download PDF

Info

Publication number
CN111640183A
CN111640183A CN202010501541.8A CN202010501541A CN111640183A CN 111640183 A CN111640183 A CN 111640183A CN 202010501541 A CN202010501541 A CN 202010501541A CN 111640183 A CN111640183 A CN 111640183A
Authority
CN
China
Prior art keywords
user
information
building model
virtual building
state change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010501541.8A
Other languages
English (en)
Inventor
王子彬
孙红亮
李炳泽
张一�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010501541.8A priority Critical patent/CN111640183A/zh
Publication of CN111640183A publication Critical patent/CN111640183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种AR数据展示控制方法及装置，包括：检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；获取所述用户的动作信息；基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。

Description

一种AR数据展示控制方法及装置
技术领域
本公开涉及AR增强现实(Augmented Reality)技术领域，具体而言，涉及一种AR数据展示控制方法及装置。
背景技术
相关技术中，在需要对建筑物进行展示时，一般是通过展示建筑物的相关图像或相关视频的方式来进行展示，然而这种方法展示的形式和内容都是固定不变的，展示效果较差，且不同用户对于建筑物的关注角度可能不同，这种展示方法无法满足不同用户的展示需求。
发明内容
本公开实施例至少提供一种AR数据展示控制方法及装置。
第一方面，本公开实施例提供了一种AR数据展示控制方法，包括：
检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；
获取所述用户的动作信息；
基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；
基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
上述方法中，可以直接根据用户的动作信息，确定虚拟建筑物模型对应的状态变化信息，然后基于状态变化信息，对虚拟建筑物模型进行更新，用户可以执行旋转的动作，来控制虚拟建筑物进行选择，由此，增加了用户与虚拟建筑物模型之间的交互，提升了展示效果，且不同的用户可以通过执行不同的动作，来查看不同状态变化信息下的虚拟建筑物模型，满足了不同用户的展示需求。
一种可能的实施方式中，检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型，包括：
检测到用户进入指定位置区域后，响应用户的展示触发操作，展示初始的虚拟建筑物模型。
一种可能的实施方式中，所述基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息，包括：
基于所述动作信息指示的动作类型和动作幅度，确定所述虚拟建筑物模型对应的状态变化类型和状态变化幅度。
一种可能的实施方式中，所述状态变化类型包括展示角度旋转和内部结构拆解中的至少一种。
一种可能的实施方式中，获取所述用户的动作信息，包括：
获取多张连续的包含所述用户肢体的待检测图像；
针对每一张待检测图像，检测该待检测图像中的目标肢体对应的预设位置点在该待检测图像中的位置信息；
基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息。
一种可能的实施方式中，所述基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息，包括：
基于多张连续的所述待检测图像中预设位置点的位置信息，确定每一个预设位置点的变化信息，所述变化信息用于表示所述目标用户的各个预设位置点的移动情况；
基于所述各个预设位置点的变化信息，确定所述目标用户的动作信息。
一种可能的实施方式中，所述基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型之后，还包括：
响应用户的复原触发操作，恢复展示初始的虚拟建筑物模型。
第二方面，本公开实施例还提供一种AR数据展示控制装置，包括：
展示模块，用于检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；
获取模块，用于获取所述用户的动作信息；
确定模块，用于基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；
更新模块，用于基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
一种可能的实施方式中，所述展示模块，在检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型时，用于：
检测到用户进入指定位置区域后，响应用户的展示触发操作，展示初始的虚拟建筑物模型。
一种可能的实施方式中，所述确定模块，在基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息时，用于：
基于所述动作信息指示的动作类型和动作幅度，确定所述虚拟建筑物模型对应的状态变化类型和状态变化幅度。
一种可能的实施方式中，所述状态变化类型包括展示角度旋转和内部结构拆解中的至少一种。
一种可能的实施方式中，所述获取模块，在获取所述用户的动作信息时，用于：
获取多张连续的包含所述用户肢体的待检测图像；
针对每一张待检测图像，检测该待检测图像中的目标肢体对应的预设位置点在该待检测图像中的位置信息；
基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息。
一种可能的实施方式中，所述确定模块，在基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息时，用于：
基于多张连续的所述待检测图像中预设位置点的位置信息，确定每一个预设位置点的变化信息，所述变化信息用于表示所述目标用户的各个预设位置点的移动情况；
基于所述各个预设位置点的变化信息，确定所述目标用户的动作信息。
一种可能的实施方式中，所述更新模块，在基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型之后，还用于：
响应用户的复原触发操作，恢复展示初始的虚拟建筑物模型。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR数据展示控制方法的流程图；
图2示出了本公开实施例所提供的一种AR数据展示控制装置的架构示意图；
图3示出了本公开实施例所提供的计算机设备300的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在展示建筑物时，一般通过图像或视频的方式进行展示，然而由于其需要在设定的地方按照固定的展示方式进行展示，这种展示方式可能并无法吸引用户观看，展示效果较差，且不同的用户对于建筑物的关注角度可能不同，用户A想要多了解建筑物的右侧面，用户B可能想要多了解建筑物左侧面，而当前展示的可能仅包括建筑物正面的相关信息，因此，这种展示方式无法满足不同用户的展示需求。
基于此，本公开提供一种AR数据展示控制方法及装置，可以直接根据用户的动作信息，确定虚拟建筑物模型对应的状态变化信息，然后基于状态变化信息，对虚拟建筑物模型进行更新，用户可以执行旋转的动作，来控制虚拟建筑物进行选择，由此，增加了用户与虚拟建筑物模型之间的交互，提升了展示效果，且不同的用户可以通过执行不同的动作，来查看不同状态变化信息下的虚拟建筑物模型，满足了不同用户的展示需求。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR数据展示控制方法进行详细介绍，本公开实施例所提供的AR数据展示控制方法的执行主体一般为具有一定计算能力的电子设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、个人数字处理(PersonalDigital Assistant，PDA)、计算设备等。
下述方案中所述显示装置和图像采集装置部署在执行本方案的电子设备，或者与执行本方案的电子设备连接，其连接方式包括但不仅限于有线连接、无线连接，其中，所述无线连接可以包括蓝牙连接、无线局域网连接等，对于其他可以连接的方式，本公开并不限定。
参见图1所示，为本公开实施例提供的一种AR数据展示控制方法的流程图，所述方法包括步骤101～步骤104，其中：
步骤101、检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型。
具体实施中，可以预先设置图像采集装置，所述图像采集装置可以采集指定位置区域的图像，且图像采集装置的安装位置和安装朝向是固定的。图像采集装置在采集图像之后，可以将该图像传输至执行本公开所提供的方法的电子设备，该电子设备再对图像采集装置采集的图像进行检测，以判断是否有用户进入该指定位置区域。
在另外一种可能的实施方式中，可以在所述指定位置区域设置红外装置，然后通过红外装置检测是否有用户进入指定位置区域；或者，用户可以携带展示AR数据的显示装置，执行本方案的电子设备可以实时获取各个用户携带的显示装置的位置信息，基于实时获取的位置信息，可以确定是否有用户进入指定位置区域。
所述虚拟建筑物模型为增强现实AR模型，在一种可能的实施方式中，所有用户进入到指定位置区域后，所展示的初始的虚拟建筑物模型可以相同，均为预设好的同一虚拟建筑物模型，在另外一种可能的实施方式中，用户进入指定位置区域后，所展示的初始的虚拟建筑物模型可能与用户的用户属性相匹配，不同用户属性的用户进入指定位置区域后，所展示的初始的虚拟建筑物模型不同。
其中，所述用户属性可以包括以下属性中的至少一种：
性别、年龄、微笑值、颜值、肤色。
在检测到用户进入指定位置区域后，可以控制采集指定位置区域图像的图像采集设备采集包括用户的用户图像，然后基于训练的神经网络确定用户图像中用户的属性。其中，所述神经网络是基于携带有用户属性标签的样本图像训练得到的。
具体的，神经网络在训练时，可以将获取的样本图像输入至神经网络中，然后基于神经网络预测的用户属性和样本图像的用户属性标签确定本次训练过程中的损失值，并基于所述损失值调整神经网络的网络参数。
在确定与用户属性相匹配的初始的虚拟建筑物模型时，可以基于预先存储的用户属性与虚拟建筑物模型的标识信息的映射关系，确定与进入指定位置区域的用户的用户属性相匹配的虚拟建筑物模型的标识信息，并基于确定的虚拟建筑物模型的标识信息，获取对应的虚拟建筑物模型的AR展示数据，并展示该AR展示数据，即展示与进入指定位置区域的用户的用户属性相匹配的初始的虚拟建筑物模型。
初始的虚拟建筑物模型的展示位置可以是预先确定好的，且不同的初始的虚拟建筑物的展示位置可以相同。
在另外一种可能的实施方式中，初始的虚拟建筑物模型的展示位置可以根据用户的位置确定。
具体的，在检测到用户进入指定位置区域后，可以采集包括用户的用户图像，然后基于用户图像，检测用户在图像中的位置坐标，再通过标定相机参数，确定图像坐标系和世界坐标系的转换矩阵，基于该转换矩阵，将用户在图像中的位置坐标转换为用户在世界坐标系下的位置坐标，然后基于预先设置的初始的虚拟建筑物与用户的相对位置关系，确定初始的虚拟建筑物的展示坐标，然后基于该展示坐标展示初始的虚拟建筑物模型。
在另外一种可能的实施方式中，所述检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型，可以是检测到用户指定位置区域后，响应用户的展示触发操作，展示初始的虚拟建筑物模型。
所述展示触发操作可以是用户做出的肢体动作，例如可以是挥手、张开双臂、握拳等。不同的展示触发操作，所对应的初始的虚拟建筑物模型可以不同，例如，若用户做出了挥手的展示触发操作，则将虚拟建筑物模型A确定为初始的虚拟建筑物模型，并进行展示，若用户做出的张开双臂的展示触发操作，则将虚拟建筑物模型B确定为初始的虚拟建筑物模型，并进行展示。
在确定用户的展示触发操作时，可以获取包括用户的视频，然后将对应的视频输入至预先训练的神经网络中，得到用户的展示触发操作，其中，所述神经网络是基于携带有展示触发操作标签的样本视频训练得到的。
或者，在另外一种可能的实施方式中，用户可以通过点击显示装置上的开始展示按钮，来进行触发，在检测到用户点击之后，可以生成展示触发操作，然后展示初始的虚拟建筑物模型。
步骤102、获取所述用户的动作信息。
所获取的用户的动作信息，可以是基于步骤101中确定展示触发操作时的神经网络所确定的，这里应用到的视频，为展示初始的虚拟建筑物模型之后所采集的包含用户的视频。
当用户的展示触发操作中包括用户的肢体动作时，用户的动作信息所包含的动作与用户的展示触发操作所包含的用户的肢体动作可以相同，例如可以均为挥手。
在另外一种可能的实施方式中，在获取用户的动作信息时，可以先采集多张连续的包含用户肢体的待检测图像，针对每一张待检测图像，检测该待检测图像中的目标肢体对应的预设位置点在该待检测图像中的位置信息；然后基于多张连续的所述待检测图像中预设位置点的位置信息，确定用户的动作信息。
其中，在基于多张连续的待检测图像中预设位置点的位置信息，确定用户的动作信息时，可以先基于多张连续的待检测图像中预设位置点的位置信息，确定每一个预设位置点的变化信息，所述变化信息用于表示目标用户的各个预设位置点的移动情况，然后基于各个预设位置点的变化信息，确定目标用户的动作信息。
所述预设位置点为需要检测的用户身体上的点，例如可以包括各个指尖、关节点、手腕等。
预设位置点在待检测图像中的位置信息可以是预设位置点在待检测图像中的图像坐标；在基于多张联系的待检测图像中预设位置点的位置信息，确定每一个预设位置点的变化信息时，可以确定每一个预设位置点的图像坐标在不同的待检测图像中的变化坐标值，根据连续的待检测图像的排列顺序以及每一个预设位置点的图像坐标在不同的待检测图像中的变化坐标值，可以确定每一个预设位置点的移动轨迹，基于该移动轨迹，可以确定目标用户的动作信息。
具体实施中，可以预先设置不同的动作信息所对应的肢体的移动轨迹，在确定每一个预设位置点的移动轨迹之后，可以确定用户的肢体的移动轨迹，然后计算用户的肢体的移动轨迹和预先设置的每一个动作信息所对应的肢体的移动轨迹之间的相似度，将相似度最高的移动轨迹所对应的动作信息作为目标用户的动作信息。
步骤103、基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息。
在一种可能的实施方式中，所述基于所述动作信息，确定虚拟建筑物模型对应的状态变化信息，可以是基于动作信息指示的动作类型和动作幅度，确定虚拟建筑物对应的状态变化类型和状态变化幅度。
示例性的，状态变化类型可以是水平旋转、拆解、多角度翻转等，所述状态变化幅度可以是旋转的速度、翻转的角度、拆解的细化程度等。
所述动作信息指示的动作类型例如可以是水平滑动、双手打开、两只手指向相反方向张开等，动作信息指示的动作类型与虚拟建筑物模型对应的状态变化类型是对应的，动作信息指示的动作类型的变化会引起虚拟建筑物模型对应的状态变化类型的变化，动作信息指示的动作幅度与虚拟建筑物模型的状态变化幅度是对应的，动作信息指示的动作幅度的变化，会引起虚拟建筑物模型的状态变化幅度的变化。
在确定动作信息指示的动作幅度时，可以根据用户做出动作信息指示的动作类型对应的动作的起点位置和终止位置来确定，例如，若用户从左向右滑动，其滑动距离为a，则动作指示信息指示的动作类型为从左向右水平滑动，动作指示信息指示的动作幅度为a，则可以根据动作指示信息指示的动作类型，确定虚拟建筑物的状态变化类型为顺时针旋转，状态变化幅度为b度。
在另外一种可能的实施方式中，状态变化类型可以包括展示角度旋转和内部结构拆解中的至少一种，所述展示角度旋转为在当前展示的角度下进行旋转，其旋转的速度是预先设置好的，所述内部结构拆解，是指拆解当前的虚拟建筑物模型，即在基于动作信息，确定虚拟建筑物模型对应的状态变化信息仅为控制虚拟建筑物模型旋转和/或对虚拟建筑物模型进行内部结构拆解。
步骤104、基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
具体实施中，在基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型是，若确定的状态变化信息为展示角度旋转时，所述更新显示变化后的虚拟建筑物模型可以是展示虚拟建筑物模型对应的旋转动画；若确定的状态变化信息为内部结构拆解是，所述更新显示变化后的虚拟建筑物模型可以是展示虚拟建筑物模型对应的拆解动画。
这里，虚拟建筑物模型对应的旋转动画和虚拟建筑物模型对应的拆解动画均为预先存储的展示动画。
在另外一种可能的实施方式中，若确定的状态变化信息为内部结构拆解是，所述更新显示变化后的虚拟建筑物模型可以是，直接获取拆解后的虚拟建筑物模型对应的AR展示数据，并将当前展示的虚拟建筑物模型更新为拆解后的虚拟建筑物模型。
在另外一种可能的实施方式中，所述基于确定的状态变化信息，更新显示后的虚拟建筑物模型，还可以是基于虚拟建筑物模型对应的状态变化类型和状态变化幅度，调整当前展示的虚拟建筑物模型的展示角度，或者将当前展示的虚拟建筑物模型替换为与所述状态变化类型和状态变化幅度相匹配的虚拟建筑物模型。
示例性的，若用户的动作信息指示的动作类型为从左向右水平滑动，动作幅度为10厘米，则可以调整当前展示的虚拟建筑物模型的展示角度，将虚拟建筑物模型的由当前的展示角度切换为旋转x度之后的展示角度。
在另外一种可能的实施方式中，在基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型之后，还可以响应用户的复原触发操作，恢复展示初始的虚拟建筑物模型。
其中，所述用户的复原触发操作可以是用户点击显示装置上的复原按钮，或者检测到用户做出指定动作后，生成对应的复原触发操作。这里，检测用户是否做出指定动作的方法与上述获取用户的动作信息的方法相同，这里将不再赘述。
本公开实施例提供的方法，可以直接根据用户的动作信息，确定虚拟建筑物模型对应的状态变化信息，然后基于状态变化信息，对虚拟建筑物模型进行更新，用户可以执行旋转的动作，来控制虚拟建筑物进行选择，由此，增加了用户与虚拟建筑物模型之间的交互，提升了展示效果，且不同的用户可以通过执行不同的动作，来查看不同状态变化信息下的虚拟建筑物模型，满足了不同用户的展示需求。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与AR数据展示控制方法对应的AR数据展示控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR数据展示控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图2所示，为本公开实施例提供的一种AR数据展示控制装置的架构示意图，所述装置包括：展示模块201、获取模块202、确定模块203、以及更新模块204；其中，
展示模块201，用于检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；
获取模块202，用于获取所述用户的动作信息；
确定模块203，用于基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；
确定模块204，用于基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
一种可能的实施方式中，所述展示模块201，在检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型时，用于：
检测到用户进入指定位置区域后，响应用户的展示触发操作，展示初始的虚拟建筑物模型。
一种可能的实施方式中，所述确定模块203，在基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息时，用于：
基于所述动作信息指示的动作类型和动作幅度，确定所述虚拟建筑物模型对应的状态变化类型和状态变化幅度。
一种可能的实施方式中，所述状态变化类型包括展示角度旋转和内部结构拆解中的至少一种。
一种可能的实施方式中，所述获取模块202，在获取所述用户的动作信息时，用于：
获取多张连续的包含所述用户肢体的待检测图像；
针对每一张待检测图像，检测该待检测图像中的目标肢体对应的预设位置点在该待检测图像中的位置信息；
基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息。
一种可能的实施方式中，所述确定模块203，在基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息时，用于：
基于多张连续的所述待检测图像中预设位置点的位置信息，确定每一个预设位置点的变化信息，所述变化信息用于表示所述目标用户的各个预设位置点的移动情况；
基于所述各个预设位置点的变化信息，确定所述目标用户的动作信息。
一种可能的实施方式中，所述确定模块204，在基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型之后，还用于：
响应用户的复原触发操作，恢复展示初始的虚拟建筑物模型。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图3所示，为本公开实施例提供的计算机设备300的结构示意图，包括处理器301、存储器302、和总线303。其中，存储器302用于存储执行指令，包括内存3021和外部存储器3022；这里的内存3021也称内存储器，用于暂时存放处理器301中的运算数据，以及与硬盘等外部存储器3022交换的数据，处理器301通过内存3021与外部存储器3022进行数据交换，当计算机设备300运行时，处理器301与存储器302之间通过总线303通信，使得处理器301在执行以下指令：
检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；
获取所述用户的动作信息；
基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；
基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR数据展示控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的AR数据展示控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR数据展示控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种AR数据展示控制方法，其特征在于，包括：
检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；
获取所述用户的动作信息；
基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；
基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
2.根据权利要求1所述的方法，其特征在于，检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型，包括：
检测到用户进入指定位置区域后，响应用户的展示触发操作，展示初始的虚拟建筑物模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息，包括：
基于所述动作信息指示的动作类型和动作幅度，确定所述虚拟建筑物模型对应的状态变化类型和状态变化幅度。
4.根据权利要求1所述的方法，其特征在于，所述状态变化类型包括展示角度旋转和内部结构拆解中的至少一种。
5.根据权利要求1所述的方法，其特征在于，获取所述用户的动作信息，包括：
获取多张连续的包含所述用户肢体的待检测图像；
针对每一张待检测图像，检测该待检测图像中的目标肢体对应的预设位置点在该待检测图像中的位置信息；
基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息。
6.根据权利要求5所述的方法，其特征在于，所述基于多张连续的所述待检测图像中预设位置点的位置信息，确定所述用户的动作信息，包括：
基于多张连续的所述待检测图像中预设位置点的位置信息，确定每一个预设位置点的变化信息，所述变化信息用于表示所述目标用户的各个预设位置点的移动情况；
基于所述各个预设位置点的变化信息，确定所述目标用户的动作信息。
7.根据权利要求1所述的方法，其特征在于，所述基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型之后，还包括：
响应用户的复原触发操作，恢复展示初始的虚拟建筑物模型。
8.一种AR数据展示控制装置，其特征在于，包括：
展示模块，用于检测到用户进入指定位置区域后，展示初始的虚拟建筑物模型；
获取模块，用于获取所述用户的动作信息；
确定模块，用于基于所述动作信息，确定所述虚拟建筑物模型对应的状态变化信息；
更新模块，用于基于确定的状态变化信息，更新显示变化后的虚拟建筑物模型。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的AR数据展示控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的AR数据展示控制方法的步骤。
CN202010501541.8A 2020-06-04 2020-06-04 一种ar数据展示控制方法及装置 Pending CN111640183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010501541.8A CN111640183A (zh) 2020-06-04 2020-06-04 一种ar数据展示控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501541.8A CN111640183A (zh) 2020-06-04 2020-06-04 一种ar数据展示控制方法及装置

Publications (1)

Publication Number Publication Date
CN111640183A true CN111640183A (zh) 2020-09-08

Family

ID=72330342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010501541.8A Pending CN111640183A (zh) 2020-06-04 2020-06-04 一种ar数据展示控制方法及装置

Country Status (1)

Country Link
CN (1) CN111640183A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348888A (zh) * 2020-09-09 2021-02-09 北京市商汤科技开发有限公司 显示设备的定位方法、装置、显示设备及计算机存储介质
CN112386911A (zh) * 2020-12-08 2021-02-23 网易（杭州）网络有限公司 导航网格生成方法、装置、非易失性存储介质及电子装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN107621881A (zh) * 2017-09-29 2018-01-23 歌尔科技有限公司 虚拟内容控制方法及控制设备
CN108319363A (zh) * 2018-01-09 2018-07-24 北京小米移动软件有限公司 基于vr的产品展示方法、装置及电子设备
CN109147017A (zh) * 2018-08-28 2019-01-04 百度在线网络技术（北京）有限公司 动态图像生成方法、装置、设备及存储介质
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
CN109508093A (zh) * 2018-11-13 2019-03-22 宁波视睿迪光电有限公司 一种虚拟现实交互方法及装置
CN109499068A (zh) * 2018-11-14 2019-03-22 腾讯科技（深圳）有限公司 对象的控制方法和装置、存储介质、电子装置
CN110139115A (zh) * 2019-04-30 2019-08-16 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110764614A (zh) * 2019-10-15 2020-02-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备及存储介质
CN110941416A (zh) * 2019-11-15 2020-03-31 北京奇境天成网络技术有限公司 一种增强现实中人与虚拟物的交互方法及装置
CN111068308A (zh) * 2019-11-12 2020-04-28 北京字节跳动网络技术有限公司 基于嘴部动作的数据处理方法、装置、介质和电子设备
CN111199583A (zh) * 2018-11-16 2020-05-26 广东虚拟现实科技有限公司 一种虚拟内容显示方法、装置、终端设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN107621881A (zh) * 2017-09-29 2018-01-23 歌尔科技有限公司 虚拟内容控制方法及控制设备
CN108319363A (zh) * 2018-01-09 2018-07-24 北京小米移动软件有限公司 基于vr的产品展示方法、装置及电子设备
CN109147017A (zh) * 2018-08-28 2019-01-04 百度在线网络技术（北京）有限公司 动态图像生成方法、装置、设备及存储介质
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
CN109508093A (zh) * 2018-11-13 2019-03-22 宁波视睿迪光电有限公司 一种虚拟现实交互方法及装置
CN109499068A (zh) * 2018-11-14 2019-03-22 腾讯科技（深圳）有限公司 对象的控制方法和装置、存储介质、电子装置
CN111199583A (zh) * 2018-11-16 2020-05-26 广东虚拟现实科技有限公司 一种虚拟内容显示方法、装置、终端设备及存储介质
CN110139115A (zh) * 2019-04-30 2019-08-16 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110764614A (zh) * 2019-10-15 2020-02-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备及存储介质
CN111068308A (zh) * 2019-11-12 2020-04-28 北京字节跳动网络技术有限公司 基于嘴部动作的数据处理方法、装置、介质和电子设备
CN110941416A (zh) * 2019-11-15 2020-03-31 北京奇境天成网络技术有限公司 一种增强现实中人与虚拟物的交互方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348888A (zh) * 2020-09-09 2021-02-09 北京市商汤科技开发有限公司 显示设备的定位方法、装置、显示设备及计算机存储介质
CN112348888B (zh) * 2020-09-09 2023-06-20 北京市商汤科技开发有限公司 显示设备的定位方法、装置、显示设备及计算机存储介质
CN112386911A (zh) * 2020-12-08 2021-02-23 网易（杭州）网络有限公司 导航网格生成方法、装置、非易失性存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN108665492B (zh) 一种基于虚拟人的舞蹈教学数据处理方法及系统
Rautaray Real time hand gesture recognition system for dynamic applications
Yao et al. Contour model-based hand-gesture recognition using the Kinect sensor
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
CN101810003A (zh) 增强的基于相机的输入
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、系统及存储介质
CN111638797A (zh) 一种展示控制方法及装置
US11951384B2 (en) System and method for virtual character animation using motion capture
CN111640183A (zh) 一种ar数据展示控制方法及装置
Bellmore et al. Interactive display using depth and RGB sensors for face and gesture control
CN111652971A (zh) 一种显示控制方法及装置
Aditya et al. Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect
CN113190109A (zh) 头戴式显示设备的输入控制方法、装置及头戴式显示设备
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
Vokorokos et al. Motion sensors: Gesticulation efficiency across multiple platforms
Mihaľov et al. Potential of low cost motion sensors compared to programming environments
CN111639615B (zh) 一种虚拟建筑物的触发控制方法及装置
CN111638794A (zh) 一种虚拟文物的显示控制方法及装置
CN115061577B (zh) 手部投影交互方法、系统及存储介质
Ahmed et al. Interaction techniques in mobile Augmented Reality: State-of-the-art
Lang et al. A multimodal smartwatch-based interaction concept for immersive environments
CN106020468A (zh) 一种手套控制的增强现实系统
CN113496168B (zh) 手语数据采集方法、设备、存储介质
CN111625102A (zh) 一种建筑物展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination