CN111625102A - 一种建筑物展示方法及装置 - Google Patents

一种建筑物展示方法及装置 Download PDF

Info

Publication number
CN111625102A
CN111625102A CN202010496418.1A CN202010496418A CN111625102A CN 111625102 A CN111625102 A CN 111625102A CN 202010496418 A CN202010496418 A CN 202010496418A CN 111625102 A CN111625102 A CN 111625102A
Authority
CN
China
Prior art keywords
target object
determining
display
augmented reality
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010496418.1A
Other languages
English (en)
Inventor
王子彬
孙红亮
李炳泽
张一�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010496418.1A priority Critical patent/CN111625102A/zh
Publication of CN111625102A publication Critical patent/CN111625102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种建筑物展示方法及装置，包括：获取目标对象的手势信息；确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。

Description

一种建筑物展示方法及装置
技术领域
本公开涉及AR技术领域，具体而言，涉及一种建筑物展示方法及装置。
背景技术
部分展馆为增加用户对于与展馆相关的建筑物的了解，会对与展馆相关的建筑物进行单独的展示。相关技术中，一般是通过展示建筑物的图像或者展示建筑物的视频的方式，然而这种展示方式较为单一，且展示的内容固定不变，展示效果较差。
发明内容
本公开实施例至少提供一种建筑物展示方法及装置。
第一方面，本公开实施例提供了一种建筑物展示方法，包括：
获取目标对象的手势信息；
确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；
根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
上述方法中，可以根据目标对象的手势信息，去为目标对象匹配虚拟建筑物，然后通过AR的形式展示对应的虚拟建筑物，丰富了建筑物的展示方式，且展示效果更加直观；目标对象可以通过改变手势信息去改变所展示的虚拟建筑物，增加了目标对象与场馆之间的交互，提升了展示效果。
一种可能的实施方式中，所述获取目标对象的手势信息，包括：
获取包括目标对象手部的多张连续图像；
基于所述多张连续图像，确定所述目标用户手部的关键点的位置信息；
基于所述目标用户手部的关键点的位置信息，确定各个关键点之间的相互位置关系，并基于所述相互位置关系，确定所述目标对象的手势信息。
一种可能的实施方式中，所述获取目标对象的手势信息，包括：
获取包括目标对象手部的多张连续图像；
将所述多张连续图像输入至训练的神经网络中，得到所述目标对象手部的手势信息，其中，所述神经网络是基于携带有手势标签的样本图像训练得到的。
一种可能的实施方式中，所述确定与所述目标对象的手势信息相匹配的虚拟建筑物，包括：
基于预先设置的手势信息与虚拟建筑物的对应关系，确定与所述目标对象的手势信息相匹配的虚拟建筑物，其中，不同虚拟建筑物所对应的建筑物的类型不同。
一种可能的实施方式中，所述确定所述虚拟建筑物在增强现实AR场景图像中的展示位置，包括：
确定所述目标对象的手部在包含所述目标对象的手部的图像中的位置信息；
基于所述目标对象的手部在所述图像中的位置信息，以及预先设置的所述虚拟建筑物和所述目标对象的手部的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
一种可能的实施方式中，所述确定所述虚拟建筑物在增强现实AR场景图像中的展示位置，包括：
获取所述增强现实AR展示设备的位姿数据；
基于所述增强现实AR展示设备的位姿数据，以及预先设置的所述虚拟建筑物和所述增强现实AR展示设备之间的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
第二方面，本公开实施例还提供一种建筑物展示装置，包括：
获取模块，用于获取目标对象的手势信息；
确定模块，用于确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；
控制模块，用于根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
一种可能的实施方式中，所述获取模块，在获取目标对象的手势信息时，用于：
获取包括目标对象手部的多张连续图像；
基于所述多张连续图像，确定所述目标用户手部的关键点的位置信息；
基于所述目标用户手部的关键点的位置信息，确定各个关键点之间的相互位置关系，并基于所述相互位置关系，确定所述目标对象的手势信息。
一种可能的实施方式中，所述获取模块，在获取目标对象的手势信息时，用于：
获取包括目标对象手部的多张连续图像；
将所述多张连续图像输入至训练的神经网络中，得到所述目标对象手部的手势信息，其中，所述神经网络是基于携带有手势标签的样本图像训练得到的。
一种可能的实施方式中，所述确定模块，在确定与所述目标对象的手势信息相匹配的虚拟建筑物时，用于：
基于预先设置的手势信息与虚拟建筑物的对应关系，确定与所述目标对象的手势信息相匹配的虚拟建筑物，其中，不同虚拟建筑物所对应的建筑物的类型不同。
一种可能的实施方式中，所述确定模块，在确定所述虚拟建筑物在增强现实AR场景图像中的展示位置时，用于：
确定所述目标对象的手部在包含所述目标对象的手部的图像中的位置信息；
基于所述目标对象的手部在所述图像中的位置信息，以及预先设置的所述虚拟建筑物和所述目标对象的手部的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
一种可能的实施方式中，所述确定模块，在确定所述虚拟建筑物在增强现实AR场景图像中的展示位置时，用于：
获取所述增强现实AR展示设备的位姿数据；
基于所述增强现实AR展示设备的位姿数据，以及预先设置的所述虚拟建筑物和所述增强现实AR展示设备之间的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种建筑物展示方法的流程图；
图2示出了本公开实施例所提供的手部关键点位置分布示意图；
图3示出了本公开实施例所提供的一种神经网络的训练过程的流程图；
图4示出了本公开实施例所提供的一种建筑物展示装置的架构示意图；
图5示出了本公开实施例所提供的计算机设备500的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在展示与展馆相关的建筑物时，一般是通过展示建筑物的图像或者展示建筑物的视频的方式，这种展示方式仅能使用户从平面上去了解建筑物，而建筑物实际上是三维立体的，因此，这种展示方式并不能使得用户很好的了解该建筑物，展示效果较差。
基于此，本公开实施例提供了一种建筑物展示方法及装置，可以根据目标对象的手势信息，去为目标对象匹配虚拟建筑物，然后通过AR的形式展示对应的虚拟建筑物，丰富了建筑物的展示方式，且展示效果更加直观；目标对象可以通过改变手势信息去改变所展示的虚拟建筑物，增加了目标对象与场馆之间的交互，提升了展示效果。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种建筑物展示方法进行详细介绍，本公开实施例所提供的一种建筑物展示方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、个人数字处理(PersonalDigital Assistant，PDA)等。
参见图1所示，为本公开实施例提供的一种建筑物展示方法的流程图，所述方法包括步骤101～步骤103，其中：
步骤101、获取目标对象的手势信息。
其中，本方案的执行主体可以为配置有显示装置和图像采集装置的电子设备，例如可以为手机，通过手机的摄像头采集包括目标用户的手部的图像，然后基于图像确定目标对象的手势信息；在另外一种可能的实施方式中，还可以通过场馆中设置的摄像头采集包括目标对象的手部的图像，然后通过场馆中设置的处理设备，进行处理，以获取目标对象的手势信息。
在一种可能的实施方式中，在获取目标对象的手势信息时，可以先获取包括目标对象手部的多张连续图像；然后基于多张连续图像，确定目标用户手部的关键点的位置信息，再基于所述目标用户手部的关键点的位置信息，确定各个关键点之间的相互位置关系，并基于所述相互位置关系，确定所述目标对象的手势信息。
其中，需要检测的所述目标用户的手部的关键点可以是预先设置的，例如可以包括各个指尖、关节点、手腕部分等，示例性的，各个关键点的位置可以如图2所示。
其中，基于各个关键点之间的相互位置关系，确定目标对象的手势信息时，判断各个关键点之间的相互位置关系是否满足预先设置的各个手势信息对应的相互位置关系。示例性的，若目标用户的手部的各个关键点均可以检测到，且各个关键点之间的相互位置关系满足预先设置的手势信息“张手”对应的相互位置关系，则可以确定目标对象的手势信息为“张手”；若目标用户手指的关键点无法检测到，仅能检测到目标用户手背关节的关键点和目标用户手腕处的关键点的位置关系，则可以根据目标用户手背与除大拇指之前的其他手指连接处的关键点的位置信息和手背与大拇指的连接处的关键点的位置信息之间的相互位置关系，若满足预先设置的手势信息“攥拳”对应的相互位置关系时，则可以确定目标对象的手势信息为“攥拳”。
在另外一种可能的实施方式中，所述获取目标对象的手势信息，还可以先获取包括目标对象手部的多张连续图像，然后将多张连续图像输入至训练的神经网络中，得到目标对象手部的手势信息，其中，所述神经网络是基于携带有手势标签的样本图像训练得到的。
具体的，神经网络的训练过程可以参照图3所示的方法，包括以下几个步骤：
步骤301、获取样本图像，所述样本图像携带有手势标签。
具体实施中，所述获取样本图像，可以是获取多张连续的包括手部的样本图像，所述样本图像的手势标签用于表示该样本图像中的手部所做出的手势。
步骤302、将样本图像输入至神经网络中，得到预测手势信息。
步骤303、基于预测手势信息和手势标签，计算本次训练过程中的损失值。
步骤304、判断本次训练过程中的损失值是否小于预设损失值。
若判断结果为是，则顺序执行步骤305；
若判断结果为否，则调整本次训练过程中神经网络的网络参数，返回执行步骤302。
步骤305、将本次训练过程中的神经网络确定为训练好的神经网络。
具体实施中，所获取的目标对象的手势信息，可以是目标对象静态的手势信息，例如攥拳、张手等，也可以是获取目标对象动态的手势信息，例如挥手、先攥拳再张手等。
步骤102、确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
在确定与目标对象的手势信息相匹配的虚拟建筑物时，可以基于预先设置的手势信息与虚拟建筑物的对应关系，确定与目标对象的手势信息相匹配的虚拟建筑物，其中，不同虚拟建筑物所对应的建筑物的类型不同。
具体实施中，可以预先在数据库中存储多个手势信息，以及每个手势信息所对应的虚拟建筑物，每个手势信息可以对应一个虚拟建筑物，同一个虚拟建筑物所对应的手势信息可以有多个，例如手势信息“张手”和手势信息“挥手”对应的虚拟建筑物可以均为虚拟建筑物A。
在另外一种可能的实施方式中，在获取到包括目标对象的手部的图像之后，还可以先对图像中目标对象的手部进行打分，其分值用于描述所述目标对象的手部的与模板手部之间的匹配程度，分值越高，其对应的手部与模板手部之间的匹配程度越高。
在确定与目标对象的手势信息相匹配的虚拟建筑物时，可以根据目标对象的手势信息、以及目标对象的手部的分值，确定与目标对象的手势信息相匹配的虚拟建筑物。
其中，在根据目标对象的手势信息、以及目标对象的手部的分值，确定与目标对象的手势信息相匹配的虚拟建筑物时，可以先根据预先设置的手势信息与虚拟建筑物的对应关系，确定至少一个待筛选的虚拟建筑物；然后根据每一个待筛选的虚拟建筑物对应的展示分值，将目标对象的手部的分值最接近的展示分值对应的待筛选的虚拟建筑物作为与目标对象的手势信息相匹配的虚拟建筑物。
示例性的，若目标对象A和目标对象B的手部的手势信息均为“挥手”，目标对象A的手部的分值为80，目标对象B的手部的分值为99，则为目标对象A展示虚拟建筑物1，为目标对象B展示虚拟建筑物2。
在基于包括目标对象的手部的图像，确定目标对象的手部的分值时，可以将包括目标对象的手部的图像、以及包括模板手部的图像输入至预先训练的分值确定神经网络，得到目标用户的手部的分值，其中，所述分值确定神经网络是基于携带有分值标签的样本图像训练得到的，其训练过程与图3所示的神经网络的训练过程类似，在此将不再赘述。
在另外一种可能的实施方式中，在确定待展示的虚拟建筑物时，可以仅仅通过目标对象的手部的分值。
具体的，可以预先设置多个模板手部，然后确定目标对象的手部与每一个模板手部之间的匹配度，将匹配度最高的模板手部对应的虚拟建筑物作为待展示的虚拟建筑物。
示例性的，模板手部可以包括成年男人的手部、成年女人的手部、孩童的手部、老人的手部等，若目标对象的手部与成年男人的手部之间的匹配度最高，则可以将足球场作为待展示的虚拟建筑物；若目标对象的手部与孩童的手部之间的匹配度最高，则可以将游乐场作为待展示的虚拟建筑物。
这里，所述待展示的虚拟建筑物即为确定展示位置后，通过步骤103展示在增强现实AR展示设备上的虚拟建筑物。
在确定虚拟建筑物在AR场景图像中的展示位置时，可以通过以下方法中的任意一种：
方法一、
先确定目标对象的手部在包含目标对象的手部的图像中的位置信息；然后基于目标对象的手部在图像中的位置信息、以及预先设置的虚拟建筑物和目标对象的手部的相对位置关系，确定虚拟建筑物在AR场景图像中的展示位置。
具体实施中，在构建AR场景图像时，需要确定各个虚拟建筑物在现实场景中的展示位置，可以预先设置每个虚拟建筑物与目标对象的手部之间的相对位置关系，例如可以设置虚拟建筑物A展示在目标对象的手部的正上方，设置虚拟建筑物B展示在目标对象的手部的正下方等，在确定目标对象的手部在图像中的位置信息之后，可以将该位置信息转换为世界坐标系下的位置信息，然后根据目标对象的手部在世界坐标系下的位置信息，以及上述相对位置关系，确定虚拟建筑物在AR场景图像中的展示位置。
方法二、
获取增强现实AR展示设备的位姿数据，然后基于AR展示设备的位姿数据，以及预先设置的所述虚拟建筑物和所述AR展示设备之间的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
其中，AR展示设备的位姿数据，可以包括AR展示设备在世界坐标系下的坐标以及朝向。实际应用中，不同虚拟建筑物需要不同的展示位置，例如，有些虚拟建筑物可能体积较大，则需要展示在距离AR展示设备较远的展示位置处，有些虚拟建筑物可能体积较小，则需要展示在距离AR展示设备较近的展示位置处，因此，在确定AR展示设备的位置数据之后，可以再确定与目标对象的手势信息相匹配的虚拟建筑物对应的预先设置的相对位置关系，然后再根据AR展示设备的位置数据和确定的相对位置关系，确定虚拟建筑物在AR场景图像中的展示位置。
步骤103、根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
其中，在根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据时，可以是在所述展示位置上展示所述虚拟建筑物对应的AR展示数据，然后将展示结果作为增强现实AR展示数据。
在通过增强现实AR展示设备，展示AR展示数据时，若执行本公开实施例所提供的方法的电子设备为本身配置有AR展示设备的，则可以直接通过执行本公开实施例所提供的方法的电子设备配置的展示设备进行展示，若执行本公开实施例所提供的方法的电子设备为本身配置有AR展示设备并未配置有展示设备，则可以通过与该电子设备连接的展示设备进行展示。
本公开实施例提供的一种建筑物展示方法，可以根据目标对象的手势信息，去为目标对象匹配虚拟建筑物，然后通过AR的形式展示对应的虚拟建筑物，丰富了建筑物的展示方式，且展示效果更加直观；目标对象可以通过改变手势信息去改变所展示的虚拟建筑物，增加了目标对象与场馆之间的交互，提升了展示效果。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与建筑物展示方法对应的建筑物展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述建筑物展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种建筑物展示装置的架构示意图，所述装置包括：获取模块401、确定模块402、控制模块403；其中，
获取模块401，用于获取目标对象的手势信息；
确定模块402，用于确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；
控制模块403，用于根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
一种可能的实施方式中，所述获取模块401，在获取目标对象的手势信息时，用于：
获取包括目标对象手部的多张连续图像；
基于所述多张连续图像，确定所述目标用户手部的关键点的位置信息；
基于所述目标用户手部的关键点的位置信息，确定各个关键点之间的相互位置关系，并基于所述相互位置关系，确定所述目标对象的手势信息。
一种可能的实施方式中，所述获取模块401，在获取目标对象的手势信息时，用于：
获取包括目标对象手部的多张连续图像；
将所述多张连续图像输入至训练的神经网络中，得到所述目标对象手部的手势信息，其中，所述神经网络是基于携带有手势标签的样本图像训练得到的。
一种可能的实施方式中，所述确定模块402，在确定与所述目标对象的手势信息相匹配的虚拟建筑物时，用于：
基于预先设置的手势信息与虚拟建筑物的对应关系，确定与所述目标对象的手势信息相匹配的虚拟建筑物，其中，不同虚拟建筑物所对应的建筑物的类型不同。
一种可能的实施方式中，所述确定模块402，在确定所述虚拟建筑物在增强现实AR场景图像中的展示位置时，用于：
确定所述目标对象的手部在包含所述目标对象的手部的图像中的位置信息；
基于所述目标对象的手部在所述图像中的位置信息，以及预先设置的所述虚拟建筑物和所述目标对象的手部的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
一种可能的实施方式中，所述确定模块402，在确定所述虚拟建筑物在增强现实AR场景图像中的展示位置时，用于：
获取所述增强现实AR展示设备的位姿数据；
基于所述增强现实AR展示设备的位姿数据，以及预先设置的所述虚拟建筑物和所述增强现实AR展示设备之间的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
通过上述装置，可以根据目标对象的手势信息，去为目标对象匹配虚拟建筑物，然后通过AR的形式展示对应的虚拟建筑物，丰富了建筑物的展示方式，且展示效果更加直观；目标对象可以通过改变手势信息去改变所展示的虚拟建筑物，增加了目标对象与场馆之间的交互，提升了展示效果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图5所示，为本公开实施例提供的计算机设备500的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当计算机设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501在执行以下指令：
获取目标对象的手势信息；
确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；
根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的建筑物展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的建筑物展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的建筑物展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种建筑物展示方法，其特征在于，包括：
获取目标对象的手势信息；
确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；
根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
2.根据权利要求1所述的方法，其特征在于，所述获取目标对象的手势信息，包括：
获取包括目标对象手部的多张连续图像；
基于所述多张连续图像，确定所述目标用户手部的关键点的位置信息；
基于所述目标用户手部的关键点的位置信息，确定各个关键点之间的相互位置关系，并基于所述相互位置关系，确定所述目标对象的手势信息。
3.根据权利要求1所述的方法，其特征在于，所述获取目标对象的手势信息，包括：
获取包括目标对象手部的多张连续图像；
将所述多张连续图像输入至训练的神经网络中，得到所述目标对象手部的手势信息，其中，所述神经网络是基于携带有手势标签的样本图像训练得到的。
4.根据权利要求1所述的方法，其特征在于，所述确定与所述目标对象的手势信息相匹配的虚拟建筑物，包括：
基于预先设置的手势信息与虚拟建筑物的对应关系，确定与所述目标对象的手势信息相匹配的虚拟建筑物，其中，不同虚拟建筑物所对应的建筑物的类型不同。
5.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟建筑物在增强现实AR场景图像中的展示位置，包括：
确定所述目标对象的手部在包含所述目标对象的手部的图像中的位置信息；
基于所述目标对象的手部在所述图像中的位置信息，以及预先设置的所述虚拟建筑物和所述目标对象的手部的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
6.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟建筑物在增强现实AR场景图像中的展示位置，包括：
获取所述增强现实AR展示设备的位姿数据；
基于所述增强现实AR展示设备的位姿数据，以及预先设置的所述虚拟建筑物和所述增强现实AR展示设备之间的相对位置关系，确定所述虚拟建筑物在增强现实AR场景图像中的展示位置。
7.一种建筑物展示装置，其特征在于，包括：
获取模块，用于获取目标对象的手势信息；
确定模块，用于确定与所述目标对象的手势信息相匹配的虚拟建筑物，以及确定所述虚拟建筑物在增强现实AR场景图像中的展示位置；
控制模块，用于根据所述虚拟建筑物在AR场景图像中的展示位置，生成将所述虚拟建筑物融入现实场景的增强现实AR展示数据，并通过增强现实AR展示设备，展示所述增强现实AR展示数据。
8.根据权利要求7所述的方法，其特征在于，所述获取模块，在获取目标对象的手势信息时，用于：
获取包括目标对象手部的多张连续图像；
基于所述多张连续图像，确定所述目标用户手部的关键点的位置信息；
基于所述目标用户手部的关键点的位置信息，确定各个关键点之间的相互位置关系，并基于所述相互位置关系，确定所述目标对象的手势信息。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的建筑物展示方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任意一项所述的建筑物展示方法的步骤。
CN202010496418.1A 2020-06-03 2020-06-03 一种建筑物展示方法及装置 Pending CN111625102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010496418.1A CN111625102A (zh) 2020-06-03 2020-06-03 一种建筑物展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010496418.1A CN111625102A (zh) 2020-06-03 2020-06-03 一种建筑物展示方法及装置

Publications (1)

Publication Number Publication Date
CN111625102A true CN111625102A (zh) 2020-09-04

Family

ID=72270078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010496418.1A Pending CN111625102A (zh) 2020-06-03 2020-06-03 一种建筑物展示方法及装置

Country Status (1)

Country Link
CN (1) CN111625102A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611773A (zh) * 2023-11-30 2024-02-27 天津大学 一种大尺度建筑增强现实展示方法、系统、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010046123A1 (en) * 2008-10-23 2010-04-29 Lokesh Bitra Virtual tagging method and system
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
CN106096540A (zh) * 2016-06-08 2016-11-09 联想(北京)有限公司 一种信息处理方法和电子设备
CN107132912A (zh) * 2017-03-24 2017-09-05 广西七三科技有限公司 一种gis与bim增强现实在建筑规划的互动演示方法及系统
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
CN108762505A (zh) * 2018-05-29 2018-11-06 腾讯科技（深圳）有限公司 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
CN111045511A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 基于手势的操控方法及终端设备
CN111062312A (zh) * 2019-12-13 2020-04-24 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010046123A1 (en) * 2008-10-23 2010-04-29 Lokesh Bitra Virtual tagging method and system
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
CN106096540A (zh) * 2016-06-08 2016-11-09 联想(北京)有限公司 一种信息处理方法和电子设备
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
CN107132912A (zh) * 2017-03-24 2017-09-05 广西七三科技有限公司 一种gis与bim增强现实在建筑规划的互动演示方法及系统
CN108762505A (zh) * 2018-05-29 2018-11-06 腾讯科技（深圳）有限公司 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN111045511A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 基于手势的操控方法及终端设备
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
CN111062312A (zh) * 2019-12-13 2020-04-24 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611773A (zh) * 2023-11-30 2024-02-27 天津大学 一种大尺度建筑增强现实展示方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN114303120B (zh) 虚拟键盘
Hettiarachchi et al. Annexing reality: Enabling opportunistic use of everyday objects as tangible proxies in augmented reality
CN111680562A (zh) 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN111638797A (zh) 一种展示控制方法及装置
CN111652971A (zh) 一种显示控制方法及装置
CN115857704A (zh) 一种基于元宇宙的展览系统、交互方法以及电子设备
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备
Aditya et al. Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN113359986A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
CN111639615A (zh) 一种虚拟建筑物的触发控制方法及装置
CN111625102A (zh) 一种建筑物展示方法及装置
CN111638794A (zh) 一种虚拟文物的显示控制方法及装置
CN111640183A (zh) 一种ar数据展示控制方法及装置
CN111580679A (zh) 一种太空舱展示方法、装置、电子设备及存储介质
CN110741327B (zh) 基于增强现实及数字图像处理的泥胶玩具系统及其方法
CN111640185A (zh) 一种虚拟建筑物的展示方法及装置
CN111638795A (zh) 一种控制虚拟对象展示状态的方法及装置
CN111627118A (zh) 景物画像的展示方法、展示装置、电子设备及存储介质
CN111626254A (zh) 一种展示动画触发方法及装置
Bai Mobile augmented reality: Free-hand gesture-based interaction
CN112915535B (zh) 一种游戏数据处理方法以及相关设备
Piechaczek et al. Popular strategies and methods for using augmented reality
Pola Handshape Recognition in an Educational Game for Finger Alphabet Practicing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination