CN111639615B - 一种虚拟建筑物的触发控制方法及装置 - Google Patents
一种虚拟建筑物的触发控制方法及装置 Download PDFInfo
- Publication number
- CN111639615B CN111639615B CN202010507030.7A CN202010507030A CN111639615B CN 111639615 B CN111639615 B CN 111639615B CN 202010507030 A CN202010507030 A CN 202010507030A CN 111639615 B CN111639615 B CN 111639615B
- Authority
- CN
- China
- Prior art keywords
- target
- virtual building
- limb
- target user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 122
- 230000003190 augmentative effect Effects 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 210000003414 extremity Anatomy 0.000 description 120
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004577 thatch Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种虚拟建筑物的触发控制方法及装置，包括：获取目标用户的肢体动作信息；确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；控制增强现实AR显示装置显示所述增强现实AR显示数据。
Description
技术领域
本公开涉及AR技术领域，具体而言，涉及一种虚拟建筑物的触发控制方法及装置。
背景技术
相关技术中，部分场馆在展示建筑物时，会通过展示虚拟建筑物对应的增强现实AR数据，然而这种方法中，在展示虚拟建筑物对应的增强现实AR数据时，需要提前建立场馆对应的三维模型，并在三维模型的预设位置展示该虚拟建筑物，当需要展示的虚拟建筑物较多时，由于三维模型的尺寸有限，可能无法对所有的虚拟建筑物进行展示，展示效果较差。
发明内容
本公开实施例至少提供一种虚拟建筑物的触发控制方法及装置。
第一方面，本公开实施例提供了一种虚拟建筑物的触发控制方法，包括：
获取目标用户的肢体动作信息；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；
基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；
基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；
控制增强现实AR显示装置显示所述增强现实AR显示数据。
通过上述方法，可以根据目标用户的目标部位的位置信息，来确定目标虚拟建筑物的展示位置，不同的肢体动作信息展示不同的目标虚拟建筑物，用户可以通过改变肢体动作来实现对于展示的目标虚拟建筑区的改变，通过改变目标部位信息的位置，改变目标虚拟建筑物的展示位置，增加了用户与目标虚拟建筑物之间的交互，使用户在观看目标虚拟建筑物时，沉浸感更强，提升了展示效果，且每次展示虚拟建筑物时，仅展示与当前的肢体动作信息的匹配的虚拟建筑物，合理的利用了展示空间。
一种可能的实施方式中，根据以下步骤确定与所述目标虚拟建筑物具有相对位置关系的所述目标部位：
根据所述肢体动作信息，确定发生肢体姿态变化的至少一个身体部位；
根据预先设置的与所述目标虚拟建筑物匹配的多个身体部位信息，从发生肢体姿态变化的所述至少一个身体部位中选择所述目标部位。
一种可能的实施方式中，所述基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置，包括：
确定所述目标用户的目标部位在世界坐标系下的第一位置坐标；
基于预先设置的所述目标部位与目标虚拟建筑物的相对位置关系和所述目标部位的第一位置坐标，确定所述目标虚拟建筑物在世界坐标系下的第二位置坐标；
基于所述目标虚拟建筑物在世界坐标系下的第二位置坐标，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置。
一种可能的实施方式中，所述获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
针对所述视频中的每一个视频帧，检测该视频帧中所述目标用户的多个身体位置点的位置信息；
针对每一个身体位置点，基于该身体位置点在不同视频帧中的位置信息，确定所述目标用户的肢体动作信息。
一种可能的实施方式中，获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
提取所述视频中所述目标用户的肢体动作特征；
计算所述目标用户的肢体动作特征与预先存储的多个肢体动作信息对应的多个肢体动作特征之间的相关度；
将相关度最高的肢体动作信息确定为所述目标用户的肢体动作信息。
一种可能的实施方式中，所述目标用户的肢体动作信息包括所述目标用户的肢体轮廓；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物，包括
计算所述目标用户的肢体轮廓与每个虚拟建筑物的轮廓之间的匹配度；
将所述匹配度最高的虚拟建筑物作为所述目标虚拟建筑物。
第二方面，本公开实施例还提供一种虚拟建筑物的触发控制装置，包括：
获取模块，用于获取目标用户的肢体动作信息；
第一确定模块，用于确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；
第二确定模块，用于基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；
生成模块，用于基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；
控制模块，用于控制增强现实AR显示装置显示所述增强现实AR显示数据。
一种可能的实施方式中，所述第二确定模块，还用于根据以下步骤确定与所述目标虚拟建筑物具有相对位置关系的所述目标部位：
根据所述肢体动作信息，确定发生肢体姿态变化的至少一个身体部位；
根据预先设置的与所述目标虚拟建筑物匹配的多个身体部位信息，从发生肢体姿态变化的所述至少一个身体部位中选择所述目标部位。
一种可能的实施方式中，所述基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置，包括：
确定所述目标用户的目标部位在世界坐标系下的第一位置坐标；
基于预先设置的所述目标部位与目标虚拟建筑物的相对位置关系和所述目标部位的第一位置坐标，确定所述目标虚拟建筑物在世界坐标系下的第二位置坐标；
基于所述目标虚拟建筑物在世界坐标系下的第二位置坐标，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置。
一种可能的实施方式中，所述获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
针对所述视频中的每一个视频帧，检测该视频帧中所述目标用户的多个身体位置点的位置信息；
针对每一个身体位置点，基于该身体位置点在不同视频帧中的位置信息，确定所述目标用户的肢体动作信息。
一种可能的实施方式中，获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
提取所述视频中所述目标用户的肢体动作特征；
计算所述目标用户的肢体动作特征与预先存储的多个肢体动作信息对应的多个肢体动作特征之间的相关度；
将相关度最高的肢体动作信息确定为所述目标用户的肢体动作信息。
一种可能的实施方式中，所述目标用户的肢体动作信息包括所述目标用户的肢体轮廓；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物，包括
计算所述目标用户的肢体轮廓与每个虚拟建筑物的轮廓之间的匹配度；
将所述匹配度最高的虚拟建筑物作为所述目标虚拟建筑物。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种虚拟建筑物的触发控制方法的流程图；
图2示出了本公开实施例所提供的一种神经网络的训练方法的流程图；
图3示出了本公开实施例所提供的一种目标虚拟建筑物的展示效果图；
图4示出了本公开实施例所提供的一种虚拟建筑物的触发控制装置的架构示意图；
图5示出了本公开实施例所提供的计算机设备500的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在展示虚拟建筑物时，一般是在预先建立的三维模型中，静态的展示虚拟建筑物，这种展示方式的展示内容和展示性质都比较单一，且三维模型的尺寸是有限的，当需要展示的虚拟建筑物较多时，可能无法对所有的虚拟建筑物进行展示，展示效果较差。
基于上述研究，本公开提供了一种虚拟建筑物的触发控制方法及装置，可以根据目标用户的目标部位的位置信息，来确定目标虚拟建筑物的展示位置，不同的肢体动作信息展示不同的目标虚拟建筑物，用户可以通过改变肢体动作来实现对于展示的目标虚拟建筑区的改变，通过改变目标部位信息的位置，改变目标虚拟建筑物的展示位置，增加了用户与目标虚拟建筑物之间的交互，使用户在观看目标虚拟建筑物时，沉浸感更强，提升了展示效果，且每次展示虚拟建筑物时，仅展示与当前的肢体动作信息的匹配的虚拟建筑物，合理的利用了展示空间。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种虚拟建筑物的触发控制方法进行详细介绍，本公开实施例所提供的虚拟建筑物的触发控制方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、个人数字处理(Personal Digital Assistant，PDA)等。在一些可能的实现方式中，该虚拟建筑物的触发控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种虚拟建筑物的触发控制方法的流程图，所述方法包括步骤101～步骤105，其中：
步骤101、获取目标用户的肢体动作信息。
所述目标用户的肢体动作信息，可以是目标用户做出的动作的相关描述信息，例如可以包括动作的类型、动作的幅度等。
在获取目标用户的肢体动作信息时，可以是检测到目标用户进入目标位置区域后，控制图像采集装置采集包括目标用户的视频，针对视频中的每一个视频帧，检测该视频帧中所述目标用户的多个身体位置点的位置信息；针对每一个身体位置点，再基于该身体位置点在不同视频帧中的位置信息，确定所述目标用户的肢体动作信息。
具体的，所述身体位置点可以为目标用户身体的骨骼点，所述骨骼点例如可以包括手指、手掌、手肘、膝盖、脚、脚踝等。
所述身体位置点在视频帧中的位置信息，可以是该身体位置点在视频帧中的位置坐标。在基于身体位置点在不同视频帧中的位置信息，确定目标用户的肢体动作信息时，可以基于每一个身体位置点在不同视频帧中的位置信息，确定该身体位置点的位置变化信息，然后基于每一个身体位置点对应的位置变化信息，确定目标用户的肢体动作信息。
其中，不同的身体位置点的位置变化信息，对应的肢体动作信息不同，例如肢体动作“踢腿”和肢体动作“挥手”对应的身体位置点的位置变化信息不同，在基于每一个身体位置点对应的位置变化信息，确定目标用户的肢体动作信息时，可以预先存储每一个肢体动作信息对应的位置变化信息，然后将目标用户的肢体动作信息和预先存储的每一个肢体动作信息对应的位置变化信息进行匹配，将匹配成功的作为目标用户的肢体动作信息。
在另外一种可能的实施方式中，在获取目标用户的肢体动作信息时，还可以先获取包含目标用户的视频，然后提取视频中目标用户的肢体动作特征，再计算目标用户的肢体动作特征与预先存储的多个肢体动作信息对应的多个肢体动作特征之间的相关度，并将相关度最高的肢体动作信息确定为目标用户的肢体动作信息。
其中，在提取视频中目标用户的肢体动作特征时，可以基于预先训练好的神经网络模型，进行提取。
所述基于预先训练好的神经网络，提取视频中的用户动作特征，可以是将包括目标用户的视频输入至预先训练好的神经网络中，神经网络对输入的视频进行处理，输出目标用户的用户动作特征。
所述神经网络在训练时，可以通过如图2所示的训练方法，包括以下几个步骤：
步骤201、获取样本视频，所述样本视频携带有肢体动作信息标签，所述肢体动作标签用于表示所述样本视频中的用户所做出的动作的相关信息。
步骤202、将样本视频输入至待训练的神经网络模型中，得到所述样本视频中的预测用户动作特征。
步骤203、计算所述预测用户动作特征与预先存储的多个肢体动作信息对应的多个肢体动作特征之间的相关度，并将相关度最高的肢体动作信息确定为预测肢体动作信息。
步骤204、基于预测肢体动作信息和肢体动作信息标签，确定本次训练过程中的损失值。
步骤205、判断本次训练过程中的损失值是否小于预设损失值。
若判断结果为是，则顺序执行步骤206；
若判断结果为否，则调整本次训练过程中的神经网络的网络参数，并返回执行步骤202。
步骤206、将本次训练过程中使用的神经网络确定为训练好的神经网络。
在另外一种可能的实施方式中，还可以直接使用肢体动作检测模型确定目标用户的肢体动作信息，具体的，可以将包含目标用户的视频输入至肢体动作检测模型中，输出的目标用户的肢体动作信息，所述肢体动作检测模型的训练过程与上述神经网络模型的训练过程类似，在此将不再赘述。
步骤102、确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物。
具体的，在确定与目标用户的肢体动作信息相匹配的目标虚拟建筑物时，可以根据预先设置的肢体动作信息与虚拟建筑物的映射关系表中，查找与目标用户的肢体动作信息相匹配的目标虚拟建筑物。
在另外一种可能的实施方式中，目标用户的肢体动作信息还可以包括目标用户的动作轨迹，在确定与目标用户的肢体动作信息相匹配的目标虚拟建筑物时，可以将目标用户的动作轨迹和各个虚拟建筑物的轮廓进行匹配，然后将匹配度最高的虚拟建筑物作为与目标用户的肢体动作信息相匹配的目标虚拟建筑物。
示例性的，若基于目标用户的肢体动作信息检测到目标用户在空中画了一个圆，则可以将与圆形最接近的虚拟建筑物确定为目标虚拟建筑物。
在另外一种可能的实施方式中，目标用户的肢体动作信息可以包括目标用户的肢体轮廓，这里所述的肢体轮廓为静态的肢体的外轮廓，在确定与目标用户的肢体动作信息相匹配的目标虚拟建筑物时，可以先计算目标用户的肢体轮廓与每个虚拟建筑物的轮廓之间的匹配度，然后将匹配度最高的虚拟建筑物作为目标虚拟建筑物。
在另外一种可能的实施方式中，在确定与目标用户的肢体动作信息相匹配的目标虚拟建筑物时，还可以获取目标用户的外貌特征，例如可以包括身高、肤色、性别、头发长短等，然后再确定与目标用户的肢体动作信息和目标用户的外貌特征相匹配的目标虚拟建筑物。
其中，在获取目标用户的外貌特征时，可以对包括目标用户的视频帧进行图像识别，基于识别结果，确定目标用户的外貌特征。在确定目标用户的肢体动作信息和目标用户的外貌特征相匹配的目标虚拟建筑物时，可以从预先设置的肢体动作信息和外貌特征与虚拟建筑物之间的对应关系库中，查找与目标用户的肢体动作信息和目标用户的外貌特征相匹配的目标虚拟建筑物。
步骤103、基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置。
所述目标用户的目标部位为与目标虚拟建筑物具有相对位置关系的部位，在确定目标用户的目标部位时，可以根据目标用户的肢体动作信息，确定发生肢体姿态辩护的至少一个身体部位，然后根据预先设置的与目标虚拟建筑物匹配的多个身体部位信息，从发生肢体姿态变化的至少一个身体部位中选择目标部位。
示例性的，若目标用户的肢体动作信息所指示的动作为“张开双臂”，发生肢体姿态变化的身体部位为左臂和右臂，若与目标用户的肢体动作信息相匹配的目标虚拟建筑物为“茅草屋”，与目标虚拟建筑物相匹配的多个身体部位信息包括右臂、右腿，则可以确定目标部位为右臂。
具体实施中，在确定目标虚拟建筑物在增强现实AR图像中的展示位置时，可以先确定目标用户的目标部位在世界坐标系下的第一位置坐标，然后基于预先设置的所述目标部位与目标虚拟建筑物的相对位置关系和所述目标部位的第一位置坐标，确定所述目标虚拟建筑物在世界坐标系下的第二位置坐标；再基于所述目标虚拟建筑物在世界坐标系下的第二位置坐标，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置。
其中，所述目标部位与目标虚拟建筑物的相对位置关系可以通过所述目标部位与目标虚拟建筑物之间的位置坐标差表示。
步骤104、基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据。
具体的，可以先获取目标虚拟建筑物对应的增强现实AR显示数据，然后基于目标虚拟建筑物的展示位置，将目标虚拟建筑物对应的增强现实AR显示数据添加至增强现实AR图像中，并将增强现实AR图像与现实世界融合，得到包括目标虚拟建筑物的增强现实AR显示数据。
步骤105、控制增强现实AR显示装置显示所述增强现实AR显示数据。
通过控制增强现实AR显示装置显示增强现实AR显示数据，用户可以通过AR显示装置观看到目标用户做出肢体动作信息之后，在目标用户的某个身体部位可以呈现目标虚拟建筑物。
示例性的，若目标用户做出的肢体动作信息为“张开手掌”，与该肢体动作信息相匹配的目标虚拟建筑物为某个古建筑，对应的目标部位为手掌，目标虚拟建筑物的展示位置为目标用户张开的手掌，则其展示效果图可以如图3所示。
本公开所提供的方法，可以根据目标用户的目标部位的位置信息，来确定目标虚拟建筑物的展示位置，不同的肢体动作信息展示不同的目标虚拟建筑物，用户可以通过改变肢体动作来实现对于展示的目标虚拟建筑区的改变，通过改变目标部位信息的位置，改变目标虚拟建筑物的展示位置，增加了用户与目标虚拟建筑物之间的交互，使用户在观看目标虚拟建筑物时，沉浸感更强，提升了展示效果，且每次展示虚拟建筑物时，仅展示与当前的肢体动作信息的匹配的虚拟建筑物，合理的利用了展示空间。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与虚拟建筑物的触发控制方法对应的虚拟建筑物的触发控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟建筑物的触发控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种虚拟建筑物的触发控制装置的架构示意图，所述装置包括：获取模块401、第一确定模块402、第二确定模块403、生成模块404、以及控制模块405；其中，
获取模块401，用于获取目标用户的肢体动作信息；
第一确定模块402，用于确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；
第二确定模块403，用于基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；
生成模块404，用于基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；
控制模块405，用于控制增强现实AR显示装置显示所述增强现实AR显示数据。
一种可能的实施方式中，所述第二确定模块403，还用于根据以下步骤确定与所述目标虚拟建筑物具有相对位置关系的所述目标部位：
根据所述肢体动作信息，确定发生肢体姿态变化的至少一个身体部位；
根据预先设置的与所述目标虚拟建筑物匹配的多个身体部位信息，从发生肢体姿态变化的所述至少一个身体部位中选择所述目标部位。
一种可能的实施方式中，所述基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置，包括：
确定所述目标用户的目标部位在世界坐标系下的第一位置坐标；
基于预先设置的所述目标部位与目标虚拟建筑物的相对位置关系和所述目标部位的第一位置坐标，确定所述目标虚拟建筑物在世界坐标系下的第二位置坐标；
基于所述目标虚拟建筑物在世界坐标系下的第二位置坐标，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置。
一种可能的实施方式中，所述获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
针对所述视频中的每一个视频帧，检测该视频帧中所述目标用户的多个身体位置点的位置信息；
针对每一个身体位置点，基于该身体位置点在不同视频帧中的位置信息，确定所述目标用户的肢体动作信息。
一种可能的实施方式中，获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
提取所述视频中所述目标用户的肢体动作特征；
计算所述目标用户的肢体动作特征与预先存储的多个肢体动作信息对应的多个肢体动作特征之间的相关度；
将相关度最高的肢体动作信息确定为所述目标用户的肢体动作信息。
一种可能的实施方式中，所述目标用户的肢体动作信息包括所述目标用户的肢体轮廓；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物，包括
计算所述目标用户的肢体轮廓与每个虚拟建筑物的轮廓之间的匹配度；
将所述匹配度最高的虚拟建筑物作为所述目标虚拟建筑物。
通过上述装置，可以根据目标用户的目标部位的位置信息，来确定目标虚拟建筑物的展示位置，不同的肢体动作信息展示不同的目标虚拟建筑物，用户可以通过改变肢体动作来实现对于展示的目标虚拟建筑区的改变，通过改变目标部位信息的位置，改变目标虚拟建筑物的展示位置，增加了用户与目标虚拟建筑物之间的交互，使用户在观看目标虚拟建筑物时，沉浸感更强，提升了展示效果，且每次展示虚拟建筑物时，仅展示与当前的肢体动作信息的匹配的虚拟建筑物，合理的利用了展示空间。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图5所示，为本公开实施例提供的计算机设备500的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当计算机设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501在执行以下指令：
获取目标用户的肢体动作信息；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；
基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；
基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；
控制增强现实AR显示装置显示所述增强现实AR显示数据。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的虚拟建筑物的触发控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的虚拟建筑物的触发控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟建筑物的触发控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种虚拟建筑物的触发控制方法，其特征在于，包括：
获取目标用户的肢体动作信息；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；
基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；
基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；
控制增强现实AR显示装置显示所述增强现实AR显示数据；
其中，根据以下步骤确定与所述目标虚拟建筑物具有相对位置关系的所述目标部位：
根据所述肢体动作信息，确定发生肢体姿态变化的至少一个身体部位；
根据预先设置的与所述目标虚拟建筑物匹配的多个身体部位信息，从发生肢体姿态变化的所述至少一个身体部位中选择所述目标部位。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置，包括：
确定所述目标用户的目标部位在世界坐标系下的第一位置坐标；
基于预先设置的所述目标部位与目标虚拟建筑物的相对位置关系和所述目标部位的第一位置坐标，确定所述目标虚拟建筑物在世界坐标系下的第二位置坐标；
基于所述目标虚拟建筑物在世界坐标系下的第二位置坐标，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置。
3.根据权利要求1所述的方法，其特征在于，所述获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
针对所述视频中的每一个视频帧，检测该视频帧中所述目标用户的多个身体位置点的位置信息；
针对每一个身体位置点，基于该身体位置点在不同视频帧中的位置信息，确定所述目标用户的肢体动作信息。
4.根据权利要求1所述的方法，其特征在于，获取目标用户的肢体动作信息，包括：
获取包含所述目标用户的视频；
提取所述视频中所述目标用户的肢体动作特征；
计算所述目标用户的肢体动作特征与预先存储的多个肢体动作信息对应的多个肢体动作特征之间的相关度；
将相关度最高的肢体动作信息确定为所述目标用户的肢体动作信息。
5.根据权利要求1所述的方法，其特征在于，所述目标用户的肢体动作信息包括所述目标用户的肢体轮廓；
确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物，包括
计算所述目标用户的肢体轮廓与每个虚拟建筑物的轮廓之间的匹配度；
将所述匹配度最高的虚拟建筑物作为所述目标虚拟建筑物。
6.一种虚拟建筑物的触发控制装置，其特征在于，包括：
获取模块，用于获取目标用户的肢体动作信息；
第一确定模块，用于确定与所述目标用户的肢体动作信息相匹配的目标虚拟建筑物；
第二确定模块，用于基于所述目标用户的目标部位的位置信息以及预先设置的所述目标部位与所述目标虚拟建筑物的相对位置关系，确定所述目标虚拟建筑物在增强现实AR图像中的展示位置；
生成模块，用于基于所述目标虚拟建筑物在所述增强现实AR图像中的展示位置，生成包括所述目标虚拟建筑物的增强现实AR显示数据；
控制模块，用于控制增强现实AR显示装置显示所述增强现实AR显示数据；
其中，所述第二确定模块，还用于根据以下步骤确定与所述目标虚拟建筑物具有相对位置关系的所述目标部位：
根据所述肢体动作信息，确定发生肢体姿态变化的至少一个身体部位；
根据预先设置的与所述目标虚拟建筑物匹配的多个身体部位信息，从发生肢体姿态变化的所述至少一个身体部位中选择所述目标部位。
7.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的虚拟建筑物的触发控制方法的步骤。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任意一项所述的虚拟建筑物的触发控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010507030.7A CN111639615B (zh) | 2020-06-05 | 2020-06-05 | 一种虚拟建筑物的触发控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010507030.7A CN111639615B (zh) | 2020-06-05 | 2020-06-05 | 一种虚拟建筑物的触发控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111639615A CN111639615A (zh) | 2020-09-08 |
| CN111639615B true CN111639615B (zh) | 2023-09-19 |
Family
ID=72329479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010507030.7A Active CN111639615B (zh) | 2020-06-05 | 2020-06-05 | 一种虚拟建筑物的触发控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639615B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308977B (zh) * | 2020-10-29 | 2024-04-16 | 字节跳动有限公司 | 视频处理方法、视频处理装置和存储介质 |
| CN114115530A (zh) * | 2021-11-08 | 2022-03-01 | 深圳市雷鸟网络传媒有限公司 | 虚拟对象控制方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140000805A (ko) * | 2012-06-25 | 2014-01-06 | 에이알비전 (주) | 증강현실을 이용한 장소정보 표출방법 |
| CN106648057A (zh) * | 2016-10-09 | 2017-05-10 | 大道网络（上海）股份有限公司 | 基于虚拟现实技术的信息展示方法及系统 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
| CN108780358A (zh) * | 2016-03-21 | 2018-11-09 | 微软技术许可有限责任公司 | 基于视场显示三维虚拟对象 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10398974B2 (en) * | 2017-10-17 | 2019-09-03 | Kuma LLC | Systems and methods for interactive electronic games having scripted components |
-
2020
- 2020-06-05 CN CN202010507030.7A patent/CN111639615B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140000805A (ko) * | 2012-06-25 | 2014-01-06 | 에이알비전 (주) | 증강현실을 이용한 장소정보 표출방법 |
| CN108780358A (zh) * | 2016-03-21 | 2018-11-09 | 微软技术许可有限责任公司 | 基于视场显示三维虚拟对象 |
| CN106648057A (zh) * | 2016-10-09 | 2017-05-10 | 大道网络（上海）股份有限公司 | 基于虚拟现实技术的信息展示方法及系统 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Yukang YAN 等.Gesture-based target acquisition in virtual and augmented reality.《Virtual Reality & Intelligent Hardware》.2019,第01卷(第03期),第276-289页. * |
| 刘奇.增强现实技术在汽车维修环境中的应用研究.《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》.2019,第2019年卷(第05期),C035-715. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111639615A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191599B (zh) | 姿态识别方法、装置、设备及存储介质 | |
| KR101519775B1 (ko) | 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치 | |
| US8639020B1 (en) | Method and system for modeling subjects from a depth map | |
| CN110390705B (zh) | 一种生成虚拟形象的方法及装置 | |
| CN110648397B (zh) | 场景地图生成方法、装置、存储介质及电子设备 | |
| Zurdo et al. | Animating wrinkles by example on non-skinned cloth | |
| CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
| CN109635752B (zh) | 人脸关键点的定位方法、人脸图像处理方法和相关装置 | |
| GB2560340A (en) | Verification method and system | |
| KR20150024899A (ko) | 깊이 카메라를 이용한 아바타 구성 | |
| WO2001033508A1 (en) | Automatic generation of animation of synthetic characters | |
| US10642346B2 (en) | Action control method and device | |
| CN110147737B (zh) | 用于生成视频的方法、装置、设备和存储介质 | |
| CN109144252B (zh) | 对象确定方法、装置、设备和存储介质 | |
| CN111639615B (zh) | 一种虚拟建筑物的触发控制方法及装置 | |
| CN115244495A (zh) | 针对虚拟环境运动的实时式样 | |
| CN114067088A (zh) | 虚拟穿戴方法、装置、设备、存储介质及程序产品 | |
| CN111638797A (zh) | 一种展示控制方法及装置 | |
| CN112150349A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN111815768B (zh) | 三维人脸重建方法和装置 | |
| US20230401740A1 (en) | Data processing method and apparatus, and device and medium | |
| CN114694263A (zh) | 动作识别方法、装置、设备及存储介质 | |
| CN111640185A (zh) | 一种虚拟建筑物的展示方法及装置 | |
| CN113673356A (zh) | 行为识别方法、存储介质及计算机设备 | |
| Yang et al. | Synthetic hands generator for RGB hand tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |