CN111653175A - 一种虚拟沙盘展示方法及装置 - Google Patents
一种虚拟沙盘展示方法及装置 Download PDFInfo
- Publication number
- CN111653175A CN111653175A CN202010517627.XA CN202010517627A CN111653175A CN 111653175 A CN111653175 A CN 111653175A CN 202010517627 A CN202010517627 A CN 202010517627A CN 111653175 A CN111653175 A CN 111653175A
- Authority
- CN
- China
- Prior art keywords
- sand table
- virtual sand
- coordinate system
- scene
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 239000004576 sand Substances 0.000 description 17
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种虚拟沙盘展示方法及装置，包括：基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；将所述投影图像和所述实景图像进行融合展示。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种虚拟沙盘展示方法及装置。
背景技术
沙盘，是指根据地形图、航空相片或实地地形，按照一定比例关系，用泥沙等材料堆制的模型，目前，一般通过沙盘的形式来帮助用户了解建筑物所在区域的环境，例如售楼处会通过沙盘来展示各个楼盘的环境信息。然而在进行沙盘展示时，一般会占用部分的场地，当需要展示的沙盘的尺寸较大时，可能会受到展示空间的限制而无法展示。
发明内容
本公开实施例至少提供一种虚拟沙盘展示方法及装置。
第一方面，本公开实施例提供了一种虚拟沙盘展示方法，包括：
基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
将所述投影图像和所述实景图像进行融合展示。
上述方法中，可以基于AR设备获取实景图像，并且根据AR设备和城市虚拟沙盘之间的相对位姿关系，对城市虚拟沙盘进行展示，通过这种方法，由于展示的城市虚拟沙盘，因此可以避免展示空间对于沙盘展示的影响，另外由于城市虚拟沙盘在展示时，是根据与AR设备之间的相对位姿关系进行展示的，因此用户在通过AR设备观看城市虚拟沙盘时，可以在不同的角度观看到不同角度下的城市虚拟沙盘，展示效果更加直观。
一种可能的实施方式中，所述第一位姿信息，包括：
部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。
一种可能的实施方式中，所述第二位姿信息包括：
构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。
一种可能的实施方式中，所述基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系，包括：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
一种可能的实施方式中，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像，包括：
获取所述AR设备中图像获取设备的投影矩阵；
基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；
基于各个面片的投影信息，生成所述投影图像。
一种可能的实施方式中，所述基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息，包括：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
第二方面，本公开实施例还提供一种虚拟沙盘展示装置，包括：
第一确定模块，用于基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
第二确定模块，用于基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
生成模块，用于基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
展示模块，用于将所述投影图像和所述实景图像进行融合展示。
一种可能的实施方式中，所述第一位姿信息，包括：
部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。
一种可能的实施方式中，所述第二位姿信息包括：
构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。
一种可能的实施方式中，所述第二确定模块，在基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系时，用于：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
一种可能的实施方式中，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；
所述生成模块，在基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像时，用于：
获取所述AR设备中图像获取设备的投影矩阵；
基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；
基于各个面片的投影信息，生成所述投影图像。
一种可能的实施方式中，所述第一确定模块，在基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，用于：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种虚拟沙盘展示方法的流程图；
图2示出了本公开实施例所提供的一种虚拟沙盘的构建方法的流程示意图；
图3示出了本公开实施例所提供的一种虚拟沙盘展示装置的架构示意图；
图4示出了本公开实施例所提供的计算机设备400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在展示沙盘时，若展示的沙盘的尺寸较大，可能会受到展示场地的影响，无法进行展示，或者展示之后，由于观看场地的限制，无法从多个角度观看到沙盘所展示的内容。
基于上述研究，本公开提供了一种虚拟沙盘展示方法及装置，可以基于AR设备获取实景图像，并且根据AR设备和城市虚拟沙盘之间的相对位姿关系，对城市虚拟沙盘进行展示，通过这种方法，由于展示的城市虚拟沙盘，因此可以避免展示空间对于沙盘展示的影响，另外由于城市虚拟沙盘在展示时，是根据与AR设备之间的相对位姿关系进行展示的，因此用户在通过AR设备观看城市虚拟沙盘时，可以在不同的角度观看到不同角度下的城市虚拟沙盘，展示效果更加直观。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种虚拟沙盘展示方法进行详细介绍，本公开实施例所提供的虚拟沙盘展示方法的执行主体一般为具有一定计算能力的计算机设备，具体可以为终端设备或服务器或其他处理设备，例如可以是与AR设备连接的服务器，AR设备比如可以包括AR眼镜、平板电脑、智能手机、只能穿戴式设备等具有明显显示功能和数据处理功能的设备，AR设备可以通过应用程序连接服务器。
下面以执行主体为终端设备为例对本公开实施例提供的一种虚拟沙盘展示方法加以说明。
参见图1所示，为本公开实施例提供的一种虚拟沙盘展示方法的流程图，所述方法包括步骤101～步骤104，其中：
步骤101、基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息。
其中，所述场景坐标系为以所述实景图像对应的场景中的某一位置点建立的世界坐标系，该坐标系为三维坐标系。
所述AR设备的第一位姿信息包括部署在AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。
在一种可能的实施方式中，在基于AR设备实时获取的实景图像，确定AR设备在实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，可以先对实景图像进行场景关键点识别，确定至少一个场景关键点在实景图像中对应的目标像素点，以及，对实景图像进行深度值预测，确定实景图像中各个像素点分别对应的深度值，然后基于目标像素点对应的深度值，确定AR设备的第一位姿信息。
其中，所述场景关键点可以是预先设置好的AR设备所在场景中的关键点，例如可以是桌角、台灯、盆栽等，所述目标像素点的深度值可以用来表示该目标像素点对应的场景关键点与AR设备的之间的距离。
场景关键点在场景坐标系中的位置坐标是预先设置好，且固定不变的，通过确定至少一个场景关键点在实景图像中对应的目标像素点，可以确定AR设备在场景坐标系中的朝向信息；基于场景关键点对应的目标像素点的深度值，可以确定AR设备在场景坐标系中的位置信息，即确定AR设备的第一位姿信息。
在另外一种可能的实施方式中，在基于AR设备实时获取的实景图像，确定AR设备在实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，可以将AR设备实时获取的实景图像与AR设备所在位置区域的三维模型进行匹配，并基于匹配结果，确定AR设备的第一位姿信息。
基于AR设备所在位置区域的三维模型，可以获取AR设备所在位置区域的各个位姿信息下的实景图像，通过将AR实时获取的实景图像与三维模型进行匹配，同样可以获取AR设备的第一位姿信息。
步骤102、基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
所述城市虚拟沙盘在场景坐标系中的第二位姿信息包括构成城市虚拟沙盘的多个面片中每个面片的面片索引、以及每个面片中多个顶点分别在场景坐标系中的第二三维坐标值。
其中，所述每个面片的面片索引为该面片对应的标识信息，例如可以是该面片对应的标号，所述标号为唯一的，基于面片的面片索引，可以在由多个面片构成的城市虚拟沙盘中查找到该面片索引对应的面片。
每个面片的形状可以相同，例如可以均为菱形或三角形，每个面片包括多个顶点，所述虚拟城市沙盘的第二位姿信息，可以包括每个面片的各个顶点在场景坐标系中的第二三维坐标值。
虚拟城市沙盘是由服务器构建好之后发送至终端设备的，具体的构建过程可以参照图2所示的虚拟沙盘的构建方法，包括以下几个步骤：
步骤201、利用全景摄像头采集预设区域范围内的城市全景数据。
步骤202、基于所述城市全景数据，以及所述预设区域范围的城市规划图，生成与所述预设区域范围对应的城市虚拟沙盘。
在基于AR设备查看所述虚拟城市沙盘时，可以预先从服务器下载虚拟城市沙盘，这里所述从服务器下载虚拟城市沙盘，为从服务器下载虚拟城市沙盘对应的展示数据。
具体实施中，在基于城市虚拟沙盘的第二位姿信息和AR设备的第一位姿信息，确定城市虚拟沙盘与AR设备之间的相对位姿关系时，可以先基于AR设备在相机坐标系中的第三位姿信息、以及AR设备的第一位姿信息，确定相机坐标系和场景坐标系之间的转换关系信息，然后基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
其中，所述AR设备在相机坐标系中的第三位姿信息可以根据部署在AR设备上的图像获取设备的位置进行确定，一般的，AR设备上的图像获取设备的位置是固定的，因此AR设备在相机坐标系中的第三位姿信息也是确定的，AR设备在相机坐标系中的第三位姿信息可以是预先确定好的。
其中，所述相机坐标系和场景坐标系之间的转换关系信息可以是转换矩阵，基于该转换关系信息，可以将城市虚拟沙盘在场景坐标系下的第二位姿信息，转换为相机坐标系下的第四位姿信息。
在另外一种可能的实施方式中，还可以对AR设备上的图像获取设备进行标定，以获取内参信息、外参信息和畸变参数，根据内参信息、外参信息和畸变参数可以之间确定场景坐标系和相机坐标系之间的转换矩阵，基于该转换矩阵可以将城市虚拟沙盘在场景坐标系下的第二位姿信息转换为相机坐标系下的第四位姿信息。
其中，城市虚拟沙盘在场景坐标系下的第四位姿信息包括构成城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值。
步骤103、基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像。
具体实施中，在基于城市虚拟沙盘与AR设备之间的相对位姿关系、以及城市虚拟沙盘，生成城市虚拟沙盘在实景图像中的投影图像时，可以先获取AR设备中图像获取设备的投影矩阵，然后基于多个面片中每个面片多个顶点分别在相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息，然后基于每个面片的投影信息，生成所述投影图像。
其中，AR设备中图像获取设备的投影矩阵，同一图像获取设备的投影矩阵是固定不变，且可以预先计算出的，因此，这里投影矩阵可以作为预设值，且固定不变。
所述基于每个面片多个顶点分别在相机坐标系中的第四三维坐标值以及投影矩阵，确定每个面片的投影信息，可以是基于投影矩阵，可以确定每个面片多个顶点的第四三维坐标值转换为在AR设备在相机坐标系的位姿信息下的二维坐标信息；所述基于各个面片的投影信息，生成投影图像，可以是基于各个面片对应的二维坐标信息，确定各个面片投影之后所形成的图像，投影之后形成的图像即为所述投影图像。
步骤104、将所述投影图像和所述实景图像进行融合展示。
其中，在将投影图像和实景图像进行融合时，投影图像和实景图像的尺寸是相同的，在一种可能的实施方式中，在将投影图像和实景图像进行融合时，可以直接将投影图像和实景图像作为两个图层进行叠加展示。
通过上述方法，可以基于AR设备获取实景图像，并且根据AR设备和城市虚拟沙盘之间的相对位姿关系，对城市虚拟沙盘进行展示，通过这种方法，由于展示的城市虚拟沙盘，因此可以避免展示空间对于沙盘展示的影响，另外由于城市虚拟沙盘在展示时，是根据与AR设备之间的相对位姿关系进行展示的，因此用户在通过AR设备观看城市虚拟沙盘时，可以在不同的角度观看到不同角度下的城市虚拟沙盘，展示效果更加直观。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与虚拟沙盘展示方法对应的虚拟沙盘展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟沙盘展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种虚拟沙盘展示装置的架构示意图，所述装置包括：第一确定模块301、第二确定模块302、生成模块303、以及展示模块304；其中，
第一确定模块301，用于基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
第二确定模块302，用于基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
生成模块303，用于基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
展示模块304，用于将所述投影图像和所述实景图像进行融合展示。
一种可能的实施方式中，所述第一位姿信息，包括：
部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。
一种可能的实施方式中，所述第二位姿信息包括：
构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。
一种可能的实施方式中，所述第二确定模块302，在基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系时，用于：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
一种可能的实施方式中，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；
所述生成模块303，在基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像时，用于：
获取所述AR设备中图像获取设备的投影矩阵；
基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；
基于各个面片的投影信息，生成所述投影图像。
一种可能的实施方式中，所述第一确定模块301，在基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，用于：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
通过上述装置，可以基于AR设备获取实景图像，并且根据AR设备和城市虚拟沙盘之间的相对位姿关系，对城市虚拟沙盘进行展示，通过这种方法，由于展示的城市虚拟沙盘，因此可以避免展示空间对于沙盘展示的影响，另外由于城市虚拟沙盘在展示时，是根据与AR设备之间的相对位姿关系进行展示的，因此用户在通过AR设备观看城市虚拟沙盘时，可以在不同的角度观看到不同角度下的城市虚拟沙盘，展示效果更加直观。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图4所示，为本公开实施例提供的计算机设备400的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当计算机设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
将所述投影图像和所述实景图像进行融合展示。
一种可能的实施方式中，处理器401执行的指令中，所述第一位姿信息，包括：
部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。
一种可能的实施方式中，处理器401执行的指令中，所述第二位姿信息包括：
构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。
一种可能的实施方式中，处理器401执行的指令中，所述基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系，包括：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
一种可能的实施方式中，处理器401执行的指令中，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像，包括：
获取所述AR设备中图像获取设备的投影矩阵；
基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；
基于各个面片的投影信息，生成所述投影图像。
一种可能的实施方式中，处理器401执行的指令中，所述基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息，包括：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的虚拟沙盘展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的虚拟沙盘展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟沙盘展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种虚拟沙盘展示方法，其特征在于，包括：
基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
将所述投影图像和所述实景图像进行融合展示。
2.根据权利要求1所述的虚拟沙盘展示方法，其特征在于，所述第一位姿信息，包括：
部署在所述AR设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息。
3.根据权利要求1或2所述的虚拟沙盘展示方法，其特征在于，所述第二位姿信息包括：
构成所述城市虚拟沙盘的多个面片中每个面片的面片索引、以及所述每个面片中多个顶点分别在所述场景坐标系中的第二三维坐标值。
4.根据权利要求1-3中任一项所述的虚拟沙盘展示方法，其特征在于，所述基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系，包括：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
5.根据权利要求4所述的虚拟沙盘展示方法，其特征在于，所述第四位姿信息，包括：构成所述城市虚拟沙盘的多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘的在所述实景图像中的投影图像，包括：
获取所述AR设备中图像获取设备的投影矩阵；
基于所述多个面片中每个面片多个顶点分别在所述相机坐标系中的第四三维坐标值以及所述投影矩阵，确定每个面片的投影信息；
基于各个面片的投影信息，生成所述投影图像。
6.根据权利要求1-5任一项所述的展示方法，其特征在于，所述基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息，包括：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
7.一种虚拟沙盘展示装置，其特征在于，包括：
第一确定模块，用于基于AR设备实时获取的实景图像，确定所述AR设备在所述实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
第二确定模块，用于基于预先确定的城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
生成模块，用于基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系、以及从云端服务器下载的城市虚拟沙盘，生成所述城市虚拟沙盘在所述实景图像中的投影图像；
展示模块，用于将所述投影图像和所述实景图像进行融合展示。
8.根据权利要求7所述的虚拟沙盘展示装置，所述第二确定模块，在基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系时，用于：
基于所述AR设备在相机坐标系中的第三位姿信息、以及所述AR设备的第一位姿信息，确定所述相机坐标系和所述场景坐标系之间的转换关系信息；
基于所述转换关系信息，以及所述第二位姿信息，确定所述城市虚拟沙盘在所述相机坐标系中的第四位姿信息；所述第四位姿信息用于表征所述城市虚拟沙盘与所述AR设备之间的相对位姿关系。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的虚拟沙盘展示方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任意一项所述的虚拟沙盘展示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010517627.XA CN111653175B (zh) | 2020-06-09 | 2020-06-09 | 一种虚拟沙盘展示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010517627.XA CN111653175B (zh) | 2020-06-09 | 2020-06-09 | 一种虚拟沙盘展示方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111653175A true CN111653175A (zh) | 2020-09-11 |
| CN111653175B CN111653175B (zh) | 2022-08-16 |
Family
ID=72349056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010517627.XA Active CN111653175B (zh) | 2020-06-09 | 2020-06-09 | 一种虚拟沙盘展示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111653175B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112212865A (zh) * | 2020-09-23 | 2021-01-12 | 北京市商汤科技开发有限公司 | Ar场景下的引导方法、装置、计算机设备及存储介质 |
| CN113724331A (zh) * | 2021-09-02 | 2021-11-30 | 北京城市网邻信息技术有限公司 | 视频处理方法、视频处理装置和非瞬时性存储介质 |
| WO2022166173A1 (zh) * | 2021-02-02 | 2022-08-11 | 深圳市慧鲤科技有限公司 | 视频资源处理方法、装置、计算机设备、存储介质及程序 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510592A (zh) * | 2017-02-27 | 2018-09-07 | 亮风台（上海）信息科技有限公司 | 真实物理模型的增强现实展示方法 |
| KR101905356B1 (ko) * | 2018-01-08 | 2018-10-05 | 길기연 | 투명 디스플레이 창문을 이용하여 증강 현실 영상 기반의 관광 정보를 제공하는 차량 |
| CN108958460A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 基于虚拟现实的楼盘沙盘展示方法及系统 |
| CN109669541A (zh) * | 2018-09-04 | 2019-04-23 | 亮风台（上海）信息科技有限公司 | 一种用于配置增强现实内容的方法与设备 |
| CN109685905A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的小区规划方法和系统 |
| CN110335316A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN110914873A (zh) * | 2019-10-17 | 2020-03-24 | 深圳盈天下视觉科技有限公司 | 增强现实方法、装置、混合现实眼镜及存储介质 |
| CN110977981A (zh) * | 2019-12-18 | 2020-04-10 | 中国东方电气集团有限公司 | 一种机器人虚拟现实同步系统及同步方法 |
-
2020
- 2020-06-09 CN CN202010517627.XA patent/CN111653175B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510592A (zh) * | 2017-02-27 | 2018-09-07 | 亮风台（上海）信息科技有限公司 | 真实物理模型的增强现实展示方法 |
| CN108958460A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 基于虚拟现实的楼盘沙盘展示方法及系统 |
| CN109685905A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的小区规划方法和系统 |
| KR101905356B1 (ko) * | 2018-01-08 | 2018-10-05 | 길기연 | 투명 디스플레이 창문을 이용하여 증강 현실 영상 기반의 관광 정보를 제공하는 차량 |
| CN109669541A (zh) * | 2018-09-04 | 2019-04-23 | 亮风台（上海）信息科技有限公司 | 一种用于配置增强现实内容的方法与设备 |
| CN110335316A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN110914873A (zh) * | 2019-10-17 | 2020-03-24 | 深圳盈天下视觉科技有限公司 | 增强现实方法、装置、混合现实眼镜及存储介质 |
| CN110977981A (zh) * | 2019-12-18 | 2020-04-10 | 中国东方电气集团有限公司 | 一种机器人虚拟现实同步系统及同步方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112212865A (zh) * | 2020-09-23 | 2021-01-12 | 北京市商汤科技开发有限公司 | Ar场景下的引导方法、装置、计算机设备及存储介质 |
| CN112212865B (zh) * | 2020-09-23 | 2023-07-25 | 北京市商汤科技开发有限公司 | Ar场景下的引导方法、装置、计算机设备及存储介质 |
| WO2022166173A1 (zh) * | 2021-02-02 | 2022-08-11 | 深圳市慧鲤科技有限公司 | 视频资源处理方法、装置、计算机设备、存储介质及程序 |
| CN113724331A (zh) * | 2021-09-02 | 2021-11-30 | 北京城市网邻信息技术有限公司 | 视频处理方法、视频处理装置和非瞬时性存储介质 |
| CN113724331B (zh) * | 2021-09-02 | 2022-07-19 | 北京城市网邻信息技术有限公司 | 视频处理方法、视频处理装置和非瞬时性存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111653175B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111653175B (zh) | 一种虚拟沙盘展示方法及装置 | |
| CN107223269B (zh) | 三维场景定位方法和装置 | |
| KR20210047278A (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| CN109829981B (zh) | 三维场景呈现方法、装置、设备及存储介质 | |
| CN106780709B (zh) | 一种确定全局光照信息的方法及装置 | |
| US20170186219A1 (en) | Method for 360-degree panoramic display, display module and mobile terminal | |
| CN111833458B (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
| CN111638793A (zh) | 飞行器的展示方法、装置、电子设备及存储介质 | |
| CN111651051B (zh) | 一种虚拟沙盘展示方法及装置 | |
| CN111651050A (zh) | 城市虚拟沙盘的展示方法、装置、计算机设备及存储介质 | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| KR101851303B1 (ko) | 3차원 공간 재구성 장치 및 방법 | |
| Viyanon et al. | AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking | |
| CN111311756A (zh) | 增强现实ar显示方法及相关装置 | |
| CN113178006A (zh) | 导航地图生成方法、装置、计算机设备及存储介质 | |
| CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
| CN111651055A (zh) | 城市虚拟沙盘展示方法、装置、计算机设备及存储介质 | |
| CN111651057A (zh) | 一种数据展示方法、装置、电子设备及存储介质 | |
| CN112882576A (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN115187729B (zh) | 三维模型生成方法、装置、设备和存储介质 | |
| CN111651056A (zh) | 一种沙盘演示方法、装置、计算机设备及存储介质 | |
| CN114153548A (zh) | 一种展示方法、装置、计算机设备及存储介质 | |
| CN111815783A (zh) | 虚拟场景的呈现方法及装置、电子设备及存储介质 | |
| CN113470112A (zh) | 图像处理方法、装置、存储介质以及终端 | |
| CN114529648A (zh) | 模型展示方法、设备、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |