CN111651051B - 一种虚拟沙盘展示方法及装置 - Google Patents
一种虚拟沙盘展示方法及装置 Download PDFInfo
- Publication number
- CN111651051B CN111651051B CN202010523047.1A CN202010523047A CN111651051B CN 111651051 B CN111651051 B CN 111651051B CN 202010523047 A CN202010523047 A CN 202010523047A CN 111651051 B CN111651051 B CN 111651051B
- Authority
- CN
- China
- Prior art keywords
- sand table
- pose
- virtual sand
- information
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 1
- 239000004576 sand Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种虚拟沙盘展示方法及装置，包括：基于AR设备实时获取的实景图像，确定AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；从云端服务器获取城市虚拟沙盘的三维模型数据，并基于第一位姿信息以及城市虚拟沙盘在场景坐标系中的第二位姿信息，将城市虚拟沙盘和实景图像进行融合展示；在接收到云端服务器同步的第二位姿调整信息后，基于第二位姿调整信息，对城市虚拟沙盘在场景坐标系中的第二位姿信息进行调整，生成城市虚拟沙盘在场景坐标系中的第三位姿信息；基于第一位姿信息、以及第三位姿信息，将城市虚拟沙盘和实景图像进行融合展示；其中，第二位姿调整信息由其他AR设备发送至云端服务器。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种虚拟沙盘展示方法及装置。
背景技术
目前，沙盘在进行展示时，一般是固定不变的，用户若想看到其他角度沙盘所展示的内容，需要移动至其他角度对应的观看位置来进行观看，因此用户在观看沙盘时需要不断移动才能观看到各个角度的沙盘，观看的灵活性较低。
发明内容
本公开实施例至少提供一种虚拟沙盘展示方法及装置。
第一方面，本公开实施例提供了一种虚拟沙盘展示方法，包括：
基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息；
基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
其中，所述第二位姿调整信息由其他AR设备发送至所述云端服务器。
通过上述方法，由于展示的是城市虚拟沙盘，因此AR设备可以通过发送第二位姿调整信息实现对于城市虚拟沙盘的位姿信息的调整，即改变城市虚拟沙盘展示的角度和位置，通过这种展示方法避免了用户去调整用户的观看角度来观看沙盘的方式，展示方式更加灵活。
一种可能的实施方式中，所述方法，还包括：
响应用户触发的第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第四位姿信息；
基于所述第一位姿信息、以及所述第四位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
一种可能的实施方式中，所述方法，还包括：将所述第二位姿调整信息发送至云端服务器，以通过所述云端服务器将所述第二位姿调整信息同步至所述其他AR设备。
一种可能的实施方式中，所述基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示，包括：
基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系信息，生成所述城市虚拟沙盘的在所述实景图像所在平面的投影图像；
将所述投影图像和所述实景图像进行融合展示。
一种可能的实施方式中，所述基于AR设备实时获取的实景图像，确定所述AR设备在基于与实景图像对应的场景建立的场景坐标系中的第一位姿信息，包括：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
第二方面，本公开实施例还提供一种虚拟沙盘展示装置，包括：
确定模块，用于基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
融合模块，用于从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
调整模块，用于在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息；
展示模块，用于基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
其中，所述第二位姿调整信息由其他AR设备发送至所述云端服务器。
一种可能的实施方式中，所述调整模块，还用于：
响应用户触发的第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第四位姿信息；
所述展示模块，还用于基于所述第一位姿信息、以及所述第四位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
一种可能的实施方式中，所述装置，还包括发送模块，用于：将所述第二位姿调整信息发送至云端服务器，以通过所述云端服务器将所述第二位姿调整信息同步至所述其他AR设备。
一种可能的实施方式中，所述融合模块，在基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示时，用于：
基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系信息，生成所述城市虚拟沙盘的在所述实景图像所在平面的投影图像；
将所述投影图像和所述实景图像进行融合展示。
一种可能的实施方式中，所述确定模块，在基于AR设备实时获取的实景图像，确定所述AR设备在基于与实景图像对应的场景建立的场景坐标系中的第一位姿信息时，用于：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种虚拟沙盘展示方法的流程图；
图2示出了本公开实施例所提供的一种虚拟沙盘展示装置的示意图；
图3示出了本公开实施例所提供的计算机设备300的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中，在展示沙盘时，沙盘的展示位置一般是固定不变的，用户需要调整观看角度以观看到不同角度的沙盘，例如若用户站在沙盘的正北方，若想要看到正南方沙盘展示的内容，可能需要移动到沙盘正南方，这种方式灵活性交底。
基于上述研究，本公开提供了一种虚拟沙盘展示方法及装置，可以在实景图形中融合展示虚拟城市沙盘，由于展示的是城市虚拟沙盘，因此AR设备可以通过发送第二位姿调整信息实现对于城市虚拟沙盘的位姿信息的调整，即改变城市虚拟沙盘展示的角度和位置，通过这种展示方法避免了用户去调整用户的观看角度来观看沙盘的方式，展示方式更加灵活。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种虚拟沙盘展示方法进行详细介绍，本公开实施例所提供的虚拟沙盘展示方法的执行主体一般为具有一定计算能力的计算机设备，具体可以为终端设备或其他处理设备， AR设备比如可以包括AR眼镜、平板电脑、智能手机、只能穿戴式设备等具有明显显示功能和数据处理功能的设备，AR设备可以通过应用程序连接服务器。
参见图1所示，为本公开实施例提供的一种虚拟沙盘展示方法的流程图，所述方法包括步骤101~步骤104，其中：
步骤101、基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息。
其中，所述场景坐标系为以所述实景图像对应的场景中的某一位置点建立的世界坐标系，该坐标系为三维坐标系。
其中，AR设备的第一位姿信息可以包括部署在AR设备上的图像获取装置的光心在场景坐标系中的三维坐标值、以及图像获取装置的光轴的朝向信息。
在一种可能的实施方式中，在基于AR设备实时获取的实景图像，确定AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，可以先对实景图像进行场景关键点识别，确定至少一个场景关键点在实景图像中对应的目标像素点，以及对实景图像进行深度值预测，确定实景图像中各个像素点分别对应的深度值，然后基于目标像素点对应的深度值，确定AR设备的第一位姿信息。
其中，所述场景关键点可以是预先设置好的AR设备所在场景中的关键点，例如可以是桌角、台灯、盆栽等，所述目标像素点的深度值可以用来表示该目标像素点对应的场景关键点与AR设备的之间的距离。
场景关键点在场景坐标系中的位置坐标是预先设置好，且固定不变的，通过确定至少一个场景关键点在实景图像中对应的目标像素点，可以确定AR设备在场景坐标系中的朝向信息；基于场景关键点对应的目标像素点的深度值，可以确定AR设备在场景坐标系中的位置信息，即确定AR设备的第一位姿信息。
在另外一种可能的实施方式中，在基于AR设备实时获取的实景图像，确定AR设备在实景图像对应的场景中建立的场景坐标系下的第一位姿信息时，可以将AR设备实时获取的实景图像与AR设备所在位置区域的三维模型进行匹配，并基于匹配结果，确定AR设备的第一位姿信息。
基于AR设备所在位置区域的三维模型，可以获取AR设备所在位置区域的各个位姿信息下的实景图像，通过将AR实时获取的实景图像与三维模型进行匹配，同样可以获取AR设备的第一位姿信息。
在另外一种可能的实施方式中，场景坐标系可以为世界坐标系，所述AR设备在场景坐标系下的第一位姿信息还可以通过全球定位系统（Global Positioning System，GPS）来获得，通过GPS可以获得AR设备的经纬度信息，以及朝向信息，基于AR设备与场景坐标系的坐标原点的位置关系，可以确定AR设备在场景坐标系下的第一位姿信息。
步骤102、从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
在一种可能的实施方式中，在基于第一位姿信息以及城市虚拟沙盘在场景坐标系中的第二位姿信息，将城市虚拟沙盘和实景图像进行融合展示时，可以先基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；然后基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系信息，生成所述城市虚拟沙盘的在所述实景图像所在平面的投影图像；将所述投影图像和所述实景图像进行融合展示。
其中，所述城市虚拟沙盘与AR设备之间的相对位姿关系信息可以是城市虚拟沙盘与AR设备在相机坐标系下的相对位姿关系信息。在确定城市虚拟沙盘与AR设备之间的相对位姿关系信息时，可以先在场景坐标系下确定城市虚拟沙盘相对AR设备的相对位姿关系信息，然后将场景坐标系下的相对位姿关系信息转换为相机坐标系下的相对位姿关系信息。
具体的，可以对AR设备上部署的图像采集装置进行标定，以获取图像采集装置的内参、外参和畸变参数，然后根据图像采集装置的内参、外参和畸变参数，可以确定场景坐标系与相机坐标系之间的转换矩阵，在将场景坐标系下的相对位姿关系信息转换为相机坐标系下的相对位姿关系信息时，可以根据转换矩阵对场景坐标系下的相对位姿关系进行转换。
在另外一种可能的实施方式中，在确定城市虚拟沙盘与AR设备之间的相对位姿关系信息时，可以先确定AR设备在相机坐标系中的位姿信息，然后基于AR设备在场景坐标系中的第一位姿信息和AR设备在相机坐标系中的位姿信息，确定相机坐标系和场景坐标系之间的转换关系信息，然后基于转换关系信息将城市虚拟沙盘的第二位姿信息转换到相机坐标系中，转换后的位姿信息可以看作是城市虚拟沙盘与AR设备之间的相对位姿关系信息。
其中，所述AR设备在相机坐标系中的位姿信息可以根据部署在AR设备上的图像获取装置的位置进行确定，一般的，AR设备上的图像获取装置的位置是固定的，因此AR设备在相机坐标系中的第三位姿信息也是确定的，AR设备在相机坐标系中的位姿信息可以是预先确定好的。
在确定城市虚拟沙盘与AR设备之间的相对位姿关系信息之后，可以根据该相对位姿关系信息以及预先获取的AR设备对应的投影矩阵，将城市虚拟沙盘进行投影，得到城市虚拟沙盘在实景图像所在的平面的投影图像。
在另外一种可能的实施方式中，还可以识别AR设备拍摄的实景图像中目标物体的位置信息，然后基于预先设置的城市虚拟沙盘与目标物体的展示位置关系，确定城市虚拟沙盘在实景图像中的展示位置，并在该展示位置上展示城市虚拟沙盘。其中，所述目标物体例如可以是展台。
步骤103、在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息。
其中，城市虚拟沙盘的第二位姿信息可以是预先设置好的，且存储在服务器中的，所述第二位姿调整信息可以是用户（例如可以是城市虚拟沙盘的管理人员）通过AR设备对城市虚拟沙盘的第二位姿信息进行调整后生成的。所述接收到云端服务器同步的第二位姿调整信息可以是与云端服务器连接的每个AR设备均可以接收第二位姿调整信息。
在另外一种可能的实施方式中，还可以响应用户触发的第二位姿调整信息，对城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第四位姿信息；然后基于所述第一位姿信息、以及所述第四位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
其中，用户触发的第二位姿调整信息可以是获取到用户针对展示的城市虚拟沙盘进行触发生成的，其中触发城市虚拟沙盘的方式可以是检测到用户针对城市虚拟沙盘的肢体动作信息，或者检测到用户通过屏幕触发城市虚拟沙盘。
所述检测到用户针对城市虚拟沙盘的肢体动作信息可以包括用户的肢体动作方向和肢体动作幅度，根据用户的肢体动作信息，可以确定与该肢体动作信息相匹配的第二位姿调整信息，例如若用户通过手指从左向右滑动10厘米，则可以将展示的城市虚拟沙盘顺时针旋转10度等，肢体动作方向可以控制虚拟城市沙盘的展示角度的改变方向，肢体动作幅度可以控制虚拟城市沙盘展示角度的展示角度调整的大小，肢体动作类型可以控制虚拟城市沙盘展示方式的改变，例如水平滑动可以控制虚拟城市沙盘左右旋转，上下滑动可以控制虚拟城市沙盘放大缩小等。
在检测用户对城市虚拟沙盘的肢体动作信息时，可以基于预先训练的神经网络，将包括用户的实景图像输入至预先训练的神经网络中，输出得到城市虚拟沙盘的肢体动作信息，其中，所述神经网络是基于携带有肢体动作信息标签的样本图像训练得到的。
若本公开所提供的方法的执行主体为AR设备，还可以在响应用户触发的第二位姿调整信息之后，将所述第二位姿调整信息发送至云端服务器，以通过所述云端服务器将所述第二位姿调整信息同步至所述其他AR设备。
其他AR设备在接收到第二位姿调整信息之后，可以根据第二位姿调整信息中携带的调整后的第二位姿信息，对当前展示的城市虚拟沙盘的展示位姿进行调整。
步骤104、基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
在基于第一位姿信息以及第三位姿信息，将城市虚拟沙盘和实景图像进行融合之后，可以对当前展示的图像进行更新，即展示重新融合之后的实景图像。
通过上述方法，由于展示的是城市虚拟沙盘，因此AR设备可以通过发送第二位姿调整信息实现对于城市虚拟沙盘的位姿信息的调整，即改变城市虚拟沙盘展示的角度和位置，通过这种展示方法避免了用户去调整用户的观看角度来观看沙盘的方式，展示方式更加灵活。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与虚拟沙盘展示方法对应的虚拟沙盘展示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述虚拟沙盘展示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图2所示，为本公开实施例提供的一种虚拟沙盘展示装置的示意图，所述装置包括：确定模块201、融合模块202、调整模块203、展示模块204、以及发送模块205；其中，
确定模块201，用于基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
融合模块202，用于从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
调整模块203，用于在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息；
展示模块204，用于基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
其中，所述第二位姿调整信息由其他AR设备发送至所述云端服务器。
一种可能的实施方式中，所述调整模块203，还用于：
响应用户触发的第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第四位姿信息；
所述展示模块204，还用于基于所述第一位姿信息、以及所述第四位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
一种可能的实施方式中，所述装置，还包括发送模块205，用于：将所述第二位姿调整信息发送至云端服务器，以通过所述云端服务器将所述第二位姿调整信息同步至所述其他AR设备。
一种可能的实施方式中，所述融合模块202，在基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示时，用于：
基于预先确定的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，以及所述AR设备的第一位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于所述城市虚拟沙盘与所述AR设备之间的相对位姿关系信息，生成所述城市虚拟沙盘的在所述实景图像所在平面的投影图像；
将所述投影图像和所述实景图像进行融合展示。
一种可能的实施方式中，所述确定模块201，在基于AR设备实时获取的实景图像，确定所述AR设备在基于与实景图像对应的场景建立的场景坐标系中的第一位姿信息时，用于：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
通过上述装置，由于展示的是城市虚拟沙盘，因此AR设备可以通过发送第二位姿调整信息实现对于城市虚拟沙盘的位姿信息的调整，即改变城市虚拟沙盘展示的角度和位置，通过这种展示方法避免了用户去调整用户的观看角度来观看沙盘的方式，展示方式更加灵活。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图3所示，为本公开实施例提供的计算机设备300的结构示意图，包括处理器301、存储器302、和总线303。其中，存储器302用于存储执行指令，包括内存3021和外部存储器3022；这里的内存3021也称内存储器，用于暂时存放处理器301中的运算数据，以及与硬盘等外部存储器3022交换的数据，处理器301通过内存3021与外部存储器3022进行数据交换，当计算机设备300运行时，处理器301与存储器302之间通过总线303通信，使得处理器301在执行以下指令：
基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息；
基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
其中，所述第二位姿调整信息由其他AR设备发送至所述云端服务器。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的虚拟沙盘展示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的虚拟沙盘展示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟沙盘展示方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software DevelopmentKit，SDK）等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种虚拟沙盘展示方法，其特征在于，包括：
基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及预先设置的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；
基于与所述AR设备对应的投影矩阵，将所述城市虚拟沙盘进行投影，得到所述城市虚拟沙盘在实景图像所在的平面的投影图像，并将所述投影图像和所述实景图像进行融合展示；
在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息；其中，所述第二位姿调整信息中携带有调整后的第二位姿信息；
基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
其中，所述第二位姿调整信息由其他AR设备发送至所述云端服务器。
2.根据权利要求1所述的虚拟沙盘展示方法，其特征在于，所述方法，还包括：
响应用户触发的第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第四位姿信息；
基于所述第一位姿信息、以及所述第四位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
3.根据权利要求2所述的虚拟沙盘展示方法，其特征在于，所述方法，还包括：将所述第二位姿调整信息发送至云端服务器，以通过所述云端服务器将所述第二位姿调整信息同步至所述其他AR设备。
4.根据权利要求1-3任一项所述的虚拟沙盘展示方法，其特征在于，所述基于AR设备实时获取的实景图像，确定所述AR设备在基于与实景图像对应的场景建立的场景坐标系中的第一位姿信息，包括：
对所述实景图像进行场景关键点识别，确定至少一个场景关键点在所述实景图像中对应的目标像素点；
以及，
对所述实景图像进行深度值预测，确定所述实景图像中各个像素点分别对应的深度值；
基于所述目标像素点对应的深度值，确定所述AR设备的第一位姿信息。
5.一种虚拟沙盘展示装置，其特征在于，包括：
确定模块，用于基于AR设备实时获取的实景图像，确定所述AR设备在与实景图像对应的场景中建立的场景坐标系下的第一位姿信息；
融合模块，用于从云端服务器获取城市虚拟沙盘的三维模型数据，并基于所述第一位姿信息以及预先设置的所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息，确定所述城市虚拟沙盘与所述AR设备之间的相对位姿关系；基于与所述AR设备对应的投影矩阵，将所述城市虚拟沙盘进行投影，得到所述城市虚拟沙盘在实景图像所在的平面的投影图像，并将所述投影图像和所述实景图像进行融合展示；
调整模块，用于在接收到云端服务器同步的第二位姿调整信息后，基于所述第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第三位姿信息；其中，所述第二位姿调整信息中携带有调整后的第二位姿信息；
展示模块，用于基于所述第一位姿信息、以及所述第三位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示；
其中，所述第二位姿调整信息由其他AR设备发送至所述云端服务器。
6.根据权利要求5所述的虚拟沙盘展示装置，其特征在于，所述调整模块，还用于：
响应用户触发的第二位姿调整信息，对所述城市虚拟沙盘在所述场景坐标系中的第二位姿信息进行调整，生成所述城市虚拟沙盘在所述场景坐标系中的第四位姿信息；
所述展示模块，还用于基于所述第一位姿信息、以及所述第四位姿信息，将所述城市虚拟沙盘和所述实景图像进行融合展示。
7.根据权利要求6所述的虚拟沙盘展示装置，其特征在于，所述装置，还包括发送模块，用于：将所述第二位姿调整信息发送至云端服务器，以通过所述云端服务器将所述第二位姿调整信息同步至所述其他AR设备。
8.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的虚拟沙盘展示方法的步骤。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至4任意一项所述的虚拟沙盘展示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010523047.1A CN111651051B (zh) | 2020-06-10 | 2020-06-10 | 一种虚拟沙盘展示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010523047.1A CN111651051B (zh) | 2020-06-10 | 2020-06-10 | 一种虚拟沙盘展示方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111651051A CN111651051A (zh) | 2020-09-11 |
| CN111651051B true CN111651051B (zh) | 2023-08-22 |
Family
ID=72347538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010523047.1A Active CN111651051B (zh) | 2020-06-10 | 2020-06-10 | 一种虚拟沙盘展示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111651051B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112068703B (zh) * | 2020-09-07 | 2021-11-16 | 北京字节跳动网络技术有限公司 | 目标物体的控制方法、装置、电子设备及存储介质 |
| CN112179331B (zh) * | 2020-09-23 | 2023-01-31 | 北京市商汤科技开发有限公司 | Ar导航的方法、装置、电子设备及存储介质 |
| CN112530219A (zh) * | 2020-12-14 | 2021-03-19 | 北京高途云集教育科技有限公司 | 一种教学信息展示方法、装置、计算机设备和存储介质 |
| CN112954437B (zh) * | 2021-02-02 | 2022-10-28 | 深圳市慧鲤科技有限公司 | 一种视频资源处理方法、装置、计算机设备及存储介质 |
| CN113077516B (zh) * | 2021-04-28 | 2024-02-23 | 深圳市人工智能与机器人研究院 | 一种位姿确定方法及相关设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017049658A (ja) * | 2015-08-31 | 2017-03-09 | Kddi株式会社 | Ａｒ情報表示装置 |
| CN108958462A (zh) * | 2017-05-25 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 一种虚拟对象的展示方法及装置 |
| KR20190046559A (ko) * | 2017-10-26 | 2019-05-07 | 한국전자통신연구원 | 증강 현실 콘텐츠를 제공하는 방법 |
| CN109992108A (zh) * | 2019-03-08 | 2019-07-09 | 北京邮电大学 | 多用户交互的增强现实方法及系统 |
| CN110415358A (zh) * | 2019-07-03 | 2019-11-05 | 武汉子序科技股份有限公司 | 一种实时三维跟踪方法 |
| CN110456907A (zh) * | 2019-07-24 | 2019-11-15 | 广东虚拟现实科技有限公司 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
| CN110533780A (zh) * | 2019-08-28 | 2019-12-03 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| CN110569006A (zh) * | 2018-06-05 | 2019-12-13 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN110737414A (zh) * | 2018-07-20 | 2020-01-31 | 广东虚拟现实科技有限公司 | 交互显示方法、装置、终端设备及存储介质 |
| CN110794962A (zh) * | 2019-10-18 | 2020-02-14 | 北京字节跳动网络技术有限公司 | 一种信息融合方法、装置、终端及存储介质 |
| CN111061374A (zh) * | 2019-12-20 | 2020-04-24 | 京东方科技集团股份有限公司 | 一种支持多人模式增强现实应用的方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2548179A4 (en) * | 2010-03-17 | 2013-10-16 | Sony Corp | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| US8581905B2 (en) * | 2010-04-08 | 2013-11-12 | Disney Enterprises, Inc. | Interactive three dimensional displays on handheld devices |
| US20130278633A1 (en) * | 2012-04-20 | 2013-10-24 | Samsung Electronics Co., Ltd. | Method and system for generating augmented reality scene |
| US11043033B2 (en) * | 2016-11-21 | 2021-06-22 | Sony Corporation | Information processing device and information processing method capable of deciding objects arranged in virtual space generated based on real space |
-
2020
- 2020-06-10 CN CN202010523047.1A patent/CN111651051B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017049658A (ja) * | 2015-08-31 | 2017-03-09 | Kddi株式会社 | Ａｒ情報表示装置 |
| CN108958462A (zh) * | 2017-05-25 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 一种虚拟对象的展示方法及装置 |
| KR20190046559A (ko) * | 2017-10-26 | 2019-05-07 | 한국전자통신연구원 | 증강 현실 콘텐츠를 제공하는 방법 |
| CN110569006A (zh) * | 2018-06-05 | 2019-12-13 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
| CN110737414A (zh) * | 2018-07-20 | 2020-01-31 | 广东虚拟现实科技有限公司 | 交互显示方法、装置、终端设备及存储介质 |
| CN109992108A (zh) * | 2019-03-08 | 2019-07-09 | 北京邮电大学 | 多用户交互的增强现实方法及系统 |
| CN110415358A (zh) * | 2019-07-03 | 2019-11-05 | 武汉子序科技股份有限公司 | 一种实时三维跟踪方法 |
| CN110456907A (zh) * | 2019-07-24 | 2019-11-15 | 广东虚拟现实科技有限公司 | 虚拟画面的控制方法、装置、终端设备及存储介质 |
| CN110533780A (zh) * | 2019-08-28 | 2019-12-03 | 深圳市商汤科技有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| CN110794962A (zh) * | 2019-10-18 | 2020-02-14 | 北京字节跳动网络技术有限公司 | 一种信息融合方法、装置、终端及存储介质 |
| CN111061374A (zh) * | 2019-12-20 | 2020-04-24 | 京东方科技集团股份有限公司 | 一种支持多人模式增强现实应用的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111651051A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111651051B (zh) | 一种虚拟沙盘展示方法及装置 | |
| US11393173B2 (en) | Mobile augmented reality system | |
| CN107850779B (zh) | 虚拟位置定位锚 | |
| US8878846B1 (en) | Superimposing virtual views of 3D objects with live images | |
| KR20210046592A (ko) | 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체 | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| US20150187108A1 (en) | Augmented reality content adapted to changes in real world space geometry | |
| US20170039774A1 (en) | Augmented Reality Communications | |
| US9361731B2 (en) | Method and apparatus for displaying video on 3D map | |
| CN111610998A (zh) | Ar场景内容的生成方法、展示方法、装置及存储介质 | |
| US9756260B1 (en) | Synthetic camera lenses | |
| CN108961423A (zh) | 虚拟信息处理方法、装置、设备及存储介质 | |
| CN108351689B (zh) | 用于显示处于预定义区域中的对象的全息图像的方法和系统 | |
| CN111815783A (zh) | 虚拟场景的呈现方法及装置、电子设备及存储介质 | |
| CN111653175B (zh) | 一种虚拟沙盘展示方法及装置 | |
| JP2022507502A (ja) | 拡張現実（ａｒ）のインプリント方法とシステム | |
| CN112882576A (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN111885366A (zh) | 一种用于虚拟现实屏幕的立体显示方法、装置、存储介质及设备 | |
| CN112950711B (zh) | 一种对象的控制方法、装置、电子设备及存储介质 | |
| CN114067087A (zh) | Ar展示方法及装置、电子设备和存储介质 | |
| CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
| CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
| JP6168597B2 (ja) | 情報端末装置 | |
| CN111652984B (zh) | 一种沙盘演示方法、装置、计算机设备及存储介质 | |
| CN111857341B (zh) | 一种展示控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |