CN111399637A - 一种基于slam的虚拟现实大空间定位方法及系统 - Google Patents
一种基于slam的虚拟现实大空间定位方法及系统 Download PDFInfo
- Publication number
- CN111399637A CN111399637A CN202010131543.2A CN202010131543A CN111399637A CN 111399637 A CN111399637 A CN 111399637A CN 202010131543 A CN202010131543 A CN 202010131543A CN 111399637 A CN111399637 A CN 111399637A
- Authority
- CN
- China
- Prior art keywords
- user
- image
- infrared
- large space
- subunit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims description 34
- 230000007613 environmental effect Effects 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例涉及虚拟现实大空间定位领域，公开了一种基于SLAM的虚拟现实大空间定位方法及系统，该方法包括：拍摄红外影像及环境影像；根据红外影像确定用户的视角及空间位置作为用户定位数据；识别环境影像得到大空间数据；根据用户定位数据及大空间数据制订行进路径；从而在行进路径上构建即时地图。可见，依托于可跟随用户行驶的定位机器人，同时对用户及用户所处的大空间进行跟踪拍摄及识别定位，从而对用户实现虚拟现实大空间定位，其中，随动的定位机器人拓宽了拍摄范围，且由于无须布设大量摄像头，降低了虚拟现实大空间定位方案的推广应用成本。
Description
技术领域
本发明涉及虚拟现实大空间定位技术领域，具体涉及一种基于SLAM（simultaneous localization and mapping，即时定位与地图构建）的虚拟现实大空间定位方法及系统。
背景技术
虚拟现实技术已由初期的单用户与机器进行虚拟交互的模式，发展至时下的虚拟现实大空间交互模式，而为了在虚拟现实大空间中实现用户即时定位与交互，现有的技术方案通常在大空间顶部布设大量摄像头来获取用户的位置与用户动作的影像，在对影像进行解算处理后生成虚拟现实影像并向用户进行输出。然而，上述技术方案的交互空间被限制在固定摄像头的拍摄范围内，且摄像头批量布设的成本高昂，不利于推广应用。
发明内容
本发明实施例公开了一种基于SLAM的虚拟现实大空间定位方法及系统，采用可跟随用户行驶的定位机器人，同时对用户及用户所处的大空间进行跟踪拍摄及识别定位，从而对用户实现虚拟现实大空间定位，其中，随动的定位机器人拓宽了拍摄范围，且由于无须布设大量摄像头，降低了虚拟现实大空间定位方案的推广应用成本。
本发明实施例第一方面公开了一种基于SLAM的虚拟现实大空间定位方法，包括：
拍摄红外影像及环境影像；
根据所述红外影像确定用户的视角及空间位置作为用户定位数据；
识别所述环境影像得到大空间数据；
根据所述用户定位数据及所述大空间数据制订行进路径；
在所述行进路径上构建即时地图。
作为一种可选的实施方式，在本发明实施例的第一方面中，所述根据所述红外影像确定用户的视角及空间位置作为用户定位数据，包括：
记录所述红外影像中若干红外标记点的空间位置，其中，所述若干红外标记点固定于所述用户佩戴的头显之上；
根据每一所述红外标记点的空间位置的相对位置信息，推导出所述头显朝向并根据所述头显朝向确定所述用户的视角；
记录每一所述红外标记点的空间位置在所述红外影像中的运动轨迹，得到所述用户的空间位置；
综合所述用户的视角及所述用户的空间位置得到所述用户定位数据。
作为一种可选的实施方式，在本发明实施例的第一方面中，所述识别所述环境影像得到大空间数据，包括：
提取所述环境影像的深度信息；
根据所述深度信息确定所述环境影像中所包括物体的空间位置作为所述大空间数据。
作为一种可选的实施方式，在本发明实施例的第一方面中，所述在所述行进路径上构建即时地图，包括：
监测所述若干红外标记点是否均处于所述红外影像的预设跟踪区域内；
若否，根据所述若干红外标记点相对所述预设跟踪区域的相对位置信息，确定姿态调整方案；
根据所述姿态调整方案调整拍摄姿态，拍摄得到所述红外影像及所述环境影像，其中，所述红外影像及所述环境影像的拍摄视角一致；
同步所述红外影像包括的所述用户定位数据及所述环境影像包括的大空间数据，构建所述即时地图。
作为一种可选的实施方式，在本发明实施例的第一方面中，在所述行进路径上构建即时地图之后，所述方法还包括：
生成对应于所述即时地图及所述用户定位数据的虚拟现实影像；
向所述用户输出所述虚拟现实影像。
本发明实施例第二方面公开了一种基于SLAM的虚拟现实大空间定位方法系统，包括：
拍摄单元，用于拍摄红外影像及环境影像；
用户定位单元，用于根据所述红外影像确定用户的视角及空间位置作为用户定位数据；
空间识别单元，用于识别所述环境影像得到大空间数据；
路径制订单元，用于根据所述用户定位数据及所述大空间数据制订行进路径；
地图构建单元，用于在所述行进路径上构建即时地图。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述用户定位单元包括：
标记记录子单元，用于记录所述红外影像中若干红外标记点的空间位置，其中，所述若干红外标记点固定于所述用户佩戴的头显之上；
视角确定子单元，用于根据每一所述红外标记点的空间位置的相对位置信息，推导出所述头显朝向并根据所述头显朝向确定所述用户的视角；
轨迹记录子单元，用于记录每一所述红外标记点的空间位置在所述红外影像中的运动轨迹，得到所述用户的空间位置；
用户定位子单元，用于综合所述用户的视角及所述用户的空间位置得到所述用户定位数据。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述空间识别单元包括：
深度提取子单元，用于提取所述环境影像的深度信息；
空间识别子单元，用于根据所述深度信息确定所述环境影像中所包括物体的空间位置作为所述大空间数据。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述地图构建单元包括：
红外跟踪子单元，用于监测所述若干红外标记点是否均处于所述红外影像的预设跟踪区域内；
姿态规划子单元，用于在监测到存在任一所述红外标记点不处于所述红外影像的预设跟踪区域内时，根据所述若干红外标记点相对所述预设跟踪区域的相对位置信息，确定姿态调整方案；
姿态调整子单元，用于根据所述姿态调整方案调整拍摄所述红外影像及所述环境影像的拍摄姿态，其中，所述红外影像及所述环境影像的拍摄视角一致；
地图构建子单元，用于同步所述红外影像包括的所述用户定位数据及所述环境影像包括的大空间数据，构建所述即时地图。
作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：
影像生成单元，用于生成对应于所述即时地图及所述用户定位数据的虚拟现实影像；
影像输出单元，用于向所述用户输出所述虚拟现实影像。
本发明实施例第三方面公开了一种基于SLAM的虚拟现实大空间定位方法系统，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种基于SLAM的虚拟现实大空间定位方法的部分步骤。
本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于SLAM的虚拟现实大空间定位方法的全部或部分步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，通过拍摄红外影像及环境影像；根据红外影像确定用户的视角及空间位置作为用户定位数据；识别环境影像得到大空间数据；根据用户定位数据及大空间数据制订行进路径；从而在行进路径上构建即时地图。可见，依托于可跟随用户行驶的定位机器人，同时对用户及用户所处的大空间进行跟踪拍摄及识别定位，从而对用户实现虚拟现实大空间定位，其中，随动的定位机器人拓宽了拍摄范围，且由于无须布设大量摄像头，降低了虚拟现实大空间定位方案的推广应用成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于SLAM的虚拟现实大空间定位方法的流程示意图；
图2是本发明实施例公开的一种基于SLAM的虚拟现实大空间定位系统的结构示意图；
图3是本发明实施例公开的另一种基于SLAM的虚拟现实大空间定位系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“ 第二”、“ 第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于SLAM的虚拟现实大空间定位方法及系统，采用可跟随用户行驶的定位机器人，同时对用户及用户所处的大空间进行跟踪拍摄及识别定位，从而对用户实现虚拟现实大空间定位，其中，随动的定位机器人拓宽了拍摄范围，且由于无须布设大量摄像头，降低了虚拟现实大空间定位方案的推广应用成本。
实施例一
请参阅图1，如图1所示，本发明实施例公开的一种基于SLAM的虚拟现实大空间定位方法可以包括以下步骤。
101、拍摄红外影像及环境影像。
本发明实施例中，红外摄像头及深度摄像头安装在定位机器人上，定位机器人与头显不存在实体连接，当用户佩戴头显时，红外摄像头拍摄包括用户的红外影像，深度摄像头拍摄用户及用户所处大空间的环境影像。
102、根据红外影像确定用户的视角及空间位置作为用户定位数据。
本发明实施例中，对用户进行定位依赖于红外影像。
作为一种可选的实施方式，记录红外影像中若干红外标记点的空间位置，其中，若干红外标记点固定于用户佩戴的头显之上；根据每一红外标记点的空间位置的相对位置信息，推导出头显朝向并根据头显朝向确定用户的视角；记录每一红外标记点的空间位置在红外影像中的运动轨迹，得到用户的空间位置；综合用户的视角及用户的空间位置得到用户定位数据。具体地，用户所佩戴的头显前方通过支撑杆固定安装有多个红外标记点，且支撑杆两两之间相互垂直，红外标记点涂布有红外反射涂料，可被红外摄像头清晰地拍摄到并显示于红外影像中；根据以上红外标记点的结构及特点，可在红外影像中识别并记录红外标记点的空间位置，此外，由于红外标记点相互之间的相对空间位置不变，基于红外影像上所显示的各红外标记点的组合形态，可判断出此时的头显朝向，由于用户在佩戴头显时头显相对用户头部静止，可根据头显朝向确定用户的视角；在记录下每帧红外影像中红外标记点的空间位置后，可得红外标记点的运动轨迹，进而得到用户的空间位置，整合用户的视角及用户的空间位置，则得到用户定位数据。可见，通过头显上无功耗且轻便的红外标记点，即可在红外影像中确定出用户定位数据。
103、识别环境影像得到大空间数据。
本发明实施例中，用户所处大空间除了用户本身，还包括大空间本身的地形地貌及大空间所摆放的物体。
作为一种可选的实施方式，提取环境影像的深度信息；根据深度信息确定环境影像中所包括物体的空间位置作为大空间数据。具体地，基于深度摄像头所拍摄的环境影像，采用深度影像检测算法即可识别出环境影像中每一区域的深度信息，其中深度信息连贯的区域可认定为同一物体，从而识别出环境影像中所包括物体的空间位置，作为大空间数据。可见，通过拍摄环境影像可即时准确地获取到大空间数据。
104、根据用户定位数据及大空间数据制订行进路径。
本发明实施例中，在步骤101中描述的定位机器人除了具备图像拍摄能力与图像识别处理能力，还具备行动能力，其底部为具备平衡杆结构的四轮驱动底盘，从而在用户佩戴头显进行交互时，定位机器人对用户进行随动拍摄，平衡杆结构可在定位机器人行驶至崎岖地形时对定位机器人进行调平，确保红外摄像头及深度摄像头持续稳定拍摄；在获得用户定位数据及大空间数据后，即可在大空间中确定出可供定位机器人通行且拍摄得到用户的区域，在此区域中以通行条件好、驱动功耗低、拍摄视角佳等依据确定出定位机器人的行进路径，以尽可能稳定地拍摄红外影像及环境影像；此外，由于定位机器人是在行进过程中从不同视角对用户进行拍摄，从而可达到多摄像头多视角拍摄的效果，具有较高的空间定位精度。
105、在行进路径上构建即时地图。
本发明实施例中，定位机器人跟随佩戴头显的用户随动拍摄，进而根据拍摄到的影像构造即时地图，实现SLAM大空间定位。
作为一种可选的实施方式，监测若干红外标记点是否均处于红外影像的预设跟踪区域内；若否，根据若干红外标记点相对预设跟踪区域的相对位置信息，确定姿态调整方案；根据姿态调整方案调整拍摄姿态，拍摄得到红外影像及环境影像，其中，红外影像及环境影像的拍摄视角一致；同步红外影像包括的用户定位数据及环境影像包括的大空间数据，构建即时地图。具体地，在定位机器人的随动拍摄过程中，可能受大空间的地形地貌影响，定位机器人并非出于水平状态，对拍摄造成不良影响，因此在拍摄过程中时刻监测各红外标记点相对预设跟踪区域的相对位置信息，当用户身处预设跟踪区域中时，用户即身处红外影像中部，由于红外影像及环境影像的拍摄视角一致，亦即环境影像包括了用户及用户周围大空间的信息；当存在红外标记点不处于红外影像的预设跟踪区域内时，则证明此时定位机器人所处区域不平整，需要对定位机器人进行调平，根据红外标记点相对预设跟踪区域的相对位置信息，确定姿态调整方案，根据姿态调整方案调整平衡杆结构，实现对拍摄姿态进行调整，从而持续拍摄得到红外影像及环境影像；基于红外影像包括的用户定位数据及环境影像包括的大空间数据进行同步，则可构建出对应于用户所处大空间的即时地图，并获知用户在即时地图上所处的位置及视角。可见，通过红外影像对用户进行定位，并综合环境影像包括的大空间数据，可准确地构建出即时地图。
作为另一种可选的实施方式，在行进路径上构建即时地图之后，生成对应于即时地图及用户定位数据的虚拟现实影像；向用户输出虚拟现实影像。具体地，采用模型构建引擎将即时地图渲染为虚拟现实三维地图，基于用户定位数据中用户的空间位置，获取虚拟现实三维地图中对应于用户的空间位置的环绕影像，再基于用户的视角，获取环绕影像中对应于用户的视角的部分影像，生成虚拟现实影像，通过无线网络传输至用户所佩戴的头显上向用户进行输出，从而在定位机器人的协助下，头显接收虚拟现实影像并进行显示的过程中，用户即可体验到虚拟现实大空间定位服务。
可见，实施图1所描述的基于SLAM的虚拟现实大空间定位方法，采用可跟随用户行驶的定位机器人，同时对用户及用户所处的大空间进行跟踪拍摄及识别定位，从而对用户实现虚拟现实大空间定位，其中，随动的定位机器人拓宽了拍摄范围，且由于无须布设大量摄像头，降低了虚拟现实大空间定位方案的推广应用成本。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于SLAM的虚拟现实大空间定位系统（以下简称为“系统”）的结构示意图。该系统可以包括：
拍摄单元201，用于拍摄红外影像及环境影像；
用户定位单元202，用于根据红外影像确定用户的视角及空间位置作为用户定位数据；
空间识别单元203，用于识别环境影像得到大空间数据；
路径制订单元204，用于根据用户定位数据及大空间数据制订行进路径；
地图构建单元205，用于在行进路径上构建即时地图。
影像生成单元206，用于生成对应于即时地图及用户定位数据的虚拟现实影像；
影像输出单元207，用于向用户输出虚拟现实影像。
其中，用户定位单元202包括：
标记记录子单元2021，用于记录红外影像中若干红外标记点的空间位置，其中，若干红外标记点固定于用户佩戴的头显之上；
视角确定子单元2022，用于根据每一红外标记点的空间位置的相对位置信息，推导出头显朝向并根据头显朝向确定用户的视角；
轨迹记录子单元2023，用于记录每一红外标记点的空间位置在红外影像中的运动轨迹，得到用户的空间位置；
用户定位子单元2024，用于综合用户的视角及用户的空间位置得到用户定位数据。
以及，空间识别单元203包括：
深度提取子单元2031，用于提取环境影像的深度信息；
空间识别子单元2032，用于根据深度信息确定环境影像中所包括物体的空间位置作为大空间数据。
另外，地图构建单元205包括：
红外跟踪子单元2051，用于监测若干红外标记点是否均处于红外影像的预设跟踪区域内；
姿态规划子单元2052，用于在监测到存在任一红外标记点不处于红外影像的预设跟踪区域内时，根据若干红外标记点相对预设跟踪区域的相对位置信息，确定姿态调整方案；
姿态调整子单元2053，用于根据姿态调整方案调整拍摄红外影像及环境影像的拍摄姿态，其中，红外影像及环境影像的拍摄视角一致；
地图构建子单元2054，用于同步红外影像包括的用户定位数据及环境影像包括的大空间数据，构建即时地图。
作为一种可选的实施方式，标记记录子单元2021记录红外影像中若干红外标记点的空间位置，其中，若干红外标记点固定于用户佩戴的头显之上；视角确定子单元2022根据每一红外标记点的空间位置的相对位置信息，推导出头显朝向并根据头显朝向确定用户的视角；轨迹记录子单元2023记录每一红外标记点的空间位置在红外影像中的运动轨迹，得到用户的空间位置；用户定位子单元2024综合用户的视角及用户的空间位置得到用户定位数据。具体地，用户所佩戴的头显前方通过支撑杆固定安装有多个红外标记点，且支撑杆两两之间相互垂直，红外标记点涂布有红外反射涂料，可被红外摄像头清晰地拍摄到并显示于红外影像中；标记记录子单元2021根据以上红外标记点的结构及特点，可在红外影像中识别并记录红外标记点的空间位置，此外，由于红外标记点相互之间的相对空间位置不变，视角确定子单元2022基于红外影像上所显示的各红外标记点的组合形态，可判断出此时的头显朝向，由于用户在佩戴头显时头显相对用户头部静止，可根据头显朝向确定用户的视角；在记录下每帧红外影像中红外标记点的空间位置后，轨迹记录子单元2023可得红外标记点的运动轨迹，进而得到用户的空间位置，用户定位子单元2024整合用户的视角及用户的空间位置，则得到用户定位数据。可见，通过头显上无功耗且轻便的红外标记点，即可在红外影像中确定出用户定位数据。
作为一种可选的实施方式，深度提取子单元2031提取环境影像的深度信息；空间识别子单元2032根据深度信息确定环境影像中所包括物体的空间位置作为大空间数据。具体地，基于深度摄像头所拍摄的环境影像，深度提取子单元2031采用深度影像检测算法即可识别出环境影像中每一区域的深度信息，其中深度信息连贯的区域可认定为同一物体，从而空间识别子单元2032识别出环境影像中所包括物体的空间位置，作为大空间数据。可见，通过拍摄环境影像可即时准确地获取到大空间数据。
作为一种可选的实施方式，红外跟踪子单元2051监测若干红外标记点是否均处于红外影像的预设跟踪区域内；若否，姿态规划子单元2052根据若干红外标记点相对预设跟踪区域的相对位置信息，确定姿态调整方案；姿态调整子单元2053根据姿态调整方案调整拍摄姿态，拍摄得到红外影像及环境影像，其中，红外影像及环境影像的拍摄视角一致；地图构建子单元2054同步红外影像包括的用户定位数据及环境影像包括的大空间数据，构建即时地图。具体地，在定位机器人的随动拍摄过程中，可能受大空间的地形地貌影响，定位机器人并非出于水平状态，对拍摄造成不良影响，因此红外跟踪子单元2051在拍摄过程中时刻监测各红外标记点相对预设跟踪区域的相对位置信息，当用户身处预设跟踪区域中时，用户即身处红外影像中部，由于红外影像及环境影像的拍摄视角一致，亦即环境影像包括了用户及用户周围大空间的信息；当存在红外标记点不处于红外影像的预设跟踪区域内时，则证明此时定位机器人所处区域不平整，需要对定位机器人进行调平，姿态规划子单元2052根据红外标记点相对预设跟踪区域的相对位置信息，确定姿态调整方案，姿态调整子单元2053根据姿态调整方案调整平衡杆结构，实现对拍摄姿态进行调整，从而持续拍摄得到红外影像及环境影像；地图构建子单元2054基于红外影像包括的用户定位数据及环境影像包括的大空间数据进行同步，则可构建出对应于用户所处大空间的即时地图，并获知用户在即时地图上所处的位置及视角。可见，通过红外影像对用户进行定位，并综合环境影像包括的大空间数据，可准确地构建出即时地图。
作为另一种可选的实施方式，在行进路径上构建即时地图之后，影像生成单元206生成对应于即时地图及用户定位数据的虚拟现实影像；影像输出单元207向用户输出虚拟现实影像。具体地，影像生成单元206采用模型构建引擎将即时地图渲染为虚拟现实三维地图，基于用户定位数据中用户的空间位置，获取虚拟现实三维地图中对应于用户的空间位置的环绕影像，再基于用户的视角，获取环绕影像中对应于用户的视角的部分影像，生成虚拟现实影像，影像输出单元207向用户输出虚拟现实影像，从而在定位机器人的协助下，头显接收虚拟现实影像并进行显示的过程中，用户即可体验到虚拟现实大空间定位服务。
可见，实施图2所描述的基于SLAM的虚拟现实大空间定位系统，采用可跟随用户行驶的定位机器人，同时对用户及用户所处的大空间进行跟踪拍摄及识别定位，从而对用户实现虚拟现实大空间定位，其中，随动的定位机器人拓宽了拍摄范围，且由于无须布设大量摄像头，降低了虚拟现实大空间定位方案的推广应用成本。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于SLAM的虚拟现实大空间定位系统的结构示意图。如图3所示，该基于SLAM的虚拟现实大空间定位系统可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
其中，处理器302调用存储器301中存储的可执行程序代码，执行图1所示的一种基于SLAM的虚拟现实大空间定位方法的部分步骤。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1所示的一种基于SLAM的虚拟现实大空间定位方法的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于SLAM的虚拟现实大空间定位方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于SLAM的虚拟现实大空间定位方法，其特征在于，包括：
拍摄红外影像及环境影像；
根据所述红外影像确定用户的视角及空间位置作为用户定位数据；
识别所述环境影像得到大空间数据；
根据所述用户定位数据及所述大空间数据制订行进路径；
在所述行进路径上构建即时地图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述红外影像确定用户的视角及空间位置作为用户定位数据，包括：
记录所述红外影像中若干红外标记点的空间位置，其中，所述若干红外标记点固定于所述用户佩戴的头显之上；
根据每一所述红外标记点的空间位置的相对位置信息，推导出所述头显朝向并根据所述头显朝向确定所述用户的视角；
记录每一所述红外标记点的空间位置在所述红外影像中的运动轨迹，得到所述用户的空间位置；
综合所述用户的视角及所述用户的空间位置得到所述用户定位数据。
3.根据权利要求1所述的方法，其特征在于，所述识别所述环境影像得到大空间数据，包括：
提取所述环境影像的深度信息；
根据所述深度信息确定所述环境影像中所包括物体的空间位置作为所述大空间数据。
4.根据权利要求1所述的方法，其特征在于，所述在所述行进路径上构建即时地图，包括：
监测所述若干红外标记点是否均处于所述红外影像的预设跟踪区域内；
若否，根据所述若干红外标记点相对所述预设跟踪区域的相对位置信息，确定姿态调整方案；
根据所述姿态调整方案调整拍摄姿态，拍摄得到所述红外影像及所述环境影像，其中，所述红外影像及所述环境影像的拍摄视角一致；
同步所述红外影像包括的所述用户定位数据及所述环境影像包括的大空间数据，构建所述即时地图。
5.根据权利要求1~4任一项所述的方法，其特征在于，在所述行进路径上构建即时地图之后，所述方法还包括：
生成对应于所述即时地图及所述用户定位数据的虚拟现实影像；
向所述用户输出所述虚拟现实影像。
6.一种基于SLAM的虚拟现实大空间定位系统，其特征在于，包括：
拍摄单元，用于拍摄红外影像及环境影像；
用户定位单元，用于根据所述红外影像确定用户的视角及空间位置作为用户定位数据；
空间识别单元，用于识别所述环境影像得到大空间数据；
路径制订单元，用于根据所述用户定位数据及所述大空间数据制订行进路径；
地图构建单元，用于在所述行进路径上构建即时地图。
7.根据权利要求6所述的系统，其特征在于，所述用户定位单元包括：
标记记录子单元，用于记录所述红外影像中若干红外标记点的空间位置，其中，所述若干红外标记点固定于所述用户佩戴的头显之上；
视角确定子单元，用于根据每一所述红外标记点的空间位置的相对位置信息，推导出所述头显朝向并根据所述头显朝向确定所述用户的视角；
轨迹记录子单元，用于记录每一所述红外标记点的空间位置在所述红外影像中的运动轨迹，得到所述用户的空间位置；
用户定位子单元，用于综合所述用户的视角及所述用户的空间位置得到所述用户定位数据。
8.根据权利要求6所述的系统，其特征在于，所述空间识别单元包括：
深度提取子单元，用于提取所述环境影像的深度信息；
空间识别子单元，用于根据所述深度信息确定所述环境影像中所包括物体的空间位置作为所述大空间数据。
9.根据权利要求6所述的系统，其特征在于，所述地图构建单元包括：
红外跟踪子单元，用于监测所述若干红外标记点是否均处于所述红外影像的预设跟踪区域内；
姿态规划子单元，用于在监测到存在任一所述红外标记点不处于所述红外影像的预设跟踪区域内时，根据所述若干红外标记点相对所述预设跟踪区域的相对位置信息，确定姿态调整方案；
姿态调整子单元，用于根据所述姿态调整方案调整拍摄所述红外影像及所述环境影像的拍摄姿态，其中，所述红外影像及所述环境影像的拍摄视角一致；
地图构建子单元，用于同步所述红外影像包括的所述用户定位数据及所述环境影像包括的大空间数据，构建所述即时地图。
10.根据权利要求6~9任一项所述的系统，其特征在于，所述系统还包括：
影像生成单元，用于生成对应于所述即时地图及所述用户定位数据的虚拟现实影像；
影像输出单元，用于向所述用户输出所述虚拟现实影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131543.2A CN111399637A (zh) | 2020-02-28 | 2020-02-28 | 一种基于slam的虚拟现实大空间定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010131543.2A CN111399637A (zh) | 2020-02-28 | 2020-02-28 | 一种基于slam的虚拟现实大空间定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111399637A true CN111399637A (zh) | 2020-07-10 |
Family
ID=71434081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010131543.2A Pending CN111399637A (zh) | 2020-02-28 | 2020-02-28 | 一种基于slam的虚拟现实大空间定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111399637A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159450A (zh) * | 2015-08-25 | 2015-12-16 | 中国运载火箭技术研究院 | 一种便携式可交互桌面级虚拟现实系统 |
| CN109664291A (zh) * | 2017-10-13 | 2019-04-23 | 南京敏光视觉智能科技有限公司 | 一种机器人的引导方法 |
| US20190197768A1 (en) * | 2017-12-22 | 2019-06-27 | Sony Interactive Entertainment Inc. | Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot |
-
2020
- 2020-02-28 CN CN202010131543.2A patent/CN111399637A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159450A (zh) * | 2015-08-25 | 2015-12-16 | 中国运载火箭技术研究院 | 一种便携式可交互桌面级虚拟现实系统 |
| CN109664291A (zh) * | 2017-10-13 | 2019-04-23 | 南京敏光视觉智能科技有限公司 | 一种机器人的引导方法 |
| US20190197768A1 (en) * | 2017-12-22 | 2019-06-27 | Sony Interactive Entertainment Inc. | Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423586B2 (en) | Augmented reality vision system for tracking and geolocating objects of interest | |
| CN103398717B (zh) | 全景地图数据库采集系统及基于视觉的定位、导航方法 | |
| KR102262824B1 (ko) | 깊이 힌트를 사용하는 깊이 추정 모델의 자가 감독 훈련 | |
| CN106682572B (zh) | 目标跟踪方法、系统和第一电子设备 | |
| US9880010B2 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
| KR102515213B1 (ko) | 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐 | |
| US9240074B2 (en) | Network-based real time registered augmented reality for mobile devices | |
| US7071970B2 (en) | Video augmented orientation sensor | |
| CN107657640A (zh) | 基于orb slam的智能巡防巡检管理方法 | |
| CN105393284A (zh) | 基于人类身体数据的空间雕刻 | |
| JP2015001760A (ja) | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 | |
| CN109298629A (zh) | 用于为自主和非自主位置意识提供鲁棒跟踪的容错 | |
| Oskiper et al. | Augmented reality binoculars | |
| KR20150013709A (ko) | 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템 | |
| WO2018134686A2 (en) | Systems, methods, device and apparatuses for performing simultaneous localization and mapping | |
| CN110553648A (zh) | 一种用于室内导航的方法和系统 | |
| US20160368602A1 (en) | Camera drone systems and methods for maintaining captured real-time images vertical | |
| CN111399637A (zh) | 一种基于slam的虚拟现实大空间定位方法及系统 | |
| EP3430591A1 (en) | System for georeferenced, geo-oriented real time video streams | |
| CN112788443A (zh) | 基于光通信装置的交互方法和系统 | |
| CN108475410B (zh) | 三维立体水印添加方法、装置及终端 | |
| US9792701B2 (en) | Method and system for determining a relation between a first scene and a second scene | |
| CN114964249A (zh) | 一种三维数字地图与实时光电视频同步关联方法 | |
| KR102181809B1 (ko) | 시설물 점검 장치 및 방법 | |
| KR102408478B1 (ko) | 경로 추정 방법 및 이를 이용하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200710 |
|
| WD01 | Invention patent application deemed withdrawn after publication |