CN111161421A - 一种基于ar的移动端在线空间漫游方法 - Google Patents
一种基于ar的移动端在线空间漫游方法 Download PDFInfo
- Publication number
- CN111161421A CN111161421A CN201911266387.4A CN201911266387A CN111161421A CN 111161421 A CN111161421 A CN 111161421A CN 201911266387 A CN201911266387 A CN 201911266387A CN 111161421 A CN111161421 A CN 111161421A
- Authority
- CN
- China
- Prior art keywords
- space
- image capturing
- coordinate system
- dimensional coordinate
- capturing end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种基于AR的移动端在线空间漫游方法，采用全新设计策略，根据二维图像、以及移动图像捕获端的成像参数，构建图像二维坐标系与实际空间三维坐标系之间的变换矩阵，在有限的实际三维地理空间中，实现不同虚拟交互场景空间的高效切换，并实现移动图像捕获端在实际空间中位移到虚拟交互场景空间中位移的快速响应，从而实现同一交互空间与不同数字室内场景之间的交互和漫游操作，提升了虚拟空间漫游的真实性。
Description
技术领域
本发明涉及一种基于AR的移动端在线空间漫游方法，属于AR成像技术领域。
背景技术
AR(Augmented Reality)增强现实，是一种实时地计算摄像机的位置及角度，并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
目前使用比较多的AR实现是基于计算机视觉的AR，此方法主要是基于图像识别和图像融合处理来实现增强现实，其数据量较大，交互实现复杂，实际效果响应慢，没法真正实现AR互动的效果。
发明内容
本发明所要解决的技术问题是提供一种基于AR的移动端在线空间漫游方法，采用全新设计方法，能够实现快速灵活的虚拟现实交互，提升虚拟空间漫游的真实性。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于AR的移动端在线空间漫游方法，基于内置惯性传感器的移动图像捕获端实现在AR虚拟空间中的移动，伴随移动图像捕获端在不同实际空间中的切换，分别实时执行如下步骤：
步骤A.获得移动图像捕获端所捕获二维图像中任意一对象、在该图像二维坐标系下的坐标，同时，结合移动图像捕获端的成像参数，获得该对象在图像中的深度，进而获得该对象在以移动图像捕获端为原点所构建三维坐标系下的坐标，作为该对象在成像空间三维坐标系下的坐标，然后进入步骤B；
步骤B.获得移动图像捕获端在实际空间三维坐标系下的坐标，结合该对象在成像空间三维坐标系下的坐标，获得该对象在实际空间三维坐标系下的坐标，进而根据该对象分别在成像空间三维坐标系下的坐标、以及在实际空间三维坐标系下的坐标，获得图像二维坐标系与实际空间三维坐标系之间的变换矩阵，然后进入步骤C；
步骤C.针对移动图像捕获端所捕获的实时二维图像，结合移动图像捕获端的成像参数，以及图像二维坐标系与实际空间三维坐标系之间的变换矩阵，获得实时二维图像所对应的实际三维地理空间数据，然后进入步骤D；
步骤D.构建实际空间三维地理数据与所调用虚拟交互场景空间数据之间的映射关系，并加载该虚拟交互场景，然后进入步骤E；
步骤E.通过移动图像捕获端中的内置惯性传感器，实时获得移动图像捕获端在实际空间三维坐标系下的位移，并结合实际空间三维地理数据与所调用虚拟交互场景空间数据之间的映射关系，获得移动图像捕获端在虚拟交互场景空间中的相应实时位移，实现移动图像捕获端在虚拟交互场景空间中的漫游。
作为本发明的一种优选技术方案：所述步骤E中，在实时获得移动图像捕获端在虚拟交互场景空间中相应实时位移的同时，周期结合移动图像捕获端在实际空间三维坐标系下的坐标，针对移动图像捕获端在虚拟交互场景空间中相应实时位移进行修正。
作为本发明的一种优选技术方案：所述移动图像捕获端的成像参数包括图像深度、图像焦点、以及图像捕获端当前角度。
作为本发明的一种优选技术方案：所述移动图像捕获端在实际空间三维坐标系下坐标的获得，通过移动图像捕获端内置的卫星定位装置进行获得。
作为本发明的一种优选技术方案：所述卫星定位装置为GPS卫星定位装置或北斗卫星定位装置。
作为本发明的一种优选技术方案：所述惯性传感器包括加速度传感器和陀螺仪传感器。
作为本发明的一种优选技术方案：所述移动图像捕获端用于图像的捕获、其在实际空间三维坐标系下坐标的获得、其在实际空间三维坐标系下的位移、以及对虚拟交互场景的成像，上述步骤A至步骤E中的其余步骤均有后台服务器完成，移动图像捕获端与后台服务器之间进行数据传输交互。
本发明所述一种基于AR的移动端在线空间漫游方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计基于AR的移动端在线空间漫游方法，采用全新设计策略，根据二维图像、以及移动图像捕获端的成像参数，构建图像二维坐标系与实际空间三维坐标系之间的变换矩阵，在有限的实际三维地理空间中，实现不同虚拟交互场景空间的高效切换，并实现移动图像捕获端在实际空间中位移到虚拟交互场景空间中位移的快速响应，从而实现同一交互空间与不同数字室内场景之间的交互和漫游操作，提升了虚拟空间漫游的真实性。
附图说明
图1是本发明设计基于AR的移动端在线空间漫游方法中的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于AR的移动端在线空间漫游方法，基于内置惯性传感器的移动图像捕获端实现在AR虚拟空间中的移动，伴随移动图像捕获端在不同实际空间中的切换，如图1所示，分别实时执行如下步骤A至步骤E。
步骤A.获得移动图像捕获端所捕获二维图像中任意一对象、在该图像二维坐标系下的坐标，同时，结合移动图像捕获端的成像参数，获得该对象在图像中的深度，进而获得该对象在以移动图像捕获端为原点所构建三维坐标系下的坐标，作为该对象在成像空间三维坐标系下的坐标，然后进入步骤B。
步骤B.通过内置的卫星定位模块，诸如GPS卫星定位装置或北斗卫星定位装置，获得移动图像捕获端在实际空间三维坐标系下的坐标，结合该对象在成像空间三维坐标系下的坐标，获得该对象在实际空间三维坐标系下的坐标，进而根据该对象分别在成像空间三维坐标系下的坐标、以及在实际空间三维坐标系下的坐标，获得图像二维坐标系与实际空间三维坐标系之间的变换矩阵，然后进入步骤C。
实际应用中，移动图像捕获端的成像参数包括图像深度、图像焦点、以及图像捕获端当前角度。
步骤C.针对移动图像捕获端所捕获的实时二维图像，结合移动图像捕获端的成像参数，以及图像二维坐标系与实际空间三维坐标系之间的变换矩阵，获得实时二维图像所对应的实际三维地理空间数据，然后进入步骤D。
步骤D.构建实际空间三维地理数据与所调用虚拟交互场景空间数据之间的映射关系，并加载该虚拟交互场景，然后进入步骤E。
实际应用中，即根据实际空间三维地理数据和虚拟交互场景空间数据，建立坐标系以及空间大小之间的映射关系，主要是通过变换矩阵建立坐标之间的对应关系Vr＝MT*var，其中Vr表示移动图像捕获端进行增强现实交互操作的实际地理空间区域坐标，var表示虚拟交互场景空间中的三维空间坐标数据，MT代表两种坐标之间的变换矩阵。
步骤E.通过移动图像捕获端中的内置包括加速度传感器和陀螺仪传感器的惯性传感器，由方向数据和加速度数据，实时获得移动图像捕获端在实际空间三维坐标系下的位移，并结合实际空间三维地理数据与所调用虚拟交互场景空间数据之间的映射关系，获得移动图像捕获端在虚拟交互场景空间中的相应实时位移，实现移动图像捕获端在虚拟交互场景空间中的漫游。
上述步骤E在实际应用中，在实时获得移动图像捕获端在虚拟交互场景空间中相应实时位移的同时，周期结合移动图像捕获端在实际空间三维坐标系下的坐标，针对移动图像捕获端在虚拟交互场景空间中相应实时位移进行修正。
基于上述步骤A至步骤E的实时执行，从而实现用户在实际空间中的前进、后退和左右转动时，获得对应于虚拟交互场景中执行相应的操作和场景加载。
用户交互操作的数据可以根据实际三维空间中的参考原点数据与相对距离和方向计算用户的绝对位置坐标，然后映射成为虚拟交互场景空间中的坐标。用户交互操作数据主要根据用户在某个参考位置点的移动方向和移动距离计算用户的绝对位置，采用移动图像捕获端中的惯性传感器，根据惯性传感器的姿态数据、加速度计数据，获得用户的移动朝向和一段时间内的移动距离，由于惯性传感器中的陀螺仪在计算其姿态数据时会有一定的累积误差存在，在经过一段时间之后需要根据移动图像捕获端的GPS数据，对客户端的数据进行修正，从而消除或减小累积误差对交互的影响，修正公式：
其中ΔV代表误差向量，Pt代表t时刻的移动图像捕获端的绝对空间位置，P0为移动图像捕获端开始漫游的初始参考点绝对空间位置，
向量是惯性传感器中陀螺仪获得的姿态数据，即移动图像捕获端的移动方向向量，a为移动图像捕获端的加速度值，t为用户从P0移动到Pt点的时间间隔；根据以上修正参数对P0到Pt之间的移动轨迹点进行修正，从而获得实际三维空间与虚拟交互场景空间之间的高度一致和深入交互体验。
实际应用中，移动图像捕获端用于图像的捕获、其在实际空间三维坐标系下坐标的获得、其在实际空间三维坐标系下的位移、以及对虚拟交互场景的成像，上述步骤A至步骤E中的其余步骤均有后台服务器完成，移动图像捕获端与后台服务器之间进行数据传输交互。其中对虚拟交互场景的成像来说，诸如移动图像捕获端为能联网设备，设备通过web网页方式加载后台服务器所传送的虚拟交互场景。
上述技术方案所设计基于AR的移动端在线空间漫游方法，采用全新设计策略，根据二维图像、以及移动图像捕获端的成像参数，构建图像二维坐标系与实际空间三维坐标系之间的变换矩阵，在有限的实际三维地理空间中，实现不同虚拟交互场景空间的高效切换，并实现移动图像捕获端在实际空间中位移到虚拟交互场景空间中位移的快速响应，从而实现同一交互空间与不同数字室内场景之间的交互和漫游操作，提升了虚拟空间漫游的真实性。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种基于AR的移动端在线空间漫游方法，基于内置惯性传感器的移动图像捕获端实现在AR虚拟空间中的移动，其特征在于，伴随移动图像捕获端在不同实际空间中的切换，分别实时执行如下步骤：
步骤A. 获得移动图像捕获端所捕获二维图像中任意一对象、在该图像二维坐标系下的坐标，同时，结合移动图像捕获端的成像参数，获得该对象在图像中的深度，进而获得该对象在以移动图像捕获端为原点所构建三维坐标系下的坐标，作为该对象在成像空间三维坐标系下的坐标，然后进入步骤B；
步骤B. 获得移动图像捕获端在实际空间三维坐标系下的坐标，结合该对象在成像空间三维坐标系下的坐标，获得该对象在实际空间三维坐标系下的坐标，进而根据该对象分别在成像空间三维坐标系下的坐标、以及在实际空间三维坐标系下的坐标，获得图像二维坐标系与实际空间三维坐标系之间的变换矩阵，然后进入步骤C；
步骤C. 针对移动图像捕获端所捕获的实时二维图像，结合移动图像捕获端的成像参数，以及图像二维坐标系与实际空间三维坐标系之间的变换矩阵，获得实时二维图像所对应的实际三维地理空间数据，然后进入步骤D；
步骤D. 构建实际空间三维地理数据与所调用虚拟交互场景空间数据之间的映射关系，并加载该虚拟交互场景，然后进入步骤E；
步骤E. 通过移动图像捕获端中的内置惯性传感器，实时获得移动图像捕获端在实际空间三维坐标系下的位移，并结合实际空间三维地理数据与所调用虚拟交互场景空间数据之间的映射关系，获得移动图像捕获端在虚拟交互场景空间中的相应实时位移，实现移动图像捕获端在虚拟交互场景空间中的漫游。
2.根据权利要求1所述一种基于AR的移动端在线空间漫游方法，其特征在于：在一个实施方式中，所述步骤E中，在实时获得移动图像捕获端在虚拟交互场景空间中相应实时位移的同时，周期结合移动图像捕获端在实际空间三维坐标系下的坐标，针对移动图像捕获端在虚拟交互场景空间中相应实时位移进行修正。
3.根据权利要求1所述一种基于AR的移动端在线空间漫游方法，其特征在于：在一个实施方式中，所述移动图像捕获端的成像参数包括图像深度、图像焦点、以及图像捕获端当前角度。
4.根据权利要求1所述一种基于AR的移动端在线空间漫游方法，其特征在于：在一个实施方式中，所述移动图像捕获端在实际空间三维坐标系下坐标的获得，通过移动图像捕获端内置的卫星定位装置进行获得。
5.根据权利要求4所述一种基于AR的移动端在线空间漫游方法，其特征在于：在一个实施方式中，所述卫星定位装置为GPS卫星定位装置或北斗卫星定位装置。
6.根据权利要求1所述一种基于AR的移动端在线空间漫游方法，其特征在于：在一个实施方式中，所述惯性传感器包括加速度传感器和陀螺仪传感器。
7.根据权利要求1至6中任意一项所述一种基于AR的移动端在线空间漫游方法，其特征在于：在一个实施方式中，所述移动图像捕获端用于图像的捕获、其在实际空间三维坐标系下坐标的获得、其在实际空间三维坐标系下的位移、以及对虚拟交互场景的成像，上述步骤A至步骤E中的其余步骤均有后台服务器完成，移动图像捕获端与后台服务器之间进行数据传输交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911266387.4A CN111161421A (zh) | 2019-12-11 | 2019-12-11 | 一种基于ar的移动端在线空间漫游方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911266387.4A CN111161421A (zh) | 2019-12-11 | 2019-12-11 | 一种基于ar的移动端在线空间漫游方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161421A true CN111161421A (zh) | 2020-05-15 |
Family
ID=70556978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911266387.4A Withdrawn CN111161421A (zh) | 2019-12-11 | 2019-12-11 | 一种基于ar的移动端在线空间漫游方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161421A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882569A (zh) * | 2021-01-28 | 2021-06-01 | 咪咕文化科技有限公司 | Ar交互方法、终端设备及云端地图管理系统 |
-
2019
- 2019-12-11 CN CN201911266387.4A patent/CN111161421A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882569A (zh) * | 2021-01-28 | 2021-06-01 | 咪咕文化科技有限公司 | Ar交互方法、终端设备及云端地图管理系统 |
| CN112882569B (zh) * | 2021-01-28 | 2024-02-23 | 咪咕文化科技有限公司 | Ar交互方法、终端设备及云端地图管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986161B (zh) | 一种三维空间坐标估计方法、装置、终端和存储介质 | |
| JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| US10594941B2 (en) | Method and device of image processing and camera | |
| CN109887087B (zh) | 一种车辆的slam建图方法及系统 | |
| US11748907B2 (en) | Object pose estimation in visual data | |
| CN108363946B (zh) | 基于无人机的人脸跟踪系统及方法 | |
| US8798387B2 (en) | Image processing device, image processing method, and program for image processing | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN108961423B (zh) | 虚拟信息处理方法、装置、设备及存储介质 | |
| CN112556685B (zh) | 导航路线的显示方法、装置和存储介质及电子设备 | |
| CN107545586B (zh) | 基于光场极线平面图像局部的深度获取方法及系统 | |
| CN110361005B (zh) | 定位方法、定位装置、可读存储介质及电子设备 | |
| CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| US20220067968A1 (en) | Motion capture calibration using drones with multiple cameras | |
| EP4073764A1 (en) | 3-d reconstruction using augmented reality frameworks | |
| US20220067974A1 (en) | Cloud-Based Camera Calibration | |
| GB2552058A (en) | Method and device for processing image data and driver assistance system for a vehicle | |
| CN112083403B (zh) | 用于虚拟场景的定位追踪误差校正方法及系统 | |
| CN106780629A (zh) | 一种三维全景数据采集、建模方法 | |
| CN103841297A (zh) | 一种适用于合成运动摄像载体的电子稳像方法 | |
| WO2018176929A1 (zh) | 一种图像背景虚化方法及装置 | |
| CN103900473A (zh) | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 | |
| CN107852458A (zh) | 视频帧处理 | |
| CN113348489A (zh) | 图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200515 |