CN110533719A - 基于环境视觉特征点识别技术的增强现实定位方法及装置 - Google Patents

基于环境视觉特征点识别技术的增强现实定位方法及装置 Download PDF

Info

Publication number
CN110533719A
CN110533719A CN201910750689.2A CN201910750689A CN110533719A CN 110533719 A CN110533719 A CN 110533719A CN 201910750689 A CN201910750689 A CN 201910750689A CN 110533719 A CN110533719 A CN 110533719A
Authority
CN
China
Prior art keywords
data
equipment
scene
recognition technology
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910750689.2A
Other languages
English (en)
Other versions
CN110533719B (zh
Inventor
蒋童
罗锋
张勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijian Technology (shanghai) Co Ltd
Original Assignee
Yijian Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijian Technology (shanghai) Co Ltd filed Critical Yijian Technology (shanghai) Co Ltd
Publication of CN110533719A publication Critical patent/CN110533719A/zh
Application granted granted Critical
Publication of CN110533719B publication Critical patent/CN110533719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于环境视觉特征点识别技术的增强现实定位方法及装置,涉及虚拟现实技术领域。本发明的基于环境视觉特征点识别技术的增强现实定位方法包括:基于即时定位与地图构建方法获取现实场景的三维空间位置数据;获取现实场景的环境描述文件;建立所述环境描述文件与虚拟场景的世界坐标系的对应关系;根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据。本发明的基于环境视觉特征点识别技术的增强现实定位方法及装置解决室内场景中AR设备不能实时定位的问题,提高了虚拟世界与现实世界叠加的准确性。

Description

基于环境视觉特征点识别技术的增强现实定位方法及装置
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种基于环境视觉特征点识别技术的增强现实定位方法及装置。
背景技术
增强现实技术(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目前这种技术已经获得了较为成熟的发展,主要体现在各种AR眼镜、AR头盔等产品上。但在室内应用AR设备时,由于没有GPS信号,且UWB、蓝牙等有源定位方式定位精度不高,使得AR设备不能实时定位,导致虚拟世界与现实世界叠加不够及时、不准确的问题。
发明内容
本发明实施例提供一种基于环境视觉特征点识别技术的增强现实定位方法及装置,以解决室内场景中AR设备不能实时定位,导致虚拟世界与现实世界叠加不够及时以及不准确的问题。
为了解决上述室内场景中AR设备定位存在的技术问题,本发明采用如下技术方案:
一方面,本发明的实施例提供了一种基于环境视觉特征点识别技术的增强现实定位方法,包括:
基于即时定位与地图构建方法获取现实场景的三维空间位置数据;
获取现实场景的环境描述文件;
建立所述环境描述文件与虚拟场景的世界坐标系的对应关系;
根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据。
在一些实施例中,所述基于即时定位与地图构建方法获取现实场景的三维空间位置数据的步骤包括:
获取现实场景中AR设备的轨迹与姿态数据;
获取现实场景中AR设备的位移数据;
对所述AR设备的轨迹与姿态数据以及所述AR设备的位移数据进行几何变换得到所述现实场景的三维空间位置数据。
在一些实施例中,所述获取现实场景中AR设备的轨迹与姿态数据的步骤包括:
根据不同图像帧计算得到AR设备的惯性测量数据;
对所述AR设备的惯性测量数据进行预积分处理得到所述AR设备的轨迹与姿态数据。
在一些实施例中,所述获取现实场景中AR设备的位移数据的步骤包括:
根据连续图像帧建立图像特征光流方程;
计算所述图像特征光流方程得到所述AR设备的位移数据。
在一些实施例中,采用标准透视变换的矩阵方程对所述AR设备的轨迹与姿态数据以及所述AR设备的位移数据进行几何变换处理。
在一些实施例中,所述获取现实场景的环境描述文件的步骤包括:
记录时刻t以及对应时刻t的AR设备的相机所拍摄的图像特征点在相机坐标系的归一化坐标;
根据记录的所述时刻t以及所述归一化坐标建立索引树以形成所述环境描述文件。
在一些实施例中,所述建立所述环境描述文件与虚拟场景的世界坐标系的对应关系的步骤包括:
将所述相机的当前位置作为所述虚拟场景中的世界坐标系的原点;
获取所述相机的当前位置的三维空间坐标;
根据所述虚拟场景中的世界坐标系的原点以及所述相机的当前位置的三维空间坐标建立所述环境描述文件与虚拟场景的世界坐标系的对应关系。
在一些实施例中,所述根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据的步骤之后还包括:
计算所述三维空间位置数据与所述世界坐标数据的偏移量;
根据所述偏移量调整虚拟摄像头的偏转量以使所述虚拟摄像头的姿态与所述AR设备的姿态对齐。
另一方面,本发明实施例还提供了一种基于环境视觉特征点识别技术的增强现实定位装置,包括:
位置数据获取模块,用于基于即时定位与地图构建方法获取现实场景的三维空间位置数据;
环境描述文件获取模块,用于获取现实场景的环境描述文件;
对应关系建立模块,用于建立所述环境描述文件与虚拟场景的世界坐标系的对应关系;
数据转换模块,用于根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据。
在一些实施例中,本发明实施例的用于室内场景的增强现实定位装置还包括:
计算模块,用于计算所述三维空间位置数据与所述世界坐标数据的偏移量;
调整模块,用于根据所述偏移量调整虚拟摄像头的偏转量以使所述虚拟摄像头的姿态与所述AR设备的姿态对齐。
本发明实施例的基于环境视觉特征点识别技术的增强现实定位方法首先基于即时定位与地图构建方法进行现实场景的建图与定位,获取得到现实场景的三维空间位置数据,之后从现实场景中获得环境描述文件(area description file),该环境描述文件中包含图像特征点的位置信息和坐标轴信息,以及处于此坐标系中相机应该复原的姿态,然后将环境描述文件与AR系统进行对接,建立环境描述文件与虚拟场景的世界坐标系的对应关系,最后利用对应关系将三维空间位置数据转化为虚拟场景(即AR场景)中的世界坐标数据,从而实现增强现实场景与真实场景的高精度叠加,以及室内实时定位。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获取其他的附图。
图1是本发明的基于环境视觉特征点识别技术的增强现实定位方法的一些实施例的流程示意图;
图2是本发明的基于环境视觉特征点识别技术的增强现实定位方法的步骤100的一些实施例的流程示意图;
图3是本发明的基于环境视觉特征点识别技术的增强现实定位方法的步骤200的一些实施例的流程示意图;
图4是本发明的基于环境视觉特征点识别技术的增强现实定位方法的步骤300的一些实施例的流程示意图;
图5是本发明的基于环境视觉特征点识别技术的增强现实定位方法的另一些实施例的流程示意图;
图6是本发明的基于环境视觉特征点识别技术的增强现实定位装置的一些实施例的结构示意图;
图7是本发明的环境描述文件的一些实施例的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
下面首先对本发明一些实施例提供的基于环境视觉特征点识别技术的增强现实定位方法进行说明。如图1所示,本发明的实施例提供了一种基于环境视觉特征点识别技术的增强现实定位方法,包括:
步骤100:基于即时定位与地图构建方法获取现实场景的三维空间位置数据;
步骤200:获取现实场景的环境描述文件;
步骤300:建立环境描述文件与虚拟场景的世界坐标系的对应关系;
步骤400:根据对应关系将三维空间位置数据转化成虚拟场景的世界坐标数据。
本发明实施例的基于环境视觉特征点识别技术的增强现实定位方法首先基于即时定位与地图构建方法进行现实场景的建图与定位,获取得到现实场景的三维空间位置数据,之后从现实场景中获得环境描述文件(area description file),该环境描述文件中包含图像特征点的位置信息和坐标轴信息,以及处于此坐标系中相机应该复原的姿态,然后将环境描述文件与AR系统进行对接,建立环境描述文件与虚拟场景的世界坐标系的对应关系,最后利用对应关系将三维空间位置数据转化为虚拟场景(即AR场景)中的世界坐标数据,从而实现增强现实场景与真实场景的高精度叠加,以及室内实时定位。
对于AR移动设备而言,在室内场景,无法依靠GPS设备进行精确的定位和导航服务,因此需要进行自定位。而在机器人领域,这个问题被定义为即时定位与地图构建(simultaneous localization and mapping,即SLAM),SLAM问题可以描述为:机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图,实现机器人的自主定位和导航。对于一个SLAM问题,根据其使用的传感器的不同,主要有三种解决方法:基于RGBD相机的SLAM,基于激光点云的SLAM,以及基于视觉的SLAM。基于视觉的SLAM需要结合视觉惯性里程计(Visual–Inertial Odometry,即VIO),其又分为基于单目摄像头、双目摄像头和RGBD摄像头三种。三种摄像头的视觉SLAM方案各有优劣:
基于单目摄像头的视觉SLAM方案的优点是成本低,距离不受限制,缺点是尺度不确定性,初始化问题;
双目摄像头的视觉SLAM方案的优点是计算深度,距离不受限制,缺点是配置复杂,计算量大;
RGBD摄像头的视觉SLAM方案的主动测量深度,测量距离和范围受限制,受日光干扰,受材质干扰。
对于大多数AR移动设备而言,更普遍的情况是只拥有一个摄像头。因此,在本实施例首先选择基于单目摄像头的SLAM方法。
在一些实施例中,如图2所示,本发明实施例的基于环境视觉特征点识别技术的增强现实定位方法的步骤100包括:
步骤101:获取现实场景中AR设备的轨迹与姿态数据;
步骤102:获取现实场景中AR设备的位移数据;
步骤103:对AR设备的轨迹与姿态数据以及AR设备的位移数据进行几何变换得到现实场景的三维空间位置数据。
对于AR移动设备的SLAM建图与定位时,有两类数据需要测量获取,第一类是后置摄像头采集到的视频帧(即图片),还有一类是AR移动设备内置的加速度计、陀螺仪、磁力计等惯性测量元件(Inertial measurement unit,简称IMU)。在建图和定位的过程中,我们既识别和追踪不同帧图像的特征点差异,同时IMU的测量数据也一直在进行数据处理和优化。根据这两类数据我们可以计算得到现实场景中AR设备的轨迹与姿态数据以及AR设备的位移数据,从而推导得到现实场景的三维空间位置数据。
可选地,本发明的实施例的基于环境视觉特征点识别技术的增强现实定位方法的步骤101包括:
步骤1011:根据不同图像帧计算得到AR设备的惯性测量数据;
步骤1012:对AR设备的惯性测量数据进行预积分处理得到AR设备的轨迹与姿态数据。
在本实施例中通过对IMU的测量数据进行预积分与优化可以得到AR设备的轨迹与姿态数据,具体计算过程为:
计算两图像帧之间IMU的相对变化,其中角速度为加速度为测量偏差为b,噪声为η,不同时刻为t,则
K和K+1代表相邻图像帧bk和bk+1代表四元数的累乘操作,常见的,通过以下式子,我们能够预积分获得任意两图像帧之间AR移动设备的姿态和速度,其中α,β,γ表示流程、线速度、角速度与上述影响因子的关系。
本实施例中我们做出的优化有:1)通过分段的积分,减少了漂移;2)将重力加速度g提取到了积分外面,减少了计算量;3)生成加速度方向的方向向量,对方向向量进行积分,则可以形成轨迹,在忽略图像特征情况下,对于IMU的预积分,有效得到了对AR移动设备在未知空间中的姿态与轨迹。
在一些实施例中,本发明的实施例的基于环境视觉特征点识别技术的增强现实定位方法的步骤102包括:
步骤1021:根据连续图像帧建立图像特征光流方程;
步骤1022:计算图像特征光流方程得到AR设备的位移数据。
本实施例中通过对连续图像帧中图像特征点的监测与追踪获取得到AR设备的位移数据。我们默认AR移动设备有单目摄像头,并以每秒30帧的速度从视频流中获取图像,不同的图像帧中,很多的低级特征,例如边,角,团,脊会比一个像素的灰度值所带有的信息多的多。在不同的应用,一些特征会比其它特征更加的有用。一旦想好我们想要的特征的构成,我们就要想办法在图片里找到我们想要的特征。考虑到在30FPS的情况下,有如下假设:1、连续的两帧图像之间,目标像素亮度不便;2.相邻的像素之间有相似的运动。
考虑第一帧的像素I(x,y,t)表示在时间t时像素I(x,y)的值,在经过时间dt后,此像素在下一帧移动了(dx,dy)。由于这些像素是相同的,而且亮度不变,表示成:I(x,y,t)=I(x+dx,y+dy,t+dt)。
假设移动很小,使用泰勒公式可以表示成:
其中,H.O.T是高阶无穷小,由第一个假设和使用泰勒公式展开的式子可以得到:
我们做如下变换令:
则可以得到光流方程:
fxu+fyv+ft=0
其中,fx和fx为图像的梯度,ft为图像沿着时间的梯度。
这个方程可以用已有的计算稀疏特征集光流的Lucas-Kanade方法来计算从而给出连续图像间的估计的水平和垂直位移,给出每个视频流里图像帧的位移矩阵{δx,δy}。
在一些实施例中,本发明的实施例的基于环境视觉特征点识别技术的增强现实定位方法中采用标准透视变换的矩阵方程对AR设备的轨迹与姿态数据以及AR设备的位移数据进行几何变换处理。
从空间三维点经过世界坐标系到相机坐标系的转换,以及透视投影和相机的镜头畸变得到最终的2维点。前者称为外参数,后者成为内参数,两者的乘积称为camera matrix相机矩阵。内参数主要为焦距、主点等。畸变参数的主要成分为径向畸变,一般到第一项就可以。外参数中旋转矩阵满足单位正交性质,这些性质在标定相机内外参数时会用到。
上式为标准透视变换的矩阵方程,通过以上矩阵变换方程,可以将通过IMU测量出来的轨迹与姿态{α,β,γ}以及通过图像特征光流法测量出来的位移数据{δx,δy}变为三维空间内的{x,y,z}。
在一些实施例中,如图3所示,本发明的实施例的基于环境视觉特征点识别技术的增强现实定位方法的步骤200包括:
步骤201:记录时刻t以及对应时刻t的AR设备的相机所拍摄的图像特征点在相机坐标系的归一化坐标;
步骤202:根据记录的时刻t以及归一化坐标建立索引树以形成环境描述文件。
本实施例中构造环境描述文件是对于每个t时刻,记录t时刻的相机ID和相机所看到的图像特征点在相机坐标系的归一化坐标,其中相机ID号即为t,特征点位置为x,y,z。之后根据记录的时刻t以及归一化坐标建立索引树形成的环境描述文件,如图7所示。
在一些实施例中,如图4所示,本发明的实施例的基于环境视觉特征点识别技术的增强现实定位方法的步骤300包括:
步骤301:将相机的当前位置作为虚拟场景中的世界坐标系的原点;
步骤302:获取相机的当前位置的三维空间坐标;
步骤303:根据虚拟场景中的世界坐标系的原点以及相机的当前位置的三维空间坐标建立环境描述文件与虚拟场景的世界坐标系的对应关系。
本实施例中步骤300用于完成将环境文件与AR系统的对接,对于一个真实的世界来说,是存在世界坐标系的,在每次开机后,通过步骤100AR移动设备可以获得当前时刻的图像特征信息和IMU信息,我们构建了一个方法,使得保存后的叶子节点存储着相机ID和图像特征点list。建好kmeans树后,对环境描述文件中的每幅图像的每个特征点,根据visualword的检索方法,检索到最为相似的叶子节点,叶子节点会存下这个特征点的数据(相机id和图像特征id,权重)。最后每个叶子节点里保存有一个list,包含一系列图像。实际运行时,当新的图像加入到图像数据库中的时候,反向索引就会更新。
反向索引用于提取与给定图像相似的图像,通过投票机制,选取候选者,而不需要计算与所有图像之间的相似度,加速搜索。
这样就完成了实时建立的直角坐标系与保存好的AR中世界坐标系的统一,将AR中世界坐标系的原点设置为相机镜头当前的位置,相机镜头当前的位置可在空间直角坐标系内获得坐标,从而可以将AR物体相对于AR中世界坐标系的坐标转换为空间直角坐标系内的坐标,从而将AR物体坐标与空间直角坐标系进行统一。
具体地:
将特征点们分成了n(n等于第4层node的个数)个簇,每个簇都有id号,也就是NodeId。匹配时从关键帧中选择一个簇,从当前帧选择NodeId号一样的簇,对这两个簇里的特征点进行匹配,词袋模型就是这样子减少了匹配的范围。如果层数选择了根节点,相对于一幅图像只有一个簇,没有优化。
两个簇的特征点的匹配是暴力的逐个对比,算描述子之间的距离。对于关键帧中的每一个特征点,算出与当前帧特征点的描述子的距离,保存下最小距离和倒数第二小距离,成功匹配的要求是:最小距离小于一个误差阈值。
在一些实施例中,如图5所示,本发明的实施例的基于环境视觉特征点识别技术的增强现实定位方法的步骤400之后还包括:
步骤500:计算三维空间位置数据与世界坐标数据的偏移量;
步骤600:根据偏移量调整虚拟摄像头的偏转量以使虚拟摄像头的姿态与AR设备的姿态对齐。
AR图像在真实位置的叠加,对于每一个在真实世界中存在的固定物体,如建筑物等,都有一个固定的空间坐标,即其统一尺度下的空间直角坐标系坐标是固定的,相对来说,坐标系下的坐标对应的AR世界的XYZ(AR世界坐标系的坐标)也是固定的。
对于手机读取的视频帧而言,真实位置上既有现实位置坐标又有虚拟位置坐标,两者一致的映射关系成为而后感知交互顺利进行的先决条件。
本实施例通过将渲染3D内容的虚拟摄像头的姿态与真实位置的物体姿态对齐,即可达到AR图像在真实位置的叠加。
本实施例将作为参照的真实世界的固定物体的空间直角坐标系坐标换算为位于AR中世界坐标系的坐标,再计算这两个坐标的偏移量,然后通过调节渲染3D内容的虚拟摄像头按照上述偏移量进行偏转对齐即可,也就是将渲染3D内容的虚拟摄像头的姿态与真实位置的物体姿态对齐,从而实现高精度的叠加。
另一方面,如图6所示,本发明实施例还提供了一种基于环境视觉特征点识别技术的增强现实定位装置,包括:
位置数据获取模块10,用于基于即时定位与地图构建方法获取现实场景的三维空间位置数据;
环境描述文件获取模块20,用于获取现实场景的环境描述文件;
对应关系建立模块30,用于建立环境描述文件与虚拟场景的世界坐标系的对应关系;
数据转换模块40,用于根据对应关系将三维空间位置数据转化成虚拟场景的世界坐标数据。
在一些实施例中,如图6所示,本发明实施例的用于室内场景的增强现实定位装置还包括:
计算模块50,用于计算三维空间位置数据与世界坐标数据的偏移量;
调整模块60,用于根据偏移量调整虚拟摄像头的偏转量以使虚拟摄像头的姿态与AR设备的姿态对齐。
本发明实施例的基于环境视觉特征点识别技术的增强现实定位装置首先通过位置数据获取模块实现现实场景的建图与定位,获取得到现实场景的三维空间位置数据,之后环境描述文件获取模块从现实场景中获得环境描述文件(area description file),该环境描述文件中包含图像特征点的位置信息和坐标轴信息,以及处于此坐标系中相机应该复原的姿态,然后对应关系建立模块将环境描述文件与AR系统进行对接,建立环境描述文件与虚拟场景的世界坐标系的对应关系,最后数据转换模块将三维空间位置数据转化为虚拟场景(即AR场景)中的世界坐标数据,从而实现增强现实场景与真实场景的高精度叠加,以及室内实时定位。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,包括:
基于即时定位与地图构建方法获取现实场景的三维空间位置数据;
获取现实场景的环境描述文件;
建立所述环境描述文件与虚拟场景的世界坐标系的对应关系;
根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据。
2.如权利要求1所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,所述基于即时定位与地图构建方法获取现实场景的三维空间位置数据的步骤包括:
获取现实场景中AR设备的轨迹与姿态数据;
获取现实场景中AR设备的位移数据;
对所述AR设备的轨迹与姿态数据以及所述AR设备的位移数据进行几何变换得到所述现实场景的三维空间位置数据。
3.如权利要求2所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,所述获取现实场景中AR设备的轨迹与姿态数据的步骤包括:
根据不同图像帧计算得到AR设备的惯性测量数据;
对所述AR设备的惯性测量数据进行预积分处理得到所述AR设备的轨迹与姿态数据。
4.如权利要求2所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,所述获取现实场景中AR设备的位移数据的步骤包括:
根据连续图像帧建立图像特征光流方程;
计算所述图像特征光流方程得到所述AR设备的位移数据。
5.如权利要求2所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,采用标准透视变换的矩阵方程对所述AR设备的轨迹与姿态数据以及所述AR设备的位移数据进行几何变换处理。
6.如权利要求1所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,所述获取现实场景的环境描述文件的步骤包括:
记录时刻t以及对应时刻t的AR设备的相机所拍摄的图像特征点在相机坐标系的归一化坐标;
根据记录的所述时刻t以及所述归一化坐标建立索引树以形成所述环境描述文件。
7.如权利要求6所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,所述建立所述环境描述文件与虚拟场景的世界坐标系的对应关系的步骤包括:
将所述相机的当前位置作为所述虚拟场景中的世界坐标系的原点;
获取所述相机的当前位置的三维空间坐标;
根据所述虚拟场景中的世界坐标系的原点以及所述相机的当前位置的三维空间坐标建立所述环境描述文件与虚拟场景的世界坐标系的对应关系。
8.如权利要求1所述的基于环境视觉特征点识别技术的增强现实定位方法,其特征在于,所述根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据的步骤之后还包括:
计算所述三维空间位置数据与所述世界坐标数据的偏移量;
根据所述偏移量调整虚拟摄像头的偏转量以使所述虚拟摄像头的姿态与所述AR设备的姿态对齐。
9.一种基于环境视觉特征点识别技术的增强现实定位装置,其特征在于,包括:
位置数据获取模块,用于基于即时定位与地图构建方法获取现实场景的三维空间位置数据;
环境描述文件获取模块,用于获取现实场景的环境描述文件;
对应关系建立模块,用于建立所述环境描述文件与虚拟场景的世界坐标系的对应关系;
数据转换模块,用于根据所述对应关系将所述三维空间位置数据转化成虚拟场景的世界坐标数据。
10.根据权利要求9所述的基于环境视觉特征点识别技术的增强现实定位装置,其特征在于,还包括:
计算模块,用于计算所述三维空间位置数据与所述世界坐标数据的偏移量;
调整模块,用于根据所述偏移量调整虚拟摄像头的偏转量以使所述虚拟摄像头的姿态与所述AR设备的姿态对齐。
CN201910750689.2A 2019-04-23 2019-08-14 基于环境视觉特征点识别技术的增强现实定位方法及装置 Active CN110533719B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910329258 2019-04-23
CN2019103292589 2019-04-23

Publications (2)

Publication Number Publication Date
CN110533719A true CN110533719A (zh) 2019-12-03
CN110533719B CN110533719B (zh) 2020-06-09

Family

ID=68663256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910750689.2A Active CN110533719B (zh) 2019-04-23 2019-08-14 基于环境视觉特征点识别技术的增强现实定位方法及装置

Country Status (1)

Country Link
CN (1) CN110533719B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580679A (zh) * 2020-06-07 2020-08-25 浙江商汤科技开发有限公司 一种太空舱展示方法、装置、电子设备及存储介质
CN111885707A (zh) * 2020-08-05 2020-11-03 济南浪潮高新科技投资发展有限公司 一种基于ar设备的物联网设备控制方法及系统
CN112138370A (zh) * 2020-09-10 2020-12-29 杭州易现先进科技有限公司 Ar娃娃机的控制方法、装置和电子装置
CN112651650A (zh) * 2020-12-31 2021-04-13 上海建工集团股份有限公司 基于ar技术的建筑运维期结构内力实时评估方法
CN112700496A (zh) * 2020-12-15 2021-04-23 国科易讯(北京)科技有限公司 Ar实时定位方法、系统
CN113610986A (zh) * 2021-07-06 2021-11-05 同济大学 一种基于生物不变特征的数字物理耦合方法和系统
CN118115716A (zh) * 2024-03-05 2024-05-31 北京大希科技有限公司 一种融合视觉和ar技术的高精度定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164832A1 (en) * 2010-01-04 2011-07-07 Samsung Electronics Co., Ltd. Image-based localization feature point registration apparatus, method and computer-readable medium
US20130215230A1 (en) * 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
CN107430686A (zh) * 2015-05-11 2017-12-01 谷歌公司 用于移动设备定位的区域描述文件的众包创建和更新
CN108629843A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108958469A (zh) * 2018-05-07 2018-12-07 中德(珠海)人工智能研究院有限公司 一种基于增强现实的在虚拟世界增加超链接的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164832A1 (en) * 2010-01-04 2011-07-07 Samsung Electronics Co., Ltd. Image-based localization feature point registration apparatus, method and computer-readable medium
US20130215230A1 (en) * 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
CN107430686A (zh) * 2015-05-11 2017-12-01 谷歌公司 用于移动设备定位的区域描述文件的众包创建和更新
CN108629843A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108958469A (zh) * 2018-05-07 2018-12-07 中德(珠海)人工智能研究院有限公司 一种基于增强现实的在虚拟世界增加超链接的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580679A (zh) * 2020-06-07 2020-08-25 浙江商汤科技开发有限公司 一种太空舱展示方法、装置、电子设备及存储介质
CN111885707A (zh) * 2020-08-05 2020-11-03 济南浪潮高新科技投资发展有限公司 一种基于ar设备的物联网设备控制方法及系统
CN112138370A (zh) * 2020-09-10 2020-12-29 杭州易现先进科技有限公司 Ar娃娃机的控制方法、装置和电子装置
CN112700496A (zh) * 2020-12-15 2021-04-23 国科易讯(北京)科技有限公司 Ar实时定位方法、系统
CN112651650A (zh) * 2020-12-31 2021-04-13 上海建工集团股份有限公司 基于ar技术的建筑运维期结构内力实时评估方法
CN112651650B (zh) * 2020-12-31 2024-04-09 上海建工集团股份有限公司 基于ar技术的建筑运维期结构内力实时评估方法
CN113610986A (zh) * 2021-07-06 2021-11-05 同济大学 一种基于生物不变特征的数字物理耦合方法和系统
CN113610986B (zh) * 2021-07-06 2024-04-23 同济大学 一种基于生物不变特征的数字物理耦合方法和系统
CN118115716A (zh) * 2024-03-05 2024-05-31 北京大希科技有限公司 一种融合视觉和ar技术的高精度定位方法

Also Published As

Publication number Publication date
CN110533719B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110533719A (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN110446159B (zh) 一种室内无人机精确定位与自主导航的系统及方法
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN112567201B (zh) 距离测量方法以及设备
CN106017463B (zh) 一种基于定位传感装置的飞行器定位方法
CN110243358A (zh) 多源融合的无人车室内外定位方法及系统
CN104748751B (zh) 姿态矩阵的计算方法及基于姿态矩阵的定位导航方法
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN107478214A (zh) 一种基于多传感器融合的室内定位方法及系统
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN107504969A (zh) 基于视觉和惯性组合的四旋翼室内导航方法
CN106197429A (zh) 一种多信息融合定位设备及系统
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
CN111260751B (zh) 基于多传感器移动机器人的建图方法
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
CN112985450B (zh) 一种具有同步时间误差估计的双目视觉惯性里程计方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN115371665A (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN111595332A (zh) 一种融合惯性技术与视觉建模的全环境定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant