CN105279750A - 一种基于ir-uwb和图像矩的装备展示导览系统 - Google Patents

一种基于ir-uwb和图像矩的装备展示导览系统 Download PDF

Info

Publication number
CN105279750A
CN105279750A CN201410324271.2A CN201410324271A CN105279750A CN 105279750 A CN105279750 A CN 105279750A CN 201410324271 A CN201410324271 A CN 201410324271A CN 105279750 A CN105279750 A CN 105279750A
Authority
CN
China
Prior art keywords
uwb
image
location
moment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410324271.2A
Other languages
English (en)
Other versions
CN105279750B (zh
Inventor
雷震
李庆全
王建平
杨宏伟
孟庆均
李治国
李东
何嘉武
钱润华
爨红亮
李昕桦
苏勇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Armored Forces Engineering of PLA
Original Assignee
雷震
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雷震 filed Critical 雷震
Priority to CN201410324271.2A priority Critical patent/CN105279750B/zh
Publication of CN105279750A publication Critical patent/CN105279750A/zh
Application granted granted Critical
Publication of CN105279750B publication Critical patent/CN105279750B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种IR-UWB和图像矩的装备展示导览系统,属于增强现实和计算机视觉技术领域。主要包括以下步骤:构建融合展品图像矩、位置和视角坐标、展品相关文字说明、三维模型和图片的展品信息数据库;对使用者位置估计和视角确定;通过采集真实场景图像送到可穿戴计算机进行处理,提取对应展品的矩特征并且在上一步得到的位置和视角领域完成场景的检索和识别;通过坐标变换和渲染确定在真实空间坐标中的映射位置,并将这些信息实时显示在头盔显示屏的正确位置。与现有技术相比,本发明首次将IR-UWB技术应用于增强现实的三维注册,结合图像矩表征和三维电子罗盘视角测定,具有定位精度高、结构简单、成本低、不依赖标志物、实时性强等优点。

Description

一种基于IR-UWB和图像矩的装备展示导览系统
技术领域
本发明涉及增强现实技术领域,特别构建一种基于IR-UWB和图像矩的装备展示导览系统。
背景技术
增强现实技术是在虚拟现实技术的基础上发展起来的一个与虚拟现实非常接近的新兴研究方向,是把计算机生成的虚拟物体或其他信息合成到用户感知的真实世界中的一种技术,具有虚实结合、实时交互、三维注册的新特点。Azuma是这样描述增强现实:“虚实结合,实时交互,三维注册增强现实系统,是利用附加的图形或文字信息,对周围真实世界的场景动态进行增强”。相比于虚拟现实技术,增强现实是把计算机带入到用户的世界中,而不是把用户沉浸到计算机的世界中。该技术将计算机生成的虚拟物体叠加到现实景物上,并且使用者可以通过各种方式来与虚拟物体进行交互,在虚拟现实与真实世界之间架起一座桥梁,被广泛应用于军事、医学、制造、旅游、娱乐等领域。
增强现实系统的实现一般包括5个步骤:(1)获取真实场景图像;(2)构建虚拟对象数据库;(3)获取虚拟对象准确地加入到真实场景中所需要的位置和姿态信息;(4)计算机根据注册信息对虚拟对象进行坐标变换和渲染,将其与真实场景融合;(5)通过显示设备将虚实结合的增强图像信息提供给用户。
构造一个成功的增强现实系统的关键是实现准确的三维跟踪注册(即将虚拟物体与真实物体的对准),从而可以将周围世界真实场景与计算机生成的虚拟增强信息相融合。目前传统的室内三维注册方法是在真实的环境中设置人工标志物,通过对标志物信息的提取获得注册所需的信息而达到注册目的。然而这种人工标志有许多不足之处,如在每帧图像中必须存在一个标志物,否则就不能实现注册,还要考虑标志物的大小和方位问题;另外,涉及文化遗产保护的应用中是不允许添加标志点的,这些情况都对注册产生很大影响。
本发明构建了一个装备展示导览系统,重点在对现有传统增强现实三维注册方法进行深入分析和比较的基础上,首次将超宽带脉冲(IR-UWB)技术应用于增强现实的三维注册,能够达到厘米级的定位精度。构建了融合展品图像矩、位置和视角坐标、展品相关文字说明、三维模型和图片的展品信息数据库。根据IR-UWB获得的位置信息和三维电子罗盘获得的角度信息进行坐标变换和渲染,确定所要添加的虚拟信息在真实空间坐标中的映射位置,并将虚实结合的增强图像信息实时显示在头盔显示器的正确位置。
发明内容
本发明主要包括信息库构建和在线处理两个阶段,步骤如下:
1)信息库构建阶段:建立来自不同定位参考点和不同视角的展品信息库。该数据库包含观察参考点位置坐标(必选)、视角坐标(必选)、某一观察参考点位置坐标和某一视角坐标下对应展品对象的矩特征(必选)、相关文字说明(必选)、三维图形(可选)、图片(可选)。同一个位置对应多个不同视角,而同一位置的同一视角对应一个或多个展品。
2)实时在线导览阶段:对每一幅摄像头实时传入的当前帧做如下处理:首先根据IR-UWB获得的位置信息和三维电子罗盘获得的角度信息缩小用户当前所处场景的检索范围;再通过固定在观察者头盔上的CMOS摄像机采集真实场景图像,送到可穿戴计算机进行处理,提取当前视频帧中对应展品的矩特征,在上一步得到的较小范围内完成场景的检索和识别;然后,可穿戴计算机根据使用者的位置信息和视线方向计算摄像机姿态,确定所要添加的虚拟信息在真实空间坐标中的映射位置,并将这些信息实时显示在头盔显示屏的正确位置。
该系统采用视频透视式头盔显示器,该型头盔显示器由一个封闭式头盔和一到两个放置在头盔上的摄像机组成,由摄像机来提供用户真实环境的图像。虚拟物体的图像由虚拟场景生成模块参照带位置和视角坐标的展品信息数据库产生,然后经由虚实融合模块将摄像机采集的信息与虚拟场景生成模块产生的虚拟对象融合起来,合成渲染后由封闭式头盔中放置在使用者眼睛前方的小型显示器显示给用户。其原理结构图如图1所示(见附图说明)。各子模块说明如下:
1.头盔显示器
本发明的技术方案中采用视频型头盔显示器,该型头盔显示器合成策略灵活,因为真实和虚拟图像都是以数字信号的形式存在的,视频设备可以逐个象素的选择采用真实图形还是虚拟图像或者两者同时存在。正因为如此,视频方式所产生的图像会比传统的光学方式产生的图像真实的多。另外,由于视频方式中的真实景物图像和虚拟图像都是数字图像,可以调整真实图像的放映速度以适应处理虚拟物体图像所消耗的延迟时间,避免了传统光学方式中真实景物无法与虚拟物体的显示延迟进行匹配的缺点。
2.CMOS摄像机
本发明的技术方案中采用CMOS摄像机,该类摄像机读取速度快、访问灵活、系统集成性好。另外,CMOS摄像机可通过只读取感光面上感兴趣的很小区域来提高帧速率,其本身在动态范围和光敏感度上的提高也有利于帧速率的提高。
3.图像矩特征模块
本发明的技术方案中采用矩特征进行识别。在实际应用中,由于成像距离、方向以及位置等因素的变化,使得图像发生平移、旋转以及尺度变化。矩特征利用目标的全局信息,具有平移、旋转和尺度不变性,满足目标特征具备的“可区分性、可靠性和独立性”特点,已成功应用于很多目标的识别。所谓可区分性,是指对于属于不同类别的对象,它们的特征应具有明显的差异;可靠性,是指对同类的特征应比较相近,且具有某种不变性;独立性,是指所用的各特征应彼此不相关。相对于传统的纹理特征、几何形状特征以及描述图像灰度分布的统计特征,矩特征具有区分性好、识别率高的特点。
4.IR-UWB定位和姿态测量模块
本发明的技术方案中采用脉冲超宽带(IR-UWB)技术和高精度三维电子罗盘进行三维注册定位。国内外尚未见到将IR-UWB技术用于增强现实领域的报道,其特征在于:能够使定位系统在标识大小、功耗、造价、精度、实时性、通信能力以及可扩充性能等方面得到大幅度提升,满足人们对室内定位的新要求。与传统定位技术的精度与应用范围比较,基于IR-UWB的无线定位技术具有最佳的距离分辨精度和时间分辨能力。本模块所要实现的三维环境注册是增强现实系统的关键性技术,也是衡量系统性能的重要标准。三维环境注册所要完成的任务是实时地检测出使用者头部的位置和视线方向,计算机根据这些信息确定所要添加的虚拟信息在真实空间坐标中的映射位置,并将这些信息实时显示在显示屏的正确位置。目前国际上采用的注册定位方法主要包括基于跟踪设备的注册定位、基于计算机视觉的注册定位、基于视觉和跟踪设备的混合注册定位等。其中方位跟踪设备主要包括机械跟踪设备、电磁跟踪设备、光学跟踪设备和超声波跟踪设备等。这些硬件跟踪器各有优缺点,但大多容易受外界干扰的影响。与采用硬件跟踪器的三维注册算法相比较,基于计算机视觉的三维注册算法以计算机视觉理论为依据,对摄像机拍摄到的现实环境图像进行处理与识别,跟踪用户头部方位的改变,通用性强、设备简单、成本低廉。基于视觉的跟踪技术虽然实现简单,跟踪精度可达到亚像素级,但是存在实时性与准确性、跟踪精度与跟踪范围之间的矛盾。硬件跟踪设备具有鲁棒性好、跟踪速度快的特点,其中GPS虽然能够实现户外目标的定位,但定位精度低,且由于较难穿透建筑物,在某些高楼林立的街道便无法使用,因此不适合室内定位。其他常用的室内定位技术中,基于Wi-Fi的定位是一种基于信号强度的定位解决方案,它成本适中,主要应用于中小范围室内定位,但现有Wi-Fi无线定位技术在定位精度、抗干扰能力、能耗控制等方面都存在一定缺陷;RFID射频技术很适合只需要在特定区域进行定位的用户,具有极高实用价值;缺点就是标签部署对定位精度影响大,定位精度差,射频辐射较强,标签可读范围有限,不具有通信能力,不便于整合到其他系统中;超声波室内定位系统采用反射式测距法,整体定位精度较高,但需要大量的底层硬件设备,成本较高;蓝牙定位系统用于室内时,通过测量信号强度进行定位,最大的优点是设备体积小,缺点是蓝牙设备价格高,在室内复杂环境下系统稳定性较差,易受噪声信号的干扰。因此,本发明采用IR-UWB进行定位,其系统原理结构图如图2所示(见附图说明)。具体实现时,采用基于信号到达时间(TOA)方法进行位置估计。对于参观者视角的确定,本发明采用WOOSENSWMC系列高精度三维电子罗盘。该系列三维电子罗盘将三轴磁传感器和三轴加速度传感器集成在一起,采用了先进的算法对软磁干扰与硬磁干扰进行校正,提供精确的方位信息,其特征是低功耗、高性能、高精度、倾角补偿、软磁与硬磁补偿。
5.虚拟场景生成模块
本发明的技术方案中,根据获得的位置和姿态信息,结合展品信息数据库,从虚拟模型库中调出当前位置和视角所需要的虚拟对象,利用注册信息对其进行坐标和投影变换,结合环境的光照信息对模型进行渲染,之后根据采用的头盔显示器的透视形式,生成适合用户的虚拟场景。
6.虚实融合模块
本发明的技术方案中,首先获得真实环境图像,然后根据虚拟对象的注册信息,对虚拟对象进行坐标变换和渲染后,采用图像融合技术将其与真实场景图像叠加,实现虚实融合,必要时添加相关文字、声音等增强信息,分左、右视点对图像进行取样,提供给头盔显示器,形成具有沉浸感的立体增强现实图像。
7.数据融合模块及展品信息数据库
本发明的技术方案中,将来自展品图片矩特征数据、位置数据、姿态测量数据以及展品相关信息(文字说明、相关三维模型、相关图片)按照如下结构进行组织,并存入展品信息数据库。各个定位参考点的位置根据参展装备的实际布局情况进行设置后是固定不变的。本发明分别基于图3和图4结构建立两个数据库表,该数据库的设计采用开放式架构,提供用户交互界面,允许用户进行增、删、改等操作。
与现有技术相比,本发明首次将IR-UWB技术应用于增强现实的三维注册,结合图像矩表征和三维电子罗盘视角测定,具有定位精度高、结构简单、成本低、不依赖标志物、实时性强等优点。
附图说明
图1为装备展示导览系统原理结构图。
图2为IR-UWB定位系统原理结构图。
图3为“定位参考点-视角-矩”数据库表结构。
图4为某展品对象n的相关信息。
具体实施方式
下面结合附图,对本发明进行详细说明:
第一阶段:展品信息库构建
1.计算第i个参考点中第j个视角对应的各个展品对象的矩特征
根据参展装备实际布局情况,首先选择确定m个位置坐标已知的观察参考点,在每个观察参考点RPi(i=1,2,...m)处,再选择确定n个视角坐标已知的视角VAj(j=1,2,...n),其中视角坐标由三维电子罗盘测得。然后利用下列中心矩计算公式求出第i个观察参考点中第j个视角对应的各个展品对象的矩特征。
矩特征由二阶和三阶中心矩的线性组合构成,表达式如下:
数字图像f(x,y)的p+q阶矩的定义为:
mpq=ΣxΣYxpyqf(x,y)(1)
f(x,y)的p+q阶中心矩定义为:
u pq = Σ x Σ y ( x - x ‾ ) p ( y - y ‾ ) q f ( x , y ) - - - ( 2 )
其中, x ‾ = m 10 / m 00 ; y ‾ = m 01 / m 00 .
f(x,y)的归一化中心距可表示为:
η pq = u pq u 00 γ - - - ( 3 )
其中,p+q=2,3,...。
M1=η2002(4)
M 2 = ( η 20 - η 02 ) 2 + 4 η 11 2 - - - ( 5 )
M3=(η30-3η12)2+(3η1203)2(6)
M4=(η3012)2+(η2103)2(7)
M5=(η30-3η12)(η3012)[(η3012)2-3(η2103)2]+(3η2103)(η2103)[3(η3012)2-(η2103)2](8)
M6=(η2002)[(η3012)2-(η2103)2]+4η113012)(η2103)(9)
M7=(3η2103)(η3012)[(η3012)2-3(η2103)2]-(η30-3η12)(η2103)[3(η3012)2-(η2103)2](10)
2.建立展品信息库
编辑制作展品对象的相关文字说明、三维模型及图片,按照图3所示的数据库表结构和图4所示的展品对象n的相关信息组成构建展品信息数据库。本发明采用嵌入式数据库HSQLDB,以适合硬件资源有限的可穿戴计算机,HSQLDB是一个开放源代码的JAVA数据库,其具有标准的SQL语法和JAVA接口,它可以自由使用和分发,非常简洁和快速的,有服务器和In-Process两种模式。本发明采用In-Process模式,在这种模式下,数据库引擎作为应用程序的一部分在同一个JVM中运行,因为数据不用转换和通过网络的传送而使速度更快。
第二阶段:实时在线导览
当参观者进入展区后,首先采用基于TOA的IR-UWB测距技术和WOOSENSWMC系列高精度三维电子罗盘进行参观者位置估计和视角确定。图2给出了IR-UWB定位系统原理结构图,各定位参考点为位置已知的IR-UWB收发设备,通过频率锁定共有一个参考时钟,即保持时钟同步。移动目标节点为需要进行位置估计的参观者位置,参观者身上带有IR-UWB标签。
1.参观者位置估计
过程如下:
(1)t0时刻,可穿戴计算机选定系统中的N个定位参考点进行特定的定位任务,由其中某定位参考点发送包含目标节点ID的IR-UWB定位命令信号。
(2)在所有目标节点中,仅有能够满足ID匹配的IR-UWB移动目标节点(参观者)进行IR-UWB信号的反射。被选定的N个定位参考点同时进行反射信号的接收与检测,并将检测到的相关数据(即移动目标发射信号到达各个定位参考点的时间,TOA数据)送入可穿戴计算机。
(3)可穿戴计算机根据各个定位参考点所测量到的TOA数据,采用Chan算法进行位置估计,目标节点与第i个参考结点之间的距离如下:
D i = ( x i - x ) 2 + ( y i - y ) 2 - - - ( 11 )
D i 2 = ( x i - x ) 2 + ( y i - y ) 2 = K i - 2 x i x - 2 y i y + x 2 + y 2 - - - ( 12 )
其中:
K i = x i 2 + y i 2 - - - ( 13 )
令Di,1表示目标结点到参考结点i和参考结点1的距离差,则:
D i , 1 = c ( t i ^ - t 1 ^ ) = D i - D 1 = ( x i - x ) 2 - ( y i - y ) 2 - ( x 1 - x ) 2 - ( y 1 - y ) 2 - - - ( 14 )
其中c为电波传播速率,分别是参考结点i和参考结点1检测到的TOA值。对该非线性方程组进行线性化处理之后,可得以下公式:
x y = - x 2,1 y 2,1 x 3,1 y 3,1 - 1 × { D 2,1 D 3,1 D 1 + 1 2 D 2,1 2 - K 2 + K 1 D 3,1 2 - K 3 + K 1 } - - - ( 15 )
通过下式获得D1的值:
D 1 = 1 2 ( t 1 ^ - t 0 - τ ) × c - - - ( 16 )
将式(16)带入式(15)得出目标结点的估计位置,如式(17):
x y = - x 2,1 y 2,1 x 3,1 y 3,1 - 1 × 1 2 { t 2 ^ - t 1 ^ t 3 ^ - t 1 ^ ( t 1 ^ - t 0 - τ ) c 2 + ( t 2 ^ - t 1 ^ ) 2 c 2 - V 2,1 ( t 3 ^ - t 1 ^ ) 2 - V 3,1 } - - - ( 17 )
其中,这样就得到了具有唯一解的目标结点位置。
2.参观者头部视角信息获取
对于参观者头部视角的确定,本发明采用WOOSENSWMC系列高精度三维电子罗盘。首先初始化电子罗盘端口,然后打开端口并开启计时器,定时接收读取到的数据,处理满足条件的字符串并解算出姿态信息,所提取的电子罗盘信息为俯仰角、横滚角、磁北偏角。
3.图像矩匹配
获取参观者的当前位置和视角之后,采用最近邻算法(NN)计算出展品信息数据库中与参观者当前位置最为接近的观察参考点位置坐标(RPx,RPy),继而再求出展品信息数据库中在(RPx,RPy)坐标下与参观者当前视角最为接近的观察参考点视角坐标(RPCA)。与此同时,提取当前视频帧中对应展品的矩特征,在上一步得到的检索范围内进行当前视频帧展品图像矩和检索范围内的图像矩之间的匹配计算,匹配采用基于欧氏距离的方法,具体过程如下:
设G,S为7维空间的两点,其中点G=(g1,g2,……g7)表示当前视频帧图像的7个不变矩,点S=(s1,s2,……s7)表示检索范围内某图像的7个不变矩,采用下列公式计算二者之间的欧式距离作为其匹配度测度:
ED = ( G , S ) = Σ i = 0 7 ( g i - s i ) 2 - - - ( 18 )
ED值越低,表示二者越匹配,ED值最小者即为展品信息库中与当前视频帧图像所对应的展品,调出该展品对象对应的相关三维模型、文字说明、图片等。
4.矩阵变换
本发明借鉴了ARToolKit的坐标体系思想,即世界坐标系(真实空间绝对坐标系)、摄像机坐标系(即观察者坐标系)、实际屏幕坐标系和理想屏幕坐标系。观察者头部在真实空间中的方位(x,y,z,α,β,γ)已经通过前述阶段确定。
摄像机坐标系与理想屏幕坐标系之间的关系见公式(19),其中(X1,Y1)T为理想屏幕坐标系,S为摄像机内置参数,h表示比例因子。
h X 1 h Y 1 h = D X c Y c Z c 1 - - - ( 19 )
摄像机坐标系与世界坐标系之间的关系见公式(20),其中,(Xc,Yc,Zc,)T为摄像机坐标系,(XM,YM,ZM,)T为世界坐标系,Tcm为摄像机变换矩阵,R和T表示摄像机的旋转和平移变换,R为3*3正交矩阵,T为三维向量(T1,T2,T3)T
X c Y c Z c 1 = R T 0 1 X M Y M Z M 1 = T cm X M Y M Z M 1 - - - ( 20 )
由公式(19)和公式(20)可得,理想屏幕坐标系和世界坐标系之间的关系如公式(21)所示:
h X 1 h Y 1 h = X c Y c Z c 1 = ST cm X M Y M Z M 1 - - - ( 21 )
考虑到摄像头存在成像畸变,理想屏幕坐标系中的点(X1,Y1)将由其在实际屏幕坐标系中的对应点(Xd,Yd)通过公式(22)计算得到,其中,(X0,Y0)为光学畸变中心的位置,S为缩放因子,f为畸变因子。
X=S(Xc-X0),Y=S(Yc-Y0)
D2=X2+Y2
P={1-fD2}
Xd=PX+X0,Yd=PY+Y0(22)
根据已知世界坐标系下的点及它们在理想坐标系中的对应点位置,初步估算出摄像机变换矩阵后,然后通过非线性最小二乘法对摄像机变换矩阵进行迭代求精,从而求出摄像机变换矩阵Tcm
5.虚实融合显示
最后,根据变换矩阵将上述步骤中所得展品对象对应的相关三维模型等信息与摄像机采集的视频图像进行数据融合叠加,分左、右视点对图像进行取样,提供给头盔显示器,形成具有沉浸感的立体增强现实图像。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于IR-UWB和图像矩的装备展示导览系统,包括:CMOS摄像机、头盔显示器、图像矩特征模块、IR-UWB定位模块、WOOSENSWMC姿态测量模块、虚拟场景生成模块、虚实融合模块和数据融合模块,导览过程包括以下步骤:
(1)展品信息库构建阶段:建立来自不同定位参考点和不同视角的展品信息关系数据库,该数据库包含定位参考点位置坐标、视角坐标、某一定位参考点位置坐标和某一视角坐标下对应展品对象的矩特征、相关文字说明、三维图形和图片;
(2)实时在线导览阶段:对每一幅摄像头实时传入的当前帧做如下处理:根据IR-UWB获得的位置信息和三维电子罗盘获得的角度信息将用户当前所处场景的检索范围进行缩小;通过固定在观察者头盔上的CMOS摄像机采集真实场景图像,送到可穿戴计算机进行处理,提取当前视频帧中对应展品的矩特征,在上一步得到的较小范围内完成场景的检索和识别;可穿戴计算机根据使用者头部的位置信息和视线方向计算摄像机姿态,确定所要添加的虚拟信息在真实空间坐标中的映射位置,并将这些信息实时显示在头盔显示屏的正确位置。
2.如权利要求1所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:每个定位参考点对应多个视角,在每个定位参考点处,可以从多个视线方向观察展品对象,每个定位参考点处对应的视角个数根据展品的布局密度灵活调整;并且,在某定位参考点对应的某视角对应多个展品对象。
3.如权利要求1所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:在图像矩特征模块中采用矩特征进行识别。
4.如权利要求1所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:采用基于TOA的IR-UWB测距技术进行位置估计,在各定位参考节点得到估计信号的到达时间后,通过确定的定位算法进行移动目标节点位置估计,在对移动目标节点的位置进行估计时,其定位准确率影响因素包括室内环境下定位系统的结构、参与TOA估计和位置估计的定位节点的数目、位置以及定位算法的选择,具体步骤如下:
(1)t0时刻,可穿戴计算机选定系统中的N个定位参考点进行特定的定位任务,由其中某定位参考点发送包含目标节点ID的IR-UWB定位命令信号;
(2)在所有目标节点中,仅有能够满足ID匹配的IR-UWB移动目标节点进行IR-UWB信号的反射,被选定的N个定位参考点同时进行反射信号的接收与检测,并将检测到的TOA数据送入可穿戴计算机,TOA数据为移动目标发射信号到达各个定位参考点的时间;
(3)可穿戴计算机根据各个定位参考点所测量到的TOA数据,采用Chan算法进行位置估计,估算出移动目标节点的位置后,传送给虚拟场景生成模块和数据融合模块。
5.如权利要求1所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:
对于使用者视角的确定,采用WOOSENSWMC系列高精度三维电子罗盘。
6.如权利要求1所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:系统包括虚实融合模块,该模块根据获得的位置和姿态信息,结合展品信息数据库,从虚拟模型库中调出当前位置和视角所需要的虚拟对象,利用注册信息对其进行坐标和投影变换,结合环境的光照信息对模型进行渲染,之后根据采用的头盔显示器的透视形式,生成适合用户的虚拟场景。
7.如权利要求1所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:系统包括虚实融合模块,该模块先获得真实环境图像,根据虚拟对象的注册信息,对虚拟对象进行坐标变换和渲染后,采用图像融合技术将其与真实场景图像叠加,实现虚实融合。
8.如权利要求7所述的一种基于IR-UWB和图像矩的装备展示导览系统,其特征在于:添加相关文字、声音等增强信息,分左、右视点对图像进行取样,提供给头盔显示器,形成具有沉浸感的立体增强现实图像。
CN201410324271.2A 2014-07-09 2014-07-09 一种基于ir-uwb和图像矩的装备展示导览系统 Expired - Fee Related CN105279750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410324271.2A CN105279750B (zh) 2014-07-09 2014-07-09 一种基于ir-uwb和图像矩的装备展示导览系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410324271.2A CN105279750B (zh) 2014-07-09 2014-07-09 一种基于ir-uwb和图像矩的装备展示导览系统

Publications (2)

Publication Number Publication Date
CN105279750A true CN105279750A (zh) 2016-01-27
CN105279750B CN105279750B (zh) 2019-02-01

Family

ID=55148703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410324271.2A Expired - Fee Related CN105279750B (zh) 2014-07-09 2014-07-09 一种基于ir-uwb和图像矩的装备展示导览系统

Country Status (1)

Country Link
CN (1) CN105279750B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718066A (zh) * 2016-01-30 2016-06-29 卓汎有限公司 一种可灵活组合的实时光学定位系统
CN106249896A (zh) * 2016-08-12 2016-12-21 浙江拓客网络科技有限公司 基于空间定位的虚拟现实交互系统
CN107144958A (zh) * 2017-06-26 2017-09-08 深圳沃利创意工程有限公司 增强现实望远镜
CN107154072A (zh) * 2016-03-02 2017-09-12 彭昌兰 无人机监控设备的图像处理方法及装置
CN107193517A (zh) * 2017-05-16 2017-09-22 非凡部落(北京)科技有限公司 一种实现增强现实的定位方法及相关装置
CN108021241A (zh) * 2017-12-01 2018-05-11 西安枭龙科技有限公司 一种实现ar眼镜虚实融合的方法
CN108139815A (zh) * 2016-02-22 2018-06-08 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN108597029A (zh) * 2018-04-23 2018-09-28 新华网股份有限公司 虚拟物体显示的方法及装置
CN108616977A (zh) * 2018-06-21 2018-10-02 同济大学 一种基于最小二乘平差的uwb多点时延校正方法
CN108613625A (zh) * 2018-05-03 2018-10-02 艾律有限责任公司 一种利用增强现实技术的测量设备及其测量方法
CN108734721A (zh) * 2017-04-17 2018-11-02 宏达国际电子股份有限公司 追踪系统以及追踪方法
CN108765575A (zh) * 2018-02-24 2018-11-06 石化盈科信息技术有限责任公司 一种基于ar的工业设备图鉴展示方法和系统
CN109478124A (zh) * 2016-07-15 2019-03-15 三星电子株式会社 增强现实装置及其操作
CN109982033A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 使用于穿戴式装置中的实像定位方法
CN110324342A (zh) * 2019-07-03 2019-10-11 武汉子序科技股份有限公司 一种增强现实注册方法
CN110349504A (zh) * 2019-07-03 2019-10-18 武汉子序科技股份有限公司 一种基于ar的博物馆导览系统
CN110968705A (zh) * 2019-12-04 2020-04-07 敦煌研究院 导览方法、装置、导览设备、导览系统及存储介质
CN111566668A (zh) * 2018-01-15 2020-08-21 环球城市电影有限责任公司 具有反馈设备的交互系统和方法
CN111569421A (zh) * 2020-05-08 2020-08-25 江圣宇 虚拟场景变化同步方法、系统、vr播放设备及存储介质
CN116311225A (zh) * 2023-05-18 2023-06-23 四川新迎顺信息技术股份有限公司 一种基于图像识别的大数据采集方法、数据管理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
武雪玲: "户外AR空间信息表达机制与方法研究", 《中国博士学位论文全文数据库》 *
郑奔等: "一种基于舱内图像的三维注册方法", 《航天医学与医学工程》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718066B (zh) * 2016-01-30 2018-06-01 卓汎有限公司 一种可灵活组合的实时光学定位系统
CN105718066A (zh) * 2016-01-30 2016-06-29 卓汎有限公司 一种可灵活组合的实时光学定位系统
CN108139815B (zh) * 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN108139815A (zh) * 2016-02-22 2018-06-08 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN107154072A (zh) * 2016-03-02 2017-09-12 彭昌兰 无人机监控设备的图像处理方法及装置
CN109478124A (zh) * 2016-07-15 2019-03-15 三星电子株式会社 增强现实装置及其操作
CN106249896A (zh) * 2016-08-12 2016-12-21 浙江拓客网络科技有限公司 基于空间定位的虚拟现实交互系统
CN108734721B (zh) * 2017-04-17 2021-03-16 宏达国际电子股份有限公司 追踪系统以及追踪方法
CN108734721A (zh) * 2017-04-17 2018-11-02 宏达国际电子股份有限公司 追踪系统以及追踪方法
CN107193517A (zh) * 2017-05-16 2017-09-22 非凡部落(北京)科技有限公司 一种实现增强现实的定位方法及相关装置
CN107144958A (zh) * 2017-06-26 2017-09-08 深圳沃利创意工程有限公司 增强现实望远镜
CN108021241A (zh) * 2017-12-01 2018-05-11 西安枭龙科技有限公司 一种实现ar眼镜虚实融合的方法
CN109982033A (zh) * 2017-12-27 2019-07-05 宇博先进电子工业有限公司 使用于穿戴式装置中的实像定位方法
CN111566668A (zh) * 2018-01-15 2020-08-21 环球城市电影有限责任公司 具有反馈设备的交互系统和方法
CN108765575A (zh) * 2018-02-24 2018-11-06 石化盈科信息技术有限责任公司 一种基于ar的工业设备图鉴展示方法和系统
CN108597029A (zh) * 2018-04-23 2018-09-28 新华网股份有限公司 虚拟物体显示的方法及装置
CN108613625A (zh) * 2018-05-03 2018-10-02 艾律有限责任公司 一种利用增强现实技术的测量设备及其测量方法
CN108613625B (zh) * 2018-05-03 2020-11-06 艾律有限责任公司 一种利用增强现实技术的测量方法
CN108616977B (zh) * 2018-06-21 2020-06-16 同济大学 一种基于最小二乘平差的uwb多点时延校正方法
CN108616977A (zh) * 2018-06-21 2018-10-02 同济大学 一种基于最小二乘平差的uwb多点时延校正方法
CN110324342A (zh) * 2019-07-03 2019-10-11 武汉子序科技股份有限公司 一种增强现实注册方法
CN110349504A (zh) * 2019-07-03 2019-10-18 武汉子序科技股份有限公司 一种基于ar的博物馆导览系统
CN110968705A (zh) * 2019-12-04 2020-04-07 敦煌研究院 导览方法、装置、导览设备、导览系统及存储介质
CN111569421A (zh) * 2020-05-08 2020-08-25 江圣宇 虚拟场景变化同步方法、系统、vr播放设备及存储介质
CN116311225A (zh) * 2023-05-18 2023-06-23 四川新迎顺信息技术股份有限公司 一种基于图像识别的大数据采集方法、数据管理方法及系统
CN116311225B (zh) * 2023-05-18 2023-07-21 四川新迎顺信息技术股份有限公司 一种基于图像识别的大数据采集方法、数据管理方法及系统

Also Published As

Publication number Publication date
CN105279750B (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN105279750B (zh) 一种基于ir-uwb和图像矩的装备展示导览系统
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
CN105143907B (zh) 定位系统和方法
CN104748728B (zh) 智能机姿态矩阵计算方法及其应用于摄影测量的方法
CN103119611B (zh) 基于图像的定位的方法和设备
US6778171B1 (en) Real world/virtual world correlation system using 3D graphics pipeline
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN105856243A (zh) 一种移动智能机器人
CN109059895A (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
CN105096386A (zh) 大范围复杂城市环境几何地图自动生成方法
CN102072706B (zh) 一种多相机定位与跟踪方法及系统
CN106291517A (zh) 基于位置与视觉信息优化的室内云机器人角度定位方法
Bostanci et al. User tracking methods for augmented reality
CN103994765B (zh) 一种惯性传感器的定位方法
CN102646275A (zh) 通过跟踪和定位算法实现虚拟三维叠加的方法
CN109345581A (zh) 基于多目相机的增强现实方法、装置及系统
Wither et al. Using aerial photographs for improved mobile AR annotation
Chiabrando et al. “Torino 1911” project: A contribution of a slam-based survey to extensive 3D heritage modeling
Singh et al. Ubiquitous hybrid tracking techniques for augmented reality applications
CN110009740A (zh) 基于运动恢复结构的地质露头快速三维重建方法
CN104166995A (zh) 一种基于马步测度的Harris-SIFT双目视觉定位方法
Shu et al. 3d point cloud-based indoor mobile robot in 6-dof pose localization using a wi-fi-aided localization system
Chen et al. Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras
CN110415302A (zh) 基于图像识别的矿井定位系统
CN110516647A (zh) 基于图像识别的移动目标定位方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Lei Zhen

Inventor after: He Jiawu

Inventor after: Qian Runhua

Inventor after: Cuan Hongliang

Inventor after: Su Yongjie

Inventor after: Li Qingquan

Inventor after: Wang Jianping

Inventor after: Yang Hongwei

Inventor after: Meng Qingjun

Inventor after: Li Cuanhua

Inventor after: Wang Chunyuan

Inventor after: Li Zhiguo

Inventor after: Li Dong

Inventor before: Lei Zhen

Inventor before: Cuan Hongliang

Inventor before: Li Cuanhua

Inventor before: Su Yongjie

Inventor before: Li Qingquan

Inventor before: Wang Jianping

Inventor before: Yang Hongwei

Inventor before: Meng Qingjun

Inventor before: Li Zhiguo

Inventor before: Li Dong

Inventor before: He Jiawu

Inventor before: Qian Runhua

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20170504

Address after: 100072 scientific research department, courtyard 21, Du Jia Hom, Fengtai District, Beijing

Applicant after: Armored Infantry Engineering College, People's Liberation Army

Address before: 100072 scientific research department, The Academy of Armored Forces Engineering, Beijing, Fengtai District

Applicant before: Lei Zhen

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190201

Termination date: 20200709

CF01 Termination of patent right due to non-payment of annual fee