CN105279750B - 一种基于ir-uwb和图像矩的装备展示导览系统 - Google Patents

Abstract

本发明涉及一种IR‑UWB和图像矩的装备展示导览系统，属于增强现实和计算机视觉技术领域。主要包括以下步骤：构建融合展品图像矩、位置和视角坐标、展品相关文字说明、三维模型和图片的展品信息数据库；对使用者位置估计和视角确定；通过采集真实场景图像送到可穿戴计算机进行处理，提取对应展品的矩特征并且在上一步得到的位置和视角领域完成场景的检索和识别；通过坐标变换和渲染确定在真实空间坐标中的映射位置，并将这些信息实时显示在头盔显示屏的正确位置。与现有技术相比，本发明首次将IR‑UWB技术应用于增强现实的三维注册，结合图像矩表征和三维电子罗盘视角测定，具有定位精度高、结构简单、成本低、不依赖标志物、实时性强等优点。

Description

一种基于IR-UWB和图像矩的装备展示导览系统

技术领域

本发明涉及增强现实技术领域，特别构建一种基于IR-UWB和图像矩的装备展示导览系统。

背景技术

增强现实技术是在虚拟现实技术的基础上发展起来的一个与虚拟现实非常接近的新兴研究方向，是把计算机生成的虚拟物体或其他信息合成到用户感知的真实世界中的一种技术，具有虚实结合、实时交互、三维注册的新特点。Azuma是这样描述增强现实：“虚实结合，实时交互，三维注册增强现实系统，是利用附加的图形或文字信息，对周围真实世界的场景动态进行增强”。相比于虚拟现实技术，增强现实是把计算机带入到用户的世界中，而不是把用户沉浸到计算机的世界中。该技术将计算机生成的虚拟物体叠加到现实景物上，并且使用者可以通过各种方式来与虚拟物体进行交互，在虚拟现实与真实世界之间架起一座桥梁，被广泛应用于军事、医学、制造、旅游、娱乐等领域。

增强现实系统的实现一般包括5个步骤：(1)获取真实场景图像；(2)构建虚拟对象数据库；(3)获取虚拟对象准确地加入到真实场景中所需要的位置和姿态信息；(4)计算机根据注册信息对虚拟对象进行坐标变换和渲染，将其与真实场景融合；(5)通过显示设备将虚实结合的增强图像信息提供给用户。

构造一个成功的增强现实系统的关键是实现准确的三维跟踪注册(即将虚拟物体与真实物体的对准)，从而可以将周围世界真实场景与计算机生成的虚拟增强信息相融合。目前传统的室内三维注册方法是在真实的环境中设置人工标志物，通过对标志物信息的提取获得注册所需的信息而达到注册目的。然而这种人工标志有许多不足之处，如在每帧图像中必须存在一个标志物，否则就不能实现注册，还要考虑标志物的大小和方位问题；另外，涉及文化遗产保护的应用中是不允许添加标志点的，这些情况都对注册产生很大影响。

本发明构建了一个装备展示导览系统，重点在对现有传统增强现实三维注册方法进行深入分析和比较的基础上，首次将超宽带脉冲(IR-UWB)技术应用于增强现实的三维注册，能够达到厘米级的定位精度。构建了融合展品图像矩、位置和视角坐标、展品相关文字说明、三维模型和图片的展品信息数据库。根据IR-UWB获得的位置信息和三维电 子罗盘获得的角度信息进行坐标变换和渲染，确定所要添加的虚拟信息在真实空间坐标中的映射位置，并将虚实结合的增强图像信息实时显示在头盔显示器的正确位置。

发明内容

本发明主要包括信息库构建和在线处理两个阶段，步骤如下：

1)信息库构建阶段：建立来自不同定位参考点和不同视角的展品信息库。该数据库包含观察参考点位置坐标(必选)、视角坐标(必选)、某一观察参考点位置坐标和某一视角坐标下对应展品对象的矩特征(必选)、相关文字说明(必选)、三维图形(可选)、图片(可选)。同一个位置对应多个不同视角，而同一位置的同一视角对应一个或多个展品。

2)实时在线导览阶段：对每一幅摄像头实时传入的当前帧做如下处理：首先根据IR-UWB获得的位置信息和三维电子罗盘获得的角度信息缩小用户当前所处场景的检索范围；再通过固定在观察者头盔上的CMOS摄像机采集真实场景图像，送到可穿戴计算机进行处理，提取当前视频帧中对应展品的矩特征，在上一步得到的较小范围内完成场景的检索和识别；然后，可穿戴计算机根据使用者的位置信息和视线方向计算摄像机姿态，确定所要添加的虚拟信息在真实空间坐标中的映射位置，并将这些信息实时显示在头盔显示屏的正确位置。

该系统采用视频透视式头盔显示器，该型头盔显示器由一个封闭式头盔和一到两个放置在头盔上的摄像机组成，由摄像机来提供用户真实环境的图像。虚拟物体的图像由虚拟场景生成模块参照带位置和视角坐标的展品信息数据库产生，然后经由虚实融合模块将摄像机采集的信息与虚拟场景生成模块产生的虚拟对象融合起来，合成渲染后由封闭式头盔中放置在使用者眼睛前方的小型显示器显示给用户。其原理结构图如图1所示(见附图说明)。各子模块说明如下：

1.头盔显示器

本发明的技术方案中采用视频型头盔显示器，该型头盔显示器合成策略灵活，因为真实和虚拟图像都是以数字信号的形式存在的，视频设备可以逐个象素的选择采用真实图形还是虚拟图像或者两者同时存在。正因为如此，视频方式所产生的图像会比传统的光学方式产生的图像真实的多。另外，由于视频方式中的真实景物图像和虚拟图像都是数字图像，可以调整真实图像的放映速度以适应处理虚拟物体图像所消耗的延迟时间，避免了传统光学方式中真实景物无法与虚拟物体的显示延迟进行匹配的缺点。

2.CMOS摄像机

本发明的技术方案中采用CMOS摄像机，该类摄像机读取速度快、访问灵活、系统集成性好。另外，CMOS摄像机可通过只读取感光面上感兴趣的很小区域来提高帧速率，其本身在动态范围和光敏感度上的提高也有利于帧速率的提高。

3.图像矩特征模块

本发明的技术方案中采用矩特征进行识别。在实际应用中，由于成像距离、方向以及位置等因素的变化，使得图像发生平移、旋转以及尺度变化。矩特征利用目标的全局信息，具有平移、旋转和尺度不变性，满足目标特征具备的“可区分性、可靠性和独立性”特点，已成功应用于很多目标的识别。所谓可区分性，是指对于属于不同类别的对象，它们的特征应具有明显的差异；可靠性，是指对同类的特征应比较相近，且具有某种不变性；独立性，是指所用的各特征应彼此不相关。相对于传统的纹理特征、几何形状特征以及描述图像灰度分布的统计特征，矩特征具有区分性好、识别率高的特点。

4.IR-UWB定位和姿态测量模块

本发明的技术方案中采用脉冲超宽带(IR-UWB)技术和高精度三维电子罗盘进行三维注册定位。国内外尚未见到将IR-UWB技术用于增强现实领域的报道，其特征在于：能够使定位系统在标识大小、功耗、造价、精度、实时性、通信能力以及可扩充性能等方面得到大幅度提升，满足人们对室内定位的新要求。与传统定位技术的精度与应用范围比较，基于IR-UWB的无线定位技术具有最佳的距离分辨精度和时间分辨能力。本模块所要实现的三维环境注册是增强现实系统的关键性技术，也是衡量系统性能的重要标准。三维环境注册所要完成的任务是实时地检测出使用者头部的位置和视线方向，计算机根据这些信息确定所要添加的虚拟信息在真实空间坐标中的映射位置，并将这些信息实时显示在显示屏的正确位置。目前国际上采用的注册定位方法主要包括基于跟踪设备的注册定位、基于计算机视觉的注册定位、基于视觉和跟踪设备的混合注册定位等。其中方位跟踪设备主要包括机械跟踪设备、电磁跟踪设备、光学跟踪设备和超声波跟踪设备等。这些硬件跟踪器各有优缺点，但大多容易受外界干扰的影响。与采用硬件跟踪器的三维注册算法相比较，基于计算机视觉的三维注册算法以计算机视觉理论为依据，对摄像机拍摄到的现实环境图像进行处理与识别，跟踪用户头部方位的改变，通用性强、设备简单、成本低廉。基于视觉的跟踪技术虽然实现简单，跟踪精度可达到亚像素级，但是存在实时性与准确性、跟踪精度与跟踪范围之间的矛盾。硬件跟踪设备具有鲁棒性好、跟踪速度快的特点，其中GPS虽然能够实现户外目标的定位，但定位精度低，且由于较难穿透建筑物，在某些高楼林立的街道便无法使用，因此不适合室内定位。其他常用的室内定位技术中，基于Wi-Fi的定位是一种基于信号强度的定位解决方案，它成本适中，主要应 用于中小范围室内定位，但现有Wi-Fi无线定位技术在定位精度、抗干扰能力、能耗控制等方面都存在一定缺陷；RFID射频技术很适合只需要在特定区域进行定位的用户，具有极高实用价值；缺点就是标签部署对定位精度影响大，定位精度差，射频辐射较强，标签可读范围有限，不具有通信能力，不便于整合到其他系统中；超声波室内定位系统采用反射式测距法，整体定位精度较高，但需要大量的底层硬件设备，成本较高；蓝牙定位系统用于室内时，通过测量信号强度进行定位，最大的优点是设备体积小，缺点是蓝牙设备价格高，在室内复杂环境下系统稳定性较差，易受噪声信号的干扰。因此，本发明采用IR-UWB进行定位，其系统原理结构图如图2所示(见附图说明)。具体实现时，采用基于信号到达时间(TOA)方法进行位置估计。对于参观者视角的确定，本发明采用WOOSENSWMC系列高精度三维电子罗盘。该系列三维电子罗盘将三轴磁传感器和三轴加速度传感器集成在一起，采用了先进的算法对软磁干扰与硬磁干扰进行校正，提供精确的方位信息，其特征是低功耗、高性能、高精度、倾角补偿、软磁与硬磁补偿。

5.虚拟场景生成模块

本发明的技术方案中，根据获得的位置和姿态信息，结合展品信息数据库，从虚拟模型库中调出当前位置和视角所需要的虚拟对象，利用注册信息对其进行坐标和投影变换，结合环境的光照信息对模型进行渲染，之后根据采用的头盔显示器的透视形式，生成适合用户的虚拟场景。

6.虚实融合模块

本发明的技术方案中，首先获得真实环境图像，然后根据虚拟对象的注册信息，对虚拟对象进行坐标变换和渲染后，采用图像融合技术将其与真实场景图像叠加，实现虚实融合，必要时添加相关文字、声音等增强信息，分左、右视点对图像进行取样，提供给头盔显示器，形成具有沉浸感的立体增强现实图像。

7.数据融合模块及展品信息数据库

本发明的技术方案中，将来自展品图片矩特征数据、位置数据、姿态测量数据以及展品相关信息(文字说明、相关三维模型、相关图片)按照如下结构进行组织，并存入展品信息数据库。各个定位参考点的位置根据参展装备的实际布局情况进行设置后是固定不变的。本发明分别基于图3和图4结构建立两个数据库表，该数据库的设计采用开放式架构，提供用户交互界面，允许用户进行增、删、改等操作。

与现有技术相比，本发明首次将IR-UWB技术应用于增强现实的三维注册，结合图像矩表征和三维电子罗盘视角测定，具有定位精度高、结构简单、成本低、不依赖标志物、实时性强等优点。

附图说明

图1为装备展示导览系统原理结构图。

图2为IR-UWB定位系统原理结构图。

图3为“定位参考点-视角-矩”数据库表结构。

图4为某展品对象n的相关信息。

具体实施方式

下面结合附图，对本发明进行详细说明：

第一阶段：展品信息库构建

1.计算第i个参考点中第j个视角对应的各个展品对象的矩特征

根据参展装备实际布局情况，首先选择确定m个位置坐标已知的观察参考点，在每个观察参考点RP_i(i＝1，2，...m)处，再选择确定n个视角坐标已知的视角VA_j(j＝1，2，...n)，其中视角坐标由三维电子罗盘测得。然后利用下列中心矩计算公式求出第i个观察参考点中第j个视角对应的各个展品对象的矩特征。

矩特征由二阶和三阶中心矩的线性组合构成，表达式如下：

数字图像f(x，y)的p+q阶矩的定义为：

m_pq＝Σ_xΣ_Yx^py^qf(x，y) (1)

f(x，y)的p+q阶中心矩定义为：

其中，

f(x，y)的归一化中心距可表示为：

其中，p+q＝2，3，...。

M₁＝η₂₀+η₀₂ (4)

M₃＝(η₃₀-3η₁₂)²+(3η₁₂-η₀₃)² (6)

M₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)² (7)

M₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] (8)

M₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃) (9)

M₇＝(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]-(η₃₀-3η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] (10)

2.建立展品信息库

编辑制作展品对象的相关文字说明、三维模型及图片，按照图3所示的数据库表结构和图4所示的展品对象n的相关信息组成构建展品信息数据库。本发明采用嵌入式数据库HSQLDB，以适合硬件资源有限的可穿戴计算机，HSQLDB是一个开放源代码的JAVA数据库，其具有标准的SQL语法和JAVA接口，它可以自由使用和分发，非常简洁和快速的，有服务器和In-Process两种模式。本发明采用In-Process模式，在这种模式下，数据库引擎作为应用程序的一部分在同一个JVM中运行，因为数据不用转换和通过网络的传送而使速度更快。

第二阶段：实时在线导览

当参观者进入展区后，首先采用基于TOA的IR-UWB测距技术和WOOSENSWMC系列高精度三维电子罗盘进行参观者位置估计和视角确定。图2给出了IR-UWB定位系统原理结构图，各定位参考点为位置已知的IR-UWB收发设备，通过频率锁定共有一个参考时钟，即保持时钟同步。移动目标节点为需要进行位置估计的参观者位置，参观者身上带有IR-UWB标签。

1.参观者位置估计

过程如下：

(1)t₀时刻，可穿戴计算机选定系统中的N个定位参考点进行特定的定位任务，由其中某定位参考点发送包含目标节点ID的IR-UWB定位命令信号。

(2)在所有目标节点中，仅有能够满足ID匹配的IR-UWB移动目标节点(参观者)进行IR-UWB信号的反射。被选定的N个定位参考点同时进行反射信号的接收与检测，并将检测到的相关数据(即移动目标发射信号到达各个定位参考点的时间，TOA数据)送入可穿戴计算机。

(3)可穿戴计算机根据各个定位参考点所测量到的TOA数据，采用Chan算法进行位置估计，目标节点与第i个参考结点之间的距离如下：

其中：

令D_i，1表示目标结点到参考结点i和参考结点1的距离差，则：

其中c为电波传播速率，和分别是参考结点i和参考结点1检测到的TOA值。对该非线性方程组进行线性化处理之后，可得以下公式：

通过下式获得D₁的值：

将式(16)带入式(15)得出目标结点的估计位置，如式(17)：

其中，这样就得到了具有唯一解的目标结点位置。

2.参观者头部视角信息获取

对于参观者头部视角的确定，本发明采用WOOSENSWMC系列高精度三维电子罗盘。首先初始化电子罗盘端口，然后打开端口并开启计时器，定时接收读取到的数据，处理满足条件的字符串并解算出姿态信息，所提取的电子罗盘信息为俯仰角、横滚角、磁北偏角。

3.图像矩匹配

获取参观者的当前位置和视角之后，采用最近邻算法(NN)计算出展品信息数据库中与参观者当前位置最为接近的观察参考点位置坐标(RP_x，RP_y)，继而再求出展品信息数据库中在(RP_x，RP_y)坐标下与参观者当前视角最为接近的观察参考点视角坐标(RP_CA)。与此同时，提取当前视频帧中对应展品的矩特征，在上一步得到的检索范围内进行当前视频帧展品图像矩和检索范围内的图像矩之间的匹配计算，匹配采用基于欧氏距离的方法，具体过程如下：

设G，S为7维空间的两点，其中点G＝(g₁，g₂，……g₇)表示当前视频帧图像的7个不变矩，点S＝(s₁，s₂，……s₇)表示检索范围内某图像的7个不变矩，采用下列公式计算二者之间的欧式距离作为其匹配度测度：

ED值越低，表示二者越匹配，ED值最小者即为展品信息库中与当前视频帧图像所对应的展品，调出该展品对象对应的相关三维模型、文字说明、图片等。

4.矩阵变换

本发明借鉴了ARToolKit的坐标体系思想，即世界坐标系(真实空间绝对坐标系)、摄像机坐标系(即观察者坐标系)、实际屏幕坐标系和理想屏幕坐标系。观察者头部在真实空间中的方位(x，y，z，α，β，γ)已经通过前述阶段确定。

摄像机坐标系与理想屏幕坐标系之间的关系见公式(19)，其中(X₁，Y₁)^T为理想屏幕坐标系，S为摄像机内置参数，h表示比例因子。

摄像机坐标系与世界坐标系之间的关系见公式(20)，其中，(X_c，Y_c，Z_c，)^T为摄像机坐标系，(X_M，Y_M，Z_M，)^T为世界坐标系，T_cm为摄像机变换矩阵，R和T表示摄像机的旋转和平移变换，R为3*3正交矩阵，T为三维向量(T₁，T₂，T₃)^T。

由公式(19)和公式(20)可得，理想屏幕坐标系和世界坐标系之间的关系如公式(21)所示：

考虑到摄像头存在成像畸变，理想屏幕坐标系中的点(X₁，Y₁)将由其在实际屏幕坐标系中的对应点(X_d，Y_d)通过公式(22)计算得到，其中，(X₀，Y₀)为光学畸变中心的位置，S为缩放因子，f为畸变因子。

X＝S(X_c-X₀)，Y＝S(Y_c-Y₀)

D²＝X²+Y²

P＝{1-fD²}

X_d＝PX+X₀，Y_d＝PY+Y₀ (22)

根据已知世界坐标系下的点及它们在理想坐标系中的对应点位置，初步估算出摄像机变换矩阵后，然后通过非线性最小二乘法对摄像机变换矩阵进行迭代求精，从而求出摄像机变换矩阵T_cm。

5.虚实融合显示

最后，根据变换矩阵将上述步骤中所得展品对象对应的相关三维模型等信息与摄像机采集的视频图像进行数据融合叠加，分左、右视点对图像进行取样，提供给头盔显示器，形成具有沉浸感的立体增强现实图像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于IR-UWB和图像矩的装备展示导览方法，应用于基于IR-UWB和图像矩的装备展示导览系统，其特征在于：所述基于IR-UWB和图像矩的装备展示导览系统包括：CMOS摄像机、头盔显示器、图像矩特征模块、IR-UWB定位模块、三维电子罗盘、虚拟场景生成模块、虚实融合模块和数据融合模块；

导览过程包括以下步骤：

(1)展品信息关系数据库构建阶段：建立来自不同定位参考点和不同视角的展品信息关系数据库，展品信息关系数据库包含定位参考点位置、视角坐标、某一定位参考点位置和某一视角坐标下对应展品对象的矩特征、相关文字说明、三维模型和图片；

(2)实时在线导览阶段：采用基于TOA的IR-UWB测距技术和三维电子罗盘进行参观者位置估计和视角确定；对每一幅CMOS摄像机实时传入的当前视频帧做如下处理：根据IR-UWB获得的位置信息和三维电子罗盘获得的角度信息将用户当前所处场景的检索范围进行缩小；通过固定在使用者头盔上的CMOS摄像机采集真实场景图像，送到可穿戴计算机进行处理，提取当前视频帧中对应展品的矩特征，在缩小后的检索范围内完成场景的检索和识别；可穿戴计算机根据使用者头部的位置信息和视线方向计算摄像机姿态，确定所要添加的虚拟信息在真实空间坐标中的映射位置，并将这些信息实时显示在头盔显示器的正确位置；

所述数据融合模块是将来自图像矩特征数据、定位数据、姿态测量数据以及相关文字说明、三维模型和图片进行组织；

采用基于TOA的IR-UWB测距技术进行位置估计，在各定位参考点得到估计信号的到达时间后，通过确定的定位算法进行移动目标节点位置估计，在对移动目标节点的位置进行估计时，其定位准确率影响因素包括室内环境下定位模块的结构、参与TOA估计和位置估计的定位参考点的数目、位置以及定位算法的选择，具体步骤如下：

(1)t0时刻，可穿戴计算机选定系统中的N个定位参考点进行特定的定位任务，由其中某定位参考点发送包含目标节点ID的IR-UWB定位命令信号；

(2)在所有目标节点中，仅有能够满足ID匹配的IR-UWB移动目标节点进行IR-UWB信号的反射，被选定的N个定位参考点同时进行反射信号的接收与检测，并将检测到的TOA数据送入可穿戴计算机，TOA数据为移动目标发射信号到达各个定位参考点的时间；

(3)可穿戴计算机根据各个定位参考点所测量到的TOA数据，采用Chan算法进行位置估计，估算出移动目标节点的位置后，传送给虚拟场景生成模块和数据融合模块。

2.如权利要求1所述的基于IR-UWB和图像矩的装备展示导览方法，其特征在于：每个定位参考点对应多个视角，在每个定位参考点处，从多个视线方向观察展品对象，每个定位参考点处对应的视角个数根据展品的布局密度灵活调整；并且，在某定位参考点对应的某视角对应多个展品对象。

3.如权利要求1所述的基于IR-UWB和图像矩的装备展示导览方法，其特征在于：在图像矩特征模块中采用矩特征进行识别。

4.如权利要求1所述的基于IR-UWB和图像矩的装备展示导览方法，其特征在于：

对于使用者视角的确定，采用WOOSENSWMC系列高精度三维电子罗盘。

5.如权利要求1所述的基于IR-UWB和图像矩的装备展示导览方法，其特征在于：系统包括虚拟场景生成模块，该模块根据获得的位置和姿态信息，结合展品信息关系数据库，从虚拟模型库中调出当前位置和视角所需要的虚拟对象，利用注册信息对其进行坐标和投影变换，结合环境的光照信息对模型进行渲染，之后根据采用的头盔显示器的透视形式，生成适合用户的虚拟场景。

6.如权利要求1所述的基于IR-UWB和图像矩的装备展示导览方法，其特征在于：系统包括虚实融合模块，该模块先获得真实场景图像，根据虚拟对象的注册信息，对虚拟对象进行坐标变换和渲染后，采用图像融合技术将其与真实场景图像叠加，实现虚实融合。

7.如权利要求6所述的基于IR-UWB和图像矩的装备展示导览方法，其特征在于：添加相关文字、声音增强信息，分左、右视点对图像进行取样，提供给头盔显示器，形成具有沉浸感的立体增强现实图像。