CN105205799A - 一种具有全方位特征面的装置及增强现实三维注册系统 - Google Patents

Abstract

本发明公开了一种具有全方位特征面的装置及采用所述装置的增强现实三维注册系统，通过构造一个封闭空间并在封闭空间内表面设置特征点，可以实现该封闭空间内可移动摄像机的三维注册，解决可移动摄像机在增强现实环境中的外界光照等因素影响特征点检测造成三维注册失败的问题，以及特征点被遮挡造成三维注册的失败问题，实现全向无死角、大范围、多角度的三维注册。

Description

一种具有全方位特征面的装置及增强现实三维注册系统

技术领域

本发明涉及虚拟现实和人机交互技术领域，尤其涉及一种具有全方位特征面的装置及增强现实三维注册系统。

背景技术

增强现实是在虚拟现实的基础上发展起来的新技术，是通过科学技术使计算机系统提供虚拟信息并叠加到真实世界中，以增加用户对现实世界感知的技术。三维注册是增强现实系统的重要组成部分，首先获取三维空间中具体物体的准确的三维空间坐标，然后根据获取的三维坐标将由计算机生成的虚拟物体绑定拼接到真实的三维空间中去，以达到真实环境和虚拟物体的准确无缝融合。

在现有技术中，三维注册方法主要采用基于特征点的方法。通过摄像机捕捉特征点，并获取每个特征点的三维位置坐标和二维屏幕坐标的映射，进行三维注册。现有方法存在以下问题：

第一，特征点被遮挡造成三维注册的失败。

第二，光照等外界因素影响特征点的检测造成三维注册的失败。

发明内容

本发明的目的在于提供一种具有全方位特征面的装置及采用所述装置的增强现实三维注册系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种具有全方位特征面的装置，包括一个全封闭式或半封闭式箱体，所述箱体上设有可打开和闭合的用于使用者出入的出入口，当所述出入口闭合时所述箱体内部形成一个全封闭或半封闭的空间，所述箱体内侧布置有若干个相邻且相互不重叠的特征点，所述若干个特征点均互不相同且每一个所述特征点的位置均预先确定、每一个所述特征点与其所在位置形成唯一对应关系。

优选的，所述特征点选用以下之一或以下两种或多种的组合：

颜色互不相同的色块；

形状互不相同的几何形状块；

互不相同的图形；

互不相同的文字符号。

优选的，所述特征点选用以下之一或以下两种或多种的组合：

自发光设备；

背光设备；

反光设备；

以上所述光为可见光和/或非可见光。

优选的，所述箱体的外部设置有用于驱动所述箱体移动位置的驱动机构。

优选的，所述特征点布满所述箱体的整个内表面。

优选的，所述箱体内部空间形状为方形或圆形或不规则几何形。

优选的，所述箱体上设有观察窗和/或透气孔。

一种增强现实三维注册系统，包括所述的具有全方位特征面的装置，还包括运算分析模块和设置于所述具有全方位特征面的装置内部可移动的图像采集装置，所述图像采集装置用于采集所述特征点的图像，所述运算分析模块用于对所述图像采集装置捕获的图像进行处理、运算并得到所述图像采集装置的位置。

优选的，所述运算分析模块还用于将由计算机生成的虚拟物体影像映射到所述具有全方位特征面的装置内和/或外的指定位置，以达到虚拟物体和真实世界的准确融合。

优选的，还包括运动状态控制模块，用于以所述图像采集装置的位置信息为参数通过控制所述驱动机构运动进而控制所述箱体的运动状态。

优选的，所述运动状态包括：平移和/或旋转和/或抖动和/或升降。

优选的，所述图像采集装置为配置有标准镜头的摄像机，或者为配置有广角镜头的摄像机。

本发明的有益效果是：

本发明的具有全方位特征面的装置及采用所述装置的增强现实三维注册系统，通过构造一个封闭空间并在封闭空间内表面设置特征点，可以实现该封闭空间内可移动摄像机的三维注册，解决可移动摄像机在增强现实环境中的外界光照等因素影响特征点检测造成三维注册失败的问题，以及特征点被遮挡造成三维注册的失败问题，实现全向无死角(大范围、多角度的)三维注册。

附图说明

图1是本发明的具有全方位特征面的装置的透视示意图(一)；

图2是本发明的具有全方位特征面的装置的透视示意图(二)；

其中：1---特征点；2---图像采集装置；3---封闭式空间；

图3是本发明的具体实施例中单个特征点放大示意图；

图4是本发明的具体实施例中由多特征点组成的特征面的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明的目的在于提供一种具有全方位特征面的装置及采用所述装置的增强现实三维注册系统，通过构造一个封闭空间并在封闭空间内表面设置特征点，可以实现该封闭空间内可移动摄像机(图像采集装置)的三维注册，解决可移动摄像机在增强现实环境中的外界光照等因素影响特征点检测造成三维注册失败的问题，以及特征点被遮挡造成三维注册的失败问题，实现全向无死角(大范围、多角度的)三维注册。

本发明提出的具有全方位特征面的装置内部可以是长方体、球体等全封闭或半封闭几何空间，这里的半封闭指的是长方体、球体空间可能具有窗/门、观察孔、透气孔等开口。长方体、球体空间内表面(例如长方体的六个面、球体的整个内表面)充满特征点，特征点位置被预先确定。特征点可以是互不相同的特殊的颜色块，具有特殊形状的互不相同的方块，互不相同的图形和文字符号，也可以是自发光或带背光的互不相同的图形和文字符号。自发光光源或背光光源可以是不可见的红外光，这样的图形和文字符号对于人眼是不可见的，可以提高使用者的舒适感。特征点充满整个封闭空间内表面，并且按照特定形状排列，使位于封闭空间内部的摄像机在封闭空间有效范围内能够捕捉3个以上特征点。封闭空间有效范围是指封闭空间中可以进行摄像机三维注册的空间范围。

具有全方位特征面的封闭空间是可以运动的。封闭空间自身具有运动装置或者借助外界运动装置，发生平移、旋转等运动。至少支持一个自由度(沿某轴向平移或转动)，到多自由度复杂运动。可以通过外部的机械机构/电磁等方式来驱动本封闭空间(箱体)进行运动，从而模拟虚拟现实中的运动场景，来带身临其境的真实感。

本发明的增强现实三维注册系统包含一个具有全方位特征面的装置构造的封闭空间、至少一个摄像机和运算分析模块。封闭空间内表面充满特征点，特征点位置被预先确定。摄像机位于封闭空间内部，拍摄封闭空间内表面特征点图像。图像采集装置可以配置标准镜头也可以配置广角镜头。配置广角镜头后，图像采集装置视角范围大，可以涵盖大范围景物，适当减少封闭空间内侧特征点的密度后仍可进行准确的三维注册。运算分析模块用于对摄像机捕获的图像进行处理、运算并得到摄像机的位置，运算分析模块还可以用于将由计算机生成的虚拟物体映射到真实世界中，以达到虚拟物体和真实世界的准确融合，从而解决可移动摄像机在增强现实环境中的三维注册问题。

针对本发明中的增强现实、三维注册系统的概念解释：增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。三维注册是指获取三维空间中具体物体的准确的三维空间坐标。

以下结合附图具体说明：

具有全方位特征面的封闭空间可以是长方体、球体等全封闭或半封闭几何空间，这里的半封闭指的是长方体、球体空间可能具有窗/门、观察孔、透气孔等开口。封闭空间内表面充满特征点，如图(1)、(2)所示。特征点用于进行三维注册，因此需要满足：

1)特征点的空间位置预先确定；

2)不同特征点可以区分；

3)特征点在旋转后仍能识别。

根据上述要求，特征点可以是各不相同的特殊颜色块，具有特殊形状的各不相同的方块，各不相同的图形和文字符号，也可以是自发光或带背光的图形和文字符号。自发光光源或背光光源可以是不可见的红外光，这样的图形和文字符号对于人眼是不可见的，也可以避免环境光的影响，同时也可以提高使用者的舒适度。

采用红外光源具有特殊形状的特征点的设计方法可以选用如图(3)所示的方案，当然也可以选用其他方案，只要能满足前述三个条件即可，每个特征点采用多个辐射功率较小的红外光源，按一定的形状排列组成。其中边角位置用于对特征点进行定位，包括3个边角由四个光源组成的光源组，1个边角留空；其余12个位置用于对特征点进行编码，可以编码2¹²＝4096个不同的特征点。按照上述方法构建特征点，可以满足：1)不同特征点可以区分，2)特征点旋转后仍能识别。在预先确定的位置放置特征点，可以得到每个特征点的空间位置。

全方位特征面是由大小、位置不同的特征点构成的，特征面部分区域如图(4)所示。按照上述方法构建特征面，可以满足：摄像机在较大的范围内捕获3个以上的特征点，从而进行摄像机三维注册。

以下对运算分析模块具体的运算分析过程详细说明：

摄像机定位是根据摄像机在全方位特征面空间中捕获到3个以上特征点的图像与该特征点的空间位置计算得到的，涉及特征点图像的采集及处理、摄像机定位算法。该系统的三维注册可以根据摄像机在全方位特征面空间中捕获到1个以上特征点的图像与该特征点的空间位置计算得到的。基于多特征点的三维注册策略能有效降低遮挡对三维注册精度的影响。

图像采集就是将客观世界的3D场景投影到摄像机2D成像平面上的过程。成像变换建立了空间坐标点(X,Y,Z)和图像坐标点(u,v)之间的几何关系。涉及到若干不同坐标系统之间的变换，世界坐标系、摄像机坐标系、成像平面坐标系、计算机图像坐标系。

坐标系变换：

A.从世界坐标系到摄像机坐标系的坐标变换：

空间中的点P在世界坐标系与摄像机坐标系下的坐标分别是(X,Y,Z)和(X’,Y’,Z’)，于是存在以下关系：

$\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\\ 1\end{array}\right)=\left[\begin{array}{cc}{R}^{3\×3}& T^{3\×1}\\ 0^{1\×3}& 1\end{array}\right]\·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(1\right)$

其中R^3*3＝R(α,γ)是旋转矩阵，分别是绕摄像机坐标系绕x轴旋转角度为α，绕y轴旋转角度为β，绕z轴旋转角度为γ。T^3*1＝(T_x,T_y,T_z)^T为平移矢量。6个参数组成(α,β,γ,T_x,T_y,T_z)为摄像机外参。

$\begin{array}{c}{M}_1=\left[\begin{array}{cc}{R}^{3\×3}& T^{3\×1}\\ 0^{1\×3}& 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\α}& \sin \mathrm{\α}& 0& 0\\ -\sin \mathrm{\α}& \cos \mathrm{\α}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}& 0\\ 0& 1& 0& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}& 0\\ 0& 0& 0& 1\end{array}\right]\·\\ \left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \mathrm{\γ}& \sin \mathrm{\γ}& 0\\ 0& -\sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 0& 1\end{array}\right]\·\begin{array}{}\end{array}\left[\begin{array}{cccc}1& 0& 0& T_x\\ 0& 1& 0& T_y\\ 0& 0& 1& T_z\\ 0& 0& 0& 1\end{array}\right]\end{array}---\left(2\right)$

B.从摄像机坐标系到成像平面坐标系的坐标变换：

点P在成像平面的成像p的坐标为(x,y)，则有如下关系：

$Z^{\′}\·\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\·\left(\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\\ 1\end{array}\right)---\left(3\right)$

其中f为摄像机焦距。

C.从成像平面坐标系到计算机图像坐标系的转换：

点p在计算机图像坐标系是(u,v)，则有如下关系：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\·\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(4\right)$

其中，dx，dy分别为每个像素在x轴和y轴方向上的物理尺寸，(u₀,v₀)为计算机图像坐标系的原点在成像平面坐标系中的坐标。

因此，世界坐标系下的坐标为(X,Y,Z)的点P与其投影点p(在计算机图像坐标系下的坐标(u,v))的关系：

$Z^{\′}\·\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\·\left[\begin{array}{cc}{R}^{3\×3}& T^{3\×1}\\ 0^{1\×3}& 1\end{array}\right]\·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(5\right)$

上式可表示为：

$Z^{\′}\·\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=M_2\·M_1\·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)=M\·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(6\right)$

其中，M₂为摄像机内参，只与摄像机本身的结构有关；M₁为摄像机外参，摄像机相对于世界坐标系的方位决定。

摄像的内外参数M₁，M₂可以通过直接线性变换方法、张正友的平面标定方法、Tsai标定方法等方法进行标定求解。标定后的摄像机可以得到世界坐标系下的坐标为(X,Y,Z)的点P与其投影点p(在计算机图像坐标系下的坐标(u,v))的对应关系。

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=M_2\·M_1\·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---\left(7\right)$

摄像机内参M₂只与摄像机本身的结构有关，因此对于同一摄像机标定后内参矩阵不会发生变化。而外参M₁会随着拍摄物体在空间中的位置变化而变化。

由于全方位特征面是预先构建的，其特征点的空间位置是已知的。对于特征点F_i，其世界坐标系坐标为(X_i,Y_i,Z_i)，在摄像机捕获该特征点，成像为f_i，在计算机图像坐标系中的坐标为(u_i,v_i)，满足：

$\left(\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right)=M_2\·M_1\·\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)=M_2\·\left[\begin{array}{cc}{R}^{3\×3}& T^{3\×1}\\ 0^{1\×3}& 1\end{array}\right]\·\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)---\left(8\right)$

上式中，由于特征点的位置预先确定，因此F_i世界坐标系坐标(X_i,Y_i,Z_i)是已知量，成像f_i的坐标(u_i,v_i)可以通过拍摄的照片得到，摄像机内参矩阵M₂是通过摄像机标定提前得到的，因此只有摄像机外参矩阵M₁是未知的。而摄像机外参矩阵M₁是描述世界坐标系到摄像机坐标系的坐标变换，根据公式(2)，6个参数组成(α,β,γ,T_x,T_y,T_z)为摄像机外参矩阵M₁。

当对应特征点个数k＝3时，有：

$\left[\begin{array}{ccc}{u}_1& u_2& u_3\\ v_1& v_2& v_3\\ 1& 1& 1\end{array}\right]=M_2\·M_1\·\left[\begin{array}{ccc}{X}_1& X_2& X_3\\ Y_1& Y_2& Y_3\\ Z_1& Z_2& Z_3\\ 1& 1& 1\end{array}\right]---\left(9\right)$

当内参矩阵M₂已知的情况下，可以求解线性方程组(9)，得到外参矩阵M₁的6个参数(α,β,γ,T_x,T_y,T_z)，当对应特征点个数k大于3个时，可采用求解如下优化问题，最优解对应的矩阵M₁即为所求。

$\min {\mathrm{\Σ}}_{i=1}^k\left(\mathrm{dis}(f_i,M_2\·M_1\·F_i)\right)---\left(10\right)$

其中内参矩阵M₂已确定，距离函数定义如下：

$\mathrm{dis}(A,B)=\sqrt{{(x_A-x_B)}^2+{(y_A-y_B)}^2}---\left(11\right)$

在式(11)中，(X_A,Y_A)为A点坐标，(X_B,Y_B)为B点坐标

外参矩阵M₁是世界坐标系到摄像机坐标系的坐标变换矩阵，据此可以得到摄像机坐标系原点在世界坐标系的位置为(-T_x,-T_y,-T_z)，完成摄像机定位。

三维注册是将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中。虚拟物体可以看作是真实世界中的一组点集(X_c,Y_c,Z_c)c＝1，2，…n，其中n为点集的个数。根据公式(8)和已经定位好的摄像机，可以计算得到虚拟物体在摄像机中的成像，完成三维注册。

本发明的具有全方位特征面的装置构造的封闭空间是可以运动的。封闭空间自身具有运动装置或者借助外界运动装置，发生平移、旋转等运动，例如在所述装置下部安装轮子再将其安置于滑轨上，通过外部机构拖拽其运行；或将所述装置安装在多维度的摇臂上；或将所述装置悬吊于空中的吊臂上，总之使其能够由系统控制进行运动，其运动方式也可以参考现有的4D影院中的运动机构的运动方式。其至少支持一个自由度(沿某轴向平移或转动)，到多自由度复杂运动。可以通过外部的机械机构/电磁等方式来驱动本封闭空间进行运动，但其所有的运动均应受运动状态控制模块的控制，从而模拟虚拟现实中的运动场景，进而给用户带来身临其境的真实感。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明的具有全方位特征面的装置及采用所述装置的增强现实三维注册系统，通过构造一个封闭空间并在封闭空间内表面设置特征点，可以实现该封闭空间内可移动摄像机的三维注册，解决可移动摄像机在增强现实环境中的外界光照等因素影响特征点检测造成三维注册失败的问题，以及特征点被遮挡造成三维注册的失败问题，实现全向无死角(大范围、多角度的)三维注册问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (12)

1.一种具有全方位特征面的装置，其特征在于，包括一个全封闭式或半封闭式箱体，所述箱体上设有可打开和闭合的用于使用者出入的出入口，当所述出入口闭合时所述箱体内部形成一个全封闭或半封闭的空间，所述箱体内侧布置有若干个相邻且相互不重叠的特征点，所述若干个特征点均互不相同且每一个所述特征点的位置均预先确定、每一个所述特征点与其所在位置形成唯一对应关系。

2.根据权利要求1所述的具有全方位特征面的装置，其特征在于，所述特征点选用以下之一或以下两种或多种的组合：

颜色互不相同的色块；

形状互不相同的几何形状块；

互不相同的图形；

互不相同的文字符号。

3.根据权利要求1所述的具有全方位特征面的装置，其特征在于，所述特征点选用以下之一或以下两种或多种的组合：

自发光设备；

背光设备；

反光设备；

以上所述光为可见光和/或非可见光。

4.根据权利要求1-3任一所述的具有全方位特征面的装置，其特征在于，所述箱体的外部设置有用于驱动所述箱体移动位置的驱动机构。

5.根据权利要求1-3任一所述的具有全方位特征面的装置，其特征在于，所述特征点布满所述箱体的整个内表面。

6.根据权利要求1-3任一所述的具有全方位特征面的装置，其特征在于，所述箱体内部空间形状为方形或圆形或不规则几何形。

7.根据权利要求1-3任一所述的具有全方位特征面的装置，其特征在于，所述箱体上设有观察窗和/或透气孔。

8.一种增强现实三维注册系统，其特征在于，包括权利要求1-7任一所述的具有全方位特征面的装置，还包括运算分析模块和设置于所述具有全方位特征面的装置内部可移动的图像采集装置，所述图像采集装置用于采集所述特征点的图像，所述运算分析模块用于对所述图像采集装置捕获的图像进行处理、运算并得到所述图像采集装置的位置。

9.根据权利要求8所述的增强现实三维注册系统，其特征在于，所述运算分析模块还用于将由计算机生成的虚拟物体影像映射到所述具有全方位特征面的装置内和/或外的指定位置，以达到虚拟物体和真实世界的准确融合。

10.根据权利要求8所述的增强现实三维注册系统，其特征在于，还包括运动状态控制模块，用于以所述图像采集装置的位置信息为参数通过控制所述驱动机构运动进而控制所述箱体的运动状态。

11.根据权利要求10所述的增强现实三维注册系统，其特征在于，所述运动状态包括：平移和/或旋转和/或抖动和/或升降。

12.根据权利要求8-11任一所述的增强现实三维注册系统，其特征在于，所述图像采集装置为配置有标准镜头的摄像机，或者为配置有广角镜头的摄像机。