CN106331682A - 一种互动区域可调的增强现实云台系统 - Google Patents

Abstract

一种互动区域可调的增强现实云台系统，提出增加一个令互动区域可调的云台系统。包括扫描设备、云台、投影设备、固定或可移动支座、与三维扫描设备连接的输入单元、图形与数据处理单元、与投影显示设备连接的输出单元、增强现实控制器。三维扫描设备连接的输入单元、图形与数据处理单元、与投影显示设备连接的输出单元都安装于增强现实控制器内。扫描设备、投影设备安装云台上，云台安装于支座上；云台上下分别为两个刚性构件，两个刚性构件设计在相对位置以实现对于互动区域可调。实现三维扫描设备与投影显示设备之间形成的互动区域,及主信息图形投影方向的可调节，拓展了旧有系统的应用场合。

Description

一种互动区域可调的增强现实云台系统

技术领域

本发明所属增强现实技术领域。

背景技术

目前，国内外都有基于增强现实技术的三维对象互动系统，如德国慕尼黑工业大学的Gerhard Schubert等人开发的CDP系统(http://cdp.ai.ar.tum.de/)，又如张伊娜发明的实用新型《一种三维模型互动演示装置》(授予公告号CN 205281823 U)。此类系统的运行具有相似的原理，即在不断循环的每一计算片断中，先通过三维扫描模块，以点云形式捕获参与互动的实物对象的外形，然后通过图形处理模块将其重构为由面组成的几何对象，在此基础上由数据处理模块对其进行各种数值计算，以生成相应的二维信息图形，最终由投影显示系统将该二维信息图形投射到与实物对象相匹配的空间位置，实现增强现实的效果。不断循环进行的上述计算片段，在强大计算能力的支持下，可以体现为由计算机增强至实物对象的信息与人操作实物对象的动态过程形成实时互动关系。

显然，上述旧有系统依赖于，以经三维扫描而来的实物对象所处的三维空间坐标系统为参考，描述投影显示的空间轨迹，基于此描述才有可能实现二维信息图形在真实空间中与实物对象的正确匹配。由于此类系统的投影显示设备与三维扫描设备都由市场采购集成而来，一方面缺乏相对于物理设备的准确焦点位置和扫描原点的技术信息，另一方面在集成安装过程中也总是存在各种误差，因此目前上述系统均采用了三维扫描模块与投影显示模块相对位置固定的设计，在搭建系统后可以通过在扫描而来的三维坐标系统中，为投影原点与方向引入三维调节参数，反复调试校准，来实现两者的匹配。正因为匹配工作较为困难，所以投影显示设备与三维扫描设备相对位置固定，而由两者的有效工作空间所交汇的互动区域(两个四棱锥的交集空间)亦被固定下来。

上述固定的互动区域对于灵活多变的应用需求而言就是一个问题。由于现有三维扫描设备可以获得其观察点处实物对象可见部分的所有点云(那些法线与扫描线呈较大锐角夹角的侧向面依然可以被点云覆盖，只是面上点的密度有所降低，但一般不影响面的重构计算)，而这些侧面上的投影效果却随着夹角的变大相应变差(圆形的像素在这些侧面上变成椭圆形，颜色、亮度、清晰度都会随之变差)。所以在旧有系统中两者相对位置固定的情况下，它往往只能提供一个几乎垂直于投影设备的最佳工作面(目前旧有系统不约而同地采取水平桌面作为最佳工作面，而扫描与投影设备固定于其正上方，主要的信息图形投影在实物对象的顶面及其各平行面)。显然，当信息图形需要投影在实物对象的不同方向时，这样的固定互动区域系统无法胜任；同时当实物对象的尺度超出桌面、或不可置于桌上，或在周围一定区域移动时，这样的固定互动区域系统也无法胜任。

本发明旨在基于旧有系统的一般原理，提出增加一个令互动区域可调的云台系统(云台自身可灵活安装在各种方向的固定或移动平台上)，云台上面固定的三维扫描设备与投影显示设备之间的相对位置可调，由配套操作与算法实现两者的快速空间匹配，获得一个新的互动区域，提高对各种实物对象的适应能力。

发明内容

本发明旨在基于旧有系统的一般原理，提出增加一个令互动区域可调的云台系统(云台自身可灵活安装在各种方向的固定或移动平台上)，云台上面固定的三维扫描设备与投影显示设备之间的相对位置可调，由配套操作与算法实现两者的快速空间匹配，获得一个新的互动区域，提高对各种实物对象的适应能力。

为此，本发明给出的技术方案为：

一种互动区域可调的增强现实云台系统，包括扫描设备1、云台2、投影设备3、固定或可移动支座6、与三维扫描设备连接的输入单元7、图形与数据处理单元8、与投影显示设备连接的输出单元9、增强现实控制器10；

所述与三维扫描设备连接的输入单元7、图形与数据处理单元8、与投影显示设备连接的输出单元9都安装于增强现实控制器10内；所述图形与数据处理单元8与现有技术一样也包括图形处理模块(已属于现有技术，与现有技术一样)和数据处理模块(本发明的创新点之一)，

其特征在于，所述扫描设备1、投影设备3安装于云台2上，所述云台2(本发明的创新点之一)安装于所述固定或可移动支座6上；所述云台2上下分别为两个刚性构件，所述两个刚性构件设计成在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变以实现对于互动区域可调；

其特征在于，所述数据处理模块包括空间匹配模块，所述空间匹配模块为与该云台配套的匹配算法，旨在以三维扫描获得的以O点为原点的点云空间坐标系统来描述投影显示设备的投影焦点P及其各投影参数。

进一步细化技术方案，所述该云台设计为上下两个刚性构件，两者以旋钮V同时实现竖向间距调节、围绕R-R'轴的旋转定位。上方构件通过横向调节螺母H连接投影设备，实现横向平移与方向调节。下方构件的底部用于与其他固定或可移动支座连接。下方构件的上部用于连接三维扫描设备。由此，分别通过调节旋钮H与V，实现在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变，从而实现对于互动区域的调节。

进一步细化技术方案，所述空间匹配模块，该空间匹配算法的基本思路是：

(1)分别在两次采集所得的具有非中心对称关系图案的图形中找到至少三组特征点对，且它们在各自所在采集面中不共线；

(2)通过求出各点对之间连线的空间交点，得到投影焦点P的空间坐标；

(3)过任意一个点，求一个平面多边形，除该点外其余顶点分别位于其他相应点对连线及延长线上，且该平面多边形与之前投影的图案中的相应多边形为相似多边形关系(图案在该平面及其平行平面上不变形)，该求得平面即为投影聚焦平面；

(4)在投影聚焦平面上根据特征点在原图案中的位置关系，求得画面的横向、竖向、法向矢量；

(5)根据上述矢量，以及特征点在原画面中与画面四角的像素比例关系，即可从特征点的空间坐标求得该投影聚焦平面上画面的四角坐标，求出投影四棱锥四条棱的矢量。

除了本发明利用紧凑的四维度可调节云台来实现投影设备与扫描设备的相对位置调节以外，还可以通过将投影设备与三维扫描设备分别安装于各自的云台上,并设置于不同的空间位置，在确保投影的匹配图象能被扫描设备完整采集的条件下,亦可在一定空间范围内实现互动区域的可变。在这种情况下,虽然两个设备依然可通过本发明中的匹配方法,快速完成投影设备与扫描设备空间位置关系的匹配。这种实施方式,应看作是本发明构思在尺度延伸后的另一种具体实施方式。

以上技术方案的关键技术点:

1)可以通过调节三维扫描设备与投影显示设备之间相对空间位置的四个维度(横向距离、竖向距离、横向夹角、竖向夹角)，实现对增强现实互动区域及主信息图形投影方向的调节；

2)在无需知晓投影显示设备投影参数的条件下，利用三维扫描两次捕获到由投影显示设备满屏显示的同一个具有非中心对称关系图案的图形，通过算法计算出三维扫描设备与投影显示设备之间的相对位置关系，及显示设备的主要投影参数。

与现有技术相比，本发明的益效果:

本发明加入旧有的增强现实互动系统中后，可以实现三维扫描设备与投影显示设备之间形成的互动区域,及主信息图形投影方向的可调节，从而可以使信息图形按需要投影到实物对象的不同方向、适应尺度超出桌面、或不可置于桌上，或在周围一定区域移动的实物对象，大大拓展了旧有系统的应用场合。

附图说明

图1云台构成

图2加入云台后的增强现实系统

图3满屏显示的特殊图形

图4投影焦点P及其投影参数

图5聚焦平面与画面四角

标记说明：

1 扫描设备

2 云台

3 投影设备

4 互动区域

5 投有信息图形的实物对象

6 固定或可移动支座

7 与三维扫描设备连接的输入单元

8 图形与数据处理单元

9 与投影显示设备连接的输出单元

10 增强现实控制器

11 第一次承载完整图形的平面

12 第二次承载完整图形的平面

具体实施方式

以下结合附图和实施例对本发明技术方案做进一步说明

实施例1

云台(图1)上下分别为两个刚性构件，两者以旋钮V同时实现竖向间距调节、围绕R-R'轴的旋转定位。下方构件的底部采用标准的摄影云台尺寸，并设有固定孔，用来与其他固定或可移动支座连接。下方构件的上部用于连接三维扫描设备。上方构件通过横向调节螺母H连接投影设备，实现横向平移与方向调节。即两个设备在固定过程中，可以分别通过调节旋钮H与V，实现它们在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变，从而实现对于互动区域的调节。

该云台可加入旧有系统，如图2。当三维扫描设备与投影显示设备通过该云台连接，并调节到某一相对位置时，两者各自的工作范围(四棱锥)在空间中形成一个交集。该交集中在扫描设备的有效工作距离Smin至Smax之间，且在投影设备的最小聚焦距离Pmin以外，形成了有效的互动区域(图2中以粗虚线表示的4部分)。通过调节旋钮H与V可使两者在一定的范围内变化相对空间位置关系，形成各种互动区域及主信息图形投影方向。

图2加入云台后的增强现实系统(扫描设备1，云台2，投影设备3，互动区域4，投有信息图形的实物对象5，固定或可移动支座6，与三维扫描设备连接的输入单元7，图形与数据处理单元8，与投影显示设备连接的输出单元9，增强现实控制器10)

与云台配套的匹配方法，旨在以三维扫描获得的以O点(图2)为原点的点云空间坐标系统来描述投影显示设备的投影焦点P(图2)，及其各投影参数。匹配方法分为四步：

1)由投影显示设备满屏显示一个具有非中心对称关系图案的图形。比如图3在图像宽度为w个像素、高度为h个像素的满屏画面中，四角分别有红、绿、蓝、灰四个边长为t个像素的正方形色块。

2)由操作者斜持一平板在互动区域内先后两次在两个不同位置分别承接完整的上述图形,如图4中的11与12。

3)由三维扫描设备将两次采集该图形四角色块的点云(每点包含三维坐标与颜色值)读入增强现实控制器。

4)由空间匹配算法计算出P点的空间坐标，及其各投影参数。

上述方法的具体实现如下(本实施例采用了四组特征点对)

一、算法的第一阶段：已知两次采集而来的两组每组四个色块的点云，求四组特征点对(A-E,B-F,C-G,D-H)的坐标，。

对于每次采集的点云集，可分别以颜色来区分，分别计算出每个四边形色块的中心,即坐标平均值，分别采取以下命名。

第一次A(Xa,Ya,Za)、B(Xb,Yb,Zb)、C(Xc,Yc,Zc)、D(Xd,Yd,Zd)

第二次E(Xe,Ye,Ze)、F(Xf,Yf,Zf)、G(Xg,Yg,Zg)、H(Xh,Yh,Zh)

二、算法的第二阶段：根据四组特征点对求出投影焦点P的(x,y,z)坐标

根据四棱锥的几何特点可知：两次截面上的四组对应点(A与E、B与F、C与G、D与H)分别所在四条棱，理想状态下他们具有共同的交点P。由于实际测量获得的各点存在一定的误差，无法确保其所描述的任意两条棱共面而具有交点，更无法确保任意两条棱的交点都完全重合，所以本算法分别取相邻两条棱之间的最小距离的中点作为两者的近似交点，并取两两相邻棱四个近似交点的平均值作为最终的P点。

1.分别取任意相邻两条棱上的四个点，以点A、B、E、F为例，即可通过以下点法式参数方程，列出直线AE与直线BF的方程。

直线AE参数方程为

$\left\{\begin{array}{c}x=(X_e-X_a)t+X_a\\ y=(Y_e-Y_a)t+Y_a\\ z=(Z_e-Z_a)t+Z_a\end{array}\right.$

直线BF参数方程为

$\left\{\begin{array}{c}x=(X_f-X_b)t+X_b\\ y=(Y_f-Y_b)t+Y_b\\ z=(Z_f-Z_b)t+Z_b\end{array}\right.$

虽然图4中两直线相交，但是由于测量值必然存在误差，因此此处假设直线AE与BF实为异面直线，其理想化的交点实际上取它们间最短距离的中点。

2.求上述两条直线间的最短距离线段，设该线段两端即为直线AE与BF上的两点M₁与N₁。

1)设点M₁位于直线AE上，其与直线BF间的距离为d₁,求当d₁最小时M₁坐标。

设点M₁坐标为有关参数t_m1的函数(X_m1,Y_m1,Z_m1)，其中

X_m1＝(X_e-X_a)t_m1+X_a

Y_m1＝(Y_e-Y_a)t_m1+Y_a

Z_m1＝(Z_e-Z_a)t_m1+Z_a

利用已知点B(X_b,Y_b,Z_b)作为辅助点,有

过M₁点作M₁N₁垂直于直线BF，垂足为N₁，M₁N₁长即为d₁，

设直线BF的单位向量为

$\stackrel{\→}{n_1}=(i_1,j_1,k_1)$

$i_1=\frac{X_f-X_b}{K_1}$

$j_1=\frac{Y_f-Y_b}{K_1}$

$k_1=\frac{Z_f-Z_b}{K_1}$

其中

有

上式经整理后为d₁关于t_m1的二次函数，不妨缩写为

其中

a＝[(Y_e-Y_a)k₁-(Z_e-Z_a)j₁]²+[(Z_e-Z_a)i₁-(X_e-X_a)k₁]²+[(X_e-X_a)j₁-(Y_e-Y_a)i₁]²

b＝-2{[(Y_e-Y_a)k₁-(Z_e-Z_a)j₁]((Y_b-Y_a)k₁-(Z_b-Z_a)j₁)+[(Z_e-Z_a)i₁-(X_e-X_a)k₁]((Z_b-Z_a)i₁-(X_b-X_a)k₁)+[(X_e-X_a)j₁-(Y_e-Y_a)i₁]((X_b-X_a)j₁-(Y_b-Y_a)i₁)}

当d₁取最小值时即为两异面直线AE与BF的距离，此时

将展开得

$t_{m1}=-\frac{\[(Y_e-Y_a)k_1-(Z_e-Z_a)j_1\]\left(\right(Y_b-Y_a)k_1-(Z_b-Z_a)j_1)+\[(Z_e-Z_a)i_1-(X_e-X_a)k_1\]\left(\right(Z_b-Z_a)i_1-(X_b-X_a)k_1)+\[(X_e-X_a)j_1-(Y_e-Y_a)i_1\]\left(\right(X_b-X_a)j_1-(Y_b-Y_a)i_1)}{{\[(Y_e-Y_a)k_1-(Z_e-Z_a)j_1\]}^2+{\[(Z_e-Z_a)i_1-(X_e-X_a)k_1\]}^2+{\[(X_e-X_a)j_1-(Y_e-Y_a)i_1\]}^2}$

将t_m1代入回(X_m1,Y_m1,Z_m1)中，可得到直线AE上点M₁的坐标。

2)同理，可得到直线BF上点N₁坐标，其到直线AE距离最小,其中设点N₁坐标为有关参数t_n1的函数(X_n1,Y_n1,Z_n1)，其中

X_n1＝(X_f-X_b)t_n1+X_b

Y_n1＝(Y_f-Y_b)t_n1+Y_b

Z_n1＝(Z_f-Z_b)t_n1+Z_b

$t_{n1}=-\frac{\[(Y_f-Y_b)s_1-(Z_f-Z_h)r_1\]\left(\right(Y_a-Y_b)s_1-(Z_a-Z_b)r_1)+\[(Z_f-Z_b)q_1-(X_f-X_b)s_1\]\left(\right(Z_a-Z_b)q_1-(X_a-X_b)s_1)+\[(X_f-X_b)r_1-(Y_f-Y_b)q_1\]\left(\right(X_a-X_b)r_1-(Y_a-Y_b)q_1)}{{\[(Y_f-Y_b)s_1-(Z_f-Z_h)r_1\]}^2+{\[(Z_f-Z_b)q_1-(X_f-X_b)s_1\]}^2+{\[(X_f-X_b)r_1-(Y_f-Y_b)q_1\]}^2}$

$q_1=\frac{X_e-X_a}{T_1}$

$r_1=\frac{Y_e-Y_a}{T_1}$

$s_1=\frac{Z_e-Z_a}{T_1}$

$T_1=\sqrt{{(X_a-X_e)}^2+{(Y_a-Y_e)}^2+{(Z_a-Z_e)}^2}$

3.求出M₁N₁的中点，即该次计算所得的近似交点P₁(X_p1,Y_p1,Z_p1)

$P_1(X_{p1},Y_{p1},Z_{p1})=(\frac{X_{m1}+X_{n1}}{2},\frac{Y_{m1}+Y_{n1}}{2},\frac{Z_{m1}+Z_{n1}}{2})$

4.分别求另外三组相邻棱近似交点P₂(X_p2,Y_p2,Z_p2)、P₃(X_p3,Y_p3,Z_p3)、P₄(X_p4,Y_p4,Z_p4)

1)由直线BF、CG确定的P₂(X_p2,Y_p2,Z_p2)

$P_2(X_{p2},Y_{p2},Z_{p2})=(\frac{X_{m2}+X_{n2}}{2},\frac{Y_{m2}+Y_{n2}}{2},\frac{Z_{m2}+Z_{n2}}{2})$

其中

M₂((X_f-X_b)t_m2+X_b,(Y_f-Y_b)t_m2+Y_b,(Z_f-Z_b)t_m2+Z_b)

N₂((X_g-X_c)t_n2+X_c,(Y_g-Y_c)t_n2+Y_c,(Z_g-Z_c)t_n2+Z_c)

$t_{m2}=-\frac{\[(Y_f-Y_b)k_2-(Z_f-Z_b)j_2\]\left(\right(Y_c-Y_b)k_2-(Z_c-Z_b)j_2)+\[(Z_f-Z_b)i_2-(X_f-X_b)k_2\]\left(\right(Z_c-Z_b)i_2-(X_c-X_b)k_2)+\[(X_f-X_b)j_2-(Y_f-Y_b)i_2\]\left(\right(X_c-X_b)j_2-(Y_c-Y_b)i_2)}{{\[(Y_f-Y_b)k_2-(Z_f-Z_b)j_2\]}^2+{\[(Z_f-Z_b)i_2-(X_f-X_b)k_2\]}^2+{\[(X_f-X_b)j_2-(Y_f-Y_b)i_2\]}^2}$

$t_{n2}=-\frac{\[(Y_g-Y_c)s_2-(Z_g-Z_c)r_2\]\left(\right(Y_b-Y_c)s_2-(Z_b-Z_c)r_2)\[(Z_g-Z_c)q_2-(X_g-X_c)s_2\]\left(\right(Z_b-Z_c)q_2-(X_b-X_c)s_2)+\[(X_g-X_c)r_2-(Y_g-Y_c)q_2\]\left(\right(X_b-X_c)r_2-(Y_b-Y_c)q_2)}{{\[(Y_g-Y_c)s_2-(Z_g-Z_c)r_2\]}^2+{\[(Z_g-Z_c)q_2-(X_g-X_c)s_2\]}^2+{\[(X_g-X_c)r_2-(Y_g-Y_c)q_2\]}^2}$

$i_2=\frac{X_g-X_c}{K_2}$

$j_2=\frac{Y_g-Y_c}{K_2}$

$k_2=\frac{Z_g-Z_c}{K_2}$

$q_2=\frac{X_f-X_b}{T_2}$

$r_2=\frac{Y_f-Y_b}{T_2}$

$s_2=\frac{Z_f-Z_b}{T_2}$

$K_2=\sqrt{{(X_c-X_g)}^2+{(Y_c-Y_g)}^2+{(Z_c-Z_g)}^2}$

$T_2=\sqrt{{(X_b-X_f)}^2+{(Y_b-Y_f)}^2+{(Z_b-Z_f)}^2}$

2)由直线CG、DH确定的P₃(X_p3,Y_p3,Z_p3)

$P_3(X_{p3},Y_{p3},Z_{p3})=(\frac{X_{m3}+X_{n3}}{2},\frac{Y_{m3}+Y_{n3}}{2},\frac{Z_{m3}+Z_{n3}}{2})$

其中

M₃((X_g-X_c)t_m3+X_c,(Y_g-Y_c)t_m3+Y_c,(Z_g-Z_c)t_m3+Z_c)

N₃((X_h-X_d)t_n3+X_d,(Y_h-Y_d)t_n3+Y_d,(Z_h-Z_d)t_n3+Z_d)

$t_{m3}=-\frac{\[(Y_g-Y_c)k_3-(Z_g-Z_c)j_3\]\left(\right(Y_d-Y_c)k_3-(Z_d-Z_c)j_3)\[(Z_g-Z_c)i_3-(X_g-X_c)k_3\]\left(\right(Z_d-Z_c)i_3-(X_d-X_c)k_3)+\[(X_g-X_c)j_3-(Y_g-Y_c)i_3\]\left(\right(X_d-X_c)j_3-(Y_d-Y_c)i_3)}{{\[(Y_g-Y_c)k_3-(Z_g-Z_c)j_3\]}^2+{\[(Z_g-Z_c)i_3-(X_g-X_c)k_3\]}^2+{\[(X_g-X_c)j_3-(Y_g-Y_c)i_3\]}^2}$

$t_{n3}=-\frac{\[(Y_h-Y_d)s_3-(Z_h-Z_d)r_3\]\left(\right(Y_c-Y_d)s_3-(Z_c-Z_d)r_3)+\[(Z_h-Z_d)q_3-(X_h-X_d)s_3\]\left(\right(Z_c-Z_d)q_3-(X_c-X_d)s_3)+\[(X_h-X_d)r_3-(Y_h-Y_d)q_3\]\left(\right(X_c-X_d)r_3-(Y_c-Y_d)q_3)}{{\[(Y_h-Y_d)s_3-(Z_h-Z_d)r_3\]}^2+{\[(Z_h-Z_d)q_3-(X_h-X_d)s_3\]}^2+{\[(X_h-X_d)r_3-(Y_h-Y_d)q_3\]}^2}$

$i_3=\frac{X_h-X_d}{K_3}$

$j_3=\frac{Y_h-Y_d}{K_3}$

$k_3=\frac{Z_h-Z_d}{K_3}$

$q_3=\frac{X_g-X_c}{T_3}$

$r_3=\frac{Y_g-Y_c}{T_3}$

$s_3=\frac{Z_g-Z_c}{T_3}$

$K_3=\sqrt{{(X_d-X_h)}^2+{(Y_d-Y_h)}^2+{(Z_d-Z_h)}^2}$

$T_3=\sqrt{{(X_c-X_g)}^2+{(Y_c-Y_g)}^2+{(Z_c-Z_g)}^2}$

3)以及由直线DH、AE确定的P₄(X₄,Y₄,Z₄)

$P_4(X_{p4},Y_{p4},Z_{p4})=(\frac{X_{m4}+X_{n4}}{2},\frac{Y_{m4}+Y_{n4}}{2},\frac{Z_{m4}+Z_{n4}}{2})$

其中

M₄((X_h-X_d)t_m4+X_d,(Y_h-Y_d)t_m4+Y_d,(Z_h-Z_d)t_m4+Z_d)

N₄((X_e-X_a)t_n4+X_a,(Y_e-Y_a)t_n4+Y_a,(Z_e-Z_a)t_n4+Z_a)

$t_{m4}=-\frac{\[(Y_h-Y_d)k_4-(Z_h-Z_d)j_4\]\left(\right(Y_a-Y_d)k_4.(Z_a-Z_d)j_4)+\[(Z_h-Z_d)i_4-(X_h-X_d)k_4\]\left(\right(Z_a-Z_d)i_4-(X_a-X_d)k_4)+\[(X_h-X_d)j_4-(Y_h-Y_d)i_4\]\left(\right(X_a-X_d)j_4-(Y_a-Y_d)i_4)}{{\[(Y_h-Y_d)k_4-(Z_h-Z_d)j_4\]}^2+{\[(Z_h-Z_d)i_4-(X_h-X_d)k_4\]}^2+{\[(X_h-X_d)j_4-(Y_h-Y_d)i_4\]}^2}$

$t_{n4}=-\frac{\[(Y_e-Y_a)s_4-(Z_e-Z_a)r_4\]\left(\right(Y_d-Y_a)s_4-(Z_d-Z_a)r_4)+\[(Z_e-Z_a)q_4-(X_e-X_a)s_4\]\left(\right(Z_d-Z_a)q_4-(X_d-X_a)s_4)+\[(X_e-X_a)r_4-(Y_e-Y_a)q_4\]\left(\right(X_d-X_a)r_4-(Y_d-Y_a)q_4)}{{\[(Y_e-Y_a)s_4-(Z_e-Z_a)r_4\]}^2+{\[(Z_e-Z_a)q_4-(X_e-X_a)s_4\]}^2+{\[(X_e-X_a)r_4-(Y_e-Y_a)q_4\]}^2}$

$i_4=\frac{X_e-X_a}{K_4}$

$j_4=\frac{Y_e-Y_a}{K_4}$

$k_4=\frac{Z_e-Z_a}{K_4}$

$q_4=\frac{X_h-X_d}{T_4}$

$r_4=\frac{Y_h-Y_d}{T_4}$

$s_4=\frac{Z_h-Z_d}{T_4}$

$K_4=\sqrt{{(X_e-X_a)}^2+{(Y_e-Y_a)}^2+{(Z_e-Z_a)}^2}$

$T_4=\sqrt{{(X_d-X_h)}^2+{(Y_d-Y_h)}^2+{(Z_d-Z_h)}^2}$

5.取P₁、P₂、P₃、P₄坐标平均值求得点P(X_p,Y_p,Z_p)

$P(X_p,Y_p,Z_p)=(\frac{X_{p1}+X_{p2}+X_{p3}+X_{p4}}{4},\frac{Y_{p1}+Y_{p2}+Y_{p3}+Y_{p4}}{4},\frac{Z_{p1}+Z_{p2}+Z_{p3}+Z_{p4}}{4})$

三、算法的第三阶段：由于投影仪的光路呈四棱锥形，其画面投射的上下方向不对称，而左右方向对称，对应图中即点A与B是相对P点对称，而A与D不对称，所以当取ABCD中的任意一个点，如A，该步骤求：过该点的投影聚焦平面AB'C”'D”'(图5)。

这里要求AB'C”'D”'为共面矩形，点B'位于点P与点B的连线上，且线段PA与线段PB'相等，点D”'与C”'也相对P点对称，点D”'与C”'尽可能靠近PD与PC直线(由于四条实测棱未必两两共面，所以最后确定的C”'D”'也是近似值，而并非追求一定落在PC与PD直线上)。

1.求矩形B'点

由B(X_b,Y_b,Z_b)，P(X_p,Y_p,Z_p)得直线PB参数方程为

$\left\{\begin{array}{c}x=(X_b-X_p)t_b+X_p\\ y=(Y_b-Y_p)t_b+Y_p\\ z=(Z_b-Z_p)t_b+Z_p\end{array}\right.$

因此可设在直线PB上的点B'坐标是关于参数t_b的函数，如下

B′((X_b-X_p)t_b+X_p,(Y_b-Y_p)t_b+Y_p,(Z_b-Z_p)t_b+Z_p)

由PB'＝PA，A(X_a,Y_a,Z_a)可以以下方程求得t_b

[(X_b-X_p)²+(Y_b-Y_p)²+(Z_b-Z_p)²]t_b ²＝(X_a-X_p)²+(Y_a-Y_p)²+(Z_a-Z_p)²

$t_b=\±\sqrt{\frac{{(X_a-X_p)}^2+{(Y_a-Y_p)}^2+{(Z_a-Z_p)}^2}{{(X_b-X_p)}^2+{(Y_b-Y_p)}^2+{(Z_b-Z_p)}^2}}$

检验方向后可知此处取正值

再将t_b代入回直线PB参数方程，即求得B′(X_b′,Y_b′,Z_b′)

2.求在PD直线上点D'，其与AB'构成直角三角形

由D(X_d,Y_d,Z_d)P(X_p,Y_p,Z_p)得直线PD参数方程

$\left\{\begin{array}{c}x=(X_d-X_p)t_d+X_p\\ y=(Y_d-Y_p)t_d+Y_p\\ z=(Z_d-Z_p)t_d+Z_p\end{array}\right.$

可在直线PD上的点D′坐标是关于参数t_d的函数，如下

D′((X_d-X_p)t_d+X_p,(Y_d-Y_p)t_d+Y_p,(Z_d-Z_p)t_d+Z_p)

由

可得求得t_d

其中

代入解得

$t_d=-\frac{(X_{b^{\′}}-X_a)(X_a-X_p)+(Y_{b^{\′}}-Y_a)(Y_a-Y_p)+(Z_{b^{\′}}-Z_a)(Z_a-Z_p)}{(X_{b^{\′}}-X_a)(X_p-X_d)+(Y_{b^{\′}}-Y_a)(Y_p-Y_d)+(Z_{b^{\′}}-Z_a)(Z_p-Z_d)}$

代入到直线PD参数方程中，即可求得D′(X_d′,Y_d′,Z_d′)

3.求与D'相对P点对称的点C'(X_c',Y_c',Z_c')，且AB'C'D'为共面矩形由于四边形AB'C'D'为矩形，有X_a+X_c′＝X_b′+X_d′

Y_a+Y_c′＝Y_b′+Y_d′

Z_a+Z_c′＝Z_b′+Z_d′

解得

C'(X_c',Y_c',Z_c')＝(X_b′+X_d′-X_a,Y_b′+Y_d′-Y_a,Z_b′+Z_d′-Z_a)

4.由于实测而来的PC与PD并不可能与理想状况那样相对P点完全对称且共面，所以除了上述从D入手外，还再从C入手，用相同的方法求得另一个共面矩形(最终的聚焦平面将取两者的平均)。这里从C入手，根据上述第2步骤的相同方法，可以在PC直线上求得C”使其与点A和点B'构成直角三角形，再通过上述第3步骤的相同方法，求出对应D”，结果如下：

C″((X_p-X_c)t_c+X_c,(Y_p-Y_c)t_c+Y_c,(Z_p-Z_c)t_c+Z_c)

其中

$t_c=\frac{(X_{b^{\′}}-X_a)(X_a-X_c)+(Y_{b^{\′}}-Y_a)(Y_a-Y_c)+(Z_{b^{\′}}-Z_a)(Z_a-Z_c)}{(X_{b^{\′}}-X_a)(X_p-X_c)+(Y_{b^{\′}}-Y_a)(Y_p-Y_c)+(Z_{b^{\′}}-Z_a)(Z_p-Z_c)}$

D″(X_a+X_c″-X_b′,Y_a+Y_c″-Y_b′,Z_a+Z_c″-Z_b′)

5.鉴于测量误差，最终取点C'与点C"中点，即两点平均值，作聚焦平面点C"'(X_c"',Y_c"',Z_c"')

$C^{\′\′\′}(X_{c^{\′\′\′}},Y_{c^{\′\′\′}},Z_{c^{\′\′\′}})=(\frac{X_{c^{\′}}+X_{c^{\′\′}}}{2},\frac{Y_{c^{\′}}+Y_{c^{\′\′}}}{2},\frac{Z_{c^{\′}}+Z_{c^{\′\′}}}{2})$

6.同理求出聚焦平面点D"'(X_d"',Y_d"',Z_d"')

D"'(X_d"',Y_d"',Z_d"')＝(X_a+X_c"'-X_b′,Y_a+Y_c"'-Y_b′,Z_a+Z_c"'-Z_b′)

综上所求得聚焦平面为共面矩形AB'C"'D"'

四、算法的第四阶段：根据上述AB'C”'D”'聚焦平面计算该平面特征单位矢量，包括向右方向向下方向法线方向

取的单位向量，即

$\stackrel{\→}{u}=(\frac{X_{b^{\′}}-X_a}{\sqrt{{(X_a-X_{b^{\′}})}^2+{(Y_a-Y_{b^{\′}})}^2+{(Z_a-Z_{b^{\′}})}^2}},\frac{Y_{b^{\′}}-Y_a}{\sqrt{{(X_a-X_{b^{\′}})}^2+{(Y_a-Y_{b^{\′}})}^2+{(Z_a-Z_{b^{\′}})}^2}},\frac{Z_{b^{\′}}-Z_a}{\sqrt{{(X_a-X_{b^{\′}})}^2+{(Y_a-Y_{b^{\′}})}^2+{(Z_a-Z_{b^{\′}})}^2}})$

取的单位向量，即

$\stackrel{\→}{v}=(\frac{X_{d^{\′\′\′}}-X_a}{\sqrt{{(X_a-X_{d^{\′\′\′}})}^2+{(Y_a-Y_{d^{\′\′\′}})}^2+{(Z_a-Z_{d^{\′\′\′}})}^2}},\frac{Y_{d^{\′\′\′}}-Y_a}{\sqrt{{(X_a-X_{d^{\′\′\′}})}^2+{(Y_a-Y_{d^{\′\′\′}})}^2+{(Z_a-Z_{d^{\′\′\′}})}^2}},\frac{Z_{d^{\′\′\′}}-Z_a}{\sqrt{{(X_a-X_{d^{\′\′\′}})}^2+{(Y_a-Y_{d^{\′\′\′}})}^2+{(Z_a-Z_{d^{\′\′\′}})}^2}})$

为垂直于单位向量与所在平面的单位向量，即求两者叉乘

$\stackrel{\→}{w}=\stackrel{\→}{u}\×\stackrel{\→}{v}$

五、算法第五阶段：根据AB'C”'D”'及向右方向向下方向以及匹配时使用的满屏显示的特殊图形中的色块象素在整个投影画面中所占的横向、纵向比例，计算投影四棱锥的真实边界，即满屏四角IJKL的坐标，最终计算出描述投影显示边界的四条棱的矢量PI、PJ、PK、PL(图5)。

A点需沿矢量移动(-t·|AB′|/(2(w-t)))单位的距离，同时沿矢量移动(-t·|AD″′|/(2(h-t)))单位的距离，到达I。

即

$\stackrel{\→}{OI}=\stackrel{\→}{OA}+\stackrel{\→}{AI}$

$\stackrel{\→}{PI}=\stackrel{\→}{OI}-\stackrel{\→}{OP}$

$\stackrel{\→}{PI}=\stackrel{\→}{OA}+\stackrel{\→}{AI}-\stackrel{\→}{OP}$

(O为坐标原点)

其中

$\stackrel{\→}{OA}=(X_a,Y_a,Z_a)$

$\stackrel{\→}{OP}=(X_p,Y_p,Z_p)$

$\stackrel{\→}{AI}=(-t\·|{\mathrm{AB}}^{\′}|/(2\left(w-t\right)\left)\right)\·\stackrel{\→}{u}+(-t\·|{\mathrm{AD}}^{\′\′\′}|/(2\left(h-t\right)\left)\right)\·\stackrel{\→}{v}$

$\left|{\mathrm{AB}}^{\′}\right|=\sqrt{{(X_{b^{\′}}-X_a)}^2+{(Y_{b^{\′}}-Y_a)}^2+{(Z_{b^{\′}}-Z_a)}^2}$

$\left|{\mathrm{AD}}^{\′\′\′}\right|=\sqrt{{(X_{d^{\′\′\′}}-X_a)}^2+{(Y_{d^{\′\′\′}}-Y_a)}^2+{(Z_{d^{\′\′\′}}-Z_a)}^2}$

同理可以得到J、K、L，进而求出

即

对J有

$\stackrel{\→}{\mathrm{OJ}}=\stackrel{\→}{B\′J}+\stackrel{\→}{\mathrm{OB}\′}$

$\stackrel{\→}{PJ}=\stackrel{\→}{OJ}-\stackrel{\→}{OP}$

$P\stackrel{\→}{J}=\stackrel{\→}{\mathrm{OB}\′}+\stackrel{\→}{B\′}J-\stackrel{\→}{\mathrm{OP}}$

其中

$\stackrel{\→}{\mathrm{OB}\′}=(X_{b\′},Y_{b\′},Z_{b\′})$

$\stackrel{\→}{OP}=(X_p,Y_p,Z_p)$

$\left|{\mathrm{AB}}^{\′}\right|=\sqrt{{(X_{b^{\′}}-X_a)}^2+{(Y_{b^{\′}}-Y_a)}^2+{(Z_{b^{\′}}-Z_a)}^2}$

$\left|{\mathrm{AD}}^{\′\′\′}\right|=\sqrt{{(X_{d^{\′\′\′}}-X_a)}^2+{(Y_{d^{\′\′\′}}-Y_a)}^2+{(Z_{d^{\′\′\′}}-Z_a)}^2}$

对K有

$\stackrel{\→}{PK}=\stackrel{\→}{OK}-\stackrel{\→}{OP}$

$\stackrel{\→}{\mathrm{PK}}=\stackrel{\→}{\mathrm{OC}\′\′\′}+\stackrel{\→}{C\′\′\′}K-\stackrel{\→}{\mathrm{OP}}$

其中

$\stackrel{\→}{\mathrm{OC}\″\′}=(X_{C\″\′},Y_{C\″\′},Z_{C\″\′})$

$\stackrel{\→}{OP}=(X_p,Y_p,Z_p)$

$\left|{\mathrm{AB}}^{\′}\right|=\sqrt{{(X_{b^{\′}}-X_a)}^2+{(Y_{b^{\′}}-Y_a)}^2+{(Z_{b^{\′}}-Z_a)}^2}$

$\left|{\mathrm{AD}}^{\′\′\′}\right|=\sqrt{{(X_{d^{\′\′\′}}-X_a)}^2+{(Y_{d^{\′\′\′}}-Y_a)}^2+{(Z_{d^{\′\′\′}}-Z_a)}^2}$

对L有

$\stackrel{\→}{PL}=\stackrel{\→}{OL}-\stackrel{\→}{OP}$

其中

$\stackrel{\→}{OP}=(X_p,Y_p,Z_p)$

$\left|{\mathrm{AB}}^{\′}\right|=\sqrt{{(X_{b^{\′}}-X_a)}^2+{(Y_{b^{\′}}-Y_a)}^2+{(Z_{b^{\′}}-Z_a)}^2}$

$\left|{\mathrm{AD}}^{\′\′\′}\right|=\sqrt{{(X_{d^{\′\′\′}}-X_a)}^2+{(Y_{d^{\′\′\′}}-Y_a)}^2+{(Z_{d^{\′\′\′}}-Z_a)}^2}$

最终，通过上述算法，获得了投影焦点P相对扫描原点O的空间坐标，以及一组描述投影特性的参数，包括：聚焦平面的向右方向向下方向法线方向四角的投射方向

实施例2

实施例1：利用紧凑的四维度可调节云台来实现投影设备与扫描设备的相对位置调节。

区别于实施例1，本实施例通过将投影设备与三维扫描设备分别安装于各自的云台上,并设置于不同的空间位置，在确保投影的匹配图象能被扫描设备完整采集的条件下,亦可在一定空间范围内实现互动区域的可变。在这种情况下,两个设备依然可通过实施例1中的匹配方法,快速完成投影设备与扫描设备空间位置关系的匹配。

Claims (4)

1.一种互动区域可调的增强现实云台系统，包括扫描设备(1)、云台(2)、投影设备(3)、固定或可移动支座(6)、与三维扫描设备连接的输入单元(7)、图形与数据处理单元(8)、与投影显示设备连接的输出单元(9)、增强现实控制器(10)；

所述与三维扫描设备连接的输入单元(7)、图形与数据处理单元(8)、与投影显示设备连接的输出单元(9)都安装于增强现实控制器(10)内；所述图形与数据处理单元(8)包括图形处理模块和数据处理模块，

其特征在于，所述扫描设备(1)、投影设备(3)安装于云台(2)上，所述云台(2)安装于所述固定或可移动支座(6)上；所述云台(2)上下分别为两个刚性构件，所述两个刚性构件设计成在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变以实现对于互动区域可调；

所述数据处理模块包括空间匹配模块，所述空间匹配模块为与该云台配套的匹配算法，旨在以三维扫描获得的以O点为原点的点云空间坐标系统来描述投影显示设备的投影焦点P及其各投影参数。

2.如权利要求1所述的系统，其特征在于，所述该云台设计为上下两个刚性构件，两者以旋钮V同时实现竖向间距调节、围绕R-R'轴的旋转定位。上方构件通过横向调节螺母H连接投影设备，实现横向平移与方向调节；

下方构件的底部用于与其他固定或可移动支座连接；

下方构件的上部用于连接三维扫描设备；

分别通过调节旋钮H与V，实现在横向相对位置、竖向相对位置、横向方向相对夹角、竖向方向相对夹角的可变，从而实现对于互动区域的调节。

3.如权利要求1所述的系统，其特征在于，所述空间匹配模块，该空间匹配算法的基本思路是：

(1)分别在两次采集所得的具有非中心对称关系图案的图形中找到至少三组特征点对，且它们在各自所在采集面中不共线；

(2)通过求出各点对之间连线的空间交点，得到投影焦点P的空间坐标；

(3)过任意一个点，求一个平面多边形，除该点外其余顶点分别位于其他相应点对连线及延长线上，且该平面多边形与之前投影的图案中的相应多边形为相似多边形关系(图案在该平面及其平行平面上不变形)，该求得平面即为投影聚焦平面；

(4)在投影聚焦平面上根据特征点在原图案中的位置关系，求得画面的横向、竖向、法向矢量；

(5)根据上述矢量，以及特征点在原画面中与画面四角的像素比例关系，即可从特征点的空间坐标求得该投影聚焦平面上画面的四角坐标，求出投影四棱锥四条棱的矢量。

4.如权利要求1或者2或者3所述的系统，其特征在于，改通过将投影设备与三维扫描设备分别安装于各自的云台上,并设置于不同的空间位置，在确保投影的匹配图象能被扫描设备完整采集的条件下,实现互动区域的可变，并采用空间匹配算法,快速完成投影设备与扫描设备空间位置关系的匹配。