CN106340064A - 一种混合现实沙盘装置和方法 - Google Patents

Abstract

本发明公开了一种混合现实沙盘装置和方法，由素模沙盘、投影机和计算机组成，输入是来自于真实世界的多个监控摄像机，它们采集真实世界的局部场景，为装置提供输入视频流，装置的素模沙盘按照真实场景以一定比例尺制作，输入视频流对应区域的表面为浅色漫反射材质；投影机位于素模沙盘上方，向下投影到沙盘表面。该方法使用一种两步对齐策略对输入视频流进行标定，然后通过边缘自适应的图像融合算法对重叠区域进行拼接，根据得到的标定结果，在装置运行过程中将真实场景的图片和视频实时融合并投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。

Description

一种混合现实沙盘装置和方法

技术领域

本发明涉及一种混合现实沙盘装置和方法，将真实场景实时混合在物理模型上，属于虚拟现实技术领域。

背景技术

近年来，虚拟现实技术(VR)飞速发展，其分支之一的混合现实技术(MR)将真实世界和虚拟世界混合在一起，从而可以表现出更多真实世界的细节，以及提供更加逼真的演示效果。空间增强现实技术(SAR)作为混合现实技术的一个重要分支，能够利用投影机、透明的屏幕等设备对真实物体表面进行增强，这种技术提供了物理存在的空间信息，并允许多人同时在增强空间中互动。

国际上已经开展了较多的空间增强现实研究，早在1998年，Raskar等人就提出了未来办公的设想，用投影机将工作文件和数据投影在桌子与墙壁上，构造一个沉浸式的办公体验。Raskar等人还设计了一种shader lamps方法，利用投影机将预先设计好的图像投影到浅色漫反射材质的物体上，将其表面进行纹理增强。2013年，Bermano等人则利用投影机将表情动画投影在一个机械头部上，对其进行面部表情、皮肤等的增强，使其具有更强的表现力。与当前正火热的头戴式设备，如微软的HoloLens、谷歌的Google Glass等不同，空间增强现实技术是对真实物体表面进行直接增强，因此允许多名用户在不穿戴任何设备的情况下直接在增强空间中同时进行交互。

常规视频流多为平面展示，对于多路视频流可采用视频墙，这种方式所展示的视频流均为独立显示，很难看出视频流之间的关系，存在空间割裂的问题，因此很难从宏观的角度获得整片区域的整体情况。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种混合现实沙盘装置和方法，解决实时将真实场景混合在物理模型上的问题，实现对真实场景动态变化的实时模拟和缩微重现。

为完成本发明的目的，本发明采用的技术方案是：一种混合现实沙盘装置，包括：监控摄像机、素模沙盘、投影机和计算机；首先借助一台辅助相机对投影机和素模沙盘坐标系进行标定，之后将监控摄像机拍摄的视频流输入至计算机，计算机通过两步对齐策略将输入视频流标定到素模沙盘的对应位置上，并经过边缘自适应的图像融合算法，使不同视频流能够无缝拼接，实现图像融合；最后投影机将计算机实时处理过的融合图像投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。

所述素模沙盘利用雕刻机或3D打印机，基于目标场景的虚拟3D模型，雕刻或打印得出；此方式能够达到较高的模型精度，有利于后续三维模型和视频图像的虚实融合。

所述素模沙盘根据真实场景按照一定比例尺制作，在输入视频流所示区域使用浅色的漫反射材质，也可以在沙盘上补充一些建筑或植被缩微模型，增强美观性和真实感。

所述视频流在素模沙盘所示场景中拍摄，可以是离线视频，也可以是实时在线视频，要求拍摄时保持相机静止。

所述的投影机位于素模沙盘上方，投影方向向下，要求覆盖素模沙盘。

所述两步对齐策略是：首先通过基于特征点对的透视变换完成视频流的粗对齐，将视频流变换至其对应的大致位置，再通过基于移动最小二乘法的图像变形算法对存在误差的细节进行精对齐；为保证系统实时性，标定过程使用基于OpenGL的纹理映射方法实现。

所述边缘自适应的图像融合算法是：首先根据亮度对视频流重叠区域利用动态规划进行最小误差边界分割，再使用亮度扩散的方法融合重叠区域图像，实现视频流重叠区域的无缝拼接。

如图4所示，一种混合现实沙盘方法，包括以下步骤：

(1)通过投影机投影棋盘格标定图，利用辅助相机对投影机和素模沙盘坐标系进行标定，计算不同坐标系间的单应矩阵，完成坐标转换；

(2)使用素模沙盘所示场景卫星图或手工绘制的区域图作为底图，通过特征点对计算输入视频流与底图间的透视变换矩阵，对输入视频流进行透视变换，完成两步对齐策略中的粗对齐；

(3)使用基于移动最小二乘法的图像变形算法调整输入视频流与底图的误差，完成两步对齐策略中的精对齐，并与步骤(2)中计算出的变换矩阵一同保存并记录为标定配置文件；

(4)对输入视频流的每一帧图像，使用标定配置文件中记录的标定结果进行变换并投影在素模沙盘表面；若不同输入视频流间存在重叠区域，使用边缘自适应的图像融合算法使不同视频流能够无缝拼接；

(5)最后投影机将实时处理过的融合图像投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。

与现有技术相比，本发明的有益效果是：

(1)本发明提出了混合现实沙盘装置和方法能够实时处理从真实场景中获取到的视频流，并投影到对应的物理模型上，实现虚实混合，是一种全新的展示方式。常规视频流多为平面展示，对于多路视频流可采用视频墙，这种方式所展示的视频流均为独立显示，很难看出视频流之间的关系，存在空间割裂问题，因此很难从宏观的角度获得整片区域的整体情况。与其相比，本发明所述系统将真实世界中的场景通过投影技术实时重现在素模沙盘表面，同时不丢失细节信息，使视频流的展示更具空间感和真实感。本发明可广泛应用于安防、展览、模拟规划等多个领域。

(2)本发明装置元件要求低，价格便宜，容易购买。

(3)本发明具有物理介质，便于演示，形象生动，可供多人同时观察。使用的是视频流，具有实时性与动态性，同时具有空间感和真实感。

(4)本发明能够宏观体现真实场景的状况，相较于离散的监控墙具有不可替代的优势。

附图说明

图1为本发明的系统概括示意图；

图2为本发明的效果示意图，(a)为真实场景，(b)为未投影的素模沙盘，(c)为投影后的素模沙盘，其中两个梯形所示区域为输入视频流；

图3为本发明两步对齐流程效果示意图，(a)为未标定的输入视频流，(b)为粗对齐后的输入视频流，(c)为精对齐后的输入视频流；

图4为本发明的方法流程图。

具体实施方式

以下参照附图对本发明的具体状态作说明，但是本发明不限于图示例。

如图1所示，本发明通过投影机，将输入视频流经过处理后叠加到对应的素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。其中投影机可垂直安装向下投影，也可如图中所示水平安装并使用一块反射镜将投影内容从上到下投影到素模沙盘上。最终效果如图2所示，图2中的(b)表示原本没有纹理的白色素模沙盘，经过输入视频流的融合处理，将图2中的(a)所示真实场景生动地重现出来，并且保证了内容真实性，更便于用户从宏观角度理解视频流内容，其中图2中的(c)中两个梯形所示区域即为真实场景视频流。下面根据图4的流程图，详细描述对输入视频流的处理过程。

首先借助一台辅助相机对投影机和素模沙盘坐标系进行标定。将一幅棋盘格标定图用投影机投影在地面上，并使用辅助相机拍摄投影出的棋盘格标定图。通过角点检测算法计算出拍摄到的图像中棋盘格上的多组角点坐标。在投影机坐标系中，棋盘格角点坐标已知，因此可以计算出辅助相机坐标系和投影机坐标系之间的单应矩阵H_pc：

(u，v，1)^T～H_pc(x，y，1)^T

其中，u和v表示投影机坐标系中某像素点的横坐标和纵坐标，x和y表示辅助相机坐标系中某像素点的横坐标和纵坐标。同理可以得到辅助相机坐标系和素模沙盘坐标系之间的单应矩阵H_cs：

(x，y，1)^T～H_cs(s，t，1)^T

其中，s和t表示塑模沙盘坐标系中某点的横坐标和纵坐标。由此可以计算出投影机坐标系和素模沙盘坐标系之间的单应矩阵H_ps：

(u，v，1)^T～H_pcH_cs(s，t，1)^T～H_ps(s，t，1)^T

根据H_ps，可以准确的将素模沙盘底图准确投影在对应位置上，其中底图可使用素模沙盘所示场景的卫星图，也可使用手工绘制的区域图。

如图1所示，输入的视频流可以是在真实场景中布置的多个监控相机，同样也可以是拍摄好的离线视频。将输入视频流准确标定在素模沙盘上需要经过一种从粗到精的两步对齐策略，具体包括以下两个步骤：

(1)对输入视频流做透视变换，获得基本准确的位置标定，完成粗对齐；

(2)由于图像中不同物体深度不一致，使用基于移动最小二乘法的图像变形算法对细节进行标定，完成精对齐。

下面将对此过程做详细描述：

未经处理的输入视频流如图3中的(a)所示，对其做透视变换，需要计算透视变换矩阵，与上述坐标系标定方法同理，人工在输入视频流和底图之间选取4对及以上的特征点对，通过这些匹配的特征点对可以计算出输入视频流的透视变换矩阵。通过透视变换矩阵可将输入视频流变换到基本准确的位置上，如图3中的(b)所示。

由于真实场景中物理有高度，而透视变换仅仅是是面到面的变换，从图3中的(b)中可以看到输入视频流仅仅被基本准确的标定在底图上。为解决这个问题，需要对图像进行变形处理，消除细节误差。这里采用基于移动最小二乘法(MLS)的图像变形算法进行处理，通过人工选取并调整控制线，对图像进行微调。对图像进行变形处理，关键在于就是找出变形函数f(v)，v表示变形前的坐标，f(v)则是变形后的坐标。令s_i(x)为变形前的控制线函数，t_i(x)为变形后的控制线函数，其中i表示控制线序号，l_v(x)表示v坐标处的变换函数。根据移动最小二乘法，可以得到方程：

$\underset{i}{\Σ}{\∫}_0^1{w}_i\left(x\right)|l_v\left(s_i\right(x\left)\right)-t_i\left(x\right){|}^2$

$w_i\left(x\right)=\frac{\left|s_i^{\′}\left(x\right)\right|}{|s_i\left(x\right)-v{|}^{2\mathrm{\α}}}$

其中w_i(x)为权值，s′_i(x)表示s_i(x)的导数。

令s_*和t_*表示变形前后控制线的加权中心，有：

$\begin{array}{cc}{s}_{*}=\frac{{\mathrm{\Σ}}_i{\∫}_0^1{w}_i\left(x\right)s_i\left(x\right)dx}{{\mathrm{\Σ}}_i{\∫}_0^1{w}_i\left(x\right)dx}& t_{*}=\frac{{\mathrm{\Σ}}_i{\∫}_0^1{w}_i\left(x\right)t_i\left(x\right)dx}{{\mathrm{\Σ}}_i{\∫}_0^1{w}_i\left(x\right)dx}\end{array}$

经过推导和化简，可以求解出变形函数f(v)：

$f\left(v\right)=|v-s_{*}|\frac{\stackrel{\→}{f}\left(v\right)}{\left|\stackrel{\→}{f}\left(v\right)\right|}+t_{*}$

其中为v-s_*经过旋转和缩放后的向量：

$\stackrel{\→}{f}\left(v\right)={\mathrm{\Σ}}_i\left(\begin{array}{cc}{\hat{c}}_i& {\hat{d}}_i\end{array}\right)W_i\left[\begin{array}{c}{\hat{a}}_i\\ -{{\hat{a}}_i}^{\⊥}\\ {\hat{b}}_i\\ -{{\hat{b}}_i}^{\⊥}\end{array}\right]{\left[\begin{array}{c}v-s_{*}\\ -{\left(v-s_{*}\right)}^{\⊥}\end{array}\right]}^T$

$W_i=\left[\begin{array}{cccc}{\mathrm{\τ}}_i^{00}& 0& {\mathrm{\τ}}_i^{01}& 0\\ 0& {\mathrm{\τ}}_i^{00}& 0& {\mathrm{\τ}}_i^{01}\\ {\mathrm{\τ}}_i^{01}& 0& {\mathrm{\τ}}_i^{11}& 0\\ 0& {\mathrm{\τ}}_i^{01}& 0& {\mathrm{\τ}}_i^{11}\end{array}\right]$

$\begin{array}{ccc}{\mathrm{\τ}}_i^{00}={\∫}_0^1{w}_i\left(x\right){(1-x)}^{2}dx& {\mathrm{\τ}}_i^{01}={\∫}_0^1{w}_i\left(x\right)(1-x)dx& {\mathrm{\τ}}_i^{11}={\∫}_0^1{w}_i\left(x\right)x^{2}dx\end{array}$

其中，⊥运算是一个二维向量运算符，表示为(x，y)^⊥＝(-y，x)，分别表示s_i(x)-s_*的两个端点，分别表示t_i(x)-t_*的两个端点，W_i表示权重矩阵，τ_i表示w_i(x)与不同二项式相乘的积分。

根据变换函数f(v)就能够对输入视频流进行基于线控制的图像变形，以消除细节误差，如图3中的(c)所示。

由于不同视频流内容不同，相机配置不同，相机之间存在差异，重叠部分有明显的边界，需要对重叠区域进行图像融合。这里采用的是边缘自适应的图像融合算法，首先需要计算出最小误差边界，使得两幅图像在重叠区域分界线上的像素误差最小，使分界线两侧像素值尽可能接近。为计算最小误差边界，可以定义像素误差e(i，j)为：

e(i，j)＝(I_t(i，j)-I_b(i′，j′))²

其中I_t(i，j)表示上层图像在(i，j)处的像素值，I_t(i，j)表示下层图像在(i′，j′)处的像素值。由此可以计算出某条路径的最小累计误差E(i，j)：

E(i，j)＝e(i，j)+min(E(i-1，j-1)，E(i-1，j)，E(i-1，j+1))

利用动态规划算法求解上述问题，得到一条最小误差边界。

得到分割边界后，仍需要对两幅图像做亮度扩散，使两幅图像无缝拼接，为此我们需要将RGB颜色空间转化为HSV颜色空间。根据重叠区域亮度统计，可以解出重叠区域内的平均亮度比其中I_b和I_t分别表示下层图像和上层图像重叠区域的平均亮度。对于每一个上层图像的边缘像素，可以计算出一个亮度权重比r_w(i，j)：

$r_w(i,j)=\frac{r(i,j)\×\mathrm{\α}+r\×\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}$

r(i，j)是在上层图像(i，j)处像素点与下层图像对应位置的亮度比，α和β为自定义的权重参数。令s(i，j)为步长，将下层图像的亮度向上层图像扩散：

I_t(k，j)＝I_t(k，j)*(r_w(i，j)+s(i，j)*k)

其中k＝i，i+1，…，i+w_d，w_d为亮度扩散范围。通过这种方法能够平滑地消除图像间的亮度差异，实现图像融合。

本发明未详细阐述的部分属于本领域的技术人员公知技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种混合现实沙盘装置，其特征在于：包括监控摄像机、素模沙盘、投影机和计算机；首先借助一台辅助相机对投影机和素模沙盘坐标系进行标定，之后将监控摄像机拍摄的视频流输入至计算机，计算机通过两步对齐策略将输入视频流标定到素模沙盘的对应位置上，并经过边缘自适应的图像融合算法，使不同视频流能够无缝拼接，实现图像融合；最后投影机将计算机实时处理过的融合图像投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。

2.根据权利要求1所述的混合现实沙盘装置，其特征在于：所述素模沙盘利用雕刻机或3D打印机，基于目标场景的虚拟3D模型，雕刻或打印得出；此方式能够达到较高的模型精度，有利于后续三维模型和视频图像的虚实融合。

3.根据权利要求1或2所述的混合现实沙盘装置，其特征在于：所述素模沙盘根据真实场景按照一定比例尺制作，在输入视频流所示区域使用浅色的漫反射材质，也可以在沙盘上补充一些建筑或植被缩微模型，增强美观性和真实感。

4.根据权利要求1所述的混合现实沙盘装置，其特征在于：所述视频流在素模沙盘所示场景中拍摄，可以是离线视频，也可以是实时在线视频，要求拍摄时保持相机静止。

5.根据权利要求1所述的混合现实沙盘装置，其特征在于：所述的投影机位于素模沙盘上方，投影方向向下，要求覆盖素模沙盘。

6.根据权利要求1所述的混合现实沙盘装置，其特征在于：所述两步对齐策略是：首先通过基于特征点对的透视变换完成视频流的粗对齐，将视频流变换至其对应的大致位置，再通过基于移动最小二乘法的图像变形算法对存在误差的细节进行精对齐；为保证系统实时性，标定过程使用基于OpenGL的纹理映射方法实现。

7.根据权利要求1所述的混合现实沙盘装置，其特征在于：所述边缘自适应的图像融合算法是：首先根据亮度对视频流重叠区域利用动态规划进行最小误差边界分割，再使用亮度扩散的方法融合重叠区域图像，实现视频流重叠区域的无缝拼接。

8.一种混合现实沙盘方法，其特征在于包括以下步骤：

(1)通过投影机投影棋盘格标定图，利用辅助相机对投影机和素模沙盘坐标系进行标定，计算不同坐标系间的单应矩阵，完成坐标转换；

(2)使用素模沙盘所示场景卫星图或手工绘制的区域图作为底图，通过特征点对计算输入视频流与底图间的透视变换矩阵，对输入视频流进行透视变换，完成两步对齐策略中的粗对齐；

(3)使用基于移动最小二乘法的图像变形算法调整输入视频流与底图的误差，完成两步对齐策略中的精对齐，并与步骤(2)中计算出的变换矩阵一同保存并记录为标定配置文件；

(4)对输入视频流的每一帧图像，使用标定配置文件中记录的标定结果进行变换并投影在素模沙盘表面；若不同输入视频流间存在重叠区域，使用边缘自适应的图像融合算法使不同视频流能够无缝拼接；

(5)最后投影机将实时处理过的融合图像投影到素模沙盘表面，实现对真实场景动态变化的实时模拟和缩微重现。