CN101581874B - 基于多摄像机采集的远程沉浸协同工作装置 - Google Patents

Abstract

一种基于多摄像机采集的远程沉浸协同工作装置包括：三个摄像机、三个成α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜，三个摄像机分别固定在半透半反镜正上方，镜头竖直向下，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，其中α大于90度；三个摄像机接收外部主机发出的同一个外触发信号，通过采集半透半反镜反射的光线对同一个场景进行同步真实图像的采集。本发明可以采集到人的正对视线，这样给人的感觉是进行目光交流；另外可以使二维的视频在三维场景中看起来更具有真实感。

Description

基于多摄像机采集的远程沉浸协同工作装置

技术领域

本发明涉及一种远程沉浸协同工作装置，属于虚拟现实领域，特别是涉及一种利用多摄像机采集真实图像并与虚拟环境融合显示的沉浸协同工作装置。

背景技术

远程沉浸协同工作的含义是各地的参与者通过网络互联共享一个虚拟空间，既可以随意漫游，又可以相互沟通，还可以与虚拟环境交互。因此需要一套可以采集真人信息并与虚拟场景融合显示的装置。根据远程沉浸协同工作方法的不同，所采用的装置也不同，主要就是采集装置的不同。目前大致可以分为三类。

第一类，marker方法。该种方法通过对人体关节点增加标志点对人体进行跟踪，需要的是跟踪装置，又可以分为两类，磁性跟踪装置和光学跟踪装置。前者用一个接收器接收人身体佩戴的marker发射出的电磁频率，根据marker频率的不同标定关节点的位置。后者通过在人体关节点安装光发射装置或反射装置，通过被动接收装置或主动式光学捕获系统实现对关节点的标识。然后把关节点的运动映射到模型上，用真实人驱动模型在虚拟环境中与其他用户交互。

第二类，单摄像机配合头部跟踪器方法。通过摄像机采集真实图像，经过前景提取、模式识别等步骤用真实人动作驱动模型动作，用头部跟踪器跟踪头部运动，提取头部朝向等信息。

第三类，多摄像机采集方法，在显示器上方、左右两侧架设多个正对人体的摄像机，采集真实图像，经过前景提取把人体影像提取出来，显示在虚拟场景中，多摄像机采集图像用来保证前景提取的正确性。

第一类方法精确度高，但是设备造价昂贵，不易普及，第二类方法通过视频驱动模型，精确度差，而且由于这两类都采用了模型的方式，真实感较差。第三类虽然是真人影像，但由于人体影像是二维的，叠加在三维场景中也存在不真实的缺点，而且人在与远程节点进行交互时，目光是朝向显示屏的，因此摄像机无法采集到人的正对视线，这样给人的感觉是无法进行目光交流。

发明内容

本发明所要解决的技术问题：克服现有技术的不足，提供一种基于多摄像机采集的远程沉浸协同工作装置，该装置可以采集到人的正对视线，这样给人的感觉是进行目光交流；另外可以使二维的视频在三维场景中看起来更具有真实感。

本发明的技术解决方案：一种基于多摄像机采集的远程沉浸协同工作装置包括：三个摄像机、三个成α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜，三个摄像机分别固定在半透半反镜正上方，镜头竖直向下，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，这样，摄像头是通过采集半透半反镜反射的光线采集真实图像的。在人正对显示器与他人交流时，摄像头所采集的就是人的正对视线了，其中α大于90度；三个摄像机接收外部主机发出的同一个外触发信号，通过采集半透半反镜反射的光线对同一个场景进行同步真实图像的采集。

所述的三个摄像机接收外部主机发出的同一个外触发信号，通过采集半透半反镜反射的光线对同一个场景进行同步真实图像的采集后，再将采集的目标图像送至外部主机进行处理，即对图像进行前景提取，把三路经过前景提取的图像经过特征点匹配压缩成一路可以转动一定角度的图像，即人的半三维影像，这样可以使二维的视频在三维场景中看起来更具有真实感。

所述的半透半反镜通过固定架固定，固定架竖直的一面与显示器相邻，倾斜的一面放置半透半反镜。

所述的三个摄像机镜头所在平面放置深色挡光板，同时挡光板上开孔，孔的尺寸和摄像机镜头尺寸相当，摄像机通过该孔采集图像。

所述的三个摄像机分别从三个不同方向采集真实图像。

所述三个显示器是通过转接口从一台主机引出的。

所述的显示器屏幕的亮度至少是正常情况下的两倍，因为半透半反镜会反射一半的屏幕光线。

所述的三个摄像机、三个显示器和三个半透半反镜装置可拆卸，便于移动和调试。

本发明与现有技术相比的优点在于：本发明根据半透半反镜可以改变光路的特点，通过摄像机采集经过半透半反镜反射的光线，达到对人正对视线采集的目的；而通过三个显示器拼接显示，可以扩大人的视野；用三个摄像机从不同方向采集，可以得到人的多侧面信息，通过对这些侧面进行特征点匹配，把三路视频合成一路半三维视频，显示的时候根据观察者视点与虚拟场景中影像的相对位置关系动态显示不同的侧面。

附图说明

图1是本发明基于多个摄像机采集的远程沉浸协同工作装置示意图；

图2是采用半透半反镜的光路图；

图3是前景提取的流程图。

具体实施方式

如图1所示，本发明装置由三块半透半反镜2、三个摄像机3和三个显示器1组合。三块半透半反镜2通过一个固定架4固定或通过三个固定架分别固定，固定架4竖直的一面与显示器相邻，倾斜的一面放置半透半反镜2，每个半透半反镜2与显示器1的夹角为45度，相邻两个显示器2间的夹角为α，其中α大于90度，因此半透半反镜不能切割为矩形，假设显示器1的尺寸为a*b(长×高)，则半透半反镜2所切割成的梯形为一个等腰梯形，它的上底(较长的一端)为a，下底(较短的一端)为a-2b*cos(α/2)，两腰长度为1.414b。

如图2所示，本发明利用半透半反镜采集人的正对眼神的工作原理是，半透半反镜可以透射显示器发出的光线，人透过半透半反镜观看屏幕中显示的虚实融合的场景。半透半反镜反射人体所反射的光线，摄像头通过采集这部分光线采集人的神情、动作。

三个摄像机3分别固定在半透半反镜2的正上方，镜头竖直向下，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合。在摄像机镜头所在平面放置深色(黑色或深蓝色等)挡光板，同时挡光板上开一个小孔，孔的尺寸和摄像机镜头尺寸相当，摄像机通过该小孔采集图像。

三个摄像机接收外部主机发出的同一个外触发信号，通过采集半透半反镜反射的光线对同一个场景进行同步真实图像的采集后，再将采集的目标图像送至外部主机进行处理，处理过程为：首先对图像进行前景提取，把人的影像从图像中抠取出来，背景剔除掉；然后把三路经过前景提取的图像作为参考图像，对三路图像进行特征点匹配，以匹配结果作为依据对中间角度的图像进行预测编码，这样，就可以把三路不同角度的图像合成为可以转动一定角度的图像，即人的半三维影像，该半三维影像随着三维场景中视角的转动而转动，就可以使二维的视频在三维场景中看起来更具有真实感。

其中前景提取部分如图3所示，步骤如下：

(1)摄像机标定：通过对三个摄像机分别进行标定求得三个摄像机的内外参数；

(2)进行背景图像采集：三个摄像机在同一个硬件触发信号控制下同步采集目标物体的图像，分别得到图像ImL、ImM和ImR；

(3)进行以人为前景的图像采集：人进入三个摄像机的采集范围，三个摄像机同步采集以原背景为背景，以人为前景的三个图像Im1、Im2和Im3；

(4)计算前景图像：对步骤(2)和步骤(3)得到的两组图像ImL和Im1、ImM和Im2及ImR和Im3分别求差值，得到人的前景图像。

三路图像合成的具体实施方法具体步骤如下：

(1)投影变换，由于用户的前景图像是在不同角度下拍摄的，它们并不在一个投影平面上，如果直接对重叠图像进行无缝拼接就会破坏实际景物的视觉一致性，因此，结合本方法的应用范围，需要将得到的反映各自投影平面的图像映射到一个标准投影--柱面投影上。

(2)特征点提取，在选择特征点的时候，首先要保证旋转、缩放的不变性；其次特征点的数量应该丰富，因为只有这样，才能充分表达出图像之间的关联关系；另外就是特征点的提取速度要快，因为本方法是要应用于实时的交互系统中，所以必须满足每秒15帧的图像性能指标。SURF特征点是可供选择的一种。

(3)特征点匹配，以SURF特征点为例，包含了每个特征点属性的矢量，所以可以采用距离测度来进行匹配，如选用欧式距离来描述两个特征点之间的相似性。n维空间的欧式距离公式如下：

$d=\sqrt{\mathrm{\Σ}{(x_{i1}-x_{i2})}^2}$

其中i＝1，2，…，n。x_i1表示第一个点的第i维坐标，x_i2表示第二个点的第i维坐标。n维欧氏空间是一个点集，它的每个点可以表示为(x₁，x₂，…，x_n)，其中x_i(i＝1，2，…，n)是实数，称为x的第i个坐标，同样也有y＝(y₁，y₂，…，y_n)。两个点x和y之间的距离d(x，y)定义为上述公式。

每个SURF特征点都有一个64位的描述矢量。将每个点的描述矢量作为64维空间的一个点，利用欧氏距离对两点进行距离测度，距离度量值越小，两点越相似。

d：图像融合，通过上面的算法得到图像ImX和ImY的多组相匹配的特征点x和y之后，让y所在图像ImY作平移，使得y和x重合，从而实现图像的拼接，生成可以转动一定角度的半三维影像。

该半三维影像随着三维场景中视角的转动而转动，就可以使二维的视频在三维场景中看起来更具有真实感。

最后所应说明的是，以上所述仅是本装置的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本装置利用半透半反镜采集眼神、利用多摄像机采集人的多角度视频的大前提下，还可以做出更好的改进或等同替换，这些改进和等同替换也应视为本装置的保护范围。

Claims (6)

1.一种基于多摄像机采集的远程沉浸协同工作装置，其特征在于包括：三个摄像机、三个成α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜，三个摄像机分别固定在半透半反镜正上方，镜头竖直向下，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，其中α大于90度；三个摄像机接收外部主机发出的同一个外触发信号，通过采集半透半反镜反射的光线对同一个场景进行同步真实图像的采集后，再将采集的目标图像送至外部主机进行处理，即对图像进行前景提取，把三路经过前景提取的图像经过特征点匹配压缩成一路可以转动一定角度的图像，即人的半三维影像。

2.根据权利要求1所述的基于多摄像机采集的远程沉浸协同工作装置，其特征在于：所述的半透半反镜通过固定架固定，固定架竖直的一面与显示器相邻，倾斜的一面放置半透半反镜。

3.根据权利要求1所述的基于多摄像机采集的远程沉浸协同工作装置，其特征在于：所述的三个摄像机镜头所在平面放置深色挡光板，同时挡光板上开孔，孔的尺寸和摄像机镜头尺寸相当，摄像机通过该孔采集图像。

4.根据权利要求1所述的基于多摄像机采集的远程沉浸协同工作装置，其特征在于：所述的三个摄像机分别从三个不同方向采集真实图像。

5.根据权利要求1所述的基于多摄像机采集的远程沉浸协同工作装置，其特征在于：所述三个显示器是通过转接口从一台主机引出的。

6.根据权利要求1所述的基于多摄像机采集的远程沉浸协同工作装置，其特征在于：所述的三个摄像机、三个显示器和三个半透半反镜装置可拆卸，便于移动和调试。

Images