CN108093244B - 一种远程随动立体视觉系统 - Google Patents

Abstract

本发明提供一种远程随动立体视觉系统，由部署于视频信号采集现场的从动端和部署于用户所在现场的主动端构成，从动端由双目摄像机、视频处理模块、高速云台、云台控制模块和信号传输模块组成，主动端由头戴显示器、头部姿态跟踪模块、数据处理模块和信号传输模块组成。系统通过头部姿态检测模块、云台控制模块、高速云台，将使用者的头部运动“映射”为高速云台的同步运动，同时通过在头戴显示器中显示双目摄像机所拍摄的经过校正、尺度变换后的立体视频，让使用者拥有了具有立体感的符合正常目视习惯的遥视能力，同时使用者通过该系统所看到的视频信号采集现场的景象与实际身处现场裸眼所看到的景象具有一致的视觉感知效果，如深度感、立体感等。

Description

一种远程随动立体视觉系统

技术领域

本发明属于增强现实、虚拟现实、计算机视觉领域，更具体地说，是一种远程随动立体视觉系统。

背景技术

基于头戴显示器(Head Mounted Display，HMD)、双目摄像机、高速云台的远程随动立体视觉系统主要用于以遥控方式操作大型工程机械在危险环境中进行作业。

与传统的平面显示监控系统相比，远程随动立体视觉系统具有许多优点，如：提供沉浸式立体视觉感知能力、视场大、操作符合正常目视习惯等。

为了保证遥控作业的安全性、高效性，需要确保使用者在主动端通过该系统所看到的远端场景中的物体，与使用者身处远端场景时裸眼看到的物体具有一致或近似的远近关系、大小关系。在虚拟现实中，头戴显示器中显示的场景是通过计算机所建立的模型，这种方式能够保证使用者所看到的场景有着正确的透视关系。但在远程随动立体视觉系统中，头戴显示器所呈现的是通过双目摄像机拍摄到的远端场景视频，远端场景经过摄像机的投影变换、显示器的尺度变换后，其正常的透视关系已经在一定程度上改变。如果直接显示原始视频，使用者将出现“视觉感知不一致”的问题，即通过系统所看到的物体与在真实场景中裸眼看到的物体，在视觉感知中是不一致的，可能会出现物体变大、缩小、距离变远等现象。

而目前对远程随动立体视觉系统的研究，主要集中在整体系统的构建上，如视频采集使用双目摄像机或全景摄像机，随动装置采用机械云台或电子云台，头部跟踪采用惯性跟踪或基于视觉的跟踪等。对于如何处理所显示的视频以保证较好的视觉感知一致性研究相对较少。

发明内容

本发明针对要解决的技术问题：如何对视频图像进行快速处理，使得远程随动立体视觉系统中视觉感知一致。发明了一种具有视觉感知一致性的远程随动立体视觉系统，系统包括主动端和从动端(远端)两部分。

从动端主要由双目摄像机、视频处理模块、高速云台、云台控制模块、信号传输模块等组成；主动端主要由头戴显示器、头部姿态跟踪模块、数据处理模块(电脑)、信号传输模块等组成。系统结构如图1所示。所述的双目摄像机与视频处理模块采用USB2.0接口连接，云台控制模块与高速云台由两个接口连接，视频处理模块与信号传输模块通过RJ45网口连接，云台控制模块与信号处理模块通过串口连接。系统工作流程如下：

步骤一：从动端的双目摄像机能够拍摄从动端的场景并生成实时视频信号，视频信号由视频处理模块编码压缩并通过信号传输模块传输至主动端；

步骤二：视频信号由主动端的数据处理模块解码并在头戴显示器上立体成像、实时显示；

步骤三：用户在主动端佩戴头戴显示器后，其头部的运动能够被头部姿态跟踪设备所检测并通过数据处理模块解析成标准的姿态角数据；

步骤四：姿态角数据通过主动端的信号传输模块传输至云台控制模块，并控制高速云台的运动；从而将用户头部的运动“映射”为高速云台的同步运动，进而带动云台上的双目摄像机同步运动；

系统的头戴显示器在显示视频时，有如下步骤：

步骤一：通过摄像机立体标定，获取双目摄像机在某分辨率情况下的左右摄像头在X轴方向上、Y轴方向上像素焦距：

步骤二：通过测量，获取头戴显示器屏幕参数：

d_StoM；

步骤三：将通过立体校正，垂直视差为0的视频图像，进行按下式(1)所示的尺度变换后在头戴显示器中显示：

其中

分别表示双目摄像机左摄像头在头戴显示器屏幕X轴方向上、Y轴方向上的放缩尺度；

分别表示双目摄像机右摄像头在头戴显示器屏幕X轴方向上、Y轴方向上的放缩尺度；

分别表示双目摄像机的左摄像头在成像仪X轴方向上、Y轴方向上的像素焦距；

分别表示双目摄像机的右摄像头在成像仪X轴方向上、Y轴方向上的像素焦距；

分别表示头戴显示器屏幕在其X轴方向上、Y轴方向上的像素密度；d_StoM为头戴显示器屏幕到主透镜的距离。

本发明所发明的远程随动立体视觉系统，能够通过简单的尺度变换快速地将不同分辨率下拍摄的双目视频图像在不同参数的头戴显示器中进行显示，并且通过系统观看感知到的场景与裸眼看到的场景具有较为一致的视觉感知效果。

附图说明

图1为远程随动立体视觉系统结构图。

图2为双目摄像机的工程模型。

图3为头戴显示器显示结构模型。

图4为头戴显示器光学结构简化模型。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

本发明所提出的远程随动立体视觉系统，分为从动端、主动端两个部分，从动端主要由双目摄像机、视频处理模块、高速云台、云台控制模块、信号传输模块等组成；主动端主要由头戴显示器、头部姿态跟踪模块、数据处理模块(电脑)、信号传输模块等组成。系统结构如图1所示。

从动端的双目摄像机能够拍摄从动端的场景并生成实时视频信号，视频信号由视频处理模块编码压缩并通过信号传输模块传输至主动端，再由数据处理模块解码并在头戴显示器上立体成像、实时显示。同时用户在主动端佩戴头戴显示器后，其头部的运动能够被头部姿态跟踪设备所检测并通过数据处理模块解析成标准的姿态角数据，再由信号传输模块传输至云台控制模块，并控制高速云台的运动；从而将用户头部的运动“映射”为高速云台的同步运动，进而带动云台上的双目摄像机同步运动。实现高“场景临近感”的远程随动视觉。

本发明采用的视频处理模块为Linux系统路由器，头戴显示器选用大朋E2虚拟现实头盔，通过HDMI接口与USB2.0接口与数据处理模块(电脑)连接，高速云台的水平舵机型号为LD-3015MG，垂直舵机型号为LD-1501MG，云台控制模块选用STM32单片机，双目摄像机为锐尔威视的RER-720P2CAM-120型号摄像机，信号传输模块选用大功率工业路由器。

本发明系统工作流程如下：

步骤一：从动端的双目摄像机能够拍摄从动端的场景并生成实时视频信号，视频信号由视频处理模块编码压缩并通过信号传输模块传输至主动端；

步骤二：视频信号由主动端的数据处理模块解码并在头戴显示器上立体成像、实时显示；

步骤三：用户在主动端佩戴头戴显示器后，其头部的运动能够被头部姿态跟踪设备所检测并通过数据处理模块解析成标准的姿态角数据；

步骤四：姿态角数据通过主动端的信号传输模块传输至云台控制模块，并控制高速云台的运动；从而将用户头部的运动“映射”为高速云台的同步运动，进而带动云台上的双目摄像机同步运动。

下面对本发明中，头戴显示器中视频图像处理显示方法进行详细推导说明。

1.双目摄像机工程建模

为进行后续推导，现给出双目摄像机的工程模型，如图2所示。其中XOZ为世界坐标系，P(x,z)是世界坐标系中的一点，CamL是双目摄像机的左摄像机，CamR是右摄像机，B₁是两摄像机的间距，

是点P在左摄像机的成像仪坐标系的

轴上的投影点坐标，

是在右摄像机的图像坐标系的

轴上的投

影点坐标。对于左摄像机，根据相似三角形定理有：

其中，

为左摄像机在X^c轴方向上的物理焦距，而根据摄像机的投影关系又有：

其中

是左摄像机成像仪每个单元的尺寸，

是通过摄像机标定能得到X^c轴方向上的像素焦距。将(2)式带入(1)式中变换后有：

同理，对于右摄像头有相似结论，由于左、右摄像机的像素焦距由于制作、安装工艺原因不一定相等，故引入

与

分别表示左右摄像机的像素焦距：

2.头戴显示器显示结构建模

头戴显示器显示结构模型如图3所示。其中B₂是所显示的左右眼视图的间距，B₃是观察者的左右眼瞳距，d₁是视图平面到观察者双眼的距离，d₂是观察者眼睛的成像焦距，

表示点P在左眼视图

轴上显示时的坐标，

是该点在右眼视图中对应的坐标，P'(x',z')点表示观察者通过头戴显示器感知到的P点在世界坐标系XOZ中的位置，

表示

经过眼睛投影后在左眼坐标系中的坐标，

经过眼睛投影后在右眼坐标系中的坐标。则根据相似三角形原理有：

其中

是显示屏幕在X^D轴上的像素密度。根据P'(x',z')点与眼睛的投影关系又有：

(5)式除以(7)式、(6)式除以(8)式后有：

通过将双目摄像机拍摄的视频图像进行尺度放缩建立与头戴显示器屏幕像素坐标的联系有：

其中

是左摄像机拍摄的图像在左视图中

轴方向上的放缩比例，

是右摄像机拍摄的图像在右视图中

轴方向上的放缩比例，结合(9)式与(10)式有：

为了满足视觉感知的一致性，需要满足：

将(4)式进行变换后有：

又有两摄像机的间距B₁≈观察者的左右眼瞳距B₃，并且可通过调节使得显示的左右眼视图的间距B₂≈B₃，故有：

B₁≈B₂≈B₃ (14)

联合(11)式、(12)式、(13)式、(14)式化简后：

3.头戴显示器光学结构建模

根据透镜原理简化后的头戴显示器，其光学结构可等效为一个放大镜记做M，设其焦距为f_M，头戴显示器显示屏幕距离透镜的距离为d_StoM，且有d_StoM＜f_M，则通过头戴显示器观看到的显示屏幕的像为一个放大的、与显示屏幕同侧的、正立的虚像，如图4所示。

根据透镜成像公式有：

由于头戴显示器显示屏幕的放大，所以显示屏幕在各轴上的像素密度会相应地变小。联合(15)式、(16)式有：

对于视图平面的

轴与

有相同结论：

其中

是左摄像机拍摄的图像在左视图中

轴方向上的放缩比例，

是右摄像机拍摄的图像在右视图中

轴方向上的放缩比例，

与

分别表示左右摄像机在成像仪Y^c轴上的像素焦距，

是显示屏幕在Y^D轴上的像素密度。

例如大朋E2虚拟现实头盔的显示器采用的5.7寸的三星AMOLED屏，该显示屏幕在其水平与垂直方向上的像素密度均为15.21pix/mm。当双目摄像机采集的视频分辨率为640*480时，通过立体摄像机标定后其左摄像头的像素焦距为

又根据实际测量d_StoM≈55mm，故左眼视图在该显示屏幕的X轴方向与Y轴方向需同时放大1.39倍，通常采用双线性差值的方式，对原始视图进行放大，将原始视图的分辨率调节至889*667，右眼视图按相同方式进行处理。

通过实验发现，采用专利所提出的方法进行左右眼视图的尺度变换，在摄像机成像范围约1米至5米时，实验者对目标物体的绝对距离(目标物体距摄像机的距离)、目标物体的相对距离(目标物体间的距离)和目标物体的尺寸大小的主观判断，与实验者裸眼观测判断基本一致，专利所提出的远程随动立体视觉系统有较好的视觉感知一致性。

Claims (2)

1.一种远程随动立体视觉系统，由部署于视频信号采集现场的从动端和部署于用户所在现场的主动端构成，其特征在于：从动端由双目摄像机、视频处理模块、高速云台、云台控制模块和信号传输模块组成；主动端由头戴显示器、头部姿态跟踪模块、数据处理模块和信号传输模块组成；从动端通过双目摄像机采集的立体视频，传输到主动端后，经过尺度变化后在头戴显示器上进行显示；主动端采集到的用户头部运动状态传输到从动端后，用于控制云台上的双目摄像机产生同步运动；

所述从动端中，双目摄像机与视频处理模块之间使用采用USB2.0接口连接；云台控制模块与高速云台通过水平舵机数据接口与垂直方向舵机接口连接；视频处理模块与信号传输模块通过RJ45网口连接，云台控制模块与信号处理模块通过串口连接；

所述主动端中，头部姿态跟踪模块通过USB2.0接口与数据处理模块连接，头戴显示器通过USB2.0接口与HDMI接口与数据处理模块连接，数据处理模块与信号传输模块通过RJ45网口连接；

其中，主动端的头戴显示器通过以下步骤显示从动端传输过来的远程视频：

步骤一：通过摄像机立体标定获取双目摄像机在某分辨率情况下的像素焦距：

其分别表示双目摄像机的左摄像头在成像仪X轴方向上、Y轴方向上的像素焦距，同理，获取右摄像头的两个像素焦距

步骤二：通过测量获取头戴显示器屏幕参数

d_StoM，其中

分别表示头戴显示器屏幕在其X轴方向上、Y轴方向上的像素密度，d_StoM为头戴显示器屏幕到主透镜的距离；

步骤三：按下式(1)对视频图像进行尺度变换，然后在头戴显示器中显示：

其中，

分别表示双目摄像机左摄像头在头戴显示器屏幕X轴方向上、Y轴方向上的放缩尺度；

分别表示双目摄像机右摄像头在头戴显示器屏幕X轴方向上、Y轴方向上的放缩尺度。

2.根据权利要求1所述的远程随动立体视觉系统，其特征在于系统工作流程如下：

步骤一：从动端的双目摄像机拍摄从动端的场景并生成实时视频信号，视频信号由视频处理模块编码压缩并通过信号传输模块传输至主动端；

步骤二：视频信号由主动端的数据处理模块解码并在头戴显示器上立体成像、实时显示；

步骤三：用户在主动端佩戴头戴显示器后，其头部的运动能够被头部姿态跟踪设备所检测并通过数据处理模块解析成标准的姿态角数据；

步骤四：姿态角数据通过主动端的信号传输模块传输至云台控制模块，并控制高速云台的运动；从而将用户头部的运动“映射”为高速云台的同步运动，进而带动云台上的双目摄像机同步运动。

Images