CN102572486B

CN102572486B - 立体视频的采集系统及方法

Info

Publication number: CN102572486B
Application number: CN201210025436.7A
Authority: CN
Inventors: 戴琼海; 杨明进; 邵航
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2012-02-06
Filing date: 2012-02-06
Publication date: 2014-05-21
Anticipated expiration: 2032-02-06
Also published as: CN102572486A

Abstract

本发明提出一种立体视频的采集系统及方法，该系统包括：采集设备，包括多个2D相机和多个姿态调整装置，每个2D相机对应一个姿态调整装置，多个2D相机线性排布，用于拍摄平面视频图像；微控制器，通过每个2D相机的通用输入输出口与采集设备相连，用于向多个2D相机发送脉冲信号以控制多个2D相机以预定的帧频同步拍摄平面视频图像；采集服务器，通过每个2D相机的数据口与采集设备相连，用于获取多个2D相机拍摄的平面视频图像，并对多个2D相机进行几何标定，及对多个2D相机拍摄的平面视频图像进行实时几何校正和立体图像合成；立体显示设备，用于接收采集服务器合成的立体图像并进行立体显示。本发明的系统可实时采集数据、灵活性好、立体感知效果佳。

Description

立体视频的采集系统及方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种立体视频的采集系统及方法。

背景技术

立体视频是描述三维世界的一种新型方式，不仅包含了传统2D视频的关于场景的表面信息，而且包含了与场景具体位置相关的三维(立体)信息。与传统的2D视频相比，立体视频是一种更有效、更真实的表达方式，并逐渐应用到娱乐广告、教育医疗等多个方面。近几十年来，显示器技术的成熟为立体产业的发展创造了条件，但立体片源的缺乏却成为立体产业进一步发展的瓶颈。

作为立体片源获取的重要方式，立体视频采集技术已越来越受到人们的关注。立体采集系统主要分为双目和多目采集系统。前者一般由两个2D相机组成，同时拍摄左、右两路视频并经过分析和处理，通过两视点立体显示器显示，可通过佩戴特殊的眼镜观看。后者是由多个2D相机按一定方式(例如线性、平面或环形等)排列而成，根据多相机拍摄的多方位场景图像，能重建场景的3D图像，并通过多视点自由立体显示器进行显示，可“裸眼”观看。

为了能正确的生成立体视频，两种系统均需要对采集图像进行处理，主要包括相机几何标定、几何校正及立体视图合成等。其中，通过几何标定，可获得各相机的内参矩阵，外参矩阵，外参矩阵包括旋转矩阵和平移向量；通过几何校正，可将各视角的原始图像校正到同一虚拟平面上，且空间点在各虚拟图像上的投影点不存在垂直方向的像素偏移，从而更符合视觉感知；立体视图合成需根据显示器的显示方式将各视角平面视图的像素按规律重排，生成能在立体显示器上正确观看的立体视图。

在对现有技术进行分析后，发现现有技术存在以下问题：(1)为了更好的采集立体视频，通常需要对2D相机的高度、旋转角度和间距等姿态进行手动调整，从而有助于达到更好的立体感知效果，而现有的双目或多目采集系统或将2D相机集成于一个装置之内，或仅能完成相机个别维度的调整，灵活性较差。(2)国内外的多目系统，多需连接多台采集服务器，而服务器间的通信比较繁琐和耗时，并且拍摄的视频序列离线进行几何校正。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为达到上述目的，本发明一方面提出一种立体视频的采集系统，包括：采集设备，所述采集设备包括多个2D相机和多个姿态调整装置，每个所述2D相机对应一个所述姿态调整装置，多个所述2D相机线性排布，用于拍摄平面视频图像；微控制器，所述微控制器通过每个所述2D相机的通用输入输出口与所述采集设备相连，用于向多个所述2D相机发送脉冲信号以控制多个所述2D相机以预定的帧频同步拍摄平面视频图像；采集服务器，所述采集服务器通过每个所述2D相机的数据口与所述采集设备相连，用于获取多个所述2D相机拍摄的平面视频图像，并对多个所述2D相机进行几何标定，及对多个所述2D相机拍摄的平面视频图像进行实时几何校正和立体图像合成；以及立体显示设备，与所述采集服务器相连，用于接收所述采集服务器合成的立体图像并进行立体显示。

在本发明的一个实施例中，所述采集服务器包括：相机几何标定模块，用于标定每个所述2D相机的参数矩阵，其中，所述参数矩阵包括旋转矩阵R_n、平移向量T_n和内参矩阵K_n；相机虚拟参数计算模块，用于根据每个所述2D相机标定的参数矩阵获得虚拟参数矩阵，其中，所述虚拟参数包括虚拟基线方向

虚拟光心位置

虚拟旋转矩阵

虚拟平移向量

和虚拟内参矩阵

像素对应表确定模块，用于分别根据所述参数矩阵K_n，R_n，T_n和所述虚拟参数矩阵

确定每个所述2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点成一一映射关系的像素对应表；实时几何校正模块，用于根据所述像素对应表分别对每个所述2D相机拍摄的平面视频图像进行实时几何，获得校正后的n视角平面视频图像，其中n为所述2D相机的个数；以及立体图合成模块，用于根据所述校正后的n视角平面视频图像合成立体图像。

在本发明的一个实施例中，所述像素对应表确定模块进一步用于：根据所述参数矩阵K_n，R_n，T_n和所述虚拟参数矩阵

获得多组空间点W在各视角n上的第一投影坐标和第二投影坐标

根据多组所述第一投影坐标

和第二投影坐标获得透视变换矩阵H_n；根据所述透视变换矩阵H_n获得每个所述2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点的成一一映射的像素对应表。

在本发明的一个实施例中，所述实时几何校正模块进一步用于：根据每个所述2D相机拍摄的平面视频图像的当前位置像素点在所述像素对应表找到所对应的校正后的平面视频图像的像素点，并将所述校正后的平面视频图像的像素点的RGB颜色值赋给所述当前位置像素点，如果所述校正后的平面视频图像的像素点不为整数，则采用最近邻插值方法找到离所述当前位置最近的整数坐标点，并将所述整数坐标点的像素点RGB颜色值赋给所述当前位置像素点。

在本发明的一个实施例中，所述像素对应表计算模块还包括：相机姿态变化判断单元，用于判断每个所述2D相机的姿态是否发生变换，如果所述2D相机的姿态发生变换，则重新计算所述像素对应表。

在本发明的一个实施例中，所述帧频为25帧每秒(fps)，则所述脉冲信号的高或低电平以约40毫秒为周期。

根据本发明实施例的立体视频的采集系统，具有以下的优点：(1)根据采集设备的多个2D相机及其对应的多个姿态调整装置，可以实现各个2D相机的高度、旋转角度和间距等姿态的自由调整，增加采集系统的灵活性，有助于达到更好的立体感知效果；(2)通过微控制器可以有效地控制多个2D相机以恒定的帧率同步、稳定地采集视频图像；(3)用一台采集服务器连接所有的2D相机，数据处理方便，并采用优化后的几何校正及立体图合成方法，可以实时地进行立体显示，达到良好的立体感知效果，为所有以实时高清立体直播为基础的应用创造了条件。

为达到上述目的，本发明另一方面还提出一种立体视频的采集方法，包括以下步骤：S1：对预定的多个2D相机进行几何标定，获得每个所述2D相机的参数矩阵；S2：根据每个所述2D相机的参数矩阵获得虚拟参数矩阵；S3：分别根据所述参数矩阵和所述虚拟参数矩阵分别计算每个所述2D相机平面视频图像像素点与校正后的平面视频图像像素点成一一映射关系的像素对应表；S4：根据所述像素对应表分别对每个所述2D相机拍摄的平面视频图像进行实时几何，获得校正后的n视角平面视频图像，其中n为所述2D相机的个数；以及S5：根据所述校正后的n视角图像合成立体图，并进行立体显示。

在本发明的一个实施例中，所述步骤S3进一步包括：S31：根据所述参数矩阵K_n，R_n，T_n和所述虚拟参数矩阵获得多组空间点W在各视角n上的第一投影坐标

和第二投影坐标S32：根据多组所述第一投影坐标

和第二投影坐标

获得透视变换矩阵H_n；以及S33：根据所述透视变换矩阵H_n获得每个所述2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点的成一一映射的像素对应表。

在本发明的一个实施例中，所述步骤S5进一步包括：根据每个所述2D相机拍摄的平面视频图像的当前位置像素点在所述像素对应表找到所对应的校正后的平面视频图像的像素点，并将所述校正后的平面视频图像的像素点的RGB颜色值赋给所述当前位置像素点，如果所述校正后的平面视频图像的像素点不为整数，则采用最近邻插值方法找到离所述当前位置最近的整数坐标点，并将所述整数坐标点的像素点RGB颜色值赋给所述当前位置像素点。

在本发明的一个实施例中，在所述步骤S5之前还包括：判断每个所述2D相机的姿态是否发生变换，如果所述2D相机的姿态发生变换，则重新计算所述像素对应表。

在本发明的一个实施例中，所述方法还包括：向每个所述2D相机发送脉冲信号以控制每个所述2D相机以预定的帧频同步拍摄平面视频。

根据本发明实施例的立体视频的采集方法，可以有效地控制多个2D相机以恒定的帧率同步、稳定地采集视频图像，并且数据处理方便，并采用优化后的几何校正及立体图合成方法，可以实时的进行立体显示，达到良好的立体感知效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一方面实施例的立体视频的采集系统的示意图；

图2为本发明一个实施例的立体视频的采集系统的结构图；

图3为本发明一个实施例的采集服务器的示意图；

图4为本发明一个实施例的计算虚拟基线方向和虚拟光心位置的示意图；以及

图5为本发明另一方面实施例的立体视频的采集方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

其中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

图1为本发明一方面实施例的立体视频的采集系统的示意图，图2为本发明一个实施例的立体视频的采集系统的结构图。下面结合图1和图2说明本发明实施例的采集系统。

如图1和图2所示，根据本发明实施例的立体视频的采集系统，包括采集设备100、微控制器200、采集服务器300和立体显示设备400。

采集设备100包括多个2D相机13和多个姿态调整装置20，每个2D相机13对应一个姿态调整装置20，多个2D相机13线性排布，用于拍摄平面视频图像。微控制器200通过每个2D相机13的通用输入输出口GPIO(General Purpose Input Output)与采集设备100相连，用于向多个2D相机13发送脉冲信号以控制多个2D相机13以预定的帧频同步拍摄平面视频图像，其中，帧频可为25帧每秒(fps)，脉冲信号的高或低电平以约40毫秒为周期。采集服务器300通过每个2D相机13的数据口与采集设备100相连，用于获取多个2D相机13拍摄的平面视频图像，并对多个2D相机13进行几何标定，以及对多个2D相机13拍摄的平面视频图像进行实时几何校正和立体图像合成。

在本发明的一个实施例中，采集服务器300通过4张1394b双总线采集卡(PCI-e x1接口，一种总线结构，图中未示出)与每个2D相机13的数据口15相连，其中，每张采集卡能达到160MB/s的带宽，可连接2台2D相机13。立体显示设备400与采集服务器300相连，用于接收采集服务器300合成的立体图像并进行立体显示。其中，2D相机13的数目由立体显示设备400的视角数决定。

在本发明的一个实施例中，一个姿态调整装置20包括光具座1、滑动座3、微型旋转台5、升降杆座8和接杆11。其中，光具座1做支撑，下方有连接三角架的螺纹孔，可固定在三角架上，也可固定在桌面；上方固定刻度尺2，可放置滑动座3。滑动座3可在光具座1上延X方向滑动及用滑动锁定钮4锁定，用以粗调2D相机13的水平位置，上端固定微型旋转台5。微型旋转台5用以控制其上装置以Y方向为轴旋转，从而调整2D相机的旋转角度，包括粗调旋转台19、螺旋测微头6及旋转锁定钮7。升降杆座8固定在粗调旋转台19上，上端圆柱孔内放置连接相机的接杆。接杆延Y方向滑动可粗调相机高度，并用粗调升降锁定钮12锁定；细调升降件10以Y方向为轴旋转可细调相机高度，并用细调升降锁定钮9锁定。

图3为本发明实施例的采集服务器的示意图。如图3所示，在本发明的一个实施例中，采集服务器300包括相机几何标定模块310、相机虚拟参数计算模块320、像素对应表确定模块330、实时几何校正模块340和立体图合成模块350。

相机几何标定模块310用于标定每个2D相机13的参数矩阵，其中，参数矩阵包括旋转矩阵R_n、平移向量T_n和内参矩阵K_n。具体地，相机几何标定模块可通过张正友几何标定法获得每个2D相机13的参数矩阵，亦可通过开源函数库OpenCV(Open SourceComputer Vision Library，开源计算机视觉库)的相应函数获得每个2D相机13的参数矩阵。空间坐标W向平面齐次坐标

的投影方程：

\tilde{w} &cong; K [R | T] W = KR [I | - C] W,

其中，

表示成比例关系，C为光心坐标，与平移向量T的关系为T＝-RC。

相机虚拟参数计算模块320用于根据每个2D相机13标定的参数矩阵获得虚拟参数矩阵，其中，虚拟参数包括虚拟基线方向

虚拟光心位置

虚拟旋转矩阵

虚拟平移向量

和虚拟内参矩阵

图4为本发明实施例的计算虚拟基线方向

和虚拟光心位置

的示意图。如图4所示，在本发明的一个实施例中，以4个光心为例计算虚拟基线方向

虚拟光心位置

首先，计算获得所有相机的原光心C_n(n＝1，2，3，4)，然后将相邻位置的两个光心连接，求取连线中点，获得3个连线中点，再将3个连线中点的相邻两点连接，求连线中点，获得2个连线中点，连接这2个中点获得到虚拟基线方向

这里需保证

即虚拟基线方向与原基线方向X夹角为锐角，否则将

反向。应理解的是，本实施例以4个光心为例说明虚拟基线方向的计算方法，多个光心的虚拟基线方向

计算方法与本实施例的计算方法类似。

在本发明的一个实施例中，虚拟光心的位置

由C_n及决定。将原C₁和C_N分别向

上投影，垂足即为

和再将两点间的线段等距分为N-1段，则端点依次为

在本发明的一个实施例中，所有2D相机13的虚拟旋转矩阵

应保持一致，记为

现选取所有R_n的Z_n方向的平均方向

根据平均方向

和虚拟基线方向

计算虚拟方向为叉积

再根据虚拟基线方向和虚拟

方向计算虚拟光轴方向

为叉积

则

并保持三个方向两两垂直。

在本发明的一个实施例中，根据虚拟平移向量

与虚拟旋转矩阵虚拟光心的位置

的关系可得到虚拟平移向量

在本发明的一个实施例中，计算虚拟内参矩阵

的过程如下，首先，内参矩阵K公式表示如下，

K = [\begin{matrix} f_{u} & γ & u_{0} \\ 0 & f_{v} & v_{0} \\ 0 & 0 & 1 \end{matrix}],

其中，f_u，f_v分别为图像坐标轴u，v方向的尺度因子，γ反映两坐标轴的偏斜角，(u₀，v₀)为图像主点坐标。使所有相机的虚拟内参矩阵

保持一致，记为

取

的

{\hat{f}}_{u} = {\hat{f}}_{v} = \max_{n} {f_{un}, f_{vn}}, \hat{γ} = 0, ({\hat{u}}_{0}, {\hat{v}}_{0})

为所有(u_0n，v_0n)平均值，从而获得，

{\hat{K}}_{n} = \hat{K} = [\begin{matrix} {\hat{f}}_{u} & 0 & {\hat{u}}_{0} \\ 0 & {\hat{f}}_{v} & {\hat{v}}_{0} \\ 0 & 0 & 1 \end{matrix}] .

像素对应表确定模块330用于分别根据参数矩阵K_n，R_n，T_n和虚拟参数矩阵

确定每个2D相机13拍摄的平面视频图像像素点和校正后平面视频图像像素点成一一映射关系的像素对应表。具体地，首先根据参数矩阵K_n，R_n，T_n和虚拟参数矩阵

获得多组空间点W在各视角n上的第一投影坐标

和第二投影坐标其中，

\{\begin{matrix} {\hat{w}}_{n} &cong; K_{n} [R_{n} | T_{n}] W \\ {\overset{\tilde{^}}{w}}_{n} &cong; {\hat{K}}_{n} [{\hat{R}}_{n} | {\hat{T}}_{n}] W \end{matrix} .

再根据多组第一投影坐标

和第二投影坐标

获得透视变换矩阵H_n，其中，可通过OpenCV的相应函数求得平面视频图像像素点和校正后平面视频图像像素点的透视变换矩阵H_n。最后根据透视变换矩阵H_n获得每个2D相机13拍摄的平面视频图像像素点和校正后平面视频图像像素点的成一一映射的像素对应表，其中，将像素对应表存储为文件。

实时几何校正模块340用于根据像素对应表分别对每个2D相机13拍摄的平面视频图像进行实时几何，获得校正后的n视角平面视频图像，其中n为2D相机的个数。具体地，根据每个2D相机13拍摄的平面视频图像的当前位置像素点在像素对应表找到所对应的校正后的平面视频图像的像素点，并将校正后的平面视频图像的像素点的RGB颜色值赋给当前位置像素点，如果校正后的平面视频图像的像素点不为整数，则采用最近邻插值方法找到离当前位置最近的整数坐标点，并将整数坐标点的像素点RGB颜色值赋给当前位置像素点。这种实时几何校正方法通过查表赋值实现，因此并行度很高，还可利用OpenMP(Open Multi-Processing，开放式多处理)多CPU并行处理，极大地提高了校正速度。

立体图合成模块350用于根据校正后的n视角平面视频图像合成立体图像。具体地，表1为立体显示设备400的局部像素排布模板，如表1所示，从数字行开始，表示立体视图的第一行第一个像素的颜色B分量由第1个视角第一个像素的颜色B分量得到，颜色G分量由第4个视角第一个像素的颜色G分量得到，颜色R分量由第7个视角第一个像素的颜色R分量得到；类似的有，第一行第二个像素的颜色B分量由第2个视角第二个像素的颜色B分量得到，颜色G分量由第5个视角第二个像素的颜色G分量得到，颜色R分量由第8个视角第二个像素的颜色R分量得到；…；以此类推，根据此模板和校正后的图像，则可合成立体图。这种像素排布的并行度很高，每行均可以独立操作，从而可利用OpenMP多CPU并行处理，提高合成速度。将立体图在立体显示器上进行全屏播放，即可观看到立体效果。

B	G	R	B	G	R	……
							1	4	7	2	5	8	……
2	5	8	3	6	1	……
							2	5	8	3	6	1	……
3	6	1	4	7	2	……
							……	……	……	……	……	……	……

表1立体显示设备400的局部像素排布模板

图5为本发明另一方面实施例的立体视频的采集方法的流程图。如图5所示，根据本发明实施例的立体视频的采集方法，包括以下步骤：

步骤S101，对预定的多个2D相机进行几何标定，获得每个2D相机的参数矩阵。

步骤S102，根据每个2D相机的参数矩阵获得虚拟参数矩阵。

步骤S103，分别根据参数矩阵K_n，R_n，T_n和虚拟参数矩阵

计算每个2D相机平面视频图像像素点与校正后的平面视频图像像素点成一一映射关系的像素对应表。

具体地，首先根据参数矩阵K_n，R_n，T_n和虚拟参数矩阵

获得多组空间点W在各视角n上的第一投影坐标

和第二投影坐标

然后，根据多组第一投影坐标

和第二投影坐标

获得透视变换矩阵H_n。最后，根据透视变换矩阵H_n获得每个2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点的成一一映射的像素对应表。

步骤S104，根据像素对应表分别对每个2D相机拍摄的平面视频图像进行实时几何，获得校正后的n视角平面视频图像，其中n为所述2D相机的个数。

具体地，根据每个2D相机拍摄的平面视频图像的当前位置像素点在像素对应表找到所对应的校正后的平面视频图像的像素点，并将校正后的平面视频图像的像素点的RGB颜色值赋给当前位置像素点。如果校正后的平面视频图像的像素点不为整数，则采用最近邻插值方法找到离当前位置最近的整数坐标点，并将整数坐标点的像素点RGB颜色值赋给当前位置像素点。

步骤S105，根据校正后的n视角图像合成立体图，并进行立体显示。

在本发明的一个实施例中，在步骤S105之前还包括，判断每个2D相机的姿态是否发生变换，如果2D相机的姿态发生变换，则重新计算像素对应表。

在本发明的一个实施例中，步骤S104之前的任何时候，向每个2D相机发送脉冲信号以控制每个2D相机以预定的帧频同步拍摄平面视频。在本发明的一个实施例中，帧频为25帧每秒(fps)，则脉冲信号的高或低电平以约40毫秒为周期。

根据本发明实施例的立体视频的采集系统和方法，至少具有以下有益效果：

(1)根据采集设备的多个2D相机及其对应的多个姿态调整装置，可以实现各个2D相机的高度、旋转角度和间距等姿态的自由调整，增加采集系统的灵活性，有助于达到更好的立体感知效果；(2)通过微控制器可以有效地控制多个2D相机以恒定的帧率同步、稳定地采集视频图像；(3)用一台采集服务器连接所有的2D相机，数据处理方便，并采用优化后的几何校正及立体图合成方法，可以实时地进行立体显示，达到良好的立体感知效果，为所有以实时高清立体直播为基础的应用创造了条件。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims

1.一种立体视频的采集系统，其特征在于，包括：

采集设备，所述采集设备包括多个2D相机和多个姿态调整装置，每个所述2D相机对应一个所述姿态调整装置，多个所述2D相机线性排布，用于拍摄平面视频图像；

微控制器，所述微控制器通过每个所述2D相机的通用输入输出口与所述采集设备相连，用于向多个所述2D相机发送脉冲信号以控制多个所述2D相机以预定的帧频同步拍摄平面视频图像；

采集服务器，所述采集服务器通过每个所述2D相机的数据口与所述采集设备相连，用于获取多个所述2D相机拍摄的平面视频图像，并对多个所述2D相机进行几何标定，及对多个所述2D相机拍摄的平面视频图像进行实时几何校正和立体图像合成；

其中，所述采集服务器进一步包括：

相机几何标定模块，用于标定每个所述2D相机的参数矩阵，其中，所述参数矩阵包括旋转矩阵R_n、平移向量T_n和内参矩阵K_n；

相机虚拟参数计算模块，用于根据每个所述2D相机标定的参数矩阵获得虚拟参数矩阵，其中，所述虚拟参数包括虚拟基线方向

、虚拟光心位置

虚拟旋转矩阵虚拟平移向量

和虚拟内参矩阵

像素对应表确定模块，用于分别根据所述参数矩阵K_n,R_n,T_n和所述虚拟参数矩阵

确定每个所述2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点成一一映射关系的像素对应表；

实时几何校正模块，用于根据所述像素对应表分别对每个所述2D相机拍摄的平面视频图像进行实时几何，获得校正后的n视角平面视频图像，其中n为所述2D相机的个数；以及

立体图合成模块，用于根据所述校正后的n视角平面视频图像合成立体图像；

以及

立体显示设备，与所述采集服务器相连，用于接收所述采集服务器合成的立体图像并进行立体显示。

2.根据权利要求1所述的立体视频的采集系统，其特征在于，所述像素对应表确定模块，进一步用于：

根据所述参数矩阵K_n,R_n,T_n和所述虚拟参数矩阵获得多组空间点W在各视角n上的第一投影坐标

和第二投影坐标

根据多组所述第一投影坐标

和第二投影坐标

获得透视变换矩阵H_n；以及

根据所述透视变换矩阵H_n获得每个所述2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点的成一一映射的像素对应表。

3.根据权利要求1所述的立体视频的采集系统，其特征在于，所述实时几何校正模块，进一步用于：

根据每个所述2D相机拍摄的平面视频图像的当前位置像素点在所述像素对应表找到所对应的校正后的平面视频图像的像素点，并将所述校正后的平面视频图像的像素点的RGB颜色值赋给所述当前位置像素点，

如果所述校正后的平面视频图像的像素点不为整数，则采用最近邻插值方法找到离所述当前位置最近的整数坐标点，并将所述整数坐标点的像素点RGB颜色值赋给所述当前位置像素点。

4.根据权利要求1所述的立体视频的采集系统，其特征在于，所述像素对应表计算模块还包括：

相机姿态变化判断单元，用于判断每个所述2D相机的姿态是否发生变换，如果所述2D相机的姿态发生变换，则重新计算所述像素对应表。

5.根据权利要求1所述的立体视频的采集系统，其特征在于，所述帧频为25帧每秒（fps），则所述脉冲信号的高或低电平以约40毫秒为周期。

6.一种立体视频的采集方法，其特征在于，包括以下步骤：

S1：对预定的多个2D相机进行几何标定，获得每个所述2D相机的参数矩阵，其中，所述参数矩阵包括旋转矩阵R_n、平移向量T_n和内参矩阵K_n；

S2：根据每个所述2D相机的参数矩阵获得虚拟参数矩阵，其中，所述虚拟参数包括虚拟基线方向

虚拟光心位置虚拟旋转矩阵

虚拟平移向量

和虚拟内参矩阵

S3：分别根据所述参数矩阵和所述虚拟参数矩阵计算每个所述2D相机平面视频图像像素点与校正后的平面视频图像像素点成一一映射关系的像素对应表；

S4：根据所述像素对应表分别对每个所述2D相机拍摄的平面视频图像进行实时几何，获得校正后的n视角平面视频图像，其中n为所述2D相机的个数；以及

S5：根据所述校正后的n视角图像合成立体图，并进行立体显示。

7.根据权利要求6所述的立体视频的采集方法，其特征在于，所述步骤S3进一步包括：

S31：根据所述参数矩阵K_n,R_n,T_n和所述虚拟参数矩阵

获得多组空间点W在各视角n上的第一投影坐标

和第二投影坐标

S32：根据多组所述第一投影坐标和第二投影坐标

获得透视变换矩阵H_n；以及

S33：根据所述透视变换矩阵H_n获得每个所述2D相机拍摄的平面视频图像像素点和校正后平面视频图像像素点的成一一映射的像素对应表。

8.根据权利要求6所述的立体视频的采集方法，其特征在于，所述步骤S5进一步包括：

9.根据权利要求7所述的立体视频的采集方法，其特征在于，在所述步骤S5之前还包括：

判断每个所述2D相机的姿态是否发生变换，如果所述2D相机的姿态发生变换，则重新计算所述像素对应表。

10.根据权利要求6所述的立体视频的采集方法，其特征在于，所述方法还包括：

向每个所述2D相机发送脉冲信号以控制每个所述2D相机以预定的帧频同步拍摄平面视频。

11.根据权利要求10所述的立体视频的采集方法，其特征在于，所述帧频为25帧每秒（fps），则所述脉冲信号的高或低电平以约40毫秒为周期。