CN102325262A - 立体摄像装置控制系统 - Google Patents

Abstract

本发明提供一种即使在两个摄像部件的相对位置关系未知的情况下，也能获得具有立体视觉效果的立体影像的立体摄像装置控制系统。所述立体摄像装置控制系统包括两个摄像部件，一误差计算部件，以及一控制部件；其中，两个摄像部件对于Yaw、Pitch、Roll和变焦倍数中的任一参数，至少具有一个可控的数字化或模拟化自由度，而且可凭借其所包含的摄像元件拍摄连续影像；误差计算部件通过比较两个摄像部件拍摄到的各个影像与各摄像部件的预设标准辐辏模型之间的差异，计算出各摄像部件的旋转误差及变焦误差；控制部件利用误差计算部件算出的旋转误差及变焦误差，来控制摄像部件的旋转角度及变焦倍数。

Description

立体摄像装置控制系统

技术领域

本发明涉及一种立体摄像装置控制系统，尤其涉及一种可对立体摄像装置的两个摄像部件的位置偏差进行校正的立体摄像装置控制系统。

背景技术

立体摄像装置是通过使用分别置于左右两侧的两个摄像机来获得立体影像的装置。传统立体摄像装置为了获得立体影像，两个摄像机的相对位置以及相对姿势是固定的。为了提高立体视觉功能，又开发出了具有辐辏运动、基线长度可变、可变焦等特点的多自由度有源摄像机的立体摄像装置。

两个摄像机间的相对位置偏差会导致无法生成立体影像。为了消除偏差，开发出了各种偏差校正方法。例如，专利文献1《特开2004-354257号公报》公开一种方法，利用预先存储的摄像装置校正数据(校正参数)对拍摄的立体影像进行校正。

此外，专利文献2《特开2007-263669号公报》也公开一种方法，先从立体摄像装置拍摄的立体影像中选出特征点，然后通过特征点的对应关系计算基本矩阵(两个摄像机间的相对几何信息)，以此来推断两摄像机间相对位置的位置偏差以及旋转偏差。

但是，由于专利文献1和2中记述的方法都是通过预先测量或者设定两个摄像机的相对位置，然后校正摄像机实际位置与该测量值或设定值之间的偏差，这样使得计算量增大，并且难于实现实时校正。另外，此类方法还存在着计算出的相对位置精度低，以及难以用于校正绕两眼视轴旋转角度偏差的缺点。

发明内容

鉴于上述实际问题，为了实现摄像部件的姿势以及变焦的可控性，本发明提供一种即使在两个摄像部件的相对位置关系未知的情况下，也能获得具有立体视觉效果的立体影像的立体摄像装置控制系统。

为了达到上述的目的，本发明提供一种立体摄像装置控制系统，包括：两个摄像部件，其对Yaw、Pitch、Roll和变焦倍数中的任一参数，至少具有一个可控的数字化或模拟化自由度，且两个所述摄像部件所包含的摄像元件可拍摄连续影像；一误差计算部件，通过比较所述两个摄像部件拍摄到的各个影像计算出各摄像部件与预设标准辐辏模型之间的差异，得到各摄像部件的旋转误差及变焦误差；以及一控制部件，利用所述误差计算部件算出的旋转误差及变焦误差，来控制摄像部件的旋转角度及变焦倍数。

上述立体摄像装置控制系统，其中，所述标准辐辏模型通过以下方法进行定义：1)两个摄像部件的基线，各摄像部件的光轴，以及各摄像部件包含的摄像元件的u轴处于同一平面；2)各摄像部件光轴的焦点位于摄像部件的前方。

上述立体摄像装置控制系统，其中，各摄像部件通过针孔模型进行校正。

上述立体摄像装置控制系统，其中，当各摄像部件具有数字化自由度时，控制部件使用图像映射变换对旋转角度及变焦倍数进行控制。

上述立体摄像装置控制系统，其中，当各摄像部件具有模拟化自由度时，控制部件通过一个驱动各摄像部件的驱动器对旋转角度及变焦倍数进行控制。

上述立体摄像装置控制系统，其中，所述误差计算部件包括：特征点选取部件，用于从各摄像部件拍摄的影像中选取各特征点；以及特征点匹配部件，用于相互匹配上述各个特征点。

上述立体摄像装置控制系统，其中，所述立体摄像装置控制系统还包括一辐辏角测量部件，用于测量两个摄像部件的辐辏角。

上述立体摄像装置控制系统，其中，所述控制部件使用辐辏角测量部件测得的辐辏角，通过实施图像映射变换，消除梯形失真。

本发明的立体摄像装置控制系统具有即使在两个摄像部件的相对位置关系事先未知的情况下，也能获得具有立体视觉效果的立体影像的优点。

附图说明

本发明的立体摄像装置控制系统由以下的实施例及附图给出。

图1是本发明立体摄像装置控制系统的示意框图。

图2a～图2b是本发明立体摄像装置控制系统使用的标准辐辏模型的针孔模型的概念图。

图3是导入本发明控制系统的使用两个相对位置固定的摄影部件的摄像装置的示意框图。

图4是导入本发明控制系统的使用两个具有三个自由度的摄影部件的摄像装置实施例一的示意框图。

图5是导入本发明控制系统的使用两个具有三个自由度的摄影部件的摄像装置实施例二的示意框图。

图6是导入本发明控制系统的使用两个具有三个自由度的摄影部件的摄像装置实施例三的示意框图。

具体实施方式

以下将结合图1～图6对本发明的立体摄像装置控制系统作进一步的详细描述。

图1所示为本发明立体摄像装置控制系统的示意框图。如图1所示，本发明的立体摄像装置控制系统包括两个摄像部件10，一误差计算部件20和一控制部件30。

所述摄像部件10，对Yaw、Pitch、Roll和变焦倍数中的任一参数，至少具有一个可控的数字化或模拟化自由度，而且通过其包含的摄像元件可以实现连续摄像；其中，所述数字化自由度是指，虽然摄像部件自身被固定，但是通过对拍摄所得的连续影像进行旋转、平行移动、以及变形校正等处理，使摄像部件具有的若干个自由度；所述模拟化自由度是指，摄像部件自身因为被驱动器等设备驱动而具有的多个自由度。

所述误差计算部件20，通过比较两个摄像部件10拍摄所得的各个影像与各摄像部件的预设标准辐辏模型之间的差异，计算出各摄像部件的旋转误差及变焦误差中的至少一个；其中，所述标准辐辏模型通过以下方法进行定义：

1)两个摄像部件的基线，各摄像部件的光轴，以及各摄像部件包含的摄像元件的u轴处于同一平面；

2)各摄像部件光轴的焦点位于摄像部件的前方。

所述标准辐辏模型还可以包含以下定义：

3)各摄像部件的焦点距离满足下式：

$\frac{f_L-f_R}{f_L+f_R}=\tan {\mathrm{\θ}}_c\tan \left(\frac{{\mathrm{\θ}}_v}{2}\right)---\left(1\right)$

其中，f_L表示其中一个摄像部件的焦点距离，f_R表示另一个摄像部件的焦点距离，θ_c表示各摄像部件的共模角，θ_v表示两个摄像部件的辐辏角；

上述标准辐辏模型定义3)是为了使变焦误差为零而设定的一个等价条件，因此，当拍摄所得的影像变焦误差为零时，不需要使用该定义。

通过使用标准辐辏模型，可将摄像部件的预设位置关系作为标准辐辏进行广泛定义，例如，对于可用于产生立体视觉效果的立体影像的标准辐辏模型，有时还需要增加设定两个摄像部件的视轴相互平行的情况。另外，除了上述1)～3)，还可以添加多个项目，将其定义为标准辐辏模型。

以下，对图1中各部件使用的参数进行定义：

双眼影像(摄像部件10获得的左右影像)：左眼影像I_L，右眼影像I_R；

分辨率：影像宽r_u，影像高r_v(单位：像素)；

水平视角：左眼影像水平视角α_L，右眼影像水平视角α_R(单位：度)。

定义5种误差(误差计算部件20计算的误差)：

1)Pan(或Yaw方向)差模误差e_yawD：为使投射于两个摄像部件10所包含的摄像元件中心的目标物体的u轴不发生偏差，两个摄像部件10在Pan方向应该反向旋转的角度；

2)Tilt(或Pitch方向)差模误差e_pitchD：为使投射于两个摄像部件10所包含的摄像元件中心的目标物体的v轴不发生偏差，两个摄像部件10在Tilt方向应该反向旋转的角度；

3)Roll差模误差e_rollD：为使两个摄像部件10所包含的摄像元件的u轴与基线及各摄像部件的光轴处于同一平面，两个摄像部件10在Roll方向应该反向旋转的角度；

4)Roll共模误差e_rollC：为使两个摄像部件10所包含的摄像元件的u轴与基线及各摄像部件的光轴处于同一平面，两个摄像部件10在Roll方向应该同向旋转的角度；

5)Scale(或Zoom方向)差模误差e_zoomD：为使投射于两个摄像部件10所包含的摄像元件中心的目标物体的高度相同，两个摄像部件10应该实施的放大或缩小倍数的对数；

(单位：Zoom方向差模误差e_zoomD单位为log，其他误差单位为度)。

定义8个位置量(控制部件30所要控制的位置)：

1)左眼Yaw位置x_yawL；

2)左眼Pitch位置x_pitchL；

3)左眼Roll位置x_rollL；

4)左眼Zoom位置x_zoomL；

5)右眼Yaw位置x_yawR；

6)右眼Pitch位置x_pitchR；

7)右眼Roll位置x_rollR；

8)右眼Zoom位置x_zoomR。

式(1)中各摄像部件的焦点距离f_L和f_R并非光学意义上的焦点距离，而是指摄像部件校正意义上的焦点距离，是一个表示影像空间与实际空间相互转换的系数，可用下式表示：

$f_L=\frac{r_u/2}{\tan (a_L/2)},$ $f_R=\frac{r_u/2}{\tan (a_R/2)}$

$f_0=\sqrt{f_L{f}_R}---\left(2\right).$

图2a～图2b所示为本发明立体摄像装置控制系统使用的标准辐辏模型的针孔模型的概念图，其中，图2a表示从右侧摄像部件所看到的影像状态，图2b表示从左侧摄像部件所看到的影像状态。图2a～图2b中，与图1对应的部分采用相同的符号进行标注，摄像部件10所包含的各摄像元件的中心标识为光学中心。以上两图所示称为针孔模型。如图2a～图2b所示，从左右两个摄像部件看到的是不同的影像，而这些影像与标准辐辏模型之间的差异通过误差计算部件20算出，在本说明书中，此误差称为标准辐辏误差。为了消除该标准辐辏误差，需要对摄像部件或者影像进行修正。综上所述，本发明控制系统的摄像部件可通过该针孔模型进行校正。

上述标准辐辏模型中光轴相互平行时称为平行视角。另外，当上述标准辐辏模型的所有条件都满足，且两个摄像部件10的光轴交点位于基线的垂直平分面上时，称为中心辐辏。

所述误差计算部件20首先对左右两个摄像部件拍摄的两个影像进行匹配，将两个影像的大小(分辨率、像素点数)处理至基本相同：先用特征点选取部件选取左右两个影像中的凝视点作为特征点；再用特征点匹配部件对选取的各个特征点进行匹配，即选取被匹配影像中各对应特征点的位置坐标(二位向量)及匹配点个数作为匹配信息；然后依据特征点的匹配信息对影像与标准辐辏模型之间的误差，即标准辐辏误差进行计算，具体包括例如对上下位置误差、辐辏误差、旋转误差、倾斜误差以及变焦误差的计算；接着对各自由度的控制量进行评价，具体包括例如对Pan差模量、Tilt差模量、Roll差模量、Roll共模量及Scale差模量进行评价；然后确定用来匹配影像的各自由度的理想值，具体包括例如确定左右两个影像的Pan、Tilt、Roll及Scale各量的理想值。由于可通过反馈控制的方式对两个摄像部件的影像进行逐步修正，所以只需将控制参数设定在可使控制回路收束的范围即可实现校正。

特征点匹配部件具有利用双眼影像(I_L，I_R)对各选取的特征点进行匹配的功能。此外，可使用例如以影像左上角为原点的坐标系作为其坐标系。本发明的控制系统不限于某一种特定的匹配方法，可以适用如SIFT法或者Harris等多种匹配方法。具有N对特征点对的匹配结果如下式所示：

$\stackrel{\→}{u_L}=\left[\begin{array}{c}{u}_{L1}\\ u_{L2}\\ .\\ .\\ .\\ u_{\mathrm{LN}}\end{array}\right],$ $\stackrel{\→}{v_L}=\left[\begin{array}{c}{v}_{L1}\\ v_{L2}\\ .\\ .\\ .\\ v_{\mathrm{LN}}\end{array}\right],$ $\stackrel{\→}{u_R}=\left[\begin{array}{c}{u}_{R1}\\ u_{R2}\\ .\\ .\\ .\\ u_{\mathrm{RN}}\end{array}\right],$ $\stackrel{\→}{v_R}=\left[\begin{array}{c}{v}_{R1}\\ v_{R2}\\ .\\ .\\ .\\ v_{\mathrm{RN}}\end{array}\right]---\left(3\right)$

其中，u_Li，v_Li，u_Ri，v_Ri表示一对特征点对，(u_Li，v_Li)和(u_Ri，v_Ri)分别表示左眼影像和右眼影像中的坐标值；

为了将上述左右特征点对的表示方式转换为共模/差模表示方式，对其实施下式所示的L/R C/D转换，此时，坐标系也同时转换为影像中心坐标系：

$\stackrel{\→}{u_C}=\left[\begin{array}{c}{u}_{C1}\\ u_{C2}\\ .\\ .\\ .\\ u_{\mathrm{CN}}\end{array}\right],$ $\stackrel{\→}{v_C}=\left[\begin{array}{c}{v}_{C1}\\ v_{C2}\\ .\\ .\\ .\\ v_{\mathrm{CN}}\end{array}\right],$ $\stackrel{\→}{u_D}=\left[\begin{array}{c}{u}_{D1}\\ u_{D2}\\ .\\ .\\ .\\ u_{\mathrm{DN}}\end{array}\right],$ $\stackrel{\→}{v_D}=\left[\begin{array}{c}{v}_{D1}\\ v_{D2}\\ .\\ .\\ .\\ v_{\mathrm{DN}}\end{array}\right]$

$u_{\mathrm{Ci}}=\frac{u_{\mathrm{Li}}+u_{\mathrm{Ri}}}{2}-\frac{r_u}{2},$ $v_{\mathrm{Ci}}=\frac{v_{\mathrm{Li}}+v_{\mathrm{Ri}}}{2}-\frac{r_v}{2}$

$u_{\mathrm{Di}}=\frac{u_{\mathrm{Li}}-u_{\mathrm{Ri}}}{2},$ $v_{\mathrm{Di}}=\frac{v_{\mathrm{Li}}-v_{\mathrm{Ri}}}{2}---\left(4\right);$

对各特征点对还通过下式对矩阵的重量进行计算：

$w_{\mathrm{uvi}}=\max (1-\frac{\sqrt{u_{\mathrm{Ci}}^2+v_{\mathrm{Ci}}^2}}{r},0)$

$w_{\mathrm{ui}}=\max (1-\frac{\left|u_{\mathrm{Ci}}\right|}{r},0),$ $w_{\mathrm{vi}}=\max (1-\frac{\left|v_{\mathrm{Ci}}\right|}{r},0)---\left(5\right);$

为实现线性回归，对各分量的能量方程进行了如下定义：

$\stackrel{\→}{1}=\left[\begin{array}{c}1\\ 1\\ .\\ .\\ .\\ 1\end{array}\right],$ $\stackrel{\→}{0}=\left[\begin{array}{c}0\\ 0\\ .\\ .\\ .\\ 0\end{array}\right],$

$E_{\mathrm{yawD}}(k,a)=\left|\right|W_{\mathrm{uv}}\·\left(\right[\stackrel{\→}{0},\stackrel{\→}{1}]\·\left[\begin{array}{c}k\\ a\end{array}\right]-\stackrel{\→}{u_D})\left|\right|$

$E_{\mathrm{pitchD}}(k,a)=\left|\right|W_{\mathrm{uv}}\·\left(\right[\stackrel{\→}{0},\stackrel{\→}{1}]\·\left[\begin{array}{c}k\\ a\end{array}\right]-\stackrel{\→}{v_D})\left|\right|$

$E_{\mathrm{rollD}}(k,a)=\left|\right|W_v\·\left(\right[\stackrel{\→}{u_C},\stackrel{\→}{1}]\·\left[\begin{array}{c}k\\ a\end{array}\right]-\stackrel{\→}{v_D})\left|\right|$

$E_{\mathrm{zoomD}}(k,a)=\left|\right|W_u\·\left(\right[\stackrel{\→}{v_C},\stackrel{\→}{1}]\·\left[\begin{array}{c}k\\ a\end{array}\right]-\stackrel{\→}{v_D})\left|\right|$

$E_{\mathrm{rollC}}(k,a)=\left|\right|I\·\left(\right[\stackrel{\→}{u_D},\stackrel{\→}{1}]\·\left[\begin{array}{c}k\\ a\end{array}\right]-\stackrel{\→}{v_D})\left|\right|---\left(6\right);$

通过线性回归求得上述各能量方程的最小值，并得到误差的中间变量：

a_yawD＝{a^*|E_yawD(0，a^*)＝min_aE_yawD(0，a)}

a_pitchD＝{a^*|E_pitchD(0，a^*)＝min_aE_pitchD(0，a)}

$(k_{\mathrm{rollD}},a_{\mathrm{rollD}})=\left\{(k_{\mathrm{rollD}}^{*},a_{\mathrm{rollD}}^{*})\right|E_{\mathrm{rollD}}(k^{*},a^{*})={\min }_{k,a}{E}_{\mathrm{rollD}}(k,a)\}$

$(k_{\mathrm{zoomD}},a_{\mathrm{zoomD}})=\left\{(k_{\mathrm{zoomD}}^{*},a_{\mathrm{zoomD}}^{*})\right|E_{\mathrm{zoomD}}(k^{*},a^{*})={\min }_{k,a}{E}_{\mathrm{zoomD}}(k,a)\}$

$(k_{\mathrm{rollC}},a_{\mathrm{rollC}})=\left\{(k_{\mathrm{rollC}}^{*},a_{\mathrm{rollC}}^{*})\right|E_{\mathrm{rollC}}(k^{*},a^{*})={\min }_{k,a}{E}_{\mathrm{rollC}}(k,a)\}---\left(7\right);$

利用这些中间变量通过如下方式计算标准辐辏误差：

$e_{\mathrm{yawD}}={\tan }^{-1}\left(\frac{a_{\mathrm{yawD}}}{f_0}\right)$

$e_{\mathrm{pitchD}}={\tan }^{-1}\left(\frac{a_{\mathrm{pitchD}}}{f_0}\right)$

e_rollD＝tan^-1(k_rollD)

$e_{\mathrm{zoomD}}=\log \left(\sqrt{\frac{1+k_{\mathrm{zoomD}}}{1-k_{\mathrm{zoomD}}}}\right)$

e_rollC＝tan^-1(k_rollC)    (8)；

所述控制部件30，使用误差计算部件20算出的旋转误差及变焦误差等标准辐辏误差，对例如摄像部件10的旋转角度及变焦倍数等进行控制。所述控制部件30通过对误差进行积分、微分以及比例等运算得到两个摄像部件10的各个自由度的操作量。也就是说，上述方法对摄像部件进行PID控制。如果在双眼的相对运动之外，还需要加入眼球追踪等运动时，可通过对上述相对运动进行控制的同时，对结合了共模运动的平滑追随运动(即眼球追踪运动)或跳跃性运动(即视线的切换运动)也进行控制的方法来实现。

当两个摄像部件10具有数字化自由度时，即摄像部件10为固定摄像机，只具有拍摄影像的功能，可基于上述确定的自由度理想值，利用影像处理(影像转换)对左右两个影像分别进行近似的Pan、Tilt、Roll，或者进行Scale控制，从而实现误差校正。也就是说，依据影像匹配进行假想的摄像机旋转操作从而实现变焦。另外，还可以通过图像映射变换对旋转角度以及变焦倍数进行控制。当然，使用此方法还可以对左右两个影像分别进行修正。

当两个摄像部件10与双眼有源摄像机一样具有模拟化自由度时，可以通过双眼有源摄像机的电机系统进行驱动。也就是说，可基于上述确定的自由度理想值，通过驱动器对两个摄像部件10的旋转角度以及变焦倍数进行控制。具体而言，控制过程为：在对驱动器的Pan、Tilt、Roll实现控制的同时，如果其还具有变焦功能时，再基于变焦的理想值对变焦倍数进行控制。进一步具体而言，将上述8个位置量作为摄像部件10的输入值，通过控制部件30进行输入，然后在使用左右的Zoom位置量对变焦构件进行控制的同时，使用其他位置量对Pan、Tilt、Roll旋转构件进行控制。驱动器可通过使用三电机的构成方式使其具有三个自由度。此外，通过控制变焦倍数还可以实现对水平视角的控制。

另外，在具有模拟化自由度的情况下，可以不经过影像匹配，而直接对左右两个摄像部件拍摄的两个影像进行特征点匹配。此外，还可以将误差计算结果作为直接控制量来计算理想值，然后通过误差校正实现控制。

综上所述，本发明的控制系统无需使用反映各摄像部件相对位置以及朝向的基本矩阵，只需利用拍摄到的影像就可实现仪器校正，因此，减少了计算量，实现了实时校正，而且还可以实现视频等连续影像的校正。

另外，还可以分别测量两个摄像部件10的辐辏角并利用其进行误差计算。上述的校正和控制是在未测量辐辏角的情况下实现的，其还可以增加通过测量辐辏角来修正辐辏角偏差的步骤。辐辏角可通过影像处理或使用驱动器电机的编码器进行测量。

在求得辐辏角的情况下，可以通过使用辐辏角，并经图像映射变换，消除梯形失真。在辐辏角已知时，经标准辐辏模型矫正过的摄像部件所包含的摄像元件平面可以被校正到进一步与基线平行的位置，因此，在此情况下，两个影像部件可以生成影像平面相互平行的影像，这对3D显示装置等设备而言是理想的影像显示方式。

此处，角度相关的误差全部为绝对误差，所以当同时生成多个误差，并希望将其一并转换为标准辐辏时，需要使用欧拉角进行相关计算。

下面将具体说明导入本发明立体摄像装置控制系统的立体摄像系统。图3所示为导入本发明控制系统的使用两个相对位置固定的摄影部件的摄像装置的示意框图。两个相对位置固定的摄影部件10具有数字化的自由度，即通过对拍摄所得的连续影像进行旋转、平行移动、以及变形校正等影像处理，可实现对Yaw、Pitch、Roll和变焦倍数中任何一个参数的控制。

摄影部件10拍摄到的连续影像通过3D处理单元40输入。3D处理单元40使用上述经影像处理得到的标准辐辏误差，对从摄影部件10输入的影像通过图像映射变换进行修正，其作用恰如一个用来检查摄影部件10的视轴是否已被校正的影像输出装置。通过该3D处理单元40可实现标准辐辏误差经校正后的3D影像的输出。

3D处理单元40包括一视角测量部件41，一映射图生成部件42，以及一影像映射部件43。视角测量部件41用来提前测量视角并生成一个原始水平视角。映射图生成部件42用来输入摄影部件10拍摄到的影像的分辨率以及视角测量部件41测量的原始水平视角，并使用上述8个位置量对其进行校正，然后生成校正后的水平视角以及影像转换映射图。影像映射部件43用来输入摄影部件10拍摄到的影像的原始影像以及映射图生成部件42生成的影像转换映射图，并输出经双眼校正后的3D影像。

以下，对图3中各部件使用的参数进行定义：

双眼原始影像(摄影部件10拍摄的左右原始影像)：左眼原始影像I_L0，右眼原始影像I_R0；

原始水平视角：左眼原始影像的水平视角α_L0，右眼原始影像的水平视角α_R0(单位：度)；

双眼校正后的影像：左眼影像I_L，右眼影像I_R；

校正后的水平视角：左眼影像的水平视角α_L，右眼影像的水平视角α_R(单位：度)；

分辨率：影像宽r_u，影像高r_v(单位：像素)；

影像转换映射图：左眼影像的u轴坐标映射图M_uL，左眼影像的v轴坐标映射图M_vL，右眼影像的u轴坐标映射图M_uR，右眼影像的v轴坐标映射图M_vR。

映射图生成部件42通过以下方法生成影像转换映射图，此外，由于右眼像转换映射图可与左眼像转换映射图使用相同的方式生成，所以下面的说明中只给出了生成左眼像转换映射图的方式。首先，通过下式计算水平视角：

$f_{L0}=\frac{r_u/2}{\tan ({\mathrm{\α}}_{L0}/2)}$

s＝exp(x_zoomL)

f_L＝s·f_L0

${\mathrm{\α}}_L=2\·{\tan }^{-1}\left(\frac{r_u}{2\·f_L}\right)---\left(9\right);$

像转换映射图通过式(10)进行定义：

像转换映射图中的各元素值可通过式(11)表示：

$\left[\begin{array}{c}{m}_{\mathrm{uL}}(i,j)\\ m_{\mathrm{vL}}(i,j)\end{array}\right]=f_{L0}\·\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]+\left[\begin{array}{c}{r}_u\\ r_v\end{array}\right]$

$\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]=\left[\begin{array}{c}\frac{\tan \left(x_{\mathrm{yawL}}\right)+x_c}{1-\tan \left(x_{\mathrm{yawL}}\right)\·x_c}\\ \frac{y_c}{\cos \left(x_{\mathrm{yawL}}\right)-\sin \left(x_{\mathrm{yawL}}\right)\·x_c}\end{array}\right]$

$\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]=\left[\begin{array}{c}\frac{x_b}{\cos \left(x_{\mathrm{pitchL}}\right)-\sin \left(x_{\mathrm{pitchL}}\right)\·y_b}\\ \frac{\tan \left(x_{\mathrm{pitchL}}\right)+y_b}{1-\tan \left(x_{\mathrm{pitchL}}\right)\·y_b}\end{array}\right]$

$\left[\begin{array}{c}{x}_b\\ y_b\end{array}\right]=\frac{1}{s}\·\left[\begin{array}{cc}\cos \left(x_{\mathrm{rollL}}\right)& \sin \left(x_{\mathrm{rollL}}\right)\\ -\sin \left(x_{\mathrm{rollL}}\right)& \cos \left(x_{\mathrm{rollL}}\right)\end{array}\right]\left[\begin{array}{c}{x}_a\\ y_a\end{array}\right]$

$\left[\begin{array}{c}{x}_a\\ y_a\end{array}\right]=\frac{1}{f_L}\·\left[\begin{array}{c}i-r_u\\ j-r_v\end{array}\right]---\left(11\right);$

在映射影像时，原始影像和校正后的影像通过式(12)进行定义：

式(12)中的各元素，当影像为单色影像时为标量，当影像为彩色影像时为向量；

通过式(13)进行影像映射：

另外，子像素精度坐标上的值可通过二维插值法进行增补。

下面将说明导入本发明控制系统的使用具有模拟化自由度的摄像部件的立体摄像装置。图4所示为导入本发明控制系统的使用两个具有三个自由度的摄影部件的摄像装置实施例一的示意框图。两个具有三个自由度的摄影部件10具有模拟化的自由度，即摄像部件自身被驱动器等设备驱动，从而可以对Yaw、Pitch、Roll和变焦倍数中任何一个参数进行控制。

摄影部件10拍摄到的连续影像，经误差计算部件20输入，并通过误差计算部件20算出标准辐辏误差。标准辐辏误差可通过上述式8进行计算。然后使用该标准辐辏误差，通过手动调整驱动器60，输出摄影部件10拍摄的视轴经矫正后的影像。

图5所示为导入本发明控制系统的使用两个具有模拟化自由度的摄影部件的摄像装置的实施例二的示意框图。在该例中，误差计算部件20算出的标准辐辏误差，经一个内置眼球协调运动控制模型的电机控制单元50输入。电机控制单元50根据该眼球协调运动模型实施控制，并输出两个摄影部件10拍摄的视轴经矫正后的影像。此外，专利文献《特开2006-329747号公》等中公开的各种运动控制系统可适用于上述眼球协调运动。

图6所示为导入本发明控制系统的使用两个具有模拟化自由度的摄影部件的摄像装置实施例三的示意框图。在此例中，在使用经误差计算部件20算出标准辐辏误差，通过电机控制单元50依据眼球协调运动模型实施控制之外，还使用3D处理单元40，通过图像映射变换，对从摄影部件10输入的影像进行修正，其作用恰如一个用来检查摄影部件10的视轴是否已被校正的影像输出装置。该3D处理单元40不但可以通过模拟化自由度对标准辐辏误差进行矫正，还可以通过数字化自由度对标准辐辏误差进行矫正。

本发明的立体摄像装置控制系统并不限于上述的各种附图说明的实施例，在不脱离本发明原理的情况下，还可以做各种变形和改进。

Claims (8)

1.一种立体摄像装置控制系统，其特征在于，包括：

两个摄像部件，其对Yaw、Pitch、Roll和变焦倍数中的任一参数，至少具有一个可控的数字化或模拟化自由度，且两个所述摄像部件所包含的摄像元件可拍摄连续影像；

一误差计算部件，通过比较所述两个摄像部件拍摄到的各个影像计算出各摄像部件与预设标准辐辏模型之间的差异，得到各摄像部件的旋转误差及变焦误差；以及

一控制部件，利用所述误差计算部件算出的旋转误差及变焦误差，来控制摄像部件的旋转角度及变焦倍数。

2.如权利要求1所述的立体摄像装置控制系统，其特征在于，所述标准辐辏模型通过以下方法进行定义：

1)两个摄像部件的基线，各摄像部件的光轴，以及各摄像部件包含的摄像元件的u轴处于同一平面；

2)各摄像部件光轴的焦点位于摄像部件的前方。

3.如权利要求1或2所述的立体摄像装置控制系统，其特征在于，各摄像部件通过针孔模型进行校正。

4.如权利要求1或2所述的立体摄像装置控制系统，其特征在于，当各摄像部件具有数字化自由度时，控制部件使用图像映射变换对图像进行虚拟的旋转及变焦变换，从而达到对数字化自由度进行旋转角度及变焦倍数的控制。

5.如权利要求1或2所述的立体摄像装置控制系统，其特征在于，当各摄像部件具有模拟化自由度时，控制部件通过一个驱动各摄像部件的驱动器对旋转角度及变焦倍数进行控制。

6.如权利要求1或2所述的立体摄像装置控制系统，其特征在于，所述误差计算部件包括：

特征点选取部件，用于从各摄像部件拍摄的影像中选取各特征点；以及

特征点匹配部件，用于相互匹配上述各个特征点。

7.如权利要求1或2所述的立体摄像装置控制系统，其特征在于，所述立体摄像装置控制系统还包括一辐辏角测量部件，用于测量两个摄像部件的辐辏角。

8.如权利要求7所述的立体摄像装置控制系统，其特征在于，所述控制部件使用辐辏角测量部件测得的辐辏角，通过实施图像映射变换，消除梯形失真。

Images