CN102289145A - 基于3d全景视觉的智能三维立体摄像设备 - Google Patents

Abstract

一种基于3D全景视觉的智能三维立体摄像设备，包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理的计算机；可同时获取实时的3D全景和3D视频图像，拍摄过程极其简单和方便，只要点击全景图像上想要拍摄的对象设备就自动完成调焦、水平转动、垂直转动和3D深度的调整等动作，可广泛的应用于重大体育赛事、文艺演出、动画电影等现场立体拍摄许多应用领域。

Description

基于3D全景视觉的智能三维立体摄像设备

技术领域

本发明涉及一种智能立体摄像设备，尤其是全方位视觉传感器、高速球摄像机、计算机视觉、机电一体化设计等技术在智能三维立体摄像设备方面的应用。

背景技术

3D电视的普及越来越快，目前很多家庭购买了3D电视，但实际可看的3D片源很少，在这种情况下，消费者要更好的利用自己的3D电视，3D摄像机肯定是一种很好的补充。

用两台摄像机模拟左右两眼，一般的话两个摄像机之间的距离，即基线距跟人的两眼之间的距离差不多。只要用两台摄像机仿真左右两眼视线，分别拍摄两条影片，然后将这两条影片同时放映到银幕上；放映时再采用必要的技术手段，使观众左眼只能看到左眼图像，右眼也只能看到右眼图像。当两幅图像经过电影观众的大脑迭合后，他们就对银幕画面产生了立体纵深感。立体拍摄看似很简单的模拟，在实际操作中却十分困难。在拍摄中，两台机器的一致度要求非常高，否则很难拍出很好的效果。

当今最新的3D摄像机搭载了一个手动操控拨盘，拨盘上除了2D机型所具备的调节对焦、曝光、光圈、快门、自动曝光转换和白平衡切换之外，此次还增加了3D深度调整功能，可以根据不同的场景来调整3D的立体景深效果。

两个镜头的光轴从广角到长焦端始终对齐是一件困难的事，如果不能保证，那么3D效果将会变差，一般在3D摄像机出厂前会经过精确到微米级的调校，以便确保双镜头光轴始终对齐；但是在使用过程中，为避免发生偏差，用户需要通过手工方式实现3D自动调整，使左右眼画面始终在合理的位置上。

在实时转播三维立体体育赛事和音乐会等大型活动时，对3D摄像师的要求非常高，往往又要增加一个3D深度调整的推手(3D Puller)的新工作岗位，该岗位负责对3D处理层设备的参数进行设定，掌控摄像机的3D景深和3D效果的好坏。有点类似于2D的调光I位。2D中的技术协调也有3D技术协调对应负责3D景深的设定和3D效果的指导。3D推手需要紧盯屏幕随时快速调整。

一般来说，即使多增加一个3D深度调整的助手也很难保证两台机器的一致度；现有的3D拍摄技术要保证焦距、拍摄方向、拍摄角度和3D深度等的一致性是一项极其困难的事情，尤其是在动态拍摄的情况下，即费时又费力同时难以保证3D拍摄质量。另一方面，在有些情况下，比如足球赛事的3D实况转播时往往希望即有球场内的3D全景视频图像又有特写的3D视频图像。

发明内容

为了克服已有3D摄像机存在的焦距、拍摄方向、拍摄角度和3D深度等的一致性调整困难、无法同时拍摄3D全景视频图像和特写的3D视频图像的不足，本发明提供一种实现3D全景视频图像的拍摄同时进行3D特写视频图像的拍摄、实现在显示器上全景点控的自动3D特写视频图像拍摄的基于3D全景视觉的智能三维立体摄像设备。

本发明解决其技术问题所采用的技术方案是：

一种基于3D全景视觉的智能三维立体摄像设备，包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、并在显示器上显示的3D全景图像上用鼠标点击想要拍摄对象位置信息来自动控制3D摄像装置的对焦、调整拍摄方向、角度和3D深度动作、并将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机；所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起，所述支撑杆的上部固定着所述的3D全景摄像装置，支撑杆的中部固定着所述的3D摄像装置，所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合，所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置与所述的计算机连接；

所述的计算机包括：

全景图像读取与预处理单元，用于读取4台全方位摄像装置的全景图像并对全景图像做简单图像预处理，分别启动4个线程，每个线程读取一个全方位摄像装置的全景图像，然后用4种不同的模版对相应的全方位摄像装置进行图像预处理，其输出与透视展开单元连接；

透视展开单元，用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开，首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理，分割成8个扇形图像部分，即ODVS1L、ODVS2L、ODVS3L、ODVS4L、ODVS2R、ODVS3R、ODVS4R和ODVS1R；然后分别对8个扇形图像部分进行透视展开得到4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像和4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像；其输出与全景立体图像加工单元连接；

全景立体图像加工单元，用于输出全景立体图像给立体显示设备，将在所述的透视展开单元中以Viewer1、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备，其中4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端，4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端；

3D摄像装置参数调整单元，用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，接着根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作；

3D图像读取单元，用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像和3D全景图像合成单元的输入相连接；

3D图像和3D全景图像合成单元，用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理，左通道的视频图像与左通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频图像与右通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的右侧视频图像输入端。

进一步，所述的3D摄像装置，用于获取拍摄现场的某一局部的3D视频图像；由一组由2台相同摄像参数的高清摄像机所构成，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的，所述的3D摄像装置的3D深度的调整是由转动电机来实现的，具体实现方式是将所述的两台高清摄像机分别固定在由两个啮合的齿轮片，其中一个齿轮片的另一端加工成涡轮形状，转动电机直接驱动涡杆，涡杆带动其中一个齿轮片上的涡轮转动，从而带动两个齿轮片啮合转动，最终带动了两个齿轮片上的高清摄像机的相对转动来实现3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止操作。

再进一步，所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；

将全景图像划分为若干个小的区域，每个区域对应一个网格，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，设置了672个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D景深参数预先调整好并设置到相应编号的预置点，形成一张预置点与设备的各种参数对应表，如表1所示；

表1

预置点与设备的各种参数对应表存放在所述的计算机存储单元内，当3D摄像师用鼠标点击在全景图上的某一个网格时，由于该网格带有预置点编号的信息，所述的计算机获得了预置点编号的信息后就去检索预置点与设备的各种参数对应表从而获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，然后所述的计算机根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作，实现全景点控的3D摄像自动调整动作；表1中的水平角度和垂直角度都是以所述的3D全景摄像装置的坐标系作为基准的。

更进一步，在所述全景立体图像输出单元中，采用柱状模型建模的方式对全景立体视觉进行建模，将构成全景立体视觉的四个全方位摄像装置均匀配置在柱状模型的中部，在所述的全景立体视觉柱状模型中有八个点，其中P1、P2、P3和P4这四个点是双目立体视觉的转折点，P1～O～P2范围是ODVS1和ODVS2的双目立体视觉范围，属于Viewer1的双目立体视觉范围，在该立体视觉范围中ODVS1承担右眼的角色，ODVS2承担左眼的角色；其中M_1-2、M_2-3、M_3-4和M_4-1这四个点分别为双目立体视觉水平视场中间点，M_1-2是ODVS1和ODVS2的双目立体视觉的中间点，M_2-3是ODVS2和ODVS3的双目立体视觉的中间点，M_3-4是ODVS3和ODVS4的双目立体视觉的中间点，M_4-1是ODVS4和ODVS1的双目立体视觉的中间点；对于Viewer1的双目立体视觉范围ODVS1的水平方向上的成像是45°～180°-φ₂，以逆时针方向为正方向，ODVS2的水平方向上的成像是φ₂～135°，将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话，通过公式(9)计算出角度φ₂，

${\mathrm{\φ}}_2=\arctan \left(\frac{1}{\sqrt{2{(D/B)}^2}+1-(2-\sqrt{2}/2)}\right)+1---\left(9\right)$

式中，D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离，B为两个相邻ODVS中心点之间的距离，即基线距，φ₂为两个相邻ODVS的中心点之间的连线与某一个ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角；

同样原理，P2～O～P3范围是ODVS2和ODVS3的双目立体视觉范围，P3～O～P4范围是ODVS3和ODVS4的双目立体视觉范围，P4～O～P1范围是ODVS4和ODVS1的双目立体视觉范围，因此用表2来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS在全景立体视觉的角色；

表2。

在所述的透视展开单元中，其透视展开算法实现如下：首先，建立全景图像上的任意一点p(x，y)与空间坐标系中一点P(X，Y，Z)的对应关系，空间中的一点P(X，Y，Z)，经过双曲镜面反射后，在全方位视觉传感器成像平面上形成对应的像点p(x，y)，根据光学原理，得出像点p(x，y)与空间物点P(X，Y，Z)的一一对应关系：

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2-c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(10\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2-c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}$

式中，b，c是双曲面镜的长轴和焦距，f为摄像机的焦距；

其次，建立空间坐标系中的物点P(X，Y，Z)与透视平面上的点p(i，j)的对应关系；根据空间几何关系，得到公式(11)；

X＝R*cos β-i*sin β

Y＝R*sinβ+i*cosβ                   (11)

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中，D为透视投影平面到双曲面焦点O的距离，角度β是入射光线在XY平面上的投影与X轴正方向的夹角，角度γ为入射光线与XY平面的夹角；

参数D的大小是根据实际情况来确定，采用柱状模型建模的方式，那么参数D就是等价于ODVS的中心点到柱状模型的双目立体视觉的中间点的距离；

将公式(11)代入公式(10)就能得到全景像素点与透视平面上像素点之间的一一对应关系；通过遍历透视图上的所有坐标点，求取其对应再全景图像上像点的坐标并将全景下像素点的颜色信息赋值给透视图像素点，即可得到以全景图像上某一点为中心展开的局部透视图像；

透视投影平面的宽度W由公式(12)来确定，

$W=(\sqrt{(D^2-B^2/4)}+B/\sqrt{2})\×\mathrm{\π}/2---\left(12\right)$

式中，D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离，B为两个相邻ODVS中心点之间的距离；

透视投影平面的高度H由公式(13)确定，

H＝D×(tan(α1_max)+tan(α2_min))        (13)

式中，D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离，α1_max为ODVS的最大仰角，α2_min为ODVS的最小俯角。

在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1        当Z＞0时             (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

φ＝tan^-1(Y/X)                                           (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ                 (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

双曲面镜设计的核心是垂直视场范围的设计，即双目立体视觉的范围来最后确定；

从公式(1)可知双曲线的形状可以由参数a、b来确定，这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达，其相互关系通过公式(6)进行计算；

$a=\frac{c}{2}\sqrt{\frac{k-2}{k}}---\left(6\right)$

$b=\frac{c}{2}\sqrt{\frac{2}{k}}$

k＝a/b

对于全方位摄像装置的设计，镜面的大小和垂直视场范围是必须考虑的设计参数，同时镜面的直径必须小于70cm，即小于人的双眼距离，公式(7)表示了垂直视角α的计算方法，

$\mathrm{\α}=\arctan \left(\frac{h}{R_i}\right)+\frac{\mathrm{\π}}{2}---\left(7\right)$

这里，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离；

双曲面镜面的离心率k设计必须满足以下3个约束条件，如公式(8)所示；

k＞b/R_i

k＜(h+2c)/R_i(8)

k＞[(h+2c)/4cb]-[b/(h+2c)]

式中，k为双曲面镜面的离心率，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离，b为双曲面镜的虚轴的长度，c为双曲面镜的焦点到坐标原点的距离，即焦点距离。

本发明的有益效果主要表现在：1、同时获取实时的3D全景和3D视频图像，在立体放映设备上即能看见全局的3D全景视频图像又能看见局部特写的3D视频图像；2、拍摄过程极其简单和方便，3D摄影师只要点击全景图像上想要拍摄的对象设备就自动完成调焦、水平转动、垂直转动和3D深度的调整等动作，具有自动化和智能化的功能；3、智能化程度高，不需要特有的专业人员也能拍摄出质量高的3D全景和3D视频图像。可广泛的应用于重大体育赛事、文艺演出、动画电影、游戏等许多应用领域。

附图说明

图1为单视点的全景视觉成像的结构图；

图2为单视点的全景视觉成像的原理图；

图3为全景图像网格化处理以及全景点控的技术解决方案的人机界面图；

图4为全景立体摄像装置平视剖面图；

图5为3D摄像装置平视图；

图6为基于3D全景视觉的智能三维立体摄像设备的结构图；

图7为一种全景立体柱状模型的立体成像说明示意图；

图8为ODVS1所拍摄的全景图像和对ODVS1所拍摄的全景图像进行预处理的图像模版；

图9为ODVS2所拍摄的全景图像和对ODVS2所拍摄的全景图像进行预处理的图像模版；

图10为ODVS3所拍摄的全景图像和对ODVS3所拍摄的全景图像进行预处理的图像模版；

图11为ODVS4所拍摄的全景图像和对ODVS4所拍摄的全景图像进行预处理的图像模版；

图12为Viewer1视角观察到的立体图像；

图13为Viewer2视角观察到的立体图像；

图14为Viewer3视角观察到的立体图像；

图15为Viewer4视角观察到的立体图像；

图16为由左通道的视频图像与左通道的全景视频图像合成的图像示意图；

图17为由右通道的视频图像与右通道的全景视频图像合成的图像示意图；

图18为单视点的全景视觉成像的透视展开说明图；

图19为一种全景立体柱状模型从Viewer1视角所见的、由左右两幅透视展开图构成的立体图像。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图19，一种基于3D全景视觉的智能三维立体摄像设备，包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、根据在显示器上显示的3D全景图像上用鼠标点击想要拍摄对象位置信息来自动控制3D摄像装置的对焦、调整拍摄方向、角度和3D深度等动作的、将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机；所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起，如附图6所示，支撑杆的上部固定着所述的3D全景摄像装置，支撑杆的中部固定着所述的3D摄像装置，所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合，所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置中的解码器通过RS232/RS485转换器与所述的计算机连接；

所述的3D全景视频图像用于表达宏观的、全局的立体图像信息；所述的3D视频图像用于表达微观的、局部的、特写的立体图像信息；3D全景视频图像信息中包含着3D视频图像信息，即3D视频图像信息是3D全景视频图像信息中的一部分；所述的3D全景视频图像是由所述的3D全景摄像装置来获取的，在拍摄过程中所述的3D全景摄像装置不产生任何相对运动；所述的3D视频图像是由所述的3D摄像装置来获取的，在拍摄过程中所述的3D摄像装置要根据特写对象所处的方向、位置和远近来调整摄像头的焦距、3D摄像装置的拍摄方向、拍摄角度和3D景深等参数，摄像师根据在所显示的全景视频图像上选择想要拍摄的特写对象，通过用鼠标点击在全景视频图像上的特写对象来产生一个调整所述的3D摄像装置中各种控制参数的事件，所述的计算机系统软件自动响应该触发事件，使得所述的3D摄像装置对准特写对象来获得高质量的3D视频图像；

所述的3D摄像装置，用于获取拍摄现场的某一局部的3D视频图像；主要由一组由2台相同摄像参数的高清摄像机所构成，如附图5所示，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机32来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机33来实现的，所述的3D摄像装置的3D深度的调整是由转动电机31来实现的，具体实现方式是将所述的高清摄像机34、35分别固定在由两个啮合的齿轮片36、37，齿轮片37的另一端加工成涡轮形状，转动电机31直接驱动涡杆38，涡杆38带动齿轮片37上的涡轮转动，从而带动齿轮片37和齿轮片36啮合转动，最终带动了齿轮片36、37上的高清摄像机34、35的相对转动来实现3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，解码器的作用是：通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止等操作；

所述的3D全景摄像装置是通过4台具有相同成像参数的固定单视点ODVS组合而成，用于获得拍摄现场的全景立体图像；具体做法是采用一个平面将四台具有相同成像参数的ODVS连接起来，通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上；连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上，将4台具有相同内外参数的摄像头固定在一个平面上；固定后的全景立体摄像装置平视剖面图如附图4所示，俯视图如附图7所示，相邻两个双曲面镜面轴线的距离为70cm，如图7中的B所示，表示为基线距，该基线距的距离与人类两眼之间的距离基本相同；

所述的计算机，用于对4台ODVS的图像进行立体成像处理，用于对所述的3D摄像装置进行参数调整和设定，用于获取所述的3D摄像装置所拍摄的3D视频图像；主要包括硬件和软件，所述的计算机的硬件采用市售的较高档的PC机，其中包括用于连接4台ODVS的视频卡，用于连接所述的3D摄像装置中的解码器的RS232/RS485转换器，用于连接所述的3D摄像装置中的两个摄像机的高清视频采集单元；所述的计算机的软件包括全景图像读取与预处理单元、透视展开单元、全景立体图像加工单元、3D摄像装置参数调整单元、3D图像读取单元，3D图像和3D全景图像合成单元；

所述的全景图像读取与预处理单元用于读取4台ODVS的全景图像，分别启动4个线程，每个线程读取一个ODVS的全景图像，然后用模版对每个ODVS进行图像预处理，根据ODVS的位置采用的模版是不同的，对于ODVS1采用图8中右边图的模版，对于ODVS2采用图9中右边图的模版，对于ODVS3采用图10中右边图的模版，对于ODVS4采用图11中右边图的模版，图像预处理的算法是将ODVS的全景图像，图8、图9、图10和图11中左边的全景图像与右边的模版进行相乘，相乘的结果是在ODVS的全景图像上仅仅存留了相乘模版的白色部分，即用于实现全景立体图像输出的图像部分；

进一步，对全景立体视觉进行建模，本发明中采用柱状模型建模的方式，将构成全景立体视觉的四个ODVS均匀配置在柱状模型的中部，如附图7所示；这时图7中的最大的一个外圆就是全景立体视觉柱状模型，在所述的全景立体视觉柱状模型中有八个点，其中P1、P2、P3和P4这四个点是双目立体视觉的转折点，P1～O～P2范围是ODVS1和ODVS2的双目立体视觉范围，属于Viewer1的双目立体视觉范围，在该立体视觉范围中ODVS1承担右眼的角色，ODVS2承担左眼的角色；其中M1-2、M2-3、M3-4和M4-1这四个点分别为双目立体视觉水平视场中间点，M1-2是ODVS1和ODVS2的双目立体视觉的中间点，M2-3是ODVS2和ODVS3的双目立体视觉的中间点，M3-4是ODVS3和ODVS4的双目立体视觉的中间点，M4-1是ODVS4和ODVS1的双目立体视觉的中间点；对于Viewer1的双目立体视觉范围ODVS1的水平方向上的成像是45°～180°-φ₂，本发明中以逆时针方向为正方向，ODVS2的水平方向上的成像是φ₂～135°，将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话，可以通过公式(9)计算出角度φ₂，

${\mathrm{\φ}}_2=\mathrm{arcc}\tan \left(\frac{1}{\sqrt{2{(D/B)}^2}+1-(2-\sqrt{2}/2)}\right)+1---\left(9\right)$

式中，D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离，B为两个相邻ODVS中心点之间的距离，即基线距，φ₂为两个相邻ODVS的中心点之间的连线与某一个ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角；

同样原理，P2～O～P3范围是ODVS2和ODVS3的双目立体视觉范围，P3～O～P4范围是ODVS3和ODVS4的双目立体视觉范围，P4～O～P1范围是ODVS4和ODVS1的双目立体视觉范围，因此本发明用表2来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS在全景立体视觉的角色；

表2全景立体视觉中的四个ODVS的角色和作用范围

表2中的ODVS作用范围就是上述相乘模版的白色部分，如图8～图11的右图所示；

所述的透视展开单元，用于对ODVS的作用范围图像进行展开，本发明中将全景立体图像从Viewer1、Viewer2、Viewer3和Viewer4等四个视角进行展开，其中Viewer1视角观察到的立体图像是由ODVS1和ODVS2的共同作用范围的图像通过透视展开后的图像，ODVS1的作用范围45°～(180°-φ₂)的图像通过透视展开后的图像如图12的左上图所示，起到了Viewer1视角的右眼观察角色，ODVS2的作用范围φ₂～135°的图像通过透视展开后的图像如图12的右上图所示，起到了Viewer1视角的左眼观察角色；同样原理，对于Viewer2、Viewer3和Viewer4观测视角可以分别得到三幅立体图像，如图13、图14和图15所示；

为了减少全景立体图像展开过程中的图像畸变，本发明中采用了一种透视展开方式，如附图18所示，关于透视展开算法实现如下：

首先，建立全景图像上的任意一点p(x，y)与空间坐标系中一点P(X，Y，Z)的对应关系。如图18所示，空间中的一点P(X，Y，Z)，经过双曲镜面反射后，在全方位视觉传感器成像平面上形成对应的像点p(x，y)，根据光学原理，可以得出像点p(x，y)与空间物点P(X，Y，Z)的一一对应关系：

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2-c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}$

                                                   (10)

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2-c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}$

式中，b，c是双曲面镜的长轴和焦距，f为摄像机的焦距；

其次，建立空间坐标系中的物点P(X，Y，Z)与透视平面上的点p(i，j)的对应关系；根据空间几何关系，得到公式(11)；

X＝R*cosβ-i*sinβ

                                                   (11)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中，D为透视投影平面到双曲面焦点O的距离，角度β是入射光线在XY平面上的投影与X轴正方向的夹角，角度γ为入射光线与XY平面的夹角；

参数D的大小是根据实际情况来确定，本发明中采用柱状模型建模的方式，那么参数D就是等价于ODVS的中心点到柱状模型的双目立体视觉的中间点的距离；

进一步，将公式(11)代入公式(10)就能得到全景像素点与透视平面上像素点之间的一一对应关系；通过遍历透视图上的所有坐标点，求取其对应再全景图像上像点的坐标并将全景下像素点的颜色信息赋值给透视图像素点，即可得到以全景图像上某一点为中心展开的局部透视图像；

关于如附图18所示的透视投影平面的宽度W由公式(12)来确定，

$W=(\sqrt{(D^2-B^2/4)}+B/\sqrt{2})\×\mathrm{\π}/2---\left(12\right)$

式中，D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离，B为两个相邻ODVS中心点之间的距离；

关于如附图18所示的透视投影平面的高度H由公式(13)确定，

H＝D×(tan(α1_max)+tan(α2_min))             (13)

式中，D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离，α1_max为ODVS的最大仰角，α2_min为ODVS的最小俯角；

以双目立体视觉水平视场中间点为两个相关ODVS成像的透视平面，如附图19所示，图中虚线的矩形为ODVS1以双目立体视觉水平视场中间点M1-2的透视平面，从Viewer1的视场角度来说，相当于右眼看见的透视平面；图中实线的矩形为ODVS2以双目立体视觉水平视场中间点M1-2的透视平面，从Viewer1的角度来说，相当于左眼看见的透视平面；同样原理，从Viewer2、Viewer3和Viewer4的视场角度来说，都能分别获得左右眼的透视平面，共计4个不同视角的立体透视图像；

所述的全景立体图像加工单元，是将在所述的透视展开单元中以Viewer1、Viewer2、Viewer3和Viewer4等四个视角进行展开的左右图像分两个通道输出给3D图像和3D全景图像合成单元，其中4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端，4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元输入端；

所述的3D摄像装置参数调整单元用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，具体实现过程是：当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深等参数值，接着根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整等电机的动作；

所述的3D图像读取单元用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像和3D全景图像合成单元的输入相连接；

所述的3D图像和3D全景图像合成单元用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理，左通道的视频图像与左通道的全景视频图像合成在一起，如附图16所示，合成一个视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频图像与右通道的全景视频图像合成在一起，如附图17所示，合成一个视频流图像传输给立体显示设备的右侧视频图像输入端；

所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，本发明中利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；

为了自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，本发明中采用全景点控的技术解决方案，具体做法是将全景图像划分为若干个小的区域，如附图3上面的网格，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，我们将这些网格定义为预置点，对于附图3中共有672个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D景深等参数预先调整好并设置到相应编号的预置点，这样可以形成一张预置点与设备的各种参数对应表，如表1所示；

预置点编号	焦距(cm)	水平角度(°)	垂直角度(°)	3D景深(cm)
					1	8	275	5	300
2	8	280	5	352
					...	...	...	...	...

预置点与设备的各种参数对应表存放在所述的计算机存储单元内，当3D摄像师用鼠标点击在全景图上的某一个网格时，由于该网格带有预置点编号的信息，所述的计算机获得了预置点编号的信息后就去检索预置点与设备的各种参数对应表从而获得摄像机的焦距、拍摄方向、拍摄角度和3D景深等参数值，然后所述的计算机根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整等电机的动作，实现全景点控的3D摄像自动调整动作；表1中的水平角度和垂直角度都是以所述的3D全景摄像装置的坐标系作为基准的；

所述的固定单视点ODVS，其工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图2中的2-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om(0，0，c)，14-双曲面镜的虚焦点即摄像单元6的中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P(x，y)。

图2中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1       当Z＞0时   (1)

(2)

$c=\sqrt{a^2+b^2}$ (3)

φ＝tan^-1(Y/X)

(4)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(5)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

双曲面镜设计的核心是垂直视场范围的设计，即双目立体视觉的范围来最后确定。

从公式(1)可知双曲线的形状可以由参数a、b来确定，这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达，其相互关系通过公式(6)进行计算；

$a=\frac{c}{2}\sqrt{\frac{k-2}{k}}---\left(6\right)$

$b=\frac{c}{2}\sqrt{\frac{2}{k}}$

k＝a/b

对于ODVS的设计，镜面的大小和垂直视场范围是必须考虑的设计参数，同时镜面的直径必须小于70cm，即小于人的双眼距离，公式(7)表示了垂直视角α的计算方法，

$\mathrm{\α}=\arctan \left(\frac{h}{R_i}\right)+\frac{\mathrm{\π}}{2}---\left(7\right)$

这里，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离；

双曲面镜面的离心率k设计必须满足以下3个约束条件，如公式(8)所示；

k＞b/R_i

(8)。

k＜(h+2c)/R_i

k＞[(h+2c)/4cb]-[b/(h+2c)]。

Claims (6)

1.一种基于3D全景视觉的智能三维立体摄像设备，其特征在于：所述基于3D全景视觉的智能三维立体摄像设备包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、并在显示器上显示的3D全景图像上用鼠标点击想要拍摄对象位置信息来自动控制3D摄像装置的对焦、调整拍摄方向、角度和3D深度动作、并将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机；所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起，所述支撑杆的上部固定着所述的3D全景摄像装置，支撑杆的中部固定着所述的3D摄像装置，所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合，所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置与所述的计算机连接；

所述的计算机包括：

全景图像读取与预处理单元，用于读取4台全方位摄像装置的全景图像并对全景图像做简单图像预处理，分别启动4个线程，每个线程读取一个全方位摄像装置的全景图像，然后用4种不同的模版对相应的全方位摄像装置进行图像预处理，其输出与透视展开单元连接；

透视展开单元，用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开，首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理，分割成8个扇形图像部分，即ODVS1L、ODVS2L、ODVS3L、ODVS4L、ODVS2R、ODVS3R、ODVS4R和ODVS 1R；然后分别对8个扇形图像部分进行透视展开得到4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像和4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像；其输出与全景立体图像加工单元连接；

全景立体图像加工单元，用于输出全景立体图像给立体显示设备，将在所述的透视展开单元中以Viewer1、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备，其中4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端，4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端；

3D摄像装置参数调整单元，用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，接着根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作；

3D图像读取单元，用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像和3D全景图像合成单元的输入相连接；

3D图像和3D全景图像合成单元，用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理，左通道的视频图像与左通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频图像与右通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的右侧视频图像输入端。

2.如权利要求1所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于：所述的3D摄像装置，用于获取拍摄现场的某一局部的3D视频图像；由一组由2台相同摄像参数的高清摄像机所构成，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的，所述的3D摄像装置的3D深度的调整是由转动电机来实现的，具体实现方式是将所述的两台高清摄像机分别固定在由两个啮合的齿轮片，其中一个齿轮片的另一端加工成涡轮形状，转动电机直接驱动涡杆，涡杆带动其中一个齿轮片上的涡轮转动，从而带动两个齿轮片啮合转动，最终带动了两个齿轮片上的高清摄像机的相对转动来实现3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止操作。

3.如权利要求1或2所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于：所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；

将全景图像划分为若干个小的区域，每个区域对应一个网格，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，设置了672个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D景深参数预先调整好并设置到相应编号的预置点，形成一张预置点与设备的各种参数对应表，如表1所示；

表1

预置点与设备的各种参数对应表存放在所述的计算机存储单元内，当3D摄像师用鼠标点击在全景图上的某一个网格时，由于该网格带有预置点编号的信息，所述的计算机获得了预置点编号的信息后就去检索预置点与设备的各种参数对应表从而获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，然后所述的计算机根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作，实现全景点控的3D摄像自动调整动作；表1中的水平角度和垂直角度都是以所述的3D全景摄像装置的坐标系作为基准的。

4.如权利要求1或2所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于：在所述全景立体图像输出单元中，采用柱状模型建模的方式对全景立体视觉进行建模，将构成全景立体视觉的四个全方位摄像装置均匀配置在柱状模型的中部，在所述的全景立体视觉柱状模型中有八个点，其中P1、P2、P3和P4这四个点是双目立体视觉的转折点，P1～O～P2范围是ODVS1和ODVS2的双目立体视觉范围，属于Viewer1的双目立体视觉范围，在该立体视觉范围中ODVS1承担右眼的角色，ODVS2承担左眼的角色；其中M_1-2、M_2-3、M_3-4和M_4-1这四个点分别为双目立体视觉水平视场中间点，M_1-2是ODVS1和ODVS2的双目立体视觉的中间点，M_2-3是ODVS2和ODVS3的双目立体视觉的中间点，M_3-4是ODVS3和ODVS4的双目立体视觉的中间点，M_4-1是ODVS4和ODVS1的双目立体视觉的中间点；对于Viewer1的双目立体视觉范围ODVS1的水平方向上的成像是45°～180°-φ₂，以逆时针方向为正方向，ODVS2的水平方向上的成像是φ₂～135°，将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话，通过公式(9)计算出角度φ₂，

${\mathrm{\φ}}_2=\mathrm{arcc}\tan \left(\frac{1}{\sqrt{2{(D/B)}^2}+1-(2-\sqrt{2}/2)}\right)+1---\left(9\right)$

式中，D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离，B为两个相邻ODVS中心点之间的距离，即基线距，φ₂为两个相邻ODVS的中心点之间的连线与某一个ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角；

同样原理，P2～O～P3范围是ODVS2和ODVS3的双目立体视觉范围，P3～O～P4范围是ODVS3和ODVS4的双目立体视觉范围，P4～O～P1范围是ODVS4和ODVS1的双目立体视觉范围，因此用表2来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS在全景立体视觉的角色；

表2。

5.如权利要求3所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于：在所述的透视展开单元中，其透视展开算法实现如下：

首先，建立全景图像上的任意一点p(x，y)与空间坐标系中一点P(X，Y，Z)的对应关系，空间中的一点P(X，Y，Z)，经过双曲镜面反射后，在全方位视觉传感器成像平面上形成对应的像点p(x，y)，根据光学原理，得出像点p(x，y)与空间物点P(X，Y，Z)的一一对应关系：

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2-c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(10\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2-c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}$

式中，b，c是双曲面镜的长轴和焦距，f为摄像机的焦距；

其次，建立空间坐标系中的物点P(X，Y，Z)与透视平面上的点p(i，j)的对应关系；根据空间几何关系，得到公式(11)；

X＝R*cos β-i*sin β

Y＝R*sinβ+i*cosβ(11)

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中，D为透视投影平面到双曲面焦点O的距离，角度β是入射光线在XY平面上的投影与X轴正方向的夹角，角度γ为入射光线与XY平面的夹角；

参数D的大小是根据实际情况来确定，采用柱状模型建模的方式，那么参数D就是等价于ODVS的中心点到柱状模型的双目立体视觉的中间点的距离；

将公式(11)代入公式(10)就能得到全景像素点与透视平面上像素点之间的一一对应关系；通过遍历透视图上的所有坐标点，求取其对应再全景图像上像点的坐标并将全景下像素点的颜色信息赋值给透视图像素点，即可得到以全景图像上某一点为中心展开的局部透视图像；

透视投影平面的宽度W由公式(12)来确定，

$W=(\sqrt{(D^2-B^2/4)}+B/\sqrt{2})\×\mathrm{\π}/2---\left(12\right)$

式中，D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离，B为两个相邻ODVS中心点之间的距离；

透视投影平面的高度H由公式(13)确定，

H＝D ×(tan(α1_max)+tan(α2_min))(13)

式中，D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离，α1_max为ODVS的最大仰角，α2_min为ODVS的最小俯角。

6.如权利要求1或2所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于：在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1当Z＞0时(1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

φ＝tan^-1(Y/X)(3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(5\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，Φ表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，这里将α大于或等于0时称为俯角，将α小于0时称为仰角，f表示成像平面到双曲面镜的虚焦点的距离，γ表示折入射光线与Z轴的夹角；

双曲面镜设计的核心是垂直视场范围的设计，即双目立体视觉的范围来最后确定；

从公式(1)可知双曲线的形状可以由参数a、b来确定，这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达，其相互关系通过公式(6)进行计算；

$a=\frac{c}{2}\sqrt{\frac{k-2}{k}}---\left(6\right)$

$b=\frac{c}{2}\sqrt{\frac{2}{k}}$

k＝a/b

对于全方位摄像装置的设计，镜面的大小和垂直视场范围是必须考虑的设计参数，同时镜面的直径必须小于70cm，即小于人的双眼距离，公式(7)表示了垂直视角α的计算方法，

$\mathrm{\α}=\arctan \left(\frac{h}{R_i}\right)+\frac{\mathrm{\π}}{2}---\left(7\right)$

这里，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离；

双曲面镜面的离心率k设计必须满足以下3个约束条件，如公式(8)所示；

k＞b/R_i

k＜(h+2c)/R_i(8)

k＞[(h+2c)/4cb]-[b/(h+2c)]

式中，k为双曲面镜面的离心率，Ri表示折反射镜面边缘的半径，h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离，b为双曲面镜的虚轴的长度，c为双曲面镜的焦点到坐标原点的距离，即焦点距离。

Images