CN102665087B - 3d立体摄像设备的拍摄参数自动调整系统 - Google Patents

3d立体摄像设备的拍摄参数自动调整系统 Download PDF

Info

Publication number
CN102665087B
CN102665087B CN201210121855.0A CN201210121855A CN102665087B CN 102665087 B CN102665087 B CN 102665087B CN 201210121855 A CN201210121855 A CN 201210121855A CN 102665087 B CN102665087 B CN 102665087B
Authority
CN
China
Prior art keywords
distance
shooting
camera
image
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210121855.0A
Other languages
English (en)
Other versions
CN102665087A (zh
Inventor
汤一平
叶良波
田旭园
刘康
吴立娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201210121855.0A priority Critical patent/CN102665087B/zh
Publication of CN102665087A publication Critical patent/CN102665087A/zh
Application granted granted Critical
Publication of CN102665087B publication Critical patent/CN102665087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种3D立体摄像设备的拍摄参数自动调整系统,其硬件包括3D全景立体摄像装置、3D立体摄像设备和计算机,是通过四台具有相同成像参数的全方位摄像装置集成构建而成的,3D全景立体摄像装置为3D立体摄像设备提供各种拍摄参数的信息,如拍摄角αR、方位角φR、水平开角θ、焦距f1和光圈值F,根据这些参数值通过PELCO-D控制协议自动控制3D立体摄像装置中的水平转动、垂直转动、调焦、水平开角和3D深度的调整等电机的动作,使得在立体放映设备上即能播放全局的3D全景视频图像又能浏览局部特写的3D视频图像,不需要特有的立体摄像专业人员也能拍摄出质量高的3D全景和3D视频图像。可广泛的应用于重大体育赛事、文艺演出、动画电影、游戏等许多应用领域。

Description

3D立体摄像设备的拍摄参数自动调整系统
技术领域
本发明涉及一种智能立体摄像设备,尤其是全方位视觉传感器、摄像机、计算机视觉、机电一体化设计等技术在3D立体摄像设备方面的应用。
背景技术
3D电视的普及越来越快,目前很多家庭购买了3D电视,但实际可看的3D片源很少,在这种情况下,消费者要更好的利用自己的3D电视,3D摄像机肯定是一种很好的补充。
用两台摄像机模拟左右两眼,一般的话两个摄像机之间的距离,即基线距跟人的两眼之间的距离差不多。只要用两台摄像机仿真左右两眼视线,分别拍摄两条影片,然后将这两条影片同时放映到银幕上;放映时再采用必要的技术手段,使观众左眼只能看到左眼图像,右眼也只能看到右眼图像。当两幅图像经过电影观众的大脑迭合后,他们就对银幕画面产生了立体纵深感。立体拍摄看似很简单的模拟,在实际操作中却十分困难。在拍摄中,两台机器的一致度要求非常高,否则很难拍出很好的效果。
当今最新的3D摄像机搭载了一个手动操控拨盘,拨盘上除了2D机型所具备的调节对焦、曝光、光圈、快门、自动曝光转换和白平衡切换之外,此次还增加了3D深度调整功能,可以根据不同的场景来调整3D的立体景深效果。
两个镜头的光轴从广角到长焦端始终对齐是一件困难的事,如果不能保证,那么3D效果将会变差,一般在3D摄像机出厂前会经过精确到微米级的调校,以便确保双镜头光轴始终对齐;但是在使用过程中,为避免发生偏差,用户需要通过手工方式实现3D自动调整,使左右眼画面始终在合理的位置上。
在实时转播三维立体体育赛事和音乐会等大型活动时,对3D摄像师的要求非常高,往往又要增加一个3D深度调整的推手(3D Puller)的新工作岗位,该岗位负责对3D处理层设备的参数进行设定,掌控摄像机的3D景深和3D效果的好坏。有点类似于2D的调光I位。2D中的技术协调也有3D技术协调对应负责3D景深的设定和3D效果的指导。3D推手需要紧盯屏幕随时快速调整。
一般来说,即使多增加一个3D深度调整的助手也很难保证两台机器的一致度;现有的3D拍摄技术要保证焦距、拍摄方向、拍摄角度和3D深度等的一致性是一项极其困难的事情,尤其是在动态拍摄的情况下,即费时又费力同时难以保证3D拍摄质量。另一方面,在有些情况下,比如足球赛事的3D实况转播时往往希望即有球场内的3D全景视频图像又有特写的3D视频图像。
发明内容
为了克服已有3D摄像机存在的焦距、拍摄方向、拍摄角度和3D深度等的一致性调整困难、无法同时拍摄3D全景视频图像和特写的3D视频图像的不足,本发明提供一种实现3D全景视频图像的拍摄同时进行3D特写视频图像的拍摄、实现在显示器上全景点控的自动3D特写视频图像拍摄的3D立体摄像设备的拍摄参数自动调整系统。
本发明解决其技术问题所采用的技术方案是:
一种3D立体摄像设备的拍摄参数自动调整系统,包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、根据在显示器上显示的3D全景图像上用人机接口方式选择想要拍摄对象的大小及位置信息来自动控制3D摄像装置的对焦、光圈、调整拍摄方向、角度和3D深度动作的、并将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机;所述的3D全景摄像装置为所述的3D摄像装置提供各种拍摄参数的信息;所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接,所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接;所述的3D摄像装置中的解码器通过RS232/RS485转换器与所述的计算机连接;
所述的计算机包括:
全景图像读取与预处理单元,用于读取4台全方位摄像装置的全景图像并对全景图像做简单图像预处理,分别启动4个线程,每个线程读取一个全方位摄像装置的全景图像,然后用4种不同的模版对相应的全方位摄像装置进行图像预处理,其输出与透视展开单元连接;
透视展开单元,用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开,首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理,分割成8个扇形图像部分,即ODVS1L、ODVS2L、ODVS3L、ODVS4L、ODVS2R、ODVS3R、ODVS4R和ODVS 1R;然后分别对8个扇形图像部分进行透视展开得到4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像和4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像;其输出与全景立体图像加工单元连接;
全景立体图像加工单元,用于输出全景立体图像给立体显示设备,将在所述的透视展开单元中以Viewer1、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备,其中4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端,4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端;
3D摄像装置参数调整单元,用于响应3D摄像师通过人机接口在全景图上选择想要特写拍摄的区域时所产生的事件,特写拍摄的区域以下用ROP表示,自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整;所述的3D摄像装置参数包括:ROP的拍摄角αR、ROP的方位角φR、左右两台高清摄像机的水平开角θ、左右两台高清摄像机的焦距f1和左右两台高清摄像机的光圈值F,上述这些参数通过所述的3D全景摄像装置的全景立体视频信息加工获得;
所述的3D摄像装置参数调整单元的处理过程为:步骤1:读取ROP的大小、位置等信息;步骤2:根据ROP的中心位置计算得到控制云台的拍摄角αR和方位角φR信息;步骤3:根据所述的3D全景摄像装置中所成像两个相关ODVS的几何关系来计算3D特写拍摄视场范围内的拍摄物的拍摄距离L;步骤4:根据拍摄距离L和ROP的大小确定左右摄像机的焦距f1;步骤5:根据拍摄距离L和左右摄像机的基线距B2确定左右摄像机的水平开角θ;步骤6:根据拍摄距离L确定调焦距离值及相应的光圈系数值F;步骤7:根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的水平转动、垂直转动、调焦、水平开角和3D深度的调整等电机的动作;
3D图像读取单元,用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像,其输出与所述的3D图像和3D全景图像合成单元的输入相连接;
3D图像和3D全景图像合成单元,用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理,左通道的视频图像与左通道的全景视频图像合成在一起,合成的一个视频流图像传输给立体显示设备的左侧视频图像输入端;右通道的视频图像与右通道的全景视频图像合成在一起,合成的一个视频流图像传输给立体显示设备的右侧视频图像输入端。
进一步,所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起,支撑杆的上部固定着所述的3D全景摄像装置,支撑杆的中部固定着所述的3D摄像装置,所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合;
所述的3D摄像装置由一组由2台相同摄像参数的高清摄像机所构成,所述的高清摄像机的焦距、光圈、拍摄方向、拍摄角度和3D深度调整动作是由所述的3D摄像装置中相应的驱动电机来实现的,其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的,镜头的光圈调整是由所述的高清摄像机中的内部所带电机来实现的,所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的,所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的,所述的3D摄像装置的3D深度的调整是由转动电机来实现的;将所述的高清摄像机分别固定在由两个啮合的齿轮片,齿轮片的另一端加工成涡轮形状,转动电机直接驱动涡杆,涡杆带动齿轮片上的涡轮转动,从而带动齿轮片啮合转动,最终带动了齿轮片的高清摄像机的相对转动来实现3D深度的调整;在所述的3D摄像装置中还包括有一个解码器,通过串口接收所述的计算机的控制码,并对该控制码进行解析,并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压,然后传递给所述的3D摄像装置以控制其镜头的调焦、光圈、水平转动、垂直转动、3D深度的调整及停止操作。
再进一步,所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器将两个通讯接口进行连接,并对所述的3D摄像装置写入串口命令来实现的,利用PELCO-D控制协议作为所述的3D摄像装置的控制协议。
在所述的3D摄像装置参数调整单元的处理步骤1中读取拍摄视场范围的信息,该信息包括ROP的大小以及位置信息;首先,计算ROP的中心点位置,得到ROP中心点位置的坐标值P(X,Y);然后根据摄像模式,如摄像模式16:9,其图像大小为3840*2160;如摄影模式4:3,其图像大小4000*3000;用摄像模式来确定ROP的归一化的长高比,如原来3D摄像师在全景图上选择特写拍摄的ROP长高比为15∶10,而选择的摄像模式为16:9,那么特写拍摄的ROP长度要以ROP中心点向左右两侧增加18.5%的长度。
在所述的3D摄像装置参数调整单元的处理步骤2中,根据所得到的ROP中心点位置的坐标值P(X,Y)来计算得到ROP中心点与所述的3D全景摄像装置中某两个成像ODVS视点的入射角和方位角,ROP中心点位置在三维空间上的坐标值P(X,Y,Z),对于ODVS1来说,其入射角αODVS1可以由公式(4)、公式(5)求得,
α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (4)
γ = tan - 1 [ f / ( x 2 + y 2 ) ] - - - ( 5 )
式中,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,γ表示折入射光线与Z轴的夹角;
其方位角φODVS1可以由公式(3)求得;
φ=tan-1(Y/X) (3)
式中,X、Y表示成像物点的空间坐标,φ表示方位角;对于ODVS2来说,其入射角αODVS2可以由公式(4)、公式(5)求得,其方位角φODVS2可以由公式(3)求得;由于拍摄距离要远大于两个ODVS视点之间的距离,这里不考虑入射角αODVS1和入射角αODVS2之间的微小差别,即用入射角αODVS1或者入射角αODVS2作为所述的3D立体摄像设备的拍摄角αR,即αR≈αODVS1≈αODVS2;所述的3D立体摄像设备的方位角φR通过几何关系求得,φR=90-φODVS1ODVS2,对于ODVS2和ODVS3、ODVS3和ODVS4、ODVS4和ODVS1的入射角和方位角计算方法跟上述相同。
在所述的3D摄像装置参数调整单元的处理步骤3中,根据计算得到的方位角φODVS1和φODVS2以及两个成像ODVS视点之间的距离B,来计算拍摄距离L,由于拍摄距离要远大于两个ODVS视点之间的距离,可以用某一个ODVS视点到拍摄物点之间的距离来近似拍摄距离L,计算公式如(10)所示,
L = B × sin φ ODVS 2 sin ( φ ODVS 2 - φ ODVS 1 ) - - - ( 10 )
式中,B为两个相邻ODVS视点之间的距离,即基线距,φODVS2为空间物点P在ODVS2上的入射角,φODVS1为空间物点P在ODVS1上的入射角,L为拍摄距离;用同样的方法,来估算ROP场景中的远点距离EOD和近点距离FD,对于ODVS2和ODVS3、ODVS3和ODVS4、ODVS4和ODVS1的入射角和方位角计算方法跟上述相同。
在所述的3D摄像装置参数调整单元的处理步骤4中,根据拍摄距离L和ROP的大小确定左右摄像机的焦距f1,对于构成所述的3D全景摄像装置的ODVS来说,其设计时都有给出一个最大入射角αmax和最小入射角αmin,最大入射角αmax对应的是ODVS的仰角,最小入射角αmin对应的是ODVS的俯角;最大入射角αmax和最小入射角αmin决定了全景展开图像的垂直视场范围,对于给定的拍摄距离L来说,ODVS拍摄场景高度H1可以用公式(11)计算,
H1=L ×(tanαmax+tanαmin) (11)
式中,L为拍摄距离,αmin为ODVS的最小入射角,αmax为ODVS的最大入射角,H1为拍摄距离在L时全景拍摄场景的实际高度值;
采用公式(12)计算3D拍摄ROP的实际高度值,即h1:
h 1 = ∑ h 1 pic ∑ H 1 pic H 1 - - - ( 12 )
式中,H1为拍摄距离在L时全景拍摄场景的实际高度值,∑h1pic为3D拍摄ROP在ODVS成像平面中在垂直方向上所占的像素点个数,∑H1pic为ODVS成像平面中在垂直方向上所占的像素点个数,h1为3D拍摄ROP的实际高度值;更进一步,用公式(13)计算确定左右摄像机的焦距f1,
f 1 = v × L h 1 - - - ( 13 )
式中,v为摄像机靶面垂直高度,由摄像机参数获得,如摄像机采用2/3″CCD成像芯片,其v值为6.6mm;L为拍摄距离,h1为3D拍摄ROP的实际高度值,f1为左右摄像机的焦距值。
在所述的3D摄像装置参数调整单元的处理步骤5中,根据拍摄物的距离L以及左右摄像机的基线距B2改变水平开角θ,左右摄像机的水平开角θ用公式(14)计算得到,
θ = 2 × arctan ( B 2 2 × L ) - - - ( 14 )
式中,θ为左右摄像机的水平开角,B2为左右摄像机之间的基线距,L为拍摄距离。
在所述的3D摄像装置参数调整单元的处理步骤6中,根据通过公式(10)计算得到的拍摄距离L,通过公式(13)计算得到左右摄像机的焦距值,用公式(15)计算镜头的光圈F值,
F = f 1 2 ( ΔL 2 - ΔL 1 ) δ × L × ( ΔL 2 + ΔL 1 ) - - - ( 15 )
式中,f1为镜头焦距,L为摄像距离,δ为容许弥散圆直径,ΔL2为后景深,ΔL1为前景深,F为镜头的光圈值,用远点距离EOD和摄像距离L之间的差作为后景深ΔL2,用摄像距离L和近点距离FD之间的差作为前景深ΔL1,代入公式(15)并整理得到公式(16)所示的镜头的光圈F值,
F = f 1 2 ( EOD + FD - 2 L ) δ × L × ( EOD - FD ) - - - ( 16 )
式中,f1为镜头焦距,L为摄像距离,δ为容许弥散圆直径,这里选取δ=0.05mm,EOD为远点距离,FD为近点距离;为了保证成像图像有较好的景深,在实际确定镜头的光圈值时要略小于公式(16)计算光圈值F。
所述的3D全景摄像装置是通过四台具有相同成像参数的固定单视点ODVS集成起来,用于获得拍摄现场的全景立体图像;采用一个平面将四台具有相同成像参数的ODVS连接起来,通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上;连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上,将4台具有相同内外参数的摄像头固定在一个平面上;相邻两个双曲面镜面轴线的距离为70cm,表示为基线距,该基线距的距离与人类两眼之间的距离相同。
本发明的有益效果主要表现在:1、同时获取实时的3D全景和3D视频图像,在立体放映设备上即能看见全局的3D全景视频图像又能看见局部特写的3D视频图像;2、拍摄过程极其简单和方便,3D摄影师只要在全景图像上选择ROP,设备就自动完成调焦、水平转动、垂直转动和3D深度的调整等动作,具有自动化和智能化的功能;3、智能化程度高,不需要特有的立体摄像专业人员也能拍摄出质量高的3D全景和3D视频图像。可广泛的应用于重大体育赛事、文艺演出、动画电影、游戏等许多应用领域。
附图说明
图1为单视点的全景视觉成像的结构图;
图2为单视点的全景视觉成像的原理图;
图3为全景立体摄像装置平视剖面图;
图4为3D摄像装置平视图;
图5为3D立体摄像设备的拍摄参数自动调整系统的结构图;
图6为全景视觉成像的空间物点距离计算方法说明图;
图7为在3D全景视觉中不同视角立体成像说明示意图;
图8为一种全景立体柱状模型的立体成像说明示意图;
图9为Viewer1视角观察到的立体图像示意图;
图10为由左通道的视频图像与左通道的全景视频图像合成的图像示意图;
图11为由右通道的视频图像与右通道的全景视频图像合成的图像示意图;
图12为拍摄距离、焦距、景深之间关系说明图;
图13为在3D全景视觉中物点距离计算方法的俯视图;
图14为在3D视觉中拍摄距离、远点距离和近点距离计算方法的俯视图;
图15为ODVS的垂直成像范围以及成像高度的说明图;
图16为3D立体摄像设备的拍摄参数自动调整系统实现框图;
图17为3D立体摄像设备的拍摄参数自动调整系统软件实现步骤。
具体实施方式
下面结合附图对本发明作进一步描述。
实施例1
参照图1~图17,一种3D立体摄像设备的拍摄参数自动调整系统,其硬件设备包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、摄像师根据在显示器上显示的3D全景图像上通过人机接口进行简单操作来拍摄3D视频特写图像并能自动控制3D摄像装置的对焦、调整拍摄方向、角度和3D深度的计算机;所述的3D全景摄像装置为所述的3D摄像装置提供各种拍摄参数的信息;所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起,如附图6所示,支撑杆的上部固定着所述的3D全景摄像装置,支撑杆的中部固定着所述的3D摄像装置,所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合,所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接,所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接;
所述全方位摄像装置,以下用ODVS表示,4台ODVS的中心轴垂直均匀地配置在同一平面上的四个点上,两个相邻的ODVS的中心轴之间的距离都为一个定值,即B,相当于人的两眼之间的距离;然后对四个ODVS进行编号,ODVS的编号从第1象限开始以逆时针方向为顺序;每个ODVS包括双曲面镜面2、上盖1、支撑杆3、透明玻璃面4、附加镜头框5、摄像单元6,如附图1所示;所述的支撑杆3的外形为上粗下细的圆台,支撑杆3粗的一端为外螺纹,支撑杆3细的一端为内螺纹;所述的双曲面镜面2中间开有一个小孔,孔的直径与支撑杆3的外螺纹直径相同,连接时将支撑杆3的外螺纹穿入双曲面镜面2的孔中用螺帽将双曲面镜面2与支撑杆3连接起来;所述的透明玻璃面4中间开有一个小孔,孔的直径与与支撑杆3的内螺纹孔径相同,连接时将支撑杆3细的一端垂直于透明玻璃面4用螺钉穿过透明玻璃面4上的小孔将支撑杆3与透明玻璃面4连接起来;所述的附加镜头框5的下面有一个与摄像单元6镜头前口径相同的外螺纹,通过旋紧螺纹的方式将附加镜头框5稳固的固定在摄像单元6上,所述的透明玻璃面4嵌入在所述的附加镜头框5内;
所述的3D全景摄像装置是通过四台具有相同成像参数的固定单视点ODVS集成起来,用于获得拍摄现场的全景立体图像;具体做法是采用一个平面将四台具有相同成像参数的ODVS连接起来,通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上;连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上,将4台具有相同内外参数的摄像头固定在一个平面上;固定后的全景立体摄像装置平视剖面图如附图3所示,俯视图如附图7所示,相邻两个双曲面镜面轴线的距离为70cm,如图7中的B所示,表示为基线距,该基线距的距离与人类两眼之间的距离基本相同;
固定单视点ODVS的工作原理是:进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Z);
图2中的2-双曲线面镜,12-入射光线,13-双曲面镜的实焦点Om(0,0,c),14-双曲面镜的虚焦点即摄像单元6的中心Oc(0,0,-c),15-反射光线,16-成像平面,17-实物图像的空间坐标A(X,Y,Z),18-入射到双曲面镜面上的图像的空间坐标,19-反射在成像平面上的点P(x,y)。
图2中所示的双曲面镜构成的光学系统可以由下面5个等式表示;
((X2+Y2)/a2)-((Z-c)2/b2)=-1 当Z>0时 (1)
c = a 2 + b 2 (2)
φ=tan-1(Y/X) (3)
α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (4)
γ = tan - 1 [ f / ( x 2 + y 2 ) ] (5)
式中,X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上的夹角,即方位角,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,γ表示折入射光线与Z轴的夹角;
双曲面镜设计的核心是垂直视场范围的设计,即双目立体视觉的范围来最后确定。
从公式(1)可知双曲线的形状可以由参数a、b来确定,这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达,其相互关系通过公式(6)进行计算;
a = c 2 k - 2 k (6)
b = c 2 2 k
k=a/b
对于ODVS的设计,镜面的大小和垂直视场范围是必须考虑的设计参数,同时镜面的直径必须小于70cm,即小于人的双眼距离,公式(7)表示了垂直视角α的计算方法,
α = arctan ( h R i ) + π 2 (7)
这里,Ri表示折反射镜面边缘的半径,h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离;
双曲面镜面的离心率k设计必须满足以下3个约束条件,如公式(8)所示;
k>b/Ri
k<(h+2c)/Ri (8)
k>[(h+2c)/4cb]-[b/(h+2c)]
所述的3D摄像装置,用于获取拍摄现场的某一局部的3D视频图像;主要由一组由2台相同摄像参数的高清摄像机所构成,如附图4所示,所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的,其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的,所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机32来实现的,所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机33来实现的,所述的3D摄像装置的3D深度的调整是由转动电机31来实现的,具体实现方式是将所述的高清摄像机34、35分别固定在由两个啮合的齿轮片36、37,齿轮片37的另一端加工成涡轮形状,转动电机31直接驱动涡杆38,涡杆38带动齿轮片37上的涡轮转动,从而带动齿轮片37和齿轮片36啮合转动,最终带动了齿轮片36、37的高清摄像机34、35的相对转动来实现3D深度的调整;在所述的3D摄像装置中还包括有一个解码器,解码器的作用是:通过串口接收所述的计算机的控制码,并对该控制码进行解析,并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压,然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止等操作;
所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接,并对所述的3D摄像装置写入串口命令来实现的,本发明中利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发;
为了自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整,本发明中采用在显示器的全景图上用鼠标或者触摸屏的全景图上通过画ROP的3D特写拍摄的技术解决方案,具体做法是采用触摸屏的人机对话方式,当摄像师在3D全景视频图像上选择ROP,在触摸屏上画一个包括该ROP的矩形框,计算机应用软件读取矩形框的大小、位置等信息;首先,根据矩形框的中心位置计算得到控制云台的入射角和方位角信息;接着,根据3D全景摄像装置中所成像两个相关ODVS的几何关系来计算3D特写拍摄视场范围内的拍摄物的拍摄距离L,如图13所示;然后根据拍摄距离L和矩形框的大小确定左右摄像机的焦距f1;接着根据拍摄距离L和左右摄像机的基线距B2确定左右摄像机的水平开角θ,如图14所示;进一步,根据拍摄距离L确定调焦距离值及相应的光圈系数值;最后将上述各种参数发送给3D处理层设备分别控制云台的水平方向和垂直方向的电机转动、控制左右摄像机的水平开角的电机转动、调整和控制左右摄像机的电动变焦距镜头的焦距、调整和控制左右摄像机的电动变焦距镜头的聚焦;
所述的计算机,用于对4台ODVS的图像进行立体成像处理,用于对所述的3D摄像装置进行参数调整和设定,用于获取所述的3D摄像装置所拍摄的3D视频图像;主要包括硬件和软件,所述的计算机的硬件采用市售的较高档的PC机,其中包括用于连接4台ODVS的视频卡,用于连接所述的3D摄像装置中的解码器的RS232/RS485转换器,用于连接所述的3D摄像装置中的两个摄像机的高清视频采集单元;所述的计算机的软件包括全景图像读取与预处理单元、透视展开单元、全景立体图像加工单元、3D摄像装置参数调整单元、3D图像读取单元,3D图像和3D全景图像合成单元;
所述的全景图像读取与预处理单元用于读取4台ODVS的全景图像,分别启动4个线程,每个线程读取一个ODVS的全景图像,然后用模版对每个ODVS进行图像预处理,用于实现全景立体图像输出的图像部分;
进一步,对全景立体视觉进行建模,本发明中采用柱状模型建模的方式,将构成全景立体视觉的四个ODVS均匀配置在柱状模型的中部,如附图8所示;这时图8中的最大的一个外圆就是全景立体视觉柱状模型,在所述的全景立体视觉柱状模型中有八个点,其中P1、P2、P3和P4这四个点是双目立体视觉的转折点,P1~O~P2范围是ODVS1和ODVS2的双目立体视觉范围,属于Viewer1的双目立体视觉范围,在该立体视觉范围中ODVS1承担右眼的角色,ODVS2承担左眼的角色;其中M1-2、M2-3、M3-4和M4-1这四个点分别为双目立体视觉水平视场中间点,M1-2是ODVS1和ODVS2的双目立体视觉的中间点,M2-3是ODVS2和ODVS3的双目立体视觉的中间点,M3-4是ODVS3和ODVS4的双目立体视觉的中间点,M4-1是ODVS4和ODVS1的双目立体视觉的中间点;对于Viewer1的双目立体视觉范围ODVS1的水平方向上的成像是45°~180°-φ2,本发明中以逆时针方向为正方向,ODVS2的水平方向上的成像是φ2~135°,将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话,可以通过公式(9)计算出角度φ2
φ 2 = arcc tan ( 1 2 ( D / B ) 2 + 1 - ( 2 - 2 / 2 ) ) + 1 (9)
式中,D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离,B为两个相邻ODVS中心点之间的距离,即基线距,φ2为两个相邻ODVS的中心点之间的连线与某一个ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角;
同样原理,P2~O~P3范围是ODVS2和ODVS3的双目立体视觉范围,P3~O~P4范围是ODVS3和ODVS4的双目立体视觉范围,P4~O~P1范围是ODVS4和ODVS1的双目立体视觉范围,因此本发明用表2来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS在全景立体视觉的角色;
表2全景立体视觉中的四个ODVS的角色和作用范围
所述的全景立体图像加工单元,是以Viewer1、Viewer2、Viewer3和Viewer4等四个视角进行展开的左右图像分两个通道输出给3D图像和3D全景图像合成单元,其中4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端,4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元输入端;
所述的3D摄像装置参数调整单元用于响应3D摄像师在全景图上选择想要特写拍摄的区域时所产生的事件,软件系统产生一个软件中断响应,中断响应处理步骤是:步骤1:读取ROP的大小、位置等信息;步骤2:根据ROP的中心位置计算得到控制云台的拍摄角αR和方位角φR信息;步骤3:根据所述的3D全景摄像装置中所成像两个相关ODVS的几何关系来计算3D特写拍摄视场范围内的拍摄物的拍摄距离L;步骤4:根据拍摄距离L和ROP的大小确定左右摄像机的焦距f1;步骤5:根据拍摄距离L和左右摄像机的基线距B2确定左右摄像机的水平开角θ;步骤6:根据拍摄距离L确定调焦距离值及相应的光圈系数值F;步骤7:根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的水平转动、垂直转动、调焦、水平开角和3D深度的调整等电机的动作;
下面用图17来进一步说明3D立体摄像设备的拍摄参数自动调整的步骤;
首先,3D摄像师一边看着3D全景视频图像,一边根据在触摸屏显示的3D全景视频图像中选择ROP,在触摸屏上画一个包括该ROP的矩形框;这时计算机自动产生一个软件中断,进入如图17所示的3D立体摄像设备的拍摄参数自动调整的处理过程;
步骤S1,读取拍摄视场范围的信息,即读取3D摄像师在全景图上选择特写拍摄的区域的信息,该信息包括ROP的大小以及位置信息;首先,计算ROP的中心点位置,得到ROP中心点位置的坐标值P(X,Y);然后根据摄像模式,如摄像模式16:9,其图像大小为3840*2160;如摄影模式4:3,其图像大小4000*3000;用摄像模式来确定ROP的归一化的长高比,如原来3D摄像师在全景图上选择特写拍摄的ROP长高比为15∶10,而选择的摄像模式为16:9,那么特写拍摄的ROP长度要以ROP中心点向左右两侧增加18.5%的长度;
步骤S2,根据步骤S1中所得到的ROP中心点位置的坐标值P(X,Y)来计算得到ROP中心点与所述的3D全景摄像装置中某两个成像ODVS视点的入射角和方位角,如附图6所述,ROP中心点位置在三维空间上的坐标值P(X,Y,Z),对于ODVS1来说,其入射角αODVS1可以由公式(4)、公式(5)求得,其方位角φODVS1可以由公式(3)求得;对于ODVS2来说,其入射角αODVS2可以由公式(4)、公式(5)求得,其方位角φODVS2可以由公式(3)求得;由于拍摄距离要远大于两个ODVS视点之间的距离,这里不考虑入射角αODVS1和入射角αODVS2之间的微小差别,即用入射角αODVS1或者入射角αODVS2作为所述的3D立体摄像设备的拍摄角αR,αR≈αODVS1≈αODVS2;方位角φR可以通过如附图7所示的几何关系求得,φR=90-φODVS1ODVS2
步骤S3,根据步骤S2中计算得到的方位角φODVS1和φODVS2以及两个成像ODVS视点之间的距离B,来计算拍摄距离,如附图6所示,由于拍摄距离要远大于两个ODVS视点之间的距离,可以用某一个ODVS视点到拍摄物点之间的距离来近似拍摄距离L,计算公式如(10)所示,
L = B × sin φ ODVS 2 sin ( φ ODVS 2 - φ ODVS 1 ) (10)
式中,B为两个相邻ODVS视点之间的距离,即基线距,φODVS2为空间物点P在ODVS2上的入射角,φODVS1为空间物点P在ODVS1上的入射角,L为拍摄距离;
用同样的方法,来估算ROP中的远点距离EOD和近点距离FD;
步骤S4,根据拍摄距离L和3D拍摄ROP的大小确定左右摄像机的焦距f1,对于所述的ODVS来说,其设计时都有给出一个最大入射角αmax和最小入射角αmin,最大入射角αmax对应的是ODVS的仰角,最小入射角αmin对应的是ODVS的俯角;因此,最大入射角αmax和最小入射角αmin决定了全景展开图像的垂直视场范围,对于给定的拍摄距离L来说,ODVS拍摄场景高度H1可以用公式(11)计算,计算方法如附图15所示,
H1=L×(tan αmax+tanαmin) (11)
式中,L为拍摄距离,αmin为ODVS的最小入射角,αmax为ODVS的最大入射角,H1为拍摄距离在L时全景拍摄场景的实际高度值;
进一步,要获得3D拍摄ROP的实际高度值,即如附图9中的h1,本发明中采用公式(12)计算,
h 1 = ∑ h 1 pic ∑ H 1 pic H 1 (12)
式中,H1为拍摄距离在L时全景拍摄场景的实际高度值,∑h1pic为3D拍摄ROP在ODVS成像平面中在垂直方向上所占的像素点个数,∑H1pic为ODVS成像平面中在垂直方向上所占的像素点个数,h1为3D拍摄ROP的实际高度值;
更进一步,用公式(13)计算确定左右摄像机的焦距f1,
f 1 = v × L h 1 (13)
式中,v为摄像机靶面垂直高度,由摄像机参数获得,如摄像机采用2/3″CCD成像芯片,其v值为6.6mm;L为拍摄距离,h1为3D拍摄ROP的实际高度值,f1为左右摄像机的焦距值;
步骤S5,根据拍摄物的距离以及左右摄像机的基线距改变水平开角θ,用附图14进行说明,图中FD可以近似为拍摄距离L,因此,左右摄像机的水平开角θ可以用公式(14)计算得到,
θ = 2 × arctan ( B 2 2 × L ) (14)
式中,θ为左右摄像机的水平开角,B2为左右摄像机之间的基线距,L为拍摄距离;
步骤S6,决定一个镜头的景深的三个要素是焦距f1、光圈F和摄像机与被摄物的距离L;镜头焦距f1越短景深越大,景深随焦距的增加而减小;镜头的光圈F越小,景深就越大;被摄物与摄像机之间的距离L越大,景深就越大;在步骤S3中通过公式(10)计算得到摄像机与被摄物的距离L,在步骤S4中通过公式(13)计算得到左右摄像机的焦距值f1;因此,在步骤S6中唯一能改变的是镜头的光圈F,用公式(15)计算调整后镜头的光圈F值,
F = f 1 2 ( ΔL 2 - ΔL 1 ) δ × L × ( ΔL 2 + ΔL 1 ) (15)
式中,f1为镜头焦距,L为摄像距离,δ为容许弥散圆直径,ΔL2为后景深,ΔL1为前景深,F为镜头的光圈值,如图12所示,用远点距离EOD和摄像距离L之间的差作为后景深ΔL2,用摄像距离L和近点距离FD之间的差作为前景深ΔL1,如附图14所示,代入公式(15)并整理得到公式(16)所示的调整后镜头的光圈F值,
F = f 1 2 ( EOD + FD - 2 L ) δ × L × ( EOD - FD ) (16)
式中,f1为镜头焦距,L为摄像距离,δ为容许弥散圆直径,这里选取δ=0.05mm,EOD为远点距离,FD为近点距离,远点距离EOD和近点距离FD在S3步骤中估算得到;
为了保证成像图像有较好的景深,在实际确定镜头的光圈值时要略小于公式(16)计算光圈值F;
步骤S7,根据步骤S2处理过程中所得到的入射角α信息通过PELCO-D控制协议控制云台的垂直方向的电机转动,根据步骤S2处理过程中所得到的方位角φ信息通过PELCO-D控制协议控制云台的水平方向的电机转动,步骤S5处理过程中所得到的左右摄像机的水平开角θ信息通过PELCO-D控制协议控制附图4所示的转动电机31转动,根据步骤S4处理过程中所得到的左右摄像机的焦距f1信息通过PELCO-D控制协议同步协调控制左右摄像机的电动变焦距镜头中的变焦驱动电机转动,根据步骤S6处理过程中所得到的左右摄像机的光圈值F信息通过PELCO-D控制协议同步协调控制左右摄像机的电动变焦距镜头中的光圈驱动电机转动;
所述的3D图像读取单元用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像,其输出与所述的3D图像和3D全景图像合成单元的输入相连接;
所述的3D图像和3D全景图像合成单元用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理,左通道的视频图像与左通道的全景视频图像合成在一起,如附图11所示,合成一个视频流图像传输给立体显示设备的左侧视频图像输入端;右通道的视频图像与右通道的全景视频图像合成在一起,如附图12所示,合成一个视频流图像传输给立体显示设备的右侧视频图像输入端。

Claims (10)

1.一种3D立体摄像设备的拍摄参数自动调整系统,其特征在于:所述拍摄参数自动调整系统包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、根据在显示器上显示的3D全景图像上用人机接口方式选择想要拍摄对象的大小及位置信息来自动控制3D摄像装置的对焦、光圈、调整拍摄方向、角度和3D深度动作的、并将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机;所述的3D全景摄像装置为所述的3D摄像装置提供各种拍摄参数的信息;所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接,所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接;所述的3D摄像装置中的解码器通过RS232/RS485转换器与所述的计算机连接;
所述的计算机包括:
全景图像读取与预处理单元,用于读取4台全方位摄像装置的全景图像并对全景图像做简单图像预处理,分别启动4个线程,每个线程读取一个全方位摄像装置的全景图像,然后用4种不同的模版对相应的全方位摄像装置进行图像预处理,其输出与透视展开单元连接;
透视展开单元,用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开,首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理,分割成8个扇形图像部分,即ODVS1L、ODVS2L、ODVS3L、ODVS4L、ODVS2R、ODVS3R、ODVS4R和ODVS1R;然后分别对8个扇形图像部分进行透视展开得到4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像和4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像;其输出与全景立体图像加工单元连接;
全景立体图像加工单元,用于输出全景立体图像给立体显示设备,将在所述的透视展开单元中以Viewer1、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备,其中4幅ODVS1L、ODVS2L、ODVS3L和ODVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端,4幅ODVS2R、ODVS3R、ODVS4R和ODVS1R的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端;
3D摄像装置参数调整单元,用于响应3D摄像师通过人机接口在全景图像上选择想要特写拍摄的区域时所产生的事件,特写拍摄的区域以下用ROP表示,自动进行3D深度的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度的调整;所述的3D摄像装置参数包括:ROP的拍摄角αR、ROP的方位角φR、左右两台高清摄像机的水平开角θ、左右两台高清摄像机的焦距f1和左右两台高清摄像机的光圈值F,上述这些参数通过所述的3D全景摄像装置的全景立体视频信息加工获得;
所述的3D摄像装置参数调整单元的处理过程为:步骤1:读取ROP的大小、位置的信息;步骤2:根据ROP的中心位置计算得到控制云台的拍摄角αR1和方位角φR1信息;步骤3:根据所述的3D全景摄像装置中所成像两个相关ODVS的几何关系来计算3D特写拍摄视场范围内的拍摄物的拍摄距离L;步骤4:根据拍摄距离L和ROP的大小确定左右摄像机的焦距f1;步骤5:根据拍摄距离L和左右摄像机的基线距B2确定左右摄像机的水平开角θ;步骤6:根据拍摄距离L确定调焦距离值及相应的光圈系数值F;步骤7:根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的水平转动、垂直转动、调焦、水平开角和3D深度的调整的电机的动作;
3D图像读取单元,用于从高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像,其输出与所述的3D图像和3D全景图像合成单元的输入相连接;
3D图像和3D全景图像合成单元,用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理,左通道的视频图像与左通道的全景视频图像合成在一起,合成的一个视频流图像传输给立体显示设备的左侧视频图像输入端;右通道的视频图像与右通道的全景视频图像合成在一起,合成的一个视频流图像传输给立体显示设备的右侧视频图像输入端。
2.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起,支撑杆的上部固定着所述的3D全景摄像装置,支撑杆的中部固定着所述的3D摄像装置,所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合;
所述的3D摄像装置由一组由2台相同摄像参数的高清摄像机所构成,所述的高清摄像机的焦距、光圈、拍摄方向、拍摄角度和3D深度调整动作是由所述的3D摄像装置中相应的驱动电机来实现的,其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的,镜头的光圈调整是由所述的高清摄像机中的内部所带电机来实现的,所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的,所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的,所述的3D摄像装置的3D深度的调整是由转动电机来实现的;将所述的高清摄像机分别固定在两个啮合的齿轮片上,齿轮片的与所述的啮合端相对的一端加工成涡轮形状,转动电机直接驱动涡杆,涡杆带动齿轮片上的涡轮转动,从而带动齿轮片啮合转动,最终带动了齿轮片的高清摄像机的相对转动来实现3D深度的调整;在所述的3D摄像装置中还包括有一个解码器,通过串口接收所述的计算机的控制码,并对该控制码进行解析,并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压,然后传递给所述的3D摄像装置以控制其镜头的调焦、光圈、水平转动、垂直转动、3D深度的调整及停止操作。
3.如权利要求1或2所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器将两个通讯接口进行连接,并对所述的3D摄像装置写入串口命令来实现的,利用PELCO-D控制协议作为所述的3D摄像装置的控制协议。
4.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:在所述的3D摄像装置参数调整单元的处理步骤1中读取拍摄视场范围的信息,该信息包括ROP的大小以及位置信息;首先,计算ROP的中心点位置,得到ROP中心点位置的坐标值P(X,Y);然后根据摄像模式,如摄像模式16:9,其图像大小为3840*2160;如摄影模式4:3,其图像大小4000*3000;用摄像模式来确定ROP的归一化的长高比,如原来3D摄像师在全景图像上选择特写拍摄的ROP长高比为15:10,而选择的摄像模式为16:9,那么特写拍摄的ROP长度要以ROP中心点向左右两侧增加18.5%的长度。
5.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:在所述的3D摄像装置参数调整单元的处理步骤2中,根据所得到的ROP中心点位置的坐标值P(X,Y)来计算得到ROP中心点与所述的3D全景摄像装置中某两个成像ODVS视点的入射角和方位角,ROP中心点位置在三维空间上的坐标值P(X,Y,Z),对于ODVS1来说,其入射角αODVS1可以由公式(4)、公式(5)求得,
α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (4)
γ = tan - 1 [ f / ( x 2 + y 2 ) ] - - - ( 5 )
式中,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,α表示入射光线在XZ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,γ表示折入射光线与Z轴的夹角;
其方位角φODVS1可以由公式(3)求得;
φ=tan-1(Y/X) (3)
式中,X、Y表示成像物点的空间坐标,φ表示方位角;.
对于ODVS2来说,其入射角αODVS2可以由公式(4)、公式(5)求得,其方位角φODVS2可以由公式(3)求得;由于拍摄距离要远大于两个ODVS视点之间的距离,这里不考虑入射角αODVS1和入射角αODVS2之间的微小差别,即用入射角αODVS1或者入射角αODVS2作为所述的3D立体摄像设备的拍摄角αR1,即αR1≈αODVS1≈αODVS2;所述的3D立体摄像设备的方位角φR1通过几何关系求得,φR1=90-φODVS1ODVS2,对于ODVS2和ODVS3、ODVS3和ODVS4、ODVS4和ODVS1的入射角和方位角计算方法跟上述相同。
6.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:在所述的3D摄像装置参数调整单元的处理步骤3中,根据计算得到的方位角φODVS1和φODVS2以及两个成像ODVS视点之间的距离B,来计算拍摄距离L,由于拍摄距离要远大于两个ODVS视点之间的距离,可以用某一个ODVS视点到拍摄物点之间的距离来近似拍摄距离L,计算公式如(10)所示,
L = B × sin φ ODVS 2 sin ( φ ODVS 2 - φ ODVS 1 ) - - - ( 10 )
式中,B为两个相邻ODVS视点之间的距离,即基线距,φODVS2为空间物点P在ODVS2上的入射角,φODVS1为空间物点P在ODVS1上的入射角,L为拍摄距离;用同样的方法,来估算ROP场景中的远点距离EOD和近点距离FD,对于ODVS2和ODVS3、ODVS3和ODVS4、ODVS4和ODVS1的入射角和方位角计算方法跟上述相同。
7.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:在所述的3D摄像装置参数调整单元的处理步骤4中,根据拍摄距离L和ROP的大小确定左右摄像机的焦距f1,对于构成所述的3D全景摄像装置的ODVS来说,其设计时都有给出一个最大入射角αmax和最小入射角αmin,最大入射角αmax对应的是ODVS的仰角,最小入射角αmin对应的是ODVS的俯角;最大入射角αmax和最小入射角αmin决定了全景展开图像的垂直视场范围,对于给定的拍摄距离L来说,ODVS拍摄场景高度H1可以用公式(11)计算,
H1=L×(tanαmax+tanαmin) (11)
式中,L为拍摄距离,αmin为ODVS的最小入射角,αmax为ODVS的最大入射角,H1为拍摄距离在L时全景拍摄场景的实际高度值;
采用公式(12)计算3D拍摄ROP的实际高度值,即h1:
h 1 = Σ h 1 pic Σ H 1 pic H 1 - - - ( 12 )
式中,H1为拍摄距离在L时全景拍摄场景的实际高度值,∑h1pic为3D拍摄ROP在ODVS成像平面中在垂直方向上所占的像素点个数,∑H1pic为ODVS成像平面中在垂直方向上所占的像素点个数,h1为3D拍摄ROP的实际高度值;
更进一步,用公式(13)计算确定左右摄像机的焦距f1,
f 1 = v × L h 1 - - - ( 13 )
式中,v为摄像机靶面垂直高度,由摄像机参数获得,当摄像机采用2/3"CCD成像芯片,其v值为6.6mm;L为拍摄距离,h1为3D拍摄ROP的实际高度值,f1为左右摄像机的焦距值。
8.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:在所述的3D摄像装置参数调整单元的处理步骤5中,根据拍摄物的距离L以及左右摄像机的基线距B2改变水平开角θ,左右摄像机的水平开角θ用公式(14)计算得到,
θ = 2 × arctan ( B 2 2 × L ) - - - ( 14 )
式中,θ为左右摄像机的水平开角,B2为左右摄像机之间的基线距,L为拍摄距离。
9.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:在所述的3D摄像装置参数调整单元的处理步骤6中,根据通过公式(10)计算得到的拍摄距离L,通过公式(13)计算得到左右摄像机的焦距值,用公式(15)计算镜头的光圈F值,
F = f 1 2 ( ΔL 2 - ΔL 1 ) δ × L × ( ΔL 2 + ΔL 1 ) - - - ( 15 )
式中,f1为镜头焦距,L为摄像距离,δ为容许弥散圆直径,ΔL2为后景深,ΔL1为前景深,F为镜头的光圈值,用远点距离EOD和摄像距离L之间的差作为后景深ΔL2,用摄像距离L和近点距离FD之间的差作为前景深ΔL1,代入公式(15)并整理得到公式(16)所示的镜头的光圈F值,
F = f 1 2 ( EOD + FD - 2 L ) δ × L × ( EOD - FD ) - - - ( 16 )
式中,f1为镜头焦距,L为摄像距离,δ为容许弥散圆直径,这里选取δ=0.05mm,EOD为远点距离,FD为近点距离;为了保证成像图像有较好的景深,在实际确定镜头的光圈值时要略小于公式(16)计算光圈值F。
10.如权利要求1所述的3D立体摄像设备的拍摄参数自动调整系统,其特征在于:所述的3D全景摄像装置是通过四台具有相同成像参数的固定单视点ODVS集成起来,用于获得拍摄现场的全景立体图像;采用一个平面将四台具有相同成像参数的ODVS连接起来,通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上;连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上,将4台具有相同内外参数的摄像头固定在一个平面上;相邻两个双曲面镜面轴线的距离为70cm,表示为基线距,该基线距的距离与人类两眼之间的距离相同。
CN201210121855.0A 2012-04-24 2012-04-24 3d立体摄像设备的拍摄参数自动调整系统 Active CN102665087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210121855.0A CN102665087B (zh) 2012-04-24 2012-04-24 3d立体摄像设备的拍摄参数自动调整系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210121855.0A CN102665087B (zh) 2012-04-24 2012-04-24 3d立体摄像设备的拍摄参数自动调整系统

Publications (2)

Publication Number Publication Date
CN102665087A CN102665087A (zh) 2012-09-12
CN102665087B true CN102665087B (zh) 2014-08-06

Family

ID=46774484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210121855.0A Active CN102665087B (zh) 2012-04-24 2012-04-24 3d立体摄像设备的拍摄参数自动调整系统

Country Status (1)

Country Link
CN (1) CN102665087B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905076B (zh) * 2012-11-12 2016-08-24 深圳市维尚境界显示技术有限公司 一种3d立体拍摄智能控制的装置、系统及其方法
CN103888750B (zh) * 2012-12-20 2016-02-24 比比威株式会社 三维影像拍摄控制系统及方法
CN103973957B (zh) * 2013-01-29 2018-07-06 上海八运水科技发展有限公司 双目3d相机自动调焦系统及方法
CN103248905A (zh) * 2013-03-22 2013-08-14 深圳市云立方信息科技有限公司 一种模仿全息3d场景的显示装置和视觉显示方法
CN103217862B (zh) * 2013-04-11 2016-03-16 雷欧尼斯(北京)信息技术有限公司 一种光回收3d放映系统中的图像自动校准与优化方法及装置
CN103886643A (zh) * 2014-04-09 2014-06-25 南京长观信息科技有限公司 一种在3d场景中以最佳视角展示对象的方法
CN107529053A (zh) * 2014-07-22 2017-12-29 北京蚁视科技有限公司 全景三维摄像装置
CN104658031B (zh) * 2015-03-06 2017-05-10 新维畅想数字科技(北京)有限公司 一种直接利用深度数据渲染三维图像的装置及方法
CN105072343B (zh) * 2015-08-13 2018-01-23 广东申义实业投资有限公司 一种物体外观全景拍摄方法及便携拍摄系统
EP3624050B1 (en) * 2015-12-16 2021-11-24 InterDigital CE Patent Holdings Method and module for refocusing at least one plenoptic video
CN205566535U (zh) * 2015-12-21 2016-09-07 乐视致新电子科技(天津)有限公司 一种立体摄像机
CN107454377B (zh) * 2016-05-31 2019-08-02 深圳市微付充科技有限公司 一种利用相机进行三维成像的算法和系统
CN106412557A (zh) * 2016-11-02 2017-02-15 深圳市魔眼科技有限公司 一种3d摄像控制方法及3d摄像控制装置
CN108114468A (zh) * 2016-11-29 2018-06-05 三维视觉科技有限公司 自动立体3d摄像机实现方法和装置
CN108616702B (zh) * 2016-12-19 2021-02-12 纳恩博(北京)科技有限公司 图像处理方法和装置
CN106597800A (zh) * 2016-12-22 2017-04-26 沈阳体验科技股份有限公司 多通道立体影像采录装置和方法
CN107289247B (zh) * 2017-08-04 2020-05-05 南京管科智能科技有限公司 一种双摄像头三维成像装置及其成像方法
CN107483820A (zh) * 2017-08-23 2017-12-15 福建星瑞格软件有限公司 一种反差式对焦的快速合焦方法以及装置
CN107621442A (zh) * 2017-09-13 2018-01-23 四川伟图智能科技有限公司 一种产品质量监测视觉传感器
CN107862739B (zh) * 2017-11-30 2021-04-23 山东九维度网络科技有限公司 一种三维成像建模系统
CN109361859A (zh) * 2018-10-29 2019-02-19 努比亚技术有限公司 一种拍摄方法、终端及存储介质
CN110209001A (zh) * 2019-06-04 2019-09-06 上海亦我信息技术有限公司 一种用于3d建模的三脚支架及相机拍摄姿态识别方法
CN111147840A (zh) * 2019-12-23 2020-05-12 南京工业职业技术学院 一种3d摄像摇臂的视音频采集自动控制与通信系统
CN112731665B (zh) * 2020-12-31 2022-11-01 中国人民解放军32181部队 一种自适应双目立体视觉微光夜视头戴系统
CN113301308B (zh) * 2021-05-25 2022-06-17 浙江安防职业技术学院 一种安全监测用视频监控装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
CN102289144A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于全方位视觉传感器的智能3d摄像设备
CN102289145A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于3d全景视觉的智能三维立体摄像设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157432A (ja) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd 立体画像撮影装置及び立体画像の撮影方法
US8406619B2 (en) * 2009-03-23 2013-03-26 Vincent Pace & James Cameron Stereo camera with automatic control of interocular distance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
CN102289144A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于全方位视觉传感器的智能3d摄像设备
CN102289145A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于3d全景视觉的智能三维立体摄像设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2006-157432A 2006.06.15

Also Published As

Publication number Publication date
CN102665087A (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN102665087B (zh) 3d立体摄像设备的拍摄参数自动调整系统
CN102289144B (zh) 基于全方位视觉传感器的智能3d摄像设备
CN102289145A (zh) 基于3d全景视觉的智能三维立体摄像设备
CN102243432A (zh) 全景立体摄像装置
CN107666606B (zh) 双目全景图像获取方法及装置
EP2593835B1 (en) Variable three-dimensional camera assembly for still photography
WO2021012855A1 (zh) 一种全景图像生成系统及全景图像生成方法
CN206563985U (zh) 三维成像系统
CN102012627B (zh) 一种双目立体摄像机和3d成像系统
JP2003502925A (ja) 一台の携帯カメラによる3d情景の撮影法
CN105488801B (zh) 球幕电影实拍和三维虚拟场景结合的方法及系统
JP2007517264A (ja) 多次元の撮像装置、システムおよび方法
CN110827196A (zh) 一种能够对目标物多区域同时进行3d信息采集的装置
CN102905076B (zh) 一种3d立体拍摄智能控制的装置、系统及其方法
CN100552539C (zh) 一种环幕立体电影图像的制作方法
WO2017174029A1 (zh) 一种具有三维图像拍摄功能的手机
US20120263448A1 (en) Method and System for Aligning Cameras
TWM521202U (zh) 以線性及旋轉同步連動之攝影旋轉調校裝置
KR20190019059A (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
JP2007264592A (ja) 3次元イメージ自動生成装置及び方法
CN103546680B (zh) 一种无变形的全方位鱼眼摄像装置及实现方法
CN107318011B (zh) 一种单镜头横幅立体拍摄系统
CN109394170B (zh) 一种无反光的虹膜信息测量系统
KR101456650B1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
CN102323713A (zh) 便携式360°环幕立体影院系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant