CN102243432A - 全景立体摄像装置 - Google Patents

全景立体摄像装置 Download PDF

Info

Publication number
CN102243432A
CN102243432A CN 201110176998 CN201110176998A CN102243432A CN 102243432 A CN102243432 A CN 102243432A CN 201110176998 CN201110176998 CN 201110176998 CN 201110176998 A CN201110176998 A CN 201110176998A CN 102243432 A CN102243432 A CN 102243432A
Authority
CN
Grant status
Application
Patent type
Prior art keywords
image
panoramic
stereoscopic
point
mirror
Prior art date
Application number
CN 201110176998
Other languages
English (en)
Inventor
吴立娟
孙军
孟炎
宗明理
汤一平
田旭园
Original Assignee
浙江工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

一种全景立体摄像装置,通过四台具有相同成像参数的全方位摄像装置集成构建而成的,采用一个平面将四台具有相同成像参数的全方位摄像装置连接起来,通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上;连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上,将4台具有相同内外参数的摄像头固定在一个平面上;通过微处理器对四台ODVS的图像进行立体成像处理,包括全景图像读取与预处理单元、透视展开单元、全景立体图像输出单元,可广泛应用于机器人视觉、动画电影、游戏等许多应用领域。本发明提供一种性价比高、操作简单、能实时地拍摄全景立体视频图像的全景立体摄像装置。

Description

全景立体摄像装置

技术领域

[0001] 本发明属于全方位视觉技术、光学技术、计算机视觉技术在全景立体摄像方面的应用。

背景技术

[0002] 随着立体电视在全球的普及和互联网的飞速发展,三维成像技术的应用领域不断扩大,商业前景十分广阔。三维成像技术应用的范围目前非常广泛,在影视、军事、摄影、手机、电脑、广告、教育、设计、医学、魔术、展览展示、航空航天、远程医疗、文体观赏、娱乐游戏、电子商务等领域均可规模应用。立体电视系统主要由立体摄像机和立体显示设备组成。 作为立体摄像机,它具有双镜头,综合计算机、测控、图像处理技术,拍摄过程符合人的视觉机理。目前立体摄像机技术已经比较成熟,但是在全景立体摄像方面的技术极为鲜见。作为立体显示设备,目前不少国家已研发出立体电视机、电脑显示器、手机、投影机等显示设备。 在这个背景下需要发展一种新型的全景立体摄像技术。

[0003] 立体摄像的基本原理是从两个视点拍摄同一景物,以获取在不同视角下的感知图像,通过三角测量原理计算图像像素间的位置偏差、即视差,来获取景物的三维信息,这一过程与人类视觉的立体感知过程是类似的。

[0004] 中国发明专利申请号为200710042938. X公开了一种全景立体环摄数码照相机, 其步进电机、控制电路、A/D转换器、计算机和与多个如二个照相机镜头配套使用的二条线阵CCD之间电连接或信号连接;控制电路、A/D转换器及步进电机安装在底座内,二个照相机镜头安装在基座上,并以步进电机转轴的轴线为对称中心而分列两侧,二个照相机镜头在一条水平线上;安装在基座上的二条阵CCD与其相对应的照相机镜头在一个焦平面上; 基座设置在步进电机的转轴上。该发明合成后的图像为360°全景,该技术由于存在着时间延迟和拍摄死角,要拍摄运动物体的全景立体视频图像就难以实现。

[0005] 在实时全景立体摄像方面的技术方面,中国发明专利申请号为200510045648. 1 公开了一种全向立体视觉成像方法及装置,该专利中将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置,空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点,相当于两个相机成像;装置包括两个反射镜面、相机,所述相机镜头的光轴和两反射镜面的共同对称轴重合。这种方案的存在的问题是:1)由于一幅图像包括了的特征点“两幅”全向图像,允许的图像视差减小了一半,因此视觉系统的测量范围至少也减少了一半;2)上下两个反射镜面会出现遮挡,影响立体视觉范围;3)由于同一物体的特征点在上下两个反射镜面上经折反射后的成像点在一幅图像上离中心点的位置不同,上反射镜面的成像分辨率要比下反射镜面的成像分辨率高两倍以上;4)由于透视相机镜头存在的对焦问题,只能满足两个反射镜面中的某一个反射镜面为最佳焦距,因而必然会影响成像质量;5)两个反射镜面的焦点距离就是该系统的基线距,因而造成基线距过短;6)这种方式所拍摄的全景立体图像是上下两个视角所形成的,不符合人的水平方向的两个视角所形成的立体视觉习惯。中国发明专利申请号为200810062128. 5公开的基于双目全方位摄像装置的立体视觉测量装置、中国发明专利申请号为200810121672. 2公开的新型的双目立体视觉测量装置、中国发明专利申请号为200810061255. 3公开的无死角的双目立体全方位视觉传感装置同样也存在着所拍摄的全景立体图像是上下两个视角所形成的,不符合人的水平方向的两个视角所形成的立体视觉习惯问题。

发明内容

[0006] 为了克服已有全景立体视觉成像装置的不符合人的视觉习惯、制造成本高、视觉范围有限、缺乏实时全景拍摄能力等不足,本发明提供一种性价比高、操作简单、能实时地拍摄全景立体视频图像的全景立体摄像装置。

[0007] 本发明解决其技术问题所采用的技术方案是:

[0008] 一种全景立体摄像装置,所述全景立体摄像装置包括四台具有相同成像参数的全方位摄像装置和用于对四台全方位摄像装置的图像进行全景立体成像处理的微处理器,四台全方位摄像装置的中心轴垂直均勻地配置在同一平面上的四个点上,两个相邻的全方位摄像装置的中心轴之间的距离都为一个定值;对四个全方位摄像装置进行编号,全方位摄像装置的编号从第1象限开始以逆时针方向为顺序;所述全方位摄像装置包括双曲面镜面、上盖、支撑杆、透明玻璃面、附加镜头框和摄像单元;所述的双曲面镜面中间开有一个第一小孔,所述的支撑杆为上粗下细的圆台,支撑杆粗的上端安装在所述第一小孔内,支撑杆的下端垂直安装在透明玻璃面上,且所述支撑杆的下端穿过透明玻璃面上的第二小孔;所述的附加镜头框的下部与摄像单元连接,所述的透明玻璃面嵌入在所述的附加镜头框上部内;

[0009] 所述的微处理器包括:

[0010] 全景图像读取与预处理单元,用于读取四台全方位摄像装置的全景图像并对全景图像做简单图像预处理,分别启动4个线程,每个线程读取一个全方位摄像装置的全景图像,然后用4种不同的模版对相应的全方位摄像装置进行图像预处理,其输出与透视展开单元连接;

[0011] 透视展开单元,用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开,首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理,分割成8个扇形图像部分,即0DVS1L、0DVS2L、0DVS3L、0DVS4L、0DVS2R, 0DVS3R、0DVS4R和ODVSlR ;然后分别对8个扇形图像部分进行透视展开得到4幅0DVS1L、 0DVS2L、0DVS3L 和 0DVS4L 的左透视展开图像和 4 幅 0DVS2R、0DVS3R、0DVS4R 和 ODVSlR 的右透视展开图像;其输出与全景立体图像输出单元连接;

[0012] 全景立体图像输出单元,用于输出全景立体图像给立体显示设备,将在所述的透视展开单元中以Viewerl、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备,其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端,4幅0DVS2R、0DVS3R、 0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给立体显示设备的右侧视频图像输入端。

[0013] 进一步,所述全方位摄像装置中,支撑杆粗的一端为外螺纹,支撑杆细的一端为内螺纹;所述的双曲面镜面中间开有一个第一小孔,所述第一小孔的直径与支撑杆的外螺纹直径相同,连接时将支撑杆的外螺纹穿入双曲面镜面的第一销孔孔中用螺帽将双曲面镜面与支撑杆连接起来;所述的透明玻璃面中间开有一个第二小孔,所述第二小孔的直径与与支撑杆的内螺纹孔径相同,连接时将支撑杆细的一端垂直于透明玻璃面用螺钉穿过透明玻璃面上的第二小孔将支撑杆与透明玻璃面连接起来;所述的附加镜头框的下面有一个与摄像单元镜头前口径相同的外螺纹,通过旋紧螺纹的方式将附加镜头框固定在摄像单元上, 所述的透明玻璃面嵌入在所述的附加镜头框内。

[0014] 再进一步,在所述全景立体图像输出单元中,采用柱状模型建模的方式对全景立体视觉进行建模,将构成全景立体视觉的四个全方位摄像装置均勻配置在柱状模型的中部,在所述的全景立体视觉柱状模型中有八个点,其中P1、P2、P3和P4这四个点是双目立体视觉的转折点,Pl〜0〜P2范围是ODVSl和0DVS2的双目立体视觉范围,属于Viewerl的双目立体视觉范围,在该立体视觉范围中ODVSl承担右眼的角色,0DVS2承担左眼的角色; 其中Μ"、M2_3、M3_4和Mf1这四个点分别为双目立体视觉水平视场中间点,M1^2是ODVSl和 0DVS2的双目立体视觉的中间点,M2_3是0DVS2和0DVS3的双目立体视觉的中间点,M3_4是 0DVS3和0DVS4的双目立体视觉的中间点,M4^是0DVS4和ODVS1的双目立体视觉的中间点; 对于Viewerl的双目立体视觉范围ODVSl的水平方向上的成像是45°〜180° _Φ2,本发明中以逆时针方向为正方向,0DVS2的水平方向上的成像是Φ2〜135°,将ODVS的中心点

到双目立体视觉水平视场中间点之间的距离定义为D的话,通过公式(9)计算出角度Φ2,

[0015]

Figure CN102243432AD00081

[0016] 式中,D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离,B为两个相邻ODVS中心点之间的距离,即基线距,Φ2为两个相邻ODVS的中心点之间的连线与某一个 ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角;

[0017] 同样原理,Ρ2〜0〜Ρ3范围是0DVS2和0DVS3的双目立体视觉范围,Ρ3〜◦〜 Ρ4范围是0DVS3和0DVS4的双目立体视觉范围,Ρ4〜0〜Pl范围是0DVS4和ODVSl的双目立体视觉范围,因此用表1来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS 在全景立体视觉的角色;

[0018]

Figure CN102243432AD00091

[0019] 表 1。

[0020] 更进一步,在所述的透视展开单元中,其透视展开算法实现如下:

[0021] 首先,建立全景图像上的任意一点ρ (x,y)与空间坐标系中一点P(X,Y,Ζ)的对应关系,空间中的一点P (X,Y,ζ),经过双曲镜面反射后,在全方位视觉传感器成像平面上形成对应的像点P (X,y),根据光学原理,得出像点P (X,y)与空间物点P (X,Y,Z)的一一对应关系:

[0022]

Figure CN102243432AD00092

[0023]

[0024] 式中,b,c是双曲面镜的长轴和焦距,f为摄像机的焦距;

[0025] 其次,建立空间坐标系中的物点P(X,Y,Z)与透视平面上的点p(i,j)的对应关系; 根据空间几何关系,得到公式(11);

[0026] X = R氺cos3 _i氺sin β

[0027] Y = +i*cos3 (11)

[0028] Z = D氺sin y _j氺cos γ

[0029] R = D*cos y +j*sin y

[0030] 式中,D为透视投影平面到双曲面焦点0的距离,角度β是入射光线在XY平面上的投影与X轴正方向的夹角,角度Y为入射光线与XY平面的夹角;

[0031] 参数D的大小是根据实际情况来确定,采用柱状模型建模的方式,那么参数D就是等价于ODVS的中心点到柱状模型的双目立体视觉的中间点的距离;

[0032] 将公式(11)代入公式(10)就能得到全景像素点与透视平面上像素点之间的一一对应关系;通过遍历透视图上的所有坐标点,求取其对应再全景图像上像点的坐标并将全景下像素点的颜色信息赋值给透视图像素点,即可得到以全景图像上某一点为中心展开的局部透视图像;[0033] 透视投影平面的宽度W由公式(12)来确定,

[0034]

Figure CN102243432AD00101

[0035] 式中,D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离,B为两个相邻ODVS中心点之间的距离;

[0036] 透视投影平面的高度H由公式(13)确定,

[0037] H = DX (tan (a Imax) +tan ( α 2min)) (13)

[0038] 式中,D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离,α Ifflax为 ODVS的最大仰角,α 2min为ODVS的最小俯角。

[0039] 在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计,进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标 A(X,Y,Ζ);

[0040] 双曲面镜构成的光学系统由下面5个等式表示;

[0041 ]

Figure CN102243432AD00102

[0042]

[0043]

[0044]

[0045]

[0046] 式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离, a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上的夹角,即方位角, α表示入射光线在)(Ζ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,Y表示折入射光线与Z轴的夹角;

[0047] 双曲面镜设计的核心是垂直视场范围的设计,即双目立体视觉的范围来最后确定;

[0048] 从公式(1)可知双曲线的形状可以由参数a、b来确定,这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达,其相互关系通过公式(6)进行计算;

[0049]

[0050]

Figure CN102243432AD00103

[0051] k = a/b

[0052] 对于全方位摄像装置的设计,镜面的大小和垂直视场范围是必须考虑的设计参数,同时镜面的直径必须小于70cm,S卩小于人的双眼距离,公式(7)表示了垂直视角α的计算方法,

[0053]

Figure CN102243432AD00104

[0054] 这里,Ri表示折反射镜面边缘的半径,h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离;

[0055] 双曲面镜面的离心率k设计必须满足以下3个约束条件,如公式⑶所示;

[0056] k > b/Rj

[0057] k < (h+2c) /Ri (8)

[0058] k > [ (h+2c) /4cb] - [b/ (h+2c)]

[0059] 式中,k为双曲面镜面的离心率,Ri表示折反射镜面边缘的半径,h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离,b为双曲面镜的虚轴的长度,c为双曲面镜的焦点到坐标原点的距离,即焦点距离。

[0060] 本发明的有益效果主要表现在:1、获取实时的全方位立体视频图像,不需要繁琐的摄像机标定工作;2、由于ODVS的设计采用的是折反射技术,因而不存在固定的焦距的问题,在任何区域范围内图像的清晰度是一样的;3、对3D的参数进行完成自动设定,不需要特有的专业人员来掌控摄像机的3D景深和3D效果的好坏。可广泛的应用于机器人视觉、 动画电影、游戏等许多应用领域。

附图说明

[0061] 图1为一种由两个ODVS构成的全方位立体摄像装置的结构图;

[0062] 图2为一种全景立体柱状模型图;

[0063] 图3为全景立体摄像装置平视剖面图;

[0064] 图4为全景立体摄像装置俯视图;

[0065] 图5为一种全景立体柱状模型的立体成像说明示意图;

[0066] 图6为单视点的全景视觉成像原理图;

[0067] 图7为单视点的全景视觉成像的结构图;

[0068] 图8为单视点的全景视觉成像的透视展开说明图;

[0069] 图9为一种全景立体柱状模型从Viewerl视角所见的、由左右两幅透视展开图构成的立体图像;

[0070] 图10为ODVSl所拍摄的全景图像和对ODVSl所拍摄的全景图像进行预处理的图像模版;

[0071] 图11为0DVS2所拍摄的全景图像和对0DVS2所拍摄的全景图像进行预处理的图像模版;

[0072] 图12为0DVS3所拍摄的全景图像和对0DVS3所拍摄的全景图像进行预处理的图像模版;

[0073] 图13为0DVS4所拍摄的全景图像和对0DVS4所拍摄的全景图像进行预处理的图像模版;

[0074] 图14为Viewerl视角观察到的立体图像;

[0075] 图15为Viewer2视角观察到的立体图像;

[0076] 图16为Viewer3视角观察到的立体图像;

[0077] 图17为Viewer4视角观察到的立体图像。

具体实施方式[0078] 下面结合附图对本发明作进一步描述。

[0079] 参照图1〜17,一种全景立体摄像装置,包括四台具有相同成像参数的全方位摄像装置和用于对四台全方位摄像装置的图像进行全景立体成像处理的微处理器,所述全方位摄像装置,以下用ODVS表示,四台ODVS的中心轴垂直均勻地配置在同一平面上的四个点上,两个相邻的ODVS的中心轴之间的距离都为一个定值,即B,相当于人的两眼之间的距离;然后对四个ODVS进行编号,ODVS的编号从第1象限开始以逆时针方向为顺序;每个 ODVS包括双曲面镜面2、上盖1、支撑杆3、透明玻璃面4、附加镜头框5、摄像单元6,如附图 7所示;所述的支撑杆3的外形为上粗下细的圆台,支撑杆3粗的一端为外螺纹,支撑杆3细的一端为内螺纹;所述的双曲面镜面2中间开有一个小孔,孔的直径与支撑杆3的外螺纹直径相同,连接时将支撑杆3的外螺纹穿入双曲面镜面2的孔中用螺帽将双曲面镜面2与支撑杆3连接起来;所述的透明玻璃面4中间开有一个小孔,孔的直径与与支撑杆3的内螺纹孔径相同,连接时将支撑杆3细的一端垂直于透明玻璃面4用螺钉穿过透明玻璃面4上的小孔将支撑杆3与透明玻璃面4连接起来;所述的附加镜头框5的下面有一个与摄像单元 6镜头前口径相同的外螺纹,通过旋紧螺纹的方式将附加镜头框5稳固的固定在摄像单元6 上,所述的透明玻璃面4嵌入在所述的附加镜头框5内;

[0080] 将四台具有相同成像参数的固定单视点ODVS集成构建一个全景立体摄像装置, 采用一个平面将四台具有相同成像参数的ODVS连接起来,通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上;连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上,将4台具有相同内外参数的摄像头固定在一个平面上;固定后的全景立体摄像装置平视剖面图如附图3所示,俯视图如附图4所示,相邻两个双曲面镜面轴线的距离为70cm,如图4中的B所示,表示为基线距,该基线距的距离与人类两眼之间的距离基本相同;

[0081] 固定单视点ODVS的工作原理是:进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Ζ);

[0082] 图6中的2-双曲线面镜,12-入射光线,13-双曲面镜的实焦点0m(0,0,c),14-双曲面镜的虚焦点即摄像单元6的中心0c(0,0,-c),15-反射光线,16-成像平面,17-实物图像的空间坐标A (X,Y,Z),18-入射到双曲面镜面上的图像的空间坐标,19-反射在成像平面上的点P(x,y)。

[0083] 图6中所示的双曲面镜构成的光学系统可以由下面5个等式表示;

[

Figure CN102243432AD00121

[0089] 式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离, a,b分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上的夹角,即方位角, α表示入射光线在)(Ζ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,Y表示折入射光线与Z轴的夹角;

[0090] 双曲面镜设计的核心是垂直视场范围的设计,即双目立体视觉的范围来最后确定。

[0091] 从公式(1)可知双曲线的形状可以由参数a、b来确定,这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达,其相互关系通过公式(6)进行计算;

[0092]

Figure CN102243432AD00131

[0093] [0094] k = a/b

[0095] 对于ODVS的设计,镜面的大小和垂直视场范围是必须考虑的设计参数,同时镜面的直径必须小于70cm,S卩小于人的双眼距离,公式(7)表示了垂直视角α的计算方法,

[0096]

Figure CN102243432AD00132

[0097] 这里,Ri表示折反射镜面边缘的半径,h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离;

[0098] 双曲面镜面的离心率k设计必须满足以下3个约束条件,如公式⑶所示;

[0099] k > b/Rj

[0100] k < (h+2c) /Ri (8)

[0101] k > [(h+2c)/4cb]-[b/(h+2c)]所述的微处理器,用于对四台ODVS的图像进行立体成像处理;主要包括硬件和软件,所述的微处理器的硬件采用一般市售的PC机,其中包括用于连接四台ODVS的视频卡;所述的微处理器的软件包括全景图像读取与预处理单元、 透视展开单元、全景立体图像输出单元;

[0102] 所述的全景图像读取与预处理单元用于读取四台ODVS的全景图像,分别启动4个线程,每个线程读取一个ODVS的全景图像,然后用模版对每个ODVS进行图像预处理,根据 ODVS的位置采用的模版是不同的,对于ODVSl采用图10中右边图的模版,对于0DVS2采用图11中右边图的模版,对于0DVS3采用图12中右边图的模版,对于0DVS4采用图13中右边图的模版,图像预处理的算法是将ODVS的全景图像,图10、图11、图12和图13中左边的全景图像与右边的模版进行相乘,相乘的结果是在ODVS的全景图像上仅仅存留了相乘模版的白色部分,即用于实现全景立体图像输出的图像部分;

[0103] 进一步,对全景立体视觉进行建模,本发明中采用柱状模型建模的方式,将构成全景立体视觉的四个ODVS均勻配置在柱状模型的中部,如附图5所示;这时图5中的最大的一个外圆就是全景立体视觉柱状模型,在所述的全景立体视觉柱状模型中有八个点,其中 P1、P2、P3和P4这四个点是双目立体视觉的转折点,Pl〜0〜P2范围是ODVSl和0DVS2的双目立体视觉范围,属于Viewer 1的双目立体视觉范围,在该立体视觉范围中ODVSl承担右眼的角色,0DVS2承担左眼的角色;其中Mi_2、M2_3、M3_4和Mf1这四个点分别为双目立体视觉水平视场中间点,Mp2是ODVS1和0DVS2的双目立体视觉的中间点,M2_3是0DVS2和0DVS3的双目立体视觉的中间点,M3_4是0DVS3和0DVS4的双目立体视觉的中间点,M4^1是0DVS4和 ODVSl的双目立体视觉的中间点;对于Viewerl的双目立体视觉范围ODVSl的水平方向上

13的成像是45°〜180° _Φ2,本发明中以逆时针方向为正方向,0DVS2的水平方向上的成像是Φ2〜135°,将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话,可以通过公式(9)计算出角度Φ2,

[0105] 式中,D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离,B为两个相邻ODVS中心点之间的距离,即基线距,Φ2为两个相邻ODVS的中心点之间的连线与某一个 ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角;

[0106] 同样原理,Ρ2〜0〜Ρ3范围是0DVS2和0DVS3的双目立体视觉范围,Ρ3〜◦〜 Ρ4范围是0DVS3和0DVS4的双目立体视觉范围,Ρ4〜0〜Pl范围是0DVS4和ODVSl的双目立体视觉范围,因此本发明用表1来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS在全景立体视觉的角色;

[0107] 表1全景立体视觉中的四个ODVS的角色和作用范围

[0108]

Figure CN102243432AD00141

[0109]

Figure CN102243432AD00142

[0110] 表1中的ODVS作用范围就是上述相乘模版的白色部分,如图10〜图13的右图所

不;

[0111] 所述的透视展开单元,用于对ODVS的作用范围图像进行展开,本发明中将全景立体图像从Viewerl、Viewer2、Viewer3和Viewer4等四个视角进行展开,其中Viewerl视角观察到的立体图像是由ODVSl和0DVS2的共同作用范围的图像通过透视展开后的图像, ODVSl的作用范围45°〜(180° -φ2)的图像通过透视展开后的图像如图14的左上图所示,起到了 Viewerl视角的右眼观察角色,0DVS2的作用范围Φ2〜135°的图像通过透视展开后的图像如图14的右上图所示,起到了 Viewerl视角的左眼观察角色;同样原理,对于 Viewer2、Viewer3和Viewer4观测视角可以分别得到三幅立体图像,如图15、图16和图17 所示;

[0112] 为了减少全景立体图像展开过程中的图像畸变,本发明中采用了一种透视展开方式,如附图8所示,关于透视展开算法实现如下:

[0113] 首先,建立全景图像上的任意一点ρ (x,y)与空间坐标系中一点P(X,Y,Ζ)的对应关系。如图8所示,空间中的一点Ρ(Χ,Υ,Ζ),经过双曲镜面反射后,在全方位视觉传感器成像平面上形成对应的像点P(χ,y),根据光学原理,可以得出像点p(x,y)与空间物点P(X, Y,Ζ)的一一对应关系:

[0114]

Figure CN102243432AD00151

[0116] 式中,b,c是双曲面镜的长轴和焦距,f为摄像机的焦距;

[0117] 其次,建立空间坐标系中的物点P(X,Y,Z)与透视平面上的点ρ (i,j)的对应关系; 根据空间几何关系,得到公式(11);

[0118]

Figure CN102243432AD00152

[0122] 式中,D为透视投影平面到双曲面焦点0的距离,角度β是入射光线在XY平面上的投影与X轴正方向的夹角,角度Y为入射光线与XY平面的夹角;

[0123] 参数D的大小是根据实际情况来确定,本发明中采用柱状模型建模的方式,那么参数D就是等价于ODVS的中心点到柱状模型的双目立体视觉的中间点的距离;

[0124] 进一步,将公式(11)代入公式(10)就能得到全景像素点与透视平面上像素点之间的一一对应关系;通过遍历透视图上的所有坐标点,求取其对应再全景图像上像点的坐标并将全景下像素点的颜色信息赋值给透视图像素点,即可得到以全景图像上某一点为中心展开的局部透视图像;

[0125] 关于如附图8所示的透视投影平面的宽度W由公式(12)来确定,

I-/ / (12)

[0126] ^ = +

[0127] 式中,D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离,B为两个相邻ODVS中心点之间的距离;

[0128] 关于如附图8所示的透视投影平面的高度H由公式(13)确定,

[0129] H = DX (tan (a Imax) +tan ( α 2min)) (13)

[0130] 式中,D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离,α Ifflax为 ODVS的最大仰角,α 2min为ODVS的最小俯角;

[0131] 以双目立体视觉水平视场中间点为两个相关ODVS成像的透视平面,如附图9所示,图中虚线的矩形为ODVSl以双目立体视觉水平视场中间点Μ"的透视平面,从Viewerl 的视场角度来说,相当于右眼看见的透视平面;图中实线的矩形为0DVS2以双目立体视觉水平视场中间点礼_2的透视平面,从Viewerl的角度来说,相当于左眼看见的透视平面;同样原理,从Viewer2、Viewer3和Viewer4的视场角度来说,都能分别获得左右眼的透视平面,共计4个不同视角的立体透视图像;[0132] 所述的全景立体图像输出单元,是将在所述的透视展开单元中以Viewerl、 Viewer2,Viewer3和Viewer4等四个视角进行展开的左右图像分两个通道输出给立体显示设备,其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端,4幅0DVS2R、0DVS3R、0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给立体显示设备的右侧视频图像输入端。

Claims (5)

1. 一种全景立体摄像装置,其特征在于:所述全景立体摄像装置包括四台具有相同成像参数的全方位摄像装置和用于对四台全方位摄像装置的图像进行全景立体成像处理的微处理器,四台全方位摄像装置的中心轴垂直均勻地配置在同一平面上的四个点上,两个相邻的全方位摄像装置的中心轴之间的距离都为一个定值;对四个全方位摄像装置进行编号,全方位摄像装置的编号从第1象限开始以逆时针方向为顺序;所述全方位摄像装置包括双曲面镜面、上盖、支撑杆、透明玻璃面、附加镜头框和摄像单元;所述的双曲面镜面中间开有一个第一小孔,所述的支撑杆为上粗下细的圆台,支撑杆粗的上端安装在所述第一小孔内,支撑杆的下端垂直安装在透明玻璃面上,且所述支撑杆的下端穿过透明玻璃面上的第二小孔;所述的附加镜头框的下部与摄像单元连接,所述的透明玻璃面嵌入在所述的附加镜头框上部内;所述的微处理器包括:全景图像读取与预处理单元,用于读取四台全方位摄像装置的全景图像并对全景图像做简单图像预处理,分别启动4个线程,每个线程读取一个全方位摄像装置的全景图像,然后用4种不同的模版对相应的全方位摄像装置进行图像预处理,其输出与透视展开单元连接;透视展开单元,用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开,首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理,分割成8个扇形图像部分,即0DVS1L、0DVS2L、0DVS3L、0DVS4L、0DVS2R、0DVS3R、 0DVS4R和ODVSlR ;然后分别对8个扇形图像部分进行透视展开得到4幅0DVS1L、0DVS2L、 0DVS3L和0DVS4L的左透视展开图像和4幅0DVS2R、0DVS3R、0DVS4R和ODVSlR的右透视展开图像;其输出与全景立体图像输出单元连接;全景立体图像输出单元,用于输出全景立体图像给立体显示设备,将在所述的透视展开单元中以Viewerl、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备,其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端,4幅0DVS2R、0DVS3R、 0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给立体显示设备的右侧视频图像输入端。
2.如权利要求1所述的全景立体摄像装置,其特征在于:所述全方位摄像装置中,支撑杆粗的一端为外螺纹,支撑杆细的一端为内螺纹;所述的双曲面镜面中间开有一个第一小孔,所述第一小孔的直径与支撑杆的外螺纹直径相同,连接时将支撑杆的外螺纹穿入双曲面镜面的第一销孔孔中用螺帽将双曲面镜面与支撑杆连接起来;所述的透明玻璃面中间开有一个第二小孔,所述第二小孔的直径与与支撑杆的内螺纹孔径相同,连接时将支撑杆细的一端垂直于透明玻璃面用螺钉穿过透明玻璃面上的第二小孔将支撑杆与透明玻璃面连接起来;所述的附加镜头框的下面有一个与摄像单元镜头前口径相同的外螺纹,通过旋紧螺纹的方式将附加镜头框固定在摄像单元上,所述的透明玻璃面嵌入在所述的附加镜头框内。
3.如权利要求1或2所述的全景立体摄像装置,其特征在于:在所述全景立体图像输出单元中,采用柱状模型建模的方式对全景立体视觉进行建模,将构成全景立体视觉的四个全方位摄像装置均勻配置在柱状模型的中部,在所述的全景立体视觉柱状模型中有八个点,其中PI、P2、P3和P4这四个点是双目立体视觉的转折点,Pl〜0〜P2范围是ODVSl 和0DVS2的双目立体视觉范围,属于Viewerl的双目立体视觉范围,在该立体视觉范围中 ODVSl承担右眼的角色,0DVS2承担左眼的角色;其中Mi_2、M2_3、M3_4和M4^这四个点分别为双目立体视觉水平视场中间点,Mp2是ODVS1和0DVS2的双目立体视觉的中间点,M2_3是0DVS2 和0DVS3的双目立体视觉的中间点,M3_4是0DVS3和0DVS4的双目立体视觉的中间点,M4^ 是0DVS4和ODVSl的双目立体视觉的中间点;对于Viewerl的双目立体视觉范围ODVSl的水平方向上的成像是45°〜180-Φ2,以逆时针方向为正方向,0DVS2的水平方向上的成像是Φ2〜135°,将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话,通过公式(9)计算出角度Φ2,
Figure CN102243432AC00031
式中,D为ODVS的中心点到双目立体视觉水平视场中间点之间的距离,B为两个相邻 ODVS中心点之间的距离,即基线距,Φ2为两个相邻ODVS的中心点之间的连线与某一个 ODVS的中心点与离该ODVS较远的双目立体视觉的转折点之间的连线的夹角;同样原理,Ρ2〜0〜Ρ3范围是0DVS2和0DVS3的双目立体视觉范围,Ρ3〜0〜Ρ4范围是0DVS3和0DVS4的双目立体视觉范围,Ρ4〜0〜Pl范围是0DVS4和ODVSl的双目立体视觉范围,因此用表1来归纳构成全景立体视觉的四个ODVS的成像范围以及各ODVS在全景立体视觉的角色;
Figure CN102243432AC00032
表1。
4.如权利要求3所述的全景立体摄像装置,其特征在于:在所述的透视展开单元中,其透视展开算法实现如下:首先,建立全景图像上的任意一点P (x,y)与空间坐标系中一点P(X,Y,Z)的对应关系, 空间中的一点Ρ(Χ,Y,Ζ),经过双曲镜面反射后,在全方位视觉传感器成像平面上形成对应的像点P(x,y),根据光学原理,得出像点Ρ (χ,y)与空间物点P (X,Y,Z)的一一对应关系:
Figure CN102243432AC00041
式中,b,c是双曲面镜的长轴和焦距,f为摄像机的焦距;其次,建立空间坐标系中的物点Ρ(χ,Y,ζ)与透视平面上的点P(i,j)的对应关系;根据空间几何关系,得到公式(11);
Figure CN102243432AC00042
式中,D为透视投影平面到双曲面焦点0的距离,角度β是入射光线在XY平面上的投影与X轴正方向的夹角,角度Y为入射光线与XY平面的夹角;参数D的大小是根据实际情况来确定,采用柱状模型建模的方式,那么参数D就是等价于ODVS的中心点到柱状模型的双目立体视觉的中间点的距离;将公式(11)代入公式(10)就能得到全景像素点与透视平面上像素点之间的一一对应关系;通过遍历透视图上的所有坐标点,求取其对应再全景图像上像点的坐标并将全景下像素点的颜色信息赋值给透视图像素点,即可得到以全景图像上某一点为中心展开的局部透视图像;透视投影平面的宽度W由公式(1¾来确定,I-/ / (12)式中,D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离,B为两个相邻 ODVS中心点之间的距离;透视投影平面的高度H由公式(1¾确定, H = DX (tan (a Imax) +tan ( α 2min)) (13)式中,D为ODVS的中心点到柱状模型的双目立体视觉的中间点的距离,α Ifflax为ODVS 的最大仰角,α 2min为ODVS的最小俯角。
5.如权利要求1或2所述的全景立体摄像装置,其特征在于:在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计,进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射,实物图像经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个点P(x,y)对应着实物在空间上的一个点的坐标A(X,Y,Ζ); 双曲面镜构成的光学系统由下面5个等式表示;
Figure CN102243432AC00043
Figure CN102243432AC00051
式中X、Y、Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a, b 分别是双曲面镜的实轴和虚轴的长度,Φ表示入射光线在XY平面上的夹角,即方位角,α 表示入射光线在)(Ζ平面上的夹角,这里将α大于或等于0时称为俯角,将α小于0时称为仰角,f表示成像平面到双曲面镜的虚焦点的距离,Y表示折入射光线与Z轴的夹角; 双曲面镜设计的核心是垂直视场范围的设计,即双目立体视觉的范围来最后确定; 从公式(1)可知双曲线的形状可以由参数a、b来确定,这两个参数也可以用双曲线焦点之间距离2c和离心率k进行表达,其相互关系通过公式(6)进行计算; c Ik - 2
Figure CN102243432AC00052
对于全方位摄像装置的设计,镜面的大小和垂直视场范围是必须考虑的设计参数,同时镜面的直径必须小于70cm,S卩小于人的双眼距离,公式(7)表示了垂直视角α的计算方法,
Figure CN102243432AC00053
这里,Ri表示折反射镜面边缘的半径,h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离;双曲面镜面的离心率k设计必须满足以下3个约束条件,如公式(8)所示; k > b/Rjk < (h+2c) /Ri (8)k > [ (h+2c)/4cb]-[b/(h+2c)]式中,k为双曲面镜面的离心率,Ri表示折反射镜面边缘的半径,h表示双曲面折反射镜面的焦点到反射镜面边缘的垂直距离,b为双曲面镜的虚轴的长度,c为双曲面镜的焦点到坐标原点的距离,即焦点距离。
CN 201110176998 2011-06-28 2011-06-28 全景立体摄像装置 CN102243432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110176998 CN102243432A (zh) 2011-06-28 2011-06-28 全景立体摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110176998 CN102243432A (zh) 2011-06-28 2011-06-28 全景立体摄像装置

Publications (1)

Publication Number Publication Date
CN102243432A true true CN102243432A (zh) 2011-11-16

Family

ID=44961561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110176998 CN102243432A (zh) 2011-06-28 2011-06-28 全景立体摄像装置

Country Status (1)

Country Link
CN (1) CN102243432A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523385A (zh) * 2011-12-30 2012-06-27 洛阳圣瑞机电技术有限公司 双线阵ccd相机共面共线拍摄调整装置
CN102665087A (zh) * 2012-04-24 2012-09-12 浙江工业大学 3d立体摄像设备的拍摄参数自动调整系统
CN102903090A (zh) * 2012-01-20 2013-01-30 李文松 全景立体图像合成方法、装置、系统和浏览装置
CN104024910A (zh) * 2012-01-03 2014-09-03 潘-维森有限责任公司 全景双焦物镜
CN104079917A (zh) * 2014-07-14 2014-10-01 中国地质大学(武汉) 一种360度全景立体相机
CN104121891A (zh) * 2014-07-07 2014-10-29 北京理工大学 基于5摄像头的智能机器人视觉装置
CN105164998A (zh) * 2012-11-09 2015-12-16 巴布技术有限公司 用于生成球面图像的系统和方法
CN105372791A (zh) * 2015-12-01 2016-03-02 中国科学院长春光学精密机械与物理研究所 一种全景成像系统
CN105374011A (zh) * 2015-12-09 2016-03-02 中电科信息产业有限公司 基于全景图像的点云数据拼接方法及装置
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106131534A (zh) * 2016-07-21 2016-11-16 深圳市华芯技研科技有限公司 全方位立体摄像装置及其系统和方法
WO2017120802A1 (en) * 2016-01-12 2017-07-20 Shanghaitech University Stitching method and apparatus for panoramic stereo video system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003054625A1 (en) * 2001-12-20 2003-07-03 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus
WO2006112536A1 (en) * 2005-04-18 2006-10-26 Sharp Kabushiki Kaisha Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
CN1878241A (zh) * 2005-06-07 2006-12-13 浙江工业大学 具有全景摄像功能的手机
CN101271187A (zh) * 2008-03-20 2008-09-24 汤一平 无死角的双目立体全方位视觉传感装置
CN101393012A (zh) * 2008-10-16 2009-03-25 汤一平 新型的双目立体视觉测量装置
CN102043322A (zh) * 2010-11-09 2011-05-04 浙江工业大学 便携式360°环幕影院系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003054625A1 (en) * 2001-12-20 2003-07-03 Wave Group Ltd. A panoramic stereoscopic imaging method and apparatus
WO2006112536A1 (en) * 2005-04-18 2006-10-26 Sharp Kabushiki Kaisha Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
CN1878241A (zh) * 2005-06-07 2006-12-13 浙江工业大学 具有全景摄像功能的手机
CN101271187A (zh) * 2008-03-20 2008-09-24 汤一平 无死角的双目立体全方位视觉传感装置
CN101393012A (zh) * 2008-10-16 2009-03-25 汤一平 新型的双目立体视觉测量装置
CN102043322A (zh) * 2010-11-09 2011-05-04 浙江工业大学 便携式360°环幕影院系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEORGE G.BARTON ET.AL: "Static omnidirectional stereoscopic display system", 《PROCEEDINGS OF SPIE》, vol. 3835, 30 September 1999 (1999-09-30) *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523385B (zh) * 2011-12-30 2016-01-20 洛阳圣瑞机电技术有限公司 双线阵ccd相机共面共线拍摄调整装置
CN102523385A (zh) * 2011-12-30 2012-06-27 洛阳圣瑞机电技术有限公司 双线阵ccd相机共面共线拍摄调整装置
CN104024910A (zh) * 2012-01-03 2014-09-03 潘-维森有限责任公司 全景双焦物镜
CN102903090B (zh) * 2012-01-20 2015-11-25 李文松 全景立体图像合成方法、装置、系统和浏览装置
CN102903090A (zh) * 2012-01-20 2013-01-30 李文松 全景立体图像合成方法、装置、系统和浏览装置
CN102665087B (zh) 2012-04-24 2014-08-06 浙江工业大学 3d立体摄像设备的拍摄参数自动调整系统
CN102665087A (zh) * 2012-04-24 2012-09-12 浙江工业大学 3d立体摄像设备的拍摄参数自动调整系统
CN105164998A (zh) * 2012-11-09 2015-12-16 巴布技术有限公司 用于生成球面图像的系统和方法
CN105164998B (zh) * 2012-11-09 2017-03-08 巴布技术有限公司 用于生成球面图像的系统和方法
CN104121891A (zh) * 2014-07-07 2014-10-29 北京理工大学 基于5摄像头的智能机器人视觉装置
CN104121891B (zh) * 2014-07-07 2016-04-27 北京理工大学 基于5摄像头的智能机器人视觉装置
CN104079917A (zh) * 2014-07-14 2014-10-01 中国地质大学(武汉) 一种360度全景立体相机
CN105372791A (zh) * 2015-12-01 2016-03-02 中国科学院长春光学精密机械与物理研究所 一种全景成像系统
CN105372791B (zh) * 2015-12-01 2017-08-25 中国科学院长春光学精密机械与物理研究所 一种全景成像系统
CN105374011A (zh) * 2015-12-09 2016-03-02 中电科信息产业有限公司 基于全景图像的点云数据拼接方法及装置
WO2017120802A1 (en) * 2016-01-12 2017-07-20 Shanghaitech University Stitching method and apparatus for panoramic stereo video system
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106131534A (zh) * 2016-07-21 2016-11-16 深圳市华芯技研科技有限公司 全方位立体摄像装置及其系统和方法

Similar Documents

Publication Publication Date Title
Zomet et al. Mosaicing new views: The crossed-slits projection
US3959580A (en) Directly viewable stereoscopic projection system
Peleg et al. Omnistereo: Panoramic stereo imaging
US20050053274A1 (en) System and method for 3D photography and/or analysis of 3D images and/or display of 3D images
US7176960B1 (en) System and methods for generating spherical mosaic images
US20050207486A1 (en) Three dimensional acquisition and visualization system for personal electronic devices
US20050168568A1 (en) Displaying a wide field of view video image
US20090034086A1 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
Peleg et al. Cameras for stereo panoramic imaging
CN101587386A (zh) 光标处理方法、装置及系统
US20120300044A1 (en) Systems and Methods for Alignment, Calibration and Rendering for an Angular Slice True-3D Display
CN101673395A (zh) 图像拼接方法及装置
US20060132916A1 (en) Autostereoscopic display
CN101132535A (zh) 基于转台的多投影大屏拼接方法
US20120249730A1 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
CN101021678A (zh) 一种环幕摄像系统
CN101308018A (zh) 基于双目全方位视觉传感器的立体视觉测量装置
CN102520970A (zh) 一种立体用户界面的生成方法及装置
CN202696756U (zh) 移动终端的拍摄装置以及移动终端
Yamanoue The differences between toed-in camera configurations and parallel camera configurations in shooting stereoscopic images
CN201523430U (zh) 一种全景视频监控系统
CN1965578A (zh) 数码3d/360度照相机系统
WO2003054625A1 (en) A panoramic stereoscopic imaging method and apparatus
Birklbauer et al. Panorama light‐field imaging
JP2010250452A (ja) 任意視点画像合成装置

Legal Events

Date Code Title Description
C06 Publication
C10 Entry into substantive examination
C12 Rejection of a patent application after its publication