CN103235478B - 用于环幕立体摄像的系统、设备、图像处理方法及装置 - Google Patents
用于环幕立体摄像的系统、设备、图像处理方法及装置 Download PDFInfo
- Publication number
- CN103235478B CN103235478B CN201210555294.5A CN201210555294A CN103235478B CN 103235478 B CN103235478 B CN 103235478B CN 201210555294 A CN201210555294 A CN 201210555294A CN 103235478 B CN103235478 B CN 103235478B
- Authority
- CN
- China
- Prior art keywords
- vertebral body
- corner reflector
- camera head
- reflecting mirror
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了用于环幕立体摄像的系统、设备、图像处理方法及装置,其中,设备包括:椎体反射镜,外锥面为反射面;第一摄像群组,包括多个围绕椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过椎体反射镜形成的虚像均在椎体反射镜的椎体高所在轴线上;第二摄像群组,包括多个围绕椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;第一摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像,在所述椎体反射镜的椎体高所在轴线上具有相对位移。
Description
技术领域
本发明涉及摄像技术领域,特别是涉及一种用于环幕立体摄像的系统、设备、图像处理方法及装置
背景技术
环幕电影是指将拍摄的景物影像放映到环形银幕上,使置身于幕圈内的观众获得强烈临场感的电影。根据所用摄影机(或放映机)的数量,可分为单机环幕电影与多机环幕电影两大类。目前世界上广泛应用的是由9台摄影机组合的环幕摄影机,通过反光镜拍摄。
现有的技术只能进行环幕电影的拍摄,不能进行环幕立体电影的拍摄,因此目前没有一种摄像设备可以用于拍摄环幕立体电影,即无法获得环幕立体图像对。
此外,目前如果想要得到立体的图像,必须通过人工手绘深度图的方法进行,而人工手绘深度图的方式非常耗费人力和时间,效率很低;而且人工手绘的主观性较强,因此实际的效果比较差。所以,目前也没有较好的图像处理方法可以用于环幕立体摄像。
发明内容
本发明提供了一种用于环幕立体摄像的系统、设备及方法,能够用于实现环幕立体摄像,而且可以提高环幕立体摄像的效率和效果。
本发明提供了如下方案:
本发明公开了一种用于环幕立体摄像的系统,包括:椎体反射镜,所述椎体反射镜的外锥面为反射面;第一摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;第二摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;所述第一摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像,在所述椎体反射镜的椎体高所在轴线上具有相对位移;深度处理模块,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像为所述第一摄像群组拍摄所得,所述第二二维图像为所述第二摄像群组拍摄所得,所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;立体图像对处理模块,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向垂直的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
本发明还公开了一种用于环幕立体摄像的设备,包括:椎体反射镜,所述椎体反射镜的外锥面为反射面;第一摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各所述摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;第二摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各所述摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;所述第一摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像,在所述椎体反射镜的椎体高所在轴线上具有相对位移。
可选的,所述椎体反射镜具体包括第一椎体反射镜和第二椎体反射镜,并且,所述第一椎体反射镜和所述第二椎体反射镜的椎体高所在轴线重合;所述第一摄像群组位于所述第一椎体反射镜的锥顶一侧,所述第一摄像群组中的各摄像装置的镜头等效光心通过所述第一椎体反射镜形成虚像;所述第二摄像群组位于所述第二椎体反射镜的锥顶一侧,所述第二摄像群组中的各摄像装置的镜头等效光心通过所述第二椎体反射镜形成虚像。
可选的,所述第一椎体反射镜与所述第二椎体反射镜锥底相对;或,所述第一椎体反射镜与所述第二椎体反射镜锥顶相对;或,所述第一椎体反射镜的锥底与所述第二椎体反射镜的锥顶相对。
可选的,所述第一摄像群组中的各摄像装置的镜头等效光心均置于所述第一椎体反射镜椎体高所在轴线相对所述第一椎体反射镜母线的轴对称的线所组成的面上;所述第二摄像群组中的各摄像装置的镜头等效光心均置于所述第二椎体反射镜椎体高所在轴线相对所述第二椎体反射镜母线的轴对称的线所组成的面上。
可选的,所述椎体反射镜具体为第一椎体反射镜;所述第一摄像群组中的各摄像装置围绕所述第一椎体反射镜的椎体高所在轴线分布,各摄像装置的镜头等效光心通过所述第一椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;所述第二摄像群组中的各摄像装置围绕所述第一椎体反射镜的椎体高所在轴线分布,各摄像装置的镜头等效光心通过所述第一椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上。
可选的,所述第一摄像群组和第二摄像群组均置于所述第一椎体反射镜的锥顶一侧;所述第一摄像群组中各摄像装置的镜头等效光心距所述第一椎体反射镜的椎体高所在轴线的距离,与所述第二摄像群组中各摄像装置的镜头等效光心距所述第一椎体反射镜的椎体高所在轴线的距离不等。
可选的,所述第一摄像群组中各摄像装置的镜头等效光心和所述第二摄像群组中各摄像装置的镜头等效光心,均置于所述第一椎体反射镜椎体高所在轴线相对所述第一椎体反射镜母线的轴对称的线所组成的面上。
本发明还提供了一种应用前述的设备进行环幕立体摄像的图像处理方法,包括:根据所述设备中的第一摄像群组对拍摄对象进行拍摄得到的第一二维图像,和所述第二摄像群组对所述拍摄对象进行拍摄得到的第二二维图像,获得所述拍摄对象的深度信息;所述第一二维图像和第二二维图像是在第一方向上具有第一视差的立体图像对,所述第一方向为所述设备中椎体反射镜的椎体高所在轴线的方向;根据一针对所述拍摄对象的二维图像和所述拍摄对象的深度信息,以及与所述第一方向垂直的第二方向上所需的第二视差,获得在所述第二方向上的具有所述第二视差的立体图像对。
本发明还公开了一种用于环幕立体摄像的图像处理方法,包括:根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像和第二二维图像为对所述拍摄对象拍摄所得,并且所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向垂直的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
本发明还公开了一种用于环幕立体摄像的图像处理装置,包括:深度处理模块,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像和第二二维图像为对所述拍摄对象拍摄所得,并且所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;立体图像对处理模块,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向垂直的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
本发明还公开了一种用于环幕立体摄像的系统,包括:椎体反射镜,所述椎体反射镜的外锥面为反射面;第一摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;第二摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;所述第一摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像,在所述椎体反射镜的椎体高所在轴线上具有第一相对位移深度处理模块,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像为所述第一摄像群组拍摄所得,所述第二二维图像为所述第二摄像群组拍摄所得,所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;立体图像对处理模块,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
本发明还公开了一种应用权利要求前述的设备进行环幕立体摄像的图像处理方法,包括:根据所述设备中的第一摄像群组对拍摄对象进行拍摄得到的第一二维图像,和所述第二摄像群组对所述拍摄对象进行拍摄得到的第二二维图像,获得所述拍摄对象的深度信息;所述第一二维图像和第二二维图像是在第一方向上具有第一视差的立体图像对,所述第一方向为所述设备中椎体反射镜的椎体高所在轴线的方向;根据一针对所述拍摄对象的二维图像和所述拍摄对象的深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上的具有所述第二视差的立体图像对。
本发明还公开了一种用于环幕立体摄像的图像处理方法,包括:根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像和第二二维图像为对所述拍摄对象拍摄所得,并且所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
本发明还公开了一种用于环幕立体摄像的图像处理装置,包括:深度处理模块,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像和第二二维图像为对所述拍摄对象拍摄所得,并且所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;立体图像对处理模块,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
通过本发明提供的实施例可以看出,因为在本发明的用于环幕立体摄像的设备中,第一摄像群组中各摄像装置的镜头等效光心和第二摄像群组中各摄像装置的镜头等效光心通过椎体反射镜所成的虚像,在椎体反射镜椎体高所在轴线上具有相对位移,即相当于在第一方向上存在视差,而且由于是在椎体高所在轴线的方向上存在视差,因此两个摄像群组在拍摄时不会彼此遮挡,也不会造成视觉错误,因此通过本发明的设备,可以拍摄出彼此没有相互遮挡的立体图像对。进一步,通过这一立体图像对可以获得环幕拍摄对象的深度信息,于是,就可以根据该深度信息、一个二维图像,以及与第一方向具有指定偏移角度的第二方向上,比如在与所述椎体反射镜椎体高所在轴线垂直的第二方向上所需的第二视差,获得在第二方向上具有第二视差的立体图像对,从而满足人们观看环幕立体图像的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的用于环幕立体摄像的设备结构示意图;
图2示出了根据本发明一个实施例的非连续的椎体反射镜结构示意图;
图3示出了根据本发明另一个实施例的用于环幕立体摄像的设备结构示意图;
图4示出了根据本发明另一个实施例的用于环幕立体摄像的设备结构示意图;
图5示出了根据本发明另一个实施例的用于环幕立体摄像的设备结构示意图;
图6示出了根据本发明另一个实施例的用于环幕立体摄像的设备结构示意图;
图7示出了根据本发明另一个实施例的用于环幕立体摄像的设备结构示意图;
图8示出了根据本发明另一个实施例的用于环幕立体摄像的设备结构示意图;
图9示出了根据本发明一个实施例的摄像装置成像示意图;
图10A示出了观众观看与摄像机拍摄方向同向时可获知正确立体图的示意图;
图10B示出了观众观看与摄像机拍摄方向不同向时造成认知错的示意图;
图11示出了根据本发明一个实施例的应用前述设备进行环幕立体摄像的图像处理方法流程图;
图12示出了根据二维图像和深度信息获取立体图像对的原理示意图一;
图13示出了根据二维图像和深度信息获取立体图像对的原理示意图二;
图14示出了根据二维图像和深度信息获取立体图像对的原理示意图三;
图15示出了根据本发明一个实施例的图像处理方法原理示意图;
图16示出了根据本发明另一个实施例的图像处理方法原理示意图;
图17示出了根据本发明一个实施例的用于环幕立体摄像的图像处理装置结构示意图;
图18示出了根据本发明一个实施例的用于环幕立体摄像的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的一个实施例中,公开了一种用于环幕立体摄像的设备实施例,包括:椎体反射镜,所述椎体反射镜的外锥面为反射面;第一摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各所述摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;第二摄像群组,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各所述摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;所述第一摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像,在所述椎体反射镜的椎体高所在轴线上具有相对位移。所述相对位移的具体大小可以根据实际需要而定,比如可以是人眼的瞳距大小,也可以更大些,相对位移越大,对越远距离的物体的立体成像越好。
请参阅图1,其示出了根据本发明一个实施例的用于环幕摄像的设备的结构示意图。
该设备包括两个椎体反射镜,即具体包括第一椎体反射镜101和第二椎体反射镜102,以及第一摄像群组103和第二摄像群组104,其中第一摄像群组103包括多个摄像装置1031,第二摄像群组104包括多个摄像装置1041。
其中,第一椎体反射镜101和第二椎体反射镜102均具有锥体结构的外锥面,外锥面为反射面,该反射面可以是连续的椎体反射面,也可以是非连续的椎体反射面。图1中示出的椎体反射镜是具有连续反射面的,比如可以是连续镜面。图2中示出的椎体反射镜201是具有非连续反射面的,具体是棱锥体的反射面,即反射面表面不是完全连续、平滑的镜面,而是在反射面上有突起的棱,相当于是多个平面的反射镜组件围绕椎体反射镜的椎体高所在轴线拼接在一起形成一个棱锥体的反射镜,其中每个反射镜组件都是平面、连续的,形状是锥形或者也可以说是梯形。本领域技术人员可以理解,当围绕椎体反射镜的椎体高所在轴线拼接在一起的反射镜组件足够多时,近乎等同于连续的反射面,实际拍摄出的效果,也与具有连续的椎体反射面的椎体反射镜类似,拍摄出的误差在允许的范围内,因此这种结构的椎体反射镜在本发明各实施例(包括本实施例及以后的各设备实施例)中均是适用的。
第一椎体反射镜101和第二椎体反射镜102的椎体高所在轴线重合。即两个椎体反射镜共轴。第一摄像群组103包括多个围绕第一椎体反射镜101的椎体高所在轴线分布的摄像装置1031。第一摄像群组103位于第一椎体反射镜101的锥顶一侧。至于第一摄像群组103如何位于第一椎体反射镜101的锥顶一侧,则有很多具体实现的手段。比如,可以在第一椎体反射镜101的锥顶一侧设置一固定连接装置,比如图1中所示的柱体结构的固定连接装置105,将第一摄像群组103中的各摄像装置1031分布于所述柱体结构的第一固定连接装置105的侧面。本领域技术人员可以理解,柱体结构的固定连接装置105仅仅是为了使得第一摄像群组103固定于第一椎体反射镜101的锥顶一侧,使得第一摄像群组103中的各摄像装置1031的镜头朝向第一椎体反射镜101的反射面,进而可以通过第一椎体反射镜101的反射形成虚像从而对拍摄对象进行拍摄,因此,固定连接装置105的具体形状、固定连接方式均没有限制,只要符合光学仪器固定连接的要求、不影响拍摄、成像效果即可。
第一摄像群组103中的各摄像装置1031的镜头等效光心均置于第一锥体反射镜101椎体高所在轴线相对第一椎体反射镜101母线的轴对称的线所组成的面上,即,第一摄像群组103中的各摄像装置1031的镜头等效光心通过第一椎体反射镜101形成的虚像,均在第一椎体反射镜101的椎体高所在轴线上。可选的,各摄像装置1031的镜头等效光心距第一椎体反射镜101椎体高所在轴线的垂直距离相等,即第一摄像群组103中各摄像装置1031的镜头等效光心通过第一椎体反射镜101形成的虚像重合。这种情况下,通过各摄像装置1031拍摄到的图像在第一椎体反射镜101椎体高所在轴线的方向上没有错位。但是,也不排除第一摄像群组103中各摄像装置1031的镜头等效光心距第一椎体反射镜101椎体高所在轴线的垂直距离不完全相等,仅仅保证所成虚像在椎体高所在轴线上,但在椎体高所在轴线的方向上具有一些错位。这种情况下,如果截取各图像中一部分未错位的图像来使用,或者后期进行常规的图像处理也是可以的。
本领域技术人员可以理解,由于光学仪器在制作过程中也是允许存在一定误差的,因此,各摄像装置1031的镜头等效光心通过第一椎体反射镜101形成的虚像,如果因为误差偏离第一椎体反射镜101的椎体高所在轴线(比如毫米级别的偏离),只要不影响拍摄的图像实质内容和效果,则可以忽略不计,因误差导致的偏离仍然可以认为镜头等效光心的虚像还是在椎体高所在轴线上,不应以此认为不在本发明所述的保护范围内。
在图1中所示的示例中,第二摄像群组104与第一摄像群组101的结构相同,第二椎体反射镜102与第一椎体反射镜101的结构也相同,第二摄像群组102与第二椎体反射镜之间的位置、连接关系,也同第一摄像群组103与第一椎体反射镜101之间的位置、连接关系相同。
具体而言,第二摄像群组104也包括多个围绕第二椎体反射镜102的椎体高所在轴线分布的摄像装置1041。第二摄像群组104位于第二椎体反射镜102的锥顶一侧。至于第二摄像群组104如何位于第二椎体反射镜102的锥顶一侧,则有很多具体实现的手段。比如,可以在第二椎体反射镜102的锥顶一侧设置一固定连接装置,比如图1中所示的柱体结构的固定连接装置106,将第一摄像群组104中的各摄像装置1041分布于所述柱体结构的固定连接装置106的侧面。本领域技术人员可以理解,柱体结构的固定连接装置106仅仅是为了使得第二摄像群组104固定于第二椎体反射镜102的锥顶一侧,使得第二摄像群组104中的各摄像装置1041可以通过第二椎体反射镜102的反射形成虚像从而对拍摄对象进行拍摄,因此,固定连接装置106的具体形状、固定连接方式均没有限制,只要符合光学仪器固定连接的要求、不影响拍摄、成像效果即可。
第二摄像群组104中的各摄像装置1041的镜头等效光心均置于第二椎体反射镜102椎体高所在轴线相对第二椎体反射镜102母线的轴对称的线所组成的面上,即,第二摄像群组104中的各摄像装置1041通过第二椎体反射镜102形成的虚像均在第二椎体反射镜102的椎体高所在轴线上。可选的,各摄像装置1041的镜头等效光心距第二椎体反射镜102椎体高所在轴线的垂直距离相等,即第二摄像群组104中各摄像装置1041的镜头等效光心通过第二椎体反射镜102形成的虚像重合。这种情况下,通过各摄像装置1041的镜头等效光心拍摄到的图像在第二椎体反射镜102椎体高所在轴线的方向上没有错位。但是,也不排除第二摄像群组104中各摄像装置1041的镜头等效光心距第二椎体反射镜104椎体高所在轴线的垂直距离不完全相等,仅仅保证所成虚像在椎体高所在轴线上,但在椎体高所在轴线的方向上具有一些错位。这种情况下,如果截取各图像中一部分未错位的图像来使用也是可以的。
本领域技术人员可以理解,由于光学仪器在制作过程中也是允许存在一定误差的,因此,各摄像装置1041的镜头等效光心通过第二椎体反射镜102形成的虚像,如果因为误差偏离第二椎体反射镜102的椎体高所在轴线(比如毫米级别的偏离),只要不影响拍摄的图像实质内容和效果,则可以忽略不计,因误差导致的偏离仍然可以认为镜头光心的虚像还是在椎体高所在轴线上,不应以此认为不在本发明所述的保护范围内。
第一椎体反射镜101与第二椎体反射镜102锥底相对。第一摄像群组103位于第一椎体反射镜101的锥顶一侧,第二摄像群组104位于第二椎体反射镜102的锥顶一侧。
第一椎体反射镜101的锥底和第二椎体反射镜102的锥底可以采用现有的精密仪器常规的固定、连接方式,予以相互固定或连接。在实际生产过程中,也可以直接将第一椎体反射镜101和第二椎体反射镜102生产为一体结构。当前,也不排除第一椎体反射镜101的锥底和第二椎体反射镜102的锥底完全不通过任何方式予以相互固定或连接,只是将第一椎体反射镜101的锥底放置在第二椎体反射镜102的锥底上面,只要周围环境可以保证两者能够相对稳定、不滑动,不影响拍摄的图像效果即可。由此可见,本发明实施例对第一椎体反射镜101与第二椎体反射镜102之间的固定、连接方式并没有限制,只要进行拍摄时,第一椎体反射镜101与第二椎体反射镜102之间的位置关系相对固定即可。
第一椎体反射镜101和第二椎体反射镜102的椎体高所在轴线重合,因此第一摄像群组103中各摄像装置1031的镜头等效光心通过第一椎体反射镜101形成的虚像,与第二摄像群组104中各摄像装置1041的镜头等效光心通过第二椎体反射镜102形成的虚像,在同一椎体高所在轴线上。但是两者的虚像并不重合,即两者的虚像在第一椎体反射镜101、第二椎体反射镜102共同的椎体高所在轴线上具有相对位移。
由于第一摄像群组103和第二摄像群组104在椎体高所在轴线的方向上,间隔着第一椎体反射镜101和第二椎体反射镜102,因此第一摄像群组103中各摄像装置的镜头等效光心的虚像和第二摄像群组104中各摄像装置的镜头等效光心的虚像,在第一椎体反射镜101或第二椎体反射镜102的椎体高所在轴线上具有相对位移,于是就可以依靠这两个摄像群组通过两个椎体反射镜在不同的空间位置获取到两幅二维图像,即可获得在椎体高所在轴线方向上分布的具有视差的立体图像对。如果按照图1中所示的设备放置角度(即椎体反射镜的椎体高所在轴线垂直于大地水平面),那么依靠这这个设备就可以在纵向(垂直于大地水平面的方向)上的两个不同位置获得两幅二维图像,这两个二维图像是在椎体反射镜的椎体高所在轴线上具有第一视差的立体图像对,即上下分布的立体图像对。
为了达到上述获得在椎体反射镜的椎体高所在轴线上存在视差的立体图像对,需要保证第一摄像群组103中各摄像装置1031的镜头等效光心和第二摄像群组104中各摄像装置1041的镜头等效光心,在第一椎体反射镜101或第二椎体反射镜102的椎体高所在轴线上分别所成的虚像具有相对位移。而要保证两者在反射镜椎体高所在轴线上的虚像具有相对位移,则有多种具体实现方式。
除了图1所示的各部件之间的位置关系可以实现获得具有视差的立体图像对外,还有其他各部件之间的位置关系也可以达到这个目的。
例如,请参看图3,其示出了根据本发明另一个实施例的用于环幕摄像的设备的结构示意图。
图3所示设备中的第一摄像群组103、第二摄像群组104、第一椎体反射镜101以及第二椎体反射镜102,分别与图1所示设备中的第一摄像群组103、第二摄像群组104、第一椎体反射镜101以及第二椎体反射镜102的结构相同,具体可以参照前相关部件的描述,不再赘述。第一摄像群组103和第一椎体反射镜101之间的位置关系在图1和图3中也是相同的,对应的,第二摄像群组104和第二椎体反射镜102之间的位置关系在图1中和图3中也是相同的。
图3所示设备和图1所示设备的区别之处,主要在于第一椎体反射镜101和第一摄像群组103作为一个整体看待时,第二椎体反射镜102和第二摄像群组104也作为一个整体看待时,这两个整体之间的位置关系有所变化。
具体而言,在图3中,第一椎体反射镜101和第二椎体反射镜102锥顶相对。前面已经描述过,第一摄像群组103位于一椎体反射镜101的锥顶一侧,第二摄像群组104位于第二椎体反射镜102的锥顶一侧,因此实际上,第一椎体反射镜101和第二椎体反射镜102之间隔着第一摄像群组103和第二摄像群组104,即第一摄像群组103中各摄像装置1031和第二摄像群组104中各摄像装置1041相邻接、共轴(椎体高所在轴),并且摄像装置的镜头朝向相反。第一椎体反射镜101的锥顶和第二椎体反射镜102的锥顶,不是直接接触相对,而是隔着两个摄像群组相对。由于第一摄像群组103和第二摄像群组104是分别通过第一椎体反射镜101和第二椎体反射镜102反射所成的虚像进行拍摄,而第一椎体反射镜101和第二椎体反射镜102并不是直接相连,中间隔着第一摄像群组103和第二摄像群组104,所以第一摄像群组103中各摄像装置1031的镜头等效光心和第二摄像群组104中各摄像装置1041的镜头等效光心,在椎体高所在轴线上所成的虚像之间也必然存在一定的相对位移,从而可以保证可以获得在椎体高所在轴线方向上分布的存在视差的立体图像对。
应当注意的是,在图3中,第一摄像群组103中的各摄像装置1031和第二摄像群组104中的各摄像装置1041一一对齐的,即每个摄像装置1031的底部都邻接着一个摄像装置1041的底部,两个摄像装置的镜头朝向不同,摄像装置1031的镜头朝向第一椎体反射镜101的反射面,摄像装置1041的镜头朝向第二椎体反射镜102的反射面。第一摄像群组103和第二摄像群组的位置连接关系除了图3所示的方式外,还可以如图4所示,即第一摄像群组103中各摄像装置1031和第二摄像群组104中各摄像装置1041彼此交错放置,比如每两个摄像装置1031中间穿插放置一个摄像装置1041,或者说每两个摄像装置1041中间穿插放置一个摄像装置1031,即每个摄像装置1031底部不再与另一个摄像装置1041的底部相对。当然,第一摄像群组103中各摄像装置1031的镜头朝向,仍然与第二摄像群组104中各摄像装置1041的镜头朝向相反,即,摄像装置1031的镜头朝向第一椎体反射镜101的反射面,摄像装置1041的镜头朝向第二椎体反射镜102的反射面。
再例如,请参考图5,其示出了根据本发明另一个实施例的用于环幕摄像装置的设备的结构示意图。
如果将第一摄像群组103和第一反射镜101当做一个整体看待,同理,第二摄像群组104和第二反射镜102也当做一个整体看待,那么这两个整体各自的内部结构,与图1、图3中所示的一样,因此对这部分内容不再赘述,参考前述的各实施例即可。图5与图1、图3的区别之处,仅在于这两个整体之间的相对位置关系有所变化。而且,第一椎体反射镜101和第二椎体反射镜102的椎体高所在轴线也仍然是重合的。
具体而言,在图5中,第一椎体反射镜101的锥底与第二椎体反射镜102的锥顶相对。同理,由于第一摄像群组103还是在第一椎体反射镜101的锥顶一侧,而第二摄像群组104还是在第二椎体反射镜102的锥顶一侧,因此第一椎体反射镜101和第二椎体反射镜102之间隔着第二摄像群组104,即第一椎体反射镜101的锥底和第二椎体反射镜102的锥顶不是直接接触相对、不是邻接关系,而是隔着第二摄像群组104相对。换而言之,在第一椎体反射镜101或第二椎体反射镜102的椎体高所在轴线上,看各部件的顺次分布是:第一摄像群组103、第一椎体反射镜101、第二摄像群组104、第二椎体反射镜102。由此可以看出,第一摄像群组103中各摄像装置的镜头等效光心与第二摄像群组104中各摄像装置的镜头等效光心,在第一椎体反射镜101或第二椎体反射镜102的椎体高所在轴线上的虚像彼此存在相对位移,从而可以获得在反射镜椎体高所在轴线方向上分布的存在视差的立体图像对。
在具体拍摄时,图5所示的设备可以按照图5当前所示的摆放方式进行拍摄,也可以将图5中的设备倒置过来,即如图6所示的设备摆放方式进行拍摄。这两种摆放方式,都不影响环幕摄像的效果。
此外,本领域技术人员可以理解,在实际拍摄时的设备放置角度可以根据实际需要调整,比如可以是水平放置在地面上进行拍摄,也可以是为了图像的艺术效果倾斜一定角度拍摄,均可以得到在第一椎体反射镜101和第二椎体反射镜102椎体高所在轴线上分布的具有视差的立体图像对。
请参阅图7,其示出了根据本发明另一个实施例的用于环幕摄像的设备的结构示意图,以及请一并参阅图8,其示出了根据本发明另一个实施例的用于环幕摄像的设备的结构示意图。图7和图8所示的设备结构完全一样,只不过是摆放方向不同,在实际拍摄中,这两种摆放方向都是可行的。
上述图7或图8中的设备包括第三椎体反射镜401、第三摄像群组403和第四摄像群组404。
其中,第三椎体反射镜401的外锥面为反射面,该反射面是可以连续的椎体反射面,比如连续镜面,也可以是如图2所示的非连续的椎体反射面。第三摄像群组403,包括多个围绕第一椎体反射镜的椎体高所在轴线分布的摄像装置4031,各摄像装置的镜头等效光心通过第三椎体反射镜401形成的虚像均在第三椎体反射镜401的椎体高所在轴线上;第四摄像群组404,包括多个围绕所述第三椎体反射镜401的椎体高所在轴线分布的摄像装置,各摄像装置4041的镜头等效光心通过所述第三椎体反射镜401形成的虚像均在所述第三椎体反射镜401的椎体高所在轴线上。换而言之,第三摄像群组403中各摄像装置4031的镜头等效光心和第四摄像群组404中各摄像装置4041的镜头等效光心,均置于所述第三椎体反射镜401椎体高所在轴线相对所述第三椎体反射镜401母线的轴对称的线所组成的面上。如果第三椎体反射镜401的椎角为45度,那么第三椎体反射镜401椎体高所在轴线相对第三椎体反射镜401母线的轴对称的线所组成的面,恰好是一个与第三椎体反射镜401的椎体高所在轴线垂直的面;如果第三椎体反射镜的椎角非45度,那么第三椎体反射镜401椎体高所在轴线相对第三椎体反射镜401母线的轴对称的线所组成的面,就与第三椎体反射镜401的椎体高所在轴线之间的夹角可能小于90度,也可能大于90度。但是,无论第三摄像群组403和第四摄像群组404的各镜头等效光心置于上面两种情况中的哪个面上,各摄像装置的具体放置位置都需要保证:假设第三摄像群组403中各摄像装置4031的镜头等效光心到第三椎体反射镜401的椎体高所在轴线的距离为d1,第四摄像群组404中各摄像装置4041的镜头等效光心距第三椎体反射镜401的椎体高所在轴线的距离为d2,那么需要d1不等于d2,即第三摄像群组403中各镜头等效光心与第四摄像群组404中各镜头等效光心相互错开,以保证前面的d1不等于d2。
可选的,第三摄像群组403中各摄像装置4031的镜头等效光心距第三椎体反射镜401椎体高所在轴线的垂直距离相等,即第三摄像群组403中各摄像装置4031的镜头等效光心通过第三椎体反射镜401形成的虚像重合。这种情况下,通过各摄像装置4031拍摄到的图像在第三椎体反射镜401椎体高所在轴线的方向上没有错位。但是,也不排除第三摄像群组403中各摄像装置4031的镜头等效光心距第三椎体反射镜401椎体高所在轴线的垂直距离不完全相等,仅仅保证所成虚像在椎体高所在轴线上,但在椎体高所在轴线的方向上具有一定错位。这种情况下,如果截取各图像中一部分未错位的图像来使用也是可以的。针对第四摄像群组404也是同理,包含的各摄像装置4041的镜头等效光心所成的虚像在椎体高所在轴线上可以重合,也可以不重合,不再赘述。
第三摄像群组403和第四摄像群组404均置于所述第三椎体反射镜401的锥顶一侧,换而言之,两个摄像群组均位于第三椎体反射镜401的锥顶一侧,并且各摄像群组中摄像装置的镜头等效光心都通过第三椎体反射镜401的反射成像,从而对拍摄对象进行拍摄。将两个摄像群组置于第三椎体反射镜401的锥顶一侧的具体实现手段很多。比如,可以在第三椎体反射镜401的锥顶一侧设置一固定连接装置,比如图7或图8中所示的柱体结构的固定连接装置405,将第三摄像群组403中的各摄像装置4031分布于所述柱体结构的固定连接装置405的侧面,同样,第四摄像群组404中的各摄像装置4041也分布于固定连接装置405的侧面,只不过位于第三摄像群组403的内侧,即相当于第四摄像群组404中的各摄像装置4041围绕第三椎体反射镜401的椎体高所在轴线分布一圈,第三摄像群组403中的各摄像装置4031也围绕第三椎体反射镜401的椎体高所在轴线分布一圈,只不过第四摄像群组404处于内圈,第三摄像群组403处于外圈。本领域技术人员可以理解,柱体结构的固定连接装置405仅仅是为了使得第三摄像群组403和第四摄像群组404固定于第一椎体反射镜401的锥顶一侧,使得两个摄像群组中的各摄像装置都可以通过第三椎体反射镜401的反射形成虚像从而对拍摄对象进行拍摄,因此,固定连接装置405的具体形状、固定连接方式均没有限制,只要符合光学仪器固定连接的要求、不影响拍摄、成像效果即可。
第三摄像群组403中各摄像装置4031的镜头等效光心通过第三椎体反射镜401形成的虚像与第四摄像群组404中各摄像装置4041的镜头等效光心通过第三椎体反射镜401形成的虚像,在第三椎体反射镜401的椎体高所在轴线上具有相对位移。换而言之,第三摄像群组403中各摄像装置4031的镜头等效光心距所述第三椎体反射镜401的椎体高所在轴线的距离,与第四摄像群组404中各摄像装置4041的镜头等效光心距第三椎体反射镜401的椎体高所在轴线的距离不等,例如图7或图8所示,第三摄像群组403中的各摄像装置4031置于第四摄像群组404中各摄像装置4041的外圈。
请参阅图9,其为根据本发明一个实施例的摄像装置成像示意图。具体而言,图9中的摄像机A具体为图7中第三摄像群组403中一摄像装置4031的一个具体实例,图9中的摄像机B为图7中第四摄像群组404中一摄像装置4041的一个具体实例。从图中的成像示意图可以看出,摄像机A和摄像机B通过第三椎体反射镜401分别所成的虚像,在第三椎体反射镜401的椎体高所在轴线的方向上存在相对位移。
由于第三摄像群组403中各摄像装置4031的镜头等效光心和第四摄像群组404中各摄像装置4041的镜头等效光心,在第三椎体反射镜401的椎体高所在轴线上的虚像不重合,存在相对位移,即虚像之间有一定的距离,从而可以依靠这两个摄像群组通过椎体反射镜401反射后进行拍摄,进而在不同空间位置拍摄到两个二维图像。如果按照图7或图8中所示的设备放置角度(即反射镜椎体高所在轴线垂直于地面),那么依靠这两个摄像群组可以在纵向(垂直于大地的方向)上的两个不同位置获得两幅二维图像,这两个二维图像是在第三椎体反射镜401的椎体高所在轴线上具有相对位移的立体图像对,即上下分布的立体图像对。
通过上述对本发明提供的设备各实施例可以看出,本发明的核心思想是使至少两个摄像群组中各摄像装置的镜头等效光心通过椎体反射镜形成的虚像,在椎体反射镜椎体高所在轴线上不重合,在椎体高所在轴线上存在相对位移,相当于从椎体高所在轴线上两个不同的位置对拍摄物体进行环幕拍摄,从而能够获得在椎体高所在轴线方向上分布的具有视差的立体图像对,弥补了当前环幕摄像机无法拍摄立体图像的空白。
本发明的发明人经过大量研究发现,现有的环幕摄像机(每个环幕摄像机可以理解为一个能够拍摄环幕图像的摄像群组)无法直接拍摄环幕立体电影,首先,观众观看电影的时候,眼睛处于水平或是基本水平的状态,这样就要求提供给观众的立体图像对,也要在水平方向上存在一定的视差,这样我们才能够感知到正确的立体景象。而环幕摄像机的拍摄水平角度高达360度,也就是说,在水平角度上,环幕摄像机是全覆盖的。这样一来,就决定了用两台环幕摄像机左右(水平)并排摆放进行立体图像对的拍摄就是不可行的了,因为两台左右并排摆放的环幕摄像机会被互相遮挡,造成画面的不完整。其次,即使我们通过某种方式获得了没有遮挡的立体图像对,在观看的时候也会造成错误。当观众观看与摄像机拍摄方向同向画面时,可以获知正确的立体画面,如图10A所示;而一旦观众向后看的时候,则左眼会看到右侧摄像机拍摄到的画面,而右眼看到左侧摄像机拍摄到的画面,如图10B所示,造成认知错误。
由此可见,直接将两个环幕摄像机左右(即在水平方向上)并排摆放拍摄,无法得到正确、完整的立体图像对。因此,目前业内环幕立体摄像是一种空白,而通过本发明提供的用于环幕立体摄像的设备各实施例,将两个摄像群组同轴(即椎体反射镜的椎体高所在的轴)摆放,可以使得至少两个摄像群组的镜头等效光心在椎体反射镜的椎体高所在轴线上形成具有相对位移(相当于视差)的两个虚像,而且由于摄像群组一般是水平方向360度拍摄,而两个摄像群组的虚像是在椎体反射镜的椎体高所在轴线上(当椎体反射镜垂直地面放置时,椎体高所在轴线的方向即为垂直方向)具有相对位移,因此两个摄像群组在各自进行360度水平拍摄时不会在水平方向上造成相互遮挡,也不会在观众观看时造成错误,并且能够获得在椎体反射镜的椎体高所在轴线方向上具有视差的两个二维图像,例如上下分布的立体图像对。由此可见,本发明提供的用于环幕立体摄像的设备可以获得在水平360度范围内、彼此不会遮挡的立体图像对,即立体图像。
需要说明的是,多数情况下,本发明实施例中用于环幕立体摄像的设备是水平放置在地面上,即设备的椎体反射镜的椎体高所在轴线垂直于地面,进而该设备中的两个摄像群组能够拍摄到在垂直方向上具有视差的两个二维图像,或者说拍摄到上下分布的立体图像对。但在实际拍摄过程中,有时为了艺术效果,可能也需要将本发明实施例中的设备倾斜一定角度进行拍摄,但这并不影响得到存在视差的立体图像对,这个立体图像对中的两个二维图像,还是在设备椎体高所在轴线方向上存在视差的,即还是相当于在设备的椎体反射镜的椎体高所在轴线上上下分布的立体图像对,不影响最终的环幕立体效果。
请参阅图11,其示出了根据本发明一个实施例的应用前述设备进行环幕立体摄像的图像处理方法流程图。需要说明的是,本实施例中的图像处理方法适用于前述各实施例中的设备。本流程各步骤中提到的第一摄像群组、第二摄像群组仅仅是为了区分同一设备中的两个摄像群组,图像处理方法中的“第一摄像群组”、“第二摄像群组”与前面设备实施例中的“第一摄像群组”、“第二摄像群组”并没有直接的对应关系,并不是专指前面设备实施例中的第一摄像群组和第二摄像群组,同样可以指代前述设备实施例中第三摄像群组和第四摄像群组。
步骤1110:根据设备中的第一摄像群组对拍摄对象进行拍摄得到的第一二维图像,和第二摄像群组对所述拍摄对象进行拍摄得到的第二二维图像,获得所述拍摄对象的深度信息;所述第一二维图像和第二二维图像是在第一方向上具有第一视差的立体图像对,所述第一方向为所述设备中椎体反射镜的椎体高所在轴线的方向。
根据前述各设备实施例的介绍可知,由于第一摄像群组中各摄像装置的镜头等效光心的虚像与第二摄像群组中各摄像装置的镜头等效光心的虚像,在设备中椎体反射镜的椎体高所在轴线的方向上存在相对位移,即不重合,彼此存在一定距离,因此,两个摄像群组拍摄到的第一二维图像和第二二维图像之间存在第一方向上的视差,可以理解为是在第一方向上存在视差的立体图像对。所述第一方向即为所述设备中椎体反射镜的椎体高所在轴线的方向。通常而言,设备会水平放置在地面上,进而椎体反射镜的椎体高所在轴线即垂直于地面,可以理解为相对地面而言是垂直方向,即,相对地面而言,第一方向通常为垂直方向,或者称纵向。换而言之,第一二维图像与第二二维图像一般在垂直方向(或称纵向)上存在一定的视差。
根据两个存在视差的二维图像,可以算出拍摄对象的深度信息。如何具体根据两个存在视差的二维图像计算出深度信息(业内也称深度图),则可以采用现有技术,简而言之,同一物理景点P在存在视差的两个二维图像中会有各自的投影点,比如称为P左和P右,然后根据P左和P右之间的距离,以及焦距F,以及相似三角形原理,即可得出物理景点P的深度信息,具体实现细节和公式不再赘述,可以参考相关的双目立体镜的技术原理。
本领域技术人员可理解,因为第一摄像群组可以拍摄360度的环幕图像,所以第一二维图像可以是第一二维环幕图像,同理,第二二维图像可以是第二二维环幕图像。进而,根据第一二维图像和第二二维图像计算出的深度信息,可以是整个环幕拍摄对象的深度信息。
步骤1120:根据一针对所述拍摄对象的二维图像和所述拍摄对象的深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上的具有所述第二视差的立体图像对。可选的,所述第二方向可以是与所述第一方向垂直的方向。换而言之,就是根据一个二维图像和深度信息,以及需要的视差,获得另外一个在指定方向上存在视差的二维图像。新获得的这个二维图像和之前的那个二维图像,在指定方向(与第一方向具有指定偏移角度的第二方向)上存在相对视差。
通过一个二维图像以及对应的深度信息(或称深度图)获取某个方向上的立体图像对,可以根据相关的现有技术实现。此处也给予简单的介绍:请参阅图12、图13以及图14,其为本发明实施例中根据二维图像和深度信息获取立体图像对的原理示意图一、原理示意图二,以及原理示意图三。从二维图像找出三点也即三像素A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)。其中z为深度信息,A、B、C深度信息分别对应图12中的AHA,图13中的BHB,图14中的CHC。图A是在剖面A中绘制的,剖面A同时通过立体拍摄机两摄像机光轴的平面,A就在该平面内所选。图B是在剖面B中绘制的,剖面B是通过B且垂直于成像平面的平面,其中光轴1’和光轴2’分别为光轴1和光轴2在剖面B中的投影,O1’、O2’、S1’、S2’同理。图C是在剖面C中绘制的,剖面C是通过C且垂直于成像平面的平面,其中光轴1“和光轴2“分别为光轴1和光轴2在剖面C中的投影,O1“、O2“、S1“、S2“同理。立体摄像装置(如环幕摄像机)已定的情况下,参数两光轴间距离O1O2、像距HAHA2都是已知值,而物距即为深度信息,也是已知值。根据相似三角形的原理:O1HA/AHA=A1S1/O1S1,根据平行四边形原理O1S1=HAHA2,假设坐标系原点在三维图片的中心,同时立体拍摄机的两摄像机光心连线的中点正对坐标原点,那么O1HA=O1O2/2+XA,O2HA=O1O2/2-XA,O1HA/AHA=A1S1/O1S1等价于(O1O2/2+XA)/AHA=A1S1/HAHA2,A1S1=(O1O2/2+XA)*HAHA2/AHA。同理可得:
A2S2=(O1O2/2-XA)*HAHA2/AHA。因此我们根据一个二维图像和深度信息得到A左右眼二维位图中的A1和A2点,用同样的办法我们能获取B1、B2和C1、C2,从而获取整幅图像。
因为步骤1110中已经通过第一二维图像和第二二维图像获得了拍摄对象的深度信息,因此,进一步,就可以根据其中任一二维图像、深度信息,以及在与第一方向垂直的第二方向上所需的相对位移,获得在第二方向上具有相对位移的立体图像对。
在上个步骤中已经提及,可选的,第一方向通常是相对地面而言的垂直方向,或称纵向,进而,第二方向通常就是与地面平行的水平方向。本领域技术人员可以理解,观众在观看环幕电影时,正常情况都是水平观看,即两个眼睛之间存在水平方向的视差,而本发明实施例中的第二方向,正常情况下也是水平方向,所以经过步骤1120处理后得到的也是水平方向上存在视差的立体图像对,或者说是通俗意义上的“左右分布”的立体图像对,因此,基于这一立体图像对,观众就可以看到正确的环幕立体图像了。
可选的,在步骤1110中根据第一二维图像和第二二维图像获得深度信息时,可以使用第一二维环幕图像和第二二维环幕图像计算出深度信息。由于摄像群组是由多个摄像装置组成的,每个摄像装置负责拍摄一定角度的图像,因此,也可以通过第一摄像群组中某个摄像装置拍摄到的第一二维图像,和第二摄像群组中对应的摄像装置拍摄到的对应角度的第二二维图像,计算出部分拍摄对象的深度信息。以此类推,可以获得多个部分的深度信息,然后再将各部分的深度信息组合,获得整个环幕拍摄对象的深度信息。
请继续参阅15,其为根据本发明一个实施例的图像处理方法原理示意图。本示意图中包括第一椎体反射镜101,第二椎体反射镜102,第一摄像群组103和第二摄像群组104,这几个组成部分采用图1所示的连接方式组装在一起。从示意图中可以看出,通过第一摄像群组103获取环幕图像A,通过第二摄像群组104获取环幕图像B,然后根据环幕图像A和环幕图像B计算获得深度图,进而,根据环幕图像B与深度图生成立体图像对,进而完成立体图像的显示。
通过以上描述可知,鉴于现有环幕摄像装置无法平行水平摆放多台,来直接拍摄出水平方向上存在视差的立体图像对,本发明创新性的提出通过先拍摄出在第一方向(如椎体反射镜的椎体高所在轴线的方向)存在第一视差的立体图像对,计算出深度信息,然后再结合任意一个二维图像以及在与第一方向存在指定偏移角度的第二方向所需的第二视差,获得在第二方向上存在第二视差的立体图像对,从而获得适合观众观看的环幕立体图像。优选的,第一方向可以是垂直地面的方向,第二方向可以是垂直于第一方向的方向,即与地面平行的水平方向,这样更有利于观众观看环幕立体图像。此外,本发明还提供了几种可以拍摄在第一方向上存在视差的立体图像对的设备。
请参阅图16,其为根据本发明另一个实施例的用于环幕立体摄像的图像处理方法流程图。包括:
步骤1610:根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像和第二二维图像为对所述拍摄对象拍摄所得,并且所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对。
步骤1620:根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
可选的,所述第二方向与所述第一方向具有的偏移角度为90度,即第二方向与第一方向垂直。
可选的,所述第一二维图像具体为第一二维环幕图像,所述第二二维图像具体为第二二维环幕图像,根据同一拍摄对象的二维环幕图像和所述深度信息,以及与所述第一方向垂直的第二方向上所需的相对位移,获得在所述第二方向上具有所述相对位移的第二立体环幕图像对。
本实施例与图11所示实施例本质是一样的,因此相关技术特征可以相互借鉴参考,不再赘述。重点阐述两者的区别:本发明实施例所述的第一二维图像和第二二维图像不限于是通过前述本发明各实施例中所示的用于环幕立体摄像的设备拍摄所得。换而言之,只要有其他设备可以拍摄出满足需要的第一二维图像和第二二维图像,即第一二维图像和第二二维图像在第一方向上具有第一视差即可。
与图16所示的用于环幕立体摄像的图像处理方法实施例相对应,请参阅图17,还公开了根据本发明一个实施例的用于环幕立体摄像的图像处理装置的结构示意图。包括:
深度处理模块1710,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像和第二二维图像为对所述拍摄对象拍摄所得,并且所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;
水平立体图像对处理模块1720,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
由于图17所示的图像处理装置与图16所示的图像处理方法是一一对应的,因此,装置所涉及的相关技术特征,不再赘述,可以参考前述的方法实施例。
请参阅图18,其为根据本发明一个实施例的用于环幕立体摄像的系统结构示意图,包括:
椎体反射镜1810,所述椎体反射镜的外锥面为反射面;
第一摄像群组1820,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;
第二摄像群组1830,包括多个围绕所述椎体反射镜的椎体高所在轴线分布的摄像装置,各摄像装置通过所述椎体反射镜形成的虚像均在所述椎体反射镜的椎体高所在轴线上;
所述第一摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述椎体反射镜形成的虚像,在所述椎体反射镜的椎体高所在轴线上具有第一相对位移。
深度处理模块1840,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像为所述第一摄像群组拍摄所得,所述第二二维图像为所述第二摄像群组拍摄所得,所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;
立体图像对处理模块1850,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向具有指定偏移角度的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对。
可以看出,本系统中的椎体反射镜1810、第一摄像群组1820和第二摄像群组1830即为前述本发明各实施例中描述的用于环幕立体摄像的设备,在具体实现时可以是前述各实施中所示的结构。本系统中的深度处理模块1840和立体图像对处理模块1850相当于图17所示的图像处理装置。由于前面已经对各个部分进行了详细介绍,所以此处不再赘述。
通过以上的各实施例的描述可知,本领域的技术人员可以清楚地了解到本发明的部分方案,可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的部分技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明所提供的用于环幕立体摄像的系统、设备、图像处理方法及装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (3)
1.一种用于环幕立体摄像的系统,其特征在于,包括:
锥体反射镜,所述锥体反射镜的外锥面为反射面,且所述外锥面是非连续的棱锥体反射面;
第一摄像群组,包括多个围绕所述锥体反射镜的锥体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像均在所述锥体反射镜的锥体高所在轴线上;
第二摄像群组,包括多个围绕所述锥体反射镜的锥体高所在轴线分布的摄像装置,各摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像均在所述锥体反射镜的锥体高所在轴线上;
所述第一摄像群组中各摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像,在所述锥体反射镜的锥体高所在轴线上具有相对位移;
深度处理模块,用于根据第一立体图像对中的第一二维图像和第二二维图像获得拍摄对象的深度信息,所述第一二维图像为所述第一摄像群组拍摄所得,所述第二二维图像为所述第二摄像群组拍摄所得,所述第一二维图像和所述第二二维图像是在第一方向上具有第一视差的立体图像对;
立体图像对处理模块,用于根据同一拍摄对象的二维图像和所述深度信息,以及与所述第一方向垂直的第二方向上所需的第二视差,获得在所述第二方向上具有所述第二视差的第二立体图像对;
所述锥体反射镜具体为第一锥体反射镜;
所述第一摄像群组中的各摄像装置围绕所述第一锥体反射镜的锥体高所在轴线分布,各摄像装置的镜头等效光心通过所述第一锥体反射镜形成的虚像均在所述第一锥体反射镜的锥体高所在轴线上;
所述第二摄像群组中的各摄像装置围绕所述第一锥体反射镜的锥体高所在轴线分布,各摄像装置的镜头等效光心通过所述第一锥体反射镜形成的虚像均在所述第一锥体反射镜的锥体高所在轴线上;
所述第一摄像群组和第二摄像群组均置于所述第一锥体反射镜的锥顶一侧;
所述第一摄像群组中各摄像装置的镜头等效光心距所述第一锥体反射镜的锥体高所在轴线的距离,与所述第二摄像群组中各摄像装置的镜头等效光心距所述第一锥体反射镜的锥体高所在轴线的距离不等。
2.一种用于环幕立体摄像的设备,其特征在于,包括:
锥体反射镜,所述锥体反射镜的外锥面为反射面,且所述外锥面是非连续的棱锥体反射面;
第一摄像群组,包括多个围绕所述锥体反射镜的锥体高所在轴线分布的摄像装置,各所述摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像均在所述锥体反射镜的锥体高所在轴线上;
第二摄像群组,包括多个围绕所述锥体反射镜的锥体高所在轴线分布的摄像装置,各所述摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像均在所述锥体反射镜的锥体高所在轴线上;
所述第一摄像群组中各摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像与所述第二摄像群组中各摄像装置的镜头等效光心通过所述锥体反射镜形成的虚像,在所述锥体反射镜的锥体高所在轴线上具有相对位移;
所述锥体反射镜具体为第一锥体反射镜;
所述第一摄像群组中的各摄像装置围绕所述第一锥体反射镜的锥体高所在轴线分布,各摄像装置的镜头等效光心通过所述第一锥体反射镜形成的虚像均在所述第一锥体反射镜的锥体高所在轴线上;
所述第二摄像群组中的各摄像装置围绕所述第一锥体反射镜的锥体高所在轴线分布,各摄像装置的镜头等效光心通过所述第一锥体反射镜形成的虚像均在所述第一锥体反射镜的锥体高所在轴线上;
所述第一摄像群组和第二摄像群组均置于所述第一锥体反射镜的锥顶一侧;
所述第一摄像群组中各摄像装置的镜头等效光心距所述第一锥体反射镜的锥体高所在轴线的距离,与所述第二摄像群组中各摄像装置的镜头等效光心距所述第一锥体反射镜的锥体高所在轴线的距离不等。
3.根据权利要求2所述的设备,其特征在于:
所述第一摄像群组中各摄像装置的镜头等效光心和所述第二摄像群组中各摄像装置的镜头等效光心,均置于所述第一锥体反射镜锥体高所在轴线相对所述第一锥体反射镜母线的轴对称的线所组成的面上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210555294.5A CN103235478B (zh) | 2012-12-19 | 2012-12-19 | 用于环幕立体摄像的系统、设备、图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210555294.5A CN103235478B (zh) | 2012-12-19 | 2012-12-19 | 用于环幕立体摄像的系统、设备、图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103235478A CN103235478A (zh) | 2013-08-07 |
CN103235478B true CN103235478B (zh) | 2017-04-12 |
Family
ID=48883525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210555294.5A Active CN103235478B (zh) | 2012-12-19 | 2012-12-19 | 用于环幕立体摄像的系统、设备、图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103235478B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105093551B (zh) * | 2015-09-07 | 2016-04-27 | 武汉理工大学 | 景观环境实时表现中的真三维立体显示系统及显示方法 |
CN106990668B (zh) * | 2016-06-27 | 2019-10-11 | 深圳市圆周率软件科技有限责任公司 | 一种全景立体影像的成像方法、装置及系统 |
CN106647148A (zh) * | 2017-01-25 | 2017-05-10 | 成都中信华瑞科技有限公司 | 一种获取全景图像的装置及其组装方法 |
CN107065426A (zh) * | 2017-03-09 | 2017-08-18 | 龙岩学院 | 立体图形采集装置及方法 |
CN111385487A (zh) * | 2018-12-28 | 2020-07-07 | 中兴通讯股份有限公司 | 一种多镜头摄像机的调试方法、装置及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6744569B2 (en) * | 2001-06-19 | 2004-06-01 | Genex Technologies, Inc | Method and apparatus for omnidirectional three dimensional imaging |
US20060056727A1 (en) * | 2004-09-16 | 2006-03-16 | Jones Graham R | System for combining multiple disparity maps |
CN1870759A (zh) * | 2005-05-26 | 2006-11-29 | 韩国科学技术院 | 用单个相机提供全景立体图像的设备 |
CN101021678A (zh) * | 2007-04-04 | 2007-08-22 | 乔楠 | 一种环幕摄像系统 |
US20090122133A1 (en) * | 2007-11-09 | 2009-05-14 | Honeywell International Inc. | Stereo camera having 360 degree field of view |
CN102323713A (zh) * | 2010-11-09 | 2012-01-18 | 浙江工业大学 | 便携式360°环幕立体影院系统 |
CN102404592A (zh) * | 2010-09-16 | 2012-04-04 | 索尼公司 | 图像处理设备和方法以及立体图像显示设备 |
CN202995248U (zh) * | 2012-12-19 | 2013-06-12 | 乔楠 | 一种用于环幕立体摄像的设备及系统 |
-
2012
- 2012-12-19 CN CN201210555294.5A patent/CN103235478B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6744569B2 (en) * | 2001-06-19 | 2004-06-01 | Genex Technologies, Inc | Method and apparatus for omnidirectional three dimensional imaging |
US20060056727A1 (en) * | 2004-09-16 | 2006-03-16 | Jones Graham R | System for combining multiple disparity maps |
CN1870759A (zh) * | 2005-05-26 | 2006-11-29 | 韩国科学技术院 | 用单个相机提供全景立体图像的设备 |
CN101021678A (zh) * | 2007-04-04 | 2007-08-22 | 乔楠 | 一种环幕摄像系统 |
US20090122133A1 (en) * | 2007-11-09 | 2009-05-14 | Honeywell International Inc. | Stereo camera having 360 degree field of view |
CN102404592A (zh) * | 2010-09-16 | 2012-04-04 | 索尼公司 | 图像处理设备和方法以及立体图像显示设备 |
CN102323713A (zh) * | 2010-11-09 | 2012-01-18 | 浙江工业大学 | 便携式360°环幕立体影院系统 |
CN202995248U (zh) * | 2012-12-19 | 2013-06-12 | 乔楠 | 一种用于环幕立体摄像的设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103235478A (zh) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105008995B (zh) | 全立体成像 | |
CN102243432A (zh) | 全景立体摄像装置 | |
CN103235478B (zh) | 用于环幕立体摄像的系统、设备、图像处理方法及装置 | |
TW200425737A (en) | Method for creating brightness filter and virtual space creation system | |
WO2006112536A1 (en) | Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument | |
CN107333051B (zh) | 一种室内全景视频生成方法及装置 | |
CN102903090A (zh) | 全景立体图像合成方法、装置、系统和浏览装置 | |
CN104079918A (zh) | 全景三维摄像装置 | |
TWI527434B (zh) | 利用光場相機產生立體影像的方法及光場相機 | |
CN107545537A (zh) | 一种从稠密点云生成3d全景图片的方法 | |
WO2018113082A1 (zh) | 一种 3d 全景拍摄系统以及方法 | |
KR20200013800A (ko) | 다중 카메라 파노라마식 촬상 시스템 | |
CN101000460A (zh) | 一种环幕立体电影图像的制作方法 | |
CN108322730A (zh) | 一种可采集360度场景结构的全景深度相机系统 | |
US10802390B2 (en) | Spherical omnipolar imaging | |
CN108450031A (zh) | 图像捕获装置 | |
CN202995248U (zh) | 一种用于环幕立体摄像的设备及系统 | |
US10110876B1 (en) | System and method for displaying images in 3-D stereo | |
CN108012139B (zh) | 应用于真实感近眼显示的图像生成方法和装置 | |
CN102323713A (zh) | 便携式360°环幕立体影院系统 | |
Smith et al. | Perception of size and shape in stereoscopic 3d imagery | |
US20180192030A1 (en) | 4-D Video Of An Object Using A Microscope | |
CN110913199B (zh) | 一种vr图像传输方法 | |
JP2005026772A (ja) | 立体映像表示方法及び立体映像表示装置 | |
CN109151273A (zh) | 一种光扇立体摄像机及立体测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |