CN107316273B - 全景图像采集装置及采集方法 - Google Patents
全景图像采集装置及采集方法 Download PDFInfo
- Publication number
- CN107316273B CN107316273B CN201610307019.XA CN201610307019A CN107316273B CN 107316273 B CN107316273 B CN 107316273B CN 201610307019 A CN201610307019 A CN 201610307019A CN 107316273 B CN107316273 B CN 107316273B
- Authority
- CN
- China
- Prior art keywords
- eye
- picture
- cameras
- panoramic
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 20
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 20
- 238000004088 simulation Methods 0.000 claims abstract description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 19
- 239000002131 composite material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种全景图像采集装置,其包括本体、多个摄像头、图像提取处理器以及图像合成处理器;摄像头以近似人眼间距设置在本体上,用于获取多个不同拍摄角度的局部画面;图像提取处理器与多个摄像头连接,用于基于摄像头的人眼模拟方位,获取摄像头对应的局部画面的左眼画面以及右眼画面;图像合成处理器与图像提取处理器连接,用于将所有局部画面的左眼画面合成为左眼全景画面;将所有局部画面的右眼画面合成为右眼全景画面。本发明还提供一种全景图像采集方法。本发明将相邻摄像头以近似人眼间距进行设置,从而简化了相邻局部画面拼接操作的难度,进而减少用于进行图像处理的资源。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种全景图像采集方法及采集装置。
背景技术
随着虚拟现实(Virtual Reality)与增强现实(Augmented Reality)技术的发展,各种各样虚拟现实应用被开发出来,如3D全景影片播放、3D全景游戏体验以及3D全景画面现场直播等。
但是现有的3D全景影片需要使用多个不同角度的摄像头录制多个不同显示区域的局部图像,然后对多个不同显示区域的局部图像进行拼接处理。这里的拼接操作需要针对不同局部图像的实际拍摄情况进行对应调整,因此拼接操作的程序较为繁琐、难度较大以及消耗的图像处理资源较多。
故,有必要提供一种全景图像采集方法及采集装置,以解决现有技术所存在的问题。
发明内容
本发明实施例提供一种拼接程序较为简单、拼接操作的难度较小且消耗的图像处理资源较少的全景图像采集方法及采集装置;以解决现有的全景图像采集方法及采集装置中图像拼接操作的程序较为繁琐、难度较大以及消耗的图像处理资源较多的技术问题。
本发明实施例提供一种视频图像采集装置,其包括:
本体,
多个摄像头,以近似人眼间距设置在所述本体上,用于获取多个不同拍摄角度的局部画面;
图像提取处理器,与所述多个摄像头连接,用于基于所述摄像头的人眼模拟方位,获取所述摄像头对应的局部画面的左眼画面以及右眼画面;以及
图像合成处理器,与所述图像提取处理器连接,用于将所有所述局部画面的左眼画面合成为左眼全景画面;将所有所述局部画面的右眼画面合成为右眼全景画面。
在本发明所述的全景图像采集装置中,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有两个摄像头,所有所述摄像头位于所述本体的垂直于所述多边形柱体的延伸方向的同一截面上。
在本发明所述的全景图像采集装置中,截面多边形上的每条边上设置有左眼摄像头和右眼摄像头,所述左眼摄像头与最近的相邻边的右眼摄像头的直线距离为近似人眼间距,所述右眼摄像头与最近的相邻边的左眼摄像头的直线距离为近似人眼间距。
在本发明所述的全景图像采集装置中,所述图像提取处理器具体用于:
基于所述左眼摄像头的人眼模拟方位,获取所述左眼摄像头对应的局部画面的左眼主画面以及右眼合成画面;
基于所述右眼摄像头的人眼模拟方位,获取所述右眼摄像头对应的局部画面的右眼主画面以及左眼合成画面。
在本发明所述的全景图像采集装置中,所述图像合成处理器具体用于:
使用所述左眼合成画面对相应的相邻两个左眼摄像头对应的两个左眼主画面进行合成操作,以形成所述左眼全景画面;使用所述右眼合成画面对相应的相邻两个右眼摄像头对应的两个右眼主画面进行合成操作,以形成所述右眼全景画面。
在本发明所述的全景图像采集装置中,所述本体为一圆柱体,多个所述摄像头等间距的设置在所述本体表面上,所有所述摄像头位于所述本体的垂直于所述圆柱体的延伸方向的同一截面上。
在本发明所述的全景图像采集装置中,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有两个摄像头,所述多边形柱体具有至少两个设置有所述摄像头的截面多边形。
在本发明所述的全景图像采集装置中,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有至少三个摄像头,所有所述摄像头位于所述本体的垂直于所述多边形柱体的延伸方向的同一截面上。
在本发明所述的全景图像采集装置中,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有一摄像头,所有所述摄像头位于所述本体的垂直于所述多边形柱体的延伸方向的同一截面上。
在本发明所述的全景图像采集装置中,所述本体为一球体,多个所述摄像头等间距的设置在所述球体表面。
本发明实施例还提供一种全景图像采集方法,用于全景摄像机进行全景图像采集,其中所述全景摄像机包括本体以及设置在所述本体表面上的多个摄像头;其中所述全景图像采集方法包括:
获取多个不同拍摄角度的局部画面,其中用于拍摄的摄像头的设置间距为近似人眼间距;
基于所述摄像头的人眼模拟方位,获取所述摄像头对应的局部画面的左眼画面以及右眼画面;
将所有所述局部画面的左眼画面合成为左眼全景画面;将所有所述局部画面的右眼画面合成为右眼全景画面;以及
根据所述左眼全景画面和所述右眼全景画面,生成3D全景画面。
相较于现有技术的全景图像采集方法及采集装置,本发明的全景图像采集方法及采集装置将相邻摄像头以近似人眼间距进行设置,从而简化了相邻局部画面拼接操作的难度,进而减少用于进行图像处理的资源;解决了现有的全景图像采集方法及采集装置中图像拼接操作的程序较为繁琐、难度较大以及消耗的图像处理资源较多的技术问题。
附图说明
图1A为本发明的全景图像采集装置的第一优选实施例的结构示意图;
图1B为沿图1A的平面A的截面图;
图1C为本发明的全景图像采集装置的第一优选实施例的摄像头的局部画面示意图;
图1D为本发明的全景图形采集装置的第一优选实施例的拼接示意图;
图2A为本发明的全景图像采集装置的第二优选实施例的结构示意图;
图2B为沿图2A的平面B1或平面B2的截面图;
图3A为本发明的全景图像采集装置的第三优选实施例的结构示意图;
图3B为沿图3A的平面C的截面图;
图4A为本发明的全景图像采集装置的第四优选实施例的结构示意图;
图4B为沿图4A的平面D的截面图;
图5A为本发明的全景图像采集装置的第五优选实施例的结构示意图;
图5B为沿图5A的平面E的截面图;
图6为本发明的全景图像采集装置的第六优选实施例的结构示意图;
图7为本发明的全景图像采集方法的优选实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的全景图像采集装置及全景图像采集方法可用于对全景图像进行采集操作,由于本发明的全景图像采集装置的相邻摄像头以近似人眼间距进行设置,因此可以较好的简化相邻局部画面拼接操作的难度,进而减少用以进行图像处理的资源。
请参照图1A和图1B,图1A为本发明的全景图像采集装置的第一优选实施例的结构示意图,图1B为沿图1A的平面A的截面图。本优选实施例的全景图像采集装置10包括本体11、多个摄像头12、图像提取处理器13以及图像合成处理器14。多个摄像头12以近似人眼间距设置在本体11上,用于获取多个不同拍摄角度的局部画面。图像提取处理器13与多个摄像头12连接,用于基于摄像头12的人眼模拟方位,获取摄像头12对应的局部画面的左眼画面以及左眼画面。图像合成处理器14与图像提取处理器13连接,用于将所有局部画面的左眼画面合称为左眼全景画面,将所有局部画面的右眼画面合成为右眼全景画面。
在本优选实施例中,本体11为一多边形柱体,多边形柱体的截面多边形上的每条边上设置有左眼摄像头和右眼摄像头,所有的左眼摄像头和右眼摄像头均位于本体11的垂直于多边形柱体的延伸方向的同一截面上。
左眼摄像头和最近的相邻边的右眼摄像头的直线距离为近似人眼间距,右眼摄像头与最近的相邻边的左眼摄像头的直线距离为近似人眼间距。
该图像提取处理器13具体用于基于左眼摄像头的人眼模拟方位,获取左眼摄像头对应对局部画面的左眼主画面以及右眼合成画面;基于右眼摄像头的人眼模拟方位,获取右眼摄像头对应的局部画面的右眼主画面以及左眼合成画面。
图像合成处理器14具体用于使用左眼合成画面对相应的相邻两个左眼摄像头对应的两个左眼主画面进行合成操作,以形成左眼全景画面;使用右眼合成画面对相应的相邻两个右眼摄像头对应的两个右眼主画面进行合成操作,以形成右眼全景画面。
请参照图1A和图1B,本优选实施例的全景图像采集装置10使用时,首先多个摄像头12分别采集对应拍摄角度的局部画面,由于相邻摄像头12以近似人眼间距进行设置,因此截面多边形的每条边的两个摄像头12拍摄的画面可以完全等同于人的左眼和右眼在这条边的位置进行观看的画面。这样截面多边形的多条边上的摄像头拍摄的画面可以等同于人在多个方向(方向数等于截面多边形的边的数量)进行观看的画面。如图1A所示,该截面多边形为四边形,即可获取人在前、后、左、右四个方位上进行观看的画面,也就是对应的前、后、左、右四个方位上的局部画面。
这里的近似人眼间距大致为40毫米至70毫米,如该产品为儿童产品,则可将近似人眼间距设置为53毫米至57毫米;如该产品为成年女性产品,则可将近似人眼间距设置为56毫米至64毫米;如该产品为成年男性产品,则可将近似人眼间距设置为60毫米至70毫米;如该产品为婴幼儿产品,则可将近似人眼间距设置为38毫米至45毫米。
随后图像提取处理器13获取上述每个摄像头拍摄的局部画面,然后基于左眼摄像头的人眼模拟方位,获取左眼摄像头对应的局部画面的左眼主画面以及右眼合成画面;并基于右眼摄像头的人眼模拟方位,获取右眼摄像头对应的局部画面的右眼主画面以及左眼合成画面。
由于每个左眼摄像头的拍摄范围远大于人眼的正常观看范围,如左眼摄像头的拍摄范围为180度,人眼的正常观看范围为120度,则可获取左眼摄像头拍摄范围中间120度范围的局部画面作为该左眼摄像头的左眼主画面。这样可以获取左眼摄像头a1的左眼主画面a1’以及左眼摄像头a3的左眼主画面a3’,获取右眼摄像头a2的右眼主画面a2’以及右眼摄像头a4的右眼主画面a4’。这里的左眼主画面对应的拍摄范围即为左眼摄像头对应的人眼模拟方位。具体如图1C所示。
如图1C和图1D所示,为了对右眼摄像头a2的右眼主画面a2’和右眼摄像头a4的右眼主画面a4’进行平稳的拼接,图像提取处理器还会获取左眼摄像头a1的拍摄范围中左边90度范围的局部画面作为该左眼摄像头a1的右眼合成画面a1”。该左眼摄像头a1的右眼合成画面a1”结合了右眼摄像头a2的部分右眼主画面a2’和右眼摄像头a4的右眼主画面a4’,因此可用于对右眼摄像头a2的部分右眼主画面a2’和右眼摄像头a4的右眼主画面a4’进行拼接操作。
这里左眼主画面和右眼主画面的观看范围可根据用户设定进行调整,可为90度至150度;这里左眼合成画面和右眼合成画面的观看范围也可根据用户设定进行调整,可为45度至120度,该左眼合成画面的观看范围应小于相应的左眼主画面的观看范围,该右眼合成画面的观看范围应小于相应的右眼主画面的观看范围。
随后图像合成处理器14获取图像提取处理器13获取的所有左眼摄像头对应的局部画面的左眼主画面以及右眼合成画面,以及所有右眼摄像头对应的局部画面的右眼主画面以及左眼合成画面。
图像合成处理器14使用左眼合成画面对相应的相邻两个左眼摄像头对应的两个左眼主画面进行合成操作,以形成左眼全景画面;使用右眼合成画面对相应的两个右眼摄像头对应的两个左眼主画面进行合成操作,以形成左眼全景画面。
这样即完成了本优选实施例的全景图形采集装置10的全景图像采集过程。
优选的,左眼摄像头a1和右眼摄像头a4的直线距离也为近似人眼间距,这样左眼摄像头a1的右眼合成画面a1”以及右眼摄像头a4的左眼合成画面a4”也可较好的反馈人处于左眼摄像头a1和左眼摄像头a3之间朝向时的观看画面,而不需要对基于人眼间距对右眼合成画面a1”和左眼合成画面a4”再进行画面处理。
本优选实施例的全景图像采集装置将相邻摄像头以近似人眼间距进行设置,从而简化了相邻局部画面拼接操作的难度,进而减少用于进行图像处理的资源。
请参照图2A和图2B,图2A为本发明的全景图像采集装置的第二优选实施例的结构示意图;图2B为沿图2A的平面B1或平面B2的截面图。本优选实施例的全景图像采集装置20包括本体21、多个摄像头22、图像提取处理器23以及图像合成处理器24。在全景图像采集装置的第一优选实施例的基础上,本优选实施例的全景图像采集装置20的多边形柱体上设置有两个设置有摄像头的截面多边形。每个截面多边形上的摄像头22的具体工作原理与上述的全景图像采集装置的第一优选实施例中的摄像头12的具体工作原理相同,具体请参照上述全景图像采集装置的第一优选实施例中的相关描述。
优选的,为了进一步提高全景图像采集装置20的画面采集质量,多边形柱体上可设置多个具有摄像头22的截面多边形。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置通过设置多个具有摄像头的截面多边形,每个截面多边形上的摄像头均可对不同固定高度的全景图像进行采集,从而进一步提高了全景图像采集装置的画面采集质量。
请参照图3A和图3B,图3A为本发明的全景图像采集装置的第三优选实施例的结构示意图;图3B为沿图3A的平面C的截面图。本优选实施例的全景图像采集装置30包括本体31、多个摄像头32、图像提取处理器33以及图像合成处理器34。在全景图像采集装置的第一优选实施例的基础上,本优选实施例的全景图像采集装置30的多边形柱体的截面多边形上的每条边上设置有至少三个摄像头32,所有摄像头32位于本体31的垂直于多边形柱体的延伸方向的同一截面上。
每个截面多边形上的摄像头32的具体工作原理与上述的全景图像采集装置10的第一优选实施例中的摄像头12的具体工作原理相同,本优选实施例的全景图像采集装置30在截面多边形的每条边设置有多个摄像头32,这样可以不通过增加截面多边形的边的数量来提高局部画面的采集精度,而直接通过在每条边上设置多个摄像头32来提高局部画面的采集精度,当然相邻摄像头32之间的间距为近似人眼间距,以保证采集的局部画面不需要进行复杂的画面处理,而可以直接用于画面拼接。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置通过在截面多边形的每条边上设置至少三个摄像头,从而进一步提高了全景图像采集装置的画面采集质量。当然本优选实施例的摄像头设置原理也可用于具有设置有摄像头的多个截面多边形的全景图像采集装置上。
请参照图4A和图4B,图4为本发明的全景图像采集装置的第四优选实施例的结构示意图;图4B为沿图4A的平面D的截面图。本优选实施例的全景图像采集装置40包括本体41、多个摄像头42、图像提取处理器43以及图像合成处理器44。在全景图像采集装置的第一优选实施例的基础上,本优选实施例的全景图像采集装置40的本体41为一圆柱体,多个所述摄像头42等间距的设置在本体41表面上,所有摄像头42位于本体41的垂直于圆柱体的延伸方向的同一截面上。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置40的本体41采用圆柱体的设置,使得摄像头42的设置更为方便,进一步提高了摄像头42设置的便利性。当然相邻摄像头42之间的间距为近似人眼间距,以保证采集的局部画面不需要进行复杂的画面处理,而可以直接用于画面拼接。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置设置有具有多个等间距摄像头的圆柱体,进一步提高了全景图像采集装置的摄像头设置的便利性。当然本优选实施例的摄像头设置原理也可用于具有设置有摄像头的多个截面多边形的全景图像采集装置上。
请参照图5A和图5B,图5A为本发明的全景图像采集装置的第五优选实施例的结构示意图;图5B为沿图5A的平面E的截面图。本优选实施例的全景图像采集装置50包括本体51、多个摄像头52、图像提取处理器53以及图像合成处理器54。在全景图像采集装置的第一优选实施例的基础上,本优选实施例的全景图像采集装置50多边形柱体的截面多边形上的每条边上设置有一个摄像头52,所有摄像头52位于本体51的垂直于多边形柱体的延伸方向的同一截面上。
每个截面多边形上的摄像头52的具体工作原理与上述的全景图像采集装置10的第一优选实施例中的摄像头12的具体工作原理相同,本优选实施例的全景图像采集装置50在截面多边形的每条边仅设置有一个摄像头52,这样在同等数量的摄像头52的情况下,本优选实施例的全景图像采集装置的拍摄角度的设定精度更高,当然相邻摄像头52之间的间距为近似人眼间距,以保证采集的局部画面不需要进行复杂的画面处理,而可以直接用于画面拼接。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置通过在截面多边形的每条边上设置一个摄像头,从而进一步提高了全景图像采集装置的拍摄精度。当然本优选实施例的摄像头设置原理也可用于具有设置有摄像头的多个截面多边形的全景图像采集装置上。
请参照图6,图6为本发明的全景图像采集装置的第六优选实施例的结构示意图。本优选实施例的全景图像采集装置60包括本体61、多个摄像头62、图像提取处理器(图中未示出)以及图像合成处理器(图中未示出)。在全景图像采集装置的第一优选实施例的基础上,本优选实施例的全景图像采集装置60的本体61为一球体,多个摄像头62等间距的设置在该球体表面。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置50不仅设置有前、后、左、右四个方位上的摄像头62,还设置有上、下两个方位上的摄像头62,这样可以进一步对上部的全景画面和下部的全景画面进行采集,进一步提高了局部画面的采集完整性。当然相邻摄像头62之间的间距为近似人眼间距,以保证采集的局部画面不需要进行复杂的画面处理,而可以直接用于画面拼接。
在第一优选实施例的基础上,本优选实施例的全景图像采集装置设置有具有多个等间距摄像头的球体,进一步提高了全景图像采集装置的画面采集完整性。
本发明还提供一种全景图像采集方法,请参照图7,图7为本发明的全景图像采集方法的优选实施例的流程图。本优选实施例的全景图像采集方法用于全景摄像机进行全景图像采集,其中全景摄像机包括本体以及设置在本体表面上的多个摄像头。本优选实施例的全景图像采集方法包括:
步骤S701,获取多个不同拍摄角度的局部画面,其中用于拍摄的摄像头的设置间距为近似人眼间距;
步骤S702,基于摄像头的人眼模拟方位,获取摄像头对应的局部画面的左眼画面以及右眼画面;
步骤S703,将所有局部画面的左眼画面合成为左眼全景画面;将所有局部画面的右眼画面合成为右眼全景画面;
步骤S704,根据左眼全景画面和右眼全景画面,生成3D全景画面。
下面详细说明本发明的全景图像采集方法的各步骤的具体流程。
在步骤701中,全景摄像机通过摄像头获取多个不同拍摄角度的局部画面,由于相邻摄像头之间的间距为近似人眼间距,因此采集的局部画面不要进行复杂的画面处理,就可以直接用于画面拼接。随后转到步骤S702。
在步骤S702中,全景摄像机基于摄像头的人眼模拟方位,获取摄像头对应的局部画面的左眼画面以及右眼画面。这里的人眼年模拟方位即为摄像头的主要拍摄范围,在主要拍摄范围中,摄像头可以保证较好的画面拍摄质量。由于每个摄像头既可能用于录制左眼画面,也可能用于录制右眼画面,因此这里全景摄像机会获取摄像头对应的局部画面的左眼画面以及右眼画面。随后转到步骤S703。
在步骤S703中,全景摄像机将所有局部画面的左眼画面合成为左眼全景画面;将所有局部画面的右眼画面合成为右眼全景画面,这里可使用两个左眼画面之间的右眼画面对相邻的两个左眼画面进行拼接处理,可使用两个右眼画面之间的左眼画面对相邻的两个右眼画面进行拼接处理。随后转到步骤S604。
在步骤S704中,全景摄像机根据步骤S703获取的左眼全景画面和左眼全景画面,生成对应的3D全景画面。
这样即完成了本优选实施例的全景图像采集方法的全景图像采集过程。
本发明的全景图像采集方法及采集装置将相邻摄像头以近似人眼间距进行设置,从而简化了相邻局部画面拼接操作的难度,进而减少用于进行图像处理的资源;解决了现有的全景图像采集方法及采集装置中图像拼接操作的程序较为繁琐、难度较大以及消耗的图像处理资源较多的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体:硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示,运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内,并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反,词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即,除非另外指定或从上下文中清楚,“X使用A或B”意指自然包括排列的任意一个。即,如果X使用A;X使用B;或X使用A和B二者,则“X使用A或B”在前述任一示例中得到满足。
而且,尽管已经相对于一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (9)
1.一种全景图像采集装置,其特征在于,包括:
本体,
多个摄像头,以近似人眼间距设置在所述本体上,用于获取多个不同拍摄角度的局部画面;
图像提取处理器,与所述多个摄像头连接,用于基于所述摄像头的人眼模拟方位,获取所述摄像头对应的局部画面的左眼画面以及右眼画面;以及
图像合成处理器,与所述图像提取处理器连接,用于将所有所述局部画面的左眼画面合成为左眼全景画面;将所有所述局部画面的右眼画面合成为右眼全景画面;
所述图像提取处理器具体用于,
基于所述左眼摄像头的人眼模拟方位,获取所述左眼摄像头对应的局部画面的左眼主画面以及右眼合成画面;
基于所述右眼摄像头的人眼模拟方位,获取所述右眼摄像头对应的局部画面的右眼主画面以及左眼合成画面;左眼合成画面的观看范围小于相应的左眼主画面的观看范围,右眼合成画面的观看范围小于相应的右眼主画面的观看范围;
所述图像合成处理器具体用于,
使用所述左眼合成画面对相应的相邻两个左眼摄像头对应的两个左眼主画面进行合成操作,以形成平稳拼接的所述左眼全景画面;使用所述右眼合成画面对相应的相邻两个右眼摄像头对应的两个右眼主画面进行合成操作,以形成平稳拼接的所述右眼全景画面。
2.根据权利要求1所述的全景图像采集装置,其特征在于,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有两个摄像头,所有所述摄像头位于所述本体的垂直于所述多边形柱体的延伸方向的同一截面上。
3.根据权利要求2所述的全景图像采集装置,其特征在于,截面多边形上的每条边上设置有左眼摄像头和右眼摄像头,所述左眼摄像头与最近的相邻边的右眼摄像头的直线距离为近似人眼间距,所述右眼摄像头与最近的相邻边的左眼摄像头的直线距离为近似人眼间距。
4.根据权利要求1所述的全景图像采集装置,其特征在于,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有两个摄像头,所述多边形柱体具有至少两个设置有所述摄像头的截面多边形。
5.根据权利要求1所述的全景图像采集装置,其特征在于,所述本体为一圆柱体,多个所述摄像头等间距的设置在所述本体表面上,所有所述摄像头位于所述本体的垂直于所述圆柱体的延伸方向的同一截面上。
6.根据权利要求1所述的全景图像采集装置,其特征在于,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有至少三个摄像头,所有所述摄像头位于所述本体的垂直于所述多边形柱体的延伸方向的同一截面上。
7.根据权利要求1所述的全景图像采集装置,其特征在于,所述本体为一多边形柱体,所述多边形柱体的截面多边形上的每条边上设置有一摄像头,所有所述摄像头位于所述本体的垂直于所述多边形柱体的延伸方向的同一截面上。
8.根据权利要求1所述的全景图像采集装置,其特征在于,所述本体为一球体,多个所述摄像头等间距的设置在所述球体表面。
9.一种全景图像采集方法,用于全景摄像机进行全景图像采集,其中所述全景摄像机包括本体以及设置在所述本体表面上的多个摄像头;其特征在于,所述全景图像采集方法包括:
获取多个不同拍摄角度的局部画面,其中用于拍摄的摄像头的设置间距为近似人眼间距;
基于左眼摄像头的人眼模拟方位,获取所述左眼摄像头对应的局部画面的左眼主画面以及右眼合成画面;
基于右眼摄像头的人眼模拟方位,获取所述右眼摄像头对应的局部画面的右眼主画面以及左眼合成画面;左眼合成画面的观看范围小于相应的左眼主画面的观看范围,右眼合成画面的观看范围小于相应的右眼主画面的观看范围;
使用所述左眼合成画面对相应的相邻两个左眼摄像头对应的两个左眼主画面进行合成操作,以形成平稳拼接的左眼全景画面;使用所述右眼合成画面对相应的相邻两个右眼摄像头对应的两个右眼主画面进行合成操作,以形成平稳拼接的右眼全景画面;以及
根据所述左眼全景画面和所述右眼全景画面,生成3D全景画面。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2016102727698 | 2016-04-27 | ||
CN201610272769 | 2016-04-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107316273A CN107316273A (zh) | 2017-11-03 |
CN107316273B true CN107316273B (zh) | 2021-05-18 |
Family
ID=57024321
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610307019.XA Active CN107316273B (zh) | 2016-04-27 | 2016-05-10 | 全景图像采集装置及采集方法 |
CN201620457654.1U Active CN205622734U (zh) | 2016-04-27 | 2016-05-18 | 摄像头组合及相应的全景图像采集装置 |
CN201610332657.7A Pending CN107318009A (zh) | 2016-04-27 | 2016-05-18 | 一种全景图像采集装置及采集方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201620457654.1U Active CN205622734U (zh) | 2016-04-27 | 2016-05-18 | 摄像头组合及相应的全景图像采集装置 |
CN201610332657.7A Pending CN107318009A (zh) | 2016-04-27 | 2016-05-18 | 一种全景图像采集装置及采集方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11062421B2 (zh) |
CN (3) | CN107316273B (zh) |
WO (2) | WO2017185408A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534832A (zh) * | 2016-11-21 | 2017-03-22 | 深圳岚锋创视网络科技有限公司 | 立体影像处理方法及系统 |
CN107103645B (zh) * | 2017-04-27 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 虚拟现实媒体文件生成方法及装置 |
CN107105143A (zh) * | 2017-05-13 | 2017-08-29 | 杜广香 | 一种图像获取方法及设备 |
CN107147896A (zh) * | 2017-05-26 | 2017-09-08 | 沈阳泰科易科技有限公司 | 摄像装置及3d增强现实直播摄像机 |
CN108419071B (zh) * | 2018-06-04 | 2020-03-31 | 盎锐(上海)信息科技有限公司 | 基于多3d摄像头的拍摄装置及方法 |
CN108616743B (zh) * | 2018-06-04 | 2019-12-31 | 盎锐(上海)信息科技有限公司 | 用于生成3d模型的成像装置及方法 |
CN108805804B (zh) * | 2018-06-15 | 2022-05-13 | 冠捷显示科技(厦门)有限公司 | 一种液晶电视中全景图片处理方法 |
CN108848368A (zh) * | 2018-08-02 | 2018-11-20 | 苏州蜗牛数字科技股份有限公司 | 一种vr视频的3d拍摄方法 |
CN109900705B (zh) * | 2019-03-18 | 2022-06-10 | 合肥京东方光电科技有限公司 | 一种基板检测装置和检测方法 |
CN111521162B (zh) * | 2020-04-15 | 2021-06-08 | 广东博智林机器人有限公司 | 一种测站的确定方法、装置、电子设备及存储介质 |
CN112073669A (zh) * | 2020-09-18 | 2020-12-11 | 三星电子(中国)研发中心 | 一种视频通信的实现方法和装置 |
CN112492213B (zh) * | 2020-12-04 | 2022-04-08 | 维沃移动通信有限公司 | 图像拍摄方法、装置和电子设备 |
CN117278733B (zh) * | 2023-11-22 | 2024-03-19 | 潍坊威龙电子商务科技有限公司 | 全景摄像在vr头显中的显示方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521817A (zh) * | 2011-11-22 | 2012-06-27 | 广州致远电子有限公司 | 一种用于全景泊车系统的图像融合方法 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677982B1 (en) * | 2000-10-11 | 2004-01-13 | Eastman Kodak Company | Method for three dimensional spatial panorama formation |
CN1289947A (zh) * | 2000-11-20 | 2001-04-04 | 杨子军 | 无漏点复制长安街两侧全景《新北京》画卷 |
CN1922892B (zh) * | 2003-12-26 | 2012-08-15 | 米科伊公司 | 多维成像装置、系统和方法 |
US7796152B2 (en) * | 2005-04-04 | 2010-09-14 | Micoy Corporation | Multi-dimensional imaging |
JP4783620B2 (ja) * | 2005-11-24 | 2011-09-28 | 株式会社トプコン | 3次元データ作成方法及び3次元データ作成装置 |
CN101082766A (zh) * | 2006-06-01 | 2007-12-05 | 上海杰图软件技术有限公司 | 一种快速采集全景图像的设备和方法 |
CN101520889A (zh) * | 2008-07-09 | 2009-09-02 | 殷宁淳 | 利用多张静态图像多角度全景式展示物品的方法及图像采集装置 |
CN201440702U (zh) * | 2009-05-06 | 2010-04-21 | 上海十加信息技术有限公司 | 空间实景高清360°互动全景影像数据采集系统 |
CN102013112B (zh) * | 2010-12-04 | 2012-07-11 | 徐进 | 文物史迹外形三维实景数据采集方法 |
EP2595393B1 (en) * | 2011-11-15 | 2015-03-11 | ST-Ericsson SA | Rectified stereoscopic 3d panoramic picture |
CN102692806B (zh) * | 2012-06-04 | 2015-08-05 | 济南大学 | 自由视点四维空间视频序列的采集与形成方法 |
TW201351959A (zh) * | 2012-06-13 | 2013-12-16 | Wistron Corp | 立體全景影像合成方法及其相關之立體攝影機 |
CN203133468U (zh) | 2013-03-21 | 2013-08-14 | 武汉大学 | 一种全景图像采集装置 |
CN203350595U (zh) * | 2013-05-29 | 2013-12-18 | 合肥工业大学 | 一种球形全景图拍摄支架 |
CA2933704A1 (en) * | 2013-12-13 | 2015-06-18 | 8702209 Canada Inc. | Systems and methods for producing panoramic and stereoscopic videos |
GB2525170A (en) * | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
US10027948B2 (en) * | 2014-05-20 | 2018-07-17 | Nextvr Inc. | Methods and apparatus including or for use with one or more cameras |
CN104079917A (zh) * | 2014-07-14 | 2014-10-01 | 中国地质大学(武汉) | 一种360度全景立体相机 |
CN104079918A (zh) * | 2014-07-22 | 2014-10-01 | 北京蚁视科技有限公司 | 全景三维摄像装置 |
KR102249831B1 (ko) * | 2014-09-26 | 2021-05-10 | 삼성전자주식회사 | 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 |
CN104506761B (zh) | 2014-12-20 | 2019-04-02 | 中国地质大学(武汉) | 一种360度全景立体摄像机 |
US10531071B2 (en) * | 2015-01-21 | 2020-01-07 | Nextvr Inc. | Methods and apparatus for environmental measurements and/or stereoscopic image capture |
CN107431800A (zh) * | 2015-02-12 | 2017-12-01 | 奈克斯特Vr股份有限公司 | 用于进行环境测量和/或使用此类测量的方法和装置 |
US10362290B2 (en) * | 2015-02-17 | 2019-07-23 | Nextvr Inc. | Methods and apparatus for processing content based on viewing information and/or communicating content |
US9369689B1 (en) * | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
US10038889B2 (en) * | 2015-03-01 | 2018-07-31 | Nextvr Inc. | Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment |
US9930315B2 (en) * | 2015-04-29 | 2018-03-27 | Lucid VR, Inc. | Stereoscopic 3D camera for virtual reality experience |
CN104902183B (zh) * | 2015-05-28 | 2017-10-20 | 广东欧珀移动通信有限公司 | 全景拍照方法及装置 |
CN105141941A (zh) * | 2015-09-02 | 2015-12-09 | 深圳华侨城文化旅游科技股份有限公司 | 一种数字全景3d影片制作的方法及系统 |
CN105262949A (zh) * | 2015-10-15 | 2016-01-20 | 浙江卓锐科技股份有限公司 | 一种多功能全景视频实时拼接方法 |
CN105376530B (zh) * | 2015-10-27 | 2019-06-21 | 南京泓众电子科技有限公司 | 一种基于固定位置的全景视频图像生成装置 |
CN105469387B (zh) * | 2015-11-13 | 2018-11-30 | 深圳进化动力数码科技有限公司 | 一种拼接质量的量化方法和量化装置 |
US10057562B2 (en) * | 2016-04-06 | 2018-08-21 | Facebook, Inc. | Generating intermediate views using optical flow |
-
2016
- 2016-05-10 CN CN201610307019.XA patent/CN107316273B/zh active Active
- 2016-05-11 WO PCT/CN2016/081636 patent/WO2017185408A1/zh active Application Filing
- 2016-05-11 US US16/478,563 patent/US11062421B2/en active Active
- 2016-05-18 CN CN201620457654.1U patent/CN205622734U/zh active Active
- 2016-05-18 CN CN201610332657.7A patent/CN107318009A/zh active Pending
- 2016-06-01 WO PCT/CN2016/084259 patent/WO2017197664A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521817A (zh) * | 2011-11-22 | 2012-06-27 | 广州致远电子有限公司 | 一种用于全景泊车系统的图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107316273A (zh) | 2017-11-03 |
CN205622734U (zh) | 2016-10-05 |
WO2017185408A1 (zh) | 2017-11-02 |
CN107318009A (zh) | 2017-11-03 |
US20190378240A1 (en) | 2019-12-12 |
WO2017197664A1 (zh) | 2017-11-23 |
US11062421B2 (en) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316273B (zh) | 全景图像采集装置及采集方法 | |
JP6873096B2 (ja) | イメージ形成における及びイメージ形成に関する改良 | |
WO2018019282A1 (zh) | 双目全景图像获取方法,装置及存储介质 | |
US9813693B1 (en) | Accounting for perspective effects in images | |
US10606347B1 (en) | Parallax viewer system calibration | |
KR20180111798A (ko) | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 | |
CN101673395A (zh) | 图像拼接方法及装置 | |
JP2010510573A (ja) | 3次元画像を合成するシステム及び方法 | |
KR20180091033A (ko) | 이미지 디스플레이 방법, 곡면을 가지는 불규칙 스크린을 제조하기 위한 방법 및 헤드-장착 디스플레이 장치 | |
US10244227B2 (en) | Capture and render of virtual reality content employing a light field camera array | |
US20210056662A1 (en) | Image processing apparatus, image processing method, and storage medium | |
KR20070007059A (ko) | 다중-차원 촬영 장치, 시스템, 및 방법 | |
CN105898338A (zh) | 全景视频播放方法及装置 | |
CN106384330B (zh) | 全景画面播放方法及全景画面播放装置 | |
US8983125B2 (en) | Three-dimensional image processing device and three dimensional image processing method | |
US11037323B2 (en) | Image processing apparatus, image processing method and storage medium | |
CN108734791B (zh) | 全景视频的处理方法和装置 | |
EP3506629A1 (en) | Multi-camera display | |
CN110264406B (zh) | 图像处理装置及图像处理的方法 | |
KR101425321B1 (ko) | 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 | |
WO2019163449A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN111754558B (zh) | 用于rgb-d摄像系统与双目显像系统的匹配方法及其相关系统 | |
Zhang et al. | Integration of real-time 3D image acquisition and multiview 3D display | |
US20160373729A1 (en) | Three-dimensional image display apparatus, methods and systems | |
WO2018232630A1 (zh) | 三维影像预处理方法、装置及头戴显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |