CN107318010A - 用于生成立体全景图像的方法和设备 - Google Patents

用于生成立体全景图像的方法和设备 Download PDF

Info

Publication number
CN107318010A
CN107318010A CN201710541008.2A CN201710541008A CN107318010A CN 107318010 A CN107318010 A CN 107318010A CN 201710541008 A CN201710541008 A CN 201710541008A CN 107318010 A CN107318010 A CN 107318010A
Authority
CN
China
Prior art keywords
image
rectangular
rectangular image
images
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710541008.2A
Other languages
English (en)
Other versions
CN107318010B (zh
Inventor
牟俊舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoyi Technology Co Ltd
Original Assignee
Shanghai Xiaoyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoyi Technology Co Ltd filed Critical Shanghai Xiaoyi Technology Co Ltd
Priority to CN201710541008.2A priority Critical patent/CN107318010B/zh
Publication of CN107318010A publication Critical patent/CN107318010A/zh
Priority to US15/873,018 priority patent/US10481482B2/en
Priority to EP18181781.8A priority patent/EP3425588A3/en
Application granted granted Critical
Publication of CN107318010B publication Critical patent/CN107318010B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

本公开提供用于生成立体全景图像的方法和设备。该方法包括从圆形阵列中的多个位置捕捉图像，将捕捉的图像投影到对应的等矩形图像中，从等矩形图像中提取中间图像的集合，并将该集合的中间图像进行融合以生成多个全景图像进而生成立体全景图像。

Description

用于生成立体全景图像的方法和设备
技术领域
本公开涉及图像处理设备和方法，更具体地，涉及用于生成立体 全景图像的设备和方法。
背景技术
在许多工业、商业和科学应用中，360度全景成像设备是创建虚拟 现实内容的重要设备。通常，全景成像设备可以包括圆形阵列中的多个 摄像机(例如，6、12或16个摄像机)，以捕捉360°内的场景的图像， 使得可以通过生成全景图像的方法将场景的图像组合成平面全景图像。 生成多个连续的全景图像之后，可以进一步生成全景视频。
除了二维全景图像和视频之外，全景成像设备还可以生成立体全 景图像和视频。
由于摄像机捕捉的图像数量众多，因此必须处理大数据流，以生 成全景图像和视频。需要甚至更多的处理能力来生成三维视频。然而， 通常，全景成像设备仅具有有限的计算资源可支配，并且可能需要长时 间来处理所有图像。因此，由于处理时间长，用户体验可能无法令人满 意。
本公开的实施例通过提供用于生成全景图像的改进的方法和设备 来解决上述问题。
发明内容
根据本公开的一个方面，提供了一种用于生成立体全景图像的方 法。该方法可以包括：从圆形阵列中的多个位置捕捉图像；将捕捉的图 像投影到对应的等矩形(equirectangular)图像中；从等矩形图像中提 取中间图像的集合；以及将所述集合的中间图像融合以生成多个全景图 像进而生成立体全景图像。
根据本公开的另一方面，提供了一种用于生成立体全景图像的设 备。该设备可以包括：摄像机架；至少一个摄像机，安装在摄像机架上 并被配置为从圆形阵列中的多个位置捕捉图像；存储器，被配置为存储 捕捉的图像和指令；以及处理器，被配置为执行指令以：将捕捉的图像 投影到对应的等矩形图像中；从等矩形图像中提取中间图像的集合；以及融合该集合的中间图像以生成多个全景图像进而生成立体全景图像。
应当理解，前面的一般描述和以下详细描述仅仅是示例性和解释 性的，而不对本发明构成限制。
附图说明
图1是根据本公开的一些实施例的用于生成立体全景图像的示例 性成像设备的框图。
图2是根据本公开的一些实施例的具有设置在其上的摄像机的示 例性摄像机架的顶视图。
图3是根据本公开的一些实施例的摄像机的视野的示例性示意图。
图4是根据本公开的一些实施例的等距形图像的像素和摄像机图 像中的相应像素之间的示例性位置关系。
图5是根据本公开的一些实施例的用于成像设备的球面坐标系的 示意图。
图6是根据本公开的一些实施例的摄像机坐标系的示意图。
图7是根据本公开的一些实施例的两个部分重叠的中间图像的示 例性示意图。
图8是根据本公开的一些实施例的成像设备生成的示例性全景图 像。
图9是根据本公开的一些实施例的摄像机图像之间的重叠视图的 示例性示意图。
图10A和10B是根据本公开的一些实施例的等矩形图像中的左眼 部分和右眼部分的示意图；
图11是根据本公开的一些实施例的部分重叠的左眼中间图像的示 例性示意图。
图12A和12B分别示出了根据本公开的一些实施例生成的示例性 左眼和右眼全景图像。
图13是根据本公开的一些实施例的用于生成立体全景图像的方法 的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。尽可能地， 贯穿附图中将使用相同的附图标记来指代相同或相似的部件。
图1是根据本公开的一些实施例的用于生成立体全景图像的示例 性成像设备的框图。如图1所示，成像设备100可以包括至少一个摄像 机102、存储器106和处理器108。
图2是具有设置在其上的摄像机的示例性摄像机架的顶视图。在 图2所示的实施例中，成像设备100可以包括具有安装在圆形摄像机架 104上的多个摄像机102a-102p的摄像机阵列101。每个摄像机102a- 102p都包括图像传感器(未示出)。图像传感器可以是互补金属氧化 物半导体(CMOS)传感器，电荷耦合器件(CCD)传感器或能够捕捉 入射光子并读取像素数据以生成图像的任何类型的图像传感器。由摄像 机102a-102p生成的图像可以被传送到处理器108进一步处理。
机架104可以包括圆形阵列中的多个凹槽或插座，使得至少一个 摄像机102可以布置在对应于圆形阵列中的不同位置的凹槽或插座处。 摄像机102a-102p面向径向向外以捕捉成像设备100的周围场景。摄像 机102a-102p可以固定或可移除地附接到机架104。
摄像机102a-102p均包括视野(FOV)，其可以包括竖直FOV和 水平FOV。通常，摄像机水平布置以同时捕捉周围场景的图像，并且 水平地融合图像以生成全景图像。因此，除非另有说明，本公开中提及 的FOV通常指水平FOV。在图2所示的实施例中，在机架104上布置 十六个摄像机以捕捉图像。在这种情况下，每个摄像机102a-102p的 FOV可以大于22.5°(即360°/16)，使得十六个摄像机可以覆盖360° 的周围场景。因为下面讨论的融合过程通常需要一些重叠区域，所以每 个摄像机的FOV可能远远大于最小FOV(例如，22.5°)。应当理解， 当需要时可以修改摄像机的数量。
如图2所示，圆形阵列中的十六个摄像机102a-102p设置在机架 104上，面向径向向外以捕捉周围的场景。因此，用于观看捕捉的周围 场景的原点是圆形阵列的中心，其在图2中被标记为O1。在一些实施 例中，圆形阵列的半径可以是200毫米。在一些实施例中，十六个摄像 机中的每一个可以具有90°(大于22.5°的最小值)的水平 FOV和120°的竖直FOV。
在另一个实施例中，机架104还可以包括旋转单元(未示出)， 使得机架104上的摄像机可以由旋转单元旋转。例如，成像设备100可 以仅包括一个摄像机，并且可以通过摄像机在第一位置处捕捉第一图像， 然后经由旋转单元将摄像机旋转角度(例如，22.5°)到第二位置以捕 捉第二个图像。通过继续旋转摄像机并捕捉图像，可能同时由十六个摄 像机捕捉的所有图像也可以被更少的摄像机(例如，仅一个摄像机)捕 捉。
应当理解，成像设备100可以包括其他数量的摄像机。例如，成 像设备100可以包括均匀地设置在圆形阵列中的四个摄像机。也就是说， 参考图2，可以仅提供摄像机102a、102e、102i和102m并且可以由旋 转单元旋转。例如，摄像机102a可以顺序旋转到摄像机102b、102c和 102d的位置，并且可以从每个位置捕捉图像。相应地，摄像机102e可 以顺序旋转到摄像机102f、102g和102h的位置并且捕捉图像，摄像机 102i可以顺序旋转到摄像机102j、102k和1021的位置并且捕捉图像， 并且摄像机102m可以顺序旋转到摄像机102n、102o和102p的位置并 且捕捉图像。因此，仅四个摄像机就可以捕捉十六张图像，就像有十六 个摄像机一样。
因此，旋转单元允许较少的摄像机覆盖360度的视野，从而降低 了成像设备100的成本。应该注意的是，具有旋转单元的这种配置仅可 以生成静止的全景图像，因为它需要有限的时段旋转成像单元捕捉所需 图像。
存储器106(图1)可以被配置为存储指令、数据和捕捉的图像用 于进一步处理。可以使用任何类型的易失性或非易失性存储器件或其组 合来实现存储器106，例如静态随机存取存储器(SRAM)、电可擦除 可编程只读存储器(EEPROM)、可擦除可编程读取存储器只读存储 器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、 磁存储器、闪存或磁盘或光盘。
处理器108可以被配置为执行软件指令(程序代码)，并且根据 本文所描述的技术来执行功能。例如，处理器108可以接收所捕捉的图 像并且执行根据本公开的一些实施例的方法，以便生成全景图像。软件 指令包括执行本文进一步描述的特定功能的例程、程序、对象、组件、 数据结构、过程、模块和功能。
图3是根据本公开的一些实施例的摄像机102a-102p之一(例如， 102a)的视野的示例性示意图。如图3所示，摄像机102a可以生成对 应于观察球体的部分304的平面摄像机图像302。观察球体是虚拟球体， 指示成像设备100可捕捉的范围。应当注意，十六个摄像机中的每一个 可以生成对应于观察球体的一部分的平面摄像机图像。换句话说，摄像 机捕捉观察球体的一部分内的场景并将场景投影在平面摄像机图像上。 在图3中，由于摄像机102a具有90°的水平FOV和120°的竖直FOV， 所以观察球体的部分304对应于90°的水平视图和120°的竖直视图。
图3还示出了用于平面摄像机图像中的像素的直线图像坐标系。 图3的直线图像坐标系是包括水平轴u和竖直轴v的二维坐标系。应该 注意的是，每个平面摄像机图像都有其自己的图像坐标系，平面摄像机 图像中的每个像素的坐标在相应的直线图像坐标系中表示。
由于每个摄像机图像具有其自己的图像坐标系，所以基于平面图 像直接生成全景图像是不方便的。因此，在任何进一步的处理之前，摄 像机图像应该投影到公共坐标系中的图像中。
如上所述，由十六个摄像机捕捉的每个摄像机图像对应于观察球 体的一部分。也就是说，摄像机图像可以投影到观察球体的球坐标系中 的球图像。当观察球体的部分(例如，球图像)被拉伸到平面上时，可 以生成与摄像机图像相对应的等矩形图像。因为所有的球图像可以在相 同的球坐标系中测量，所生成的等矩形图像也可以在相同的坐标系中测量。因此，可以以更有效的方式对等矩形图像执行进一步的处理。用于 生成等矩形图像的过程可以被称为等矩形投影过程。
应当注意，由于通过将观察球体的一部分“拉伸”到平面上来生 成等矩形图像，所以等矩形图像也在平面图像坐标系中，但是与用于摄 像机图像的平面图像坐标系不同的系统。因此，等矩形投影过程将用于 摄像机图像的第一图像坐标系中的像素的坐标转换为用于等矩形图像的 第二图像坐标系中的对应像素的坐标。
在等矩形投影过程中，摄像机图像的每个像素可以根据等矩形映 射表投影到等矩形图像。等矩形映射表包括摄像机图像的像素和等矩形 图像的像素之间的位置关系。在一些实施例中，等矩形映射表被预先确 定并存储在成像设备100中，使得可以有效地执行等矩形投影过程。
图4示出了根据本公开的一些实施例的等矩形图像的像素和摄像 机图像中的相应像素之间的示例性位置关系。在图4中，(ue,ve)表示等 矩形图像中的像素的位置，(uc,vc)表示摄像机图像中相同像素的位置。 此外，等矩形图像的宽度是we，等矩形图像的高度是he，摄像机图像 的宽度是wc，摄像机图像的高度是hc。从图4中可以看出，摄像机图 像的顶部区域和底部区域在等矩形图像中朝向两侧“拉伸”。
等矩形图像中的每个像素与摄像机图像中的相应像素之间的位置 关系构成等矩形映射表的元素。类似地，等矩形图像中的每个像素与另 一摄像机图像中的对应像素之间的位置关系也构成等矩形映射表的元素。
现在将描述用于确定等矩形图像和摄像机图像之间的这些位置关 系以构造等矩形映射表的过程。可以在不同的坐标系之间变换每个像素 的坐标，以便确定等矩形图像和摄像机图像之间的位置关系。在一些实 施例中，坐标系可以包括用于等矩形图像的第一图像坐标系，用于摄像 机图像的第二图像坐标系、球坐标系、世界坐标系和摄像机坐标系，这将进一步讨论。
将首先转换等矩形图像的(ue,ve)处的像素，以确定球坐标系中的对 应位置。球坐标系可以进一步转换为世界坐标系，然后转换为摄像机坐 标系，最后是摄像机图像的第二图像坐标系。通过坐标系之间的这些转 换，可以确定摄像机图像中(uc,vc)处的像素与等矩形图像中(ue,ve)处的 像素之间的位置关系。类似地，也可以确定另一摄像机图像中的像素与 等矩形图像中的对应像素之间的位置关系。
首先，可以在用于等矩形图像的图像坐标系和球坐标系之间执行 第一坐标转换。图5是根据本公开的一些实施例的用于成像设备的球坐 标系的示意图。如上所述，等矩形图像的(ue，ve)处的像素将首先被转换 为球坐标系。球坐标系中像素的位置可以由坐标(r，θ，ρ)表示，其中r是 径向距离，θ是方位角，ρ是极角。
等矩形图像中的坐标(ue，ve)可以通过下面的等式对应于球坐标系中 的坐标(r，θ，ρ)。
在一些实施例中，r可以设定为1500毫米。
然后，可以在球坐标系和世界坐标系(WCS)之间执行第二坐标 转换。世界坐标系(WCS)是通用坐标系。任何其他坐标系中的坐标 可以转换为WCS中的坐标，或反之。图5还示出了示例性世界坐标系。 如图5所示，世界坐标系的原点和球坐标系的原点都位于由摄像机形成 的圆形阵列的中心。
因此，球面坐标系中的坐标(r，θ，ρ)可以通过下面的等式进一步变换 到世界坐标系中的对应坐标(xw，yw，zw)。
xw＝-cos(θ)sin(ρ)r 等式2.1
yw＝sin(θ)r 等式2.2
zw＝cos(θ)cos(ρ)r 等式2.3
可以执行第三坐标转换，以将世界坐标系中的坐标转换为摄像机 坐标系(CCS)中的坐标。图6是根据本公开的一些实施例的摄像机坐 标系的示意图。摄像机坐标系是具有位于摄像机光学中心的原点Oc的 另一三轴坐标系。在CCS中，Xc轴和Yc轴分别平行于图像平面的u 轴和v轴，Zc轴是摄像机的光轴。从图6可以看到，世界坐标系和摄 像机坐标系之间存在位移。
世界坐标系中的坐标(xw，yw，zw)将通过下面的等式进一步转换为摄 像机坐标系中的摄像机坐标(xc，yc，zc)。
[xc，yc，zc]T＝R[xw，yw，zw]T+T 等式3.1
在上述等式3.1中，R是摄像机坐标系和世界坐标系之间的3×3旋 转矩阵。T是两个坐标系的3×1平移向量。换句话说，R和T描述了摄 像机坐标系与世界坐标系之间的相对位置关系。R和T都是每个摄像机 独有的外在参数。
通常，摄像机坐标系相对于世界坐标系移位，并可进一步偏移或 旋转。例如，返回参考图5，世界坐标系和摄像机的摄像机坐标系之间 的位移可以是圆形阵列的中心和摄像机的光学中心(它们分别是世界坐 标系和摄像机坐标系的原点)之间的矢量。并且R和T可以反映例如 世界坐标系和摄像机的摄像机坐标系之间的上述示例性位置关系。
因此，可以根据上述等式1.1、1.2、2.1-2.3和3.1生成摄像机图像 的像素和等矩形图像的对应像素之间的位置关系。通常，可以预先生成 等矩形图像的所有像素和摄像机图像的所有对应像素之间的位置关系。 可以存储位置关系以形成等矩形映射表。
可以为在不同位置捕捉的每个图像中的像素生成位置关系，并且 分别存储在相同的等矩形映射表或多个映射表中。
给定摄像机图像中的像素的坐标，可以从等矩形映射表获得等矩 形图像中的对应坐标。然后，摄像机图像中的像素的值可以被提供给等 矩形图像中相应坐标处的像素，以便生成等矩形图像。
此外，可以将图像坐标系、世界坐标系、摄像机坐标系和球坐标 系当中的一个坐标系中的像素的坐标变换为上述坐标系当中的另一个坐 标系中的坐标。
如上所述，在一些实施例中，十六个摄像机设置在圆形阵列中以 捕捉360°的周围场景的图像，并且十六个摄像机中的每一个可以具有 90°的FOV。理论上，这16个摄像机可以覆盖1440°(即90°×16)。因 此，每个摄像机具有远远大于生成全景图像所需的最小FOV的FOV。
在一些实施例中，可以从每个等矩形图像中提取中间图像，以生 成中间图像的集合。例如，可以提取每个等矩形图像的中心部分作为中 间图像，以生成中间图像的集合。返回参考图4，可以提取虚线之间的 等矩形图像的中心部分作为中间图像。
如上所述，等矩形图像中的每个像素的坐标可以被变换为球坐标 系中的坐标。也就是说，由摄像机捕捉的任何图像也可以在球坐标系中 以对应的球图像的形式进行讨论。因此，等矩形度图像的中心部分可以 以度数来测量，就像它在球坐标系中一样。
可以进一步融合该集合的中间图像以生成全景图像。例如，可以 确定两个中间图像之间的重叠区域并用于融合两个中间图像。
图7是根据本公开的一些实施例的两个部分重叠的中间图像的示 例性示意图。如图7所示，例如，中间图像702和相邻中间图像704可 以各自对应于30°的视图。因为两个相邻摄像机的光轴之间的角度是 22.5°(即360°/16)，所以中间图像702相对于中间图像704移位22.5°。 也就是说，例如，当中间图像702覆盖75°～105°的方位角θ1(即30° 的视图)时，中间图像704覆盖52.5°～82.5°的方位角θ2。因此，在75° ～82.5°之间的区域706，如图7中的加重弧所示，是中间图像702和中 间图像704之间的重叠。
如上所述，给定两个中间图像的视角和对应于两个中间图像的摄 像机的位置，可以在球坐标系中确定中间图像之间的重叠区域，并且在 任何其它坐标系中标识(如果需要)。应当理解，可以采用用于确定重 叠区域的其他方法。例如，可以使用两个中间图像之间的相同特征点来 确定重叠区域。
在确定重叠区域之后，可以通过任何合适的融合方法，例如金字 塔融合方法，基于重叠区域来融合两个中间图像。一种金字塔融合方法 可以从两个中间图像构建拉普拉斯金字塔LA和LB，从两个中间图像 进一步与掩模M(例如，5×5的矩阵)组合构建高斯金字塔GM，并且 基于拉普拉斯金字塔和高斯金字塔生成融合图像。
在金字塔融合方法中，高斯金字塔可以包括由图像金字塔组成的 若干图像。原始图像可以被认为是图像金字塔的最低层(层0)。可以 基于掩模M对原始图像执行卷积以生成卷积图像。然后，可以例如通 过去除奇数行和奇数列来对卷积图像进行采样，从而生成原始图像上方 的层1。层1可以进一步用作上述过程的输入，以获得更高的层。这些 层可以构成高斯金字塔。
在计算高斯金字塔期间，卷积和采样可能丢弃相当大量的高频信 息。为了描述在计算高斯金字塔期间丢失的高频信息，生成拉普拉斯金 字塔。在生成拉普拉斯金字塔之后，可以基于高斯金字塔和拉普拉斯金 字塔进行融合处理。通过金字塔融合方法，融合图像中的重叠区域可以 更平滑，并且颜色失真也可以被修复。
通过融合从与摄像机图像相对应的等矩形图像中提取的所有中间 图像，可以生成全景图像。应当理解，在一些实施例中，中间图像可以 是等矩形图像本身。
图8是根据本公开的一些实施例的由成像设备100生成的示例性全 景图像。如图8所示，从图4的示例性等矩形图像中提取的中间图像 801已经与其他中间图像一起融合成全景图像。从示例性等矩形图像提 取的中间图像801由虚线框指示。
成像设备100可以进一步生成立体全景，如下所述。
图9是根据本公开的一些实施例的可以用于生成立体图像的摄像 机图像之间的重叠视图的示例性示意图。如上所述，由摄像机捕捉的任 何图像可以以相应的球图像的形式表示在球坐标系中。因此，如图9所 示，对应于位置910、912和914处的摄像机捕捉的视图的球图像901、 903和905被示出为球图像的示例。位置910、912和914例如是圆形阵 列中的相邻位置，其中位置910位于位置912的左侧，位置914位于位 置912的右侧。为了清楚，省略其他摄像机和位置。
由于球图像被具有宽FOV(例如，90°)的摄像机捕捉，并且摄像 机的光轴之间的角度仅为22.5°(即，360°/16)，所以球图像903与球 图像901部分重叠以形成重叠区域907，并且球图像903还与球图像 905部分重叠以形成重叠区域909。也就是说，位置910处的摄像机和 位置912处的摄像机都捕捉与重叠区域907相对应的场景，并且位置 912处的摄像机和位置914处的摄像机都捕捉与重叠区域909相对应的 场景。
当位置910处的摄像机被认为是左眼，并且位置912处的摄像机被 认为是右眼时，球图像903中的重叠区域907是右眼区域。类似地，当 位置912处的摄像机被认为是左眼，并且位置914处的摄像机被认为是 右眼时，球图像903中的重叠区域909是左眼区域。也就是说，球图像 903可以包括重叠区域907和909。应当注意，重叠区域907和909还 具有进一步重叠的区域。因此，可以从每个球图像确定左眼区域和右眼 区域。
以上在球坐标系中讨论。由于坐标系可以彼此转换，所以与从球 图像确定左眼区域和右眼区域类似地也可以从每个等矩形图像确定左眼 区域和右眼区域。例如，可以接收对应于在第一位置捕捉的第一图像的 第一等矩形图像、对应于在第二位置捕捉的第二图像的第二等矩形图像 和对应于在第三位置捕捉的第三图像的第三等矩形图像，其中所述第二 位置位于所述第一位置的左侧，所述第三位置位于所述第一位置的右侧。 然后，可以提取第一等矩形图像中与第二等矩形图像重叠的左眼部分作 为左眼图像，并且可以提取第一等矩形图像中与第三等矩形图像重叠的 右眼部分作为右眼图像。
应当注意，左眼部分可以是第一等矩形图像和第二等矩形图像之 间的重叠区域的一部分，而不是整个重叠区域。右眼部分也是如此。
从图9中可以看出，给定摄像机的位置、球坐标系的参数和摄像 机的视野，可以确定两个球图像之间的重叠区域。在一些实施例中，十 六个摄像机设置成圆形阵列，其半径可以是200毫米。球坐标系的半径 r可以是1500毫米，并且每个摄像机的FOV可以是90°。基于上述参 数，可以根据常规数学计算来确定两个球图像之间的重叠区域。并且也 可以类似地确定两个等矩形图像之间的重叠区域，从而可以从两个等矩 形图像中提取左眼部分和右眼部分。
应当注意，可以采用用于确定重叠区域的其他方法。例如，可以 使用两个图像之间的相同特征点来确定重叠区域。
图10A和10B是根据本公开的一些实施例的等矩形图像中的左眼 部分和右眼部分的示意图。可以从等矩形图像中提取左眼部分和右眼部 分作为左眼中间图像和右眼中间图像。左眼中间图像和右眼中间图像可 以形成中间图像的集合，包括左眼中间图像的子集和右眼中间图像的子 集。
在一些实施例中，左眼中间图像1002是从如图10A所示的等矩形 图像1000中提取的，右眼中间图像1004是从如图10B所示的相同等矩 形图像1000中提取的。左眼中间图像1002和右眼中间图像1004可以 各自覆盖例如30°的视角。
如上所述，可以使用两个中间图像之间的重叠区域来生成全景图 像。图11是根据本公开的一些实施例的部分重叠的左眼中间图像的示 例性示意图。可以确定两个左眼中间图像1102和1104之间的第一重叠 区域1106(图11中的阴影部分)。
与参考图7所讨论的类似，给定两个左眼中间图像的视角和对应 于左眼中间图像的摄像机的位置，可以在球坐标系中确定左眼中间图像 之间的重叠区域，并且如果需要可以在任何其他坐标系中标识。
也可以相应地确定每两个左眼中间图像之间的第一重叠区域。类 似地，也可以相应地确定每两个右眼中间图像之间的第二重叠区域，为 了清楚起见，这里省略了描述和示意图。
可以对左眼中间图像和右眼中间图像执行任何合适的融合方法 (例如，上述的金字塔融合方法)，使得可以基于第一重叠区域来融合 左眼中间图像以获得左眼全景图像，并且可以基于第一重叠区域来融合 左眼中间图像以获得左眼全景图像。通过融合从等矩形图像确定的所有 左眼和右眼区域，可以生成左眼全景图像和右眼全景图像。当左眼和右眼全景图像分别显示给用户的左眼和右眼时，可以为用户生成立体全景。
图12A和12B分别示出了根据本公开的一些实施例生成的示例性 左眼和右眼全景图像。图12A中的左眼全景图像1202和图12B中的右 眼全景图像1204被竖直对准，并且提供参考线(即虚线)以示出左眼 全景图像1202和右眼全景图像1204之间的视差。视差是例如两眼观察 物体的显现位置的位移或差异。参考线设置在右眼全景图像1204中的 树旁边。当参考线延伸穿过左眼全景图像1202时，相同的树从参考线 移位某个间隙。左眼全景图像1202中的该间隙(或位移)指示所谓的 视差。因此，当左眼和右眼全景图像分别显示给用户的左眼和右眼时， 可以为用户生成立体全景。
上面公开的成像设备100可以从圆形阵列中的多个位置捕捉图像， 将捕捉的图像投影到对应的等矩形图像中，并且基于对应的等矩形图像 生成用于2D或3D显示的全景图像。因为可以在相同的坐标系中处理 投影的等矩形图像，所以可以极大地减少处理负担。
本公开的实施例还包括用于生成全景图像的方法。图13是根据一 些实施例的用于生成全景图像的方法1300的流程图。例如，方法1300 可以由成像设备100执行，并且可以包括以下讨论的步骤S1302-S1308。
在步骤S1302中，成像设备100可以从圆形阵列中的多个位置捕 捉图像。成像设备100可以包括成像单元，成像单元包括至少一个摄像 机。在一些实施例中，成像设备100可以通过分别设置在面向径向向外 的位置处的摄像机捕捉图像。例如，成像单元可以包括对应于十六个不 同位置的十六个摄像机。摄像机的数量可能不限于十六，只要摄像机覆 盖周围的场景即可。
然而，在一些实施例中，成像单元可以包括较少的摄像机以覆盖 周围的场景。在这种情况下，成像设备100还可以包括用于旋转成像单 元的旋转单元，以捕捉周围场景的图像。例如，成像设备100可以通过 如下捕捉图像：通过成像单元(例如，包括一个摄像机)在第一位置处 捕捉第一图像，并且将成像单元旋转角度至第二位置以捕捉第二图像。 通过继续旋转成像单元，成像设备100可捕捉足够的图像以生成全景图 像。
在步骤S1304中，成像设备100可以将捕捉的图像投影到对应的 等矩形图像中。在一些实施例中，成像设备100可以通过如下来投影捕 捉的图像：接收捕捉的图像中的像素的坐标，在映射表中查找坐标，从 映射表获得等矩形图像中的像素的对应坐标，以及将捕捉的图像中的像 素的值提供给等矩形图像的对应坐标上的像素。映射表可以预先生成并存储在成像设备100中。以上已经讨论了生成映射表的方法，为了清楚 起见，将省略其描述。由于摄像机捕捉的图像位于不同的摄像机坐标系 中，因此直接处理捕捉的图像是不方便的。通过将捕捉的图像投影到公 共坐标系中的等矩形图像中，可以在随后的步骤中有效地处理等矩形图 像。
在步骤S1306中，成像设备100可以从等矩形图像提取中间图像 的集合。在一个实施例中，成像设备100可以接收等矩形图像，并且提 取每个等矩形图像的中心部分作为中间图像，以获得中间图像的集合。 在另一个实施例中，成像设备100可以接收对应于在第一位置捕捉的第 一图像的第一等矩形图像、对应于在第二位置捕捉的第二图像的第二等 矩形图像和对应于在第三位置捕捉的第三图像的第三等矩形图像。在圆 形阵列中，第二位置位于第一位置的左侧，第三位置位于第一位置的右 侧。成像设备100可以进一步提取第一等矩形图像中与第二等矩形图像 重叠的第一部分作为第一中间图像，并且提取第一等距图像中与第三等 矩形图像重叠的第二部分作为第二中间图像，并且中间图像的集合可以包括第一中间图像的子集和第二中间图像的子集。第一中间图像可以包 括用于呈现给用户的右眼的场景，并且第二中间图像可以包括用于呈现 给用户的左眼的场景。
可以进一步处理从每个等矩形图像的中心部分生成的或包括第一 中间图像的子集和第二中间图像的子集的中间图像集合，以生成全景图 像。
在步骤S1308中，成像设备100可以融合所述集合的中间图像以 生成全景图像。在一些实施例中，成像设备100可以确定中间图像集合 中的两个中间图像之间的重叠区域，并且基于重叠区域来融合两个中间 图像以生成全景图像。例如，当从每个等矩形图像的中心部分生成中间 图像的集合时，可以生成二维全景图像。当中间图像的集合包括第一中间图像的子集和第二中间图像的子集时，成像设备100可以确定第一中 间图像的子集中的两个第一中间图像之间的第一重叠区域，并且基于第 一重叠区域融合两个第一中间图像以获得第一全景图像(例如，图12 中的图像1204)；并且确定第二中间图像的子集中的两个第二中间图 像之间的第二重叠区域，并且基于第二重叠区域融合两个第二中间图像 以获得第二全景图像(例如，图12中的图像1202)。第一全景图像可 以呈示给用户的右眼，并且第二全景图像可以呈示给用户的左眼。由于 第一和第二全景图像之间的视差，用户可以将图像感知为三维全景。
附图中的流程图和框图示出了根据本发明的多个实施例的系统和 方法的可能实现的系统架构、功能和操作。在这方面，流程图或框图中 的每个块可以表示一个模块、一个程序段或代码的一部分，其中模块、 程序段或代码部分包括用于实现指定的逻辑功能的一个或多个可执行指 令。还应当注意，在一些替代实现中，块中标记的功能也可以以与附图中所标记的顺序不同的顺序发生。例如，两个连续的块可以基本上并行 地执行，并且有时它们也可以以相反的顺序执行，这取决于所涉及的功 能。框图和/或流程图中的每个块以及框图和/或流程图中的块的组合可 以由用于执行相应功能或操作的专用基于硬件的系统来实现，或者可以 通过专用硬件和计算机指令的组合来实现。
如本领域技术人员将理解的，本公开的实施例可以体现为方法、 系统或计算机程序产品。因此，本公开的实施例可以采取完全硬件实施 例、完全软件实施例或结合软件和硬件的实施例的形式，用于允许专用 组件执行上述功能。此外，本公开的实施例可以采用以一个或多个计算 机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)体现的计算机程序产品的形式，其包含计算机可读程序代码。
参考根据本公开的实施例的方法、设备(系统)和计算机程序产 品的流程图和/或框图来描述本公开的实施例。应当理解，流程图和/或 框图的每个流程和/或块以及流程图和/或框图中的流程和/或块的组合可 以由计算机程序指令来实现。这些计算机程序指令可以被提供给计算机 的处理器、嵌入式处理器或其他可编程数据处理设备以产生机器，使得 经由计算机的处理器或其他可编程数据处理设备执行的指令创建用于实 现流程图中一个或多个流中和/或框图中的一个或多个块中指定的功能 的手段。
这些计算机程序指令还可以存储在计算机可读存储器中，计算机 可读存储器可引导计算机或其他可编程数据处理设备以特定方式工作， 使得存储在计算机可读存储器中的指令产生包括用于实现流程图中的一 个或多个流中和/或框图中的一个或多个块中所指定的功能的指令装置 在内的制造品。
这些计算机程序指令还可以被加载到计算机或其他可编程数据处 理设备上，以使得在计算机或其他可编程设备上执行一系列操作步骤以 产生由计算机实现的处理，使得在计算机或其他可编程设备上执行的指 令提供了用于实现流程图中一个或多个流中和/或框图中的一个或多个 块中所指定的功能的步骤。在典型的配置中，计算机设备包括一个或多 个中央处理单元(CPU)、输入/输出接口、网络接口和存储器。存储 器可以包括易失性存储器、随机存取存储器(RAM)和/或非易失性存 储器等的形式，诸如计算机可读存储介质中的只读存储器(ROM)或 闪存RAM。存储器是计算机可读存储介质的示例。
计算机可读存储介质是指可以存储可由处理器读取的信息或数据 的任何类型的物理存储器。因此，计算机可读存储介质可以存储用于由 一个或多个处理器执行的指令，包括用于使处理器执行与本文所述的实 施例一致的步骤或阶段的指令。计算机可读介质包括非易失性和易失性 介质以及可移除和不可移动介质，其中信息存储可以用任何方法或技术 来实现。信息可以是计算机可读指令、数据结构和程序或其他数据的模 块。非瞬时性计算机可读介质的示例包括但不限于相变随机存取存储器 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存 储器技术、致密盘只读存储器(CD-ROM)、数字通用光盘(DVD) 或其他光学存储器、盒式磁带、磁带或磁盘存储器或其他磁存储设备、 高速缓存、寄存器或可用于存储能够被计算机设备访问的信息的任何其 它非传输介质。计算机可读存储介质是非瞬时性的，并且不包括诸如调 制数据信号和载波之类的瞬时介质。
所示的步骤旨在解释所示的示例性实施例，并且应当预期持续的 技术发展将改变执行特定功能的方式。因此，为了说明而不是限制，这 些实施例在本文中给出。例如，本文公开的步骤或过程不限于以所描述 的顺序执行，而是可以以任何顺序执行，并且可以省略与所公开的实施 例一致的一些步骤。此外，为了方便描述，功能构建块的边界已经被任意定义。只要指定的功能和关系被适当地执行，可以定义替代边界。基 于本文所包含的教导，替代方案(包括本文所述的那些的等价物、扩展、 变型、偏差等)对于相关技术领域的技术人员而言将是显而易见的。这 样的替代方案落入所公开的实施例的范围和精神内。
尽管本文描述了所公开原理的示例和特征，但是在不脱离所公开 的实施例的精神和范围的情况下，可以进行修改、适配和其他实现。此 外，“包括”、“具有”、“包含”和“包括”等词语意图具有等同意 义，并且是开放式的，因为这些单词中的任何一个之后的一个或多个项 不是意图是对这一个或多个项的详尽列表，或意图仅限于列出的一个或 多个项。还必须注意的是，如本文和所附权利要求中所使用的，除非上 下文另有明确规定，单数形式“一”、“一个”和“该”包括多个参考。
应当理解，本公开不限于上面已经描述并在附图中示出的确切构 造，并且在不脱离其范围的情况下可以进行各种修改和改变。意图是本 公开的范围应仅由所附权利要求限制。

Claims (20)

1.一种用于生成立体全景图像的方法，包括：
从圆形阵列中的多个位置捕捉图像；
将捕捉的所述图像投影到对应的等矩形图像中；
从所述等矩形图像中提取中间图像的集合；以及
将所述集合的中间图像进行融合以生成多个全景图像进而生成立体全景图像。
2.根据权利要求1所述的方法，其中，投影捕捉的所述图像还包括：
接收捕捉的所述图像中的像素的坐标；
在映射表中查找所述坐标；
从所述映射表获取所述等矩形图像中的像素的对应坐标；以及
将捕捉的所述图像中的像素的值提供给所述等矩形图像的对应坐标上的像素。
3.根据权利要求1所述的方法，其中，提取中间图像的集合包括：
接收所述等矩形图像；以及
提取每个所述等矩形图像的中心部分作为中间图像，以获得中间图像的集合。
4.根据权利要求1所述的方法，其中，提取中间图像的集合包括：
接收与在第一位置处捕捉的第一图像相对应的第一等矩形图像、与在第二位置处捕捉的第二图像相对应的第二等矩形图像、以及与在第三位置处捕捉的第三图像相对应的第三等矩形图像，在所述圆形阵列中，所述第二位置在所述第一位置的左侧，并且所述第三位置在所述第一位置的右侧；
提取所述第一等矩形图像中与所述第二等矩形图像重叠的第一部分作为第一中间图像；以及
提取所述第一等矩形图像中与所述第三等矩形图像重叠的第二部分作为第二中间图像。
5.根据权利要求4所述的方法，其中：
中间图像的集合包括中间图像的第一子集和中间图像的第二子集；以及融合所述集合的中间图像包括：
确定所述第一子集中的两个中间图像之间的第一重叠区域，以及基于所述第一重叠区域来融合所述第一子集中的所述两个中间图像，以获得第一全景图像；以及
确定所述第二子集中的两个中间图像之间的第二重叠区域，以及基于所述第二重叠区域来融合所述第二子集中的所述两个中间图像，以获得第二全景图像。
6.根据权利要求5所述的方法，其中，所述第一全景图像包括用于呈现给用户的右眼的场景，并且所述第二全景图像包括用于呈现给所述用户的左眼的场景。
7.根据权利要求1所述的方法，其中融合所述集合的中间图像包括：
确定所述中间图像的集合中的两个中间图像之间的重叠区域；以及
基于所述重叠区域融合所述两个中间图像。
8.根据权利要求1所述的方法，其中，从圆形阵列中的多个位置捕捉图像包括：
利用分别放置在所述位置上面向径向向外的十六个摄像机来捕捉图像。
9.根据权利要求1所述的方法，其中，从圆形阵列中的多个位置捕捉图像包括：
利用在第一位置处的一个摄像机捕捉第一图像；以及
将所述摄像机旋转角度到第二位置以捕捉第二图像。
10.根据权利要求9所述的方法，其中，所述角度为22.5度。
11.一种用于生成立体全景图像的设备，包括：
摄像机架；
至少一个摄像机，安装在所述摄像机架上并被配置为从圆形阵列中的多个位置捕捉图像；
存储器，被配置为存储捕捉的所述图像和指令；以及
处理器，被配置为执行所述指令以：
将捕捉的所述图像投影到对应的等矩形图像中；
从所述等矩形图像中提取中间图像的集合；以及
融合所述集合的中间图像以生成多个全景图像进而生成立体全景图像。
12.根据权利要求11所述的设备，其中所述处理器还执行所述指令，以通过以下操作将捕捉的所述图像投影到对应的等矩形图像中：
接收捕捉的所述图像中的像素的坐标；
在映射表中查找所述坐标；
从所述映射表获取所述等矩形图像中的像素的对应坐标；以及
将捕捉的所述图像中的像素的值提供给所述等矩形图像的对应坐标上的像素。
13.根据权利要求11所述的设备，其中所述处理器还执行所述指令以通过以下操作来提取中间图像的集合：
接收所述等矩形图像；以及
提取每个所述等矩形图像的中心部分作为中间图像，以获得中间图像的集合。
14.根据权利要求11所述的设备，其中所述处理器还执行所述指令以通过以下操作来提取中间图像的集合：
接收与在第一位置处捕捉的第一图像相对应的第一等矩形图像、与在第二位置处捕捉的第二图像相对应的第二等矩形图像、以及与在第三位置处捕捉的第三图像相对应的第三等矩形图像，在所述圆形阵列中，所述第二位置在所述第一位置的左侧，并且所述第三位置在所述第一位置的右侧；
提取所述第一等矩形图像中与所述第二等矩形图像重叠的第一部分作为第一中间图像；以及
提取所述第一等矩形图像中与所述第三等矩形图像重叠的第二部分作为第二中间图像。
15.根据权利要求14所述的设备，其中：
中间图像的集合包括中间图像的第一子集和中间图像的第二子集；以及
所述处理器还执行所述指令以通过以下操作来融合所述集合的中间图像：
确定所述第一子集中的两个中间图像之间的第一重叠区域，以及基于所述第一重叠区域来融合所述第一子集中的所述两个中间图像，以获得第一全景图像；以及
确定所述第二子集中的两个中间图像之间的第二重叠区域，以及基于所述第二重叠区域来融合所述第二子集中的所述两个中间图像，以获得第二全景图像。
16.根据权利要求15所述的设备，其中，所述第一全景图像包括用于呈现给用户的右眼的场景，并且所述第二全景图像包括用于呈现给所述用户的左眼的场景。
17.根据权利要求11所述的设备，其中所述处理器还执行所述指令以通过以下操作来融合所述集合的中间图像：
确定所述中间图像的集合中的两个中间图像之间的重叠区域；以及基于所述重叠区域融合所述两个中间图像。
18.根据权利要求11所述的设备，其中，所述设备包括分别设置在所述位置处面向径向向外的十六个摄像机。
19.根据权利要求11所述的设备，还包括：旋转单元，其中所述设备包括一个摄像机，并且由所述摄像机在第一位置处捕捉第一图像，并且经由所述旋转单元将所述摄像机旋转角度至第二位置以捕捉第二图像。
20.根据权利要求19所述的设备，其中，所述角度为22.5度。
CN201710541008.2A 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备 Expired - Fee Related CN107318010B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710541008.2A CN107318010B (zh) 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备
US15/873,018 US10481482B2 (en) 2017-07-05 2018-01-17 Method and device for generating panoramic images
EP18181781.8A EP3425588A3 (en) 2017-07-05 2018-07-04 Method and device for generating panoramic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710541008.2A CN107318010B (zh) 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备

Publications (2)

Publication Number Publication Date
CN107318010A true CN107318010A (zh) 2017-11-03
CN107318010B CN107318010B (zh) 2019-10-11

Family

ID=60181171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710541008.2A Expired - Fee Related CN107318010B (zh) 2017-07-05 2017-07-05 用于生成立体全景图像的方法和设备

Country Status (3)

Country Link
US (1) US10481482B2 (zh)
EP (1) EP3425588A3 (zh)
CN (1) CN107318010B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902122A (zh) * 2019-01-25 2019-06-18 深圳市买买提信息科技有限公司 一种数据可视化方法、装置、电子设备以及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
US11025888B2 (en) * 2018-02-17 2021-06-01 Dreamvu, Inc. System and method for capturing omni-stereo videos using multi-sensors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001146A1 (en) * 2002-06-28 2004-01-01 Zicheng Liu Real-time wide-angle image correction system and method for computer image viewing
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101155267A (zh) * 2006-09-27 2008-04-02 三星电子株式会社 用于产生全景图像的设备、方法和介质
CN103501409A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种超高分辨率全景高速球一体机系统
CN103945103A (zh) * 2013-01-17 2014-07-23 成都国腾电子技术股份有限公司 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US20020114987A1 (en) * 1997-09-24 2002-08-22 Sven Oscarsson Method of arraying nanoparticles and macromolecules on surfaces
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
US9369679B2 (en) * 2006-11-07 2016-06-14 The Board Of Trustees Of The Leland Stanford Junior University System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
WO2010025309A1 (en) 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
JP5891426B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2012132237A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
US9402026B2 (en) * 2013-01-05 2016-07-26 Circular Logic Systems, Inc. Spherical panoramic image camera rig
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
US10674075B2 (en) * 2013-04-30 2020-06-02 Sony Corporation Image processing device, image processing method, and program
EP3901897A1 (en) * 2013-04-30 2021-10-27 Sony Group Corporation Image processing device, image processing method, and program
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
US9443488B2 (en) * 2014-10-14 2016-09-13 Digital Vision Enhancement Inc Image transforming vision enhancement device
EP3782912A1 (en) * 2014-12-23 2021-02-24 SZ DJI Osmo Technology Co., Ltd. Uav panoramic imaging
US20160295108A1 (en) 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
KR102328020B1 (ko) * 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
US10038887B2 (en) * 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
KR102023587B1 (ko) * 2015-05-27 2019-09-23 구글 엘엘씨 카메라 리그 및 입체 이미지 캡쳐
CN107925722B (zh) * 2015-11-16 2020-05-12 谷歌有限责任公司 用于补偿相机运动的方法和设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040001146A1 (en) * 2002-06-28 2004-01-01 Zicheng Liu Real-time wide-angle image correction system and method for computer image viewing
CN101155267A (zh) * 2006-09-27 2008-04-02 三星电子株式会社 用于产生全景图像的设备、方法和介质
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN103945103A (zh) * 2013-01-17 2014-07-23 成都国腾电子技术股份有限公司 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法
CN103501409A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种超高分辨率全景高速球一体机系统
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902122A (zh) * 2019-01-25 2019-06-18 深圳市买买提信息科技有限公司 一种数据可视化方法、装置、电子设备以及计算机可读存储介质

Also Published As

Publication number Publication date
CN107318010B (zh) 2019-10-11
US10481482B2 (en) 2019-11-19
EP3425588A2 (en) 2019-01-09
EP3425588A3 (en) 2019-04-03
US20190011826A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
Perazzi et al. Panoramic video from unstructured camera arrays
US9609210B2 (en) Technique for view synthesis
CN107392851A (zh) 用于生成全景图像的方法和设备
Birklbauer et al. Panorama light‐field imaging
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
Guo et al. Enhancing light fields through ray-space stitching
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN107333064B (zh) 一种球形全景视频的拼接方法及系统
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
CN107318010A (zh) 用于生成立体全景图像的方法和设备
CN107534718A (zh) 光场的元数据
Popovic et al. Real-time implementation of Gaussian image blending in a spherical light field camera
CN107527336A (zh) 镜头相对位置标定方法及装置
Smith et al. Cultural heritage omni-stereo panoramas for immersive cultural analytics—from the Nile to the Hijaz
Popovic et al. Image blending in a high frame rate FPGA-based multi-camera system
CN110796690B (zh) 图像匹配方法和图像匹配装置
KR101986433B1 (ko) 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
Lyu et al. A 3DOF+ view rendering method for panoramic light field
Popovic et al. State-of-the-art multi-camera systems
Yang et al. Coplanar common points in non-centric cameras
Zhao et al. Initialization and alignment for adversarial texture optimization
Peng et al. A low-cost implementation of a 360 vision distributed aperture system
Wang et al. 360x180 stereoscopic panoramas from static light field capturing
Zhang et al. A setup for panoramic stereo imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191011

Termination date: 20210705