CN105164998A - 用于生成球面图像的系统和方法 - Google Patents

用于生成球面图像的系统和方法 Download PDF

Info

Publication number
CN105164998A
CN105164998A CN201380070011.0A CN201380070011A CN105164998A CN 105164998 A CN105164998 A CN 105164998A CN 201380070011 A CN201380070011 A CN 201380070011A CN 105164998 A CN105164998 A CN 105164998A
Authority
CN
China
Prior art keywords
image
imaginary
plane
pixel
delineation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380070011.0A
Other languages
English (en)
Other versions
CN105164998B (zh
Inventor
肖恩·乔弗里·拉姆齐
丹尼尔·昌塔尔·米尔斯
迪伦·斯蒂芬·霍瓦特
斯科特·安德鲁·罗宾逊·伯达利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BUBL TECHNOLOGY Inc
Original Assignee
BUBL TECHNOLOGY Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BUBL TECHNOLOGY Inc filed Critical BUBL TECHNOLOGY Inc
Publication of CN105164998A publication Critical patent/CN105164998A/zh
Application granted granted Critical
Publication of CN105164998B publication Critical patent/CN105164998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

成像系统包括各自从假想四面体的顶点指向外部的4个图像传感器，且所述图像传感器的光轴与假想四面体的相应中线实质上共线，且每个图像传感器的焦平面阵列位于其相应图像传感器的透镜系统与假想四面体的质心之间。成像系统可被用于获得用来生成围绕成像系统的空间的球面图像的图像数据。用于根据该图像数据生成球面图像的方法根据与每个图像的图像平面各自对齐的圆柱投影向图像中的像素指派球面坐标，且混合重叠像素并填充空像素空间。该方法可应用于对从任何正多面体的顶点或者面的质心向外的视图进行表示的图像数据。

Description

用于生成球面图像的系统和方法
技术领域
本公开涉及成像系统和方法，且更具体地涉及用于生成球面图像的系统和方法。
背景技术
存在着各种可用于记录所有或实质上所有球面视野的成像系统。
这种成像系统的一个示例是双半球透镜系统，在该系统中，将各自具有180度视野的两个图像传感器布置为彼此反向。然后可以组合来自每个传感器的图像，以生成表示整个球面视野的图像。这种系统容易受到高失真的影响。
可通过增加个体图像传感器的数目来降低失真量，即使这一般增加了成像系统自身以及后续图像处理的成本和复杂性。这是因为需要更多的图像传感器，且这进而导致用于组合各个图像的需要处理的数据量增加。
由PointGreyResearchInc.(地址为12051RiversideWay，Richmond，BC，Canada，V6W1K7)提供的牌的成像系统使用6个图像传感器，且5个间隔开的图像传感器被布置为从公共环指向外部，且1个图像传感器被布置为相对于环而指向轴向。然而，这些图像传感器没有捕捉到整个球面视野。
另一类型的成像系统基于十二面体的几何排列。该类型成像系统的一个实施例使用被布置为从十二面体外壳的各面指向外部的图像传感器。在McCutchen的美国专利No.5,023,725中描述了这种系统。McCutchen的美国专利No.6,141,034的后续专利教导了十二面体成像系统的另一实施例，该十二面体成像系统使用利用十字交叉的光学器件来安装的四面体透镜中的分透镜(dividedlens)，且每个图像传感器记录环绕单个十二面体顶点的3个五边形。分透镜系统和十字交叉的光学器件可能增加透镜系统组件和相机之间未对齐的风险。
此外，用来将各个图像合并在一起以表示球面视野的很多方法受到失真的影响，因为它们必须将平面图像的像素位置与弯曲的球面上的位置进行关联。
发明内容
成像系统包括被布置为从假想四面体的顶点指向外部的4个图像传感器，并且可用于获得用来生成围绕成像系统的空间的球面图像的图像数据。用于根据该图像数据来生成球面图像的方法根据圆柱投影向图像中的像素指派球面坐标，该圆柱投影与每个图像的图像平面各自对齐，然后混合重叠像素并填充空像素空间。该方法可应用于对从任何正多面体的顶点或者从任何正多面体的面的质心向外的视图进行表示的图像数据。
成像系统包括支撑框和由支撑框携带的4个图像传感器，且每个图像传感器包括具有光轴的透镜系统以及与所述透镜系统的所述光轴对齐的焦平面阵列。每个图像传感器具有与每个相邻图像传感器的视野至少实质上相接的视野。图像传感器被布置为使得：每个透镜系统的光轴与公共的假想正四面体的中线实质上共线，每个焦平面阵列位于其相应图像传感器的透镜系统与假想四面体的质心之间，以及每个图像传感器相对于假想四面体的质心面朝外。
每个图像传感器优选地具有至少129.5度的视野。优选地，每个图像传感器具有与每个相邻图像传感器的视野重叠的视野，以及每个图像传感器优选地具有至少135度的视野，更优选地，至少165度的视野，以及更更优选地，在大约165度和大约170度之间的视野。
用于生成球面图像的示例方法包括接收4个图像。每个图像定义了对从假想正四面体的独一无二的顶点沿着光轴向外的视野进行表示的图像平面，所述光轴与假想四面体的质心和相应顶点之间的假想线实质上共线。每个图像的视野与每个相邻图像的视野至少实质上相接。该方法还包括：根据与每个图像的图像平面对齐的圆柱投影向该图像中的每个像素指派假想球面上的球面坐标，以及根据球面图像模板，使用所述球面坐标向球面图像中的像素位置指派根据像素导出的颜色。假想球面与所述假想四面体的顶点相交，以假想四面体的质心为中心，且每个图像的图像平面与假想球面实质上相切。所述圆柱投影通过圆柱投影的假想圆柱与该图像的图像平面对齐，该假想圆柱的圆柱壁与图像平面实质上相切且其纵轴与假想四面体的质心相交。
在一个实施例中，每个图像定义对视野进行表示的图像平面，该视野具有至少129.5度，优选地至少135度，更优选地至少165度，以及更更优选地大约165度和大约170度之间。
上述方法是用于生成球面图像的更一般性的方法的具体实现。该更一般性的方法包括：接收图像的集合，其中，每个图像定义了对从假想正多面体的独一无二的围绕点沿着光轴向外的视野进行表示的图像平面，该光轴与假想正多面体的质心和相应围绕点之间的假想线实质上共线。每个围绕点是从包括以下各项的组中选择的围绕点集合的成员：(a)假想正多面体的所有顶点的集合；以及(b)假想正多面体的各面的所有质心的集合，以及集合中图像的数目等于针对假想正多面体所选择的围绕点集合中围绕点的数目。因此，在一个实施例中，围绕点集合是假想正多面体的所有顶点的集合，以及在另一实施例中，围绕点集合是假想正多面体的各面的所有质心的集合。每个图像的视野与每个相邻图像的视野至少实质上相接。该方法然后根据与每个图像的图像平面对齐的圆柱投影向该图像中的每个像素指派假想球面上的球面坐标，以及根据球面图像模板，使用所述球面坐标向球面图像中的像素位置指派根据像素导出的颜色。假想球面与假想正多面体的顶点相交，以假想正多面体的质心为中心，且每个图像的图像平面与假想球面实质上相切。所述圆柱投影通过圆柱投影的假想圆柱与该图像的图像平面对齐，该假想圆柱的圆柱壁与图像平面实质上相切且其纵轴与假想正多面体的质心相交。
在上述方法中，每个图像的视野优选地与每个相邻图像的视野重叠。
在上述方法中使用的球面图像模板可例如是等矩(equirectangular)图像模板。
在上述方法的一些实施例中，根据与该图像的图像平面对齐的圆柱投影向相应像素指派球面坐标包括：根据从圆柱投影导出的预先计算的查找表向相应像素指派球面坐标。除了被从所述圆柱投影导出之外，预先计算的查找表中的球面坐标还可包括用于失真校正的位置调整。在上述方法的某些优选实施例中，圆柱投影是Miller圆柱投影。
在上述方法的具体实施例中，向每个图像中的每个像素指派球面坐标导致各自具有独一无二球面坐标的独一无二像素，以及导致像素组，且每个像素组包括具有相同球面坐标的多个像素。在这种实施例中，根据球面图像模板使用球面坐标向球面图像中的像素位置指派颜色可以包括：针对球面图像中映射到被指派给独一无二像素的球面坐标的每个像素位置，向球面图像中的该像素位置指派该独一无二像素的颜色，以及针对球面图像中映射到被指派给像素组中的多个像素的球面坐标的每个像素位置，向球面图像中的该像素位置指派根据像素组中的该多个像素混合的颜色。上述方法的这种实施例还可以包括：针对球面图像中映射到仍未被指派给任何像素的球面坐标的每个像素位置，向球面图像中的该像素位置指派通过对球面图像中附近的像素位置进行过采样而确定的颜色。
方法还可以包括：针对失真来校正每个图像。
每个图像可以是包括多个图像在内的视频流中的一个图像。
可以将图像在被接收到时复用到单个复合图像中，在该情况下，上述方法还可以包括：在针对每个图像中的每个像素找到对将该像素投影到假想球面的表面上的投影进行表示的球面坐标之前，从复合图像中隔离出每个图像。
还公开了包括体现用于执行上述方法的指令的有形计算机可用介质在内的计算机程序产品，以及用于实现上述方法的计算机系统。
附图说明
根据参考附图的以下描述，这些特征以及其他特征将变得更加显而易见，其中：
图1示出了四面体成像系统的四个图像传感器的示例几何布置；
图2A是图1的四面体成像系统的示例物理实施例的透视图；
图2B是图2A中示出的示例物理实施例的分解透视图；
图3示出了四面体成像系统的示例电子硬件布置的示意表示图；
图3A示出了示例复用布置；
图4是示出了基于四面体几何排列来生成球面图像的示例方法的流程图；
图5示出了要被用于根据图4的方法来生成球面图像的图像的图像平面的几何布置；
图6A和6B示出了对投影到地球的示例圆柱投影的应用；
图7示出了圆柱投影与图像平面的对齐；
图8A至8D示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图5中示出的几何布置中的每个图像平面对齐；
图9A至9D示出了图5中示出的几何布置中的图像平面相对于图2A的示例物理实施例的布置，其中，图2A的示例物理实施例的定向保持不变，且图9A至9D示出了将圆柱投影与每个相应图像平面对齐的假想圆柱的不同定向；
图10是示出了根据球面图像模板向球面图像中的图像空间指派颜色的示例方法的流程图；
图11是示出了基于正多面体几何排列来生成球面图像的示例方法的流程图；
图12A示出了立方体；
图12B示出了八面体；
图12C示出了十二面体；
图12D示出了二十面体；
图13A示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的立方体，且围绕点是假想的立方体的顶点；
图13B示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图13A中示出的几何布置中的图像平面对齐；
图13C示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的立方体，且围绕点是立方体的面的质心；
图13D示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图13C中示出的几何布置中的图像平面对齐；
图14A示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的八面体，且围绕点是假想的八面体的顶点；
图14B示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图14A中示出的几何布置中的图像平面对齐；
图14C示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的八面体，且围绕点是假想的八面体的面的质心；
图14D示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图14C中示出的几何布置中的图像平面对齐；
图15A示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的二十面体，且围绕点是假想的二十面体的顶点；
图15B示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图15A中示出的几何布置中的图像平面对齐；
图15C示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的二十面体，且围绕点是假想的二十面体的面的质心；
图15D示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图15C中示出的几何布置中的图像平面对齐；
图16A示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的十二面体，且围绕点是假想的十二面体的顶点；
图16B示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图16A中示出的几何布置中的图像平面对齐；
图16C示出了用于根据图11的方法来生成球面图像的图像的图像平面的几何布置，其中，假想的正多面体是假想的十二面体，且围绕点是假想的十二面体的面的质心；
图16D示出了圆柱投影的假想圆柱的示例定向，其中，圆柱投影与图16C中示出的几何布置中的图像平面对齐；
图17是可以在实现本文中所述的各种方法时使用的示例计算机系统的示意表示图；以及
图18是可以在实现本文中所述的各种方法时使用的示例智能电话的示意表示图。
具体实施方式
现在参考图1，图1示出了四面体成像系统的4个图像传感器104的示例几何布置100。四面体成像系统的示例物理构造在图2A和2B中示出，且在下面描述。可以使用四面体成像系统来捕捉表示四面体成像系统周围空间的图像数据，然后该图像数据可被用于例如根据下面描述的方法之一来生成该周围空间的球面图像，例如等矩(equirectangular)图像。图像传感器104均包括透镜系统106，透镜系统106具有光轴108和与相应透镜系统106的光轴108对齐的焦平面阵列110。在图1中示出的示例几何布置100中，由相应的传感器外壳112携带每个图像传感器104的透镜系统106和焦平面阵列110，传感器外壳112支撑透镜系统106和焦平面阵列110，并维持焦平面阵列110与其相应光轴108的对齐。
在图1中示出的示例几何布置100中，将4个图像传感器104相对于彼此以四面体布置的方式来维持。具体地，在四面体布置中，每个透镜系统106的光轴108与假想的正四面体140的中线138实质上共线，且每个焦平面阵列110位于其相应图像传感器104与假想的四面体140的质心142之间。在图1中可以看出，每个图像传感器相对于假想的四面体的质心面朝外。
将假想四面体140的质心142作为笛卡尔坐标系的原点，且将一个透镜系统(称为透镜系统1)视为与z轴共线，相应透镜系统106的光轴108的单位矢量具有下面的表中规定的坐标：
方向 透镜系统1 透镜系统2 透镜系统3 透镜系统4
X 0 0 0.75 -0.75
Y 0 0.866 -0.433 -0.433
Z 1 -0.5 -0.5 -0.5
只要保持以上几何排列，四面体成像系统在尺寸上便是可扩缩的。更大的版本将允许更大的透镜套件和更大的焦平面阵列，以获得更高分辨率图像，且更大的版本将具有用于附加板载图像处理和其他电子装置的空间，而更小的版本将更便携，且可以与离板(off-board)电子装置通信，以进行数据存储、图像处理和其他功能。
继续参考图1，每个图像传感器104具有与每个相邻图像传感器104的视野114至少实质上相接(即，刚接触到其边缘)的视野114。对于图1中示出的图像传感器104的四面体布置，129.5度的视野将是相接的。优选地，每个图像传感器104具有与每个相邻图像传感器104的视野114重叠的视野114。由此，每个图像传感器104优选具有至少135度的视野114，更优选地具有至少165度的视野，以及最优选地具有大约165度与大约170度之间的视野。因此，图像传感器104之一捕捉到的每个图像将定义对沿光轴108向外的至少129.5度的视野114进行表示的图像平面，光轴108与来自相应顶点144的中线138实质上共线，即，光轴108与在假想四面体140的质心142与假想四面体140的相应顶点144之间延伸的假想的线共线。
结合每个图像传感器104的视野114，图像传感器104相对于彼此的布置使得图像传感器104可以共同获得充足的图像数据，以根据例如下面描述的方法来生成围绕成像系统100的空间的球面图像，例如，等矩图像。
虽然仅为了易于示出而在图1、2A和2B中示出为由单个透镜组成，图像传感器的透镜系统106可包括多个个体透镜。焦平面阵列110例如可以是CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)传感器。传感器外壳112可以具有一体式构造或具有多件式构造。优选地，图像传感器104不包括机械缩放/放大功能，虽然它们可包括用于调整相应图像传感器104的焦点的机械装置。传感器外壳112可具有任何适合的形状。图像传感器104可以是本领域已知的常规图像传感器，或者可以是在本申请递交之后变得可用的图像传感器。在当前优选的实施例中，透镜系统106均包括由LensationGmbH(地址是UntererDammweg12，76149Karlsruhe，Germany)供给的LensagonmodelBFM1220c透镜，且焦平面阵列110均包括由OmniVisionTechnologies(地址是4275BurtonDrive，SantaClara，California95054，USA)供给的OmniVisionmodelOV5650CMOS图像传感器。
现在参考图2A和2B，图2A和2B示出了示例成像系统100的当前优选的物理实施例200。图2A和2B中示出的物理构造仅是示例性的，且很多其他物理结构可被用于将图像传感器维持在所希望的四面体关系下。
现在具体参考图2B，在示例物理实施例200中，支撑框包括三个挽具(harnesse)220以及图像传感器支撑基座322。将三个挽具彼此固定，以形成容纳图像传感器104中的三个图像传感器104的主框架，且第四个图像传感器104由图像传感器支撑基座322来携带，图像传感器支撑基座322进而由三个挽具220形成的主框架携带。板载处理器354(图3)的印刷电路板(PCB)224、热沉226和视频混合器350(图3)的PCB228被夹在图像传感器支撑基座322和由三个挽具220形成的主框架之间。
图像传感器104、挽具220、图像传感器支撑基座322以及PCB224、228和热沉226都被装在外部壳体230内(图2A)。外部壳体230由4个相互连接的环状面板232形成，每个环状面板232具有与图像传感器104之一的透镜系统106对齐的孔径234。减震环238插入在每一个环状面板232与相应图像传感器104之间。4个外凸面板240装配进环状面板232之间的空间，如图2A中最佳地看到的，使外部壳体230具有主要是球形的形状。外凸面板240之一具有用于控制接口的孔径242，在该情况下，在支撑框架所携带的按钮面板246上有单个按钮244。在所示出的实施例中，另一个外凸面板240携带通信PCB248、USB母连接器250，且该外凸面板240包括用于容纳USB公连接器的孔径252。为了示出简洁，图2B中没有示出组件之间的电连接。
图像传感器104可经由有线连接耦合到电源并耦合到远离成像系统100的数据处理系统，且对图像传感器104的控制和由此生成的图像的处理整个或实质上整个由离板数据处理系统来执行。然而，优选地，图像处理系统100包括板载电源、板载处理单元、板载数据存储设备和控制接口，并可以可选地包括显示单元。图像处理系统100还优选地包括使得板载处理单元和板载数据存储设备有线地和/或无线地耦合到外部数据处理系统的数据传输接口，外部数据处理系统例如是台式计算机、膝上型计算机、平板计算机、智能电话等。在图2A和2B示出的示例实施例中，数据传输接口包括USB母连接器250。
图3示出了四面体成像系统的示例电子硬件布置300的示意表示图。图3中的示意表示300旨在示出四面体成像系统中可以包括的组件和特征的范围，并因此与图2A和2B中示出的四面体成像系统的示例物理实施例200不精确一致。在图3中，使用字母“A”、“B”“C”和“D”对4个图像传感器104A、104B、104C、104D进行彼此区分图像传感器104A、104B、104C、104D中的每一个(具体地，其焦平面阵列110(图1和图2))与板载视频混合器350通信。
在发起图像传感器104A、104B、104C、104D时，视频混合器350对它们进行同步，以确保每个图像传感器在实质上相同的时刻产生图像，以避免图像中对象的移动或成像系统100的移动的影响。在激活时，每个图像传感器104A、104B、104C、104D优选地以每秒30帧向视频混合器350发送视频流。视频混合器350处理从图像传感器104A、104B、104C、104D接收到的视频流中包含的图像，且优选地，同步4个个体视频流并且还以每秒30帧将4个个体视频流复用到单个复用视频流中。图3A示出了当前优选的复用布置，在该复用布置中，来自每个图像传感器104A、104B、104C、104D的个体图像390A、390B、390C、390D合并到单个复合图像392中，复合图像392的每个象限中有一个个体图像390A、390B、390C、390D。复用视频流包括这些复合图像392的按时间排序的序列。视频混合器350对来自图像传感器104A、104B、104C、104D的视频流中的图像390A、390B、390C、390D进行同步，使得复用视频流中的给定复合图像392中的每个图像390A、390B、390C、390D在时间上对应于实质相同的时刻。在一个实施例中，复合图像是1440×1440像素，且每个象限是720×720像素。优选地，复合图像392中每个个体图像390A、390B、390C、390D的分辨率低于相应图像传感器104A、104B、104C、104D上的焦平面阵列的实际分辨率，以便于更快的数据吞吐量。为了提高复合图像392中个体图像390A、390B、390C、390D的轮廓鲜明度(crispness)和颜色深度，同时降低图像噪声，在复用图像时使用“像素合并(binning)”处理，即将一个像素簇合并到具有由簇中像素的颜色导出的颜色的单个像素中。
视频混合器350还向图像传感器104发送控制信号。视频混合器350可以包括内置存储器352A，或者可以与视频混合器350外部的存储器352B通信，或二者皆有。在当前优先的实施例中，视频混合器350是AlteraCorporation(地址是101InnovationDrive，SanJose，CA95134，USA)供给的AlteraCycloneIVmodelEP4CE55现场可编程门阵列(FPGA)。
继续参考图3，成像系统100还包括板载处理器354。处理器354包括内置存储器356A，且成像系统100可包括耦合到处理器354的可选附加存储器356B。处理器例如可以是多点控制单元或FPGA，或是另一类型的处理器。在当前优选的实施例中，处理器354是TexasInstrumentsInc.(地址是12500TIBoulevard，Dallas，Texas75243USA，邮件地址：P.O.Box660199，Dallas，TX75266-0199，USA)供给的型号TMS320DM368的处理器。此外，成像系统100包括存储适配器362、人机接口(HMI)364、图形显示器366、三轴加速度计368、无线模块370、外部通信适配器372、麦克风374、可选的扬声器376和电源管理模块378，在下面讨论它们中的每一个。
处理器354与视频混合器350通信，并从视频混合器350接收复用视频流。处理器354还将复用视频流压缩为压缩复用视频流，以用于存储和/或传输。压缩优选地根据H.264视频压缩格式，虽然其他格式(例如，JPEG压缩)也可使用或可省略压缩。可选地，成像系统100可包括用于执行压缩的单独编码器。
在图3中示出的示例实施例中，处理器354与存储适配器362通信，存储适配器362可以容纳可拆卸存储设备。在优选实施例中，存储适配器362是板载存储器卡槽，例如安全数字(SD)存储器卡槽，其可以是标准SD卡槽、迷你SD存储器卡槽或微SD存储器卡槽中的任意一个。也可以使用其他类型的存储器卡槽。备选地或附加地，成像系统100可以包括不可拆卸存储设备356，例如闪存。处理器354还与HMI364和图形显示器366通信。HMI364可以由一个或多个按钮组成，该一个或多个按钮用于向处理器354提供用来控制成像系统100的操作的指令。例如，HMI364可以如图2A和2B中所示由单个按钮244组成，该单个按钮244基于按压的次数和时间长度提供不同命令，或者HMI364可以包括各自具有一个或多个功能的多个按钮。例如，HMI364可以由标记为“REC.(录制)”、“STOP(停止)”、“PLAY(播放)”、“FF(快进)”、“REV(倒回)”和“MENU(菜单)”的6个按钮组成。“MENU”按钮可以使处理器在图形显示器366上显示各种选项，且用户从而可以使用其他按钮在这些选项之间导航并进行选择。图形显示器366使得可回放成像系统100记录的视频。备选地或附加地，HMI364和图形显示器366的某些方面可被集成到组合触摸屏显示器中。同样可选地，图形显示器366可被省略。例如，可以使用一个或多个LED来指示成像系统100的状态。
三轴加速度计368也耦合到处理器354，并提供与成像系统100的定向有关的信息，该信息可被包括在与其同步的复用视频流中，或与该复用视频流相关联。当在处理图像数据时不使用定向信息的情况下，可以省略加速度计368。
无线模块370耦合到处理器，以使成像系统100能够与远程计算设备无线通信。无线模块370可以例如是符合IEEE802.11标准的局域网(WLAN)模块(即，Wi-Fi模块)。在图3中示出的示例实施例中，无线模块370是Wi-Fi模块。类似地，外部通信适配器372耦合到处理器，以使成像系统100可以经由有线连接与远程计算设备通信。在图3中示出的示例说明性实施例中，外部通信适配器372是通用串行总线(USB)连接器，虽然也可以使用其他类型的外部通信适配器。
成像系统100优选地包括耦合到处理器354使得声音能够被与视频相关联地记录的麦克风374，以及还优选地包括用于回放所记录的声音的可选扬声器376。成像系统100还包括用于将电功率分发到各个组件的电源管理模块378。电源管理模块378耦合到控制该电源管理模块378的处理器354，并且还耦合到USB连接器372、成像设备100上的外部电连接380(例如，针对可拆卸电源线的连接器)并耦合到一个或多个板载电池382。电源管理模块378可以从USB连接372、外部电连接380和一个或多个板载电池中的任意一个接收电功率，并调节和分发该电功率到各个组件，电源管理模块378还可以调节和使用来自USB连接372和外部电连接380的电功率为该一个或多个板载电池382充电。在其他实施例中，组件可以从该一个或多个板载电池382直接汲取功率，并仅从该一个或多个板载电池382直接汲取功率，且电源管理模块378可限于从USB连接372和外部电连接380接收并调节功率，并管理该一个或多个电池382。
图4是示出了用于生成球面图像(例如，等矩图像)的示例方法400的流程图。在步骤402处，方法400接收4个图像。现在参考图5，步骤402处接收到的4个图像中的每个图像定义了对从假想的正四面体582的独一无二的顶点588沿着光轴590向外的视野514进行表示的图像平面584，光轴590与假想的四面体的质心586和相应顶点588之间的假想的线578(即，该顶点的中线)实质上共线。因此，图像平面584与假想四面体582针对其相应顶点588的中线实质上垂直，且针对每个顶点588存在一个图像。图像可以是上述四面体成像系统的图像传感器104A、104B、104C、104D捕捉的图像，且例如可由从四面体成像系统接收这些图像的单独的数据处理系统来执行方法400。每个图像所表示的视野514与每个相邻图像所表示的视野514至少实质上相接，即，129.5度。优选地，每个图像表示的视野514与每个相邻图像的视野514重叠。每个图像优选表示至少135度的视野514，更优选地至少165度的视野，以及最优选地大约165度与大约170度之间的视野。
虽然为了易于解释而关于具有4个图像的单一集合进行了描述，通过重复应用，可以使用方法400来处理4个同步的视频流，其中每个流中的图像符合以上所述并示出在图5中的几何排列。在这种情况下，视频流可以是4个单独的视频流，或者可被复用到单个复合视频流中，例如如上关于图3A所描述的。在4个图像被复用到单个复合图像中的情况下，方法400包括从复合图像中隔离出每个图像的可选步骤404。隔离步骤404不需要涉及对复合图像实际进行分解，而是可以包括基于复合图像中的已知边界来识别个体图像。
在可选步骤406处，方法400针对失真来校正图像。在任何透镜系统中，某个量的失真是固有的，并一般随着透镜视野增加而增加。图像失真分为两个类别：径向失真和偏心失真。径向失真是广角透镜上使直线出现弯曲的失真，以及偏心失真是由焦平面阵列错误地位于透镜系统的主点(principlepoint)之后而造成的。失真校正涉及将一些或所有像素的坐标位置调整到新的坐标位置。未校正图像上的每个像素具有相关联的X和Y坐标，且对每个图像应用针对径向失真和偏心失真的校正，以确定该像素的将其置于失真校正位置的新X和Y坐标。
为了实现所要求的失真校正，针对捕捉相关图像的具体类型的图像传感器(即，透镜组件和焦平面阵列)来计算广义调整参数集。因此，对于上述类型的四面体成像系统，在所有图像传感器104具有相同类型的情况下，将单个调整参数集统一应用于所有图像。对于商业上可获取的透镜，透镜生产商可提供技术说明，该技术说明给出用于确定径向失真的调整参数的开始点。可使用目标的在图像中易于识别并位于距离图像传感器已知距离处的测试图像来计算径向失真的更准确的调整参数，以在4个图像上同时产生密集点覆盖。可使用相同过程来确定偏心失真的调整参数。
一旦已经针对透镜组件和焦平面阵列的给定组合计算了适合的调整参数，可以将这些调整参数应用于使用该透镜组件和焦平面阵列组合的任何四面体成像系统。对于给定的透镜组件和焦平面阵列组合，失真校正过程是一致的且重复的，因此为了效率，像素校正值优选地不是针对每个图像来不连续地计算的，而是通过使用存储在查找表中的调整值来计算。未校正像素位置将具有预定的调整值，该预定的调整值将相应像素重新映射到图像中的校正像素位置，以校正失真，且可以将校正像素位置存储在查找表中。因此，针对未校正图像中坐标为(X，Y)的任何给定的任意像素，数据处理系统将在查找表中查找这些坐标，并根据查找表向该像素指派校正图像中的新坐标(XC，YC)。可选地，每个成像设备在制造之后且在发货之前将被单独校准，且查找表可被细调以在具体的透镜组件和焦平面阵列组合中的固有失真之外考虑到个体因素，例如图像传感器之间的未对齐。此外，成像设备可被提供用于例如在启动时执行实时校准的板载硬件和/或软件，且可动态更新查找表。
如果对于准确执行后续步骤而言，步骤402处接收到的图像已经实质上没有失真，则可以省略失真校正步骤(步骤406)。例如，可以从具有板载失真校正能力的四面体成像系统接收图像。优选地，如下更详细地描述的，将失真校正调整并入方法400的后续步骤(步骤408)中。
在步骤408处，方法400向每个图像中的每个像素指派假想球面580(图5)上的球面坐标。术语“球面坐标”表示在相关的基准框架内对假想球面580(图5)的表面上的独一无二位置的完整标识，且例如可以是笛卡尔坐标(X，YZ)集合或极坐标(r，θ)集合。
现在参考图5，假想球面580与假想四面体582和每个图像的图像平面584具有特定几何关系。从图5中可以看出，假想球面580的表面与假想四面体582的顶点588相交，假想球面580以假想四面体582的质心586为中心，且每个图像的图像平面584与假想球面580实质上相切。
根据圆柱投影来执行向像素指派球面坐标(步骤408)，该圆柱投影与具有正被指派的像素的图像的图像平面对齐。圆柱投影是一种映射投影类型，其是将球面表面上的位置映射到平面上的位置的数学函数。用于将地球的球面表面映射到矩形平面地图上的Mercator投影是圆柱投影的一个众所周知的示例。通常通过以下形式表达圆柱投影：取球面表面上的位置，例如纬度和经度，并返回对应平面位置的值(x，y)。然而，假想球面580具有无限数目的点，而每个图像具有有限数目的像素。通过反转相关圆柱投影，有可能针对给定的平面坐标确定球面上将会被根据该圆柱投影映射到该平面坐标的位置。
现在参考图6A和6B，图6A和6B示出了将示例圆柱投影应用于地球。一般而言，为了获得圆柱投影，将假想的空心圆柱602布置为与要映射的球面604(图6A)(在该情况下，地球)实质上相切。然后，根据针对于正使用的具体圆柱投影的公式将球面604上的点映射到假想的圆柱602上，且然后沿着与其经度轴608平行的假想的线606对假想的圆柱602进行假想“切片”，并将其假想地“铺开”到平面610中(图6B)。假想圆柱相对于球面的定向将影响球面上的点如何被映射到假想圆柱上的点，且因此影响球面上的点如何被映射到“铺开”的假想圆柱的平面上的点。改变假想的圆柱相对于球面的定向将导致球面上同一点被映射到平面上的不同位置。
根据与具体图像的图像平面对齐的圆柱投影来执行将球面坐标指派给该图像的像素，换言之，将圆柱投影的假想圆柱相对于假想球面进行定向，以匹配相应图像平面584相对于假想球面580的定向。图7中以几何的方式示出了该定向。
如上所述，每个图像的图像平面584与假想球面580实质上相切，并实质上垂直于假想四面体582针对其相应顶点588的中线578。图7中示出了一个这样的图像平面584。如图7中所示，当假想圆柱792定向为使得其圆柱壁794与图像平面584实质上相切且假想圆柱792的纵轴796与假想四面体582的质心586(也是假想球面580的中心)相交时，圆柱投影与图像平面584对齐。
当圆柱投影这样对齐时，在图像平面584上的位置与球面壁794上的位置之间具有直接对应关系，而没有失真。可在数学上将图像平面584如同其是圆柱壁794已被围绕假想球面580“铺开”的部分798(由图7中的阴影表示)一样来对待。通过将图像平面584如同其是圆柱壁794的一部分798一样来对待，可根据圆柱投影的公式来确定图像平面584上的平面位置与假想球面580上的球面位置之间的对应关系。由于图像中的每个像素对应于相应图像平面584上的位置，因而可以将球面坐标指派给该图像中的像素。
在此应该注意到的是，只要假想圆柱792被定向为使得其圆柱壁794与图像平面584实质上相切且假想圆柱792的纵轴796与假想四面体582的质心586相交(且因此也与假想球面580的中心相交)，假想圆柱792相对于与图像平面584垂直的轴的中轴位置无关紧要。
现在参考图8A至图8D，图8A至图8D示出了假想圆柱792的示例定向，其中，圆柱投影与每个图像平面584A、584B、584C和584D对齐。通过相应附图标记578A、578B、578C和578D来表示中线。假想球面580、假想四面体582和图像平面584A、584B、584C和584D中每一个的定向在整个图8A至8D中保持不变，以示出将圆柱投影与每个相应图像平面584A、584B、584C和584D对齐的假想圆柱792的不同定向。图8A示出了被定向为将圆柱投影与第一图像平面584A对齐的假想圆柱792，图8B示出了被定向为将圆柱投影与第二图像平面584B对齐的假想圆柱792，图8C示出了被定向为将圆柱投影与第三图像平面584C对齐的假想圆柱792，以及图8D示出了被定向为将圆柱投影与第四图像平面584D对齐的假想圆柱792。在每个情况下，可在数学上将相应图像平面584A、584B、584C和584D如同其是圆柱壁794已被围绕假想球面580“铺开”的部分798A、798B、798C和798D(由图8A至8D中的阴影表示)一样来对待，由此使得将球面坐标指派给相应图像中的像素。通过根据与每个图像的图像平面分别对齐的圆柱投影将球面坐标指派给该特定图像中的像素，在图像与假想球面之间实现了良好的配合。
如上所述，在方法400(图4)的步骤402处接收到的4个图像中的每一个图像可以是上述四面体成像系统的图像传感器104A、104B、104C、104D捕捉到的图像。图9A、9B、9C和9D示出了其定向保持不变的四面体成像系统的示例物理实施例200，以示出图像平面584A、584B、584C、584D相对于其的布置，并示出了假想圆柱792的不同定向，该假想圆柱792的不同定向将圆柱投影与每个相应图像平面584A、584B、584C和584D对齐，以使得可如上所述将球面坐标指派给像素。
再次参考图4，在优选实施例中，在步骤408处，根据从圆柱投影导出的预先计算的查找表将球面坐标指派给相应像素。图像平面584相对于彼此以及相对于假想球面580的大小、位置和定向是已知的和不变的，并因此每个像素与假想球面580的空间关系也是已知的和不变的。因此，可以提前计算对将每个像素从其相应图像平面584投影到假想球面580的表面的投影进行表示的球面坐标，并将其存储在查找表中，而不是每次处理图像时进行计算。
在特别优选的实施例中，除了从圆柱投影导出之外，步骤408处使用的预先计算的查找表中的球面坐标还包括用于失真校正的位置调整。因此，针对任何给定的像素，查找表中相关联的球面坐标将表示该像素的失真校正像素位置的从图像平面584到假想球面580的表面的投影。
在特别优选的实施例中，将球面坐标指派给像素所依据的圆柱投影是Miller圆柱投影。逆Miller投影(即以下函数：针对给定平面坐标，给出球面上会根据Miller圆柱投影映射到该平面坐标的位置)给出为：
φ＝5/2(tan-1(e4/5x)-π/4
λ＝y
其中，Φ是纬度，λ是经度。
经由以下等式，可以将纬度和经度映射为笛卡尔坐标，其中，假想球面的中心作为原点：
x＝R*cos(λ)cos(φ)
y＝R*cos(λ)sin(φ)
z＝R*sin(λ)
虽然是优选的，Miller球面投影仅是在步骤408处可将球面坐标指派给像素所依据的圆柱投影的一个示例。还可以使用其他适合的圆柱投影，包括Mercator投影、中心圆柱投影、Gall立体画投影、Braun立体平画投影、等距投影和等面积投影。这些投影的公式及其逆投影是众所周知的，且在此不做重复。
继续参考图4，在步骤410处，方法400根据球面图像模板，使用步骤408处指派的球面坐标将颜色指派给球面图像中的图像空间。本文中使用的术语“球面图像模板”指的是任何基于像素的计算机可读图像格式，其中，图像中的每个像素位置根据已知映射独一无二地对应于假想球面的表面上的位置，且术语“球面图像”指的是其像素位置被填充(即，将颜色指派给像素位置)的球面图像模板。适合地编程的计算机(即，已用适合的球面查看软件编程的计算机)可以使用每个像素位置与假想球面上的位置之间的该独一无二对应关系来生成其表面像素对应于球面图像的像素的球面的三维模型。例如，可以向用户呈现用户的视角(perspective)在假想球面内部或外部的模型，且可以允许用户旋转他或她相对于球面的视角。本文中描述的示例性方法400特别适于(虽然未被限制于)使用四面体成像系统捕捉到的“真实世界”的图像来生成球面图像。然后，可以使用这些球面图像来生成模拟“真实世界”的令人沉迷的环境，在该“真实世界”中，用户的视角来自于假想球面内部。
优选地，在步骤408处指派颜色所依据的球面图像模板是等矩图像模板，因为等矩投影在像素位置与假想球面的表面上的位置之间具有简单关系。然而，也可以使用其它类型的球面图像模板。
一般而言，向每个图像中的每个像素指派球面坐标导致独一无二的像素和像素组。本文中使用的术语“独一无二的像素”指的是已被指派了独一无二的球面坐标(即，尚未指派给任何其他像素的球面坐标)的像素。本文中使用的术语“像素组”指的是具有相同球面坐标(即，各自被指派了相同球面坐标的一组像素)的多个像素。在图像传感器的视野实质上相接的情况下，将会存在非常少的像素组，像素组的数目将会随着图像传感器的视野之间的重叠度增加而增加。
现在参考图10，在存在独一无二像素和像素组的情况下，使用球面坐标来根据球面图像模板向球面图像中的像素位置指派颜色的步骤(步骤410)可包括多个子步骤。在子步骤410A处，针对球面图像中映射到指派给独一无二像素的球面坐标的每个像素位置，将该独一无二像素的颜色指派给球面图像中的该像素位置，以及在子步骤410B处，针对球面图像中映射到指派给像素组中的多个像素的球面坐标的每个像素位置，将从像素组中的该多个像素混合的颜色指派给球面图像中的该像素位置。可以将当前已知或之后开发的任何适合的混合算法用于该过程。
此外，通常将会存在这样的情况：存在一个或多个球面坐标仍未被指派给任何像素。为了避免所产生的球面图像中的空的空间(即，空像素)，步骤410可包括另一可选子步骤410C：向球面图像中映射到仍未被指派给任何像素的球面坐标的每个像素位置指派通过对球面图像模板中附近的像素位置的颜色进行过采样(oversampling)而确定的颜色。步骤410A和410B可按任何顺序执行，或实质上同时执行，而步骤410C应该在步骤410A和410B之后执行，以使得(不同于在子步骤410C处被指派颜色的那些像素位置的)像素位置已经具有了所指派的用于支持该过采样的颜色。可以将当前已知或之后开发的任何适合的过采样算法用于该过程；例如，子步骤410C可包括基于球面图像模板中与球面图像模板中正在被指派颜色的像素位置最接近的4个像素位置的双线性插值。
图4中示出的方法400是生成球面图像的更一般性的方法的具体实例。该更一般性的方法由附图标记1100指示，并在图11中示出。如上所述，方法400使用对从假想四面体的顶点向外看的视图进行表示的图像。四面体是正多面体的实例，其是正外凸多面体，该正外凸多面体的面由全等的正多边形形成，其中相同数目的面在各个顶点处相遇。其他正多面体是图12A中示出的立方体或六面体、图12B中示出的八面体(8个等边三角形面)、图12C中示出的十二面体(12个正五边形面)、以及图12D中示出的二十面体(20个等边三角形面)。虽然四面体是用于方法1100的优选正多面体，因为其具有最少的顶点和最少的面并因此需要最少数目的图像传感器用于对应的成像系统，也可以利用图像的任何组来使用方法1100，该图像表示从假想的正多面体的围绕点集合中的每个成员的向外看的视图。
本文中使用的术语“围绕点(surroundingpoint)”当在关于正多面体使用时指的是正多面体的顶点和正多面体的各面的质心。因此，存在两个截然不同的围绕点集合：由正多面体的所有顶点组成的集合，以及由正多面体的每个面的质心组成的集合。使用术语“围绕点”，因为每个集合中的每个点都被另一集合中的点所围绕。具体地，每个顶点被形成该顶点的相邻面的质心所围绕，以及每个面的质心被定义该面的边界的顶点所围绕。
现在具体参考图11，且现在描述用于生成球面图像(例如等矩图像)的示例方法1100。在步骤1102处，方法1100接收图像集合。可选地，在步骤1102处接收到的图像可被复用为复合图像，在该情况下方法1100将会包括从复合图像中隔离出每个图像的可选步骤1104。与方法400一样，隔离步骤1104不需要对复合图像进行实际分解，且隔离步骤1104可包括基于复合图像中的已知边界来识别个体图像。
步骤1102处接收的每个图像定义了对从假想正多面体的独一无二围绕点沿着光轴向外的视野进行表示的图像平面，该光轴与假想正多面体的质心和相应围绕点之间的假想线实质上共线。因此，在围绕点是面的质心的情况下，每个光轴将与相应面实质上垂直。步骤1102处接收到的相关联图像所针对的每个围绕点是从由(a)假想正多面体的所有顶点的集合和(b)假想正多面体的各面的所有质心的集合组成的组中选择的围绕点的集合的成员。步骤1102处接收到的图像组中图像的数目等于针对假想正多面体所选择的围绕点的集合中围绕点的数目，其中，一个图像对应于所选择的集合中的每个围绕点。在所选择的围绕点集合是假想正多面体的所有顶点的集合时，步骤1102处接收到的每个图像定义了对自假想正多面体的独一无二顶点的视野进行表示的图像平面，其中，集合中图像的数目等于顶点的数目。在所选择的围绕点集合是假想正多面体的各面的所有质心的集合时，步骤1102处接收到的每个图像定义了对自假想正多面体的独一无二的面的质心的视野进行表示的图像平面，其中，集合中图像的数目等于假想正多面体的面的数目，一个图像对应于每个面。
每个图像的视野与每个相邻图像的视野至少实质上相接，并优选地与每个相邻图像的视野重叠。与示例方法400类似，步骤1102处接收到的图像集合中的每个图像可以是包括多个图像在内的视频流中的一个图像，且通过对每个图像是视频流中的一个图像的图像集合进行重复应用，可以使用方法1100来生产球面视频。
图13A和13C各自示出了假想正多面体是立方体的示例性几何排列。
图13A中示出了假想正多面体是假想立方体1382且所选择的围绕点集合是假想立方体1382的所有顶点1388的集合的情况下的几何排列。在该情况下，在步骤1102处接收8个图像的集合，且这些图像中的每一个定义了对从假想立方体1382的独一无二顶点1388沿着光轴1390A向外的视野进行表示的图像平面1384A，光轴1390A与假想立方体1382的质心1386和相应顶点1388之间的假想的线1378实质上共线。因此，每个图像平面1384A实质上垂直于假想立方体1382的质心1386和相应顶点1388之间的假想的线1378。图13A中还示出了可在下述的步骤1108处使用的假想球面1380，且假想球面1380的表面与假想立方体1382的顶点1388相交，且假想球面1380以假想立方体1382的质心1386为中心。每个图像的图像平面1384A与假想球面1380实质上相切。
图13C中示出了假想正多面体是假想立方体1382且所选择的围绕点集合是假想立方体1382的各面1391的所有质心1389的集合的情况下的几何排列。在步骤1102处接收6个图像的集合，且这些图像中的每一个定义了对从假想立方体1382的独一无二的面1391的质心1389沿着光轴1390C向外的视野进行表示的图像平面1384C，光轴1390C与假想立方体1382的质心1386和相应面1391的质心1389之间的假想的线1379实质上共线。因此，图像平面1384C实质上垂直于假想立方体1382的质心1386和相应面1391的质心1389之间的假想的线1379。图13C中还示出了可在下述的步骤1108处使用的假想球面1380，且假想球面1380的表面与假想立方体1382的顶点1388相交，且假想球面1380以假想立方体1382的质心1386为中心。每个图像的图像平面1384C与假想球面1380实质上相切。
图14A和图14C示出了假想正多面体是八面体的情况下的几何排列。
图14A中示出了假想正多面体是假想八面体1482且所选择的围绕点集合是假想八面体1482的所有顶点1488的集合的情况下的几何排列。针对这种实施例，在步骤1102处接收6个图像的集合。该6个图像的每一个定义了对从假想八面体1482的独一无二顶点1488沿着光轴1490A向外的视野进行表示的图像平面1484A，光轴1490A与假想八面体1482的质心1486和相应顶点1488之间的假想的线1478实质上共线。每个图像平面1484A实质上垂直于假想八面体1482的质心1486和相应顶点1488之间的假想的线1478。图14A还示出了其表面与假想八面体1482的顶点1488相交且以假想八面体1482的质心1486为中心的假想球面1480，其中，每个图像的图像平面1484A与假想球面1480实质上相切。假想球面1480可用在下述的步骤1108处。
图14C中示出了假想正多面体是假想八面体1482且所选择的围绕点集合是假想八面体1482的各面1491的所有质心1489的集合的情况下的几何排列。针对这种实施例，在步骤1102处接收8个图像的集合。该8个图像中的每一个定义了对从假想八面体1482的独一无二的面1491的质心1489沿着光轴1490C向外的视野进行表示的图像平面1484C。光轴1490C与假想八面体1482的质心1486和相应面1491的质心1489之间的假想的线1479实质上共线。图像平面1484C实质上垂直于假想八面体1482的质心1486和相应面1491的质心1489之间的假想的线1479。图14C还示出了其表面与假想八面体1482的顶点1488相交且以假想八面体1482的质心1486为中心的假想球面1480，其中，每个图像的图像平面1484C与假想球面1480实质上相切。假想球面1480可用在下述的步骤1108处。
图15A和图15C示出了假想正多面体是二十面体的情况下的几何排列。
现在参考图15A，图15A示出了假想正多面体是假想二十面体1582且所选择的围绕点集合是假想二十面体1582的所有顶点1588的集合的情况下的几何排列。对于二十面体作为假想正多面体且围绕点是顶点1588的情况，在步骤1102处接收12个图像的集合，这些图像中的每一个定义了对从假想二十面体1582的独一无二顶点1588沿着光轴1590A的向外视野进行表示的图像平面1584A，光轴1590A与假想二十面体1582的质心1586和相应顶点1588之间的假想的线1578实质上共线。为了易于示出，仅示出了图像平面1584A、光轴1590A和假想的线1578的代表性集合。利用该布置，图像平面1584A实质上垂直于假想二十面体1582的质心1586和相应顶点1588之间的假想的线1578。此外，图15A示出了可在下述步骤1108中使用的假想球面1580。假想球面1580的表面与假想二十面体1582的顶点1588相交，且假想球面1580以假想二十面体1582的质心1586为中心。每个图像的图像平面1584A与假想球面1580实质上相切。
图15C中示出了假想正多面体是假想二十面体1582且所选择的围绕点集合是假想二十面体1582的各面1591的所有质心1588的集合的情况下的几何排列。在该实施例中，在步骤1102处接收20个图像的集合，这些图像中的每一个定义了对从假想二十面体1582的独一无二的面1591的质心1589沿着光轴1590C的向外视野进行表示的图像平面1584C，光轴1590C与假想二十面体1582的质心1586和相应面1591的质心1389之间的假想的线1579实质上共线。在图15A中，为了易于示出，仅示出了图像平面1584C、光轴1590C和假想的线1579的代表性集合。利用该布置，图像平面1584C实质上垂直于假想二十面体1582的质心1586和相应面1591的质心1589之间的假想的线1379。此外，图15C示出了可在下述步骤1108中使用的假想球面1580。假想球面1580的表面与假想二十面体1582的顶点1588相交，且假想球面1580以假想二十面体1582的质心1586为中心。每个图像的图像平面1584C与假想球面1580实质上相切。
图16A和图16C示出了假想正多面体是十二面体的情况下的几何排列。
图16A中示出了假想正多面体是假想十二面体1682且所选择的围绕点集合是假想十二面体1682的所有顶点1688的集合的实施例的几何排列。在该实施例中，在步骤1102处接收20个图像的集合。该20个图像各自定义了对从假想十二面体1682的独一无二顶点1688沿着光轴1690A向外的视野进行表示的图像平面1684A，光轴1690A与假想十二面体1682的质心1686和相应顶点1688之间的假想的线1678实质上共线。为了易于示出，仅示出了图像平面1684A、光轴1690A和假想的线1678的代表性集合。图像平面1684A实质上垂直于假想十二面体1682的质心1686和相应顶点1688之间的线1678。图16A还示出了假想球面1680。假想球面1680可用在下述的步骤1108处，并具有与假想十二面体1682的顶点1688相交的表面，并且还以假想十二面体1682的质心1688为中心，其中，每个图像的图像平面1684A与假想球面1680实质上相切。
图16C中示出了假想正多面体是假想十二面体1682且所选择的围绕点集合是假想十二面体1682的各面1691的所有质心1689的集合的实施例的几何排列。在该实施例中，在步骤1102处接收12个图像的集合，即，每个面一个图像。该12个图像各自定义了对从假想十二面体1682的独一无二的顶点1691的质心1689沿着光轴1690C向外的视野进行表示的图像平面1684C，光轴1690C与假想十二面体1682的质心1686和相应面1691的质心1689之间的假想的线1679实质上共线。类似于图16A，为了易于示出，仅示出了图像平面1684C、光轴1690C和假想的线1679的代表性集合。如同所选择的围绕点是面的质心的其他情况下一样，图像平面1684C实质上垂直于假想十二面体1682的质心1686和相应面1691的质心1689之间的线1379。图16C还示出了假想球面1680，假想球面1680可用在下述的步骤1108处，并具有与假想十二面体1682的顶点1688相交的表面，并且还以假想十二面体1682的质心1688为中心，其中，每个图像的图像平面1684A与假想球面1680实质上相切。
在可选步骤1106处，方法1100例如如上关于方法400所述地校正图像失真。
在步骤1108处，方法1100向每个图像中的每个像素指派假想球面上的球形坐标，这是根据与针对该图像的图像平面对齐的圆柱投影来指派的。如上所述，该过程中使用的假想球面与假想正多面体的顶点相交，并以假想正多面体的质心为中心，且每个图像的图像平面与假想球面实质上相切。
以类似于以上关于图4中示出的方法400示出并描述的方式，圆柱投影与每个图像的图像平面之间的对齐通过圆柱投影的假想圆柱来实现，该假想圆柱的圆柱壁与相应图像的图像平面实质上相切且其纵轴与假想正多面体的质心相交。如上所述，通过根据与每个图像的图像平面分别对齐的圆柱投影将球面坐标指派给该特定图像中的像素，实现了图像与假想球面之间良好的配合。如方法400一样，在示例方法1100中，圆柱投影优选地是Miller圆柱投影，虽然也可以使用其他圆柱投影。
图13B示出了在假想正多面体是假想立方体1382且围绕点是其顶点1388的情况下，与图像平面1384A中的一个图像平面对齐的圆柱投影的假想圆柱1392B的定向；图13D示出在假想正多面体是假想立方体1382且围绕点是假想立方体1382的各面1391的质心1389的情况下，与图像平面1384C中的一个图像平面对齐的圆柱投影的假想圆柱1392D的定向。在各种情况下，在数学上可将图像平面1384A、1384C作为如同其是已经从假想球面1380的周围“铺开”的圆柱壁1394B、1394D的一部分1398B、1398D一样对待，由此使得可将球面坐标指派给该图像中的像素。可以看出，圆柱1392B、1392D的纵轴1396B、1396D与假想立方体1382的质心1386相交。
现在参考图14B和图14D。图14B示出了在假想正多面体是假想八面体1482且围绕点是顶点1488的情况下与图像平面1484A中的一个图像平面对齐的圆柱投影的假想圆柱1492B的定向。图14D示出了在假想正多面体是假想八面体1482且围绕点是假想八面体1482的各面1491的质心1489的情况下与图像平面1484C中的一个图像平面对齐的圆柱投影的假想圆柱1492D的定向。在该两个情况下，圆柱1492B、1492D的纵轴1496B、1496D与假想八面体1482的质心1486相交。圆柱投影与图像平面1484A、1484C的该对齐在数学上可将图像平面1484A、1484C作为如同其是圆柱壁1494B、1494D的“未铺开”部分1498B、1498D一样对待，使得可将球面坐标指派给该图像中的像素。
图15B示出了在假想正多面体是假想二十面体1582且围绕点是其顶点1588的情况下，与图像平面1584B中的一个图像平面对齐的圆柱投影的假想圆柱1592B的定向；图15D示出在假想正多面体是假想二十面体1582且围绕点是假想二十面体1582的各面1591的质心1589的情况下，与图像平面1584D中的一个图像平面对齐的圆柱投影的假想圆柱1592D的定向。随着这样对齐圆柱投影，可以在数学上将图像平面1584B、1584D作为如同其是圆柱壁1594B、1594D的从假想球面1580周围“未铺开”的部分1594B、1594D一样对待。这允许将球面坐标指派给该图像中的像素。
针对假想正多面体是假想十二面体1682的情况，图16B和图16D中分别示出了与图像平面1684A、1684B中的一个图像平面对齐的圆柱投影的假想圆柱1692A、1692B的定向。图16B示出了围绕点是顶点1688的情况下的定向，而图16D示出了围绕点是各面1591的质心1689的情况下的定向。所示出的对齐允许在数学上将图像平面1684A、1684C作为圆柱壁1694B、1694D的“未铺开”部分1698B、1698D对待，使得可将球面坐标指派给该图像中的像素。
在上述情况中的每个情况中，不管假想正多面体是假想四面体、假想立方体、假想八面体、假想十二面体还是假想二十面体，且不管围绕点是顶点还是面的质心，都根据其假想圆柱与该图像的图像平面特定对齐的圆柱投影来向每个图像指派球面坐标。可根据从圆柱投影导出的预先计算的查找表来向对应像素指派球面坐标，且除了从圆柱投影导出之外，这种查找表还可包括用于失真校正的位置调整。
现在返回参考图11，在步骤1110处，方法1100根据球面图像模板，使用步骤1108处指派的球面坐标将从像素导出的颜色指派给球面图像中的像素位置。与方法400相似，在方法1100中，球面图像模板优选是等矩图像模板。
向每个图像中的每个像素指派球面坐标将导致独一无二像素和像素组。因此，方法1100的步骤1110与方法400的步骤410可实质上相同，且针对这种实施例，图10示出了方法1100的步骤1110的子步骤1110A、1110B和1110C，其也是方法400的步骤410的子步骤。
类似于方法400中的步骤410，方法1100的步骤1110可包括图10中示出的子步骤1110A和1110B。在子步骤1110A处，方法1100向球面图像中映射到被指派了独一无二像素的球面坐标的每个像素位置指派该独一无二像素的颜色，以及在子步骤1110B处，方法1100向球面图像中映射到被指派了像素组的球面坐标的每个像素位置指派根据该像素组中的像素混合的颜色。
同样类似于方法400，方法110可通过在步骤1110中包括另一子步骤1110C来避免所产生的球面图像中的空空间，子步骤1110C向球面图像中映射到仍未被指派任何像素的球面坐标的每个像素位置指派通过对球面图像中附近的像素位置进行过采样而确定的颜色。步骤1110A和1110B可通过任何顺序或实质上同时执行，而步骤1110C应该在步骤1110A和1110B之后执行以填充其他像素位置，使得可支持步骤1110C处的过采样。
可在任何适合的计算机或基于微处理器的系统(例如桌面型计算机或膝上型计算机)或移动无线电信计算设备(例如智能电话或平板计算机)上实现本文中描述的方法，该系统和移动无线电信计算设备可接收理想成像系统(例如上述的四面体成像系统)捕捉到的图像。针对单个球面图像或针对球面视频输入信号(feed)，可在这些离板设备上完成将图像组到单个球面图像中的处理。这允许通过利用离板技术的计算能力来处理标准视频帧速率的高清视频图像。计算机或基于微处理器的系统可利用有线或无线连接直接耦合到理想成像系统，或可从分离的存储介质或网络连接(例如，互联网)获得图像。
图17中将关于其来描述可以实现本文中方法的说明性计算机系统作为框图来呈现。该说明性计算机系统一般由附图标记1700来表示，且包括显示器1702、具有键盘1704A和指向设备1704B的形式的输入设备、计算机1706和外部设备1708。虽然指向设备1740B被描绘为鼠标，将会认识到的是，也可使用其他类型的指向设备。
计算机1706可以包含一个或多个处理器或微处理器，例如中央处理单元(CPU)1710。CPU1710执行算法计算和控制功能，以执行内部存储器1712(优选地，随机存取存储器(RAM)和/或只读存储器(ROM))和可能地附加存储器1714中存储的软件。附加存储器1714例如可包括大容量存储器存储空间、硬盘驱动器、光盘驱动器(包括CD和DVD驱动器)、磁盘驱动器、磁带驱动器(包括LTO、DLT、DAT和DCC)、闪存、程序卡带(cartridge)和卡带接口(例如视频游戏设备中发现的程序卡带和卡带接口)、可拆卸存储芯片(例如，EPROM或PROM)、新兴存储介质(例如，全息照相存储器)、或本领域中已知的类似存储介质。该附加存储器可在物理上位于计算机1706内部和/或如图17中所示地位于外部。
计算机系统1700还可以包括用于允许加载计算机程序或其他指令的其他类似装置。这种装置例如可包括允许在计算机系统1700与外部系统和网络之间传输软件和数据的通信接口1716。通信接口1716的示例可包括调制解调器、诸如以太网卡之类的网络接口、无线通信接口、或串行或并行通信端口。经由通信接口1716传输的软件和数据是信号的形式，其可以是电信号、声信号、电磁信号、光信号或能够被通信接口1716接收到的其他信号。当然，可以在单个计算机系统1700上提供多个接口。
通过输入/输出(I/O)接口1718来管理到达计算机1706的输入和来自计算机1706的输出。该I/O接口1718管理对显示器1702、键盘1704A、外部设备1708以及计算机系统1700的其他这种组件的控制。计算机1706还包括图形处理单元(GPU)1720。后者也可被作为CPU1710的辅助或替代用于计算，以用于数学计算。
计算机系统1700的各种组件直接地或通过耦合到适合总线来彼此耦合。
图18示出了智能电话1800形式的示例联网移动无线电信计算设备。智能电话1800包括显示器1802、键盘1804形式的输入设备和板载计算机系统1806。显示器1802可以是触摸屏显示器，并由此担当附加输入设备或作为键盘1804的备选。板载计算机系统1806包括中央处理单元(CPU)1810，CPU1810具有用于执行算术计算和控制功能的一个或多个处理器或微处理器，以执行内部存储器1812(优选地，随机存取存储器(RAM)和/或只读存储器(ROM))中存储的软件，且板载计算机系统1806耦合到通常将会包括闪存的附加存储器1814，该闪存可被集成到智能电话1800中和/或可包括可拆卸的闪存卡。智能电话1800还包括允许在智能电话1800与外部系统和网络之间传输软件和数据的通信接口1816。通信接口1816耦合到一个或多个无线通信模块1824，无线通信模块1824通常将会包括用于连接到蜂窝网络、无线数字网络或Wi-Fi网络中的一个或多个网络的无线的无线电装置。通信接口1816通常还会启用智能电话1800至外部计算机系统的有线连接。麦克风1826和扬声器1828耦合到板载计算机系统1806，以支持板载计算机系统1806管理的电话功能，以及GPS接收机硬件也可耦合到通信接口1816以支持板载计算机系统1806的导航操作。通过输入/输出(I/O)接口1818来管理至板载计算机系统1806的输入和自板载计算机系统1806的输出，该I/O接口1818管理对显示器1802、键盘1804、麦克风1826和扬声器1828的控制。板载计算机系统1806还可包括分离的图形处理单元(GPU)1820。各种组件直接地或通过耦合到适合总线来彼此耦合。
可以将本文中描述的方法作为包括计算机可读存储介质(例如，非易失性存储器)的计算机程序产品提供，该计算机可读存储介质具有其处实现的用于执行该方法的计算机可读程序代码。因此，非易失性存储器将会包含当由处理器执行时使计算设备执行相关方法的指令。
以上系统和方法可全部由硬件实现，全部由软件实现，或通过硬件和软件的组合来实现。在优选实施例中，实现是软件或者硬件和软件的组合的方式，包括但不限于固件、驻机软件、微代码等。此外，可通过从计算机可使用介质或计算机可读介质可访问的计算机程序产品的形式来实现以上系统和方法，该计算机可使用介质或计算机可读介质提供由计算机或任何指令执行系统使用或与该计算机或指令执行系统相结合的程序代码。在这种实施例中，计算机程序产品可驻留在计算机中的计算机可使用介质和计算机可读介质(例如，智能电话1800的板载计算机系统1806的存储器1812，或计算机1706的存储器1712，或智能电话1800的板载计算机系统1806或计算机1806外部的计算机可使用介质和计算机可读介质，或其任意组合)上。
已通过示例方式描述了若干当前优选的实施例。对本领域技术人员将会是显而易见的是，可以进行多种变型和修改，而不背离权利要求的范围。

Claims (27)

1.一种用于生成球面图像的方法，包括：
接收图像的集合；
每个图像定义了对从假想正多面体的独一无二的围绕点沿着光轴向外的视野进行表示的图像平面，所述光轴与所述假想正多面体的质心和相应围绕点之间的假想线实质上共线；
每个围绕点是从包括以下各项的组中选择的围绕点集合的成员：
(a)所述假想正多面体的所有顶点的集合；以及
(b)所述假想正多面体的各面的所有质心的集合；
集合中图像的数目等于针对所述假想正多面体所选择的围绕点集合中围绕点的数目；
每个图像的视野与每个相邻图像的视野至少实质上相接；
根据与每个图像的图像平面对齐的圆柱投影向该图像的每个像素指派假想球面上的球面坐标；以及
根据球面图像模板，使用所述球面坐标向所述球面图像中的像素位置指派根据像素导出的颜色；
其中：
所述假想球面与所述假想正多面体的顶点相交；
所述假想球面以所述假想正多面体的质心为中心；以及
每个图像的图像平面与所述假想球面实质上相切；
以及，所述圆柱投影通过所述圆柱投影的假想圆柱与该图像的图像平面对齐，所述假想圆柱具有与所述图像平面实质上相切的圆柱壁以及与所述假想正多面体的质心相交的纵轴。
2.根据权利要求1所述的方法，其中：
所述假想正多面体是假想正四面体；
每个围绕点是所述假想正四面体的顶点；以及
集合中图像的数目是4。
3.根据权利要求2所述的方法，其中，每个图像定义了对至少129.5度的视野进行表示的图像平面。
4.根据权利要求2所述的方法，其中，每个图像定义了对至少135度的视野进行表示的图像平面。
5.根据权利要求2所述的方法，其中，每个图像定义了对至少165度的视野进行表示的图像平面。
6.根据权利要求2所述的方法，其中，每个图像定义了对大约165度与大约170度之间的视野进行表示的图像平面。
7.根据权利要求2、3、4、5或6中任一项所述的方法，其中：
将所述图像在被接收到时复用到单个复合图像中；
所述方法还包括：
在针对每个图像中的每个像素找到对将该像素投影到所述假想球面的表面上的投影进行表示的球面坐标之前，从所述复合图像中隔离出每个图像。
8.根据权利要求2、3、4、5、6或7中任一项所述的方法，其中，每个图像的视野与每个相邻图像的视野重叠。
9.根据权利要求2、3、4、5、6、7或8中任一项所述的方法，其中，所述球面图像模板是等矩图像模板。
10.根据权利要求2、3、4、5、6、7、8或9中任一项所述的方法，其中，根据与该图像的图像平面对齐的圆柱投影向相应像素指派球面坐标包括：根据从所述圆柱投影导出的预先计算的查找表向相应像素指派球面坐标。
11.根据权利要求10所述的方法，其中，除了被从所述圆柱投影导出之外，所述预先计算的查找表中的球面坐标还包括用于失真校正的位置调整。
12.根据权利要求2、3、4、5、6、7、8、9、10或11中任一项所述的方法，其中，所述圆柱投影是Miller圆柱投影。
13.根据权利要求2、3、4、5、6、7、8、9、10、11或12中任一项所述的方法，其中，向每个图像中的每个像素指派球面坐标导致：
各自具有独一无二球面坐标的独一无二像素；以及
像素组，每个像素组包括具有相同球面坐标的多个像素；
以及，根据球面图像模板使用所述球面坐标向所述球面图像中的像素位置指派颜色包括：
针对所述球面图像中映射到被指派给独一无二像素的球面坐标的每个像素位置，向所述球面图像中的该像素位置指派该独一无二像素的颜色；以及
针对所述球面图像中映射到被指派给像素组中的多个像素的球面坐标的每个像素位置，向所述球面图像中的该像素位置指派根据所述像素组中的所述多个像素来混合的颜色。
14.根据权利要求13所述的方法，还包括：
针对所述球面图像中映射到仍未被指派给任何像素的球面坐标的每个像素位置，向所述球面图像中的该像素位置指派通过对所述球面图像中附近的像素位置进行过采样而确定的颜色。
15.根据权利要求2、3、4、5、6、7、8、9、10、11、12、13或14中任一项所述的方法，其中，每个图像是包括多个图像在内的视频流中的一个图像。
16.根据权利要求2、3、4、5、6、7、8、9、10、12、13、14或15中任一项所述的方法，还包括：针对失真来校正每个图像。
17.根据权利要求1、7、8、9、10、11、12、13、14、15或16中任一项所述的方法，其中，所述围绕点集合是所述假想正多面体的所有顶点的集合。
18.根据权利要求1、7、8、9、10、11、12、13、14、15或16中任一项所述的方法，其中，所述围绕点集合是所述假想正多面体的各面的所有质心的集合。
19.根据权利要求1、7、8、9、10、11、12、13、14、15、16、17或18中任一项所述的方法，其中：
将所述图像在被接收到时复用到单个复合图像中；
所述方法还包括：
在针对每个图像中的每个像素找到对将该像素投影到所述假想球面的表面上的投影进行表示的球面坐标之前，从所述复合图像中隔离出每个图像。
20.一种计算机程序产品，包括体现指令的有形计算机可读介质，在由数据处理系统的至少一个处理器执行所述指令时，所述指令使所述数据处理系统执行根据权利要求1至19中任一项所述的方法。
21.一种数据处理系统，包括：
至少一个处理器；
耦合到所述至少一个处理器的存储器；
所述存储器包含指令，在由所述至少一个处理器执行所述指令时，所述指令使所述数据处理系统执行根据权利要求1至19中任一项所述的方法。
22.一种实现创建球面图像的成像系统，所述成像系统包括：
支撑框；
由所述支撑框携带的4个图像传感器；
每个图像传感器包括具有光轴的透镜系统以及与所述透镜系统的所述光轴对齐的焦平面阵列；
每个图像传感器具有与每个相邻图像传感器的视野至少实质上相接的视野；
所述图像传感器被布置为使得：
每个透镜系统的光轴与公共的假想正四面体的中线实质上共线；
每个焦平面阵列位于其相应图像传感器的透镜系统与所述假想四面体的质心之间；以及
每个图像传感器相对于所述假想四面体的所述质心面朝外。
23.根据权利要求22所述的成像系统，其中，每个图像传感器具有至少129.5度的视野。
24.根据权利要求22所述的成像系统，其中，每个图像传感器具有与每个相邻图像传感器的视野重叠的视野。
25.根据权利要求24所述的成像系统，其中，每个图像传感器具有至少135度的视野。
26.根据权利要求24所述的成像系统，其中，每个图像传感器具有至少165度的视野。
27.根据权利要求24所述的成像系统，其中，每个图像传感器具有在大约165度和大约170度之间的视野。
CN201380070011.0A 2012-11-09 2013-11-07 用于生成球面图像的系统和方法 Active CN105164998B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/673,642 US8902322B2 (en) 2012-11-09 2012-11-09 Systems and methods for generating spherical images
US13/673,642 2012-11-09
PCT/CA2013/000952 WO2014071508A1 (en) 2012-11-09 2013-11-07 Systems and methods for generating spherical images

Publications (2)

Publication Number Publication Date
CN105164998A true CN105164998A (zh) 2015-12-16
CN105164998B CN105164998B (zh) 2017-03-08

Family

ID=50681351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380070011.0A Active CN105164998B (zh) 2012-11-09 2013-11-07 用于生成球面图像的系统和方法

Country Status (8)

Country Link
US (1) US8902322B2 (zh)
EP (1) EP2918077B1 (zh)
JP (1) JP6095791B2 (zh)
CN (1) CN105164998B (zh)
BR (1) BR112015010685A2 (zh)
CA (1) CA2890879C (zh)
HK (1) HK1210894A1 (zh)
WO (1) WO2014071508A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203226A (zh) * 2016-06-23 2016-12-07 北京印刷学院 一种球体表面的二维码的生成和采集方法
CN106773512A (zh) * 2017-03-22 2017-05-31 黄深喜 一体式多镜头全景相机
WO2018064965A1 (en) * 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
CN108780584A (zh) * 2016-03-21 2018-11-09 胡露有限责任公司 用于流传输和渲染的球形视频的转换和预处理
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10462484B2 (en) 2016-10-07 2019-10-29 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
CN112304015A (zh) * 2020-11-23 2021-02-02 珠海格力电器股份有限公司 抗老化抽屉结构及其控制方法、冰箱

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
FR2964757B1 (fr) * 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
US9426430B2 (en) * 2012-03-22 2016-08-23 Bounce Imaging, Inc. Remote surveillance sensor apparatus
US9479697B2 (en) 2012-10-23 2016-10-25 Bounce Imaging, Inc. Systems, methods and media for generating a panoramic view
JP2014112302A (ja) * 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US20140168475A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Four-lens spherical camera orientation
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US10178325B2 (en) 2015-01-19 2019-01-08 Oy Vulcan Vision Corporation Method and system for managing video of camera setup having multiple cameras
US9851623B2 (en) 2015-05-26 2017-12-26 Gopro, Inc. Multi camera mount
CN109074629A (zh) * 2015-10-29 2018-12-21 Oy沃肯视觉有限公司 使用联网照相机对关注的区域进行视频摄像
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
US10147224B2 (en) * 2016-02-16 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for generating omni media texture mapping metadata
US10057487B1 (en) * 2016-03-25 2018-08-21 Scott Zhihao Chen Panoramic imaging systems based on normal-lens cameras
US10102610B2 (en) 2016-04-05 2018-10-16 Qualcomm Incorporated Dual fisheye images stitching for spherical video
US10275928B2 (en) 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US9961261B2 (en) 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
KR102548228B1 (ko) 2016-08-09 2023-06-28 삼성전자주식회사 카메라를 구비한 무인 비행체
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10002406B2 (en) * 2016-10-03 2018-06-19 Samsung Electronics Co., Ltd. Consistent spherical photo and video orientation correction
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10728494B2 (en) 2017-02-20 2020-07-28 Disney Enterprises, Inc. Differential transformation of video
US10291828B1 (en) * 2017-04-13 2019-05-14 Facebook, Inc. Scalable three-dimensional, 360-degree virtual reality camera system
US10529055B1 (en) * 2018-06-28 2020-01-07 EyeSpy360 Limited Compensating for camera pose in a spherical image
US10735708B2 (en) * 2018-06-28 2020-08-04 EyeSpy360 Limited Transforming locations in a spherical image viewer
EP3987334A4 (en) * 2019-06-24 2023-09-06 Circle Optics, Inc. MULTI CAMERA PANORAMIC PHOTOGRAPHY DEVICES WITH FACETED DOME
US11668861B2 (en) * 2019-07-04 2023-06-06 Aspeed Technology Inc. Polyhedron lens architecture and lens scanning method suitable for the polyhedron lens architecture
EP4094110A4 (en) * 2019-12-23 2024-05-15 Circle Optics, Inc. MOUNTING SYSTEMS FOR MULTI-CAMERA IMAGERS
US20230090281A1 (en) * 2020-02-10 2023-03-23 Circle Optics, Inc. Panoramic camera system for enhanced sensing
EP4229552A4 (en) * 2020-10-13 2024-03-06 Flyreel, Inc. GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA
RU205591U1 (ru) * 2021-04-05 2021-07-22 Денис Владимирович Гаврилов Голографический октаэдр
JP2022184139A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN113438416B (zh) * 2021-06-21 2022-12-09 北京小米移动软件有限公司 图像数量获取方法和装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001022728A1 (en) * 1999-09-20 2001-03-29 The Trustees Of Columbia University In The City Of New York Systems and methods for generating spherical mosaic images
US20040183941A1 (en) * 2000-02-16 2004-09-23 Mccutchen David Rotating scan self-cleaning camera
US20080074500A1 (en) * 1998-05-27 2008-03-27 Transpacific Ip Ltd. Image-Based Method and System for Building Spherical Panoramas
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5684937A (en) 1992-12-14 1997-11-04 Oxaal; Ford Method and apparatus for performing perspective transformation on visible stimuli
US5703604A (en) 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
JP3520485B2 (ja) * 1995-10-02 2004-04-19 日本電信電話株式会社 画像処理システム
US7542035B2 (en) 1995-11-15 2009-06-02 Ford Oxaal Method for interactively viewing full-surround image data and apparatus therefor
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6879338B1 (en) * 2000-03-31 2005-04-12 Enroute, Inc. Outward facing camera system for environment capture
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US6915008B2 (en) 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
US6947059B2 (en) 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005283616A (ja) * 2004-03-26 2005-10-13 Softopia Japan Foundation 撮像装置
US7872665B2 (en) 2005-05-13 2011-01-18 Micoy Corporation Image capture and processing
US7656403B2 (en) 2005-05-13 2010-02-02 Micoy Corporation Image processing and display
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
US20100045773A1 (en) 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
TW200734965A (en) * 2006-03-10 2007-09-16 Sony Taiwan Ltd A perspective correction panning method for wide-angle image
US20070253704A1 (en) 2006-04-19 2007-11-01 Clint Clemens Methods for creating spherical imagery
US8988466B2 (en) * 2006-12-13 2015-03-24 Adobe Systems Incorporated Panoramic image straightening
WO2008081961A1 (ja) * 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
CN101689292B (zh) 2007-02-14 2014-01-15 弗廷特风险投资集团 Banana多媒体数字信号编解码器
JP4851406B2 (ja) 2007-08-31 2012-01-11 富士フイルム株式会社 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
US20090210789A1 (en) 2008-02-14 2009-08-20 Microsoft Corporation Techniques to generate a visual composition for a multimedia conference event
US8384714B2 (en) 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
TWI393072B (zh) * 2008-07-23 2013-04-11 Pixart Imaging Inc 廣角感測器陣列模組及其影像校正方法、運作方法與應用
US9930225B2 (en) 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
JP5724755B2 (ja) 2011-08-26 2015-05-27 株式会社リコー 撮像システム
USD690344S1 (en) 2012-08-29 2013-09-24 Steven J. Hollinger Housing for a plurality of cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080074500A1 (en) * 1998-05-27 2008-03-27 Transpacific Ip Ltd. Image-Based Method and System for Building Spherical Panoramas
WO2001022728A1 (en) * 1999-09-20 2001-03-29 The Trustees Of Columbia University In The City Of New York Systems and methods for generating spherical mosaic images
US20040183941A1 (en) * 2000-02-16 2004-09-23 Mccutchen David Rotating scan self-cleaning camera
CN102243432A (zh) * 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780584B (zh) * 2016-03-21 2023-04-21 葫芦有限责任公司 用于流传输和渲染的球形视频的转换和预处理
CN108780584A (zh) * 2016-03-21 2018-11-09 胡露有限责任公司 用于流传输和渲染的球形视频的转换和预处理
CN106203226B (zh) * 2016-06-23 2019-04-09 北京印刷学院 一种球体表面的二维码的生成和采集方法
CN106203226A (zh) * 2016-06-23 2016-12-07 北京印刷学院 一种球体表面的二维码的生成和采集方法
US10462484B2 (en) 2016-10-07 2019-10-29 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
WO2018064965A1 (en) * 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
US10643370B2 (en) 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
US10825229B2 (en) 2016-10-07 2020-11-03 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in triangle-based projection layout
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10679324B2 (en) 2016-12-07 2020-06-09 Mediatek Inc. Method and apparatus for decoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10963987B2 (en) 2016-12-07 2021-03-30 Mediatek Inc. Method and apparatus for decoding projection based frame with 360-degree content represented by triangular projection faces packed in triangle-based projection layout
CN106773512A (zh) * 2017-03-22 2017-05-31 黄深喜 一体式多镜头全景相机
CN112304015A (zh) * 2020-11-23 2021-02-02 珠海格力电器股份有限公司 抗老化抽屉结构及其控制方法、冰箱
CN112304015B (zh) * 2020-11-23 2023-12-29 珠海格力电器股份有限公司 抗老化抽屉结构及其控制方法、冰箱

Also Published As

Publication number Publication date
JP6095791B2 (ja) 2017-03-15
CN105164998B (zh) 2017-03-08
WO2014071508A1 (en) 2014-05-15
JP2016506551A (ja) 2016-03-03
CA2890879C (en) 2019-10-01
EP2918077B1 (en) 2019-10-02
US20140132788A1 (en) 2014-05-15
EP2918077A4 (en) 2016-05-25
EP2918077A1 (en) 2015-09-16
HK1210894A1 (zh) 2016-05-06
CA2890879A1 (en) 2014-05-15
US8902322B2 (en) 2014-12-02
BR112015010685A2 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
CN105164998A (zh) 用于生成球面图像的系统和方法
US10516824B2 (en) Apparatus and method for processing image received through a plurality of cameras
US10819912B2 (en) Apparatus and method for processing image received through a plurality of cameras
KR102560029B1 (ko) 가상 현실 콘텐트를 송수신하는 방법 및 장치
WO2017177312A1 (en) Portable rf and wireless communication system and method for creating spherical images
US10484603B2 (en) Communication terminal, image communication system, display control method, and non-transitory computer-readable medium
CN103905761B (zh) 图像处理系统和图像处理方法
CN109891465B (zh) 用于处理虚拟现实图像的方法和装置
US11049324B2 (en) Method of displaying virtual content based on markers
US11172135B2 (en) Apparatus and method for processing image
CN109565571B (zh) 标示关注区域的方法与装置
CN110073662A (zh) 全景视频的建议视口指示
CN108668108B (zh) 一种视频监控的方法、装置及电子设备
WO2018175335A1 (en) Method and system for discovering and positioning content into augmented reality space
CN109997167A (zh) 用于球面图像内容的定向图像拼接
US11818492B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
CN108344401A (zh) 定位方法、装置及计算机可读存储介质
CN110136207B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
KR20210036392A (ko) 가상 환경 관찰 방법, 기기 및 저장 매체
KR20180059210A (ko) 영상 처리 장치 및 그 영상 처리 방법
EP3665656B1 (en) Three-dimensional video processing
CN206775653U (zh) 多深度摄像头紧凑型全景扫描设备
CN107580157B (zh) 图像处理装置、图像处理方法
JP2004054890A (ja) 画像表示装置および方法、送信装置および方法、画像表示システム、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant