CN108876714A - 图像捕获装置、信息处理装置和图像处理方法 - Google Patents

Abstract

一种图像捕获装置，包括：倾斜检测单元，用于检测在垂直方向上的倾斜；转换数据，用于将平面坐标转换为球面坐标；校正单元，用于根据所述倾斜校正所述转换数据；多个图像捕获单元；坐标转换单元，用于根据由所述校正单元校正的转换数据，将由图像捕获单元捕获的图像中包括的多个像素的平面坐标转换为球面坐标；以及组合单元，用于组合包括由所述坐标转换单元转换为球面坐标的像素的图像。

Description

图像捕获装置、信息处理装置和图像处理方法

本申请是申请日为2013年03月11日、题为“图像捕获装置、图像捕获系统、图像处理方法、信息处理装置和计算机可读存储介质”的中国专利申请201380012472.2的分案申请。

技术领域

本发明涉及一种图像捕获装置、图像捕获系统、信息处理装置以及计算机可读存储介质。

背景技术

全方向或者球面地捕获图像的传统图像捕获装置采用例如双曲面反射镜或鱼眼镜头。这些图像捕获装置是特定光学系统，该特定光学系统需要诸如失真校正或投影变换的非线性图像处理，以便使通过装置所捕获的图像可以对用户可视化。

一个已知的技术是通过采用鱼眼镜头的广角捕获来获取半球形图像，并将其记录为失真圆形图像。切除失真圆形图像的一部分，并且通过计算机在图像上执行图像处理，由此失真图像被转换成平面规则图像。

另一种已知的技术是，在执行上述图像处理的同时，当失真圆形图像的中心位置未正确地对应于垂直点的方向时，用户指定倾斜角度参数。因此降低了对图像执行失真校正时的负荷。

如上所述，当在图像捕获装置处于倾斜的状态下捕获图像时，可能会生成错误垂直方向的全向球形图像。解决这个问题的一些发明已经是公知的。

日本专利申请特开No.2003-223633和日本专利申请特开No.2006-059202公开了一种生成具有正确垂直方向的全向球形图像的技术。这是通过根据照相机的倾斜向非线性图像处理过程增加旋转转换来实现的。

日本专利申请特开No.H11-309137和日本专利No.4175832公开了一种高速生成具有正确垂直方向的全向球形图像的技术，用于减少生成具有正确垂直方向的全向球形图像所需的时间或者降低算术运算的成本。这种技术是通过在捕获图像时，除了失真校正或射影转换外，根据照相机的倾斜增加旋转转换，预先制备用于非线性转换的转换表，并且通过转换表来执行批次转换而实现的。

然而，对于前述球形图像捕获装置的结构，当把从多个图像捕获方向同时捕获的多个图像进行组合时，当将结合的图像转换为平面规则图像时，以及当显示所产生的图像时，需要用户在捕获期间指定装置的倾斜角度。也就是说，存在对于自动校正图像在捕获期间不能获取用于校正的必要参数的问题。

此外，对于前述执行的用于根据倾斜通过转换表在所有方向上或球形地捕获图像的方法，如果倾斜的量或定向改变，则需要从一开始重新制作转换表。在这种情况下，处理需要相对长的时间，以根据图像捕获装置的任何倾斜生成具有正确垂直方向的全向球形图像。

日本专利申请特开No.H11-309137和日本专利No.4175832具体公开了一种根据相机的倾斜使用包括旋转转换的转换表来生成图像的技术。制作该转换表以便对应于预先确定的倾斜量。因此，如果倾斜的量或定向改变从而不同于预定的量或定向，则需要从一开始重新制作转换表。还是在这种情况下，处理仍然需要相对长的时间，以根据图像捕获装置的任何倾斜生成具有正确垂直方向的全向球形图像，因此尚未解决该问题。

因此，有必要提供一种能够根据图像捕获装置的任何倾斜生成具有正确垂直方向的全向球形图像的图像捕获装置。

发明内容

本发明的目的是至少部分地解决现有技术中的问题。

根据实施例，提供了一种图像捕获装置，包括：倾斜检测单元，用于检测在垂直方向上的倾斜；转换数据，用于将平面坐标转换为球面坐标；校正单元，用于根据所述倾斜校正所述转换数据；多个图像捕获单元；坐标转换单元，用于根据由所述校正单元校正的转换数据，将由图像捕获单元捕获的图像中包括的多个像素的平面坐标转换为球面坐标；以及组合单元，用于组合包括由所述坐标转换单元转换为球面坐标的像素的图像。

当联系附图考虑时，通过阅读本发明当前优选实施例的下面的详细描述，将可以更好地理解本发明的上述和其他目的、特征、优点以及技术和工业意义。

附图说明

图1是用于说明根据本发明实施例的图像捕获装置的总体结构的示意性框图。

图2是根据实施例的全向球形图像捕获装置的外部侧视图。

图3是用于说明根据实施例的图像捕获装置的操作的流程图。

图4示出了根据实施例的图像捕获装置中所采用的鱼眼镜头的投影关系。

图5示出了根据实施例由图像捕获装置捕获的全向球形图像的形式。

图6示出了根据实施例由图像捕获装置捕获的全向球形图像的生成处理的概略图。

图7示出了根据本实施例的用于由图像捕获装置捕获的全向球形图像的转换表。

图8是用于说明根据实施例通过转换表校正处理的操作的流程图，该转换表用于由图像捕获装置捕获的全向球形图像。

图9是用于说明根据实施例的图像捕获装置的倾斜的示意图。

图10示出了根据实施例对由图像捕获装置捕获的全向球形图像计算垂直校正的示例。

图11示出了根据实施例对由图像捕获装置捕获的全向球形图像计算垂直校正的另一个示例。

图12是用于说明根据实施例通过转换表校正处理的操作的另一个流程图，该转换表用于由图像捕获装置捕获的全向球形图像。

图13是用于说明根据本发明的另一个实施例的图像捕获系统的总体结构的示意图。

图14是用于说明根据另一个实施例的作为图像捕获系统的目标设备的电路的总体结构的示意性框图。

图15是用于说明根据另一个实施例的图像捕获系统的操作的流程图。

图16是用于说明同时在所有方向球形地捕获图像的多眼图像捕获装置的结构的图示。

图17是用于说明通过在图16所示的多眼图像捕获装置中的镜头获得的图像的图示。

图18是用于说明通过在图17所示的图像上执行失真校正然后彼此组合图像来获得的图像的图示。

图19是用于说明图16所示的多眼图像捕获装置处于倾斜状态时通过该图像捕获装置捕获的图像的图示。

图20是用于说明在图19所示的图像上执行失真校正和图像组合且不考虑倾斜而获得的图像的图示。

图21是用于说明测量倾斜角的加速度传感器的示意图。

具体实施方式

下面参照附图对根据本发明的示例性实施例进行描述。在下文的附图和说明中，相同的附图标记表示相同或等效的部件，并且将适当简化或省略其重复的说明。在实施例中，当生成全向球形图像时，全向球形图像捕获装置检测垂直方向，并且根据垂直方向校正用于图像处理的转换表。在实施例中，通过校正的转换表生成全向球形图像。因此，不需要从一开始重新制作转换表，从而减少了处理时间。图像捕获装置是指单独的装置，诸如数码相机；图像捕获系统是指单独地使用如数码相机的多个装置以及信息处理装置的系统。在实施例中，除非另有说明，图像捕获装置概念性地包括图像捕获系统。

现在将对同时在所有方向上球形地捕获图像的多眼图像捕获装置进行描述。图16是用于说明同时在所有方向上球形地捕获图像的多眼图像捕获装置的结构的图示。制备了一种图像捕获系统，该图像捕获系统采用如图16所示的多个广角镜头，以便同时在所有方向球形地捕获图像。

例如，图16左侧所示的多眼图像捕获装置采用了具有等于或大于180度视角的鱼眼镜头(超广角镜头)。该多眼图像捕获装置需要至少两眼结构(具有两个不同的图像捕获方向的图像捕获镜头)，以便同时在所有方向球形地捕获图像。如果需要尽可能地减少图像失真，则可以通过采用例如如图16右侧所示的用于多眼图像捕获装置的四眼结构来增加图像捕获镜头的数量。利用这种结构，仅有选择地使用具有高图像质量的中心部分，以减少图像失真。在具有四眼结构的该图像捕获装置中，建议各镜头具有等于或大于90度、优选为约100度的视角。

为了描述的方便，下面将对具有两眼结构的图像捕获装置进行描述。但是本发明的基本思想可以被应用到图16右侧所示的具有四眼结构的图像捕获装置。

在图像捕获装置中，假定在垂直方向的图像捕获装置的中心轴对应于球体的纵轴。具体地，通过两个鱼眼镜头的每一个所获得的图像呈现如图17所示。图17是用于说明通过在图16左侧所示的两眼图像捕获装置中的镜头获得的图像的图示。如上所述，优选的是捕获图像使得由图像捕获装置的用户识别的垂直点和水平线对应于图像捕获装置的垂直点和水平线。

下面将对图17所示的180度的边界线进行说明。在包括两个镜头(两个图像捕获方向)的图像捕获系统中，捕获两个图像使得图像具有彼此重叠的区域。利用重叠区域组合图像。180度的边界线的外侧部分是重叠的区域。因此，当图像捕获装置采用两个镜头时，镜头具有等于或大于180度以及优选为约190度的视角，以提供重叠区域。当图像捕获装置采用四个镜头时，镜头具有约100度的视角，以提供适当的重叠区域。

通过图16右侧所示的采用四个镜头的结构，并且当通过正确地直立的图像捕获装置捕获图像时，仅以与上述相同的方式水平地捕获水平线。通过使用该装置的图像捕获人员识别的垂直点的位置对应于图像捕获装置的垂直点的位置。用于组合捕获的图像以在组合的图像上执行失真校正的上述技术是众所周知的。

例如，当在多个图像上执行失真校正，并且以与墨卡托(Mercator)投影相同的方式彼此组合图像时，获得了图18所示的图像。图18是用于说明通过在图17所示的图像上执行失真校正然后彼此组合图像来获得的图像的图示。

当图像捕获装置被放置为正确地直立并且不用倾斜的装置捕获图像时，当在捕获的图像上简单地执行失真校正和组合后，可以获得具有如图18所示的直的水平线的正确图像。具体地，例如当将图像捕获装置固定至某保持架，并且使用水平仪来调整装置的水平线和垂直线时，可以在正确的垂直方向上捕获图像。

图19是用于说明图16右侧所示的多眼(两眼)图像捕获装置处于倾斜状态时通过该图像捕获装置捕获的图像的图示。当人在其手中持有该图像捕获装置时，通常难以水平和垂直地捕获图像。图19例示了处于该状态下所捕获的图像。如图19所示，图像的垂直点彼此并不对应，并且图像的水平线是失真的。如上所述，如果在图像捕获装置处于倾斜状态而捕获的图像上执行失真校正和组合且不考虑倾斜，则获得如图20中所示的图像，在其中直接反映出了图19中例示的失真。

如果在图像捕获装置处于倾斜状态而捕获的图像上执行失真校正和组合且不考虑倾斜，水平线被弯曲为类似如图20所示的三角函数的曲线图。另外，图像的正交性被破坏。为了避免这些问题，应该考虑在垂直方向上的倾斜角度来执行校正。

参考图21，现在将对倾斜角的测量原理进行描述。图21是用于说明测量倾斜角的加速度传感器的示意图。

在图像捕获装置中嵌入如图21所示的加速度传感器，以便使用重力加速度传感器来测量图像捕获装置在垂直方向上如何倾斜。

图21示出了使用单轴加速度传感器获得角度的概略图。它被用来简化描述。在图21中，传感器仅获得在包括两眼结构中镜头表面的中心轴的平面内的图像捕获装置的倾斜。然而，当用户实际捕获图像时，假定可从偏离如上所述平面的偏离角度中捕获图像。为解决该问题，采用三轴加速度传感器，以便测量偏离于包括镜头表面的中央面的平面的偏离角度。

现在，将对根据实施例的图像捕获装置进行详细地描述。图1是用于说明根据本发明实施例的图像捕获装置的电路的总体结构的示意性框图。如图1所示，在该图像捕获装置(在下文中，也被称为数码相机)100中，图像捕获元件1(附图标记：109)、图像捕获元件2(附图标记：110)、同步动态随机存取存储器(SDRAM)111、外部存储设备112以及加速度传感器113被耦接至控制器10。

在实施例中，采用两个捕获元件(即，两眼结构)以获得全向图像，然而，也可以采用三个或更多捕获元件。当采用三个捕获元件时，对应于将参照图2进行描述的图像捕获元件的镜头不需要等于或大于180度的视角。可以合适地采用另一镜头视角。对于该镜头，典型地采用包括鱼眼镜头的广角镜头。图像捕获装置并不限于全向图像捕获装置。可以使用能够在水平方向上覆盖360度捕获图像的另一图像捕获装置。

控制器10包括中央处理单元(CPU)101、静态RAM(SRAM)102、只读存储器(ROM)103、图像处理模块104、SDRAM接口(I/F)105、外部存储设备I/F 106以及外部传感器I/F 107。

在实施例的描述中，图像处理模块104执行诸如失真校正和像素缺陷校正的典型图像处理，并且CPU读取预定表或计算机程序，从而根据数码相机100的倾斜执行在垂直方向上的校正处理。然而，应当理解的是，图像处理模块104也可以执行在垂直方向上的校正处理。

在捕获期间，通过图像捕获元件1(附图标记：109)和图像捕获元件2(附图标记：110)向控制器10的图像处理模块104输入数字化的图像数据块。输入的图像数据块是使用例如图像处理模块104、CPU 101、SRAM 102以及SDRAM 111处理的图像，并且最后被存储在外部存储设备112。外部存储设备的示例包括闪存(CompactFlash)(注册商标)或安全数字(SD)存储器。

在控制器10中，也可以设置用于连接到外部设备的通用串行总线(USB)连接接口或者用于连接到网络的有线或无线网络I/F。在SRAM 102或SDRAM 111中存储后面将描述的转换表、用于该转换表的校正处理程序以及用于计算垂直校正的处理程序。

加速度传感器113用于在捕获过程中检测数码相机100的倾斜。这使得能够即刻且容易地检测数码相机的倾斜方向。

加速度传感器113是在互相垂直的三个方向，即，上下方向、左右方向以及前后方向上检测数码相机100的加速度的三轴加速度传感器。当用户在其手中持有数码相机100以使数码相机100保持静止时，加速度传感器113仅检测重力加速度。

当在上下方向上仅检测到向下方向的加速度时，可以发现数码相机100的上下方向对应于相对于地面的顶部和底部方向。换句话说，可知以与通常操作数码相机相同的方式水平地持有数码相机。

当图像捕获装置在顶部和底部方向倾斜时，加速度传感器113根据实际的倾斜方向检测到在左右方向和前后方向上的加速度。可以根据在上下方向、左右方向以及前后方向上的加速度大小来获得数码相机100的倾斜角度。

现在将对全向球形图像捕获装置进行说明。图2是根据实施例的全向球形图像捕获装置的外部侧视图。

本实施例的目的是使用能够从捕获点在所有方向上捕获图像的全向球形图像捕获装置来生成全向球形图像。也就是说，全向球形图像捕获装置(数码相机)可以从捕获点所观察的所有方向捕获图像。

数码相机100(图1所示)，其作为全向球形图像捕获装置，通过两个捕获元件1(附图标记109)和图像捕获元件2(附图标记110)捕获图像。每个捕获元件具有作为有超过180度视角的广角镜头的例子的鱼眼镜头。通过这两个鱼眼镜头捕获的图像具有彼此重叠的区域。在图像上执行诸如失真校正的预定图像处理，并将产生的图像进行转换，然后彼此组合，从而生成全向球形图像。

现在将对根据实施例的全向球形图像捕获装置的操作进行描述。图3是用于说明根据实施例的图像捕获装置的操作的流程图。将参照图3给出从输入捕获的图像时至在外部存储设备112(图1)中存储图像时的全向球形图像捕获装置的操作的说明。

在步骤(下文中表示为“S”)301中，加速度传感器113检测数码相机100的倾斜角度。在S302中，控制器10根据在S301中检测出的数码相机100的倾斜角度，读取在例如SDRAM111中存储的转换表。然后，控制器10以预定的校正方法校正转换表。后面将对用于转换表的校正方法进行描述。

在S303中，向图像处理模块104输入通过图像捕获元件1(附图标记：109)和图像捕获元件2(附图标记：110)捕获的两个数字化鱼眼图像。图像处理模块104执行诸如失真校正的典型图像处理。在S304中，控制器10使用在S302中校正的转换表来转换两个捕获的鱼眼图像(类似于图17所示的图像)。后面将对转换方法进行描述。

在S305中，控制器10利用在S304中转换的两个图像之间的重叠区域生成组合的全向球形图像。在S306中，控制器10通过外部存储设备I/F 106在外部存储设备112中存储在S305中生成的全向球形图像。

现在将对作为根据实施例的数码相机中所采用的广角镜头的示例的鱼眼镜头的投影关系进行描述。图4示出了根据实施例的数码相机中所采用的鱼眼镜头的投影关系。图4(a)是鱼眼镜头的外部侧视图；图(b)示出了捕获图像的平面视图中的投影函数f。

图17示出了通过具有超过180度视角的鱼眼镜头所捕获的图像，该图像是从捕获位置观看几乎半球形场景的捕获图像。如图4(a)和(b)中所示，生成具有根据入射角θ的图像高度h的图像。入射角θ和图像高度h的关系由投影函数f(h＝f(θ))所限定。投影函数根据鱼眼透镜的特性而变化。

投影转换技术(函数)的例子包括：中心投影、立体投影、等距投影、等立体角投影以及正投影。当使用包括典型视角的数码相机来捕获图像时，采用中心投影。在包括具有诸如鱼眼镜头的超广视角的广角镜头的数码相机中，采用以上其他四种方法。

现在将描述由根据实施例的数码相机捕获的全向球形图像的形式(方程的形式)。图5示出了根据实施例由数码相机捕获的全向球形图像的形式。图5(a)示出了平面形式；图5(b)示出了球形形式。

图5(a)示出了用于将全向球形图像展开为平面坐标的形式。如图5(a)中所示，平面形式是包括像素值的图像，这些像素值对应于具有从0到360度的水平角度和从0到180度的垂直角度的角坐标。这些角坐标与如图5(b)所示球面坐标中的点相关联，这些球面坐标类似于球面上的经度和纬度坐标。

通过鱼眼镜头捕获的图像的平面坐标和全向球形图像的球面坐标可以使用图4所示的投影函数f(h＝f(θ))彼此相关联。这使得能够转换通过鱼眼镜头捕获的两个图像，并且将所得到的图像组合(合成)，从而生成如图5(a)和(b)中所示的全向球形图像。

现在将参照通过鱼眼透镜捕获的实际图像，对生成全向球形图像的过程进行描述。图6示出了根据实施例由数码相机捕获的全向球形图像的生成处理的概略图。图6的(a1)和(a2)是经由两个鱼眼镜头通过捕获元件捕获的图像；图6的(b1)和(b2)是通过转换表转换的图像(对应于图5(a))；图6(c)是通过组合(合成)两个转换后的图像来生成的图像(对应于图5(b))。

经由两个鱼眼镜头通过捕获元件捕获的如图6的(a1)和(a2)所示的、在图17中也示意性地示出的各个图像被转换成图6的(b1)和(b2)所示的图像。通过在图3中所示的在S304中的处理，即在其中使用校正的转换表的图像转换处理，来执行该转换。在这一点，以对应于全向球形图像形式的方式，即对应于图5(a)所示的图像的方式，呈现图6的(b1)和(b2)所示的图像。

接着，执行图3所示的S305中的处理。具体地，组合两个转换后的图像，从而生成全向球形图像。更具体地，使用图6的(b1)和(b2)所示的图像的重叠区域作为关键，使两个转换后的图像重叠并且组合，由此生成图6(c)所示的图像，即全向球形图像。

现在将对用于图3所示的S304中的转换表的校正方法进行描述。图7示出了根据实施例的用于由数码相机捕获的全向球形图像的转换表。

图7(a)是用于说明表示转换前的图像和转换后的图像的坐标矩阵的转换表的图示。图7(b)和(c)是用于说明转换前的图像的坐标(图7(b))以及转换后的图像的坐标(图7(c))的对应关系的图示。

图7(a)示出了用于图3中所示的S304中图像处理的转换表。该转换表包括对于转换后图像的每个坐标的，转换后的图像的像素值的坐标(θ，φ)以及对应的转换前的图像的像素值的坐标(x，y)的数据集。这里的转换表呈现表格数据结构，然而也可以使用另一种结构，只要它是转换数据。

根据图7(a)所示的转换表从捕获的图像(转换前的图像)生成转换后的图像。具体地，如图7的(b)和(c)所示，基于在转换表(图7(a))中的转换前的图像和转换后的图像之间的对应关系，通过参照转变前的图像的坐标中的对应的像素值，来生成转换后的图像中的像素。

现在将给出根据数码相机的倾斜来校正转换表的处理的说明，该转换表用于由根据实施例的数码相机捕获的全向球形图像。图8是用于说明对转换表校正处理的操作的流程图，该转换表用于由根据实施例的图像捕获装置捕获的全向球形图像。

在S801中，控制器10根据由加速度传感器113(图1)检测出的数码相机100的倾斜值来获得相机倾斜参数(α，β)。相机倾斜参数(α，β)中的a和β代表旋转角度，其将在后面进行描述。

在S802中，设置转换表的输入值(θ1，)。在图8中，相机坐标系统中的值表示为(θ0，)，而全球坐标系统中的值表示为(θ1，)，以便区别于取决于坐标系统的参数值(θ，)。因此，在S802中设置在全球坐标系统中的值(θ1，)。

在S803中，通过由控制器10计算垂直校正，将在全球坐标系统中的输入值(θ1，)转换成在相机坐标系统中的值(θ0，)。该垂直校正的计算将在后面进行描述。

在S804中，通过尚未校正的转换表(图7(a))，将相机坐标系统中的转换后的值(θ0，)转换为转换前的图像的坐标(x，y)。应当指出的是，需要预先提供用于生成正确的全向球形图像的转换表。正确的全向球形图像是在相机在捕获期间没有倾斜的条件下生成的。需要在诸如SRAM或SDRAM的预定存储单元中存储用于生成正确的全向球形图像的转换表。

在S805中，控制器10存储全球坐标系统中的输入值(θ1，)以及上述最后所计算出的未校正的坐标(x，y)，作为已经校正后的转换表中的彼此对应的一组坐标。

在S806中，控制器10确定是否仍有任何未解决的输入值(θ1，)。换句话说，控制器10确定是否仍有任何未解决的全球坐标系统中的输入值(θ1，)，其中未计算相对应的尚未校正坐标(x，y)。如果控制器10确定仍有未解决的输入值(θ1，)(在S806，是)，则处理返回到S802，以便全球坐标系统中的输入值(θ1，)被设置为后续的值。

如果控制器10确定没有未解决的输入值(θ1，)(在S806，否)，则处理结束。在这种情况下，控制器10完成尚未校正的坐标(x，y)的计算，该坐标(x，y)对应于以全向球形图像的形式的像素，该全向球形图像具有作为坐标的全球坐标系统中的输入值(θ1，)。

现在将对根据实施例的数码相机100的倾斜进行描述。图9是用于说明根据实施例的图像捕获装置的倾斜的示意图。

在图9中，垂直方向对应于全球坐标系统中的三维(x，y，z)笛卡儿坐标中的z-轴。当此方向对应于图9所示的数码相机的垂直方向时，相机处于没有倾斜的状态。当此方向不对应于数码相机的垂直方向时，数码相机处于倾斜的状态。

利用加速度传感器的输出，从下方的方程获得重力矢量的倾斜角度α以及在xy平面内的梯度角度β。在公式中，Ax是指加速度传感器在相机坐标系统中在x0-轴方向上的分量值；Ay是指加速度传感器在相机坐标系统中在y0-轴方向上的分量值；Az是指加速度传感器在相机坐标系统中在z0-轴方向上的分量值。

a＝Arc tan(Ax/Ay)

现在将对垂直校正的计算进行描述。图10(a)和图10(b)是用于说明根据实施例对由数码相机捕获的全向球形图像计算垂直校正的示例的图示。图10(a)示出了相机坐标系统；图10(b)示出了全球坐标系统。

在图10中，全球坐标系统中的三维笛卡尔坐标被表示为(x1，y1，z1)，并且在全球坐标系统中的球面坐标被表示为(θ1，)。此外，相机坐标系统中的三维笛卡尔坐标被表示为(x0，y0，z0)，并且相机坐标系统中的球面坐标被表示为(θ0，)。

通过图10所示的方程，将球面坐标(θ1，)转换为球面坐标(θ0，)。为校正倾斜，首先三维笛卡尔坐标被用于执行旋转转换，因而通过图10所示的方程(1)至(3)将球形坐标(θ1，)转换为三维笛卡尔坐标(x1，y1，z1)。

随后，相机倾斜参数(α，β)被用来通过图10(方程(4))所示的旋转坐标转换，将全球坐标系统中的坐标(x1，y1，z1)转换为相机坐标系统中的坐标(x0，y0，z0)。换句话说，该方程(图10所示的方程(4))是相机倾斜参数(α，β)的定义。

这意味着通过由α绕z轴旋转全球坐标系统，然后由β绕x轴旋转全球坐标系统获得了相机坐标系统。最后，通过图10所示的公式(5)和(6)，将相机坐标系统中的三维笛卡尔坐标(x0，y0，z0)转换回相机坐标系统中的球面坐标(θ0，)。

现在将对垂直校正的计算的另一例子进行说明。图11示出了根据实施例对由数码相机捕获的全向球形图像计算垂直校正的另一个例子。图11(a)示出了相机坐标系统；图11(b)示出了全球坐标系统。

在本实施例中，加快了垂直校正的计算。根据实施例，上述的和图10所示的方程(1)至(6)可以被呈现为图11所示的方程(7)至(14)。

具体地，绕z轴的旋转α和旋转γ就是球面坐标(θ，)中的旋转θ本身。可以用简单的加法或减法运算来执行旋转转换的计算，而不用转换为笛卡尔坐标系统，从而加速了计算。因此，仅对于绕x轴的旋转β的旋转转换需要通过笛卡尔坐标系统的转换。这加快了计算。

现在将给出根据数码相机的倾斜来校正转换表的另一个处理的说明，该转换表用于由根据实施例的数码相机捕获的全向球形图像。图12是用于说明根据实施例通过转换表进行校正处理的操作的另一个流程图，该转换表用于由图像捕获装置捕获的全向球形图像。

在本实施例中，可以加快对转换表的校正处理。在图11所示的实施例中，在加速计算垂直校正的同时，执行对转换表的校正处理。相比之下，在本实施例中省略了垂直校正的计算以加速计算。

参照图12，对转换表的校正处理将被描述。在S1201中，获得了相机倾斜参数(α，β)。此处理与在图8所示的S801中的处理相同。

在S1202中，获得了对应于相机倾斜参数(α，β)的值的转换表，然后处理结束。具体地，通过存储多个转换表省略了垂直校正的计算，使得转换表根据相机倾斜参数(α，β)来提供不同的值。

原则上，相机倾斜参数(α，β)是三维实向量。如果只对特定的相机倾斜参数(α，β)提供转换表，并且使用最接近检测到的相机倾斜参数(α，β)的转换表，则由提供的表覆盖所有参数。可选地，提取接近检测到的相机倾斜参数(α，β)的多个表并且进行诸如加权或获得差异的插值操作也是有效的。这使得能够仅用相对简单的插值操作来校正转换表，从而抑制了在操作中的处理。

现在将对根据另一个实施例的图像捕获系统的总体结构进行描述。图13是用于说明根据本发明实施例的图像捕获系统的总体结构的示意性框图。在上面描述的实施例中，倾斜校正是在球形图像捕获装置(数码相机)中执行的，然而，倾斜校正不限于在球形图像捕获装置中执行。

如图13所示，在球形图像捕获装置上增加了有线或无线的通信功能，以获得能够执行图像处理的信息处理装置，譬如计算机或便携式信息终端(如智能手机平板个人计算机)。校正前的图像被发送到信息处理装置，并且可以在目标信息处理装置(目标设备)处执行校正倾斜的处理。

但是，倾斜校正处理需要球形图像捕获装置的倾斜信息。仅可以在图像捕获装置本身检测球形图像捕获装置的倾斜信息，因而需要将倾斜信息随校正前的图像一起发送。转换表可以存储在球形图像捕获装置中，并且随图像一起发送。可选地，转换表可被预先发送到目标设备，作为捕获的准备(例如，当目标设备识别出图像捕获装置时，或者当图像捕获装置识别出目标设备时)。

并不需要每次都与图像一起发送转换表。可以当目标设备请求转换表或者检查转换表是否是最新的一个时发送转换表。此外，可以不必从图像捕获装置发送转换表。例如，转换表可被上传到销售图像捕获装置的制造商的网站上，以便被下载并存储在目标设备上。从图像捕获装置发送的转换表可以被定制，以适应该图像捕获装置。

现在将给出根据另一个实施例的图像捕获系统中的目标设备200的描述。图14是用于说明根据另一个实施例的图像捕获系统的目标设备200的电路的总体结构的示意性框图。在图14中，SDRAM 1411和外部存储设备1412被耦接至控制器140。

控制器140包括CPU 1401、SRAM 1402、ROM 1403、图像处理模块1404、SDRAM I/F1405以及外部存储设备I/F 1406。控制器140还包括用于连接到外部设备的USB连接接口1407以及用于连接到网络的有线或无线网络I/F 1408。

在上述实施例的描述中，图像处理模块1404执行诸如失真校正和像素缺陷校正的典型图像处理，并且CPU 1401读取预定表或计算机程序，从而根据数码相机100的倾斜执行在垂直方向的校正处理。然而，应当理解的是，图像处理模块1404也可以执行在垂直方向上的校正处理。

现在将对根据另一个实施例的图像捕获系统的操作进行描述。图15是用于说明根据另一个实施例的图像捕获系统的操作的流程图。图15示出了在输入捕获的图像后，图像被存储在目标设备的存储单元中。

首先在数码相机100中执行处理。在S1501中，由加速度传感器113(图1)检测数码相机100的倾斜角度。在S1502中，由控制器10将两个鱼眼图像(如图17所示)发送到诸如便携式信息终端或计算机的目标设备200。鱼眼图像已经通过图像捕获元件1(附图标记：109)和图像捕获元件2(附图标记：110)捕获，并且已经被数字化。通过如图13所示的USB连接接口1407或网络I/F 1408执行上述的发送。此外，通过USB连接接口1407或网络I/F 1408向目标设备200发送数码相机的倾斜信息和转换表。

如上所述，当数码相机100和目标设备200彼此识别时，可以预先发送转换表。可以向目标设备200仅发送转换表一次，即不需要每次都发送转换表。

转换表被存储在例如耦接至数码相机100的SDRAM 1411中，并被从中读取，然后被发送。这是在数码相机100中执行的处理的结束。在目标设备200中执行后续步骤。

在S1503中，根据倾斜信息通过预定的校正方法在控制器140中校正转换表，其中倾斜信息是发送来的数码相机的角度信息。用于转换表的校正方法与上面描述的实施例是相同的。在S1504中，向目标设备200的图像处理模块1404输入发送来的通过两个捕获元件捕获的鱼眼图像。

在图像处理模块1404中执行诸如失真校正的典型图像处理。在S1505中，通过在S1503中校正的转换表由控制器140转换两个鱼眼图像。转换方法与上述实施例中的相同。

在S1506中，利用在S1505中转换的两个图像的重叠区域由控制器140生成所合成的全向球形图像。在S1507中，通过外部存储设备I/F 1406，由控制器140将S1506中生成的全向球形图像存储在外部存储设备1412中。

可以由计算机程序执行与图3、图8、图12和图15所示的根据实施例的流程图有关的操作。具体地，控制图像捕获装置的操作的CPU(控制电路)101(图1)或者控制目标设备200的操作的CPU(控制电路)1401(图14)加载在诸如ROM 103和1403、SRAM 102和1402的记录介质中存储的各种计算机程序，并顺序地执行这些程序。

如上所述，在全向球形图像捕获装置中，或者在图像捕获系统中，检测垂直方向，并且对用于图像处理的转换表执行校正，并且通过校正后的转换表生成全向球形图像。这消除了从开始重做转换表的必要性，从而减少了处理时间。

虽然为了完整和清楚的公开，本发明已经针对具体实施例进行了描述，但是所附权利要求并不因此受到限制，而是被解释为包含本领域技术人员可以想到的并且完全地落入本文所阐述的基本教示之内的所有修改和替换结构。

Claims (13)

1.一种图像捕获装置，包括：

具有不同图像捕获方向的至少两个镜头；

传感器，用于检测所述图像捕获装置的倾斜；以及

电路，用于基于通过所述传感器所检测到的所述倾斜，来转换经由所述至少两个镜头所捕获的图像。

2.根据权利要求1所述的图像捕获装置，其中所述电路用于基于所检测到的所述倾斜，将由所述图像捕获装置所捕获的图像的平面坐标转换为球面坐标。

3.根据权利要求1所述的图像捕获装置，其中所述两个镜头面向相反的方向。

4.根据权利要求1所述的图像捕获装置，还包括两个图像捕获元件，所述两个图像捕获元件对应于所述至少两个镜头，所述两个图像捕获元件面向相反的方向。

5.根据权利要求1所述的图像捕获装置，还包括：

电路，用于基于所检测到的所述倾斜，来校正用于将平面坐标转换为球面坐标的转换数据。

6.根据权利要求1所述的图像捕获装置，其中：

所述至少两个镜头中的每一个包括广角镜头。

7.根据权利要求1所述的图像捕获装置，其中：

所述至少两个镜头中的每一个包括具有视角等于或大于180度的镜头。

8.一种信息处理装置，包括：

电路，用于基于图像捕获装置的倾斜，来转换经由具有图像捕获装置的不同图像捕获方向的至少两个镜头所捕获的图像，其中所述倾斜被传感器检测到。

9.根据权利要求8所述的信息处理装置，其中：

所述至少两个镜头中的每一个包括广角镜头。

10.根据权利要求8所述的信息处理装置，其中：

所述至少两个镜头中的每一个包括具有视角等于或大于180度的镜头。

11.一种图像处理方法，包括：

基于图像捕获装置的倾斜，来转换经由具有图像捕获装置的不同图像捕获方向的至少两个镜头所捕获的图像，其中所述倾斜被传感器检测到。

12.根据权利要求11所述的图像处理方法，其中：

所述至少两个镜头中的每一个包括广角镜头。

13.根据权利要求11所述的图像处理方法，其中：

所述至少两个镜头中的每一个包括具有视角等于或大于180度的镜头。