CN103685917B - 图像处理器、图像处理方法和成像系统 - Google Patents

Abstract

在此公开图像处理器、图像处理方法和成像系统，所述图像处理器包括：第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像；位置检测器，用于检测由所述转换器转换的图像的连接位置；校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。

Description

图像处理器、图像处理方法和成像系统

技术领域

本发明涉及用于连接由透镜系统形成的输入图像的图像处理器、图像处理方法和成像系统。

背景技术

存在这样的已知全向成像系统：其包括诸如鱼眼镜头或超广角镜头之类的多个广角镜头，用于立刻捕获全向图像。其配置为将来自透镜的图像投射到传感器表面，并且通过图像处理组合各图像，从而产生全向图像。例如，通过使用具有超过180度视角的两个广角镜头，可以产生全向图像。

在图像处理中，在考虑来自理想模型的失真的情况下，基于特定的投射模型，每个透镜系统捕获的局部图像经历失真校正和投射转换。然后，基于局部图像的重叠部位连接各局部图像以形成单个全向图像。通过图案匹配等来检测被摄体图像在重叠部位中重叠的位置。

然而，即使在捕获相同被摄体时，具有大量失真的局部图像（例如，利用鱼眼镜头捕获的局部图像）也包含具有不同种类或数量的失真的连接区域。于是，非常难以通过图案匹配精确地检测图像的重叠位置。由此，不能适当地连接局部图像，于是不能产生高质量的全向图像。

存在用于连接以多个相机捕获的局部图像的各种已知技术。例如，日本专利申请公开第2010-130628号（参考文件1）公开了一种成像设备，包括：局部相机，其具有重叠拍摄区域并且捕获被摄体的拍摄区域的局部区域；以及参考相机，其具有包括由每个局部相机捕获的图像的一部分的拍摄区域。它使用相机参数来校正每个相机的捕获图像的失真，检测局部相机的校正图像与基准相机的校正图像彼此一致的图像区域，计算相对位置，并且连接各图像。

进一步，日本专利申请公开第2009-104323号（参考文件2）公开了一种相机系统，其使用被安排为具有重叠拍摄区域的多个相机，并且在没有相机的设置位置的估计的情况下，根据实际捕获的图像产生不引起连接点的位移的高精度映射表格。日本专利申请公开第2010-81479号（参考文件3）公开了一种图像处理器，其仅转换利用车内相机捕获的道路上车辆的鱼眼图像的X坐标，以便产生没有消失点的虚拟视图图像。其旨在将鱼眼图像转换为使得道路表面上的停车场线显得近似线性和平行的图像。

然而，参考文件1涉及连接以平面坐标表示的图像，并且其在应用于使用具有大失真的镜头（如，鱼眼镜头）的成像设备时不能精确地检测连接位置。此外，参考文件2教导了通过使用现有目标板的匹配表格的产生，但是不能精确地对准各图像的位置。参考文件3教导了鱼眼图像的校正，但是不涉及连接多个图像。

发明内容

本发明目标在于提供即使在使用具有大量失真的透镜系统的情况下也可精确地连接所捕获的图像的图像处理器、图像处理方法和成像系统。

根据本发明的一个方面，图像处理器包括：第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像；位置检测器，用于检测由所述转换器转换的图像的连接位置；校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及数据产生器，用于从基于坐标转换所述校正器校正的转换数据产生用于图像合成的第二转换数据，所述第二转换数据限定输入图像的转换。

附图说明

参照附图，本发明的特征、实施例和优点将从以下的详细描述变得明显：

图1是根据本发明第一实施例的全向成像系统的剖视图；

图2示出图1中的全向成像系统的硬件配置；

图3示出图1中的全向成像系统的整个图像处理的流程；

图4是全向成像系统中用于全向图像合成的功能框图；

图5是用于全向成像系统执行的全向图像的图像合成的流程图；

图6A、6B示出使用鱼眼镜头的全向成像系统的投射；

图7A、7B示出根据第一实施例的全向图像格式的图像数据的数据结构；

图8A、8B示出用于位置检测的第一失真校正器和用于图像合成的第二失真校正器所参考的转换数据；

图9示出两个鱼眼镜头捕获的两个局部图像在用于位置检测的球形坐标系中的映射；

图10是用于全向成像系统执行的连接位置检测的流程图；

图11A、11B示出第一实施例中的连接位置检测；

图12示出位置检测器产生的数据的数据结构；

图13是用于通过根据第一实施例的全向成像系统产生图像合成转换表格的流程图；

图14示出两个鱼眼镜头捕获的两个局部图像在用于图像合成的球形坐标系中的映射；

图15示意性地示出根据第二实施例的全向成像系统的结构；以及

图16是用于根据第二实施例的全向成像系统的全向图像合成的流程图。

具体实施方式

在下文中，参照附图详细描述图像处理器和成像系统的实施例。尽可能地，贯穿附图将相同的附图标记用于指代相同或相似的部分。

参照图1到图3，描述全向成像系统10的总体配置。通过示例的方式，全向成像系统10包括：两个鱼眼镜头，用以捕获两个局部图像；以及图像处理功能，用以对局部图像进行失真校正和投射转换，连接局部图像，并且产生全向图像。图1是全向成像系统10（下文简称为成像系统）的剖视图。它包括相机单元12、容纳相机单元12和作为控制器、电池的元件的外壳14、以及提供在外壳14上的快门按钮18。图1中的相机单元12包括两个透镜系统20A、20B和作为CCD（电荷耦合器件）传感器或CMOS（互补金属氧化物半导体）的两个固态图像传感器22A、22B。这里，将透镜系统20和固态图像传感器22的配对中的每一个称为成像单元。例如，透镜系统20A、20B均由6组作为鱼眼镜头的7个镜头构成。在本实施例中，鱼眼镜头具有180度（360度/n，n=2）或更大（优选185度或更大，更优选190度或更大）的总视角。

相对于固态图像传感器22A、22B放置作为透镜系统20A、20B的透镜、棱镜、滤光器、孔径光阑的光学元件，使得光学元件的光轴与对应固态图像传感器22的光接收区域的中心正交，以及光接收区域变为对应鱼眼镜头的成像面。固态图像传感器22是区域图像传感器，在其上二维地布置光电二极管，用于将透镜系统20采集的光转换为图像信号。

在本实施例中，透镜系统20A、20B是相同的，并且彼此相对地放置，使得它们的光轴一致。固态图像传感器22A、22B将光分布转换为图像信号，并且将它们输出到控制器上的未示出的图像处理器。图像处理器组合来自固态图像传感器22A、22B的局部图像，以产生具有在弧度上为4π的立体角的图像或者全向图像。在可以从拍摄点看到的所有方向上捕获全向图像。代之全向图像，可以产生仅在水平面上以360度范围捕获的全景图像。

为了使用具有超过180度的总视角的鱼眼镜头形成全向图像，将各成像单元的捕获图像的重叠图像部位用作表示同一图像的参考数据并用于连接各图像。例如，将产生的全向图像输出至相机单元12中提供的或者与相机单元12连接的显示器、打印机或外部存储介质（如，SDCF ）。

图2示出根据本实施例的成像系统10的硬件的结构。成像系统10包括数码相机处理器100（下文简称为处理器）、镜筒单元102、以及与处理器100连接的各种元件。镜筒单元102包括两对透镜系统20A、20B和固态图像传感器22A、22B。固态图像传感器22A、22B由来自处理器100的CPU130的命令控制。

处理器100包括ISP（图像信号处理器）108A、108B、DMAC（直接存储器存取控制器）110、用于存储器存取的仲裁器（ARBMEMC）112、用于存储器存取的MEMC（存储控制器）114、以及失真校正和图像合成块118。ISP108A、108B设置固态图像传感器22A、22B信号处理的图像数据的白平衡和伽玛平衡。MEMC114连接至SDRAM116，所述SDRAM116临时存储ISP108A、108B以及失真校正和图像合成块118的处理中所使用的数据。失真校正和图像合成块118基于来自三轴加速度传感器120的信息，对来自两个成像单元的两个局部图像进行失真校正和垂直校正，并且合成它们。

处理器100进一步包括DMAC122、图像处理块124、CPU130、图像数据传输器126、SDRAMC128、存储卡控制块140、USB块146、外设块150、音频单元152、串行块158、LCD（液晶显示器）驱动器162和桥接器168。

CPU130控制成像系统10的各元件的操作。图像处理块124与大小调整块132、JPEG块134、H.264块136一起，对图像数据进行各种图像处理。大小调整块132通过内插放大或缩小图像数据的大小。JPEG块134是用于以JPEG压缩和解压缩图像数据的编解码块。H.264块136是用于以H.264压缩和解压缩视频数据的编解码块。图像数据传输器126传输图像处理块124处理的图像。SDRAMC128控制SDRAM138，所述SDRAM138连接至处理器100并且在处理器100的图像处理期间临时存储图像数据。

存储卡控制块140控制对于插入至存储卡插槽142（其中可分离地插入存储卡）的存储卡和闪存ROM144的数据读取和写入。USB块146控制与经由USB连接器148连接的诸如个人计算机之类的外部设备的USB通信。外设块150连接至电源开关166。音频单元152连接至用于接收来自用户的音频信号的麦克风156和用于输出音频信号的扬声器154，以控制音频输入和输出。串行块158控制与外部设备的串行通信，并且连接至无线NIC（网络接口卡）160。LCD驱动器162是用于LCD164的驱动电路，并且将图像数据转换为用于在LCD164上显示各种信息的信号。

闪存ROM144包含由CPU130以可读代码编写的控制程序以及各种参数。一旦电源开关166上电，将控制程序加载至主存储器。CPU130依照主存储器上的控制程序，控制图像处理器的各单元和各元件的操作，并且将必要的控制数据临时存储于SDRAM138和未示出的本地SRAM中。

图3示出根据本实施例的成像系统10的整个图像处理的流程。在步骤S101A、101B，固态图像传感器22A、22B捕获图像。在步骤S102A、102B，ISP108对于贝尔RAW图像进行光学黑校正、缺陷像素校正、线性校正、阴影以及区域分割和平均化，并且在步骤S103A、103B，将图像存储在存储器中。在步骤S104A、104B，ISP108进一步对图像进行白平衡、伽玛校正、贝尔内插、YUV转换、边缘增强和色彩校正，并且在步骤S105A、105B，将图像存储在存储器中。

一旦完成对于固态图像传感器22A、22B上捕获的图像的以上处理，在步骤S106，每个局部图像经历失真校正和图像合成。在步骤S107，适当地向所产生的全向图像添加标签，并且将其以文件存储在内部存储器或外部存储设备中。可替代地，在适当的时候，可以基于来自三轴加速度传感器120的信息另外地进行倾斜校正，或者可以使存储的图像文件经历压缩。

通过使用具有宽视角的鱼眼镜头，作为图像连接的基准的局部图像的重叠部位包括大量的失真。由于鱼眼镜头固有的失真，在步骤S106，局部图像可能不能在失真校正和图像合成中精确地连接。鉴于此，为了适当地合成具有相比于一般镜头更大量的失真的、鱼眼镜头所捕获的局部图像，成像系统10将不同的参数用于图像合成和图像合成前的连接位置检测。

以下参照图4到图14详细描述成像系统10的全向图像合成功能。图4示出用于成像系统10的全向图像合成的功能块200。图4中的失真校正和图像合成块118包括用于位置检测的失真校正器202、位置检测器204、表格校正器206、表格产生器208、用于图像合成的失真校正器210和图像合成器212。为了简明起见，将用于位置检测的失真校正器和用于图像合成的失真校正器分别称为第一和第二失真校正器。

将两个局部图像经由ISP108A、108B从固态图像传感器22A、22B输入至失真校正和图像合成块118。这里，将固态图像传感器22A、22B称作第0个和第1个图像传感器，将来自固态图像传感器22A的局部图像称作第0个局部图像，而将来自固态图像传感器22B的局部图像称作第1个局部图像。失真校正和图像合成块118配备有用于位置检测的转换表格220，其由制造商基于关于透镜系统的设计数据、依照特定的投射模型准备。

第一失真校正器202参照转换表格220，在连接位置检测前校正第0个和第1个局部图像的失真，以产生第0个和第1个校正图像。第0个和第1个局部图像在二维固态图像传感器上被捕获，并且是以平面坐标系(x,y)表示的图像数据。同时，第0个和第1个校正图像是在与局部图像不同的坐标系中的图像数据，更确切地，它们是以球形坐标系（其为具有半径1和两个自变量θ,的极坐标系）表示的全向图像格式的图像数据。

图6A、6B示出并入鱼眼镜头的成像系统的投射。在本实施例中，单个鱼眼镜头从拍摄点捕获大约半球中各方向上的图像，并且产生具有与相对于光轴的入射角对应的图像高度h的图像。图像高度h和入射角之间的关系由投射函数根据特定的投射模型确定。投射函数依据鱼眼镜头的性质和等立体角投射类型鱼眼镜头的性质而不同，由下列等式（1）表达：

其中，f是焦距。

投射模型例示了透视投射立体投射等立体角投射正交投射在任何的投射模型中，图像高度h根据入射角度和焦距f而确定。在本实施例中，使用具有比图像对角线更小的图像圆周直径的圆形鱼眼镜头，并且所获得的局部图像是这样的平面图像：其包括其中投射了拍摄区域的大约半球的整个图像圆周，如图6B所示。

图7A、7B示出根据本实施例的全向图像格式的图像数据的数据结构。如图中所示，通过像素值的阵列，以与相对于特定轴的角度对应的垂直角度和与围绕该特定轴的旋转角度对应的水平角度θ的坐标表示全向图像格式的图像数据。水平角度θ从0到360度或-180到+180度，而垂直角度从0到180度或-90到+90度。每个坐标值与球形表面上表示来自拍摄点的全向的每个点相关联，并且全向性被映射到全向图像上。通过图6A、6B中描述的投射函数，鱼眼镜头捕获的图像的平面坐标可以与全向图像格式的球形坐标相关。

图8A、8B示出第一和第二失真校正器202、210参考的转换数据。转换表格220、224限定从以平面坐标系表示的局部图像到以球形坐标系表示的图像的投射。对于每个鱼眼镜头，对于所有的坐标值(θ=0到360度, 到180度)，转换表格220、224包含用于将校正图像的坐标值与要被映射到坐标值上的校正前的局部图像的坐标值(x,y)相关联的信息。在图8A、8B中，例如，一个像素的角度在和θ两个方向上均为1/10度。对于每个鱼眼镜头，转换表格220、224包含指示3,600*1,800种关系的信息。

基于透镜设计数据和图6A、6B中所示的透镜投射，制造商等提前计算用于位置检测的转换表格220中的数据，其中校正了由于径向失真或偏心失真而引起的来自理想透镜的失真。相比之下，通过特定的转换，从转换表格220产生用于图像合成的转换表格224。这里，转换表格是指示两个坐标值之间关系的表格。可替代地，其可以是用于限定从以平面坐标系表示的局部图像(x,y)到以球形坐标系表示的图像的投射的一个或更多个函数的系数数据。

返回参照图4，第一失真校正器202参照转换表格220，将第0个和第1个局部图像转换为第0个和第1个校正图像。确切地，其参照转换表格220，针对校正图像的所有坐标值发现转换前局部图像的坐标值(x,y)和其在发现的坐标处的像素值。从而，产生校正图像。

图9示出用两个鱼眼镜头（第0个和第1个）捕获的两个局部图像（第0个和第1个）到球形坐标系中数据的映射。经第一失真校正器202处理，第0个和第1个局部图像被布置在全向图像格式上，如图9中所示。一般地，第0个鱼眼镜头的第0个局部图像映射在上半球中，而第1个鱼眼镜头的第1个局部图像映射在下半球中。由于鱼眼镜头的总视角超过180度，因此以全向图像格式的第0个和第1个校正图像伸展超过相应半球。结果，当叠加两个校正图像时，将会出现其间的重叠拍摄区域。

在第一失真校正器202的失真校正之后，位置检测器204检测重叠区域的连接位置。然而，在球形坐标系中，垂直角度越靠近极点，0或180度，则沿着水平角θ的像素数目与实际距离之间的差异越大。在垂直角度为0或者180度时，θ方向上的距离变为零，并且此方向上的所有像素代表相同的方向。此外，θ方向上距离的变化量随着垂直角度靠近0或180度而增大，并且其在垂直角度为90度时最小。它表示当图像在θ方向上平移时失真的改变量。由此，垂直角度越接近0或180度，则连接位置检测的精度越低。

鉴于此，创建连接表格220，使得两个透镜系统的光轴投射于球形表面的两个极点（180度），并且图像之间的重叠区域投射在球形表面上赤道线附近(度±((总视角–180度)/2))，如图9中所示。以全向图像格式限定垂直和水平角度的轴匹配图像之一（在此示例中为第0个图像）的光轴。从而，当图像在θ方向上平移时，以小的失真在90度的垂直角度周围检测连接位置，改善了检测连接位置的精度。由此，使得可以精确地检测由具有大失真的透镜系统捕获的图像的连接位置。

返回图4，位置检测器检测由第一失真校正器202转换的第0个和第1个校正图像的连接位置，以产生作为结果的检测数据222。表格校正器206基于检测数据222，校正转换表格220中的转换数据，并且将其发送至表格产生器208。表格产生器208从通过旋转坐标转换校正的转换数据产生用于图像合成的转换表格224。

第二失真校正器210参照转换表格224，在图像合成前校正第0个和第1个局部图像的失真，并且产生用于图像合成的第0个和第1个校正图像。校正图像在球形坐标系中被表示为用于位置检测的校正图像，但是坐标轴的定义由于旋转坐标转换而不同。图像合成器212合成第0个和第1个校正图像以产生全向图像格式的合成图像。稍后详细描述位置检测器204、表格校正器206、表格产生器208、第二失真校正器210和图像合成器212的操作。

图4中的功能块200可以另外地包括显示图像产生器214。所产生的全向图像格式的合成图像不能按原样显示在作为显示器的平面显示设备上，这是由于越接近垂直角度0和180度，显示器上图像的失真越大。显示图像产生器214对用于在平面显示设备上显示的全向图像进行图像处理。例如，其可以将球形坐标系中全向图像格式的合成图像转换为平面坐标系中具有特定方向和特定视角的合成图像，使得将具有某个视角的图像投射在用户指定的特定视野中。

下面参照图5、10和13描述根据本实施例的全向图像合成。图5是用于由成像系统10执行的全向图像合成的流程图。例如，当CPU130响应于快门按钮18的按下而发出用于拍摄的指令时，操作开始。

在步骤S201，第一失真校正器202参照转换表格220，对由两个固态图像传感器22A、22B获取的第0个和第1个局部图像进行失真校正，以获取全向图像格式的第0个和第1个校正图像，如图9中所示。在步骤S202，位置检测器204检测第0个和第1个校正图像之间重叠区域中的连接位置。

现在，参照图10描述由成像系统10执行的连接位置检测。图11示出连接位置检测，图12示出位置检测器204产生的检测数据的数据结构。图10中的操作在图5中的步骤S202之后开始。在步骤S301到S304，第1个校正图像的重叠区域中的每个像素经历步骤S302和S303中的处理。重叠区域由水平角度0到360度和垂直角度到（其为根据透镜系统的总视角预设的重叠区域的垂直角度的开始和结束点）限定。通过重叠区域的所有像素的图案匹配来依次设置每个像素。

在步骤S302，位置检测器204如图11A中所示那样，将每个像素周围的特定像素块设置为图案图像。图11A通过示例的方式示出包括用星形标记指示的正被讨论的像素的11乘以11的像素块300。连接全向图像格式的θ坐标的两端（0和360度）。因此，设置包括正被讨论的像素的外围的图案图像，同时右侧端的下一个被视为左端，反之亦然。

在步骤S303，位置检测器204在垂直和水平地移动图案图像的同时进行第0个校正图像和图案图像的图案匹配，以发现连接位置。图案匹配可以是通过将相关系数、城市街区距离、欧几里德距离、误差平方和用作相似性的模板匹配。在图11B中，第1个校正图像的图案图像300在原始坐标值处不匹配第0个校正图像，但是在平移了特定量的坐标值处匹配第1个校正图像310。即，当像素值处于坐标而不是时，第0个校正图像近似在位置上对准。于是，这里，保持相对于用于位置检测的第0个校正图像的坐标值的的平移量。

在重叠区域中的所有像素经历步骤S302和S303中的处理之后，操作结束。从而，获取这样的检测数据222：其对于所有的坐标值，获取关于与平移量关联的转换坐标值的信息。如果存在对于其而言不能在以上连接位置检测中发现平移量的坐标值，则可以将平移量设置为零。可替代地，可以根据所获得的所有组平移量和投射模型，通过内插计算对应于每个坐标值的平移量。

返回参照图5，在步骤S203，表格校正器206基于检测数据222校正转换表格220中的数据，使得图像以球形坐标上的位置对准。如图12中所示，针对全向图像格式的每个坐标值发现平移量。在步骤S203，确切地，校正用于第0个局部图像的第0个失真校正表格，以便输入坐标值代替 变得与(x,y)相关联。注意，不需要校正用于第1个局部图像的第1个失真校正表格。

在步骤S204，表格产生器208从通过旋转坐标转换校正的转换表格220产生用于图像合成的转换表格224。

图13是用于通过成像系统10产生用于图像合成的转换表格的流程图。图14示出两个鱼眼镜头捕获的两个局部图像到用于图像合成的球形坐标系的映射。图13中的操作在图15中的步骤S204之后开始。在步骤S401到S406，针对用于图像合成的球形坐标系的每个坐标值表格产生器208进行步骤S402到S405中的处理。坐标值的范围由水平角度（0到360度）和垂直角度（0到180度）的整体范围定义。作为输入值的所有坐标值被依次转换和设置。

在步骤S402，通过旋转坐标转换，表格产生器208与坐标值相关联地发现用于连接位置检测的球形坐标系的坐标值通过旋转坐标转换，由相对于图9中的透镜系统之一的轴的水平角度θ_d和垂直角度所定义的坐标轴被转换为由相对于与图14中的光轴正交的轴的水平角度θ_g和垂直角度θ_g所定义的坐标轴。可以基于半径为1.0处的旋转坐标转换，通过下列等式，使用与用于图像合成的球形坐标系对应的三维笛卡尔坐标(x_g,y_g,z_g)以及与用于位置检测的球形坐标系对应的三维笛卡尔坐标(x_d,y_d,z_d)，来计算对应于坐标的坐标

x_g＝sin(φ_g)cos(θ_g)

y_g＝sin(φ_g)sin(θ_g)

z_g＝cos(φ_g)

φ_d＝Arccos(z_d)

其中，β是关于三维笛卡尔坐标的X轴的旋转角度，并在本实施例中设置为90度。

根据转换表格220，将光轴投射在球形表面的极点上，并且将图像之间的重叠部位投射在球形表面的赤道线附近。因此，全向图像格式的垂直方向不匹配所捕获的场景的顶点方向。同时，根据转换表格224，通过旋转坐标转换，将光轴投射在赤道线上，并且全向图像格式的垂直方向匹配所捕获的场景的顶点方向。

在步骤S403到S405，表格产生器208对第0个和第1个图像中的每一个执行步骤S404中的处理。在步骤S404，表格产生器208参照校正的转换表格220，找到与对应的第0个和第1个局部图像的坐标值(x,y)。连同用于每个像素的对应坐标值(x,y)一起，转换表格220、224包含和通过转换计算出的坐标值通常是小于小数点的值。坐标值(x,y)可以只是与计算出的坐标值的最近的转换表格中的坐标值对应的那些。优选地，参照与最近的坐标值对应的坐标值(x,y)以及转换表中最近的坐标值周围的坐标值，根据与计算出的坐标的距离，可以通过加权内插来计算第0个和第1个局部图像的坐标值(x,y)。

当针对两个局部图像的计算在步骤S403到步骤S405中完成并且对于校正表格的所有坐标值的计算在步骤S402到S406中完成时，操作结束。从而，产生对于用于图像合成的转换表格224的所有数据项。

返回参照图5，在步骤S205，第二失真校正器210参照转换表格224，校正原始的第0个和第1个局部图像的失真以获得用于图像合成的第0个和第1个校正图像。从而，将通过第0个和第1个鱼眼镜头捕获的两个局部图像布置在图14中的全向图像格式上。一般地，第0个局部图像映射在左半球上，而第1个局部图像映射在右半球上。

相比于图9，第0个和第1个局部图像映射在全向图像格式上的不同位置，并且所捕获场景的顶点方向与图14中图像的垂直方向一致。第0个和第1个局部图像的中心以更小的失真映射在赤道线上，并且第0个和第1个校正图像之间的重叠区域映射在图14中垂直角度0和180度以及水平角度0和180度的附近。

在步骤S206，图像合成器212产生用于图像合成的第0个和第1个校正图像。在合成处理中，重叠区域被混合。如果存在具有仅仅一个图像的像素值的区域，则不改变地使用像素值。由此，从用鱼眼镜头捕获的两个局部图像创建单个全向图像。

如上所述，在本实施例中，用于图像合成的转换表格与用于位置检测的转换表格不同。这使得即使以作为鱼眼镜头（其导致图像重叠区域中相比于一般透镜更大的失真）的广角镜头捕获图像，也可以防止由于失真引起的图像连接的精度的下降。由此，成像系统可以产生高质量的全向图像。

第二实施例

第一实施例已经描述了作为图像处理器的示例的成像系统10、以及包括用于捕获全向静止图像的成像单元与用于合成图像的失真校正和图像合成块的成像系统。可替代地，可以将图像处理器和成像系统配置为全向视频成像系统。图像处理器可以是用于一旦接收到由多个成像单元捕获的局部静止或视频图像时就产生全向静止或视频图像的相机和处理器、数据处理器（如个人计算机、工作站、物理计算机系统上的虚拟机）、或用于从以专用全向成像单元捕获的输入局部图像合成全向静止或视频图像的便携式数据终端（如，智能电话或平板电脑）。全向成像系统可以是这样的全向成像系统：其分别地包括作为上述相机和处理器、数据处理器或便携式数据终端的图像处理器以及成像单元。

下面参照图15和图16描述这样的全向成像系统：其包括全向成像单元和外部计算机单元，用于从以全向成像单元捕获的输入局部图像产生合成全向图像。图15示意性地示出全向成像系统300的结构。

图15中的全向成像系统300包括专用于捕获图像的全向成像单元310和与全向成像单元310连接的、专用于图像处理的计算机单元330。注意，图15省略示出详细的结构。此外，图15、16中的全向成像系统300与图1到图14中的成像系统10之间的差异在于，由计算机单元330排它地执行用于合成全向图像的图像处理。下面主要描述差异。

图15中的全向成像单元310包括数码相机和处理器100、镜筒单元102和连接至处理器100的三轴加速度传感器120。镜筒单元102和处理器100与图2中的那些相同。

处理器100包括ISP108A、108B、USB块146和串行块158，用于控制与经由USB连接器148连接的计算机单元330的USB通信。串行块158连接至无线NIC160，所述无线NIC160用于控制与经由网络连接的计算机单元330的无线通信。

图15中的计算机单元330可以是通用计算机（如台式个人计算机、工作站），并包括诸如处理器、存储器、ROM和存储介质之类的组件。其包括USB接口332和无线NIC334，以经由USB总线或网络与全向成像单元310连接。

计算机单元330进一步包括用于位置检测的第一失真校正器202、位置检测器204、表格校正器206、表格产生器208、用于图像合成的第二失真校正器210以及图像合成器212。在本实施例中，将镜筒单元102的多个成像单元捕获的两个局部图像与全向成像单元310的位置检测转换表格经由USB总线或网络传输至计算机单元330。

在计算机单元330中，第一失真校正器202参照转换表格，对从全向成像单元310传输的第0个和第1个局部图像进行失真校正，以产生用于位置检测的第0个和第1个校正图像。位置检测器204检测第0个和第1个校正图像的连接位置，并且产生作为结果的检测数据。表格校正器206基于检测数据校正转换表格中的转换数据。表格产生器208从通过旋转坐标转换校正的转换数据产生用于图像合成的转换表格。

第二失真校正器210参照图像合成转换表格校正图像合成前的第0个和第1个局部图像的失真，并且产生用于图像合成的第0个和第1个校正图像。图像合成器212合成第0个和第1个校正图像以产生全向图像格式的合成图像。

计算机单元330可以另外地包括显示图像产生器204，其执行图像处理以将全向图像投射到平面显示设备上。计算机单元330配置为从ROM或HDD读取程序并且将其展开至RAM的工作区，从而在CPU的控制下执行上述的功能和稍后描述的处理。

图16是用于根据本实施例的全向成像系统300的全向图像合成的流程图，其描述从来自全向成像单元310的捕获的图像的输入到计算机单元330中图像的存储。

例如，当响应于全向成像单元310的快门按钮的按下而发出拍摄指令时，操作开始。首先，全向成像单元310执行处理。

在步骤S501，全向成像单元310的固态图像传感器22A、22B捕获第0个和第1个局部图像。在步骤S502，经由USB总线或网络，全向成像单元310连同位置检测转换表格一起将第0个和第1个局部图像传输至计算机单元330。另外，如果计算机单元330执行倾斜校正，则将由三轴加速度传感器120获得的倾斜信息传输至计算机单元330。

当全向成像单元310和计算机单元330识别彼此时，可以传输以上转换表格一次。即，不需要在每当传输图像时将转换表格传输至计算机单元330。例如，位置检测转换表格存储在未示出的SDRAM中，并从其读取和传输。这完成了全向成像单元310的操作。

在步骤S503，计算机单元330参照转换表格，对从第一失真校正器202传输的第0个和第1个局部图像执行失真校正，以获取第0个和第1个校正图像。如果计算机单元330执行倾斜校正，则可以根据所传输的相对于垂直方向的倾斜信息，提前校正转换表格中的转换数据。在步骤S504，位置检测器204检测第0个和第1个校正图像之间重叠区域的连接位置，以获得作为结果的检测数据。在步骤S505，表格校正器206根据检测数据校正转换表格中的数据，使得图像以球形坐标上的位置对准。在步骤S506，表格产生器208从通过旋转坐标转换校正的转换表格产生用于图像合成的转换表格。

在步骤S507，第二失真校正器210参照图像合成转换表格，对原始的第0个和第1个局部图像执行失真校正，以获取用于图像合成的第0个和第1个校正图像。在步骤S508，图像合成器212合成第0个和第1个校正图像。由此，从鱼眼镜头捕获的两个局部图像产生单个全向图像。在步骤S509，计算机单元330将产生的全向图像存储在外部存储设备中，完成操作。

注意，图16的流程图中的操作可以通过计算机上的程序执行。即，控制全向成像单元310的操作的CPU和控制计算机单元330的操作的CPU均从作为ROM或RAM的存储设备读取程序，并且将其展开至存储器上，以执行全向图像合成的其各个处理。图15和16通过示例的方式示出分离型全向成像系统，本实施例不应当受限于此。全向成像系统的功能可以分发给各种类型的配置的1个或更多个成像单元以及一个或更多个计算机系统。

根据上述实施例，使得可以实现即使在使用具有大量失真的透镜系统的情况下也可精确地校正所捕获的图像的图像处理器、图像处理方法和成像系统。

以上实施例已经描述了通过不同的透镜系统几乎同时地捕获局部图像的示例。可替代地，可以由同一透镜系统在不同的时间点从不同方位的特定拍摄点捕获局部图像。进一步，取代具有超过180度的视角的透镜系统捕获的两个重叠的局部图像，本发明可应用于由一个或更多个透镜系统捕获的三个或更多个重叠的局部图像的合成。此外，代替使用鱼眼镜头的成像系统，本发明可应用于并入超广角镜头的全向成像系统。

可以由以传统的编程语言（如汇编程序、C、C++、C#、或面向对象的编程语言）编写的计算机可执行程序实现全向成像系统的功能。可以将这种程序存储在存储介质（如ROM,EEPROM,EPROM,闪存,软盘,CD-ROM,CD-RW,DVD-ROM,DVD-RAM,DVD-RW,蓝光盘,SD卡或MO）中，并且通过电通信线分发。进一步，可以在例如可编程设备（PD）上将以上功能的一部分或全部实施为现场可编程门阵列（FPGA）或实施为专用集成电路（ASIC）。为了在PD上实现这些功能，可以分发存储介质中存储的、作为比特流数据的电路配置数据和以HDL（硬件描述语言）、VHDL（非常高速的集成电路硬件描述语言）和Verilog-HDL编写的数据。

尽管已经就示例性实施例方面描述了本发明，然而其不限于此。应当领会，在不脱离由下列权利要求限定的本发明的范围的情况下，本领域技术人员可以在描述的实施例中进行变形或修正。

Claims (10)

1.一种图像处理器，包括：

第一转换器，用于基于投射模型，根据第一转换数据将输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像，所述第一转换数据用于限定从输入图像的坐标系到不同的坐标系的坐标值的转换；

位置检测器，用于检测由所述转换器转换的图像的连接位置；

传感器，用于获得透镜系统的倾斜信息；

校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及

数据产生器，用于通过对所校正的第一转换数据执行旋转坐标转换产生用于图像合成的第二转换数据，其中所述旋转坐标转换基于所获得的倾斜信息执行，以及所述第二转换数据限定输入图像的转换。

2.如权利要求1所述的图像处理器，其中：

所述第一转换数据使得输入图像之间的重叠区域被投射在球形表面的赤道线附近。

3.如权利要求1或2所述的图像处理器，进一步包括：

第二转换器，用于根据所述第二转换数据，将输入图像转换至与输入图像的坐标系不同的坐标系中的图像；以及

图像合成器，用于合成所述第二转换器转换的图像，并且产生与输入图像的坐标系不同的坐标系中表示的合成图像。

4.如权利要求1或2所述的图像处理器，其中

所述第一转换数据用于限定从平面坐标系中表示的输入图像到具有至少两个自变量的极坐标系中表示的图像的投射。

5.如权利要求1或2所述的图像处理器，其中：

以不同的透镜系统捕获所述输入图像；并且

所述第一转换数据包含用于校正用于投射的、以透镜系统捕获的输入图像的失真的多组数据。

6.如权利要求3所述的图像处理器，其中：

以具有大于180度的视角的透镜系统捕获所述输入图像；以及

所述合成图像是以具有至少两个自变量的坐标表示的全向图像。

7.一种图像处理方法，用于计算机执行以下步骤：

接收输入图像；

基于投射模型，根据第一转换数据，将输入图像转换至与所述输入图像的坐标系不同的坐标系中的图像，所述第一转换数据用于限定从输入图像的坐标系到不同的坐标系的坐标值的转换；

检测在转换步骤中转换的图像的连接位置；

获得透镜系统的倾斜信息；

基于检测步骤的检测的结果，校正所述第一转换数据；以及

通过对所校正的第一转换数据执行旋转坐标转换产生用于图像合成的第二转换数据，其中所述旋转坐标转换基于所获得的倾斜信息执行，以及所述第二转换数据限定输入图像的转换。

8.如权利要求7所述的图像处理方法，其中：

检测步骤包括：通过图案匹配，发现转换步骤中转换的图像之中的第一图像和第二图像之间的重叠区域的像素连接位置；以及

产生步骤包括：通过旋转坐标转换，与合成图像的坐标系的坐标值相关联地发现每个转换的图像的坐标系的坐标值，并且获取与所发现的坐标值相关联的输入图像的坐标值。

9.如权利要求7或8所述的图像处理方法，进一步包括以下步骤：

根据所述第二转换数据，将输入图像转换至与输入图像的坐标系不同的坐标系中的图像；以及

合成转换步骤中转换的图像，并且产生与输入图像的坐标系不同的坐标系中表示的合成图像。

10.一种成像系统，包括：

成像元件；

转换器，用于基于投射模型，根据第一转换数据将在不同方向上捕获的输入图像转换到与所述输入图像的坐标系不同的坐标系中的图像，所述第一转换数据用于限定从输入图像的坐标系到不同的坐标系的坐标值的转换；

位置检测器，用于检测由所述转换器转换的图像的连接位置；

传感器，用于获得透镜系统的倾斜信息；

校正器，用于基于位置检测器的检测的结果，校正所述第一转换数据；以及

数据产生器，用于通过对所校正的第一转换数据执行旋转坐标转换产生用于图像合成的第二转换数据，其中所述旋转坐标转换基于所获得的倾斜信息执行，以及所述第二转换数据限定输入图像的转换。