CN105659287A - 图像处理装置、图像处理方法和成像系统 - Google Patents

Abstract

一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。

Description

图像处理装置、图像处理方法和成像系统

技术领域

这里的公开一般涉及图像处理装置、图像处理方法和成像系统，更具体地，涉及拼接(piece)多个输入图像到一起的图像处理装置、图像处理方法和成像系统。

背景技术

已知全天球成像系统，其使用诸如鱼眼透镜或超广角透镜的多个广角透镜以一次采集全方位(以下称为“全天球”)图像。全天球成像系统通过将来自透镜的图像投影到传感器表面上并且通过图像处理将图像拼接到一起来生成全天球图像。可以通过使用例如两个具有大于180°的场角的广角透镜来生成这样的全天球图像。

在图像处理中，基于预定投影模型并考虑从理想模型的失真，对通过透镜光学系统采集的部分图像施加失真校正和投影变换。然后，使用部分图像中包含的重叠部分将部分图像拼接到一起，以生成单个的全天球图像。在将图像拼接到一起的处理中，通过在部分图像的重叠部分中使用模式匹配，检测重叠对象的结合位置。

然而，对于使用模式匹配的传统的结合位置检测技术，如果要匹配的区域是平坦图像或具有重复相同模式的很少的特征，则难以检测适当的结合位置。因此，不能有利地将部分图像拼接到一起，这可能降低所获得的全天球图像的质量。

已知各种技术来将使用多个相机所采集的多个部分图像拼接到一起。例如，日本特开专利公报No.2001-148779(专利文献1)公开了一种图像处理装置，其目的在于通过避免当执行模式匹配时使用不适当匹配区域而造成的模式匹配的错误，以高精度合成图像。专利文献1中的传统技术配置为确定通过匹配区域提取单元提取的匹配区域是否适当，并且如果匹配区域不适当，则再次执行提取。其还配置为确定通过模式匹配单元的匹配结果是否适当，并且如果匹配结果不适当，则再次执行匹配区域的提取。

为了改进图像合成的精度，专利文献1中的传统技术在执行模式匹配之前预先移除了不适于作为匹配区域的区域，例如，全白像素或全黑像素的区域，或包括在垂直方向、横向方向或倾斜方向上的连线的区域。

然而，专利文献1中的传统技术是在匹配区域不适当的情况下再次执行匹配区域的提取的技术。因此，对于被确定为不适当的匹配区域，仍然难以确定适当结合位置。

[现有技术文献]

[专利文献]

[专利文献1]日本特开专利公报No.2001-148779

发明内容

[发明要解决的问题]

有鉴于传统技术的上述不令人满意之处做出了本发明，并且本发明的目的在于提供一种图像处理装置、图像处理方法、程序和成像系统，其当检测多个输入图像之间的结合位置时能够检测适当的结合位置。

[解决问题的手段]

根据本发明的至少一个实施例，一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。

[发明的优点]

根据本发明的至少一个实施例，当检测多个输入图像之间的结合位置时可以检测适当的结合位置。

附图说明

图1是根据本发明第一实施例的全天球成像系统的截面图；

图2是根据第一实施例的全天球成像系统的硬件配置图；

图3是根据第一实施例的全天球成像系统中的整体图像处理的流程；

图4是根据第一实施例的全天球成像系统中实现的全天球图像合成处理中的主要块的功能框图；

图5是根据第一实施例的全天球成像系统执行的全天球图像合成处理整体的流程图；

图6(A)和(B)是图示使用鱼眼透镜的全天球成像系统中的投影关系的图；

图7(A)和(B)是图示第一实施例中使用的全天球图像格式的图像数据的数据结构的图；

图8(A)和(B)是图示由用于位置检测的失真校正单元和用于图像合成的失真校正单元所参考的转换数据的图；

图9是图示在位置检测处理期间将两个部分图像映射到球面坐标系上的图，其中所述图像通过两个鱼眼透镜采集；

图10是根据第一实施例的结合位置检测单元的功能框图；

图11(A)至(D)是根据具体实施例的模板特征量计算单元的框图；

图12是根据第一实施例的由全天球成像系统执行的结合位置检测处理的流程图；

图13是图示根据第一实施例的模板生成单元的模板图像的生成方法的图；

图14(A)至(C)包括图示(A)根据第一实施例的模板图像的排序、以及(B，C)根据第一实施例的基于由临时位置计算单元执行的排序的模板图像的临时位置的计算方法的图；

图15(A)至(C)包括图示根据第一实施例的由搜索范围设置单元执行的搜索范围的设置方法的图；

图16(A)和(B)包括图示(A)模板图像、以及(B)通过模式匹配在搜索范围中搜索模板图像的处理的图；

图17(A)至(C)包括图示(A)偏移函数的曲线；以及(B，C)用搜索位置描点的校正之前的分数和校正之后的分数、以及基于校正前的分数的匹配位置和基于校正后的分数的匹配位置的曲线图的图；

图18是图示根据第一实施例的由结合位置检测单元生成的检测结果数据的数据结构的图；

图19(A)和(B)是图示根据第一实施例的由结合位置检测单元生成检测结果数据的处理的图；

图20是根据第一实施例的由全天球成像系统执行的用于图像合成的转换表的生成处理的流程图；

图21是图示在图像合成处理期间将两个部分图像映射到球面坐标系上的图，其中所述图像通过两个鱼眼透镜采集；

图22是根据第二实施例的全天球成像系统的概略图；

图23是根据第二实施例的由全天球成像系统执行的全天球图像合成处理的整体的流程图；以及

图24(A)和(B)包括图示(A)匹配计算处理；以及(B)由根据第一实施例的全天球成像系统执行的分数校正处理的图。

具体实施方式

下面，将参照附图描述本发明第一实施例。注意，本发明实施例不限于下面描述的本实施例。作为图像处理装置和成像系统的示例，将使用全天球成像系统10描述本实施例，所述全天球成像系统10包括其光学系统具有两个鱼眼透镜的成像单元、以及用于通过对由鱼眼透镜采集的两个部分图像施加失真校正和投影变换并将图像拼接在一起而生成全天球图像的图像处理功能。

[整体配置]

下面，将参照图1-3描述根据本实施例的全天球成像系统10的整体配置。图1是根据本实施例的全天球成像系统(以下，简称为“成像系统”)10的截面图。图1所示的成像系统10包括成像单元12、用于保持诸如成像单元12的部件的外壳14、控制器、电源和布置在外壳14上的快门按钮18。图1所示的成像单元12包括两个成像形成光学系统20A和20B、以及两个固态图像传感器件22A和22B，诸如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。一个成像形成光学系统20和一个固态图像传感器件22的组合称为成像光学系统。成像形成光学系统20的每个可以用例如六组七透镜鱼眼透镜构成。在图1所示的示例中，鱼眼透镜具有大于180°的全场角(＝360°/n，其中n＝2)，优选地，大于185°的场角，或甚至优选地大于190°的场角。

成像形成光学系统20A-20B的光学元件(透镜、棱镜、过滤器和孔径光阑)相对于固态图像传感器件22A-22B布置。确定位置使得成像形成光学系统20A-20B的光学元件的光轴位于垂直于对应固态图像传感器件22的光接收区域的中心部分，并且光接收区域位于与对应鱼眼透镜的成像形成平面一致。固态图像传感器件22的每个是二维固态图像传感器件，其中光接收区域占据组合的成像形成光学系统20所收集的光通过其而转换为图像信号的区域。

在图1所示的示例中，成像形成光学系统20A-20B具有相同规格，并且可以通过使其光轴彼此一致而在彼此相对的方向上组合。固态图像传感器件22A-22B将接收的光的光分布转换为图像信号，并将信号输出到控制器(未示出)的图像处理单元。下面将详细描述的图像处理单元将从固态图像传感器件22A-22B输入的部分图像拼接在一起以合成并生成具有4π弧度的立体角的图像(以下称为“全天球图像”)。全天球图像是可以从成像点在所有方向上观看的采集的图像。注意，在图1所示的示例中，虽然生成了全天球图像，但是其可以是所谓的“全景图像”，其仅在水平方向上采集360°视图。

还注意，通过使得固态图像传感器件22A-22B的扫描方向彼此相同，可以更容易地将采集的图像拼接在一起。即，使得在要拼接在一起的部分处的扫描方向和顺序对于固态图像传感器件22A-22B彼此相同，对于将在相机边界处的对象(特别是移动对象)拼接在一起是有效的。例如，如果作为要在一起拼接为图像的部分、通过固态图像传感器件22A采集的采集图像的左上部分与通过固态图像传感器件22B采集的采集图像的左下部分一致，则固态图像传感器件22A从固态图像传感器件22A的上边至下边、以及右边至左边扫描图像。另一方面，固态图像传感器件22B从固态图像传感器件22B的下边至上边、以及右边至左边扫描图像。以此方式，通过基于要拼接在一起的图像的部分控制固态图像传感器件的扫描方向彼此一致，获得可以更容易地将图像拼接在一起的效果。

如上所述，鱼眼透镜具有大于180°的全场角。因此，在每个成像光学系统中的采集图像的重叠部分被称为参考数据，表示当将图像拼接在一起以生成全天球图像时的同一图像。所生成的全天球图像输出至设置在成像单元12中的或连接至成像单元12的外部记录介质，例如，显示设备、打印设备、SD(注册商标)卡、或紧凑闪存(注册商标)存储器。

图2是根据本实施例的全天球成像系统10的硬件配置图。成像系统10配置有数字静态相机处理器(以下简称为“处理器”)100、透镜桶单元102和与处理器100连接的各种组件。透镜桶单元102包括如上所述的透镜光学系统20A-20B和固态图像传感器件22A-22B这两组。固态图像传感器件22由来自如下面将描述的处理器100中的CPU130的控制命令控制。

处理器100包括ISP(图像信号处理器)108、DMAC(直接存储器存取控制器)110、用于仲裁存储器存取的仲裁器(ARBMEMC)112、用于控制存储器存取的MEMC(存储器控制器)114、以及失真校正/图像合成块118。ISP108A-108B施加白平衡设置和伽马设置到已经由固态图像传感器件22A-22B分别施加信号处理的输入图像数据。MEMC114连接至SDRAM116。SDRAM116临时存储当在ISP108A-108B和失真校正/图像合成块118中施加处理时的数据。失真校正/图像合成块118通过使用来自三轴加速度传感器120的信息，对从两个成像光学系统获得的两个部分图像施加失真校正和上下校正，合成图像。

处理器100还包括DMAC122、图像处理块124、CPU130、图像数据传送单元126、SDRAMC128、存储卡控制块140、USB块146、外围设备块150、语音单元152、串行块158、LCD(液晶显示器)驱动器162、和桥168。

CPU130控制成像系统10的单元的操作。图像处理块124使用缩放块132、JPEG块134和H.264块136对图像数据施加各种图像处理。缩放块132是用于通过插值处理放大或缩小图像数据的大小的块。JPEG块134是用于执行JPEG压缩和展开的编解码器块。H.264块136是用于执行诸如H.264的运动图像压缩和展开的编解码器块。图像数据传送单元126传送已经在图像处理块124施加图像处理的图像。SDRAMC128控制连接至控制器100的SDRAM138，以在当在处理器100中对图像数据施加各种处理时将图像数据临时存储在SDRAM138中。

存储卡控制块140控制对于插入到存储卡槽142的存储卡和闪存ROM144的读/写。存储卡槽142是用于将存储卡附接至成像系统10/使存储卡从成像系统10脱离的槽。USB块146控制与经由USB连接器148连接的诸如个人计算机的外部设备的USB通信。外围设备块150连接至电源开关166。语音单元152连接至用于用户输入语音信号的麦克风156、用于输出记录的语音信号的扬声器154，以控制语音声音输入/输出。串行块158控制与诸如个人计算机的外部设备的串行通信，并连接至无线NIC(网络接口卡)160。LCD驱动器162是用于驱动LCD监视器164的驱动电路，并转换用于在LCD监视器164上显示各种状态的信号。

闪存ROM144存储对于CPU130以可解码代码描述的控制程序和各种参数。当由于电源开关166的操作电源变为接通状态时，控制程序加载到主存储器中。在主存储器中读取程序之后，CPU130控制设备的单元的操作，并将控制所需的数据临时存储在SDRAM138和本地SRAM(未示出)中。

图3是根据本实施例的全天球成像系统10中的整体图像处理的流程。首先，在步骤S101A和101B，由固态图像传感器件22A-22B分别采集图像。在步骤S102A和102B，图2所示的ISP108的每个对从固态图像传感器件22A-22B输出的Bayer(拜耳)RAW图像施加光学黑色校正处理、故障像素校正处理、线性校正处理、黑点处理、和区域划分和平均处理。在步骤S103A和103B，将图像存储在存储器中。在步骤S104A和104B，图2所示的ISP108的每个还对在步骤S105A和105B存储在存储器中的图像施加白平衡处理、伽马校正处理、Bayer插值处理、YUV转换处理、边缘增强处理、和色彩校正处理。

在两个固态图像传感器件22A-22B处完成处理之后，在步骤S106，对已经施加了处理的部分图像进行失真校正和合成处理。在步骤S107，将全天球图像作为文件存储在内置存储器或外部存储体中，对其附加适当标签。此外，在失真校正和合成处理期间，在适当时可通过从三轴加速度传感器120获得信息，施加倾斜和上下校正。此外，在适当时可对存储的图像文件施加压缩处理。

[全天球图像合成功能]

下面，将参照图4-21详细描述成像系统10的全天球图像合成功能。图4是根据本实施例的全天球成像系统10中实现的全天球图像合成处理中的主要块的功能框图200。如图4所示，失真校正/图像合成块118配置为包括用于位置检测的失真校正单元202、结合位置检测单元204、表校正单元206、表生成单元208、用于图像合成的失真校正单元210和图像合成单元212。

此外，在ISP108A-108B分别施加图像信号处理之后，失真校正/图像合成块118从两个固态图像传感器件22A-22B接收两个部分图像作为输入。注意，数字“0”或“1”被附加以区分来自固态图像传感器件22A或22B的图像：具有固态图像传感器件22A作为源的图像称为“部分图像0”；并且具有固态图像传感器件22B作为源的图像称为“部分图像1”。此外，失真校正/图像合成块118提供有用于位置检测的转换表220，其已经基于各个透镜光学系统的设计数据等并服从预定投影模型而在制造商等预先生成。

用于位置检测的失真校正单元202使用用于位置检测的转换表220对输入的部分图像0和部分图像1施加失真校正，作为结合位置检测处理的预处理，以生成用于位置检测的校正图像(以下也简称为“校正图像”)0和用于位置检测的校正图像1。输入的部分图像0-1由固态图像传感器件采集，其中光接收区域分别占据由平面坐标系(x,y)表示的图像数据。另一方面，通过使用用于位置检测的转换表220施加了失真校正的校正图像是通过与输入图像的坐标系不同的坐标系表示的图像数据，或更具体地，通过球面坐标系(具有矢径1和两个幅角θ和的极坐标系)表示的全天球图像格式的图像数据。

图6是图示使用鱼眼透镜的成像系统中的投影关系的图。在本实施例中，通过鱼眼透镜采集的图像覆盖从成像点起的半球方位角。此外，如图6所示，鱼眼透镜生成具有与相对于光轴的入射角对应的图像高度h的图像。图像高度h与入射角之间的关系由依赖于预定投影模型的投影函数确定。尽管投影函数依赖于鱼眼透镜的性质，但是对于通过称为“等距投影方法”的投影模型表示的鱼眼透镜，其通过下面的式(1)表示，其中f表示焦距。

h＝f×φ…(1)

其他投影模型包括中心投影法立体投影法等立体角投影法和正交投影法在这些方法的任一中，对应于从光轴起的入射角和焦距f确定成像形成的图像高度h。此外，在本实施例中，采用所谓的“圆周鱼眼透镜”的配置，其中图像切圆直径小于图像对角线，利用其获得部分图像作为包括图像切圆整体的平坦图像，采集的范围的几乎半球投影到所述图像切圆上，如图6(B)所示。

图7是图示在本实施例中使用的全天球图像格式的图像数据的数据结构的图。如图7所示，全天球图像格式的图像数据通过具有对应于相对于预定轴的角度的垂直角以及对应于绕轴的旋转角的水平角θ的坐标的像素值的阵列表示。水平角θ在0至360°(或-180°至+180°)的范围内表示，并且垂直角在0至180°(或-90°至+90°)的范围内表示。每对坐标值(θ，)与表示围绕成像点为中心的全方位角的球面上的点相关联，并且全方位角映射到全天球图像上。可以使用如图6所示的投影函数将通过鱼眼透镜采集的图像的平面坐标与全天球图像格式的球面上的坐标之间的关系彼此关联。

图8是图示用于位置检测的失真校正单元202和用于图像合成的失真校正单元210所参考的转换数据的图。转换表220和224的每个指定从由平面坐标系表示的部分图像到由球面坐标系表示的图像的投影。如图8(A)-8(B)所示，对于每对坐标值(θ，)(θ＝0,…,360°，)，转换表220和224各自对于每个鱼眼透镜保持将校正图像的坐标值(θ，)与校正之前的部分图像的、要映射到坐标值(θ，)的坐标值(x,y)相关联的信息。在图8的示例中，一个像素覆盖在方向和θ方向两者的1/10°的角度。因此，转换表220和240的每个具有对于每个鱼眼透镜的3600x1800关联的信息。

基于透镜的设计数据等，并使用图6所述的透镜的投影关系，在制造商等预先以表格形式计算和生成用于结合位置检测的用于位置检测的转换表220，以便校正由于径向失真、离心畸变等而从理想透镜模型的失真。与此相对，通过下面将详细描述的预定转换处理，从用于位置检测的转换表220生成用于图像合成的转换表224。注意，在本实施例中，假设转换数据是以表格形式描述坐标值的关联关系的数据。然而，其他实施例可以使用一个或多个函数的系数数据作为转换数据，所述函数指定从由平面坐标系表示的部分图像(x,y)到由球面坐标系表示的图像(θ，)的投影。

再次参照图4，用于位置检测的失真校正单元202参照用于位置检测的转换表220，转换部分图像0和部分图像1，并生成用于位置检测的校正图像0和用于位置检测的校正图像1。更具体地，对于转换后的校正图像中的所有坐标(θ，)，用于位置检测的失真校正单元202参照用于位置检测的转换表220，获得要映射到坐标(θ，)的转换前的部分图像的坐标(x,y)，以参照部分图像中坐标(x,y)处的像素值。以此方式，生成校正图像。

图9是图示了在位置检测处理期间将两个部分图像映射到球面坐标系上的图，其中所述图像通过两个鱼眼透镜采集。作为通过用于位置检测的失真校正单元202的处理的结果，通过鱼眼透镜采集的两个部分图像0-1扩展到全天球图像格式，如图9所示。通过鱼眼透镜0采集的部分图像0典型地关于全天球的上半球映射，并且通过鱼眼透镜1采集的部分图像0关于全天球的下半球映射。全天球格式表示的校正图像0和校正图像1溢出各个半球，因为鱼眼透镜具有大于180°的全场角。结果，当将校正图像0和校正图像1叠加时，生成重叠区域，其中采集的范围在图像之间是重叠的。

如下面将详细描述的，在用于位置检测的失真校正单元202校正之后，通过结合位置检测单元204在重叠区域中检测图像之间的结合位置。本实施例中创建用于位置检测的转换表220，使得如图9所示，两个透镜光学系统的光轴投影到球面的两极(或180°)，图像之间的重叠区域投影到球面的赤道附近在球面坐标系中，当垂直角接近于0°或180°的极点时，失真变得更大并且结合位置检测的精度变差。另一方面，通过使用上述投影，通过使重叠区域位于当在θ方向上偏移时失真量小的、90°的垂直角的附近执行结合位置检测，可以改进结合位置检测的精度。此外，甚至对于由具有大失真的透镜光学系统采集的图像也可以以高精度检测结合位置。

再次参照图4，结合位置检测单元204接收已经由用于位置检测的失真校正单元202转换的校正图像0和1作为输入，并通过使用模式匹配处理检测输入的校正图像0和1之间的结合位置以生成检测结果数据222。

当执行模式匹配时，典型地，如果要匹配的区域具有平坦图像，或其是用较少特征重复相同模式的区域，则典型地难以以高精度检测结合位置。由此，本实施例中的结合位置检测单元204测量指示由要匹配的区域的图像保持的特征度的特征量，并采用使用所测量的特征量来确定目标区域的结合位置的配置。其旨在改进所获得的全天球图像的质量。

图10是在根据本实施例的图4中图示的结合位置检测单元204的功能框图。具体地，图10所示的结合位置检测单元204配置为包括模板生成单元232、模板特征量计算单元234、模板排序单元236、临时位置计算单元238、搜索范围设置单元240、匹配计算单元242、分数校正单元244、结合位置确定单元246、和检测结果生成单元248。在下面使用模板匹配的结合位置检测处理的描述中，为了说明目的假设用于位置检测的校正图像1是模板图像，用于位置检测的校正图像0是搜索图像。

使用用于位置检测的校正图像1作为模板匹配中的模板图像，模板生成单元232从用于位置检测的校正图像1生成要在搜索图像中搜索的多个图像(称为“模板图像”)。在通过模板匹配的结合位置检测处理中，对于作为用于位置检测的校正图像1的部分的每个模板图像获得用于位置检测的校正图像0中的结合位置。注意，这里的目的是获得校正图像0和1之间的重叠区域中的结合位置。因此，从用于位置检测的校正图像1的重叠区域生成多个模板图像。

模板特征量计算单元234对于模板生成单元232生成的多个模板图像的每个计算特征量。这里的特征量是用于量化指示模板图像保持的特征度的值。在本实施例中，越大的特征量意味着图像具有越大特征，而越小的特征量意味着图像具有越小特征而没有单独性。作为特征量，可以使用从模板图像提取的边缘量、以及从模板图像计算的离差和标准差之一，但不具体限于这些。

图11包括根据特定实施例的模板特征量计算单元的框图。图11(A)至(C)图示了使用边缘量作为指标的、根据实施例的模板特征量计算单元234A的配置。另一方面，图11(D)图示了使用标准差或离差作为指标的、根据实施例的模板特征量计算单元234B的配置。

当使用边缘量作为模板图像的特征量时，可以使用边缘增强块用于执行如图11(A)所示的边缘增强。图11(A)中所示的边缘增强块配置为包括边缘检测过滤单元250、增益乘法单元252、和LPF(低通滤波)单元254。在边缘增强块中，在边缘检测过滤单元250提取的边缘量与增益乘法单元252处的增益相乘，以生成调节了边缘量的信号。然后，输出由加法器256将通过在LPF单元254处对输入信号施加LPF处理而移除了噪声的信号与调节信号相加所获得的信号，作为具有边缘增强的信号。

在本实施例中，仅需要提取边缘。因此，例如，通过使用图11(C)所示的LPF系数，信号在被施加LPF处理之后可设置为0，并且可以输出使用图11(B)所示的边缘提取过滤系数在边缘检测过滤单元250提取的边缘量。通过将模板图像输入图11(A)所示的边缘增强块，输出每个像素的边缘量。作为模板图像的特征量，可以使用模板中所有像素的边缘量之和，或可以使用边缘量的平均。模板图像的边缘量的和越大意味着图像包括越大数目的亮度改变不连续的位置。因此，平坦图像典型地具有较小边缘量和较小特征量。

当使用标准差(或离差)作为模板图像的特征量时，可以使用图11(D)所示的配置。图11(D)所示的标准差(或离差)计算单元258通过下面计算式(2)获得模板图像的标准差σ(或离差σ²)，其中N(＝W像素xH像素)是模板图像中像素的总数，并且T(i,j)是模板图像的坐标(i,j)处的亮度。模板图像的标准差(或离差)越大，意味着直方图中亮度的分布越广。因此，平坦图像具有典型地图像的亮度的较窄分布和较小特征量。

$\mathrm{\σ}=\sqrt{\frac{\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{\left\{T(i,j)\right\}}^2}{N}-{\left\{\frac{\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}T(i,j)}{N}\right\}}^2}\mathrm{...}\left(2\right)$

注意，尽管在上述示例中标准差或离差用作模板图像的特征量，但是可以计算其他指标以用于特征化模板图像，其包括基于密度直方图的指标，诸如从模板图像获得的密度直方图的峰度(表示直方图的分布在平均值周围的集中度)、偏度(表示直方图的形式从对称形式的偏度)、或其他统计指标，诸如基于差分统计的对比。此外，虽然在上面的描述中使用亮度计算特征量，但是可以对于RGB色的每一个计算特征量，并且可以使用其和作为模板图像的特征量。优选地，将边缘量、标准差和离差用作特征量，因为它们可以以低计算成本和有利的检测结果从对象图像简单地计算得出。然而，其不限于此，而是可以使用任何指标，只要其指示图像保持的特征度。

再次参照图10，模板排序单元236基于模板特征量计算单元234处计算的特征量，确定多个模板图像的处理顺序，以在模板图像当中指定特征量的相对关系。

临时位置计算单元238在多个所生成的模板图像当中选择感兴趣的模板图像，并计算用作下面将描述的模板匹配处理中的参照的感兴趣的模板图像的临时位置。这里，基于感兴趣的模板图像和用于位置检测的校正图像1的附近的每个外围模板图像之间的特征量的相对关系计算临时位置。

模板匹配是用于在搜索图像中搜索要搜索的模板图像之一的处理。如果在一定程度上识别了可能与模板图像对应的区域，则可以限制搜索图像中的搜索范围。搜索范围设置单元240基于感兴趣的模板图像和外围模板图像的每个之间的特征量的相对关系，设置用于模板匹配的搜索范围。典型地，在由临时位置计算单元238计算的临时位置周围，在用于位置检测的图像0中设置预定搜索范围。此外，可基于已经对于其他外围模板图像确定的结合位置进一步缩窄搜索范围。

对于感兴趣的模板图像，匹配计算单元242通过典型地使用模板匹配方法，基于所计算的临时位置，计算用于位置检测的校正图像中的部分与感兴趣的模板图像之间的匹配。当计算匹配时，在围绕搜索范围设置单元240设置的临时位置为中心的搜索范围内移动模板图像，并且基于各位置处图像的相似度计算作为评估值的匹配分数。

对于感兴趣的模板图像，分数校正单元244基于由匹配计算单元242计算的图像的相似度执行对于分数的偏移校正，优先所计算的临时位置周围的分数。以此方式，考虑基于模板图像之间的特征量的相对关系而计算的临时位置，计算分数。

结合位置确定单元246确定对于感兴趣的模板图像最大化用于位置检测的校正图像0中的校正分数的结合位置。这里所确定的结合位置受比感兴趣的模板图像具有更大特征量的外围模板图像的结合位置所影响。

当对多个模板图像执行通过临时位置计算单元238、搜索范围设置单元240、匹配计算单元242、分数校正单元244和结合位置确定单元246的处理时，在用于位置检测的校正图像0中获得与各个模板图像对应的结合位置。基于对应于所获得的模板图像的结合位置的数据集，检测结果生成单元248计算全天球格式中像素(θ，)的结合位置并生成检测结果数据222。

再次参照图4，基于检测结果数据222，表校正单元206对预先准备的用于位置检测的转换表220施加校正，并将其传送至表生成单元208。表生成单元208从由表校正单元206校正的转换数据，基于旋转坐标变换，生成用于图像合成的转换表224。

作为图像合成处理的预处理，用于图像合成的失真校正单元210使用用于图像合成的转换表224对初始部分图像0和部分图像1施加失真校正，并生成用于图像合成的校正图像0和用于图像合成的校正图像1。所生成的用于图像合成的校正图像由球面坐标系表示，类似于用于位置检测的校正图像。另一方面，由于旋转坐标变换，坐标轴被定义为不同于用于位置检测的校正图像的坐标轴。图像合成单元212将所获得的用于图像合成的校正图像0和用于图像合成的校正图像1合成，并生成全天球图像格式的合成图像。注意，下面将与处理流程的描述一起详细描述由结合位置检测单元204、表校正单元206、表生成单元208、用于图像合成的失真校正单元210和图像合成单元212执行的处理。

图4所示的功能块200还可包括显示图像生成单元214。所生成的合成图像以全天球图像格式表示。因此，如果其按原样显示在诸如LCD显示器的平面显示设备上，则当接近垂直角0°或180°时图像显示得更失真。显示图像生成单元214是用于执行将全天球图像投影到平面显示设备上的图像处理的单元。显示图像生成单元214可对于全天球图像格式的合成图像执行转换，例如，从球面坐标系转换为具有特定方向和特定场角的平面坐标系，并且可以执行处理以将其投影为具有由用户指定的特定场角的在特定观看方向上的图像。

[全天球图像合成处理的流程]

下面，将参照图5、12和20描述根据本实施例的全天球图像合成处理的流程。图5是根据本实施例的由成像系统10执行的全天球图像合成处理的整体的流程图。图5所示的处理响应于CPU130发出的命令(例如，当按下快门按钮18以发出通过两个成像光学系统成像的指令时)在步骤S200开始。

在步骤S201，成像系统10使得用于位置检测的失真校正单元202使用用于位置检测的转换表220，对通过两个固态图像传感器件22A-22B获得的部分图像0和1施加失真校正。因此，获得用于位置检测的校正图像0和用于位置检测的校正图像1。即，获得图9所示的全天球图像格式的校正图像。在步骤S202，成像系统10使得结合位置检测单元204执行用于位置检测的校正图像0和用于位置检测的校正图像1的重叠区域中的图像之间的结合位置检测。

图12是根据本实施例的由成像系统10执行的结合位置检测处理的流程图。图12所示的处理在图5所示的步骤S202调用，并且在步骤S300开始。在步骤S301，成像系统10对于模板图像、要搜索的搜索图像、模板的块大小、模板的生成开始坐标、生成间隔和总块数执行初始设置。

图13是图示根据本实施例的由模板生成单元232的模板图像的生成方法的图。在本实施例中，模板图像300是在用于位置检测的校正图像1中的重叠区域的部分的图像，并且搜索图像310是在用于位置检测的校正图像0中的重叠区域的部分的图像。块大小是构成模板图像的像素的数目，并且生成间隔是相邻模板图像的生成之间的间隔。生成开始坐标是要切出的第一模板图像的坐标。注意，块大小和生成间隔可以通过考虑期望的精度和用于将图像拼接在一起的处理量而确定。

假设块大小是W像素xH像素，生成开始坐标是(sx,sy)，并且生成间隔是“步幅”像素，如图13所示生成多个模板图像302-1至302-#。生成的模板的块数#取通过将模板图像300的水平方向的大小(在本实施例中，全天球格式的宽度＝3600像素)除以生成间隔“步幅”而获得的整数值。

对于这里生成的多个模板图像302-1至302-#，在预定搜索范围312中搜索搜索图像310中的对应部分314。注意，全天球图像格式的θ坐标的两端(0°和360°)彼此连接。因此，当生成模板图像并执行模板匹配时，超出右端的部分可以作为左端对待，并且超出左端的部分可以作为右端对待。

参照图12，在步骤S302基于当前坐标(sx,sy)生成模板图像。在第一次循环中，通过在步骤S301初始设置的生成开始坐标(sx,sy)切出具有(W像素xH像素)的块大小的区域生成模板图像。在已经生成第一模板图像之后，将坐标更新为(sx+步幅,sy)用于对于第二次循环的模板生成，此后，类似的，指定在更新坐标处具有块大小的区域以生成下一模板图像。当生成模板图像时，如图13所示示意性对所生成的模板图像分配模板号(简称为“号”)。注意，这不是限制，而假设在本实施例中对于θ方向一圈的重叠区域中的一行生成模板图像。

在步骤S303，成像系统10从在步骤S302生成的模板图像计算模板特征量。在步骤S304，成像系统10确定是否已经处理所有要生成的块。如果在步骤S304确定还没有处理所有要生成的块(否)，则处理循环回步骤S302以生成下一模板图像并计算其特征量。另一方面，如果在步骤S304确定已经处理所有要生成的块(是)，则处理分支到步骤S305。

在步骤S305，成像系统10以特征量的降序确定所有模板图像的处理顺序。因此，对于步骤S306和之后确定处理顺序。图14(A)是图示根据本实施例的模板图像的排序的图。如图14(A)所示，以特征量的降序对所编号的模板图像的每个给出模板顺序。基于在步骤S305确定的顺序，从具有最高排行的模板图像开始，对模板图像执行图12所示的步骤S306至S311的处理。

参照图12，在步骤S306，成像系统10计算作为处理目标的感兴趣的模板图像的临时位置。图14(B)是图示根据本实施例的由临时位置计算单元238执行的、基于排序的模板图像的临时位置的第一计算方法的图。在第一计算方法中，首先获得设置为位于感兴趣的模板图像的附近的外围模板图像的结合位置。

在本实施例中，对于在θ方向上重叠区域中的行生成模板图像，并且从左侧开始对模板图像分配模板号；因此，相邻关系可通过编号区分。在图14(B)所示的示例中，对于位于感兴趣的模板图像(图中被分配编号3)之前和之后的模板图像(图中被分配编号2和4)获得结合位置。在图12中的步骤S305每个模板图像已经被分配模板顺序，并且从具有较高排行的模板图像开始执行用于检测结合位置的图12中的步骤S306至S311的处理。因此，已经对于具有比感兴趣的模板图像更大特征量和更高排行的模板图像确定结合位置。

因此，在图14(B)的示例中，因为感兴趣的模板图像(编号3)具有第三排行，所以已经对于第一和第二模板排行(被分配编号4和编号1)的模板图像确定结合位置。另一方面，还没对于第四至第六模板排行(被分配编号2、5和6)的模板图像确定结合位置，如图14(B)相反所示，对其设置(0，0)的初始结合位置。注意，感兴趣的模板图像(编号3)的结合位置被设置为当前的初始结合位置(0，0)。结合位置表示在校正图像1的重叠区域中的模板图像的坐标与在校正图像0的重叠区域中的对应区域的坐标之间的偏移量。结合位置(0，0)意味着按原样在校正图像1的坐标位置结合模板图像。

因此，在图14(B)的示例中，作为外围模板图像的结合位置，获得在感兴趣的模板图像(图中的编号3)的右侧的模板图像(图中的编号4)的所确定的结合位置和在左侧的模板图像(图中的编号2)的初始结合位置。

接下来，可以对所获得的外围模板图像的结合位置平均以将平均值设置为感兴趣的模板图像的临时位置。此时，可以计算简单算术平均作为平均值。优选地，可通过对所确定的结合位置和未确定的结合位置(初始结合位置)分别给出不同权重而计算加权平均。具体地，可以将所确定的结合位置的权重设置得更大，使得其具有较大影响。

可通过下面的式(3)计算感兴趣的模板图像(编号i)的临时位置(tx_i,ty_i)。在式(3)中，(x_i-1,y_i-1)表示左侧的模板图像(编号i-1)的接合位置，w-表示其权重，(x_i+1,y_i+1)表示右侧的模板图像(编号i+1)的接合位置，w₊表示其权重。w_-或w₊是表示相邻模板图像的结合位置是未确定还是确定的权重。

${\mathrm{tx}}_i=\frac{w_{-}\×x_{i-1}+w_{+}\×x_{i+1}}{w_{-}+w_{+}},{\mathrm{ty}}_i=\frac{w_{-}\×y_{i-1}+w_{+}\×y_{i+1}}{w_{-}+w_{+}}\mathrm{...}\left(3\right)$

在图14(B)的示例中，假设例如权重系数w_H是“0.7”，对于未确定的权重系数w_L是“0.3”，所确定的模板号4的结合位置是(2，-2)，并且未确定的模板号2的结合位置是初始值(0，0)，因此，由式(3)，感兴趣的模板图像(编号3)的临时位置是(1.4，-1.4)。

图14(C)是根据本实施例的由临时位置计算单元238执行的基于排序的模板图像的临时位置的第二计算方法的图。在图14(C)所示的第二计算方法中，首先，对于感兴趣的模板图像的每个外围模板图像，获得距感兴趣的模板图像的距离和设置的结合位置。对于具有未确定的结合位置的那些，如上所述获得初始结合位置(0，0)。可以以块号为单位简单测量模板图像之间的距离。例如，在图14(C)中感兴趣的模板具有模板号3。因此，其到编号2和4的模板图像具有距离1，到编号1和5的模板图像具有距离2，并且到编号6的模板图像具有距离3。

接下来，可以使用距离作为权重平均所获得的外围模板图像的结合位置，以将平均值设置为感兴趣的模板的临时位置。对于基于距离的加权，可以使用对于较小距离取较大值的函数。例如，可以使用距离的倒数(1/距离)作为权重。

通过(tx_i,ty_i)表示感兴趣的模板图像(编号i)的临时位置，通过(x_j,y_j)表示模板图像的结合位置(编号j＝1至N)，并且通过D_ij表示距离，可通过下式(4)计算临时位置(tx_i,ty_i)。使用图14(C)所示的第二计算方法，考虑紧密相邻以外的模板图像的结合位置。因此，可以有利地维持与外围图像的连续性。注意，尽管假设对感兴趣的模板图像的每个外围模板图像获得距离和结合位置，但是可以排除具有预定距离或更大的模板图像。

${\mathrm{tx}}_i=\frac{\underset{j}{\mathrm{\Σ}}(x_j\×\frac{1}{D_{ij}})}{\underset{j}{\mathrm{\Σ}}\left(\frac{1}{D_{ij}}\right)},{\mathrm{ty}}_i=\frac{\underset{j}{\mathrm{\Σ}}(y_j\×\frac{1}{D_{ij}})}{\underset{j}{\mathrm{\Σ}}\left(\frac{1}{D_{ij}}\right)}\mathrm{...}\left(4\right)$

注意，在上面的描述中，使用权重来表示相邻模板图像具有未确定或已确定结合位置，或表示模板图像之间的距离。然而，计算方法不限于上述，其仅是示例。其他实施例可执行依赖于相邻模板图像具有未确定或已确定结合位置和模板图像之间的距离的加权。

再次参照图12，在步骤S307，成像系统10在要执行模板匹配的搜索区域中设置搜索范围。图15包括图示根据本实施例的由搜索范围设置单元240执行的搜索范围的设置方法的图。模板匹配对于感兴趣的模板图像在搜索图像中切出具有预定大小的搜索区域。已经由预先定义的用于位置检测的转换表生成作为搜索图像的用于位置检测的图像0和作为模板图像的用于位置检测的图像1，因此，它们以特定精度水平叠加。因此，预期在校正图像0的对应坐标的邻近找到对应模板图像的部分，并且使用坐标作为参照切出搜索区域。搜索范围是执行模板匹配的范围。通过在搜索范围内垂直和水平偏移模板图像的位置而执行与搜索区域的图像的匹配。因此，当搜索范围越大时，处理时间变得越长。

图15(A)图示了将以初始位置(等于模板图像的坐标的白圈232)为中心的搜索区域330按原样设置为搜索范围360A的通常搜索范围的设置方法。在此情况下，搜索区域330等于搜索范围360A，并且需要在所有搜索区域330上执行匹配计算。

与此相对，图15(B)图示了基于所计算的临时位置设置搜索范围的设置方法。通常，由于特征模板的影响所确定的临时位置(由图中的黑圈表示)334从初始位置(由图中的白圈表示)332移动。因此，以临时位置334(黑圈)为中心移动搜索区域(350)，以将与初始搜索区域330重叠的区域设置为搜索范围360B，其使得搜索范围更窄并且处理时间更短。

图15(C)图示了基于相邻模板图像的所确定的结合位置设置搜索范围的设置方法。类似于图15(B)所示的方法，以所确定的结合位置(黑圈)为中心移动(350)搜索区域，以获得与初始搜索区域330重叠的区域。接下来，参照相邻模板图像的所确定的结合位置，确定进一步缩窄的搜索范围360C。例如，如果确定两端的相邻模板图像的结合位置，则感兴趣的模板的结合位置可以在它们之间的范围内。因此，如图15(C)中，使用在两端的模板图像的垂直方向上的结合位置336U和336L，将搜索范围360B限制在垂直方向，并且进一步缩短处理时间。

再次参照图12，在步骤S308，成像系统10通过在搜索区域内的在步骤S307设置的搜索范围内，在垂直方向和横向偏移模板图像，计算匹配，以获得相似度的分数。

下面，将参照图16描述零均值归一化互相关(ZNCC)法作为模板匹配的示例。图16包括图示(A)模板图像；以及(B)通过模板匹配在搜索范围内搜索模板图像的处理的图。这里，N表示模板中像素的总数(＝W像素xH像素)，并且(kx,ky)表示搜索范围内的搜索位置。当搜索位置(kx,ky)设置为参考坐标(0,0)时，通过T(i,j)表示模板图像中坐标(i,j)处的亮度，并通过S(kx+i,ky+j)表示搜索图像中的亮度，可通过下式(5)获得通过ZNCC法的匹配分数M(kx,ky)。注意，尽管在图16中搜索位置(kx,ky)设置为模板图像的左上角，但是坐标不具体限定，而是可以设置为模板图像的中心。

$M(kx,ky)=\frac{N\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}S(kx+i,ky+j)T(i,j)-\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}S(kx+i,ky+j)\×\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}T(i,j)}{\sqrt{(N\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{\left\{S\left(kx+i,ky+j\right)\right\}}^2-{\left\{\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}S\left(kx+i,ky+j\right)\right\}}^2)\×(N\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{\left\{T\left(i,j\right)\right\}}^2-{\left\{\underset{j}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}T\left(i,j\right)\right\}}^2)}}\mathrm{...}\left(5\right)$

如果分数M(kx,ky)为1，则其完全匹配，或者如果分数为-1，则其正负颠倒。较高分数M(kx,ky)指示与模板图像的较高相似度。如图16(B)所示，通过在搜索范围内垂直和水平偏移模板图像而执行模板匹配，并且在每个搜索位置计算匹配分数M(kx,ky)。

注意，上述ZNCC法可吸收图像的增益的波动，并且可吸收图像的平均亮度的波动。尽管ZNCC法在上述点上是有利的，但是分数M(kx,ky)的计算方法不限于ZNCC法。其他实施例可采用SSD(平方差和，SumofSquareDifference)法、SAD(绝对差和，SumofAbsoluteDifference)法、ZSSD(零均值平方差和，Zero-meanSumofSquareDifference)法、ZSAD(零均值绝对差和，Zero-meanSumofAbsoluteDifference)法、NCC(归一化互相关，NomalizedCross-Correlation)法等。

再次参照图12，在步骤S309，成像系统10基于在步骤S308计算的每个位置的相似度对匹配分数M(kx,ky)施加偏移校正以计算校正的最终分数。在步骤S310，成像系统10基于在步骤S309计算的每个位置的校正的分数，确定对于感兴趣的模板图像的结合位置。

图17(A)图示对于搜索位置(kx,ky)描点的匹配分数的偏移函数的曲线图。在步骤S309，通过图17(A)所示的偏移函数(kx,ky)，依赖于距临时位置的距离，将偏移值加到匹配分数M(kx,ky)。图17(A)所示的偏移函数是在临时位置处偏移值最大、并且随着距临时位置的距离变得越大而单调下降的函数。可以基于匹配分数M的可能值的范围定义偏移函数。图17(B)和(C)图示了用搜索位置描点的校正之前和之后的分数的曲线图、以及基于校正之前的分数的匹配位置和基于校正之后的分数的匹配位置。图17(B)图示了具有较大特征量的模板图像的示例，而图17(C)图示了具有较小特征量的模板图像的示例。

如图17(B)所示，通过偏移校正，围绕临时位置为中心提高最终匹配分数。然而，当模板图像的特征量大时，相似度由于位置的改变而极大波动，并且由相似度对匹配分数的影响很强地保留。因此，与偏移校正无关，通常将基于相似度的匹配分数最大的位置确定为匹配位置。即，如果特征量大到足够清楚地维持为相似度的匹配分数的峰值，则相似度占优势地确定结合位置。

另一方面，如图17(C)所示，如果模板图像的特征量小，则通常匹配分数没有清楚的峰值，并且距临时位置的距离比基于相似度的匹配分数有更大影响。因此，通常将偏移函数取最大值的临时位置的附近的位置确定为匹配位置。即，如果特征量小，则临时位置占优势地确定结合位置。

一旦确定匹配位置，则从感兴趣的模板图像(编号i)按原样叠加在用于位置检测的校正图像0的坐标的位置，获得结合位置作为偏移量(Δθ_i， )。

由于偏移校正，如果基于相似度的分数有清楚的峰值并且相似度大，则将该位置设置为结合位置。如果没有特征并且没有清楚的峰值，则将临时位置附近的位置设置为结合位置，保持其与相邻块的连续性，并且降低结合位置被确定在远离临时位置的位置的风险。

再次参照图12，在步骤S311，成像系统10确定是否已经处理了模板图像的所有块。如果在步骤S311确定还没有处理所有块(否)，则处理循环回步骤S306以完成对于所有块的处理。另一方面，如果在步骤S311确定已经处理了所有块(是)，则处理前进到步骤S312。

通过步骤S306至S311的处理，对于所生成的多个模板图像(编号i，其中i＝1至#)的每一个获得结合位置(Δθ_i，)。在步骤S312，成像系统10基于对应于所获得的模板图像的结合位置的数据集合，对全天球格式中的每个像素(θ，)计算结合位置(Δθ，)，并生成检测结果数据222。在步骤S313，成像系统10结束结合位置检测处理，并返回图5所示的处理。

图18是图示了根据本实施例的由结合位置检测单元204生成的检测结果数据的数据结构的图。图19是图示了根据本实施例的由结合位置检测单元204生成检测结果数据的处理的图。通过步骤S312，获得对于所有坐标保持与偏移量(Δθ，)关联的转换后的坐标(θ，)的如图18所示的检测结果数据222。在此情况下，对应于坐标(θ，)的偏移量(Δθ，)可通过将由结合位置检测处理获得的模板块(i)的偏移量(Δθ_i，)设置为模板块的中心坐标的值并插值而计算。

具体地，首先，如图19(A)所示，对于其水平方向的θ坐标等于模板块的中心的坐标、并且位于上端和下端(如果高度为1800像素的话)的坐标，将偏移量(Δθ，)设置为(0，0)。对于还没有设置偏移量的坐标，如图19(B)所示，通过设置了偏移量的四个点(图中标记为A至D)形成栅格，并且通过栅格中的二维线性插值来计算偏移量。假设点Q内部在θ轴方向按dθ:1-dθ、并在轴方向按划分四点栅格，则可通过下式(6)使用相邻四个点的偏移量((Δθ_A，)，…，(Δθ_D，))计算点Q处的偏移量(Δθ_Q，)。

$\left.\begin{array}{c}{\mathrm{\Δ\θ}}_Q=(1-d\mathrm{\φ})\×\left(\right(1-d\mathrm{\θ})\×{\mathrm{\Δ\θ}}_A+d\mathrm{\θ}\×{\mathrm{\Δ\θ}}_B)\\ +d\mathrm{\φ}\×\left(\right(1-d\mathrm{\θ})\×{\mathrm{\Δ\θ}}_C+d\mathrm{\θ}\×{\mathrm{\Δ\θ}}_D)\\ {\mathrm{\Δ\φ}}_Q=(1-d\mathrm{\φ})\×\left(\right(1-d\mathrm{\θ})\×{\mathrm{\Δ\φ}}_A+d\mathrm{\θ}\×{\mathrm{\Δ\φ}}_B)\\ +d\mathrm{\φ}\×\left(\right(1-d\mathrm{\θ})\×{\mathrm{\Δ\φ}}_C+d\mathrm{\θ}\×{\mathrm{\Δ\φ}}_D)\end{array}\right\}\mathrm{...}\left(6\right)$

注意，在本实施例中，在全天球格式中将偏移量(0，0)设置为上端和下端(在此示例中)。然而，坐标(θ，)处的偏移量(Δθ，)的计算方法不限于上述。这里，将部分图像0和1没有不一致地拼接起来就足够了。因此，其他实施例可通过将偏移量(0，0)设置为位于更内部的坐标而执行二维线性插值。在此情况下，可以将在方向上内部坐标的外部的所有坐标设置为具有偏移量(0，0)。

再次参照图5，在步骤S203，成像系统10使表校正单元206使用检测结果数据222校正用于位置检测的转换表220，以调节图像在球面坐标系中的位置。如图18所示，通过在步骤S202的结合位置检测处理，对于全天球图像格式的每对坐标获得偏移量。在步骤S203，具体地，用于部分图像0的失真校正的用于检测的失真校正表0被校正，使得输入坐标(θ，)与已经与校正之前的(θ+Δθ，)关联的(x,y)相关联。注意，不需要改变用于部分图像1的失真校正的用于检测的失真校正表1用于关联。

在步骤S204，成像系统10使得表生成单元208通过对其施加旋转坐标变换，从用于位置检测的校正的转换表220生成用于图像合成的转换表224。

图20是根据本实施例的由成像系统10执行的用于图像合成的转换表的生成处理的流程图。图21是图示在图像合成处理期间的、将两个部分图像映射到球面坐标系上的图，所述图像由两个鱼眼透镜采集。图20所示的处理在图5所示的步骤S204调用，并且在步骤S400开始。在步骤S401至S406的循环中，表生成单元208对于球面坐标系中的每对坐标(θ_g，)执行步骤S402至S405的处理以用于图像合成，所述每对坐标(θ_g，)输入到用于图像合成的失真校正表。要设置的坐标的范围通过水平角的全范围(0到360°)和垂直角的全范围(0到180°)定义。为了对于要输入的所有坐标执行转换处理，这里按顺序排列坐标。

在步骤S402，表生成单元208通过旋转变换计算与坐标(θ_g，)对应的球面坐标系中的坐标(θ_d，)。通过旋转坐标变换，各轴从如图9所示的由围绕透镜光学系统之一的光轴的水平角θ_d、以及垂直角的坐标轴定义的轴，改变为如图21所示的由具有与作为参照的光轴垂直的轴的水平角θ_g和垂直角定义的轴。可以使用径矢1、与用于图像合成的球面坐标系中的坐标(θ_g，)对应的三维笛卡尔坐标(x_g,y_g,z_g)、和与用于位置检测的球面坐标系中的坐标(θ_d，)对应的三维笛卡尔坐标(x_d,y_d,z_d)，通过下式(7)基于旋转坐标变换计算与坐标(θ_g，)对应的坐标(θ_d，)。注意，在式(7)中，系数β是指定围绕在三维笛卡尔坐标中的x轴的旋转坐标变换的旋转角，在本实施例中为90°。

$\left.\begin{array}{c}{x}_g=\sin \left({\mathrm{\φ}}_g\right)\cos \left({\mathrm{\θ}}_g\right)\\ y_g=\sin \left({\mathrm{\φ}}_g\right)\sin \left({\mathrm{\θ}}_g\right)\\ z_g=\cos \left({\mathrm{\φ}}_g\right)\\ \left(\begin{array}{c}{x}_d\\ y_d\\ z_d\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& \sin \mathrm{\β}\\ 0& -\sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}{x}_g\\ y_g\\ z_g\end{array}\right)\\ {\mathrm{\φ}}_d=Arc\cos \left(z_d\right)\\ {\mathrm{\θ}}_d=Arc\tan \left(\frac{y_d}{x_d}\right)\end{array}\right\}\mathrm{...}\left(7\right)$

在用于位置检测的转换表220中，光轴投影到球面的极点，并且图像之间的重叠部分投影到球面的赤道附近上。因此，全天球图像格式的上下方向与采集的场景的天顶方向不一致。与此相对，通过旋转坐标变换，在用于图像合成的转换表224中，将光轴投影到球面的赤道上，并因此，全天球图像格式的上下方向与所采集的场景的天顶方向一致。

在步骤S403至S405的循环中，表生成单元208对于图像0和图像1分别执行步骤S404。在步骤S404，表生成单元208参照校正的用于结合位置检测的转换表，对于图像0和1获得可以与(θ_d，)关联的部分图像(0,1)的坐标(x,y)。注意，转换表220和224以像素为单位保持对于θ_d和的坐标(x,y)，尽管典型地用浮点值获得通过转换计算的坐标(θ_d，)。简单地，部分图像(0，1)中的坐标(x,y)可设置为与在表中所计算的坐标(θ_d，)的最紧邻存在的坐标相关联的坐标(x,y)。此外，在有利实施例中，可通过参照表中现有的那些当中的与周围的坐标和最近坐标相关联的多个坐标(x,y)，依赖于距所计算的坐标(θ_d，)的距离执行加权插值，计算要关联的部分图像(0,1)的坐标(x,y)。

当在步骤S403至S405的循环中对于两个图像(0，1)都完成计算、并且已经在步骤S402至S406的循环中对所有要输入的坐标值完成计算时，处理在步骤S407结束。因此，在用于图像合成的转换表224中生成所有数据。

再次参照图5，在步骤S205，成像系统10使得用于图像合成的失真校正单元210使用用于图像合成的转换表224对于原始部分图像0和部分图像1执行失真校正，以获得用于图像合成的校正图像0和用于图像合成的校正图像1。因此，作为用于图像合成的失真校正单元210的处理的结果，通过鱼眼透镜采集的两个部分图像0-1展开在全天球图像格式上，如图21所示。通过鱼眼透镜0采集的部分图像0典型地映射到全天球中的左半球上，并且通过鱼眼透镜1采集的部分图像1典型地映射到全天球鱼眼透镜1中的右半球上。

通过比较图9和图21可以清楚地理解，部分图像0和部分图像1映射在全天球格式中的不同位置，并且场景的天顶方向与作为图像的上下方向的方向一致。部分图像0和1的中心部分映射到具有较小失真的赤道上，并且与图9所示不同，校正图像0和校正图像1之间的重叠区域映射到0°和180°的垂直角、以及0°和180°的水平角处的相邻区域。

在步骤S206，图像合成单元212合成用于图像合成的校正图像0和用于图像合成的校正图像1。在合成处理中，对于图像之间的重叠区域执行混合处理等。对于像素值仅存在于一个图像中的区域，按原样使用那些像素值。通过合成处理，从由鱼眼透镜采集的两个部分图像生成单个全天球图像。

如上所述，在本实施例中，测量指示由要用于匹配处理的模板图像保持的特征度的特征量，并使用所测量的特征量确定模板图像的结合位置。因此，优先具有较大特征量的区域以拼接到一起，以改进要获得的全天球图像的质量。即，优先将具有较大特征量的区域拼接到一起，并且当将具有较小特征量的区域拼接到一起时，参考其结合位置。因此，即使图像平坦，或其是以较少特征重复相同模式的区域，也可以以高精度检测结合位置，这改进了要获得的全天球图像的质量。此外，如果对于重复相同模式的情况仅通过使用的相似度存在结合位置的多个候选，则通过参照相邻特征区域的结合位置，可以唯一地确定结合位置。

此外，可以简化算法，因为不采用排除具有较小特征量的不适当匹配区域的计算处理。此外，全天球成像系统10处理全方位角成像范围。因此，经常是这样的情况：重叠区域包括平坦且不适于拼接到一起的场景，如天空。根据本实施例的多个图像的拼接到一起的处理可以有利地用于将具有这样的性质的全天球图像拼接到一起。

[第二实施例]

下面将描述本发明的第二实施例，关注于与之前的实施例不同的部分。

第二实施例具有与对于之前实施例在图10中所示的配置中包括的匹配计算单元不同的匹配计算单元242。对于感兴趣的模板图像，匹配计算单元242通过典型地使用模板匹配方法，基于所计算的临时位置，典型地计算感兴趣的模板图像与用于位置检测的校正图像之间的匹配。当计算匹配时，在围绕由搜索范围设置单元240设置的临时位置为中心的搜索范围内移动模板图像，并且基于位置处的图像的相似度计算作为评估值的匹配分数。此外，在本实施例中，对于模板图像的特征量的范围提供多个评估方法。然后，本实施例中的匹配计算单元242通过依赖于由模板特征量计算单元234计算的特征量切换匹配评估方法，计算匹配分数。

对于感兴趣的模板图像，分数校正单元244基于由匹配计算单元242计算的图像的相似度执行对于分数的偏移校正，以使得围绕所计算的临时位置的分数更高。注意，分数的范围可以依赖于所使用的评估方法而不同。因此，分数校正单元244依赖于匹配计算单元242使用的评估方法而切换偏移校正方法。以此方式，当计算分数时考虑基于模板图像之间的特征量的相对关系计算的临时位置，并且可以完成适于匹配评估方法的分数的校正。

接下来，将使用图24详细描述根据本实施例的匹配计算处理。图24(A)是图示了根据本实施例的由成像系统10执行的匹配计算处理的细节的流程图。图24(A)所示的处理在图12所示的步骤S308调用，并在步骤S600开始。在步骤S601，成像系统10确定感兴趣的模板图像的特征量是否大于或等于预定阈值。此外，在本实施例中，根据其是大于还是小于阈值将预定阈值定义为对特征量分段。如果在步骤S601感兴趣的模板图像的特征量被确定为大于或等于预定阈值(是)，则处理分支到步骤S602。

在步骤S602，成像系统10通过适于具有大特征量的图像的评估方法计算匹配分数。处理在步骤S604结束，并且图12所示的处理继续。另一方面，如果在步骤S601感兴趣的模板图像的特征量被确定为不大于或等于预定阈值(否)，则处理分支到步骤S603。在步骤S603，成像系统10通过适于具有小特征量的图像的评估方法计算匹配分数。处理在步骤S604结束，并且图12所示的处理继续。

下面，参照上面所示的图16作为模板匹配的示例描述零均值归一化互相关(ZNCC)法和零均值平方差和(ZSSD)法。图16包括图示(A)模板图像；和(B)通过模板匹配在搜索范围内搜索模板图像的处理的图。这里，N表示模板中的像素的总数(＝W像素xH像素)，并且(kx,ky)表示搜索范围中的搜索位置。当搜索位置(kx,ky)通过e坐标(0,0)设置为参照时，通过T(i,j)表示模板图像中坐标(i,j)处的亮度，并且通过S(kx+i,ky+j)表示搜索图像中的亮度，可通过下面的式(8)获得通过ZNCC法的匹配分数M(kx,ky)。注意，尽管在图16中搜索位置(kx,ky)设置在模板图像的左上角处，但是坐标不具体限定，而是可以设置在模板图像的中心处。

$ZNCC(kx,ky)=\frac{N\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}S(kx+i,ky+j)Y(i,j)-\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}S(kx+i,ky+j)\×\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}T(i,j)}{\sqrt{(N\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}{\left\{S\left(kx+i,ky+j\right)\right\}}^2-{\left\{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}S\left(kx+i,ky+j\right)\right\}}^2)\×(N\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}{\left\{T\left(i,j\right)\right\}}^2-{\left\{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}T\left(i,j\right)\right\}}^2)}}\mathrm{...}\left(8\right)$

匹配分数ZNCC(kx,ky)表示相似度。如果其是1，则其是完全匹配，或者如果分数是-1，则其是正负颠倒。越高的匹配分数ZNCC(kx,ky)指示与模板图像越高相似度。如图16(B)所示，通过在搜索范围内垂直和水平偏移模板图像而执行模板匹配，并且在每个搜索位置计算匹配分数ZNCC(kx,ky)。

与此相对，可通过下式(9)获得通过ZSSD法的差ZSSD(kx,ky)。注意，ZSSD法获得相同位置处像素的亮度的平方差的和。因此，通过ZSSD法获得的值表示差，并且值越大表示相似度越小。因此，为了使其为基于相似度的分数，附加负号以使用-ZSSD(kx,ky)作为匹配分数。

$\begin{array}{c}ZSSD(kx,ky)=\frac{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}{\left\{S(kx+i,ky+j)\right\}}^2}{N}-\frac{{\left\{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}S(kx+i,ky+j)\right\}}^2}{N^2}+\frac{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}{\left\{T(i,j)\right\}}^2}{N}-\frac{{\left\{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}T(i,j)\right\}}^2}{N^2}\\ -2\[\frac{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}S(kx+i,ky+j)T(i,j)}{N}-\frac{\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}S(kx+i,ky+j)\·\underset{j=0}{\overset{h-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{w-1}{\mathrm{\Σ}}}T(i,j)}{N^2}\]\end{array}\mathrm{...}\left(9\right)$

假设像素值是8比特值，匹配分数-ZSSD(kx,ky)可以取-(255x255)至0的范围内的值，并且如果其是0，则其完全匹配。越高匹配分数-ZSSD(kx,ky)指示与模板图像的相似度越高。

上述ZNCC法可以吸收图像的增益的波动，可以吸收图像的平均亮度的波动，并且其对于匹配相似度具有健壮性，这使得ZNCC法有利。尤其是当图像的亮度具有足够广的分布并且特征量大时，可以使用ZNCC法。与此相对，ZSSD法比SSD(平方差和)法好的地方在于，ZSSD法可以吸收图像的平均亮度的波动。ZSSD具有比SSD法更大的计算成本，但是计算比ZNCC法的简单。尤其对于具有小特征量的模糊图像可以有利地使用ZSSD法。注意，可以使用零均值绝对差和(ZSAD)法替代ZSSD法。

再次参照图12，在步骤S309，成像系统10基于在步骤S308的每个计算的位置处的相似度，对匹配分数ZNCC(kx,ky)或-ZSSD(kx,ky)施加偏移校正，以计算校正的最后分数。

图24(B)是图示根据本实施例的通过成像系统10执行的分数校正处理的细节的流程图。图24(B)所示的处理被图12所示的步骤S309调用，并在步骤S700开始。在步骤S701，成像系统10确定感兴趣的模板图像的特征量是否大于或等于预定阈值。如果在步骤S701感兴趣的模板图像的特征量被确定为大于或等于预定阈值(是)，则处理分支到步骤S702。在此情况下，使用ZNCC法用于计算分数。因此，在步骤S702成像系统10使用用于ZNCC法的偏移函数以计算偏移。处理在步骤S704结束，并且图12所示的处理继续。

另一方面，如果在步骤S701感兴趣的模板图像的特征量被确定为不大于或等于预定阈值(否)，则处理分支到步骤S703。在此情况下，使用ZSSD法用于计算分数。因此，在步骤S703成像系统10使用用于ZSSD法的偏移函数来计算偏移。处理在步骤S704结束，并且图12所示的处理继续。

在步骤S310，成像系统10基于在步骤S309在每个计算位置的校正分数，确定对于感兴趣的模板图像的结合位置。

图17(A)图示了对于搜索位置(kx,ky)描点的用于匹配分数的偏移函数的曲线图。在步骤S309，通过如图17(A)所示的偏移函数(kx,ky)，依赖于距临时位置的距离，将偏移值添加到匹配分数M(kx,ky)。图17(A)所示的偏移函数是在临时位置处偏移值最大、并且随着距临时位置的距离变大单调下降的函数。可以基于匹配分数M的可能值的范围定义偏移函数。图17(B)和(C)图示了用搜索位置描点的校正之前和之后的分数、以及基于校正之前的分数的匹配位置和基于校正之后的分数的匹配位置的图。图17(B)图示了具有较大特征量的模板图像的示例，而图17(C)图示了具有较小特征量的模板图像的示例。

如上所述，在本实施例中，测量指示由要用于匹配处理的模板图像保持的特征度的特征量，并且使用所测量的特征量确定模板图像的结合位置。因此，通过适当评估方法将区域拼接到一起，以改进要获得的全天球图像的质量。更具体地，依赖于区域的特征切换用于获得匹配分数的评估方法。因此，可以分别基于适于具有较大特征量的区域和具有较小特征量的区域的评估方法确定结合位置。因此，可以减少结合位置检测中的误差，并且可以改进位置匹配的精度。此外，即使图像平坦，或其是以较少特征重复相同模式的区域，也可以以高精度检测结合位置，这改进了要获得的全天球图像的质量。此外，可以简化算法，因为不采用排除具有较小特征量的不适当匹配区域的计算处理。

将ZNCC法与ZSSD法相比，ZNCC法通常具有较高精度。然而，在上述实施例中，被控制为基本上使用ZNCC法，同时将ZSSD法用于具有弱特征区域的图像，尤其用于平坦图像。下面将描述对于弱特征图像使用ZSSD法而不是ZNCC法的优点。

例如，假设对于诸如蓝天或白墙的平坦图像执行匹配评估。这样的平坦图像典型地包括当采集图像时混合的噪声。当在具有噪声的平坦图像之间执行匹配评估时，与给出所谓“相关值”的种类的ZNCC法相比，给出误差差值作为像素的误差差的和的ZSSD法计算噪声图像之间的适度的误差差，其作为匹配评估值是有利的值。在上述实施例中，作为对于平坦图像的匹配评估值，期望得到有利的值作为匹配评估值，给出误差差值的ZSSD法用于具有小特征量的模板图像，而不是给出相关值的ZNCC法。

全天球成像系统10处理全方位角成像范围。因此，非常可能重叠区域包括平坦并且不适于拼接在一起的场景，诸如天空。根据本实施例的多个图像的拼接在一起的处理可以有利地用于将具有这样的性质的全天球图像拼接在一起。

[第三实施例]

在上述实施例中，使用成像系统10描述了图像处理装置和成像系统的示例，所述成像系统10通过其中提供的成像光学系统采集全天球的静态画面，并通过其内部的失真校正/图像合成块合成最终图像。然而，图像处理装置和成像系统的配置不具体限于上述。可以配置为用于采集全天球的运动画面的全天球运动画面成像系统，或作为相机处理器以便当接收由多个成像光学系统采集的多个部分图像(静态画面或运动画面)作为输入时生成全天球图像(静态画面或运动画面)。替代地，可以配置诸如个人计算机、工作站、或物理计算机系统上的虚拟机的信息处理装置、或诸如智能手机或平板电脑的便携式信息终端，作为接收由仅用于成像的全天球成像设备采集的多个部分图像(静态画面或运动画面)作为输入、合成全天球图像(静态画面或运动画面)的上述图像处理装置。此外，可以配置这样的成像系统，其包括诸如相机处理器的图像处理装置、信息处理装置或如上所述的便携式信息终端、以及与图像处理装置分离的成像光学系统。

下面，将参照图22-23描述第三实施例，其中全天球成像系统包括采集多个部分图像的全天球成像设备、以及用于当接收多个部分图像作为输入时生成合成的全天球图像的外部计算机设备。图22是根据本实施例的全天球成像系统400的整体图。

根据第三实施例的图22所示的全天球成像系统400构造有仅用于成像的全天球成像设备410、以及与全天球成像设备410连接并且仅用于图像处理的计算机设备430。注意，图22中仅图示了主要元件，并且省略细节。此外，具有与参照图1至图21所示的那些相同功能的元件被分配有相同数字代码。此外，图22-23中所示的示例中的全天球成像系统400具有与参照图1-21所述的实施例基本相同的配置，除了单独在计算机设备430上执行用于合成全天球图像的图像处理之外。因此，下面将主要描述不同点。

在图22中图示的示例中，全天球成像设备410包括数字静态相机处理器100、透镜桶单元102、以及与处理器100连接的三轴加速度传感器120。透镜桶单元102具有与图2所示相同的配置，并且处理器100具有与图2所示相同的配置。

处理器100包括ISP108、USB块146、串行块158，并控制与经由USB连接器148连接的计算机设备430的USB通信。串行块158连接至无线NIC160以控制与经由网络连接的计算机设备430的无线通信。

图22所示的计算机设备430可以构造有通用计算机，诸如桌面个人计算机或工作站。计算机设备430包括诸如处理器、存储器、ROM和存储体的硬件组件。在图22所示的示例中，计算机设备430包括USB接口432和无线NIC434，并且经由USB总线或网络连接至全天球成像设备410。

计算机设备430配置为还包括用于位置检测的失真校正单元202、结合位置检测单元204、表校正单元206、表生成单元208、用于图像合成的失真校正单元210、以及图像合成单元212，其是与图像合成有关的处理块。在本实施例中，通过透镜桶单元102的多个成像光学系统采集的两个部分图像、以及用于全天球成像设备410的位置检测的转换表经由USB总线或网络传送至外部计算机设备430。

在计算机设备430中，用于位置检测的失真校正单元202使用与图像一起传送的用于位置检测的转换表，对从全天球成像设备410传送的部分图像0和1施加失真校正，以生成用于位置检测的校正图像0和1。结合位置检测单元204检测转换的校正图像0和1之间的结合位置，以生成检测结果数据。表校正单元206基于检测结果数据校正所传送的用于位置检测的转换表。表生成单元208通过对校正的转换数据施加旋转坐标变换，生成用于图像合成的转换表。

作为图像合成处理的预处理，用于图像合成的失真校正单元210使用用于图像合成的转换表，对原始部分图像0和部分图像1施加失真校正，并且生成用于图像合成的校正图像0和1。图像合成单元212合成所获得的用于图像合成的校正图像0和1，并生成全天球图像格式的合成图像。

图4所示的功能块430还可包括显示图像生成单元214。显示图像生成单元214执行用于将全天球图像投影到平面显示设备上的图像处理。根据本实施例的计算机设备430通过从ROM或HDD读取程序以将其加载到由RAM提供的工作空间中，实现上述功能单元并在CPU的控制下执行下述处理。

图23是根据本实施例的由全天球成像系统400执行的全天球图像合成处理的整体的流程图。图23图示了在全天球成像设备410获得采集图像作为输入之后直至将图像存储在计算机设备430中的流程。

图23所示的处理在步骤S500例如响应于全天球成像设备410的快门按钮的按下而开始，所述快门按钮的按下是使得两个成像光学系统执行成像的命令。首先，执行全天球成像设备410中的处理。

在步骤S501，全天球成像设备410通过两个固态图像传感器件22A-22B采集部分图像0和部分图像1。在步骤S502，全天球成像设备410将部分图像0和部分图像1经由USB总线或网络传送到计算机设备430。用于位置检测的转换表也经由USB总线或网络传送至计算机设备430。此时，如果通过计算机设备430执行倾斜校正，则通过三轴加速度传感器120获得的倾斜信息也传送到计算机设备430。

注意，当全天球成像设备410和计算机设备430第一次识别彼此时可以传送用于全天球成像设备410的位置检测的转换表。即，将用于位置检测的转换表传送至计算机设备430一次就足够了；不需要每次传送转换表。用于位置检测的转换表例如存储在SDRAM(未示出)中以被读出并传送。到目前的步骤在全天球成像设备410上的处理中执行。步骤S503和之后在其中已经传送图像和表的计算机设备430上的处理中执行。

在步骤S503，计算机设备430使得用于位置检测的失真校正单元202使用用于位置检测的转换表对传送的部分图像0和1施加失真校正，以获得用于位置检测的校正图像0和1。此时，如果基于传送的倾斜信息由计算机设备430执行倾斜校正，则可以预先对垂直方向用于位置检测的转换表施加校正。在步骤S504，计算机设备430使得结合位置检测单元204在校正图像0和1的重叠区域中执行结合位置检测，以获得检测结果数据。在步骤S505，计算机设备430使得表校正单元206使用结合位置检测结果校正传送的用于位置检测的转换表，以调节图像在球面坐标系中的位置。在步骤S506，计算机设备430使得表生成单元208通过旋转变换变换坐标，从校正的用于位置检测的转换表生成用于图像合成的转换表。

在步骤S507，计算机设备430使得用于图像合成的失真校正单元210使用用于图像合成的转换表对原始部分图像0和1施加失真校正，以获得用于图像合成的校正图像0和1。通过上述合成处理，从由鱼眼透镜采集的两个部分图像生成全天球图像。然后，在步骤S509，计算机设备430将在步骤S508所生成的全天球图像保存到外部存储体中，并且处理在步骤S510结束。

注意，图23中所示的本实施例的流程图中的操作可以由计算机上的程序执行。即，控制全天球成像设备410的操作的CPU和控制计算机设备430的操作的CPU读取诸如ROM或RAM的记录介质中存储的程序，以将其加载到各自存储器上以实现上述全天球图像合成处理的各个部分。注意，图22和图23图示了分开配置的全天球图像成像系统的示例，其不意味着实施例限于图22和图23具体所示的那些。用于实现全天球图像成像系统的功能单元可以分布以在一个或多个成像设备和一个或多个计算机系统上以各种方式实现。

通过上述实施例，可以提供当检测多个输入图像之间的结合位置时能够检测适当结合位置的图像处理装置、图像处理方法、程序和成像系统。

注意，在上述实施例中，使用不同透镜光学系统在基本相同时间采集多个部分图像。替代地，在另一实施例中，可以从面向不同成像方向(方位角)的预定成像位置在不同定时由同一透镜光学系统采集多个部分图像以叠加。此外，在上述实施例中，通过具有大于180°的场角的透镜光学系统采集的两个部分图像被叠加以合成。替代地，在另一实施例中，通过一个或更多透镜光学系统采集的三个或更多部分图像可以叠加以合成。此外，在上述实施例中，使用鱼眼透镜的成像系统可以用作描述实施例的示例，实施例可用于使用超广角透镜的全天球成像系统。此外，在上述有利实施例中，描述了全天球图像的叠加，但是应用不限于此。实施例可应用于需要检测多个图像的结合位置的任何图像处理过程。

此外，可通过以诸如汇编语言、C、C++、C#、Java(注册商标)的传统编程语言或面向对象的编程语言编写的计算机可执行程序实现功能单元，并且功能单元可以存储在诸如ROM、EEPROM、EPROM、闪存、柔性盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、蓝光盘、SD卡和MO的机器可读记录介质中，以由介质或电信线分发。此外，功能单元的全部或一部分可通过例如现场可编程门阵列(FPGA)或ASIC(专用集成电路)的可编程设备(PD)实现，并且可通过记录介质分发为以诸如VHDL(超高速集成电路硬件描述语言)或Verilog-HDL的HDL(硬件描述语言)描述的数据，以生成用于将功能单元下载到PD上以在PD电路配置数据上实现的电路配置数据(比特流数据)。

此外，本发明不限于上述的这些实施例和示例，而是可以进行各种变化和修改，而不背离本发明的范围。

本申请基于2013年8月28日提交的日本优先权申请No.2013-177176、以及2013年8月28日提交的日本优先权申请No.2013-177197的优先权并要求其权益，其全部内容通过引用合并于此。

Claims (19)

1.一种检测多个输入图像之间的多个结合位置的图像处理装置，包括：

目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；

特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及

结合位置确定单元，被配置为依赖于特征量，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像确定结合位置。

2.如权利要求1所述的图像处理装置，其中结合位置确定单元依赖于具有大于感兴趣的目标图像的特征量的特征量的外围目标图像的结合位置，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像，确定与第二输入图像的结合位置。

3.如权利要求1所述的图像处理装置，还包括：

临时位置计算单元，被配置为基于感兴趣的目标图像和一个或多个外围目标图像之间的特征量的相对关系，对于感兴趣的目标图像计算临时位置；以及

匹配计算单元，被配置为基于由临时位置计算单元对感兴趣的目标图像计算的临时位置，计算感兴趣的目标图像与第二输入图像的部分之间的匹配。

4.如权利要求3所述的图像处理装置，还包括：

处理排序单元，被配置为基于特征量确定用于处理目标图像的顺序，所述顺序指定特征量的相对关系；

其中，临时位置计算单元通过使用具有所确定的结合位置和大于感兴趣的目标图像的特征量的特征量的一个外围目标图像的结合位置、以及具有未确定的结合位置和小于感兴趣的目标图像的特征量的特征量的另一外围目标图像的初始结合位置，对于感兴趣的目标图像计算临时位置。

5.如权利要求3或4所述的图像处理装置，其中，临时位置计算单元通过执行依赖于相对于感兴趣的目标图像的特征量的相对关系对一个或多个外围目标图像给出权重、以及对依赖于距感兴趣的目标图像的距离对一个或多个外围目标图像给出权重这两者中的一个或两者，对于感兴趣的目标图像计算临时位置。

6.如权利要求3至5的任一所述的图像处理装置，还包括：

评估值校正单元，被配置为基于由匹配计算单元计算的相似度校正评估值，使得评估值围绕临时位置为中心取较大值。

7.如权利要求3至6的任一所述的图像处理装置，还包括：

搜索范围设置单元，用于基于感兴趣的目标图像与所述一个或多个外围目标图像之间的特征量的相对关系，在第二输入图像中设置搜索范围用于匹配。

8.如权利要求2至7的任一所述的图像处理装置，其中，所述特征量是目标图像的边缘量、离差和标准差中的至少一个。

9.如权利要求1所述的图像处理装置，还包括：

匹配计算单元，被配置为使用依赖于由特征量计算单元计算的特征量的评估方法，计算具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像与第二输入图像的部分之间的匹配。

10.如权利要求9所述的图像处理装置，还包括：

评估值校正单元，被配置为使用依赖于由匹配计算单元使用的评估方法的校正方法，校正在由匹配计算单元计算的每个位置处的评估值。

11.如权利要求10所述的图像处理装置，还包括：

临时位置计算单元，被配置为基于感兴趣的目标图像与一个或多个外围目标图像之间的特征量的相对关系，对于感兴趣的目标图像计算临时位置；

其中，评估值校正单元基于由匹配计算单元计算的相似度校正评估值，使得评估值围绕临时位置为中心取较大值。

12.如权利要求9至11的任一所述的图像处理装置，其中特征量是目标图像的边缘量、离差和标准差中的至少一个。

13.如权利要求1所述的图像处理装置，其中，作为依赖于特征量的评估方法，当特征量大于参考值时使用给出相关值的评估方法，或当特征量小于参考值时使用给出误差差值的另一评估方法。

14.如权利要求9所述的图像处理装置，还包括：

转换单元，被配置为使用用于基于投影模型将采集图像的采集范围重叠的重叠区域投影到球面的赤道附近的转换数据，将多个采集图像转换到与当采集采集的图像时使用的坐标系不同的坐标系上，以生成输入图像；

校正单元，被配置为基于由结合位置确定单元的结合位置检测结果校正转换数据；以及

数据生成单元，被配置为对由校正单元校正的转换数据施加旋转坐标变换，以生成指定要施加到采集的图像用于图像合成的转换的用于图像合成的转换数据。

15.一种由计算机执行的检测多个输入图像之间的多个结合位置的图像处理方法，所述方法包括：

从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；

对于目标图像的每一个计算特征量；

对于具有比具有特征量的目标图像中的感兴趣的目标图像的特征量大的特征量的每个目标图像确定结合位置；以及

依赖于具有大于感兴趣的目标图像的特征量的特征量的目标图像的结合位置，对于感兴趣的目标图像确定与第二输入图像的结合位置。

16.一种非易失性计算机可读记录介质，其中存储程序，用于使得计算机执行检测多个输入图像之间的多个结合位置的处理，所述处理包括：

从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；

对于目标图像的每一个计算特征量；

对于具有比具有特征量的目标图像中的感兴趣的目标图像的特征量大的特征量的每个目标图像确定结合位置；

依赖于具有大于感兴趣的目标图像的特征量的特征量的目标图像的结合位置，对于感兴趣的目标图像确定与第二输入图像的结合位置。

17.一种由计算机执行的检测多个输入图像之间的多个结合位置的图像处理方法，所述方法包括：

从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；

对于目标图像的每一个计算特征量；以及

使用依赖于所计算的特征量的评估方法，计算目标图像中的感兴趣的目标图像与第二输入图像的部分之间的匹配。

18.一种非易失性计算机可读记录介质，其中存储程序，用于使得计算机执行检测多个输入图像之间的多个结合位置的处理，所述处理包括：

从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；

对于目标图像的每一个计算特征量；以及

使用依赖于所计算的特征量的评估方法，计算具有所计算的特征量的目标图像中的感兴趣的目标图像与第二输入图像的部分之间的匹配。

19.一种检测多个输入图像之间的多个结合位置的图像处理系统，包括：

图像采集单元；

获得单元，被配置为对于由图像采集单元采集的多个各自方位角从多个采集图像获得输入图像；

目标图像生成单元，被配置为从输入图像中的第一输入图像生成要在输入图像中的第二输入图像中搜索的多个目标图像；

特征量计算单元，被配置为对于由目标图像生成单元生成的目标图像的每一个计算特征量；以及

结合位置确定单元，被配置为依赖于具有大于感兴趣的目标图像的特征量的特征量的外围目标图像的结合位置，对于具有由特征量计算单元计算的特征量的目标图像中的感兴趣的目标图像，确定与第二输入图像的结合位置。