CN110365873A - 图像处理装置、摄影系统、图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、摄影系统以及图像处理方法，其针对在作为第一图像的等距柱形映射图像(EC)上叠加一部分或全部重叠的作为第二图像和第三图像的平面图象(PA)和(PB)时，即使第一图像和第二图像或第三图像之间的图像偏离获得抑制，但第二图像和第三图像之间的图像偏离依然显著的问题，通过计算第二图像在第一图像上的重叠位置(S110至S160；S210‑1)，而后求出第三图像在第二图像上的重叠位置(S190；S0‑2‑1、2)，从第三图像经由第二图像，阶段性地进行与第一图像的匹配处理，生成表示第三图像在第一图像上的重叠显示数据(S230‑1)，来抑制第二图像和第三图像之间的图像偏离。

Description

图像处理装置、摄影系统、图像处理方法

技术领域

本发明涉及图像处理装置、摄影系统、图像处理方法、计算机装置以及记录介质。

背景技术

在现有技术中，专利文献1(JP特开2016-96487号公报)公开了一种在广角平面图像上的部分区域中，嵌入另外拍摄得到的不同于广角平面图像的放大平面图像，用于在放大前述部分区域时也能够清晰显示图像的技术方案。

但是，在作为第一图像的等距柱形映射图像(背景图像)上重叠作为第二图像的平面图像(前景图像)、以及第三图像的平面图像(前景图像)的情况下，尽管能够抑制第一图像和第二图像(或者第三图像)之间的图像偏离，然而第二图像和第三图像一部分或全部重叠时，第二图像与第三图像之间的图像偏离依然显著。

发明内容

鉴于上述问题，本发明提出一种图像处理装置，其特征在于，具备，第一对应区域计算部，用于根据具有第一映射方式的第一图像中的多个特征点与具有第二映射方式的第二图像中的多个特征点之间的相似度，用第一单应转换，来计算所述第一图像中与第二图像对应的第一对应区域；映射方式转换部，用于通过把所述第一图像中的第一对应区域所包含的特定区域的映射方式，转换为所述第二图像的映射方式，来生成特定区域图像；第二对应区域计算部，用于根据所述第二图像中多个特征点与所述第一图像中多个特征点之间的相似度，用第二单应转换，来计算所述特定区域中与所述第二图像对应的第二对应区域；映射方式逆转换部，用于通过把所述第二对应区域的映射方式逆转换为所述第一映射方式，来计算所述第一图像中与所述第二对应区域对应的第一预定对应区域所表示的第一位置信息；以及，第三对应区域计算部，用于根据所述第二图像中的多个特征点与具有与所述第二映射方向相同的映射方式的第三图像中的多个特征点之间的相似度，用第三单应转换，来计算所述第二图像中与所述第三图像对应的第三对应区域，所述第二对应区域计算部用所述第二单应转换，来计算所述特定区域图像中与所述第三图像对应的第四对应区域，所述映射方式逆转换部把所述第四对应区域的映射方式逆转换为所述第一映射方式，计算所述第一图像中与所述第四对应区域对应的第二预定对应区域所表示的第二位置信息。

本发明得效果在于，能够抑制第二图像和第三图像之间的偏离。

附图说明

图1是特殊摄影装置的外观图，其中，(a)是特殊摄影装置的左视图，(b)是特殊摄影装置的后视图，图1(c)是特殊摄影装置的俯视图，(d)是特殊摄影装置的仰视图。

图2是使用特殊摄影装置的示意图。

图3是特殊摄影装置1拍摄的图像的示意图，其中，(a)中为特殊拍摄装置1拍摄的半球图像(前方)，(b)表示特殊摄影装置拍摄的半球图像(后方)，(c)是利用等距柱形映射法表示的图像。

图4是天球图像的示意图，其中，(a)显示用等矩柱形映射图像覆盖球的状态，(b)是天球图像。

图5是将天球图像作为三维立体球体显示时的假想照像机以及预定区域的位置的示意图。

图6是用来说明用假想照相机拍摄得到的图像中显示在显示器上的预定区域的示意图，(a)是图5的立体图，(b)显示器上预定区域。

图7是预定区域信息与预定区域T的图像之间的关系的示意图。

图8是本发明第一实施方式涉及的摄像系统的构成的示意图。

图9是适配器的斜视图。

图10是摄影系统使用方式的示意图。

图11是特殊拍摄装置的硬件结构模块图。

图12是普通摄像装置的硬件结构模块图。

图13是智能电话的硬件结构模块图。

图14是第一实施方式涉及的摄影系统的功能模块图。

图15是关于联动摄影的示意图，其中(a)是联动摄影管理表的示意图，(b)是联动摄影装置设定画面的示意图。

图16是第一实施方式涉及的图像及声音处理部的功能模块图。

图17是母图像为天球图像，自图像为平面图像时的重叠关系重叠关系元数据(1)的数据构成示意图。

图18是母图像和子图像均为平面图像时的重叠关系元数据(2)的数据构成示意图。

图19是重叠显示数据的数据构成示意图。

图20的(a)和(b)分别是第二对应区域和第三对应区域中的网格区域的示意图。

图21是第一实施方式涉及的摄影方法的时序图。

图22是重叠关系元数据以及重叠显示数据的生成处理过程中的图像示意图

图23是确定周边区域图像的示意图。

图24是将第二对应区域分割为多个网格的网格区域的示意图。

图25是等距柱形映射图像EC中第一以及第二预定对应区域的示意图。

图26是第一补偿参数的生成处理的过程中的图像示意图。

图27的(a)是以往的重叠位置计算处理的示意图，(b)是本实施方式中前景图像对应关系的示意图。

图28是以往的重叠位置计算处理的示意图。

图29是本实施方式的重叠位置计算处理的示意图。

图30是具有重叠关系的群组的示意图。

图31是重叠处理过程的图像示意图。

图32是天球图像上叠加了平面图像时的二维示意图。

图33是天球图像上叠加了平面图像时的三维示意图。

图34是在不使用本实施方式的位置参数的情况下在天球图像上叠加了平面图像时的二维示意图。

图35是在使用本实施方式的位置参数的情况下在天球图像上叠加了平面图像时的二维示意图。

图36是对比未重叠显示情况下和重叠显示情况下的图像显示的示意图，其中，(a)是未重叠显示时的广域图像的显示例，(b)是没有重叠显示时的广域图像的显示例，(c)是重叠显示时的广域图像的显示例，(d)是重叠显示时的电视图像的显示例。

图37是本实施方式的摄影系统构成示意图。

图38是第二实施方式涉及的图像处理服务器的硬件构成示意图。

图39是第二实施方式涉及的摄影系统的功能模块图。

图40是第二实施方式涉及的图像及声音处理部的功能模块图。

图41是第二实施方式涉及的摄影方法的时序图。

具体实施方式

以下参考附图说明本发明的实施方式。下文中的天球图像是一例第一图像，重叠图像是一例第二图像。周围区域图象是一例第三图像。

《实施方式概述》

以下描述本实施方式的概要。

首先用图1至图7描述天球图像的生成方法。

在此，先用图1描述特殊摄影装置1的外观。特殊摄影装置1是用于获得天球(360°)全景图像的原始摄影图像的数码像机。图1是特殊摄影装置的外观图，其中，(a)是特殊摄影装置的左视图，(b)是特殊拍摄装置的后视图，图1(c)是特殊摄影装置的俯视图，(d)是特殊摄影装置的仰视图。

如图1的(a)、(b)、(c)、(d)所示，特殊摄影装置1上部的正面(正前方)和背后(后方)分别设有鱼眼型透镜102a、102b。特殊摄影装置1的内部设有后述的摄像元件(图像传感器)103a、103b，摄像元件(图像传感器)103a、103b分别通过透镜102a、102b来拍摄被摄体或风景，获得半球图像(视角为180°以上)。特殊摄影装置1的正前方和后方设有快门按钮115a。特殊拍摄装置1的侧面设有电源按钮115b、Wi-Fi(Wireless Fidelity)按钮115c、以及摄影模式切换按钮115d。电源按钮115b和Wi-Fi按钮115c每当受到按动时进行ON/OFF切换。摄影模式切换按钮115d每当受到按动时，在静态图像摄影模式和动态图像摄影模式之间切换。快门按钮115a、电源按钮115b、Wi-Fi按钮115c、以及摄影模式切换按钮115d是操作部分115中的一部分按钮，而操作部115并不局限于这些按钮。

特殊拍摄装置1底部150的中间设有用于将特殊摄影装置1安装到相机三脚架上或普通摄影装置3上的三脚架螺纹孔151。底部150左侧设有Micro USB(Universal SerialBus)端子152。底部150的右侧设有HDMI(High-Definition Multimedia Interface:高清晰度多媒体接口)端子153。在此的HDMI是注册商标。

接着，用图2描述特殊摄影装置1的使用状况。图2是使用特殊摄影装置的示意图。特殊摄影装置1如图2所示，用于例如供用户手持该特殊摄影装置1拍摄周围的被摄体。在这种情况下，通过图1所示的摄像元件103a以及摄像元件103b分别拍摄用户周围的被摄体，可以获得两组半球图像。

接着，参考图3和图4描述用特殊摄影装置1拍摄的图像来制作等距柱形映射图像EC和天球图像CE的处理。图3是特殊摄影装置1拍摄的图像的示意图，其中，(a)中为特殊拍摄装置1拍摄的半球图像(前方)，(b)表示特殊摄影装置拍摄的半球图像(后方)，(c)是利用等距柱形映射法表示的图像(以下，称为等距柱形映射图像)。图4是天球图像的示意图，其中，(a)显示用等矩柱形映射图像覆盖球体的状态，(b)是天球图像。

如图3中(a)所示，由摄像元件103a获得的图像被后述的鱼眼透镜102a形成为弯曲的半球图像(前方)。同时，如图3的(b)所示，由摄像元件103a获得的图像被后述的鱼眼透镜102b形成为弯曲的半球状像(后方)。而且，半球图像(前方)和转动180度的半球图像(后方)通过特殊摄影装置1合成，形成如图3的(c)所示的等距柱形映射图像EC。

而后如图4所示，利用OpenGL ES

(Open Graphics Library for Embedded Systems)，用等距柱形映射方式将图像如图4中的(a)所示地覆盖到球面上，生成(b)所示的天球图像CE。这样，天球图像CE被显示为让等距柱形映射方式面向球体中心的图像。

OpenGL ES是用于将二维数据和三维数据可视化而使用的图形库。天球图像CE既可以是静态图像也可以是动态图像。

如上所述，天球图像CE如同覆盖似地贴在球面上，因而不适于人眼观看。对此，如果将天球图像CE的一部分预定区域(以下称为预定区域图像)以弯曲较少的平面图像来显示，可以避免人眼不适应的感觉。对此，以下将用图5和图6进行描述。

图5是将天球图像作为三维立体球体显示时假想照像机以及预定区域的位置的示意图。假想照相机IC的位置相当于，观看作为三维立体球所显示的天球图像CE的用户视点的位置。图6中，(a)是图5的立体图，(b)是显示器上预定区域的示意图。图6的(a)以三维立体球体CS来表示图4所示的天球图像CE。如此生成的天球图像CE如果是立体球体CS，则如图5所示，假想照相机IC位于天球图像CE的内部。天球图像CE中的预定区域T是假想照相机IC的摄影区域，该预定区域T可以通过包括天球图像CE在内的三维假想空间中表示假想照像机IC的拍摄方向和视角的预定区域信息来确定。

图6中，(a)所示的预定区域图像Q如(b)所示，被作为假想照相机IC的摄影区域的图像显示在显示器上，(b)所示的图像是用经过初始设定(默认)的预定区域信息所表示的预定区域图像。在下文中用假想照相机IC的摄影方向(ea，aa)和视角(α)进行说明。

参考图7，描述预定区域与预定区域T的图像之间的关系。图7是预定区域信息与预定区域T的图像之间的关系的示意图。如图7所示，ea表示仰角，aa表示方位角，α表示视角。即为了使得摄影方向(ea，aa)上显示的假想照像机IC的关注点成为假想照相机IC的摄影区域，即预定区域T的中心点CP，需要改变假想照相机IC的姿态。预定区域图像Q是天球图像CE中的预定区域T的图像。f是从假想照相机IC到中心点CP的距离。L是预定区域T中的任意顶点与中心点CP之间的距离(2L对角线)。图7中通常用下式1所表示的三角函数关系成立。

《第一实施方式》

以下参考图8至图36，描述本发明的第一实施方式。

〈摄影系统概述〉

首先参考图8，描述本实施方式的摄影系统的构成。图8是本实施方式的摄像系统的构成的示意图。

如图8所示，本实施方式的摄影系统包括特殊拍摄装置1、普通摄影装置3、智能电话5以及适配器9构成。特殊摄影装置1经由适配器9与普通摄影装置3连接。

其中，特殊摄影装置1是特殊的数码相机，如上所述，用于拍摄被摄体或风景等而获得天球(全景)图像的原始图像，即用于获得两个半球图像的专用数码相机。

普通摄影装置3是小型数码相机，除此之外，还可以是数码单反相机。普通摄影装置3中设有后述的操作部315之中的一部分即快门按钮315a。

智能电话5可以利用Wi-Fi、蓝牙(注册商标)、NFC(Near Field Communication)等短程无线通信技术，与特殊摄影装置1及普通摄影装置3进行无线通信。智能电话5能够在后述其自己的显示器517上显示分别从特殊摄影装置1和普通摄影装置3获取的图像。

智能电话5也可以不利用短程无线通信技术，而通过有线线缆与特殊摄影装置1以及普通摄影装置3和通信。智能电话5同时也是一例图像处理装置。除此之外，诸如平板PC(Personal Computer:电脑)、笔记本PC、台式PC均可以作为图像处理装置。再者，智能电话5也是一例后述的通信终端。

图9是适配器的立体图。如图9所示，适配器9由鞋适配器901、螺栓902、上部调整器903以及下部调节器904构成。其中，鞋适配器901可以滑动安装在普通摄影装置3的附件上。在该鞋适配器901的中心，设有可转动安装在三脚螺纹孔151上的螺栓902。该螺栓902可转动地配备有上部调节器903及下部调节器904。上部调节器903起到固定安装在螺栓902上的物体(例如，特殊摄影装置1)的作用。下部调节器904起到固定装有鞋适配器901的物体(例如普通摄影装置3)的作用。

图10是使用摄影系统的示意图。如图10所示，用户将智能手机5放入衣服口袋，用通过适配器9来安装了特殊摄影装置1的普通摄影装置3进行被摄体等的摄影。智能手机5也可以不放在衣服口袋，而是放在特殊摄影装置1和普通摄影装置3的无线通信范围内。

〈实施方式的硬件构成〉其次参考图11和图13详述本实施方式的特殊摄影装置1、普通摄影装置3、以及智能电话5的硬件构成。

特殊摄影装置的硬件构成

首先用图11描述特殊摄影装置1的硬件结构。图11是特殊拍摄装置1的硬件结构模块图。以下以使用2个摄像元件的天球(全景)特殊摄像装置作为特殊摄影装置1，但是摄像元件也可以是两个或更多。此外，特殊摄影装置1不并不一定是全景摄影专用装置，也可以在普通的数码相机或智能电话等上安装后设全方位摄像部，其与特殊摄影装置1功能实质相同。

如图11所示，特殊摄影装置1包括摄像部101、图像处理部104、摄像控制部105、麦克风108、音频处理部109、CPU(Central Processing Unit:中央处理部)111、ROM(ReadOnlyMemory:只读存储器)112、SRAM(Static Random Access Memory:静态随机存取存储器)113、DRAM(Dynamic Random Access Memory:动态随机存取存储器)114、操作部115、网络I/F 116、通信部117、天线117a、电子罗盘118、陀螺传感器119、加速度传感器120以及端子121。

其中，摄像部101具有用于各个半球图像的成像且具有180°以上视角的广角透镜(所谓的鱼眼透镜)102a、102b、以及与各个广角透镜对置的两个摄像元件103a、103b。摄像元件103a、103b具有用于将用鱼眼透镜102a、102b形成的光学图像转换为电信号的图像数据后输的CMOS(Complementary MetalOxide Semiconductor:互补金属氧化物半导体)或CCD(Charge Coupled Device:电荷耦合器件)传感器之类的图像传感器、用于生成这些图像传感器的水平或垂直同步信号或像素时钟等定时生成电路、该摄像元件的动作所需要的各种指令和参数被设定了的寄存器组等。

摄像部101的摄像元件103a、103b以并行I/F总线分别与图像处理部104连接，同时，还以串行I/F总线(I2C总线等)与摄像控制部105连接。图像处理部104、摄像控制部105以及音频处理部109经由总线110与CPU111连接。进而，总线110上也连接了ROM112、SRAM113、DRAM 114、操作部115、网络I/F 116、通信部117、以及电子罗盘118等。

图像处理部104通过并行I/F总线获取摄像元件103a、103b输出的图像数据，各图像数据经过规定的处理后，实行这些图像数据的合成处理，生成图3的(c)所示的等距柱形映射图像的数据。

摄像控制部105通常以摄像控制部105为主装置、摄像元件103a、103b作为从动器件，用I2C总线，对摄像元件103a、103b的寄存器群设定指令等。从CPU 111接受所需指令等。此外，摄像控制部105也同样利用I2C总线，取得摄像元件103a、103b的寄存器群的状态数据等，并将该状态数据送往CPU 111。

摄像控制部105在操作部115的快门按钮受到按动时，向摄像元件103a、103b发出图像数据输出指示。不同的特殊摄像装置1具有不同的功能，有些特殊摄像装置1具有显示屏(例如，智能电话5的显示器517)预览显示功能或动画显示功能。在这种情况下，来自摄像元件103a、103b的图像数据的输出以规定的帧速(帧/分钟)连续进行。

摄像控制部105还具有下述的同步控制部的功能，用于与CPU 111协作，使得摄像元件103a、103b的图像数据的输出时刻同步。虽然本实施方式中的特殊摄影装置1上没有设置显示器，但也可以设置显示部。

麦克风108用于将声音转换为声音(信号)数据。音频处理部109，通过I/F总线从麦克风108取得输出的声音数据，对声音数据实施预定的处理。

CPU 111在控制整个特殊摄影装置1的动作的同时，还实施必要的处理。ROM 112用来保存用于CPU111的各种程序。SRAM113和DRAM 114是工作存储器，用于保存CPU 111执行的程序和处理期间的数据等。DRAM 114特别用于保存图像处理部104中的处理过程中的图像数据或处理完毕的等距柱形映射图像的数据。

操作部115是快门按钮115a等的操作按钮的总称。用户通过对操作部115进行操作，来输入各种摄影模式和摄影条件等。

网络I/F 116是诸如SD卡等外部介质或与个人计算机等的接口(USB I/F等)的总称。无论无线还是有线均可用于网络接口116。保存在DRAM 114中的等距柱形映射图像的数据通过网络I/F 116保存到外部介质中，或者根据需要经由网络I/F 116送往智能电话5等外部终端(装置)。

通信部117利用Wi-Fi、NFC、蓝牙(Bluetooth)等的短程无线通信技术，经由设于特殊摄影装置1的天线117a，与智能电话5等外部终端(装置)通信。通过通信部117也能够向智能电话5等外部终端(装置)发送等距柱形映射图像的数据。

电子罗盘118用于根据地球的磁性计算特殊摄影装置1的方位，输出方位信息。该方位信息是遵循Exif文件的相关信息(元数据)的一个例子，用于摄影图像的图像补偿处理等各种图像处理。在此，相关信息包含图像的拍摄日期、以及图像数据的数据容量的各种数据。

陀螺仪传感器119是用于检测伴随天球相机20的移动而产生的角度变化(Roll，Pitch，Yaw)传感器。角度的变化是沿Exif的信息(元数据)的一个例子，用于摄影图像的图像补偿等图像处理。

加速度传感器120是用于检测3个轴向的加速度的传感器。特殊摄影装置3a根据加速度传感器120检测的加速度来求出装置本身(特殊摄影装置3a)的姿势(相对于重力方向的角度)。通过同时设置陀螺传感器119和加速度传感器120两者，可以提高特殊摄影装置3a的图像补偿精度。

端子121是Micro USB用的凹形端子。

普通摄影装置的硬件结构

接着，用图12说明普通摄像装置的硬件。图12是普通摄像装置3的硬件结构模块图。如图12所示，普通摄像装置3包括摄像部301、图像处理部304、摄像控制部305、麦克风308、音频处理部309、总线310、CPU 311、ROM 312、SRAM313、DRAM314、操作部315、网络I/F316、通信部317、天线317a、电子罗盘318以及显示器319。图像处理部304和摄像控制部305经由总线310连接CPU311。

上述各构件304、310、311、312、313、314、315、316、317、317a、318分别与图10的摄像装置1的各结构104、110、111、112、113、114、115、116、117、117a、118a的结构相同，在此省略说明。

进而，普通摄像装置3的摄影部301如图12中所示，在摄像元件303的正面，沿着从外部向摄像元件303的方向，依次设置透镜部306和机械快门307。

摄像控制部305在结构和处理上与摄像控制部105基本上相同，在此基础上，还根据操作部315受理的用户的操作，控制透镜部306以及机械快门307的驱动。

显示器319用于显示操作菜单、拍摄期间或拍摄之后的图像的一例显示部。

智能电话的硬件构成

以下使用图13描述智能电话机的硬件。图12是智能电话的硬件结构模块图。如图12所示，智能电话5具备CPU 501、ROM 502、RAM 503、EEPROM504、CMOS传感器505、摄像元件I/F 513a、加速度/方位传感器506、介质I/F508、GPS收信部509。

其中，CPU 501控制智能电话5的整体操作。ROM 502存储CPU 501或初始加载程序(IPL)等CPU驱动程序。RAM 503用于作为CPU 501的工作区域。EEPROM504按照CPU 501的控制执行智能电话用程序等各种数据的读取或写入。CMOS传感器505在CPU 501的控制下拍摄被摄体(主要是自拍像)以得到图像数据。摄像元件接口(I/F)513a是用于控制CMOS传感器512的驱动电路。加速度/方位传感器506是用于检测地磁的电子磁罗盘或陀螺罗盘、加速度传感器等的各种传感器。介质I/F(接口)508用于控制闪存等存储介质507的数据读取或写入(存储)。GPS收信部509用于从GPS卫星接收GPS信号。

智能电话5还具备远程通信电路511、天线511a、CMOS传感器512、摄像元件I/F513b、麦克风514、扬声器515、声音输入输出I/F 516、显示器517、外设连接I/F 518、短程通信电路519、短程通信电路519的天线519a、和触摸屏521。

其中，远程通信电路511是用于借助于后述的通信网络100与其它设备进行通信的电路。CMOS传感器512是一种在CPU 501的控制下拍摄被摄体并获得图像数据的内置型摄像装置。摄像元件I/F513b是用于控制CMOS传感器512的驱动电路。麦克风514是用于语音输入的一种内置型拾音装置。声音输入I/F 516是在CPU 501的控制下根据麦克风514和扬声器515之间的用于处理的声音信号的输入输出电路。显示器517是一种用于显示被摄体的图像或各种图标等的液晶或有机EL等的显示装置。外设连接接口(I/F)518是用于连接各种外设的接口。短程通信电路519是Wi-Fi、NFC、蓝牙等的通信电路。触摸面板521是一种输入装置，通过用户按动显示器517，操作智能电话5。

智能电话5包括总线510。总线510是用于CPU 501等的各构成要素电连接的地址总线或数据总线等。

存储了上述各程序的HD(HardDisk)、CD-ROM等的记录介质均可以作为程序产品(Program Product)向国内或国外提供。

〈实施方式的功能结构〉

以下用图11至图14描述本实施方式的功能结构。图13是本实施方式的摄影系统包含的特殊拍摄装置1、普通摄影装置3以及智能电话5的功能模块图。

特殊摄影装置的功能构成

首先参考图11及图14，详述特殊摄影装置1的功能结构。如图14所示，特殊摄影装置1具有受理部12、摄像部13、集音部14、图像及声音处理部15、判断部17、短程通信部18、以及存储及读取部19。这些功能部通过图11所示的各个结构元件中的任意元件，按照执行从SRAM113读取后展开到DRAM上的特殊摄影装置用程序的CPU111发送的指令动作来实现功能。

特殊摄影装置1具有如图11所示的ROM 112、SRAM113以及DRAM构成的存储部1000。

特殊摄影装置的各种功能结构

以下参考图10和图13进一步详细描述特殊摄影装置1的功能结构。

特殊摄影装置1的受理部12主要是通过图11所示的操作部115和CPU 111的处理来实现功能，接受来自用户的操作输入。

摄像部13主要通过图11中所示的摄像部101、图像处理部104、摄像控制部105、以及CPU 111的处理来实现功能，拍摄被摄体或风景等，获取摄影图像数据。该摄影图像数据如图3(a)、(b)所示，是天球图像数据的原始数据，即两个半球图像数据。

集音部14是通过图11所示的麦克风108和音频处理部109，以及CPU 111的处理来实现功能，用于在特殊拍摄装置1的周围收集声音。

图像及声音处理部15主要通过CPU 111的指令来实现功能，对摄影部13获得的摄影图像数据或集音部14获得的音频数据进行各种处理。例如，图像及声音处理部15根据两个摄像元件103a、103b各自获得的两个半球图像数据(参见图3的(a)和(b))，生成等距柱形映射图像数据(参照图3的(c))。

判断部17通过CPU 111的处理来实现功能，进行各种判断。

短程通信部18主要通过CPU111的处理以及通信部117和天线117a来实现功能，借助于诸如Wi-Fi之类的短程无线通信技术，与智能电话5的短程通信部58等通信。

存储及读取处理部19主要通过图11中所示的CPU111的处理来实现功能，将各种数据(或信息)保存到存储部1000中，或从存储部1000读出各种数据(或信息)。

普通摄影装置的功能结构

以下参考图12和图14进一步详细描述普通摄影装置3的功能结构。如图13所示，普通摄影装置3具有受理部32、摄像部33、集音部34、图像及声音处理部35、显示控制部36、判断部37、短程通信部38、以及存储及读取部39。这些功能部通过图12所示的各个结构元件中的任意元件按照执行从SRAM313读取后展开到DRAM314上的特殊摄影装置用程序的CPU311发送的指令动作，来实现功能。

普通摄影装置3具有以图12所示的ROM312、SRAM313、以及DRAM314构成的存储部3000。

普通摄影装置的各项功能构成

普通摄像设备3的受理部32主要是通过图12所示的操作部315和CPU 311的处理来实现功能，接受来自用户的操作输入。

摄像部33主要通过图12所示的摄像部301、图像处理部304、摄像控制部305、CPU311的处理来实现功能，拍摄被摄体或风景等，获取摄影图像数据。摄影图像数据是以透视映射方式拍摄的平面图像数据。

集音部34通过如图12所示的麦克风308和音频处理部309以及CPU 311的处理来实现功能，收集普通摄像装置3周围声音。

图像及声音处理部35主要通过CPU 311的指令来实现功能，对摄影部33获得的摄影图像数据或者集音部34获得的声音数据进行各种处理。

显示控制部36根据图12所示的CPU 311的处理来实现功能，在显示器319上显示基于正在拍摄或拍摄之后的摄影图像数据的平面图像P。

判断部37通过CPU 311的处理来实现功能，进行各种判断。例如，判断部37判断用户是否按动快门按钮315a。

短程通信部38主要通过CPU 311、以及通过通信部317和天线317a来实现功能，借助于诸如Wi-Fi之类的短程无线通信技术与智能电话5的短程通信部58等通信。

存储及读取处理部39主要通过图12中所示的CPU 311的处理来实现功能，将各种数据(或信息)保存到存储部3000之中，或从存储部3000读出各种数据(或信息)。

智能电话的功能结构

以下参考图13至图16详述智能电话5的功能结构。如图14所示，智能电话5具有远程通信部51、受理部52、摄像部53、集音部54、图像及声音处理部55、显示控制部56、判断部57、短程通信部58、以及存储及读取部59。上述各部功能通过图13所示的各个构成部中任意部，按照执行从EEPROM504上载到RAM503上的智能电话5用程序的CPU 501发送的指令而动作来得以实现。

智能电话5还具有图13所示的由ROM502、RAM503以及EEPROM504构建的存储部5000。该存储部5000中构建了联动摄影装置管理数据库5001。图14是关于联动摄影的示意图。该联动摄影装置管理数据库5001以图15的(a)所示的联动摄影装置管理表构成。图15中的(a)是一例联动摄影管理表。

联动摄影装置管理表

以下参考图15描述联动摄影装置管理表。如图15的(a)所示，联动摄影装置管理表将每台摄影装置与表示各台装置的联动关系的相关关系信息、摄影装置的IP地址以及摄影装置的装置名称相关联地管理。其中，相关关系信息表示在以装置本身的快门受到按动而开始摄影的摄影装置为主摄影装置，根据主摄影装置的拍摄设备在快门受到按动而开始摄影的其它摄影装置为子摄影装置。IP地址是在用Wi-Fi通信的情况下，用来取代使用USB的有线电缆通信的情况下的制造商ID(标识)和产品ID、以及取代使用蓝牙的无线通信时的BD(Bluetooth Device Address)。

智能电话的各项功能结构

智能电话5的远程通信部51主要是通过图13所示的远程通信电路511和CPU 501的处理来实现功能，并且经由诸如因特网之类的通信网络，与其他装置(例如智能电话、服务器)之间进行各种数据(或信息)的发送和接收。

受理部52主要通过触摸面板521和CPU 501的处理来实现功能，接受用户的各种选择或输入。触摸面板521也可以用来兼顾显示器517。还可以是触摸面板以外的输入装置(按钮)等。

摄像部53主要包括图13中所示的CMOS传感器505和512、以及CPU 501的处理来实现功能，并拍摄被摄物或风景等，获取摄影图像数据。该摄影图像数据是以透视映射方式拍摄的平面图像数据。

集音部54通过图13中所示的麦可风514、以及CPU 501的处理来实现功能，收集智能电话5的周围的声音。

图像及声音处理部55主要通过CPU501的指令来实现功能，对摄影部53获得的摄影图像数据或集音部54获得的声音数据，实施各种处理。

显示控制部56通过图13所示的CPU 501的处理来实现功能，用于在显示器517上显示基于摄像部53正在拍摄或拍摄之后的摄影图像数据的平面图像P。显示控制部56利用图像及声音处理部55生成的重叠显示数据，将后述的平面图象P的各个格子区域LA0配合位置参数所表示的位置以及补偿参数所表示的灰度值和色度值，从而在天球图像CE上重叠并显示平面图象P。在此，第一位置参数是一例“第一位置信息”，第二位置参数是“一例第二位置信息”。“位置信息”是第一位置信息和第二位置信息的总称。第一补偿参数是一例“第一补偿信息”，第二补偿参数是一例“第二补偿信息”。“补偿信息”是第一补偿信息和第二补偿信息的总称。

判断部57通过图13所示的CPU 501的处理实现功能，进行各种判断。

短程通信部58主要由CPU 501的处理、短程通信电路519以及天线519a来实现功能，特殊成像装置1的短程通信部18、普通摄影装置3的短程通信部38等可以通过诸如Wi-Fi之类的短程无线通信技术进行通信。

存储及读取部59主要通过图13所示的CPU 501的处理来实现功能，在存储部5000中保存重叠显示元数据以及重叠显示数据等各种数据(或信息)，或者从存储部5000读取重叠显示元数据以及重叠显示数据等各种数据(或信息)。存储及读取部59起到从存储部5000获取各种数据的取得部的作用。

图像及声音处理部各功能的具体构成

在此，参考图16来详述图像及声音处理部55的各功能结构。图16是图像及声音处理部的具体功能模块图。

图像及声音处理部55主要具有实行编码的生成部55a和实行解码的重叠部55b。生成部55a实行后述图21所示的步骤S22的处理。重叠部55b实行后述图21所示的步骤S23的处理。

生成部的各项功能

首先说明生成部55a的功能结构。生成部55a进一步分成元数据生成部55a1和显示数据生成部55a2的两个部，在此先说明元数据生成部55a1。

[元数据生成部的各项功能构成]

元数据生成部55a1从平面图像PA、平面图像PB、等距柱形映射图像EC中找出形成母子关系的图像对。虽然平面图像可以是三个以上，但在此为了简化说明，设为两个。寻找成对图像的方法例如有，对于输入图像中的两个图像的组合构成的图像进行匹配处理，求出重叠位置，来判断一方的图像是否包含在另一方的图像中。此外也可以在事先指定母子关系的基础上生成元数据。例如，在等距柱形映射图像EC和平面图像PA具有母子关系，以及平面图像PA和平面图像PB具有母子关系的情况下，对平面图像PA和平面图像PB分别生成重叠关系元数据。这样，对于构成母子关系的图像组(在此因为是两个图象，因而也可以用一对来表述)，既可以由用户来设定母子关系，也可以按照图像的视角大小排序，决定成为母子关系的群组。而关于是否能够从组成母子关系的群组来正确地形成母子关系，如先前所示，通过进行匹配处理，计算重叠位置，来判断一方的图像是否包含在另一方的图像中，重新确认母子关系的群组。因此，元数据生成部55a1具有提取部550、第一对应区域计算部552、关注点确定部554、映射方式转换部556、第二对应区域计算部557a、第三对应领域计算部559a、以及重叠关系元数据生成部558。另外，以下将要说明的图像和区域的符号如图22所示。图22是重叠关系参数以及重叠显示数据的生成处理过程中的图像示意图。

提取部550基于各图像的局部特征来提取特征点。局部特征是指可以在图像内找到的边缘或斑点等图案或构造。经过局部特征数值化所得到的是特征量。在本实施方式中，提取部550在不同的图像中提取各自的特征点。提取部550使用的两个图像的变形只要不十分显著，即便如本实施方式是不同的映射方式也是可以的。例如，提取部550通过等距柱形映射方式得到的长方形等距柱形映射图像EC与通过透视映射方式得到的长方形平面图像P之间、以及平面图像P与经过映射方法转换部556转换后的周边区域图像PI之间使用。在此，等距柱形映射方式是一例第一映射方式，透视射影方式是一例第二映射方式。等距柱形映射图像是一例第一映射图像，平面图像P是一例第二映射图像。平面图象PB是一例第三图像。“平面图象P”是平面图象PA、PB的总称。

第一对应区域计算部552首先在求出基于等距柱形映射图像EC中多个特征点fp1的各特征量fv1的同时，求出基于平面图像P中多个特征点fp2的各特征量fv2。特征量的描述的方法有多种方式，本实施方式优选对尺度和转动不变或具有鲁棒性。其次，第一对应区域计算部552根据求出的等距柱形映射图像的多个特征点fp1的特征量是fv1与平面图像P的多个特征点fp2的特征量fv2之间的相似度，计算图像之间的对应点，并根据求出的图像之间的对应点的关系，计算等距柱形映射图像EC中与平面图像P对应的单应(homography)，将该单应用于转换，进行第一单应转换。其结果，第一对应区域计算部552求出第一对应区域CA1。在这种情况下，平面图像P的四个顶点构成的四角形(矩形)的中心点CP1通过第一单应转换，成为等距柱形映射图像EC中注关注点GP1。在此，对应点是基于相似度从各个图像选择的多个特征点。

在此，设平面图像Pi的四个顶点的顶点坐标为，P1＝(x1，y1)、p2(x2，y2)、P3＝(x3，y3)，p4＝(x4，y4)，第一对应区域计算部552根据以下所示的(式2)决定中心点CP1(x，y)。

图22中平面图像P的形状为长方形，但使用对角线的交点后，能够求出正方形、梯形、菱形等四角形的部分图像的中心坐标。当平面图像P的形状被限定为长方形、正方形时，出于简化计算起见，可以将对角线的中点作为部分图像的中心坐标PC。对角线P1P3的中点的计算以式(3)表示。

关注点确定部554用于确定平面图像Pi的中心点CP1经过第一单应转换后等距柱形映射图像EC上所在的点(本实施方式中称为“关注点”)。

顺便提及，关注点GP1的坐标是等距柱形映射图像ECi上的坐标，为此用纬度和经度表示有利于转换。具体而言，等距柱形映射图像ECi的垂直方向用-90°(-0.5π)至+90度(+0.5π)的纬度坐标表示，水平方向用-180度(-π)至+180度(+π)的经度坐标表示。这样，便能够用纬度坐标和经度坐标来计算等距柱形映射图像EC的图像大小所对应的像素位置坐标。

映射方式转换部556用于以等距柱形映射图像EC中的关注点GP1为中心的周边区域PA转换为与平面图像P相同的透视摄影方式的周边区域图像PI。在这种情况下，确定原始映射转换对象的周边区域PA，用以生成以关注点GP1经过转换后的点作为中心点CP2、并以与平面图像P的对角线视角α相同的视角为垂直视角(或水平视角)时能够确定的正方形周边区域图像PI。以下进一步详述。

映射方式的转换

首先说明映射方式的转换。如图3至图5的说明，通过把等距柱形映射图像EC覆盖到立体球体CS上，制作天球图像CE。因此等距柱形映射图像EC上的各像素数据能够与三维天球图像的立体球体CS表面上的各像素数据对应。在此，设等距柱形映射图像EC中的坐标以(纬度、经度)＝(ea，aa)表示、三维立体球体CS上的坐标以直角(x，y，z)表示，则映射方式转换部556的转换公式可以表示为下式4。

(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea)) (式4)

在此，设立体球体CS的半径设为1。

另一方面，透射映射图像的平面图像Pi是二维图像，在以二维的极坐标(矢径，角度)＝(r，a)表示时，半径r对应对角线视角α，取值范围为0≤r≤tan(对角线视角/2)。当以二维正交坐标系统(u，v)表示平面图像P时，与极坐标(矢径、角度)＝(r，a)之间的关系可以通过下式5表示。

u＝r×cos(a)，v＝r×sin(a) (式5)

其次，考虑上述式5与三维坐标(矢径、极角、方位角)对应。在此，由于只考虑立体球体CS的表面，因此，三维极坐标的半径为1。对贴在立体球体CS表面上的等距柱形映射图像EC进行透视映射转换的映射时，设想在立体球体CS的中心上设置假想照相机IC，则此时，用上述二维极坐标(矢径、偏角)＝(r，a)可以用下式6和式7表示。

r＝tan(极角) (式6)

a＝方位角 (式7)

设极角为t时，t＝arctan(r)，三维坐标(矢径、极角、方位角)，可以表示为(矢径、极角、方位角)＝(1，arctan(r)，a)。

从三维极坐标转换到正交坐标系(x，y，z)的转换可以用下式8表示。

(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t))(式8)

利用上述式8，等距柱形映射方式的等距柱形映射图像EC和透视映射方式的平面图像P之间能够互相转换。也就是说，可以用需要制作的平面图像P的对角线视角α所对应的矢径r，来计算转换映射坐标，表示平面图像P的各像素与等距柱形映射图像EC的哪一个坐标对应，并根据该转换映射坐标，从等距柱形映射图像EC制作透视映射图像的周边区域图像PI。

上述映射方式的转换表示是等距柱形映射图像EC的(纬度、经度)在(90°，0°)的位置成为透视射影图像即周边区域图像PI的中心点CP2的转换。因此，在以等距柱形映射图像EC的任意点作为关注点进行透视映射转换时，只要进行坐标转动即可，让贴了等距柱形映射图像EC的立体球体CS转动，使得关注点的坐标(纬度，经度)设置到(90°，0°)的位置上。

关于该立体球体CS的转动的转换公式是一般的坐标转动公式，在此省略说明。

周边区域图像的确定

以下参考图23，描述周边区域图像PI的区域的确定方法。图23是确定周边区域图像时的示意图。

优选第二对应区域计算部557a在判断平面图像P和周边区域图像PI的对应关系时，尽可能在周边区域图像PI中宽裕地包含第二对应区域CA2。因此，如果将周边区域图像PI设定得比较宽阔，则不会发生不包含第二对应区域CA2的事态。但是如果周边区域图像PIi设定得过大，则需要计算相似度的对象像素相应增加，需要花费处理时间。因此，周边区域图像PI的区域尽可能在包含第二对应区域CA2的范围内越小越好。对此，本实施方式用以下所示方法来确定周边区域图像PI。

在本实施方式中，用平面图像的35mm换算焦距来确定周边区域图像PI，这可以通过摄影时记录的Exif数据获得。35mm换算焦距即以所谓的24mmx36mm的胶卷尺寸为基准的焦距，因此用该胶卷的对角、焦距来计算下式9、式10中相对应的对角线视角。

胶卷对角＝sqrt(24×24+36×36) (式9)

合成图像视角/2＝arctan((胶卷对角/2)/合成用图像35mm换算的焦距) (式10)

然而，用于覆盖该视角的图像为圆形，而实际的摄像元件(胶卷)为长方形，所以成为圆内接的长方型图像。本实施方式将周边区域图像PI的垂直视角α设定为与平面图像P的对角线视角α相同。这样，如图23的(b)所示的周边区域图像PI成为以覆盖图23的(a)所示的平面图像P的对角线视角α的圆的外接正方形，垂直视角α如下式11、式12所示，可以根据正方形的对角平面图像P的焦点距离来计算。

正方形对角线＝sqrt(胶卷对角*胶卷对角+胶卷对角*胶卷对角) (式11)

垂直视角α/2＝arctan((正方形对角/2)/(平面图像的35mm换算焦距)) (式12)

通过上述垂直视角α来进行映射转换，能够制作以关注点为中心尽可能宽阔地覆盖平面图像P的对角线视角α上的图像，且垂直视角α不会变得过大的周边区域图像PI(透视映射图像)。

接着返回图16，第二对应区域计算部557a用于计算平面图像PA中的多个特征点fp2A的特征量fv2A与周边区域图像PI中的多个特征点fp3A的特征量fv3A。基于所求出的各特征量fv2A、fv3A的相似度，计算图像之间的对应点，根据求出的图像之间的对应点的关系，求出周边区域图像PI中平面图像PA对应的单应，并将该单应用于转换，实行第二单应转换。其结果，第二对应区域计算部557a求出第二对应区域CA2。在此，对应点是根据相似度从各图像选择的多个特征点。

第三对应区域计算部559a用于计算平面图像PB中的多个特征点fp2B的特征量fv2B与平面图像PA中的多个特征点fp2A的特征量fv2A。基于所求出的各特征量fv2B、fv2A的相似度，计算图像之间的对应点，根据求出的图像之间的对应点的关系，求出平面图像PA中平面图像PB对应的单应，并将该单应用于转换，实行第三单应转换。其结果，第三对应区域计算部559a求出第三对应区域CA3。

重叠关系元数据生成部558根据第二对应区域计算部557a求出的第二对应区域CA2制作图17所示的重叠关系元数据(1)。重叠关系元数据生成部558根据第三对应区域计算部559a求出的第四对应区域CA4制作图18所示的重叠关系元数据(2)。

重叠关系参数(1)

图17是母图像为天球图像、子图像为平面图像时的重叠关系参数(1)的数据构成示意图。如图17所示，重叠关系参数(1)由母图像信息、图像识别信息、重叠位置计算信息、以及元数据制作信息构成。图像识别信息、重叠位置计算信息、以及元数据制作信息是本图像的信息。

其中，母图像信息是被重叠图像等的母图像的信息。母图像信息中包含母图像的识别信息，以及母图像的映射方式信息。

图像识别信息是重叠图像等本图像(自己本身的图像)的信息。图像识别信息包含本图像的识别信息和本图像的映射方式信息。

重叠位置计算信息包含计算时图像信息及重叠位置转换信息。计算时图像信息包含母图像信息及本图像信息。母图像信息包含母图像的图像大小，以及母图像为等距柱形映射图像时的生成信息。图像大小是例如后述的周边区域图像PI的大小，计算后述的重叠位置转换信息时的图像大小。生成信息包含关注点(度)、视角(度)、姿势补偿信(度)(Pitch，Yaw，Roll)。关注点(度)例如是后述的图22中的关注点GP2。视角(度)是例如后述的图23中的对角视角(垂直视角)α。姿势补偿信息(度)是特殊摄影装置1的天顶补偿信息。本图像信息表示例如作为图22中平面图像PA的本图像的图像大小。

重叠位置转换信息显示表示第二单应的转换矩阵。

进而，元数据制作信息显示该重叠关系参数的数据版本。

具体而言，包含用来确定母图像的信息的母图像信息、以及用来确定本图像(自己本身的图像)的信息的图像识别信息。关于图像识别信息，例如是以个人计算机管理的图像的情况下，可以使用该文件名，但通常为了从数量无法确定的多张图像中确定文件，只要对该图像分配唯一的ID即可，也可以考虑记录URI(Uniform Resource Identifier)，用来作为UUID(Universally Unique Identifier)的使用和网络上的资源。本例中记载了文件名。无论如何，具有通过用来确定自己本身的图像识别信息和用来确定母图像的母图像信息，来结合用母子关系结合两个图像的信息。另外还保存母图像以及自己本身的图像的映射方式信息，以下说明保存映射方式信息的理由。

将某个平面映射到另一个平面上的转换被称为单应(homography)，该转换可以用简单的3×3矩阵来表示。本实施方式也采用单应来表示母子图像之间的对应位置关系(映射)。此时，当母子图像之间的映射类型是透视映射图像间关系时，如果忽略母子图像的视差、变形等，则可以用从平面到平面的映射，也就是用单应来表示子图像中与母图像对应的对应位置。出于上述理由，把各图像的映射方式分别作为信息来保存，同时把转换矩阵作为将子图像映射到母图像上的重叠位置转换信息来保存。两个透视映射图像之间单应的计算方法可以采用公知技术，即提取各图像的特征点，用对应的特征点之间的匹配处理来推定平面。另外，如果两个图像之间没有大的像差，则也可以采用单纯通过模板匹配来推算与母图像对应的子图像的对应平面的方法。而如果可以用单应来表示母子之间的图像对应关系，那么当母与祖母之间的对应关系也可以同样地用单应来表示时，便具有可以用单应来表示自己与祖母的对应关系的有利之处。

另一方面，等距柱形映射图法是一例表现360度全方位图像的图法，被用来作为地图或360度天球相机输出图像形式。当子图像的映射方式为透视映射方式，母图像的映射方式为等距柱形映射方式时，无法用单应来表示对应关系。对此，将作为母图像的等距柱形映射图像的一部分区域转换为透视映射图像，再将转换成透视映射图像的单应，作为包含等距柱形映射图像的一部分转换成透视映射图像时的图像大小、关注点、视角、姿势信息的母图像信息来保存。本发明人已经公开了在不同映射方式的背景图像和前景图像之间，前景图像中与背景图像对应的区域位置关系的计算方法和保存方法，其中具体描述了等距柱形映射方式和透视映射方式的相互转换，在此不再重复说明。如果已知关注点、视角、图像大小，就可以从等距柱形映射图像中生成的透视映射的位置求出与等距柱形映射图像中的何处对应。实际上，在重叠图像时，并不需要制作表示对前景图像所有像素相对于背景图像的位置的数据，而是经过适当的纵横分割，求出经过网格化处理的格子状坐标，将该做表作为背景图像上等距柱形图法的纬度经度坐标即可。

重叠关系元数据(2)

图18是母图像为天球图像、子图像为平面图像时的重叠关系参数(2)的数据构成示意图。如图18所示，重叠关系参数(2)基本上与重叠关系参数(1)具有相同的数据结构，由母图像信息、图像识别信息、重叠位置计算信息、以及元数据制作信息构成。图像识别信息、重叠位置计算信息、以及元数据制作信息是本图像的信息。

但是，母图像信息的图像大小表示例如图22的平面图像PA的全区域的图像大小。另外，没有母图像为等距柱形映射图像时的生成信息。本图像信息的图像大小是例如图22的平面图象PB的全区域的图像大小。重叠位置转换信息表示为第三单应的转换矩阵。

在第一单应转换之前，为了加速第一单应的计算时间，可以调整平面图像PA和等距柱形映射图像EC中至少一方的图像大小。例如，在平面图像PA为4000万像素，而等距柱形映射图像EC为3000万像素的情况下，将平面图像PA调整为3000万像素，或者分别将双方图像均调整为1000万像素。同样地，在求出第二单应之前，可以调整平面图像PA和周边区域图像PI中的至少一方的图像大小。

本实施方式中的单应是表示等距柱形映射图像EC和平面图像P之间的映射关系的转换矩阵，通过平面图像P中的坐标乘以通过单应计算处理求出的单应转换矩阵，可以求出等距柱形映射图像EC(天球图像CE)上的对应坐标。

显示数据生成部的各项功能构成

显示数据生成部55a2具有第二对应区域计算部557b、第三对应区域计算部559b、区域分割部560、映射方式逆转换部562、形状转换部564、补偿参数生成部566、以及重叠显示数据生成部570。在不需要补偿明度或颜色的情况下，不需要形状转换部564以及补偿参数生成部566。

第二对应区域计算部557b用与第二对应区域计算部557a相同的单应来进行转换，进行第二单应转换。

第三对应区域计算部559b用与第三对应区域计算部559a相同的单应来进行转换，进行第三单应转换。

区域分割部560将图像中的一部分区域分为多个格子的区域。在此用图24说明将第二对应区域分割为多个格子的网格区域的方法。图24是将第二对应区域分割为多个格子的网格区域的示意图。

区域分割部560如图24(a)所示，把对应区域计算部552通过第二单应转换求出的第二对应区域CA2的顶点坐标的四个顶点构成的四角形分割为如图24(b)所示的多个各自的网格区域LA2。例如在水平方向和垂直方向上分别进行30和20等分。

以下说明多个格子的网格区域的具体的分割方法。

首先出示第二对应区域CA2的均等分割计算式。设将两点A(X1，Y1)、B(X2，Y2)之间的线段以均等间隔分割为n段，此时，从A到第m点Pm的坐标可以用下式13计算。

Pm＝(X1+(X2-X1)×m/n，Y1+(Y2-Y1)×m/n) (式13)

上式13可以用来计算线段均等分割的坐标，据此，能够求出经过分割后的四角形的上边和下边的坐标，而后进一步对用经过分割的坐标构成的线段进行分割。当设定四角形的左上、右上、右下、左下的各坐标分别为TL、TR、BR、BL时，可以求出将线段TL-TR和线段BR-BL均等30分割后的各个坐标。然后，对于0至第三0个经过分割的坐标，以相同顺序对相应的坐标之间的线段进行均等20分割，求出分割后的坐标。这样，便能够求出把四角形区域分割成30×20个小区域的坐标。在图24(b)中作为一例将TL的坐标表示为(LO_00，00，LA_00，00)。对于第四对应区域CA4实行相同的分割处理。

接下去返回图16和图22。映射方式逆转换部562将第二对应区域CA2的映射方式逆转换为与等距柱形映射图像EC相同的等距柱形映射方式，据此求出等距柱形映射图像EC中与第二对应区域对应的第一预定对应区域CA11。具体而言，映射方式逆转换部562计算等距柱形映射图像EC中与第二对应区域CA2的多个网格区域LA2对应的各网格区域LA3构成的第一预定对应区域CA11。图22显示第三对应区域CA，图25显示第三对应区域CA的放大图。图25是等距柱形映射图像EC中的第三对应区域的示意图。由此，平面图像P为了最终与第一预定对应区域CA11一致(映射)，叠加显示在通过等距柱形映射图像EC制作的天球图像CE上。通过上述映射方式逆转换部562的处理来生成表示各网格区域LA3的各网格点的坐标所示的位置参数。位置参数如图19和图20(b)所示。在此，网格点是一例多个点。

如上所述，通过制作位置参数，可以求出等距柱形映射图像EC和平面图像P之间的位置关系。

但是，如果把求出的位置参数直接重叠显示，则在等距柱形映射图像EC和平面图像P之间明度或色调差异较大的情况下，会发生不自然的重叠显示。对此，以下所示的形状转换部564及补偿参数生成部566用来防止在明度和色调差异较大时出现不自然的重叠显示。

形状转换部564在后述的颜色匹配之前，通过将第二对应区域CA2的四个顶点映射到平面图像P的四个顶点上，将第二对应区域CA2专换为与平面图像P相同的形状。具体而言，为了图26(a)所示的第二对应区域CA2中的各个网格区域LA2与图26(c)所示的平面图像P的各个网格区域LA匹配，把第二对应区域CA2的形状转换为与平面图像P相同的形状。由此，如图26(a)所示的第二对应区域CA2的形状被转换为图26(b)所示的第二对应区域CA2'的形状。随之，网格区域LA2被转换成网格区域LA2'，因而，与平面图像P的网格区域LA的形状相同。对于第四对应区域CA4也是进行相同的转换处理。

补偿参数生成部566用于生成补偿参数，该补偿参数用于使得被转换为相同形状后的第二对应区域CA2'中各网格区域LA2'与与各网格区域LA2'形状相同的平面图像P中的各网格区域LA0之间，明度值和色调值一致。具体而言，补偿参数生成部566计算构成共有一个网格点LA0的四个网格区域的全部像素的明度值和色调值(R，G，B)的平均值a＝(R_ave、G_ave、B_ave)，同时，计算构成共有一个网格点LA2′的四个网格区域的全部像素的明度值和色调值(R′，G′，B′)的平均值a'＝(R_ave'，G_ave'，B_ave')。而当上述各网格点LA0的一点以及各网格点LA2'的一点位于第二对应区域CA2和第一预定对应区域CA11的四个顶角时，补偿参数生成部566计算一个网格区域的明度值的平均值a和色调值得平均值a'。进而，当上述各网格点LA0的一点和各网格点LA2'的一点是第二对应区域CA2和第一预定对应区域CA11的外周上的点时，补偿参数生成部566计算位于内侧的两个网格区域明度值的平均值a和色调值的平均值a'。而后在本实施方式中，补偿参数成为用于补偿平面图像P的明度值和色调值的增益数据，如以下(式14)所示，用平均值a除以平均值a'，求出补偿参数Pa。

Pa＝a'/a (式14)

由此，在后述的重叠显示中，将补偿参数表示的增益值与每个网格区域LA0相乘，能够使得平面图像P的色调和明度达到接近于等距柱形映射图像EC(天球图像CE)的像素值，从而消除重叠显示外观上的差异感觉。在此，补偿参数不仅可以用平均值计算，也可以用中间值、最多值等来取代平均值或加入平均值来进行计算。

本实施方式在明度值和色调值的补偿值计算中使用像素值(R，G，B)，除此之外，还可以用灰度和色差信号的YUV格式或JPEG的sYCC(YCbCr)格式等中的灰度值、色差值，除以用同样的方法求出构成网格区域的全部像素的灰度值及色差值的平均值，将得到的结果作为后述的重叠显示的补偿参数。另外，从RGB转换到YUV、sYCC(YCbCr)的转换方法是公知方法，在此省略详述，作为参照，例举用(式15)进行从JPEG压缩图像格式(JFIF(JPEG文件互换格式)形式的RGB转换到YCbCr的例子。

重叠显示元数据生成部570用于利用位置参数和补偿参数等，生成表示平面图像P叠加在天球图像CE上时的位置、以及明度值和色调值的补偿值的重叠显示元数据。对于第四对应区域CA4也实行相同的生成处理。

进一步说明，第三对应领域计算部559b通过提取与平面图像PA相关联的重叠关系元数据(2)，解读其中的母图像识别信息，判断母图像为平面图像PA。第三对应领域计算部559b能够取得平面图像PA和平面图像PB之间的重叠位置计算信息(计算时图像信息及重叠位置转换信息)。而后第三对应领域计算部559b取得母图像的重叠关系元数据。如上所述，母图像在重叠关系元数据(1)的母图像识别信息中记载了文件名和ID信息，因此以此为搜索键，取得母图像的重叠元数据。如果是个人PC等管理，可以单纯地当作文件来取得。而如果是云服务器管理，则可以以ID信息为搜索键，获取重叠关系元数据。本例中可以在作为重叠关系元数据(1)取得并解读内容后，确定其母图像为等距柱形映射图像EC，其映射方式为等距柱形映射。另外，母图像信息的重叠位置计算信息中记载了从等距柱形映射图像EC生成透视映射图像(周围区域图像PI)时的关注点、视角、图像大小信息。因此，使用重叠关系元数据(1)、(2)中分别记载的重叠位置变换信息(单应)和图像大小信息，将平面图像PA、PB上的区域信息转换为从等距柱形映射图像EC生成的透视映射上的区域信息。然后，求出经过区域分割部560网格分割转换后对应区域的位置信息。进而，映射方式逆变换部562使用从重叠显示元数据(1)、(2)取得的注视点、视角信息，将求出的位置信息作为第一或第二位置参数，转换为等距柱形映射图像EC上的位置信息。而后，用形状变换部根据区域分割部560分割的位置信息来转换形状，计算并保存在补偿参数生成部566中根据转换后的形状指定的等距柱形映射图像EC生成的透视映射图像、以及通过与平面图像PA或平面图像PB对应的区域的明度和颜色进行比较而得到的第一或第二补偿参数。这样，通过使用生成的第一或第二位置参数以及第一或第二补偿参数，可以将图像重叠在图像上。

重叠显示数据

接着，用图19说明重叠显示数据的数据结构。图19是重叠显示数据的数据结构示意图。

如图19所示，重叠显示数据包括平面图像信息以及重叠显示信息。

其中，平面图像信息是来自普通摄影装置3的与摄影图像数据一起传送来的信息。平面图像信息包含图像识别信息和附加信息。平面图像信息中的图像识别信息用于识别平面图像P的图像。图19中用图像的文件名作为一例图像识别信息。除此之外，也可以识别图像的图像ID作为图像识别信息。

另外，平面图像信息中的附属信息是附属于平面图像信息的关联信息。图19中用35mm换算焦距的值作为一例平面图像信息的附加信息。35mm换算焦距的值并不是在平面图像P叠加显示天球图像CE所必须的，在此例举主要是用来作为进行重叠显示时作为决定显示的视角的参考信息。

重叠显示信息是智能电话5中生成的信息，包含区域分割数量信息、各网格区域的网格点的位置(位置参数)以及明度值和色调值的补偿值(补偿参数。其中，区域分割数量信息表示第一对应区域CA1被分割成多个网格区域时水平(经度)方向的分割数量和垂直(纬度)方向的分割数量。

位置参数是表示，在平面图像P被分割为网格形状的多个区域时，每一个网格点被配置在等距柱形映射图像EC(天球图像CE)中哪个位置的顶点映射信息。补偿参数在本实施方式中是用于补偿平面图像P的颜色的增益数据。在补偿对象是单色图像的情况下，补偿参数是用于使得明度值和色值中的至少明度值一致的参数。

在取得天球图像CE的情况下，如果使用与平面图像P相同的映射方式即透视映射方式，则无法进行360°全方位拍摄。为此，即便要在天球图像CE的一部分区域上叠加除天球图像CE之外的拍摄得到的平面图像P，也会因为等距柱形映射图像EC和平面图像P的映射方式不同，等距柱形映射图像EC(天球图像CE)和平面图像P不相配，而无法使得平面图像P很好地溶入天球图像CE。为此，经常使用作为一种映射方式的等距柱形映射方式来生成天球图像之类的广角图像。但是使用等距柱形映射方式的问题在于，如同所谓的墨卡托制图法，离开标准纬线越远横向长度越扩大，因而其形成的图像与普通相机中所采用的是透视映射图像有很大差异。出于上述理由，即使只是单纯地改变图像的比例尺后重叠，图像无法保持一致，平面图像P不能很好地溶入天球图像CE。对此，本实施方式通过图22所示的处理来生成位置参数。

以下参考图20详细说明位置参数和补偿参数。图20中(a)是第二对应区域中网格区域的示意图，(b)是第三对应区域中网格区域的示意图。

如图20(a)所示，用与平面图像P相同透视映射方式转换等距柱形映射图像EC的一部分区域即第一对应区域CA1，得到第二对应区域CA2。在本实施方式中，该第二对应区域CA2被分割为水平分割数量30、垂直分割数量20的网格区域。图20(a)中，各个网格区域的网格点的坐标(LO_00，00，LA_00，00)、(LO_01，00，LA_01，00)，…，(LO_30，20，LA_30，20)、以及各个网格区域的网格点的明度值和色调值的补偿值(R_00，00，G_00，00，B_00，00)，(R_01，00，G_01，00，B_01，00)，…，(R_30，20，G_30，20，B_30，20)来表示。另外，为了简化附图，图中仅显示了四个顶点上的网格点的坐标以及明度值和颜色值的补偿值，但实际上，所有的网格点均存在坐标以及明度值和颜色值的补偿值。并且，每个明度值和色调值的补偿值R、G和B分别表示红色补偿增益，绿色补偿增益，蓝色补偿增益。各个明度值和色调值的补偿值R、G、B实际上表示以各个网格点的坐标为中心的规定范围(与相邻网格点的规定范围不重叠的范围)内的图像的明度值和颜色值的补偿值。

另一方面，如图20(b)所示，将第二对应区域逆转换为与等距柱形映射图像EC相同的等距柱形映射方式所得到的第一预定对应区域CA11，在本实施方式中，被同样分割为水平分割数量30、垂直分割数量20的具有多个格子的网格区域。图20(b)中的各网格区域的网格的坐标(LO’_00，00，LA’_00，00)，(LO’_01，00，LA’_01，00)，…，(LO’_30，20，LA’_30，20)以及与第二对应区域CA2的各补偿值相同的明度值和色调值的补偿值。此时，为了简化附图，图中仅显示了四个顶点上的网格点的坐标以及明度值和颜色值的补偿值，但实际上，所有的网格点均存在坐标以及明度值和颜色值的补偿值。

如上所述，位置参数是表示平面图像P和等距柱形映射图像EC(天球图像CE)各自的位置对应关系。然而，如果用位置参数来表示图平面图像P的各个像素位置与等距柱形映射图像EC(天球图像CE)的坐标之间的相应关系的信息，则普通摄影装置3若为高像素数数码相机时，需要表示约4000万像素数量的信息，因此会造成位置参数的数据量增多，而且数据存储等的处理非常麻烦。在此，本实施方式的位置参数是表示被分割为600个(30×20)个区域的平面图像P的网格点的坐标与等距柱形映射图像EC(天球图像CE)中的位置的对应关系的数据。另外，在智能电话5进行重叠显示的情况下，根据网格点的坐标对每个区域中的图像的位置进行内插，从而能够实现重叠显示。后述的第四对应区域CA4和第二预定对应区域CA12之间的关系，与第二对应区域CA2和第一预定对应区域CA11之间的关系相同。

以下，参考图16，描述重叠部55b的功能结构。重叠部55b具有粘贴区域生成部582、补偿部584、图像生成部586、图像重叠部588、以及映射转换部590。

其中，粘贴区域生成部582用于在假想的三维球体CS中，生成与第一预定对应区域CA11相对应的区域部分(以下，称为「部分立体球」)PS。

补偿部584用于根据重叠显示元数据中的补偿参数，配合等距柱形映射图像EC的明度值和色调值来补偿平面图像P的明度值和色调值。补偿部584不局限于补偿明度或颜色。补偿部584用补偿参数进行补偿时，也可以只补偿明度而不补偿颜色。

图像生成部586将平面图像P(或该平面图像P经过补偿之后形成的补偿图像C)贴到部分立体球形PS上，生成重叠图像S。图像生成部586根据部分立体球PS的区域，生成屏蔽数据(mask data)M。进而，图像生成部586将等距柱形映射图像EC贴在立体球体CS上，形成天球图像CE。

在此，屏蔽数据M是在将重叠图像S叠加到天球图像CE上时可以使用的透射率数据。关于屏蔽数据M，在重叠图像S叠加到天球图像CE上时，由于边界附近的明度和色调从内侧的重叠图像S逐渐接近外侧的天球图像CE，因而屏蔽周边的透射度从接近内侧的重叠图像S逐渐向接近外侧的天球图像CE而变高。由此，在将重叠图像S叠加到天球图像CE上时，能够尽量不凸显重叠。但是，掩蔽数据M的生成并不是必须的。

图像重叠部588用于将重叠图像S和屏蔽数据M叠加在天球图像CE上。由此形成边界不明显地叠加了高清晰度重叠图像S的低清晰度天球图像CE。

映射转换部590如图7所示，基于预先设定的假想照相机IC的视线方向(规定区域T的中心点CP)和规定区域T之间的视角α，将处于叠加了重叠图像S状态下的天球图像CE中的规定区域T，映射转换为显示在显示器517上。并且，映射转换部590还在映射转换之际，实行规定区域T与显示器517中的显示区域的分辨率保持一致的处理。具体而言，当规定区域T的分辨率小于显示器517的显示区域的分辨率时，映射转换部590放大规定区域T，使得规定区域能够与显示器517的显示区域保持一致。相反，当规定区域T的分辨率大于显示器517的显示区域的分辨率时，映射转换部590缩小规定区域T，使得规定区域能够与显示器517的显示区域保持一致。由此，显示控制部56便能够在显示器517的整个显示区域上显示表示规定区域T的规定区域图像Q。

〈实施方式的处理或动作〉

以下参考图21至图36，描述本实施方式的处理或动作。首先用图21描述摄影系统实行的摄影方法。图21是本实施方式涉及的摄影方法的时序图。以下描述被摄物或风景等的拍摄，但是在拍摄同时还可以用集音部14对周围的声音进行录音。

如图21所示，智能电话5的受理部52用于接受用户发送的联动摄影开始的指示(步骤S11)。在这种情况下，显示控制部56在显示器517上显示如图15(b)所示的联动摄影装置设定画面。该画面上显示各台摄影装置用来指定联动摄影时主摄影装置的单选按钮以及指定(选择)联动摄影时副摄影装置的复选框。此外还显示各台摄影装置的装置名称和电波的接收强度。当用户指定(选择)了主摄影装置和副摄影装置后，按动「确定」按钮，从而受理部52受理上述联动摄影开始的指示。在此，可以有副摄影装置，因而可以利用复选框来指定(选择)多个摄影装置。

然后，智能电话5的短程通信部58通过轮询，向普通摄影装置3的短程通信部38发送表示摄影开始查询的摄影开始查询信息(步骤S12)。这样，普通摄影装置3的短程通信部38收到拍摄开始询问信息。

其次，普通摄影装置3的判断部37根据受理部32是否收到来自用户的按下快门按钮315(a)，来判断摄影是否开始(步骤S13)。

接着，普通摄影装置3的短程通信部38向智能电话5发送表示响应步骤S13的判断结果的应答内容的应答信息(步骤S14)。在步骤S13中，如果判断摄影已经开始，则响应信息中包括表示摄影开始的摄影开始信息。在这种情况下，响应信息还包含普通摄影装置3的图像识别信息。而如果步骤S13判断摄影未开始，则响应信息包含表示摄影待机等摄影待机信息。由此，智能电话5的短程通信部58便收到应答信息。

接着描述当步骤S13判断为摄影已经开始且步骤S14中收到的应答信息包含摄影开始信息时的动作。

首先，普通摄影装置3开始摄影(步骤S15)。该摄影处理包括按动快门315a之后，摄像部33拍摄被摄体或风景等，取得摄影图像数据(在此为平面图像数据)，而后存储及读取部39将摄影图像数据保存到存储部3000之中。

其次，在智能电话5中，短程通信部58向特殊摄影装置1发送表示摄影开始的要求的摄影开始要求信息(步骤S16)。据此，特殊摄影装置1的短程通信部18收到摄影开始要求信息。

另一方面，特殊摄影装置1开始摄影(步骤S17)。该摄影处理中实行如下具体处理，即摄像部13拍摄被摄体或风景等，生成摄影图像数据(图3(a)、图3(b)所示的两个半球图像数据)，图像及声音处理部15基于两个半球图像数据，生成图3(c)所示的一个等距柱形映射图像数据，存储及读取部19将等距柱形映射图像数据保存到存储部1000。

接着，在智能电话5中，短程通信部58向普通摄影装置3发送表示要求摄像图像的摄像图像要求信息(步骤S18)。该摄像图像要求信息中包含步骤S14中收到的图像识别信息。由此，普通摄影装置3的短程通信部38收到摄影图像要求信息。

接着，普通摄影装置3的短程通信部38向智能电话5发送在步骤S15中得到的平面图像数据(步骤S19)。此时，还同时发送用于识别被传送的平面图像数据的图像识别信息以及附属信息。在图19中图像识别信息和附属信息被作为平面图像信息来显示。据此，智能电话5的短程通信部58收到平面图像数据、图像识别信息、以及附加信息。

另一方面，特殊摄影装置1的短程通信部18向智能电话5发送在步骤S18中获得的等距柱形映射图像数据(步骤S20)。此时，还同时发送用于识别被传送的等距柱形映射影像数据的图像识别信息以及附属信息。图像识别信息和附属信息在图17中被作为等距柱形映射图像信息来显示。据此，智能电话5的短程通信部58收到等距柱形映射图像数据、图像识别信息以及附加信息。

然后，智能电话5的存储及读取部59将步骤S19收到的平面图像数据的电子文件以及在步骤S20中收到的等距柱形映射图像数据的电子文件保存在同一个文件夹中，而后保存到存储部5000(步骤S21)。

接着，智能电话5的图像及声音处理部55生成用于在显示低清晰度的天球图像CE的一部分区域上重叠显示高清晰度图像的平面图像P时使用的重叠显示数据(步骤S22)。此时，存储及读取部59将重叠显示数据保存到存储部5000中。

以下主要利用图22至图26详述重叠显示数据的生成处理。在此，特殊图像拍摄装置1与普通图像拍摄装置3相比，即便两者的摄像元件的分辨率相同，但由于特殊图像拍摄装置1的摄像元件必须覆盖成为整个360度天球图像CE的原始图像的正距柱形映射图像，为此，特殊图像拍摄装置1的摄影图像中的一定区域的清晰度比较低。

重叠关系元数据的生成处理

以下说明重叠关系元数据的生成处理。

首先描述用于在低清晰度等距柱形映射图像EC生成的天球图像CE上重叠高清晰度平面图像P的重叠关系元数据(参见图17)的生成处理。

提取部550提取以等距柱形映射方式得到的等距柱形映射图像EC中多个特征点fp1、以及以透视映射方式得到的长方形平面图像PA中多个特征点fp2A(步骤S110)。

接着，第一对应区域计算部552通过第一单应转换，根据等距柱形映射图像EC中的多个特征点fp1的特征量fv1与平面图像PA中的多个特征点(fp2)的特征量fv2A之间的相似度，如图22所示，计算等距柱形映射图像EC中与平面图像P对应的四边形的第一对应区域CA1(步骤S120)。进一步具体而言，在第一对应区域计算部552根据求出的等距柱形映射图像EC的多个特征点fp1的特征量fv1与平面图像PA中的多个特征点fp2A的特征量fv2A之间的相似度，计算图像之间的对应点，通过在等距柱形映射图像EC中求出与平面图像P对应的单应而得到的第一单应转换，如图22所示，求出等距柱形映射图像EC中与平面图像PA对应的四边形的第一对应区域CA1。该处理虽然无法使得映射方式不同的平面图像PA准确地对应于等距柱形映射图像EC，但能够先粗略推测对应位置(暂定处理)。

接着，关注点确定部554确定经过第一单应转换后平面图像PA的中心点CP1在等距柱形映射图像EC中的点(关注点GP1)(步骤S130)。

接着，映射方式转换部556如图23所示，将等距柱形映射图像EC内以关注点GP1为中心的周边区域PA，转换为与平面图像PA相同的透视映射方式，使得周边区域图像PI的垂直视角α与平面图像P的对角视角α相等，其结果，生成周边区域图像PI(步骤S140)。

然后，提取部550提取通过映射转换部556得到的周边区域图像PI中多个特征点fp3A(步骤S150)。

接着，第二对应区域计算部557a根据平面图像PA中的多个特征点fp2A的特征量fv2A与周围区域图像PI中的多个特征点fp3A的特征量fv3A之间的相似度，计算图像之间的对应点，基于求出的图像之间对应点的关系，推算周围区域图象PI中与平面图像PA对应的平面，从而求出第二单应转换，并求出周围区域图像PI中与平面图象PA对应的四角形的第二对应区域CA2(步骤S160)。此外，平面图像PA例如为4000万像素的高清晰图像，因此，预先调整为合适的大小。

而后，重叠关系元数据生成部558根据第二对应区域计算部557a求出的第二对应区域CA2的信息、以及平面图象PA的图像大小等，生成图17所示的重叠关系元数据(1)(步骤S170)。据此，存储/读取部59将重叠关系元数据(1)保存到存储部5000。

(重叠关系元数据(2))

以下说明用于将高清晰度平面图像PB重叠到高高清晰度平面图象PA上的重叠关系元数据(参见图18)的生成处理。

首先，提取部550提取透视映射方式获得的长方形平面图象PA中的多个特征点fp2A、以及同样用透视映射方式得到的长方形平面图象PB中的多个特征点fp2B(步骤S180)。

其次，第三对应区域计算部559a根据平面图像PB中的多个特征点fp2B的特征量fv2B与平面图像PA中的多个特征点fp2A的特征量fv2A之间的相似度，计算图像之间的对应点，基于求出的图像之间对应点的关系，推算平面图像PA中与平面图象B对应的平面，从而求出第三单应转换，并求出平面图象PA中与平面图象PB对应的四角形的第三对应区域CA3(步骤S190)。

而后，重叠关系元数据生成部558根据第三对应区域计算部559a求出的第三对应区域CA3的信息、以及平面图象PB的图像大小等，生成图17所示的重叠关系元数据(2)(步骤S200)。据此，存储/读取部59将重叠关系元数据(2)保存到存储部5000。

重叠显示数据的生成处理

以下说明重叠显示数据的生成处理。

首先说明用于将高清晰度的平面图象PA重叠到用低清晰度的等距柱形映射图像EC生成的天球图像CE上的重叠显示参数(参见图19)的生成处理。

第二对应区域计算部557b通过在步骤S170中生成的重叠关系元数据中的第二单应转换，求出周围区域图象PI中与平面图像PA对应的四角形第二对应区域CA2(步骤S210-1)。

接着，区域分割部560将第二对应区域CA2分割成如图24的(b)所示的多个网格区域LA2(步骤S220-1)。

接着，映射方式逆转换部562如图22所示，将第二对应区域CA2的映射方式转换(逆转换)成与等距柱形映射图像EC相同的等距柱形映射方式(步骤S230-1)。这样，映射方式逆转换部562如图25所示，求出等距柱形映射图像EC中第二对应区域CA2内多个网格区域LA2所对应的各网格区域LA11构成的第一预定对应区域CA11。图25是等距柱形映射图像EC中第一预定对应区域和第二预定对应区域的示意图。通过该映射方式逆转换部562的处理，生成各网格区域LA11的各网格点的坐标所表示的第一位置参数。

接着参考图22和图26，描述第一补偿参数的生成处理。图26是第一补偿参数的生成处理的过程中的图像示意图。

步骤S230-1的处理后，形状转换部564通过将映射图26(a)所示的第二对应区域CA2的4个顶点映射到平面图像PA的4个顶点上，将第二对应区域CA2转换为平面图像PA相同的形状，得到图26(b)所示的第二对应区域CA2'(步骤S240-1)。

接着，区域分割部560如图26(c)所示，将平面图像PA分割为与经过转换后的第二对应区域CA2'中的各网格区域LA2'相同形状且相同数量的多个网格区域LAA(步骤S250-1)。

接着，补偿参数生成部566生成第一补偿参数，用于使得各网格区域LA2'所对应的平面图像PA的各网格区域LAA的明度值和色值与第二对应区域CA2'中各网格区域LA2'的明度值和色值一致(步骤S260-1)。

最后，如图19所示，重叠显示数据生成部570根据从从普通摄影装置3取得的平面图像信息、预定的区域分割数信息、映射方式逆转变部562生成的第一位置参数、以及补偿参数生成部566生成的第一补偿参数，生成重叠显示数据(1)(步骤S270-1)。该重叠显示数据(1)由存储及读取部59保存到存储部5000中。

以下说明用于将高清晰平面图象PB重叠到高清晰平面图像PA上的重叠显示数据(参见图19)的生成处理。

首先，第三对应区域计算部559b通过在步骤S200中生成的重叠关系元数据中的第三单应转换，求出平面图象PA中与平面图像PB对应的四角形第三对应区域CA3(步骤S210-2-1)。

而后，第三对应区域计算部557b通过在步骤S170中生成的重叠关系元数据中的第二单应转换，求出周围区域图像PI中与第三对应区域CA3对应的四角形第四对应区域CA4(步骤S210-2-2)。

接着，区域分割部560将第四对应区域CA4分割成多个格子的网格区域LA4(步骤S220-2)。区域分割的示意图与图24(b)相同。

接着，映射方式逆转换部562将第四对应区域CA4的映射方式转换(逆转换)成与等距柱形映射图像EC相同的等距柱形映射方式(步骤S230-2)。这样，映射方式逆转换部562如图25所示，求出等距柱形映射图像EC中第四对应区域CA4内多个网格区域LA4所对应的各网格区域LA12构成的第二预定对应区域CA12。通过该映射方式逆转换部562的处理，生成各网格区域LA12的各网格点的坐标所表示的第二位置参数。

接着，描述第二补偿参数的生成处理。在此，区域分割的示意图与图26相同。

步骤S230-2的处理后，形状转换部564通过将映射的第四对应区域CA4的4个顶点映射到平面图像PB的4个顶点上，将第四对应区域CA4转换为与平面图像PB相同的形状，得到第四对应区域CA4'(步骤S240-2)。

接着，区域分割部560将平面图像PB分割为与经过转换后的第四对应区域CA4'中的各网格区域LA2'相同形状且相同数量的多个格子的网格区域LAB(步骤S250-2)。

接着，补偿参数生成部566生成第二补偿参数，用于使得各网格区域LA4'所对应的平面图像PB的各网格区域LAB的明度值和色值与第四对应区域CA4'中各网格区域LA4'的明度值和色值一致(步骤S260-2)。

最后如图19所示，重叠显示数据生成部570根据从从普通摄影装置3取得的平面图像信息、预定的区域分割数信息、映射方式逆转变部562生成的第二位置参数、以及补偿参数生成部566生成的第二补偿参数，生成重叠显示数据(2)(步骤S270-2)。该重叠显示数据(2)由存储及读取部59保存到存储部5000中。

至此，图21所示的步骤S22的处理结束。

在此，用图27到图30说明多个前景图像层积重叠到背景图像的天球图像(等距柱形映射图像EC)上。图27中，(a)是以往的重叠位置计算处理的示意图，(b)是本实施方式中前景图像对应关系的示意图。背景图像X是等距柱形映射图像EC。背景图像A、B、C分别为平面图像PA、PB、PC。平面图像PC是与一部分平面图像PB相同的被摄体(背景)的图像，平面图像PB与一部分平面图像PA相同的被摄体(背景)的图像。因此，平面图像PC是与一部分平面图像PA相同的被摄体(背景)的图像。

如图27的(a)所示，在以往的处理中，对三张前景图像A、B、C分别进行与背景图像的匹配处理(重叠位置的计算1～3)，求出重叠位置参数。而在本实施形态中，则进行将前景图像C重叠到前景图像B上的重叠位置的计算3、将前景图像B重叠到前景图像A上的重叠位置的计算2、以及将前景图像A重叠到背景图像X上的重叠位置的计算1。在上述以往的处理中需要分别求出各个前景图像A、B、C直接重叠到背景图像X上的参数。

对此，本实施方式如图27的(b)所示，求出的重叠位置数据是用箭头连接的图像(例如如果是前景图像C，则连接到前景图像B)，因而，不是相对于背景图像的重叠位置。在这种情况下，为了求出前景图像C重叠到背景图像X上的位置，首先需要求出前景图像C上的任意位置在前景图像B上的对应位置，然后求出得到的前景图像B上的对应位置与前景图像A上的对应位置，最后得到的前景图像A上的对应位置与背景图像X上的对应位置。乍一看，本实施方式的重叠位置的计算方法比以往的处理更加复杂，实际上具有下述优点。

图28是以往的重叠位置计算处理的示意图。图29是本实施方式的重叠位置计算处理的示意图。

图28和图29显示前景图像A、B、C各自与背景图像X、Y的重叠位置的计算。以往，为了计算与不同的背景图像X、Y的重叠位置，即使是相同的前景图像，也需要与各背景图像分别实行匹配处理，因此需要六次匹配处理的重叠位置计算处理。对此，本实施方式如图29所示，与背景图像X和Y进行匹配处理的只有前景图像A。对于前景图像A、B、C如上所述，虽然需要通过在前景图像A、B、C之间进行匹配处理来计算对应位置关系，但在背景图像和前景图像之间的匹配处理中的重叠位置计算处理只需四次即可。如果使用前景图像间的位置转换关系以及前景图像与背景图像之间的位置转换信息，例如，前景图像C与背景图像X的重叠位置可以通过依次转换位置信息来求得，对于需要重叠的不同的背景图像，其差异是将前景图像A上与前景图像C对应的位置转换为背景图像X上的位置，或者改变为背景图像Y上的位置。采用这种方式，可以减少匹配处理中处理负担较大的重叠位置计算处理。前景图像越多，两种处理之间的差异就越显著。例如，如图29所示，前景图像A、B、C作为一组图像，具有表示相互关系的信息。因此如下所述，用户可以方便地在背景图像X上自由自在地进行前景图像之间的显示或非显示，如仅显示前景图像A、仅显示前景图像C、显示前景图像B和C的组合等。

图30是具有重叠关系的群组的示意图。以下阐述在把多个前景图像的全部或部分图像重叠到背景图像上时本实施方式的优点。图30是在把前景图像A～I的一部分图像重叠到背景图像X、Y、Z上时的关系以及此时构成的元数据组的示意图。具体而言，图30显示背景图像X上重叠前景图像A～I的全部图像，背景图像Y上重叠前景图像D～I，背景图像Z上重叠前景图像G～I时的对应关系的元数据分组。在本实施方式中，对于各个图像，由于具有能够形成树形结构的一个节点信息，因此可以进行前景图像的分组或重叠到背景图像上的图像的分组等。具体以图30为例，可以将前景图像A、B、C作为以前景图像A为根的前景图像A至前景图像C的一组图像。对于前景图像D至前景图像I，也同样可以作为以前景图像D为母图像的前景图像D至前景图像I的一组图像、以前景图像E为母图像的前景图像E-F组以及E-I组。同样也可以把背景图像看作为形成树形结构的一个节点，将背景图像X作为具有将前景图像A、D作为子图像的一个树形结构来进行分组。用同样的思考方法，可以在相对于背景图像Y和背景图像Z的前景图像中，用把各背景图像作为母图像的树形结构来进行分组，并将该分组作为针对各背景图像的重叠显示数据。也就是说，不是将附属于各图像的元数据作为单体，而是作为群组，来发挥功能，从而能够确定重叠到某个背景图像上的前景图像并计算重叠位置。

换言之，通过求出单应乘积的单纯矩阵运算，可以求出与子图像的祖先图像的对应位置。以下说明单应计算时保存子画像和母图像的图像大小的理由。使用单应来进行将某个平面图像上的点映射到另一平面图像上的点的计算，其前提是需要已知用于以图像上的点转换到另一图像上的位置关系为对象的图像的大小(纵横的像素数)。也就是说，在计算前景图像A和前景图像B的单应时各个图像大小，与计算前景图像B和前景图像C的单应时各图像大小不同的情况下，前景图像A和前景图像C之间的位置(映射)关系的计算需要考虑图像大小所引起的尺度差异。虽然图像大小不同，但是从平面到平面的映射并无不同，因此可以单纯的单应来表现，为此只要求出单应的乘积就可以求出从前景图像A向前景画像C的映射。通过保存各个图像大小，可以让保存了的单应作为独立于特定图像大小的信息来使用。

通过使用本实施方式的重叠关系元数据，重叠关系元数据的处理变得灵活。例如，对于多个不同的背景图像X、Y，通过求出相对于成为母图像的前景图像的重叠位置计算信息，可以求出子图像的重叠位置。即，在本实施方式中，可以分别对多个前景图像和背景图像，附加重叠关系元数据，用以作为能够表现图像间母子关系的树形结构的一个节点，通过适当结合(分组)各图像的元数据，使得背景图像上的前景图像的确定和重叠位置等的计算成为可能。本发明的特点是各个节点独立拥有相对于各母节点的重叠位置信息，因此在将某一图像重叠到不属于目前群组的新背景图像上时，不是与相关的所有前景图像进行匹配处理，而是仅与形成相关的前景图像的一部分树(树结构的一部分)的根节点前景图像进行匹配处理，从而求出与根节点相关联的子孙前景图像的重叠位置。图30所示的以前景画像D的为根的群组(前景画像D、E、F、G、H、I)最初被设定为与背景画像Y对应。之后，当需要与背景图像X对应时，不需要所有子孙前景图像与新背景图像进行匹配处理，可以用背景图像X与前景图像D的匹配处理来应对。如此，用已经求出的位置关系来计算新的位置关系，十分有益。另外，可以以包含部分树的树为单位处理，可以让新的群组的制作、群组内的前景画像的删除和追加等操作变得灵活。

而后，返回图21，存储及读取部59和显示控制部56用重叠显示数据进行重叠处理(步骤S23)。

重叠处理

接下来参考图31至图36，详述图21中的步骤S23的重叠处理。图31是重叠处理过程的图像示意图。

首先，图14所示的存储及读取部59(取得部)从存储部5000取得用等距柱形映射方式得到的等距柱形映射图像EC的数据、用透视映射方式得到的平面图像P的数据、以及重叠显示数据。

其次，如图31所示，粘贴区域生成部582根据位置参数，生成假想立体球体CS中第一预定对应区域CA11所对应的部分立体球体PS(步骤S310)。此时，关于位置参数中没有表示的网格点以外的像素，例如用线性插值来插值。

而后，补偿部584根据重叠显示数据内的补偿参数进行补偿，使得平面图像P的明度值及色调值与等距柱形映射图像EC的明度值及色调值保持一致(步骤S320)。在以下的描述中将经过补偿的平面图像P称为补偿图像C

而后，图像生成部586将补偿图像C贴到部分立体球体PS上，生成重叠图像S(步骤S330)。此时，关于位置参数中未表示的网格点以外的像素，用线性插值来插值。图像生成部586根据部分立体球PS，生成屏蔽数据M(步骤S340)。进而，图像生成部586将等距柱形映射图像EC贴到立体球体CS上，生成天球图像CE(步骤S350)。而后，重叠部585用屏蔽数据M将重叠图像叠加到天球图像CE上(步骤S360)。如此便完成了边界不明显地重叠了高清晰重叠图像S的低清晰天球图像CE。

而后，如图7所示，映射转换部590以预先决定的假想照相机IC的视线方向(规定区域T的中心点CP)和规定区域的视角α，映射重叠了重叠图像S的天球图像CE中的规定区域，使得该规定区域T能够在显示器517看得到(步骤S370)。此时，映射转换部590对规定区域T实行处理，使得该规定区域T能够与显示器517中的显示区域DA的分辨率相保持一致。这样，显示控制部56便能够在显示器517的整个显示区域DA上实行显示规定区域的规定区域图像Q的显示处理(步骤S24)。在此，规定区域图像Q内包含重叠了平面图像P的平面图像P’即重叠图像S。

以下参考图32至图36，详述重叠显示的状态。图32是天球图像上叠加了平面图像时的二维示意图。在此显示将平面图像P叠加到图5上。如图32所示，按照位置参数，从立体球体CS内侧将高清晰重叠图像S贴到贴在立体球体CS上的低清晰天球图像CE上。

图33是天球图像上叠加了平面图像时的三维示意图。图33显示的是天球图像CE和重叠图像S被贴在立体球体CS上，包含重叠图像S的图像成为规定区域图像Q的状态。

图34是在未使用本实施方式的位置参数的情况下将平面图像叠加到天球图像上的二维示意图。图35是用本实施方式的位置参数将平面图像叠加到天球图像上的二维示意图。

在图34中，如(a)所示，设定以假想照相机IC位于立体球体CS的中心点时作为基准，被摄体P1在天球图像CE上被显示为P2，在重叠图像S上被表示为P3。此时，像P2和像P3均位于假想照相机IC和被摄体P1的连线上，因而，即便以重叠图像S叠加在天球图像CE上的状态显示，天球图像CE和重叠图像S之间也不会发生偏离。但是，如果假想照相机IC位置离开立体球体CS的中心点，则如(b)所示，在假想照相机IC和被摄体P1的连线上，像P3稍微位于像P2的内侧。在此，如果设定在假想照相机IC与被摄体P1的连线上，重叠图像S上的像为像P3’，则天球图像CE和重叠图像S上像P3和像P3之间便产生偏离量g。这样，重叠图像S被显示为相对于天球图像CE产生偏离。

对此，本实施方式利用以多个网格区域表示的位置参数，如图35的(a)和(b)所示，使得重叠图像S沿着天球图像CE重叠。这样，不仅如(a)所示，当假想照相机IC位于立体球体CS的中心点上时，而且如图29(b)所示，在假想照相机IC不位于立体球体CS的中心点上时，像P2和像P3也能够位于假想照相机IC和被摄体P1的连线上。这样，在显示重叠图像S叠加在天球图像CE上的状态时，天球图像CE与重叠图像S之间不会发生偏离。

图36是对比未重叠显示情况下和重叠显示情况下的图像显示的示意图，其中，(a)是未重叠显示时的广域图像的显示例，(b)是未重叠显示时的广域图像的显示例，(c)是重叠显示时的广域图像的显示例，(d)是重叠显示时的电视图像的显示例。图中的虚线框是用于说明的标记，实际上不一定显示在显示器517上。

在图36中，在如(a)所示的在天球图像CE上没有叠加平面图像P显示的情况下，当放大显示(a)中以虚线框显示的区域时，如(b)所示，只能显示低清晰度图像，因而用户只能看到不清晰的图像。对此，在如(c)所示的在天球图像CE上叠加平面图像P显示的情况下，当放大显示(c)中以虚线框显示的区域时，如(d)所示，能够显示高清晰度图像，因而用户能够看到清晰的图像。尤其在虚线框显示的区域中具有文字招牌等时，如果不叠加高清晰平面图像P，则即便放大也无法清晰显示文字，无法看清内容。但是，如果重叠显示高清晰的平面图像P，则即使放大显示，文字等也十分清晰，用户能够看清内容。

〈本实施方式的主要效果〉

(1)在作为第一图像的等距柱形映射图像(背景图像)上，重叠作为第二图像的平面图像(前景图像)，以及作为第三图像的平面图像(前景图像)时，即使抑制了第一图像和第二图像(或第三图像)之间的图像偏离，但如果第二图像和第三图像之间一部分或全部重叠，则第二图像以及第三图像之间也会发生显著的图像偏离。对此，本实施方式通过实行阶段性的匹配处理，生成表示第三图像在第一图像上的重叠位置的重叠显示数据，能够起到抑制在前景图像间(第二图像和第三图像之间)的图像偏离的效果以下。对此进一步详述。

在把多个前景图像叠加到背景图像上时，相比于单独计算各前景图像在背景图像上各自的重叠位置，计算前景图像互相之间的图像匹配位置更有利于减小前景图像之间的图像偏离。这是因为，如果分别计算各前景图像与背景图像的重叠位置，将会发生各自的检测结果误差。对此，计算前景图像之间的重叠位置虽然也可能增大与背景图像之间的误差，但却能够提高前景图像之间重叠位置的计算精度。其原因在于，前景图像的视角通常比背景图像的视角小，而且图像分辨率高，有利于提取用来进行匹配处理的有效特征量。而且，用相同器材(照相机)拍摄的前景图像之间与用不同器材拍摄前景图像和背景图像之间相比，包含透镜变形等的关联以及图像处理在内所生成的图像的画质显然更加接近，有利于重叠位置的计算。此外，相比于视角较窄的前景图像(狭角前景图像)，与视角、画质差异较大的背景图像直接匹配特征点或特征量比较少。而与基于较少特征点或特征量计算重叠位置所得到结果相比，经由视角差较小的中间大小的视角的图像(中间视角前景图像)的中介来计算重叠位置，更加能够提高最终求出的背景图像上的重叠位置的精度。也就是说，如图29所示，相比于背景图像X与前景图像C直接匹配，通过前景图像A和前景图像B的中介，可以提高前景图像C和背景图像X的重叠位置的精度。

(2)在把焦距相对长的长焦拍摄所得到的平面图像PB(前景图像B)与等距柱形映射图像EC(背面图像)匹配时，由于拍摄区域大小差异较大，无法求出重叠位置，或者计算会发散。对此，本实施方式通过阶段性匹配处理，即如上所述，将平面图像PB经过与用相近焦距拍摄的平面图像PA(前景图像A)的匹配处理，最终与等距柱形映射图像EC匹配，具有使得重叠位置的计算不会产生较大偏离的效果。对此以下进一步详述。

在用于计算前景图像和背景图像的重叠位置的匹配处理中，前景图像的视角如果较窄，那么与该前景图像对应的背景图像的区域也会变窄，出于该原因，可用于匹配处理的特征量也会减少。换言之，相对于背景图像，对于占据一定面积的前景图像来说，虽然可以分别从背景图像、前景图像中提取特征，但如果前景图像所占面积较小，则能够获取的特征量也比较少，由此，与背景图像的重叠位置的计算精度趋于变低，有时甚至无法检测到重叠位置。而与本实施方式涉及的阶段性匹配处理，使用中间大小的视角的前景图像(中间视角前景图像)，通过匹配处理求出中间视角前景图像中的窄角前景图像所对应的区域，并将其转换关系作为重叠位置转换信息来保存。进而，求出背景图像中的中间视角前景图像所对应的点，求出中间视角前景图像中的多个点与背景图像相对应的对应关系。而本发明人已经公开了背景图像中与具有不同映射方式的前景图像对应的区域的位置关系的计算方法和记录方法。如果已知窄角图像与中间视角图像中的哪个区域相对应，即使背景图像与中间视角前景图像的映射方式不同，也能够通过利用该方法，求出窄角前景图像重叠在背景图像上的位置。例如如图29所示，比起前景图像C和背景图像X直接匹配，通过用前景图像A或前景图像B中介，可以提高前景图像C和背景图像X的重叠位置的精度。

(3)使用本实施方式的重叠关系元数据，能够使得重叠关系元数据的处理变得灵活。例如，在多个不同的背景图像X、Y的情况下，通过计算对于成为母图像的前景图像与多个不同的背景图像X、Y的重叠位置计算信息，可以算出子图像的重叠位置。以下对此进一步详述。

本实施方式可以对于多个前景图像和背景图像分别附加重叠元数据信息，用以作为能够表现图像间母子关系的树形结构的一个节点，通过适当结合(分组)各图像的元数据，可以确定前景图像在背景图像中的位置，计算重叠位置等。由于树形结构本身是公知概念，在此不再详述，但作为本发明的特征，各个节点独立拥有相对于各自的母节点的重叠位置信息，为此，当把某个图像重叠到不属于当前群组的新的背景图像上时，不需要对所有相关的前景图像进行匹配处理，而是只要与形成相关前景图像的分枝(树形结构的一部分)中的根节点的前景图像进行匹配处理，便能够求出与根节点相关联的子孙前景图像的重叠位置。也就是说，不需要对于所有子孙前景图像进行与新的背景图像的匹配处理，可以减轻重叠多个前景图像时的计算处理负担。由于通过求出图像的特征量进行匹配处理来求出对应位置的处理负担大，因而用已经求出的位置关系来计算新的位置关系非常有益。另外，由于能够以包含分枝的树为单位来处理重叠位置信息，因而能够灵活进行制作新的群组、删除或增加群组内的前景图像等操作。

《第二实施方式》

以下用图37至图41描述本发明第二实施方式。

〈摄影系统概述〉

首先用图37概述本实施方式的摄影系统构成。图37是本实施方式的摄影系统构成示意图。

如图37所示，本实施方式的摄影系统相对于第一实施方式的各项构成，增加了图像处理服务器7。在下文中对与第一实施方式相同的构成赋予相同的标记，并省略说明。智能手机5和图像处理服务器7可以通过互联网和内部网等通信网络100与图像处理服务器7通信。

在第一实施方式中，重叠显示数据的生成和图像重叠的处理由智能手机5实行，而在本实施方式中，这些处理由图像处理服务器7实行。本实施方式的智能手机5是一例通信终端，图像处理服务器是一例图像处理装置。

图像处理服务器7是服务器计算机，其种包含多台服务器计算机分散实行图像处理的状况。

〈实施方式的硬件构成〉

以下用图38详述本实施方式的图像处理服务器7的硬件构成。图38是图像处理服务器7的硬件构成示意图。而本实施方式的特殊摄影装置1、普通摄影装置3以及智能手机5的硬件构成与第一实施方式相同，为此省略说明。

图像处理服务器的硬件构成

图38显示图像处理服务器的硬件构成。图像处理服务器7以计算机构成，具备CPU701、ROM70 2、RAM703、HD704、HDD(Hard Disk Drive)705、记录介质706、介质I/F707、显示器708、网络I/F709、键盘711、鼠标712、CD-RW驱动器714以及总线710。由于图像处理服务器7作为服务器发挥作用，所以也可以没有键盘711和鼠标712等输入装置、显示器708等输出装置。

其中，CPU701控制图像处理服务器7的整体运行。ROM702保存驱动CPU701用的程序。RAM703被用来作为CPU701的工作区域。HD704用来保存程序等各种数据。HDD705按照CPU701的控制来控制各种HD704的读取或写入。介质I/F707控制闪存等记录介质706的数据读取或写入(保存)。显示器708用来显示诸如光标、菜单、窗口、字符或图片等各种信息。网络I/F709是利用通信网络100进行数据通信的接口。键盘711是具备用来输入文字、数值、各种指示等的多个按键的一种输入装置。鼠标712是进行各种指示的选择、执行、处理对象的选择、光标的移动等的一种输入手段。CD-W驱动器714控制作为一例可装卸记录介质的的CD-RW(Compact Disc-ReWritable)713中各种数据的读取等。

图像处理服务器7配备了总线710。总线710是用于将图38所示的CPU701等各构成要素电连接起来的地址总线和数据总线等。

〈实施方式的功能结构〉

以下用图39至图40描述本实施方式的功能结构。图39是构成本实施方式的摄影系统的功能模块图。本实施方式的特殊摄影装置1、普通摄影装置3以及智能手机5的功能构成与第一实施方式相同，为此省略描述。图16所示的各功能构成在本实施方式中智能手机5的图像及声音处理部55中可有可无。

图像处理服务器的功能构成

如图39所示，图像处理服务器7具有远程通信部71、受理部72、图像及声音处理部75、显示控制部76、判断部77、以及保存及读取部79。这些部均是由图38所示的各个构成要素中的任意一个要素，按照执行从HD704展开到RAM703上的图像处理服务器7用程序的CPU701发送的指令而运行所实现的功能或手段。

图像处理服务器7具有图38所示的ROM702、RAM703以及HD704构建的存储部7000。

图像处理服务器的各功能构成

图像处理服务器7的远程通信部71主要通过图38所示的网络I/F7 07以及CPU701的处理来实现，经由通信网络与其他装置(例如其他服务器、智能手机)之间进行各种数据(或信息)的收发信。

受理部72主要通过键盘711、鼠标712以及CPU701的处理来实现，接受用户的各种选择或输入。

图像及声音处理部75主要通过来自CPU701的命令来实现，对于从智能电话5发送来的各种数据，进行各种处理。

显示控制部76主要通过CPU701的处理来实现，与第一实施方式的显示控制部56不同，在智能手机5的显示器517上生成用于显示平面图像P的预定领域图像Q的数据。显示控制部76还利用图像及声音处理部75生成的重叠显示元数据，将平面图像P的各网格区域LA0与用位置参数表示的位置以及用补偿参数表示的明度值以及色值相匹配，生成用来将平面图像P重叠到天球图像CE上显示的数据。

判断部77通过图38所示的CPU701的处理实现功能，进行各种判断。

存储及读取部79主要通过图38所示的CPU701的处理来实现功能，在存储部7000中存储或读取重叠显示元数据等各种数据(或信息)。存储及读取部79起到从存储部7000获取各种数据的取得部的作用。

图像及声音处理部各功能的具体构成

在此，用图40详述图像及声音处理部75的各项功能构成。图40是图像及声音处理部的功能模块图。

图像及声音处理部75大致可分为实行编码的生成部75a和实行解码的重叠部75b。生成部75a实行后述图41所示的步骤S44的处理。重叠部75b实行后述图21所示的步骤S45的处理。

生成部的各项功能

首先说明生成部75a的功能结构。生成部75a进一步分成元数据生成部75a1和显示数据生成部75a2的两个部，在此先说明元数据生成部75a1。元数据生成部75a1具有提取部550、第一对应区域计算部752、关注点确定部754、映射方式转换部756、第二对应区域计算部757a、第三对应领域计算部759a、以及重叠关系元数据生成部758。这些部分别与第一实施方式中的提取部550、第一对应区域计算部552、关注点确定部554、映射方式转换部556、第二对应区域计算部557a、第三对应领域计算部559a、以及重叠关系元数据生成部558具有相同的功能，在此省略说明。

显示数据生成部的各项功能

显示数据生成部75a2具有第二对应区域计算部757b、第三对应区域计算部759b、区域分割部760、映射方式逆转换部762、形状转换部764、补偿参数生成部766、以及重叠显示数据生成部770。这些部分别与第一实施方式中的第二对应区域计算部557b、第三对应区域计算部559b、区域分割部560、映射方式逆转换部562、形状转换部564、补偿参数生成部566、以及重叠显示数据生成部570具有相同的功能，在此省略说明。

重叠部的功能构成

接着，将描述重叠部75b的功能构成。重叠部75b具有粘贴区域生成部782、补偿部784、图像生成部786、图像重叠部788以及投影转换部790。这些功能部分别与第一实施方式中的粘贴区域生成部582、补偿部584、图像生成部586、图像重叠部588、以及投影转换部590相对应，因而省略说明。〈实施方式的处理或动作〉

接着，用图41说明本实施方式的处理或动作。首先用图41描述摄影系统实行的摄影方法。图41是本实施方式涉及的摄影方法的序列图。其中，步骤S31至S41的处理与第一实施方式的步骤S11至S21相同的处理，在此省略说明。

智能电话5中用远程通信部51经由通信网络100向图像处理服务器7发送重叠要求信息，该重叠要求信息表示在一方的图像上叠加投影方式不同的另一方图像的叠加要求(步骤S42)。该重叠要求信息包含保存在存储部5000中的电子文件夹内的数据(诸如平面图像数据，等距柱形投影图像数据)。对此，图像处理服务器7中的远程通信部71收到电子文件夹内的数据。

接着，图像处理服务器7中的存储及读取部79将在步骤S42中收到到的电子文件夹内的数据保存到存储部7000中(步骤S43)。而后图40所示的元数据生成部75a生成重叠显示用元数据(步骤S44)。进而，重叠部75b进行叠加处理(步骤S45)。在此，步骤S44和S45的处理分别与步骤S22和S23中的处理内容相同，因而省略说明。

接着，显示控制部76生成规定区域图像Q的数据，该数据用于在智能电话5的显示器517的整个显示区域上显示规定区域T的预定区域图像Q。在此，预定区域图像Q包含平面图像P处于重叠状态下的平面图像P′即重叠图像S。远程通信部71向智能手机5发送由显示控制部76生成的预定区域图像Q的数据(步骤S46)，智能电话的远程通信部51接收预定区域图像Q的数据。

接着，在智能手机5中，显示控制部56在显示器517上显示包含重叠图像S的规定区域图像Q(步骤S47)。

〈本实施方式的效果〉

上述第二实施方式不仅具有与上述第一实施方式相同的效果，而且在第二实施方式中，由智能电话5实行联动摄影处理，图像处理服务器7实行重叠显示用的元数据生成和叠加处理，为此，还具有在智能手机5的处理能力较低情况下抑制图像偏离的效果。

补充

在上述各实施方式中，如图14所示，智能手机5具有等距柱形映射图像数据、平面图像数据以及重叠显示参数数据，但并不限于此。例如，可以通过互联网等通信网络进行通信的管理服务也可以保存等距柱形映射图像数据、平面图像数据以及重叠显示参数数据中的至少一个数据。

上述各个本实施方式中在天球图像CE上重叠平面图像P，但并不局限于此。还可以例如，将天球图像CE的部分图像置换为平面图像P，或者删除天球图像CE中的部分图像，同时将平面图像P嵌入到被删除的部分中。

再者，上述第二实施方式用图像处理服务器7进行重叠处理(参见步骤S45)，但并不限于此。例如，可以从图像处理服务器7向智能手机5发送重叠显示用元数据，用智能手机5进行重叠处理和显示处理。在这种情况下，在图像处理服务器7中用图40所示的元数据生成部75a进行重叠显示用元数据的生成。另一方面，在智能手机5中用图15所示的重叠部55b进行重叠处理，图14所示的显示控制部56进行显示处理。

上述说明了在天球图像上重叠平面图象。重叠时合成的一个例子，出重叠以外，合成还包含粘贴、嵌入、层叠等。上述重叠图像是合成图像的一个例子。除了重叠图像以外，合成图像还包括粘贴图像、嵌入图像、层叠图像等。进而，图像重叠部588、788是图像合成部的一个例子。

图14、图16、图39、图40所示的各功能结构，可以以软件功能单元的形式实现，并在以独立产品销售或使用的情况下，存储在计算机可读存储介质中。在这种情况下，本实施方式的技术方案本质上，或对现有技术做出贡献的部分再或上述技术方案的部分以软件产品的形式表现。所述计算机软件产品包括保存在存储介质中，并使计算机设备(例如，个人计算机、服务器或网络设备)执行上述各个实施方式中所述方法的全部或部分步骤的多个指令。上述存储介质包括USB存储器、可移动磁盘、ROM、RAM、磁盘或光盘等可存储程序代码的各种介质。

另外，所述实施方式所涉及的方法可以由处理器来应用，也可通过处理器实现。处理器是具有处理信号能力的集成电路板。上述各种实施方式涉及的方法中各个步骤通过处理器中的硬件集成逻辑电路或软件形式的指令实现。上述处理器是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑器件、离散硬件器件，并可实现或执行上述各个实施例中所披露的各个方法、步骤及逻辑框。通用处理器为微处理器或任意一般处理器等。上述各个实施方式所涉及的方法的各个步骤可以通过硬件解码器来实现，也可以通过能够解码器的硬件与软件的组合来实现。软件模块可存储在本领域中常用的存储介质中，如随机存储器、闪存、只读存储器、可编程只读存储器、可编程只读存储器、电可擦除可编程只读存储器、寄存器等。从含有存储该软件的存储介质的存储器中，处理器读取信息，并配合硬件实现上述方法的步骤。

以上说明的实施形态是以硬件、软件、固件、中间件、微代码、或它们的组合实现的。其中，关于硬件实现，处理单元是由一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器(DSPD)、可编程逻辑电路(PLD)、场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、执行本发明功能的其他电子单元或其组合实现的。关于软件的实现，通过实现上述功能的模块(例如过程、函数等)实现上述技术。软件代码保存在存储器中，由处理器执行。存储器是在处理器的内部或外部实现的。

Claims (13)

1.一种图像处理装置，其特征在于，具备，

第一对应区域计算部，用于根据具有第一映射方式的第一图像中的多个特征点与具有第二映射方式的第二图像中的多个特征点之间的相似度，用第一单应转换，来计算所述第一图像中与第二图像对应的第一对应区域；

映射方式转换部，用于通过把所述第一图像中的第一对应区域所包含的特定区域的映射方式，转换为所述第二图像的映射方式，来生成特定区域图像；

第二对应区域计算部，用于根据所述第二图像中多个特征点与所述第一图像中多个特征点之间的相似度，用第二单应转换，来计算所述特定区域中与所述第二图像对应的第二对应区域；

映射方式逆转换部，用于通过把所述第二对应区域的映射方式逆转换为所述第一映射方式，来计算所述第一图像中与所述第二对应区域对应的第一预定对应区域所表示的第一位置信息；以及，

第三对应区域计算部，用于根据所述第二图像中的多个特征点与具有与所述第二映射方向相同的映射方式的第三图像中的多个特征点之间的相似度，用第三单应转换，来计算所述第二图像中与所述第三图像对应的第三对应区域，

所述第二对应区域计算部用所述第二单应转换，来计算所述特定区域图像中与所述第三图像对应的第四对应区域，

所述映射方式逆转换部把所述第四对应区域的映射方式逆转换为所述第一映射方式，计算所述第一图像中与所述第四对应区域对应的第二预定对应区域所表示的第二位置信息。

2.根据权利要求1所述的图像处理装置，其特征在于，进一步具有补偿信息生成部，用于生成对所述第二图像中多个点的灰度和色值中至少一方进行补偿的第一补偿信息。

3.根据权利要求1或2所述的图像处理装置，其特征在于，进一步具有形状转换部，用于在生成所述第一补偿信息时，对所述第二对应区域进行形状转换，用以使得该第二对应区域的形状与所述第二图像的形状相配，根据与经过形状转换后的第二对应区域中所包含的多个点的位置对应的所述第二图像，求出所述第一补偿信息。

4.根据权利要求1或2所述的图像处理装置，其特征在于，所述多个点是把所述第二图像分割为多个网格区域得到的网格点。

5.根据权利要求1所述的图像处理装置，其特征在于，进一步具有补偿信息生成部，用于生成对所述第三图像中多个点的灰度和色值中至少一方进行补偿的第二补偿信息。

6.根据权利要求1至5中任意一项所述的图像处理装置，其特征在于，进一步具有形状转换部，用于在生成灰度和色值中至少一方的第二补偿信息时，对所述第四对应区域进行形状转换，用以使得该第四对应区域的形状与所述第三图像的形状相配，根据与经过形状转换后的第四对应区域中所包含的多个点的位置相对应的所述第三图像，求出所述第二补偿信息。

7.根据权利要求1、5、6中任意一项所述的图像处理装置，其特征在于，所述多个点是把所述第三图像分割为多个网格区域得到的网格点。

8.根据权利要求1至7中任意一项所述的图像处理装置，其特征在于，所述图像处理装置是智能手机、平板电脑、笔记本电脑、立式电脑、服务器计算机中任意一种装置。

9.一种摄影系统，其特征在于，具有，

权利要求1至8中任意一项所述的图像处理装置；

第一摄影装置，用于拍摄被摄体，获得具有所述第一映射方式的所述第一图像；以及，

第二摄影装置，用于拍摄被摄体，获得具有所述第二映射方式的所述第二图像。

10.根据权利要求9所述的摄影系统，其特征在于所述第一摄影装置是拍摄被摄体，获得天球图像的照相机。

11.一种图像处理方法，其特征在于，具有，

第一对应区域计算步骤，根据具有第一映射方式的第一图像中的多个特征点与具有第二映射方式的第二图像中的多个特征点之间的相似度，用第一单应转换，来计算所述第一图像中与第二图像对应的第一对应区域；

映射方式转换步骤，通过把所述第一图像中的第一对应区域所包含的特定区域的映射方式，转换为所述第二图像的映射方式，来生成特定区域图像；

第二对应区域计算步骤，根据所述第二图像中多个特征点与所述第一图像中多个特征点之间的相似度，用第二单应转换，来计算所述特定区域中与所述第二图像对应的第二对应区域；

映射方式逆转换步骤，通过把所述第二对应区域的映射方式逆转换为所述第一映射方式，来计算所述第一图像中与所述第二对应区域对应的第一预定对应区域所表示的第一位置信息；以及，

第三对应区域计算步骤，根据所述第二图像中的多个特征点与具有与所述第二映射方向相同的映射方式的第三图像中的多个特征点之间的相似度，用第三单应转换，来计算所述第二图像中与所述第三图像对应的第三对应区域，

并且，所述第二对应区域计算步骤包含用所述第二单应转换，来计算所述特定区域图像中与所述第三图像对应的第四对应区域的处理，

所述映射方式逆转换步骤包含把所述第四对应区域的映射方式逆转换为所述第一映射方式，计算所述第一图像中与所述第四对应区域对应的第二预定对应区域所表示的第二位置信息的处理。

12.一种记录介质，其中保存用来实行权利要求11中所述的图像处理方法的程序。

13.一种计算机装置，其中具有保存程序的内存和处理器，通过所述处理器执行所述程序，来实现权利要求11所述的图像处理方法。