CN110392202A - 图像处理装置、摄影系统、图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、摄影系统以及图像处理方法，通过计算第一图像(EC)中与第二图像(P)对应的第一对应区域(CA1)，确定包含该第一对应区域(CA1)的周围区域(PA)，将周围区域(PA)的映射方式转换为第二图像(P)的映射方式(S140)；求出转换后的周围区域(PI)中与第二图像对应的第二对应区域(S160)；生成矩形的初始设定形状(S170)，将其转换为第一图像的映射方式，生成基准形状(S200)；根据第二图像与初始设定形状的关系，求出用于转换基准形状的基准形状转换信息(S180)，从而抑制在低清晰度的天球图像上重叠另行拍摄的高清晰度平面图像时双方图像因映射方式不同而产生的偏离。

Description

图像处理装置、摄影系统、图像处理方法

技术领域

本发明涉及图像处理装置、摄影系统、图像处理方法以及记录介质和计 算机。

背景技术

在现有技术中，专利文献1(JP特开2016-96487号公报)公开了一种在 广角平面图像上的部分区域中，嵌入另外拍摄得到的不同于广角平面图像的 放大平面图像，用于在放大前述部分区域时也能够清晰显示图像的技术方 案。

另一方面，近年来如专利文献2(JP特开2012-178135号公报)公开的特 殊数码相机，能够通过一次拍摄，获得形成360°天球图像的原始图像的两 组半球图像数据。该数码相机根据两组半球图像数据，生成一组等距柱形映 射图像数据，并将该等距柱形投映射图像数据送往智能电话等通信终端。通 信终端根据收到的等距柱形映射图像数据，生成天球图像。由于这样获得的 天球图像发生弯曲，无法供用户观看，因此，通过在通信终端上显示表示天 球图像中一部分区域的区域图像，让用户在阅览时便能够获得与用普通数码 相机拍摄的平面图像相同的感觉。

但是，上述现有技术依然存在尚未解决的问题。例如，在把另外拍摄得 到的不同于天球图像的平面图像叠加到天球图像的一部分区域上显示时，由 于双方图像采用不同的映射方式，为此在将一方的图像叠加到另一方图像上 时，双方图像之间会发生偏离。

发明内容

鉴于上述问题，本发明提出一种图像处理装置，其特征在于，具备，取得 部，用于取得具有第一映射方式的第一图像、具有与所述第一映射方式不同 的第二映射方式的第二图像、表示所述第一图像上与所述第二图像对应的基 准形状的基准形状信息、以及用于在所述第一图像上转换所述基准形状的基 准形状形状转换信息；图像生成部，用于通过根据所述基准形状转换信息转 换所述基准形状，来生成与所述第二图像对应的合成图像；以及，图像合成 部，用于将所述合成图像合成到所述第一图像上。

本发明的效果在于，在将映射方式不同的一图像叠加到另一图像上时能 够抑制双方图像之间发生的偏离。

附图说明

图1是特殊摄影装置的外观图，其中，(a)是特殊摄影装置的左视图， (b)是特殊摄影装置的后视图，图1(c)是特殊摄影装置的俯视图，(d)是特殊 摄影装置的仰视图。

图2是使用特殊摄影装置的示意图。

图3是特殊摄影装置1拍摄的图像的示意图，其中，(a)中为特殊拍摄装 置1拍摄的半球图像(前方)，(b)表示特殊摄影装置拍摄的半球图像(后方)， (c)是利用等距柱形映射法表示的图像。

图4是天球图像的示意图，其中，(a)显示用等矩柱形映射图像覆盖球的 状态，(b)是天球图像。

图5是将天球图像作为三维立体球体显示时假想照像机以及预定区域的 位置的示意图。

图6是用来说明用假想照相机拍摄得到的图像中显示在显示器上的预定 区域的示意图，(a)是图5的立体图，(b)显示器上预定区域。

图7是预定区域信息与预定区域T的图像之间的关系的示意图。

图8是本实施方式涉及的摄像系统的构成的示意图。

图9是使用摄影系统的示意图。

图10是特殊拍摄装置的硬件结构模块图。

图11是普通摄像装置的硬件结构模块图。

图12是智能电话的硬件结构模块图。

图13是第一实施方式涉及的摄影系统的功能模块图。

图14是关于联动摄影的示意图，其中(a)是联动摄影管理表的示意 图，(b)是联动摄影装置设定画面的示意图。

图15是第一实施方式涉及的元数据生成部的功能模块图。

图16是第一实施方式涉及的重叠部的功能模块图。

图17是重叠显示元数据的数据结构示意图。

图18是第一实施方式涉及的摄影方法的时序图。

图19是重叠显示参数生成处理过程的图像示意图。

图20是确定周边区域图像时的示意图。

图21的(a)是初始设定形状的示意图，(b)是周围区域图像以及第二 对应区域的示意图，(c)是经过区域分割的初始设定形状的示意图。

图22的(a)是将基准形状的中心放置在等距柱形映射图像的中心的位 置上时的示意图，(b)是将基准形状的中心放置在等距柱形映射图像的中 心以外的位置上时的示意图。

图23是重叠处理过程的图像的示意图。

图24是用于说明插值方法的示意图。

图25是位置参数计算部的处理流程的三维概念图。。

图26的(a)第三对应区域的网格区域的示意图，(b)是平面图像的网 格区域的示意图。

图27是表示四个网格区域与位于角上的共用网格点之间位置关系的示意 图。

图28是重叠处理过程的图像的示意图。

图29是将平面图像叠加到天球图像上的二维示意图。

图30是将平面图像叠加到天球图像上的三维示意图。

图31是不使用本实施方式的位置参数在全天球图像上重叠平面图像时的 二维概念图。

图32是使用本实施方式的位置参数在全天球图像上重叠平面图像时的二 维概念图。

图33的(a)是一例不重叠显示时的宽屏图像的示意图，(b)是一例不重叠 显示时的视图图像的示意图，(c)是一例重叠显示时的宽屏图像的示意图， (d)是一例重叠显示时的视图图像的示意图。

图34是一例在动画的某一区域内显示动画的平面图像的示意图。

图35是本发明第二实施方式的摄影系统的构成示意图。

图36是图像处理服务器7的硬件构成示意图。

图37是第二实施方式涉及的摄影系统的功能模块图。

图38是第二实施方式涉及的元数据生成部的功能模块图。

图39是第二实施方式涉及的重叠部的功能模块图。

图40是第二实施方式涉及的摄影方法的时序图。

具体实施方式

以下参考附图说明本发明的实施方式。下文中的天球图像是一例第一图 像，重叠图像是一例第二图像。周围区域图像是一例第三图像。

《实施方式概述》

以下描述本实施方式的概要。

首先用图1至图7描述天球图像的生成方法。

在此，先用图1描述特殊摄影装置1的外观。特殊摄影装置1是用于获得 天球(360°)全景图像的原始摄影图像的数码像机。图1是特殊摄影装置的外 观图，其中，(a)是特殊摄影装置的左视图，(b)是特殊拍摄装置的后视图， 图1(c)是特殊摄影装置的俯视图，(d)是特殊摄影装置的仰视图。

如图1的(a)、(b)、(c)、(d)所示，特殊摄影装置1上部的正面(正前 方)和背后(后方)分别设有鱼眼型透镜102a、102b。特殊摄影装置1的内 部设有后述的摄像元件(图像传感器)103a、103b，摄像元件(图像传感 器)103a、103b分别通过透镜102a、102b来拍摄被摄体或风景，获得半球图 像(视角为180°以上)。特殊摄影装置1的正前方和后方设有快门按钮115a。 特殊拍摄装置1的侧面设有电源按钮115b、Wi-Fi(Wireless Fidelity)按钮115c、以及摄影模式切换按钮115d。电源按钮115b和Wi-Fi按钮115c每当受 到按动时进行ON/OFF切换。摄影模式切换按钮115d每当受到按动时，在静态 图像摄影模式和动态图像摄影模式之间切换。快门按钮115a、电源按钮 115b、Wi-Fi按钮115c、以及摄影模式切换按钮115d是操作部分115中的一部 分按钮，而操作部115并不局限于这些按钮。

特殊拍摄装置1底部150的中间设有用于将特殊摄影装置1安装到相机三 脚架上或普通摄影装置3上的三脚架螺纹孔151。底部150左侧设有Micro USB (Universal SerialBus)端子152。底部150的右侧设有HDMI(High- Definition Multimedia lnterface：高清晰度多媒体接口)端子153。在此的 HDMI是注册商标。

接着，用图2描述特殊摄影装置1的使用状况。图2是使用特殊摄影装置 的示意图。特殊摄影装置1如图2所示，用于例如供用户手持该特殊摄影装置 1拍摄周围的被摄体。在这种情况下，通过图1所示的摄像元件103a以及摄像 元件103b分别拍摄用户周围的被摄体，可以获得两组半球图像。

接着，参考图3和图4描述用特殊摄影装置1拍摄的图像来制作等距柱形 映射图像EC和天球图像CE的处理。图3是特殊摄影装置1拍摄的图像的示意 图，其中，(a)中为特殊拍摄装置1拍摄的半球图像(前方)，(b)表示特殊摄 影装置拍摄的半球图像(后方)，(c)是利用等距柱形映射法表示的图像(以 下，称为等距柱形映射图像)。图4是天球图像的示意图，其中，(a)显示用 等矩柱形映射图像覆盖球体的状态，(b)是天球图像。

如图3中(a)所示，由摄像元件103a获得的图像被后述的鱼眼透镜102a形 成为弯曲的半球图像(前方)。同时，如图3的(b)所示，由摄像元件103a获得 的图像被后述的鱼眼透镜102b形成为弯曲的半球状像(后方)。而且，半球图 像(前方)和转动180度的半球图像(后方)通过特殊摄影装置1合成，形成如图 3的(c)所示的等距柱形映射图像EC。

而后如图4所示，利用OpenGL ES (Open Graphics Library for EmbeddedSystems)，用等距柱形映射方式将 图像如图4中的(a)所示地覆盖到球面上，生成(b)所示的天球图像CE。这 样，天球图像CE被显示为让等距柱形映射方式面向球体中心的图像。OpenGL ES是用于将二维数据和三维数据可视化而使用的图形库。天球图像 CE既可以是静态图像也可以是动态图像。

如上所述，天球图像CE如同覆盖似地贴在球面上，因而不适于人眼观 看。对此，如果将天球图像CE的一部分预定区域(以下称为预定区域图像)以 弯曲较少的平面图像来显示，可以避免人眼不适应的感觉。对此，以下将用 图5和图6进行描述。

图5是将天球图像作为三维立体球体显示时假想照像机以及预定区域的 位置的示意图。假想照相机IC的位置相当于，观看作为三维立体球所显示的 天球图像CE的用户视点的位置。图6中，(a)是图5的立体图，(b)是显示器上 预定区域的示意图。图6的(a)以三维立体球体CS来表示图4所示的天球图像 CE。如此生成的天球图像CE如果是立体球体CS，则如图5所示，假想照相机 IC位于天球图像CE的内部。天球图像CE中的预定区域T是假想照相机IC的摄 影区域，该预定区域T可以通过包括天球图像CE在内的三维假想空间中表示 假想照像机IC的拍摄方向和视角的预定区域信息来确定。

图6中，(a)所示的预定区域图像Q如(b)所示，被作为假想照相机IC的摄 影区域的图像显示在显示器上，(b)所示的图像是用经过初始设定(默认)的 预定区域信息所表示的预定区域图像。在下文中用假想照相机IC的摄影方向 (ea，aa)和视角(α)进行说明。

参考图7，描述预定区域与预定区域T的图像之间的关系。图7是预定区 域信息与预定区域T的图像之间的关系的示意图。如图7所示，ea表示仰角， aa表示方位角，α表示视角。即为了使得摄影方向(ea，aa)上显示的假想照 像机IC的关注点成为假想照相机IC的摄影区域，即预定区域T的中心点CP， 需要改变假想照相机IC的姿态。预定区域图像Q是天球图像CE中的预定区域T 的图像。f是从假想照相机IC到中心点CP的距离。L是预定区域T中的任意顶 点与中心点CP之间的距离(2L对角线)。图7中通常用下式1所表示的三角函数 关系成立。

《第一实施方式》

以下参考图8至图33，描述本发明的第一实施方式。

<摄影系统概述>

首先参考图8，描述本实施方式的摄影系统的构成。图8是本实施方式的 摄像系统的构成的示意图。

如图8所示，本实施方式的摄影系统包括特殊拍摄装置1、普通摄影装置 3、智能电话5以及适配器9构成。特殊摄影装置1经由适配器9与普通摄影装 置3连接。

其中，特殊摄影装置1是特殊的数码相机，如上所述，用于拍摄被摄体 或风景等而获得天球(全景)图像的原始图像，即用于获得两个半球图像的专 用数码相机。

普通摄影装置3是小型数码相机，除此之外，还可以是数码单反相机。

智能电话5可以利用Wi-Fi、蓝牙(注册商标)、NFC (NearField Communication)等短程无线通信技术，与特殊摄影装置1和普通 摄影装置3进行无线通信。智能电话5能够在后述其自己的显示器517上显示 分别从特殊摄影装置1和普通摄影装置3获取的图像。

智能电话5也可以不利用短程无线通信技术，而通过有线线缆与特殊摄 影装置1以及普通摄影装置3和通信。智能电话5同时也是一例图像处理装 置。除此之外，诸如平板PC(Personal Computer：电脑)、笔记本PC、台式PC 均可以作为图像处理装置。再者，智能电话5也是一例后述的通信终端。

适配器9包括支架9a和转动机构9b。支架9a的前端设有三角螺栓9c，用 于安装到特殊摄影装置1的三角螺孔151中。支架9a的基端设上装设转动机构 9b。该转动机构9b上安装普通摄影装置3，如图8所示，普通摄影装置3可以 围绕三根轴进行Pitch、Yaw、Roll转动。

图9是使用摄影系统的示意图。如图9所示，用户将特殊摄影装置1以及 安装了普通摄影装置3的适配器9安装到三脚架2上。而后，用户操作智能手 机5，遥控驱动转动机构9b，或者进行特殊摄影装置1以及普通摄影装置3的 摄影开始和结束。如果不使用三脚架，也可以使用设置台。

<实施方式的硬件构成>

其次参考图10和图12详述本实施方式的特殊摄影装置1、普通摄影装置 3、以及智能电话5的硬件构成。

特殊摄影装置的硬件构成

首先用图10描述特殊摄影装置1的硬件结构。图10是特殊拍摄装置1的硬 件结构模块图。以下以使用2个摄像元件的天球(全景)特殊摄像装置作为特 殊摄影装置1，但是摄像元件也可以是两个或更多。此外，特殊摄影装置1不 并不一定是全景摄影专用装置，也可以在普通的数码相机或智能电话等上安 装后设全方位摄像部，其与特殊摄影装置1功能实质相同。

如图10所示，特殊摄影装置1包括摄像部101、图像处理部104、摄像控 制部105、麦克风108、音频处理部109、CPU(Central Processing Unit：中 央处理部)111、ROM(ReadOnly Memory：只读存储器)112、 SRAM(Static Random Access Memory：静态随机存取存储器)113、DRAM (Dynamic Random Access Memory：动态随机存取存储器)114、操作部115、网络I/F 116、通信部117、天线117a、电子罗盘118、陀螺传感器119、加速 度传感器120以及端子121。

其中，摄像部101具有用于各个半球图像的成像且具有180°以上视角的 广角透镜(所谓的鱼眼透镜)102a、102b、以及与各个广角透镜对置的两个摄 像元件103a、103b。摄像元件103a、103b具有用于将用鱼眼透镜102a、102b 形成的光学图像转换为电信号的图像数据后输的CMOS (Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)或CCD(Charge Coupled Device：电荷耦合器件)传感器之类的图像传感器、用于 生成这些图像传感器的水平或垂直同步信号或像素时钟等定时生成电路、该 摄像元件的动作所需要的各种指令和参数被设定了的寄存器组等。

摄像部101的摄像元件103a、103b以并行I/F总线分别与图像处理部104 连接，同时，还以串行I/F总线(I2C总线等)与摄像控制部105连接。图像处 理部104、摄像控制部105以及音频处理部109经由总线110与CPU 111连接。 进而，总线110上也连接了ROM 112、SRAM113、DRAM 114、操作部115、网络 I/F 116、通信部117、以及电子罗盘118等。

图像处理部104通过并行I/F总线获取摄像元件103a、103b输出的图像数 据，各图像数据经过规定的处理后，实行这些图像数据的合成处理，生成图 3的(c)所示的等距柱形映射图像的数据。

摄像控制部105通常以摄像控制部105为主装置、摄像元件103a、103b作 为从动器件，用I2C总线，对摄像元件103a、103b的寄存器群设定指令等。 从CPU 111接受所需指令等。此外，摄像控制部105也同样利用I2C总线，取 得摄像元件103a、103b的寄存器群的状态数据等，并将该状态数据送往 CPU 111。

摄像控制部105在操作部115的快门按钮受到按动时，向摄像元件103a、 103b发出图像数据输出指示。不同的特殊摄像装置1具有不同的功能，有些 特殊摄像装置1具有显示屏(例如，智能电话5的显示器517)预览显示功能或 动画显示功能。在这种情况下，来自摄像元件103a、103b的图像数据的输出 以规定的帧速(帧/分钟)连续进行。

摄像控制部105还具有下述的同步控制部的功能，用于与CPU 111协作， 使得摄像元件103a、103b的图像数据的输出时刻同步。虽然本实施方式中的 特殊摄影装置1上没有设置显示器，但也可以设置显示部。

麦克风108用于将声音转换为声音(信号)数据。音频处理部109，通过 I/F总线从麦克风108取得输出的声音数据，对声音数据实施预定的处理。

CPU 111在控制整个特殊摄影装置1的动作的同时，还实施必要的处理。 ROM 112用来保存用于CPU111的各种程序。SRAM113和DRAM 114是工作存储 器，用于保存CPU 111执行的程序和处理期间的数据等。DRAM 114特别用于保 存图像处理部104中的处理过程中的图像数据或处理完毕的等距柱形映射图 像的数据。

操作部115是快门按钮115a等的操作按钮的总称。用户通过对操作部115 进行操作，来输入各种摄影模式和摄影条件等。

网络I/F 116是诸如SD卡等外部介质或与个人计算机等的接口(USB I/F 等)的总称。无论无线还是有线均可用于网络接口116。保存在DRAM 114中的 等距柱形映射图像的数据通过网络I/F 116保存到外部介质中，或者根据需 要经由网络I/F 116送往智能电话5等外部终端(装置)。

通信部117利用Wi-Fi、NFC、蓝牙(Bluetooth)等的短程无线通信技术， 经由设于特殊摄影装置1的天线117a，与智能电话5等外部终端(装置)通信。 通过通信部117也能够向智能电话5等外部终端(装置)发送等距柱形映射图 像的数据。

电子罗盘118用于根据地球的磁性计算特殊摄影装置1的方位，输出方位 信息。该方位信息是遵循Exif文件的相关信息(元数据)的一个例子，用于摄 影图像的图像补偿处理等各种图像处理。在此，相关信息包含图像的拍摄日 期、以及图像数据的数据容量的各种数据。

陀螺仪传感器119是用于检测伴随天球相机20的移动而产生的角度变化 (Roll，Pitch，Yaw)传感器。角度的变化是沿Exif的信息(元数据)的一个例 子，用于摄影图像的图像补偿等图像处理。

加速度传感器120是用于检测3个轴向的加速度的传感器。特殊摄影装置 3a根据加速度传感器120检测的加速度来求出装置本身(特殊摄影装置3a)的 姿势(相对于重力方向的角度)。通过同时设置陀螺传感器119和加速度传感 器120两者，可以提高特殊摄影装置3a的图像补偿精度。

端子121是Micro USB用的凹形端子。

普通摄影装置的硬件结构

接着，用图11说明普通摄像装置的硬件。图11是普通摄像装置3的硬件 结构模块图。如图11所示，普通摄像装置3包括摄像部301、图像处理部 304、摄像控制部305、麦克风308、音频处理部309、总线310、CPU 311、 ROM 312、SRAM313、DRAM314、操作部315、网络I/F316、通信部317、天线 317a、电子罗盘318以及显示器319。图像处理部304和摄像控制部305经由总 线310连接CPU311。

上述各构件304、310、311、312、313、314、315、316、317、317a、 318分别与图10的摄像装置1的各结构104、110、111、112、113、114、 115、116、117、117a、118a的结构相同，在此省略说明。

进而，普通摄像装置3的摄影部301如图11中所示，在摄像元件303的正 面，沿着从外部向摄像元件303的方向，依次设置透镜部306和机械快门 307。

摄像控制部305在结构和处理上与摄像控制部105基本上相同，在此基础 上，还根据操作部315受理的用户的操作，控制透镜部306以及机械快门307 的驱动。

显示器319用于显示操作菜单、拍摄期间或拍摄之后的图像的一例显示 部。

智能电话的硬件构成

以下使用图12描述智能电话机的硬件。图12是智能电话的硬件结构模块 图。如图12所示，智能电话5具备CPU 501、ROM 502、RAM 503、EEPR0M504、 CMOS传感器505、摄像元件I/F513a、加速度/方位传感器506、介质 I/F508、GPS收信部509。

其中，CPU 501控制智能电话5的整体操作。ROM 502存储CPU 501或初始 加载程序(IPL)等CPU驱动程序。RAM 503用于作为CPU 501的工作区域。 EEPROM504按照CPU 501的控制执行智能电话用程序等各种数据的读取或写 入。CMOS传感器505在CPU 501的控制下拍摄被摄体(主要是自拍像)以得到图 像数据。摄像元件接口(I/F)513a是用于控制CMOS传感器512的驱动电路。加 速度/方位传感器506是用于检测地磁的电子磁罗盘或陀螺罗盘、加速度传感 器等的各种传感器。介质I/F(接口)508用于控制闪存等存储介质507的数据 读取或写入(存储)。GPS收信部509用于从GPS卫星接收GPS信号。

智能电话5还具备远程通信电路511、天线511a、CMOS传感器512、摄像 元件I/F513b、麦克风514、扬声器515、声音输入输出I/F 516、显示器 517、外设连接I/F 518、短程通信电路519、短程通信电路519的天线519a、 和触摸屏521。

其中，远程通信电路511是用于借助于后述的通信网络100与其它设备进 行通信的电路。CMOS传感器512是一种在CPU 501的控制下拍摄被摄体并获得 图像数据的内置型摄像装置。摄像元件I/F513b是用于控制CMOS传感器512的 驱动电路。麦克风514是用于语音输入的一种内置型拾音装置。声音输入 I/F 516是在CPU 501的控制下根据麦克风514和扬声器515之间的用于处理的 声音信号的输入输出电路。显示器517是一种用于显示被摄体的图像或各种 图标等的液晶或有机EL等的显示装置。外设连接接口(I/F)518是用于连接各 种外设的接口。短程通信电路519是Wi-Fi、NFC、蓝牙等的通信电路。触摸 面板521是一种输入装置，通过用户按动显示器517，操作智能电话5。

智能电话5包括总线510。总线510是用于CPU 501等的各构成要素电连接 的地址总线或数据总线等。

存储了上述各程序的HD(Hard Disk)、CD-ROM等的记录介质均可以作为 程序产品(Program Product)向国内或国外提供。

<实施方式的功能结构>

以下用图10至图13描述本实施方式的功能结构。图13是本实施方式的摄 影系统包含的特殊拍摄装置1、普通摄影装置3以及智能电话5的功能模块 图。

特殊摄影装置的功能构成

首先参考图10及图13，详述特殊摄影装置1的功能结构。如图13所示， 特殊摄影装置1具有受理部12、摄像部13、集音部14、图像及声音处理部 15、判断部17、短程通信部18、以及存储及读取部19。这些功能部通过图10 所示的各个结构元件中的任意元件，按照执行从SRAM113读取后展开到DRAM 上的特殊摄影装置用程序的CPU111发送的指令动作来实现功能。

特殊摄影装置1具有如图10所示的ROM 112、SRAM113以及DRAM构成的存 储部1000。

特殊摄影装置的各种功能结构

以下参考图10和图13进一步详细描述特殊摄影装置1的功能结构。

特殊摄影装置1的受理部12主要是通过图10所示的操作部115和CPU 111 的处理来实现功能，接受来自用户的操作输入。

摄像部13主要通过图10中所示的摄像部101、图像处理部104、摄像控制 部105、以及CPU 111的处理来实现功能，拍摄被摄体或风景等，获取摄影图 像数据。该摄影图像数据如图3(a)、(b)所示，是天球图像数据的原始数 据，即两个半球图像数据。

集音部14是通过图10所示的麦克风108和音频处理部109，以及CPU 111 的处理来实现功能，用于在特殊拍摄装置1的周围收集声音。

图像及声音处理部15主要通过CPU 111的指令来实现功能，对摄像部13 获得的摄影图像数据或集音部14获得的音频数据进行各种处理。例如，图像 及声音处理部15根据两个摄像元件103a、103b各自获得的两个半球图像数据 (参见图3的(a)和(b))，生成等距柱形映射图像数据(参照图3的(c))。

判断部17通过CPU 111的处理来实现功能，进行各种判断。

短程通信部18主要通过CPU111的处理以及通信部117和天线117a来实现 功能，借助于诸如Wi-Fi之类的短程无线通信技术，与智能电话5的短程通信 部58等通信。

存储及读取处理部19主要通过图10中所示的CPU111的处理来实现功能， 将各种数据(或信息)保存到存储部1000中，或从存储部1000读出各种数据 (或信息)。

普通摄影装置的功能结构

以下参考图11和图13进一步详细描述普通摄影装置3的功能结构。如图13 所示，普通摄影装置3具有受理部32、摄像部33、集音部34、图像及声音处理 部35、显示控制部36、判断部37、短程通信部38、以及存储及读取部39。这些 功能部通过图11所示的各个结构元件中的任意元件按照执行从SRAM313读取 后展开到DRAM314上的特殊摄影装置用程序的CPU311发送的指令动作，来实现 功能。

普通摄影装置3具有以图11所示的ROM312、SRAM313、以及DRAM314构成的 存储部3000。

普通摄影装置的各项功能构成

普通摄像设备3的受理部32主要是通过图11所示的操作部315和CPU 311 的处理来实现功能，接受来自用户的操作输入。

摄像部33主要通过图11所示的摄像部301、图像处理部304、摄像控制部 305、CPU311的处理来实现功能，拍摄被摄体或风景等，获取摄影图像数 据。摄影图像数据是以透视映射方式拍摄的平面图像数据。

集音部34通过如图11所示的麦克风308和音频处理部309以及CPU 311的 处理来实现功能，收集普通摄像装置3周围声音。

图像及声音处理部35主要通过CPU 311的指令来实现功能，对摄影部33 获得的摄影图像数据或者集音部34获得的声音数据进行各种处理。

显示控制部36根据图11所示的CPU 311的处理来实现功能，在显示器319 上显示基于正在拍摄或拍摄之后的摄影图像数据的平面图像P。

判断部37通过CPU 311的处理来实现功能，进行各种判断。例如，判断 部37判断用户是否按动快门按钮315a。

短程通信部38主要通过CPU 311、以及通过通信部317和天线317a来实现 功能，借助于诸如Wi-Fi之类的短程无线通信技术与智能电话5的短程通信部 58等通信。

存储及读取处理部39主要通过图11中所示的CPU 311的处理来实现功 能，将各种数据(或信息)保存到存储部3000之中，或从存储部3000读出各种 数据(或信息)。

智能电话的功能结构

以下参考图12至图16详述智能电话5的功能结构。如图13所示，智能电 话5具有远程通信部51、受理部52、摄像部53、集音部54、图像及声音处理 部55、显示控制部56、判断部57、短程通信部58、以及存储及读取部59。上 述各部功能通过图12所示的各个构成部中任意部，按照执行从EEPROM504上 载到RAM503上的智能电话5用程序的CPU 501发送的指令而动作来得以实现。

智能电话5还具有图12所示的由ROM502、RAM503以及EEPROM504构建的存 储部5000。该存储部5000中构建了联动摄影装置管理数据库5001。图14是关 于联动摄影的示意图。该联动摄影装置管理数据库5001以图14的(a)所示 的联动摄影装置管理表构成。图14中的(a)是一例联动摄影管理表。

联动摄影装置管理表

以下参考图14描述联动摄影装置管理表。如图14的(a)所示，联动摄 影装置管理表将每台摄影装置与表示各台装置的联动关系的相关关系信息、 摄影装置的IP地址以及摄影装置的装置名称相关联地管理。其中，相关关系 信息表示在以装置本身的快门受到按动而开始摄影的摄影装置为主摄影装 置，根据主摄影装置的拍摄设备在快门受到按动而开始摄影的其它摄影装置 为子摄影装置。IP地址是在用Wi-Fi通信的情况下，用来取代使用USB的有线 电缆通信的情况下的制造商ID(标识)和产品ID、以及取代使用蓝牙的无线通信时的BD(Bluetooth Device Address)。

智能电话的各项功能结构

智能电话5的远程通信部51主要是通过图12所示的远程通信电路511和 CPU 501的处理来实现功能，并且经由诸如因特网之类的通信网络，与其他 装置(例如智能电话、服务器)之间进行各种数据(或信息)的发送和接收。

受理部52主要通过触摸面板521和CPU 501的处理来实现功能，接受用户 的各种选择或输入。触摸面板521也可以用来兼顾显示器517。还可以是触摸 面板以外的输入装置(按钮)等。

摄像部53主要包括图12中所示的CMOS传感器505和512、以及CPU 501的处 理来实现功能，并拍摄被摄物或风景等，获取摄影图像数据。该摄影图像数 据是以透视映射方式拍摄的平面图像数据。

集音部54通过图12中所示的麦可风514、以及CPU 501的处理来实现功能， 收集智能电话5的周围的声音。

图像及声音处理部55主要通过CPU501的指令来实现功能，对摄像部53获 得的摄影图像数据或集音部54获得的声音数据，实施各种处理。

显示控制部56通过图12所示的CPU 501的处理来实现功能，用于在显示 器517上显示基于摄像部53正在拍摄或拍摄之后的摄影图像数据的平面图像 P。此外，显示控制部56利用图像及声音处理部55生成的重叠显示元数据， 根据对于基准形状信息(基准位置参数)以基准形状转换信息确定的背景动 画(天球图像CE)上的转换位置参数、以及用补偿参数表示的明度值和色度 值，在天球图像CE上重叠显示平面图像P。在此，转换位置参数是一例转换 位置信息。补偿参数是一例补偿信息。

判断部57通过图12所示的CPU 501的处理实现功能，进行各种判断。

短程通信部58主要由CPU 501的处理、短程通信电路519以及天线519a来 实现功能，特殊成像装置1的短程通信部18、普通摄影装置3的短程通信部38 等可以通过诸如Wi-Fi之类的短程无线通信技术进行通信。

存储及读取部59主要通过图12所示的CPU 501的处理来实现功能，在存 储部5000中保存或者读取重叠显示元数据之类的各种数据(或信息)。存储及 读取部59起到从存储部5000获取各种数据的取得部的作用。

图像及声音处理部各功能的具体构成

在此，参考图15和图16来详述图像及声音处理部55的各功能结构。图15 是第一实施方式设计的元数据生成部的功能模块图。图16是得以试试方式涉 及的重叠部的功能模块图。

图像及声音处理部55主要具有实行编码的元数据生成部55a和实行解码 的重叠部55b。元数据生成部55a实行后述图18所示的步骤S19的处理。重叠 部55b实行后述图18所示的步骤S20的处理。

元数据生成部的各项功能

首先参考图15描述元数据生成部55a的功能结构。元数据生成部55a具有 (元数据)生成用动画帧提取部548、提取部550、第一对应区域计算部 552、关注点确定部554、映射方式转换部556、第二对应区域计算部558、初 始设定形状生成部559、区域分割部560、映射方式逆转换部562、基准形状 转换计算部568、以及重叠显示元数据生成部570。图19中显示以下说明的图 像或区域表示的符号。图19是重叠显示参数生成处理过程的图像示意图。

生成用动画帧提取部548从作为背景动画的一方的动图像和作为前景动 画的另一方的动画图像，分别提取与各自的指定时间相对应的帧图像。虽 然众所周知，动画图像具有各种记录格式，但是可以将动画图像认为是按照 时间序列排列多个静止图像的图像。而且，构成1秒钟动画的静止图像的张 数是帧频，例如用每秒1帧(1帧/1秒)等表示。因此，如果设动画记录开始后 最初的帧为时刻0，则对于时刻t时的帧图像，根据帧频与时刻之间的关系可 以求出是第几帧图像，并提取该图像。当然，有时会发生不存在与指定时间 ti相同时刻的帧图像，在这种情况下，可以考虑将该时刻ti前后的帧图像中 相近的帧作为时刻ti的帧等处理。本实施方式中需要处理作为背景动画的动 画和作为前景动画的动画的两个动画，但该两个动画各自的开始时间有可能 发生差异。在本实施方式中，为了计算在背景动画中叠加前景动画的重叠位 置，需要处理的图像的时间差异较小时相对容易处理，在前景动画和背景动 画之间记录开始时刻存在差异的情况下，可以将时间基准对准前景动画或背 景动画之中任意一个动画。关于计算用来配合作为前景动画和背景动画的两 个动画的开始图像帧的时间差异，例如有如下方法，在两个动画均记录了声 音和图像的情况下，求出两个动画的声音数据之间的互相关联，进而求出该 关联的差异为最小的时刻的差异。而在没有声音数据的情况下，可以根据各 自的帧图像之间的图像关联来计算等。在此，补充说明关于背景动画和前景 动画的同步。例如，设背景动画和前景动画分别以动画帧速率30fps和24fps 录制。在这种情况下，计算上述声音数据互相之间的关联，在背景动画比前 景动画早0.5秒拍摄的情况下，为了使得背景动画和前景动画保持一致，让 背景动画偏离相当于0.5秒，即(30×0.5＝)15帧，用以实现时间上的同 步。为此，同步后的1秒间隔的动画帧速率考虑各自的动画帧，背景动画的 帧计数为15、45、75、105……，前景动画的帧计数为0、24、48、72……. 在此，考虑到前景动画和背景动画各自的动画开始帧的偏离，在此基础上， 以时刻ti的背景动画的帧为等距柱形映射图像ECi，在同一时间ti的前景图 像的帧为平面图像Pi。换言之，等距柱形映射图像ECi和平面图像Pi是在同 一时间拍摄得到的动画帧。而关于相互之间的关联的计算方法，由于可以利 用公知技术计算，而且不是本实施方式的本质部分，因而省略进一步详述。 如上所述，关于图像之间互相同步，由于可以利用公知技术计算，而且不是 本实施方式的本质部分，因而省略进一步详述。

提取部550基于每个图像ECi、Pi的局部特征来提取特征点。局部特征是 指可以在图像内找到的边缘或斑点等图案或构造。经过局部特征数值化所得 到的是特征量。在本实施方式中，提取部550在不同的图像中提取各自的特 征点。提取部550使用的两个图像的变形只要不十分显著，可以是不同的映 射方式。例如，提取部550通过等距柱形映射方式得到的长方形等距柱形映 射图像EC与通过透视映射方式得到的长方形平面图像Pi之间、以及平面图像 Pi与经过映射方法转换部556转换后的周边区域图像PIi之间使用。在此，等 距柱形映射方式是一例第一映射方式，透视射影方式是一例第二映射方式。 等距柱形映射图像是一例第一映射图像，平面图像P是一例第二映射图像。

第一对应区域计算部552首先，在求出基于等距柱形映射图像ECi中多个 特征点fp1的各特征量fv1的同时，求出基于平面图像Pi中多个特征点fp2的 各特征量fv2。特征量的描述的方法有多种方式，本实施方式优选对尺度和 转动不变或具有鲁棒性。其次，第一对应区域计算部552根据求出的等距柱 形映射图像的多个特征点fp1的特征量是fv1与平面图像P的多个特征点fp2的 特征量fv2之间的相似度，计算图像之间的对应点，并根据求出的图像之间 的对应点的关系，计算等距柱形映射图像ECi中与平面图像P对应的单应(homography)，将该单应用于转换，进行第一单应转换。其结果，第一对应 区域计算部552求出第一对应区域CA1。在这种情况下，平面图像Pi的四个顶 点构成的四角形(矩形)的中心点CP1通过第一单应转换，成为等距柱形映射 图像ECi中的注关注点GP1。

在此，设平面图像Pi的四个顶点的顶点坐标为，P1＝(x1，y1)、p2(x2， y2)、P3＝(x3，y3)，p4＝(x4，y4)，第一对应区域计算部552根据以下所示的 (式2)决定中心点CP1(x，y)。

图19中平面图像Pi的形状为长方形，但使用对角线的交点后，能够求出 正方形、梯形、菱形等四角形的部分图像的中心坐标。当平面图像Pi的形状 被限定为长方形、正方形时，出于计算的简化起见，可以将对角线的中点作 为部分图像的中心坐标PC。对角线p1p3的中点的计算以式(3)表示。

关注点确定部554用于确定平面图像Pi的中心点CP1经过第一单应转换后 等距柱形映射图像ECi上所在的点(本实施方式中的关注点)。

顺便提及，关注点GP1的坐标是等距柱形映射图像ECi上的坐标，为此用 纬度和经度表示有利于转换。具体而言，等距柱形映射图像ECi的垂直方向 用-90°(-0.5π)至+90度(+0.5π)的纬度坐标表示，水平方向用-180度(- π)至+180度(+π)的经度坐标表示。这样，便能够用纬度坐标和经度坐标来 计算等距柱形映射图像ECi的图像大小所对应的像素位置坐标。

映射方式转换部556用于以等距柱形映射图像EC中的关注点GP1为中心的 周边区域PA转换为与平面图像Pi相同的透视摄影方式的周边区域图像PIi。 在这种情况下，确定原始映射转换对象的周边区域PA，用以生成以关注点 GP1经过转换后的点作为中心点CP2、并以与平面图像Pi的对角线视角α相同 的视角为垂直视角(或水平视角)时能够确定的正方形周边区域图像PIi。以 下进一步详述。

映射方式的转换

首先说明映射方式的转换。如图3至图5的说明，通过把等距柱形映射图 像EC覆盖到立体球体CS上，制作天球图像CE。因此等距柱形映射图像EC 上的各像素数据能够与三维天球图像的立体球体CS表面上的各像素数据对 应。在此，设等距柱形映射图像ECi中的坐标以(纬度、经度)＝(ea，aa)表 示、三维立体球体CS上的坐标以直角(x，y，z)表示，则映射方式转换部556 的转换公式可以表示为下式4。

(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea))

(式4)

在此，设立体球体CS的半径设为1。

另一方面，透射映射图像的平面图像Pi是二维图像，在以二维的极坐标 (矢径，角度)＝(r，a)表示时，半径r对应对角线视角α，取值范围为 0≤r≤tan(对角线视角/2)。当以二维正交坐标系统(u，v)表示平面图像P 时，与极坐标(矢径、角度)＝(r，a)之间的关系可以通过下式5表示。

u＝r×cos(a)，v＝r×sin(a) (式5)

其次，考虑上述式5与三维坐标(矢径、极角、方位角)对应。在此，由 于只考虑立体球体CS的表面，因此，三维极坐标的半径为1。对贴在立体球 体CS表面上的等距柱形映射图像EC进行透视映射转换的映射时，设想在立体 球体CS的中心上设置假想照相机IC，则此时，用上述二维极坐标(矢径、偏 角)＝(r，a)可以用下式6和式7表示。

r＝tan(极角) (式6)

a＝方位角 (式7)

设极角为t时，t＝arctan(r)，三维坐标(矢径、极角、方位角)，可以表 示为(矢径、极角、方位角)＝(1，arctan(r)，a)。

从三维极坐标转换到正交坐标系(x，y，z)的转换可以用下式8表示。

(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t)) (式8)

利用上述式8，等距柱形映射方式的等距柱形映射图像ECi和透视映射方 式的平面图像Pi之间能够互相转换。也就是说，可以用需要制作的平面图像 Pi的对角线视角α所对应的矢径r，来计算转换映射坐标，表示平面图像Pi 的各像素与等距柱形映射图像ECi的哪一个坐标对应，并根据该转换映射坐 标，从等距柱形映射图像ECi制作透视映射图像的周边区域图像PIi。

上述映射方式的转换表示是等距柱形映射图像EC的(纬度、经度)在 (90°，0°)的位置成为透视射影图像即周边区域图像PI的中心点CP2的转 换。因此，在以等距柱形映射图像EC的任意点作为关注点进行透视映射转换 时，只要进行坐标转动即可，让贴了等距柱形映射图像EC的立体球体CS转 动，使得关注点的坐标(纬度，经度)设置到(90°，0°)的位置上。

关于该立体球体CS的转动的转换公式是一般的坐标转动公式，在此省略 说明。

周边区域图像的确定

以下参考图21，描述周边区域图像PIi的区域的确定方法。图21是确定 周边区域图像时的示意图。

优选第一对应区域计算部552在判断平面图像Pi和周边区域图像PIi的对 应关系时，尽可能在周边区域图像PIi中宽裕地包含第二对应区域CA2。因 此，如果将周边区域图像PIi设定得比较宽阔，则不会发生不包含第二对应 区域CA2的事态。但是周边区域图像PIi设定得过大，则需要计算相似度的对 象像素相应增加，需要花费处理时间。因此，周边区域图像PIi的区域尽可 能在包含第二对应区域CA2的范围内越小越好。对此，本实施方式用以下所 示方法来确定周边区域图像PIi。

在本实施方式中，用平面图像的35mm换算焦距来确定周边区域图像 PIi，这可以通过摄影时记录的Exif数据获得。35mm换算焦距即以所谓的 24mmx36mm的胶卷尺寸为基准的焦距，因此用该胶卷的对角、焦距来计算下 式9、式10中相对应的对角线视角。

胶卷对角＝sqrt(24×24+36×36) (式9)

合成图像视角/2＝arctan((胶卷对角/2)/合成用图像35mm换算的焦距)

(式10)

然而，用于覆盖该视角的图像为圆形，而实际的摄像元件(胶卷)为长方 形，所以成为圆内接的长方型图像。本实施方式将周边区域图像PIi的垂直 视角α设定为与平面图像Pi的对角线视角α相同。这样，如图20的(b)所 示的周边区域图像PIi成为以覆盖图20的(a)所示的平面图像Pi的对角线视 角α的圆的外接正方形，垂直视角α如下式11、式12所示，可以根据正方形 的对角平面图像Pi的焦点距离来计算。

正方形对角线＝sqrt(胶卷对角*胶卷对角+胶卷对角*胶卷对角) (式11)

垂直视角α/2＝arctan((正方形对角/2)/(平面图像的35mm换算焦距))

(式12)

通过上述垂直视角α来进行映射转换，能够制作以关注点为中心尽可能 宽阔地覆盖平面图像Pi的对角线视角α上的图像，且垂直视角α不会变得过 大的周边区域图像PIi(透视映射图像)。

位置信息的计算

接着，返回图15，第二对应区域计算部558用于计算平面图像Pi中的多 个特征点fp2与周边区域图像PIi中的多个特征点fp3的特征量fv3。基于所求 出的各特征量fv2、fv3的相似度，计算图像之间的对应点，根据求出的图像 之间的对应点的关系，求出周边区域图像PIi中平面图像Pi对应的单应，并 将该单应用于转换，实行第二单应转换。其结果，第二对应区域计算部558 求出第二对应区域CA2。

在第一单应转换之前，为了加速第一单应的计算时间，可以调整平面图 像Pi和等距柱形映射图像ECi中至少一方的图像大小。例如，在平面图像Pi 为4000万像素，而等距柱形映射图像ECi为3000万像素的情况下，将平面图 像Pi调整为3000万像素，或者分别将双方图像均调整为1000万像素。同样 地，在求出第二单应之前，可以调整平面图像P和周边区域图像PIi中的至少 一方的图像大小。

此外，本实施方式中的单应是表示等距柱形映射图像ECi和平面图像Pi 之间的映射关系的转换矩阵，平面图像Pi中的坐标乘以单应计算处理求出的 单应转换矩阵，可以求出等距柱形映射图像ECi(天球图像CE)上的对应坐 标。

图21中，(a)是初始设定形状的示意图，(b)是周围区域图像以及第 二对应区域的示意图，(c)是经过区域分割的初始设定形状的示意图。

初始设定形状生成部559用于生成初始设定形状DF，初始设定形状DF是 等距柱形映射方式，且与平面图像Pi的形状之间具有映射转换(单应)的关 系，取决于预定的视角和映射方式。平面图像P1表示动画最初的帧，也可以 是任意的帧，其表示动画中的特定的帧。确认平面图像从拍摄拍摄到拍摄结 束后的视角状况，用中间值设定。具体而言，视角为50°到110°，变焦 时，设定为80°。

如图21的(a)所示，初始设定形状DF采用与前景动画相同的摄影方 式，在此考虑到用普通的数码相机拍摄的图像作为前景动画重叠，作为透视 映射方式预先决定初始设定形状DF。

初始设定形状DF为如图21(a)所示的内接于圆的长方形，该圆以长方 形的中心点为中心。在此为了方便起见，设定长方形的纵边和横边分别平行 于Y轴和X轴，并以中心为原点。对角线视角可以在大于0度和小于180度的范 围内任意决定。但是，如果指定极端值，则有可能增加计算误差，因此设为 例如50度等较为妥当。在成为前景动画的动画中也可以采用实际记录动画时 所使用用的记录图像的视角。

而后，基准形状转换信息计算部568用从平面图像Pi映射转换到第二对 应区域CA2上时的信息(参数)，求出对第二对应区域CA2转换初始设定形状 DF的信息。该求出的信息是基准形状转换信息，用来通过转动和变倍的至少 其中之一，使得基准形状BF转换。关于该转动的基准形状转换信息即为后述 的“基准形状转动信息”，而该关于变倍的基准形状转换信息即为厚书的 “基准形状变倍信息”。

进而，基准形状转换信息计算部568通过映射方式转换，将第二对应区 域CA2的中心点CP2转换为等距柱形映射方式，计算等距柱形映射图像ECi上 对应的对应点CP3的位置坐标。关于该位置坐标的基准形状转换信息即为后 述的“基准形状移动信息”，是用于通过移动来使得基准形状BF的位置转换 的信息。

在此，用图21(b)来详述基准形状转换信息计算部568的处理。图21 (b)是周边区域图像以及第二对应区域的示意图。

图21(b)中显示了周边区域图像PIi和第二对应区域CA2。如图20所 示，周边区域图像PIi的垂直视角α被设定为与平面图像Pi的对角线视角α 相同。而后，第二对应区域CA2与平面图像Pi之间存在被称之为第二单应转 换的关系。在此的单应由于是将平面映射到平面上的转换，因此，考虑初始 设定形状DF与第二对应区域CA2之间也用单应的映射关系来表示。第二对应 区域CA2的四个顶点有不同的取得方法，但不是所有去得方法均能够用单应 来从初始设定形状DF所表示的平面来完整地表述，用最小二乘法实行四点中 的某一点成为最小的近似。用于单应的计算方法是公知的计算方法，在此省 略描述，例如如果利用Open CV(Open Source Computer Vision Library)， 则用四组对应点作为输入，存在计算单应矩阵的函数，可以利用该函数。

基准形状转换信息计算部568还计算用于根据求出的单应转换基准形状 BF的“基准形状转动信息”和“基准形状变倍信息”。关于根据求出的单应 来计算转动信息的方法，可以用公知的单应分解法。关于将单应分解为转动 矩阵和平移矢量的具体方法，可参见如下文献，在此不再详述。

非专利文献：Zhang，Z.“A Flexible New Technique for Camera Calibration.”IEEE Transactions on Pattern Analysis and Machine Intelligence.Vol.22，No.11，2000，pp.1330-1334.

在此，基准转动信息用与三维模型空间的各根轴之间的欧拉角表示，通 过等距柱形映射图像EC上的关注点GP1来确定。

接下去返回图15，区域分割部560将初始设定形状DF的区域分割为多个 网格区域。在此，用图21的(a)、(c)来描述把基准形状的区域分割为多 个网格区域的方法。图21中的(c)是经过区域分割后的基准形状的示意 图。

区域分割部560如图21(c)所示，把在基准形状DF生成中说明的那样， 通过给予对角线视角和纵横比所生成的基准形状的四个顶点构成的长方形分 割为多个网格区域。例如在水平方向和垂直方向上均进行八等分。

以下说明多个网格区域的具体的分割方法。

首先出示均等分割基准形状的区域的计算式。设将两点A(X1，Y1)、 B(X2，Y2)之间的线段以均等间隔分割为n段，此时，从A到第m点Pm的坐标可 以用下式13计算。

Pm＝(X1+(X2-X1)×m/n，Y1+(Y2-Y1)×m/n) (式13)

上式13可以用来计算线段均等分割的坐标，据此，能够求出经过分割后 的长方形的上边和下边的坐标，而后进一步对用经过分割的坐标构成的线段 进行分割。如图21的(a)所示，当设定长方形初始设定形状DF的左上、右 上、右下、左下的各坐标分别为TL、TR、BR、BL时，可以求出将线段TL-TR 和线段BR-BL均等八分割后的各个坐标。然后，对于0至第8个经过分割的坐 标，以相同顺序对相应的坐标之间的线段进行均等八分割，求出分割后的坐 标。这样，便能够求出把四角形区域分割成8×8个小区域的坐标。

接下去返回图15。映射方式逆转换部562将经过区域分割部560区域分割 的初始设定形状DF的坐标转换为与等距柱形映射图像ECi相同的等距柱形映 射方式，据此计算等距柱形映射图像ECi中基准形状的各个网格点的对应 点。

图22中的(a)是将图21(c)所示的初始设定形状DF的各个网格点放在 等距柱形映射图像ECi的中心(关注点(纬度0，经度0)的位置上时求出的 各个网格点的示意图。如描述映射方式转换时所述，不同映射方式的图像的 对应关系能够通过分别映射到三维立体球上来计算。图22的(a)中作为一 例将TL的坐标表示为(L0_00，00，LA_00，00)。

在此，作为透视映射方式给予视角和纵横比生成了基准形状BF，但是， 描述与等距柱形映射图像ECi之间关系时需要在什么位置上放置基准形状BF 的信息。对此，考虑用等距柱形映射图像ECi上的纬度/经度坐标来定义基准 形状BF的放置坐标。这也可以用关注点来表述，即表示从立体球CS的中心朝 向何处。

图22的(b)是改变关注点，将与图22的(a)相同的基准形状BF放置到 纬度45度、经度90度的位置上时的示意图。由于等距柱形映射是从赤道附近 向及方向水平拉伸的映射方式，因而基准形状便成为如图所示的扇形。

本实施方式如图5和图6所示，把基准形状BF放在什么位置的信息表示为 “基准形状移动信息”，其表示等距柱形映射图像上的纬度/经度坐标。图 22的(b)可以被认为是用基准形状移动信息移动了以图22的(a)所示的基 准形状BF。在此，通过映射方式逆转换第二对应区域CA2的中心点CP2，来求 出等距柱形映射图像ECi上对应的对应点CP3，并以该坐标位置作为“基准形 状移动信息”，通过利用包含已经求出的“基准形状转动信息”“基准形状 变倍信息”的“基准形状转换信息”，能够对基准形状BF进行转动/变倍， 并将经过转动/变倍的基准形状移动到以等距柱形映射上关注点GP1所表示的 位置上。换言之，可以用基准形状转换信息、以及将通过基准形状的网格分 割所得到的坐标逆转换为第一映射方式而获得的位置参数，来表示第一映射 图像中与第二对应区域对应的对应区域。在此的网格点是多个点中的一例。

基准形状移动信息还被称为“平移/倾斜信息”，因为其类似于通过平 移(经度方向)、倾斜(纬度方向)位于立体球CS中心的假想照相机IC来移 动假想照相机IC的视线轴。

这样，后述的重叠部55b能够将利用基准形状转换信息来转动、变倍以 及移动平面图像Pi的基准形状BF，重叠显示到用等距柱形映射图像ECi生成 的天球图像CE上。通过上述基准形状位置参数、动画帧计数值(参见图 15)、基准形状转换信息的生成，可以求出等距柱形映射图像ECi与平面图 像Pi之间的位置关系。

接下去返回图15，重叠显示元数据生成部570制作如图17所示的重叠显 示元数据。

重叠显示元数据

在此用图17描述重叠显示元数据的数据结构。图17是重叠显示元数据的 数据结构的示意图。

如图17所示，重叠显示元数据包括等距柱形映射图像信息、平面图像信 息、基准形状信息、多个基准形状转换信息1～N(N是正数)以及元数据生 成信息。

其中，等距柱形映射图像信息是附随于特殊摄影装置1所拍摄的动画数 据中的元数据的信息。等距柱形映射图像信息包括图像识别信息和附属信 息。等距柱形映射图像信息中的图像识别信息用于识别等距柱形映射图像。 图17中以图像的文件名作为一例等距柱形映射图像信息中的图像识别信息， 除此之外，用于唯一识别图像的图像ID也可以作为该图像识别信息。

等距柱形映射图像信息中的附属信息是附属于等距柱形映射图像信息的 关联信息。图17作为附属信息的一个示例，显示了特殊摄影装置1拍摄时得 到的等距柱形映射图像数据的姿势补偿信息(Pitch，Yaw，Roll)。该姿势补 偿信息既可以以经过标准化的Exif(Exchangeable image file format)保 存，作为特殊摄影装置1的图像记录格式，也可以用 GPano(Google Sphere schema)提供的各种格式保存。天球图像的特征在于， 如果在同一位置拍摄，即便姿势不同，也能够进行360°全方位图像的拍 摄，但是在显示天球图像CE时，如果未指定姿势信息、图像的中心(关注点) 等，则无法决定显示位置。因而通常将天球图像CE补偿成为天顶在拍摄者正 上方。这样便能够将水平线补偿成为直线，给出比较自然的显示。本实施方 式涉及的图像是动画图像，为此还可以保存动画各帧的姿势信息，用来对每 一帧进行补偿。

平面图像信息是基于普通摄影装置3拍摄的动画数据的信息。平面图像 信息包含图像标识信息和附加信息。平面图像信息中的图像识别信息用于识 别平面图像P的图像。图17中用图像的文件名作为一例图像识别信息。除此 之外，也可以用识别图像的图像ID作为图像识别信息。

另外，平面图像信息中的附属信息是附属于平面图像信息的关联信息。 图17中用35mm换算焦距的值作为一例平面图像信息的附加信息。35mm换算焦 距的值并不是在平面图像P上重叠显示天球图像CE所必须的，在此例举主要 是用来作为进行重叠显示时作为决定显示的视角的参考信息。在动画中，如 果实行了变焦处理，则焦距发生变化，因而还可以将与动画的每一帧对应的 焦距作为附属信息记录。

基准形状信息作为构成基准形状的信息，其中包含区域分割信息和各网 格区域的网格点的位置(基准位置参数)。其中，区域分割信息表示将基准形 状BF分割成多个网格区域时水平(经度)方向的分割数和垂直(纬度)方向的分 割数。

基准位置参数是与后述的基准形状转换信息1～N一起被用来计算顶点映 射信息的参数，该顶点映射信息参数表示，在用基准形状转换信息i中的动 画帧特定信息所提取的平面图像Pi被分割成多个网格状区域时，各个网格点 被放置在同样用基准形状转换信息i从天球动画CE提取的等距柱形映射图像 ECi中的哪个位置。

基准形状转换信息包含基准形状转动信息、基准形状变倍信息、基准形 状移动信息、动画帧特定信息。基准形状转动信息、基准形状变倍信息、以 及基准形状移动信息如上所述。

动画帧特定信息由生成用动画帧提取部548生成，被用来分别从用等距 柱形映射图像信息的图像识别信息所特定的动画、以及用平面图像信息的图 像识别信息所特定的动画中提取帧图像。基准形状的转动、变倍、移动的各 信息被转换到上述顶点映射信息，该顶点映射信息表示经过用基准形状信息 的位置参数所表示的等距柱形映射图像上对应的位置发生转动、变倍或移动 后，平面图像Pi被分割成多个网格状区域时的各个网格点被放置在等距柱形 映射图像ECi(从天球动画CE中提取的一个帧图像)中的位置。基准形状转换信息计算部568并不计算动画的所有帧的基准形状转换信息，只计算被取样 成为前景动画的动画帧(平面图像Pi)的基准形状转换信息。因此，本例中拥 有1～N基准形状转换信息。基准形状转换信息计算部568还在前景动画中帧 与帧之间变动较大时，按时间轴对前景动画的帧进行密集采样，而在帧与帧 之间变化较小时，则对所述第二动画的帧进行粗略采样。

元数据制作信息是表示重叠显示元数据版本的版本信息。通过以上述构 成作为重叠显示元数据构成，能够减少动画各帧相关图像中的重叠位置计算 所需参数数据大小，进而不持有动画所有帧的参数，而是通过记录被取样的 帧的基准形状转换信息，大幅度减少所需参数的数据量。而且，该参数还能 够在用显示器等实行重叠显示时作为参数组提供，用于与以往相比，减轻图 像生成处理的演算处理负担。具体例如可以考虑用在2D(2-Dimensions)和 3D(3-Dimensions)数据可视化的图形库0penGL中使用的数据计算的运算处理 中。这样，由于记录了作为外部程序能够处理的元数据，因而外部程序读取 时序的转动、移动、变倍的基准形状转换信息，经过插值后使用，便能够起 到以现时处理来实现连续的重叠处理的效果。

重叠部的功能结构

以下参考图16，描述重叠部55b的功能结构。重叠部55b具有重放时间管 理部571、重放用动画帧提取部572、插值部574、转换位置参数计算部576、 形状转换部578、补偿参数生成部580、粘贴区域生成部582、补偿部584、图 像生成部586、图像重叠部588、以及映射转换部590。

其中，重放时间管理部571用于管理作为基准的动画重放时间，并输出当 前的时间，也就是重放时间(或动画帧帧计数值)。例如，在需要以30fps重 放动画时，重放时间管理部571在1秒之间以1/30秒逐步增加时间，输出30 次。在此用简单的例子来说明背景图像和前景图像的同步。设定任意图像为 基准图像，用该基准图像与另一图像之间的时间差来同步。例如，以背景图 像(等距柱形映射图像EC)中的第一页图像为基准图像，如果前景图像(平 面图像P)的记录开始时间比基准图像早0.5秒，则时间差为-0.5秒，相反， 如果平面图像的记录开始时间比基准图像晚0.5秒，则时间差为+0.5秒，该 时间差也可以记录到元数据中。根据上述时间差，计算帧数之差，从而能够 同步，而后重放显示。在重放显示之际，既可以配合记录时间较晚一方，跳 过动画的读出，同步后重放显示，也可以从背景图像与前景图像之间时间差 为0的图像开始显示。

重放用动画帧提取部572根据重放时间管理部571管理的时间，分别从作 为背景动画(等距柱形映射图像EC)一方的动画图像和作为前景动画(平面图 片P)一方的另一动画图像中提取与指定的时刻相对应的帧。

插值部574配合重放时间管理部571管理的动画的帧重放时间(或者动画 帧计数值)，读取元数据生成部55a生成的各个基准形状转换信息，按需要进 行插值(内插)，从而求出每个动画的帧的重放时间的形状转换参数。该形状 转换参数的形式与上述基准形状转换信息相同，值表示差值结果。关于插值 方法，可以通过读取最接近重放时间的前后时间的基准形状转换信息，并通 过例如线性插值来求得。例如，当元数据制作部55a中生成用动画帧提取部 548以1fps提取动画帧，重叠显示元数据生成部570每秒生成一个基准形状转 换信息，且重放时间管理部571在每秒输出30帧时，插值部574进行相当于29 个帧的插值。

转换位置参数计算部576用通过插值部574得到的各形状转换参数，求出 由元数据生成部55a生成的基准形状信息(基准位置参数)的转换结果，即转 换位置参数。该计算在动画各帧每个重放时间内进行。

然而，以上虽然求出了转换位置参数，但是如果这样直接进行重叠显 示，等距柱形映射图像EC和平面图像P之间明度和颜色会有很大差异此时， 会发生不自然的重叠显示。为此，下述形状转换部78和补偿参数生成部580 具有明度和色调差异较大时能够防止不自然重叠显示的效果。

形状转换部578通过将转换位置参数计算部575求出的转换位置参数所特 定的等距柱形映射图像EC上的区域转换为与平面图像P相同的矩形形状，生 成第3对应领域CA3。

补偿参数生成部580如图26的(a)所示，用与区域分割部560的处理相 同的方式，根据重叠显示元数据的区域分割数信息，分割第三对应区域 CA3，生成各网格区域LA3。而后，补偿参数生成部580如图26的(b)所示， 用与区域分割部560的处理相同的方式，根据根据重叠显示元数据的区域分 割数信息，分割平面图像P，生成各网格区域LA0。在图26(b)中生成了(8 ×8＝)64个网格区域LA0。进而，补偿参数生成部580还用于生成补偿参数， 该补偿参数用于让平面图像P中与各网格区域LA3形状相同的各网格区域LA0 的明度值和色值，与被转换为相同形状后的第三对应区域CA3中的各网格区 域LA2'的明度值和色值相匹配。具体而言，补偿参数生成部580计算构成具 有作为共同网格点的网格区域LA0上的一点的四个网格区域的所有像素的明 度值和色值(R，G，B)的平均值a＝(R_ave、G_ave、B_ave)，同时，计算构成具有以 作为共同网格点的网格区域LA3′的角上的一点的四个网格区域的所有像素的明度值和色值(R′，G′，B′)的平均值a'＝(R_ave'，G_ave'，B_ave')。图27显 示这些四个网格区域(LA3a′、LA3b′LA3c′、LA3d′)以及位于网格角上 的共用网格点LP3′。当上述网格区域LA0的一点和各网格区域LA3的一点分 别位于第三对应区域CA3和第三对应区域CA3的四个顶角时，补偿参数生成部 580根据一个网格区域，计算明度值的平均值a和色值的平均值a'。进而，当 上述网格点LA0的一点和LA3的一点是第三对应区域CA3的外周上的点时，补 偿参数生成部580从位于内侧的两个网格区域计算明度值的平均值a和色值的 平均值a'。在本实施方式中，补偿参数为用于补偿平面图像P的明度值和色 值的增益数据，如下式14所示，用平均值a除以平均值a'，求出补偿参数 Pa。

Pa＝a′/a (式14)

由此，在后述的重叠显示中，将补偿参数所表示的增益值与每个网格区 域LAO相乘，使得平面图像P的颜色和明度达到接近于等距柱形映射图像 EC(天球图像CE)的像素值，从而在重叠显示时能够消除外观上的违和感。在 此，补偿参数不仅可以用平均值计算，也可以用中间值、最多值等来取代平 均值或加入平均值来进行计算。

在明度值和色值的补偿值计算中，本实施方式使用了像素值(R，G， B)，除此之外，还可以用灰度和色差信号的YUV格式或JPEG的sYCC(YCbCr)格 式等中的灰度值、色差值，除以用同样方法求出构成网格区域全部像素的灰 度值及色差值的平均值，将得到的结果作为后述的重叠显示的补偿参数。另 外，从RGB转换到YUV、sYCC(YCbCr)的转换方法是公知方法，在此省略详 述，作为参照，例举用(式15)进行从JPEG压缩图像格式(JFIF(JPEG文件互换 格式)形式的RGB转换到YCbCr的例子。

补偿部584用于根据补偿参数生成部580求出的补偿参数，配合等距柱形 映射图像EC的明度值和色值，补偿平面图像P的明度值和色值，制作补偿图 像C。补偿部584不局限于补偿明度或颜色。用补偿参数进行补偿时，也可以 只补偿明度而不补偿颜色。

粘贴区域生成部582用于根据转换位置参数计算部576求出的转换位置参 数，生成假想的三维球体CS上张贴平面图像P的区域部分(以下，称为“部分 立体球”)PS。

图像生成部586将平面图像P(或该平面图像P经过补偿之后形成的补偿图 像C)贴到部分立体球形PS上，生成重叠图像S。图像生成部586还根据部分 立体球PS的区域，生成屏蔽数据(mask data)M。进而，图像生成部586将等 距柱形映射图像EC贴在立体球体CS上，形成天球图像CE。在此，屏蔽数据M 是在将重叠图像S叠加到天球图像CE上时可以使用的透过率数据。关于屏蔽 数据M，在重叠图像S叠加到天球图像CE上时，由于边界附近的明度和颜色从 内侧的重叠图像S逐渐接近外侧的天球图像CE，因而屏蔽周边的透过率从接 近内侧的重叠图像S逐渐向接近外侧的天球图像CE而变高。由此能够在将重 叠图像S叠加到天球图像CE上时尽量不凸显重叠。但是，在把重叠图像S重叠 到全天求图像CE上时不逐渐改变边界周围明度的情况下，掩蔽数据M的生成 并不是必须的。

图像重叠部588用于将重叠图像S和屏蔽数据M叠加在天球图像CE上。由 此形成边界不明显地叠加了高清晰度重叠图像S的低清晰度天球图像CE。

映射转换部590如图7所示，基于预先设定的假想照相机IC的视线方向 (预定区域T的中心点CP)和预定区域T之间的视角α，将处于叠加了重叠图像 S状态下的天球图像CE中的预定区域T映射转换为能够显示到显示器上。而 且，映射转换部590还在映射转换之际，实行预定区域T与显示器中的显示区 域的分辨率保持一致的处理。具体而言，当预定区域T的分辨率小于显示器 的显示区域的分辨率时，映射转换部590放大预定区域T，使得预定区域能够 与显示器的显示区域保持一致。相反，当预定区域T的分辨率大于显示器的 显示区域的分辨率时，映射转换部590缩小预定区域T，使得预定区域能够与 显示器的显示区域保持一致。由此，显示控制部便能够在显示器的整个显示 区域上显示表示预定区域T的预定区域图像Q。

实施方式的处理或动作

以下参考图18至图33，描述本实施方式的处理或动作。首先用图18描述 摄影系统实行的摄影方法。图18是本实施方式涉及的摄影方法的时序图。以 下，描述被摄物或风景等的拍摄，拍摄同时还可以用集音部14对周围声音录 音。

如图18所示，智能电话5的受理部52用于接受用户发送的联动摄影开始 的指示(步骤S11)。在这种情况下，显示控制部56在显示器517上显示如图14 (b)所示的联动摄影装置设定画面。该画面上显示每台摄影装置的用来指 定联动摄影时主摄影装置的单选按钮以及指定(选择)联动摄影时副摄影装 置的复选框。此外还显示各台摄影装置的装置名称和电波的接收强度。当用 户指定(选择)了主摄影装置和副摄影装置后，按动“确定”按钮，从而受理 部52受理上述联动摄影开始的指示。在此，可以有副摄影装置，因而可以利用复选框来指定(选择)多个摄影装置。

然后，智能电话5的短程通信部58向普通摄影装置3的短程通信部38发送 要求摄影开始的摄影开始要求信息(步骤S12)。智能电话5的短程通信部58 向特殊摄影装置1的短程通信部18发送要求摄影开始的摄影开始要求信息(步 骤S13)。

而后，普通摄影装置3开始拍摄(步骤S14)。该摄影的处理是通过摄像部 33拍摄被摄体和风景等，取得构成动画的帧数据，即摄影图像数据(在此为 平面图像数据)，到存储及读取部39将摄影图像数据保存到存储部3000中为 止的处理。然后，普通摄影装置3的近程通信部38将在步S14中获得的平面图 像数据送往智能手机5(步骤S15)。此时还发送用于识别被发送的平面图像 数据的图像识别信息以及附属信息。这样，智能手机5的近程通信部58便收 到平面图像数据、图像识别信息以及附属信息。

另一方面，特殊摄影装置1开始拍摄(步骤S16)。该摄影的处理是通过摄 像部13拍摄被摄体和风景等，取得构成动画的帧数据，即摄影图像数据(图3 的(a)和(b)所示的两个半球图像数据)，图像及声音处理部15根据两个半球 图像数据，制作如图3(c)所示的单一等距柱形映射图像数据，至存储及读取 部19将等距柱形映射图像数据保存到存储部1000中为止的处理。然后，特殊 摄影装置1的近程通信部18向智能手机5发送在步骤S16中得到的等距柱形映 射图像数据(步骤S17)。此时还发送用于识别被发送的等距柱形映射图像数据的图像识别信息和附属信息。这样，智能手机5的近程通信部58便收到等 距柱形映射图像数据、图像识别信息以及附属信息。等距柱形映射图像数据 可以不是在特殊摄影装置中生成，而在智能手机5中生成。在这种情况下， 两个半球图像数据被从特殊摄影装置1送往智能手机5。

随后，智能电话5的存储及读取部59将在步骤S15收到的平面图像数据的 电子文件以及步骤S17收到的等距柱形映射图像数据的电子文件保存在同一 个文件夹中，而后保存到存储部5000(步骤S18)。

接着，智能电话5的图像及声音处理部55生成用于在显示低清晰度天球 图像CE的一部分区域上重叠显示高清晰度图像的平面图像P时使用的重叠显 示用元数据(步骤S19)。此时，存储及读取部59将重叠显示用元数据保存到 存储部5000。

在此，主要利用图19至图22，详述重叠显示元数据的生成处理。而普通 摄影装置3和特殊图像拍摄装置1之间，即使摄像元件的分辨率相同，特殊摄 影装置1的摄像元件也必须涵盖成为整个360度天球图像CE的原始图像的等距 柱形映射图像，为此，摄影图像中的一定区域的清晰度变低。

重叠显示元数据的生成处理

首先描述在用低清晰度等距柱形映射图像EC生成的天球图像CE上重叠高 清晰度平面图像P并显示到显示器517上时使用的重叠显示元数据的生成处 理。

提取部550提取以等距柱形映射方式得到的等距柱形映射图像EC中多个 特征点fp1、以及以透视映射方式得到的长方形平面图像P中多个特征点fp2 (步骤S110)。

接着，第一对应区域计算部552通过第一单应转换，根据等距柱形映射图 像EC中的多个特征点fp1的特征量是fv1与平面图像P中的多个特征点fp2的特 征量fv2之间的相似度，如图19所示，计算等距柱形映射图像EC中与平面图像 P对应的四边形第一对应区域CA1(步骤S120)。进一步具体而言，在第一对应 区域计算部552根据求出的等距柱形映射图像EC的多个特征点fp1的特征量 fv1与平面图像P中的多个特征点fp2的特征量fv2之间的相似度，计算图像之 间的对应点，在等距柱形映射图像EC中，通过计算与平面图像P对应的单应而 得到的第一单应转换，如图19所示，求出等距柱形映射图像EC中与平面图像P 对应的四边形第一对应区域CA1。该处理虽然无法使得映射方式不同的平面图 像P精确对应等距柱形映射图像EC，但能够先粗略推测对应位置(暂定处理)。

接着，关注点确定部554确定经过第一单应转换后平面图像P的中心点CP1 在等距柱形映射图像EC中的点(关注点GP1)(步骤S130)。

接着，映射方式转换部556如图20所示，将等距柱形映射图像EC内以关注 点GP1为中心的周边区域PA，转换为与平面图像P相同的透视映射方式，使得 周边区域图像PI的垂直视角α与平面图像P的对角线视角α相等，其结果，生 成周边区域图像PI(步骤S140)。

然后，提取部550提取通过映射方式转换部556得到的周边区域图像Pli中 的多个特征点fp3(步骤S150)。

接着，第二对应区域计算部558通过第二单应转换，根据平面图像Pi中的 多个特征点fp2的特征量fv2与周围区域图像PI中的多个特征点fp3的特征量 fv3之间的相似度，计算周边区域图像Pl中平面图像Pi对应的四边形第二对应 区域CA2(步骤S160)。此外，平面图像P是例如4000万像素的高清晰图像，因 此，预先调整到合适的大小。

接下来，初始设定形状生成部559如图21(a)所示，通过决定长方形的对 角线视角β和纵横比，生成初始设定形状DF(步骤S170)。

其次，区域分割部560如图21(c)所示，将初始设定形状DF的区域分割成 多个网格区域(步骤S180)。

接下来，映射方式逆转换部562对经过区域分割部560分割的初始设定形 状DF的坐标进行逆转换，使得初始设定形状DF具有与背景动画相同的映射方 式，即转换为具有与等距柱形映射图像EC相同的等距柱形映射方式，据此， 求出等距柱形映射图像ECi中基准形状BF的各网格点的对应点(步骤S190)。通 过映射方式逆转换部562的处理，生成表示各网格区域中各网格点坐标的基准 形状信息(基准位置参数)。

另一方面，基准形状转换信息计算部568通过基准形状BF的转动、变倍(放 大或缩小)或移动，求出用于转换基准形状BF的基准形状转换信息(步骤S200)。

最后，重叠显示元数据生成部570根据从特殊摄影装置1取得的等距柱形 映射图像信息、从普通摄影装置3取得的平面图像信息、在上述步骤S190中生 成的基准形状信息、在步骤S200求出的各基准形状转换信息、以及根据生成 用动画帧提取部548所输出的动画帧计数值，生成重叠显示元数据(步骤S210)。 该重叠显示元数据通过存储及读取部59被保存到存储部5000中。

以上，图18所示的步骤S19的处理结束。然后，存储及读取部59和显示控 制部56利用重叠显示元数据进行重叠处理(步骤S20)。

重叠处理

接下来参考图23至图34，详述重叠处理。图23和图28是重叠处理过程的 图像的示意图。图23显示计算重叠处理的前半部分，位置参数和补偿参数的 处理。图28显示重叠处理的后半部分，将平面图像P重叠到天球图像CE上的处 理。

首先，存储及读取部(取得部)预先从存储部5000读取基准形状信息以及 各基準形状转换信息。存储及读取部(取得部)还配合动画重放时间的推移， 读取关于用等距柱形映射方式获得的动画帧的等距柱形映射图像EC的数据、 以及关于用透视映射方式获得的动画帧的平面图像P的数据。

然后，插值部574配合重放时间管理部571的动画重放时间推移，读取元 数据生成部55a生成的各基准形状转换信息，根据需要插值，求出每个动画帧 的重放时间的形状转换参数(S270)。

在此，用图24详述形状转换参数。图24显示插值方法的说明。在本实施 方式中基准形状转换信息除了基准形状变倍信息以外，均以角度表示。如果 用单应矩阵等来求转动角，如图24(a)所示，角度值例如为±180度的范围。插 值时，如果跨越±180度的界限，则可能会出现不希望有的动作。例如设定 动画的帧每隔1秒130度、150度、170度、-170度、-150度、-130度。通常认为 如图24(b)所示，从130度到-130度逆时针等速运动。但是，如果以0.5秒间隔 对该动画的帧插值，则170和-170之间的单纯插值结果为0，其结果，如图24(c) 所示，突然逆转，动作幅度相当大。因此，插值部574判断在插值的帧数据之 间向哪一方转动比较近，而后进行插值。例如，如图24(d)所示，将基准位置 参数所表示的基准形状从130度(A点)移动或者转动到-130度(B点)时，由于逆 时针转动较近，跨越±180度的界限，所以在这种情况下，以A点和(B点+360 度)进行插值。如图24(e)所示，从130度(C点)移动或转动到-20度(D点)时， 由于顺时针方向较近，没有跨越±180度的界限，所以在C点和D点单纯地进行 插值。如图24(f)所示，从-130度(E点)移动或转动到130度(F点)时，由于顺 时针较近，跨越±180度的界限，所以只要用E点和(D点-360度)进行插值即可。 用这样的方法插值，除了动画帧的设定间隔相对于移动或转动速度较大的情 况以外，基本上都按照意图动作。

接着返回图23，转换位置参数计算部576利用元数据生成部55a生成的基 准形状信息(基准位置参数)和插值部574得到的基准形状转换信息，求出该时 间的转换位置参数(步骤S280)。

在此，用图25说明转换位置参数的计算方法。图25是转换位置参数计算 部处理流程的三维概念图，其中，(a)是基于基准位置参数，制作三维立体球 CS上的坐标(部分立体球PS)的示意图。在此使用上式4的观点。

接着，转换位置参数计算部576如图25(b)所示，求出由部分立体球PS的 四个角中的三点所构成的平面，以立体球CS的中心为视点在该平面上透视射 影各点。可以任意选择三点。三维上通过三点的平面的公式是公知技术，在 此省略说明。从部分立体球PS向平面的映射时，设部分立体球PS上的点为P(a， b，c)，从原点(视点)到点P的直线的公式可以用媒介变数t表示(x，y，z)＝t(a， b，c)。只要求出平面和直线的交点即可。

接下来，转换位置参数计算部576如图25(c)所示，平移各点以使平面的 中心移动到原点。例如以四个顶点的位置坐标的平均作为平面中心，求出该 点移动到原点的矢量，在各点上加上该矢量。

接下来，转换位置参数计算部576如图25(d)所示，对图25(c)所示的平面 上的各点施加插值部574取得的信息(插值后的基准形状转换信息)中的转动 信息和变倍信息。先前移动到原点是为了在局部坐标上施加转动信息及变倍 信息。

接着，转换位置参数计算部576如图25(e)所示，将与向上述原点平移的 矢量相反的矢量加到各点上，返回到原来的位置。

而后，转换位置参数计算部576如图25(f)所示，让平面的各点返回到立 体球CS上。关于返回立体球CS的方法，例如设平面状的某个点为Q(d，e，f)。 为了将这些点映射到半径1的球上，只要从原点到点Q的矢量的长度为1即可。

接着，转换位置参数计算部576如图25(e)所示，对于被映射到立体球CS 上的各点施加插值部574获得的基准形状转换信息中剩下的基准形状移动信 息。由于基准形状移动信息是以原点为中心的转动信息，因此只要在各点的 (x，y，z)坐标上乘以转动矩阵即可。从制作基准位置参数的三维坐标再次返 回到等距柱形映射图像EC中的坐标，由此求出转换位置参数。虽然在此出示 了一度返回等距柱形映射图像EC的坐标之后制作部分立体球PS的例子，但也 可以将施加了基准形状移动信息的面直接作为部分立体球PS。

接着返回图23，形状转换部578将用转换位置参数计算部576求出的转换 位置参数所确定的等距柱形映射图像EC上的区域，转换为与平面图像P相同的 矩形形状，生成第三对应领域CA3(步骤S290)。然后，补偿参数生成部580通 过对比第三对应领域CA3和重放用动画帧提取部572提取的平面图像P，计算补 偿参数，生成补偿参数(步骤S300)。

接下来参考图28进行说明。首先，图13所示的存储及读取部59(取得部) 预先根据存储部5000，求出用等距柱形映射方式得到的等距柱形映射图像EC 的数据、用透视映射方式得到的平面图像P的数据，以及转换位置参数。而后， 重放用动画帧提取部572选择作为影像的帧即等距柱形映射图像EC的数据以 及平面图像P的数据。

接着，粘贴领域制作部582如图28所示，用转换位置参数转换基准形状参 数，制作假想的立体球CS上的部分立体球P(步骤S310)。

而后，补偿部584根据补偿参数生成部580生成的补偿参数进行补偿，将 平面图像P的明度值和色值调整为与等距柱形映射图像EC的明度值和色值相 匹配(步骤S320)。以下将经过补偿的平面图像P称为″补偿图像C″。

接下来，图像生成部586将补偿图像C贴到部分立体球PS上，生成重叠图 像S(步骤S330)。图像制作部586还根据部分立体球PS制作屏蔽数据M(步骤 S340)。进而，图像生成部586把等距柱形映射图像EC贴到立体求PS上，生成 天球图像CE(步骤S350)。而后，图像重叠部588把重叠图像S和屏蔽数据M叠加 到天球图像CE上(步骤S360)。由此形成叠加了高精细重叠图像S的低精细全天 球图像CE。

接下来，映射转换部590如图7所示，根据预定的假想照相机IC的视线方 向(预定区域T的中心点CP)和预定区域T的视角α映射转换，用以在显示器517 上可以观看叠加了重叠图像S的天球图像CE中的预定区域T(步骤S370)。此时， 射影转换部590还进行预定区域T与显示器517上的显示区域之间分辨率的匹 配处理。由此，显示控制部56便能够进行显示器517的整个显示区域显示预定 区域T的预定区域图像Q的显示处理(步骤S24)。在此，预定区域图像Q内包含 叠加了平面图像P状态的平面图像P′即重叠图像S。

接下来，使用图29至图33详细说明重叠显示的状态。图29是天球图像上 重叠了平面图像情况下的二维示意图。在此是显示在图5上重叠平面图像P。 如图29所示，基于位置参数，高精细的重叠图像S被重叠在立体球CS的内侧的 贴在立体球CS上的低精细天球图像CE上。

图30是在全天球图像中重叠平面图像时的三维示意图。在图30中，立体 球CS上贴天球图像CE和重叠图像S，表示包含重叠图像S的图像成为预定区域 图像Q的状态。

图31是不使用本实施方式的位置参数在全天球图像上重叠平面图像时的 二维示意图。图32是使用本实施方式的位置参数在全天球图像上重叠平面图 像时的二维示意图。

如图31的(a)所示，以假想照相机IC位于立体球CS的中心点为基准，被摄 体po1在全天球图像CE上被显示为像po2，在重叠图像S上被显示为像po3。如 图31(a)所示，由于像po2和像po3处于连接假想照相机IC和被摄体po1的直线 上，因此即使是以重叠图像S重叠在天球图像CE上的状态显示，天球图像CE和 重叠图像S之间也不会发生偏离。而在如图31(b)所示的假想照相机IC离开立 体球CS的中心点的情况下，虽然像po2位于连接假想照相机IC和被摄体po1的 直线上，但是像po3处于直线的稍微内侧。因此，如果将连接假想照相机IC和 被摄体po1的直线上的重叠图像S上的图像作为像po3'，则天球图像CE和重叠 图像S之间将产生偏差，该偏差为像po3和像po3'之间的偏离量g。为此，重叠 图像S被显示为偏离全天球图像CE。

对此在本实施方式中，由于使用了由多个网格区域表示的位置参数，因 此如图32的(a)和(b)所示，可以顺着天球图像CE重叠重叠图像S。由此，不 仅在如图32(a)所示的假想照相机IC位于立体球CS的中心点的情况下，而且即 便在如图32(b)所示的假想照相机离开立体球CS的中心点的情况下，图像po2 以及图像po3也位于连接假想照相机IC和被摄体po1的直线上。为此，以天球 图像CE上重叠重叠图像S的状态显示时，天球图像CE和重叠图像S之间不会产 生偏差。

图33中，(a)是一例不重叠显示时的宽屏图像的示意图，(b)是一例不重 叠显示时的视图图像的示意图，(c)是一例重叠显示时的宽屏图像的示意图， (d)是一例重叠显示时的视图图像的示意图。图中的虚线仅仅是为了方便说明 而作的表示，无关于是否实际显示在显示器517上。

在图33中，如(a)所示，在未将平面图像P重叠在天球图像CE上显示的情 况下，如果放大显示(a)中虚线所表示的区域，则如(b)所示，保持原有的低 精细图像，用户只能看到不清晰的图像。对此如(c)所示，在将平面图像P重 叠在天球图像CE上显示的情况下，如果放大显示(c)中虚线所表示的区域， 则如(d)所示，显示高精细图像，用户能够看到清晰的图像。尤其是在虚线内 的区域中示出文字招牌等时，如果不重叠显示高精细平面图像P，即使放大显 示，也会因文字模糊而看不清所写的内容。但是，如果重叠显示高精细的平 面图像P，则文字即便放大也十分清晰，因此用户可以了解所写的内容。

类似于本实施方式，当在动画的帧数据的全天球图像CE内重叠了动画的 帧数据的平面图像P时，得到如图34所示的画面。图34是一例在动画的某一区 域内显示动画的平面图像的示意图。

显示器517上显示图34，以领域图像Q1、Q2、Q3、Q4分别包含平面图像P1、 P2、P3、P4的状态，从图34的(a)开始按时间顺序显示(b)、(c)、(d)。虽然领 域图像Q1、Q2、Q3、Q4是低精细图像，但由于平面图像P1、P2、P3、P4是高精 细图像，所以即使放大显示平面图像P1、P2、P3、P4，用户也可以看到清晰的 图像。

当背景图像(等距柱形映射图像)以及前景图像(平面图像)为静止图像时， 可以将前景图像中的多个位置(点)、明度以及用来补偿色调的补偿参数(补偿 信息)与背景图像的多个位置(点)相对应地保存。但是，如果将这种方式直接 用于动画影像，就会产生一个问题，即重叠显示元数据的数据量与重叠显示 的动画记录时间成比例地增大。也就是说，相对于背景图像，在某个时刻前 景图像相对于背景图像的重叠位置与另一个时刻前景图像相对于背景图像的 重叠位置，动画图像不同于静止图像，其重叠位置发生变化，为此，需要用各 个时刻的前景图像的动画图像的帧为单位来记录重叠位置。因此，需要显示 动画帧数份的重叠位置的位置信息，重叠显示元数据必须保持大量的位置信 息。由此，重叠部55b需要利用重叠显示元数据进行每帧背景图像和前景图像 的重叠处理，处理负荷将变得非常大。

对此，本实施方式如图22(a)所示，用基准位置参数在背景图像上决定基 准形状BF，通过使用用来使基准形状BF在三维模型空间上转动、变倍、移动 的基准形状变换信息，来减少动画各帧中重叠位置的计算所需要的重叠显示 元数据的数据大小。而且，本实施方式不需要保持所有动画的所有帧的基准 位置参数，只要记录经过适当取样的动画帧的基准位置参数，因而可以减少 所需参数的数据量。在此可以进一步考虑在用显示器等重叠显示时，将该参 数作为相比于以往的处理能够减轻用于重叠处理的运算处理的参数组件来提 供。具体如用来计算能够在二维及三维数据可视化时使用的图形库0penGL中 处理的数据的运算处理。这样，由于被当作外部程序可以处理的元数据来记 录，因而，通过执行外部程序实现的插值部574便能够读取表示时序的转动、 变倍、移动的基准形状转换信息，实行插值并利用，从而用实时处理来实现 连续的重叠处理。

<本实施形态的主要效果>

上述本实施方式的主要效果在于，对于映射方式不同的图像，可以将其 中的一方图像(例如等距柱形映射图像EC)重叠到另一方图像(例如平面图像P) 上，来抑制图像的偏离。

本实施方式的效果还在于，能够如图33的(c)所示，在低精细的天球图像 CE的一部分，即区域图像的一部分区域上，重叠显示高精细的平面图像P，因 而天球图像和平面图像之间图像互相匹配，平面图像能够良好地溶入天球图 像。

进而，本实施方式通过决定以基准形状信息表示的基准形状BF，利用让 基准形状F在三维模型空间上转动、变倍、移动的基准形转换信息，可以尽可 能减少用于计算不同映射方式的多个动画图像中一个动画图像的各帧重叠到 另一个动画图像的各帧上的位置参数所需要的参数数据大小。而且不需要保 持动画图像所有帧的参数，而是只要记录被取样的任意帧的参数，减少所需 参数的数据量。

《第二实施方式》

以下用图35至图40描述本发明第二实施方式。

<摄影系统概述>

首先用图35描述本实施方式的摄影系统构成。图35是本实施方式的摄影 系统构成示意图。

如图35所示，本实施方式的摄影系统相对于第一实施方式的各种构成， 增加了图像处理服务器7。在下文中对与第一实施方式相同的构成赋予相同的 标记，并省略说明。智能手机5和图像处理服务器7可以通过互联网和内部网 等通信网络100与图像处理服务器7通信。

在第一实施方式中，重叠显示元数据的制作和图像重叠的处理由智能手 机5实行，而在本实施方式中，这些处理由图像处理服务器7实行。本实施方 式的智能手机5是一例通信终端，图像处理服务器是一例图像处理装置。

图像处理服务器7是服务器计算机，其种包含多台服务器计算机分散实行 图像处理的状况。

<实施方式的硬件构成>

以下用图36详述本实施方式的图像处理服务器7的硬件构成。图36是图像 处理服务器7的硬件构成示意图。而本实施方式的特殊摄影装置1、普通摄影 装置3以及智能手机5的硬件构成与第一实施方式相同，为此省略说明。

图像处理服务器的硬件构成

图36是图像处理服务器的硬件配置图。图像处理服务器7以计算机构 成，如图35所示，具备CPU701、ROM702、RAM703、HD704、HDD(Hard Disk Drive)705、记录介质706、介质I/F707、显示器708、网络I/F709、键盘 711、鼠标712、CD-RW驱动器714以及总线710。由于图像处理服务器7作为服 务器发挥作用，所以也可以没有键盘711和鼠标712等输入装置、显示器708 等输出装置。

其中，CPU701控制图像处理服务器7的整体运行。ROM702保存驱动 CPU701用的程序。RAM703被用来作为CPU701的工作区域。HD704用来保存程 序等各种数据。HDD705按照CPU701的控制来控制各种HD704的读取或写入。 介质I/F707控制闪存等记录介质706的数据读取或写入(保存)。显示器708用 来显示诸如光标、菜单、窗口、字符或图片等各种信息。网络I/F709是利用 通信网络100进行数据通信的接口。键盘711是具备用来输入文字、数值、各 种指示等的多个按键的一种输入装置。鼠标712是进行各种指示的选择、执 行、处理对象的选择、光标的移动等的一种输入手段。CD-W驱动器714控制 作为一例可装卸记录介质的的CD-RW(Compact Disc-ReWr itable)713中各种 数据的读取等。

图像处理服务器7配备了总线710。总线710是用于将图36所示的CPU701 等各构成要素电连接起来的地址总线和数据总线等。

<实施方式的功能结构>

以下用图37至图39描述本实施方式的功能结构。图37是构成本实施方式 的摄影系统的功能模块图。本实施方式的特殊摄影装置1、普通摄影装置3以 及智能手机5的功能构成与第一实施方式相同，为此省略描述。图15所示的 各功能构成在本实施方式中智能手机5的图像及声音处理部55中可有可无。

图像处理服务器的功能构成

如图37所示，图像处理服务器7具有远程通信部71、受理部72、图像及 声音处理部75、显示控制部76、判断部77、以及保存及读取部79。这些部分 均是由图35所示的各个构成要素中的任意一个要素，按照执行从HD704展开 到RAM703上的图像处理服务器7用程序的CPU701发送的指令而运行所实现的 功能或手段。

图像处理服务器7具有图36所示的ROM702、RAM703以及HD704构建的存储 部7000。

图像处理服务器的各功能构成

图像处理服务器7的远程通信部71主要通过图36所示的网络I/F707以及 CPU701的处理来实现，经由通信网络与其他装置(例如其他服务器、智能手 机)之间进行各种数据(或信息)的收发信。

受理部72主要通过键盘711、鼠标712以及CPU701的处理来实现，接受用 户的各种选择或输入。

图像及声音处理部75主要通过来自CPU701的命令来实现，对于从智能电 话5发送来的各种数据，进行各种处理。

显示控制部76主要通过CPU701的处理来实现，与第一实施方式的显示控 制部56不同，在智能手机5的显示器517上生成用于显示平面图像P的预定领 域图像Q的数据。显示控制部76还利用图像及声音处理部75生成的重叠显示 元数据，将平面图像P的各网格区域LAO与用位置参数表示的位置以及用补偿 参数表示的明度值以及色值相匹配，生成用来将平面图像P重叠到天球图像 CE上显示的数据。

判断部77通过图36所示的CPU701的处理实现功能，进行各种判断。

存储及读取部79主要通过图36所示的CPU701的处理来实现功能，在存储 部7000中存储或读取重叠显示元数据等各种数据(或信息)。存储及读取部79 起到从存储部7000获取各种数据的取得部的作用。

图像及声音处理部各功能的具体构成

在此，用图39详述图像及声音处理部75的各项功能构成。图39是图像及 声音处理部的功能模块图。

图像及声音处理部75大致可分为实行编码的元数据生成部75a和实行解 码的重叠部75b。元数据生成部75a实行后述图40所示的步骤S121的处理。重 叠部75b实行后述图18所示的步骤S122的处理。

元数据生成部的各项功能

首先说明元数据生成部75a的各项功能构成。元数据生成部75a具有动画 帧提取部748、提取部750、第一对应领域计算部752、注视点特定部754、映 射方式转换部756、第二对应领域计算部758、初始设定形状生成部759、区 域分割部760、射影方式逆变换部762、基准形状转换信息算出部768、以及 重叠显示元数据制作部770。这些功能部分别具有第一实施形态中的生成用 动画帧提取部548、提取部550、第一对应领域计算部552、注视点特定部554、映射方式转换部556、第二对应领域计算部558、初始设定形状生成部 559、区域分割部560、射影方式逆转换部562、基准形状变换信息部568、以 及重叠显示元数据生成部570相同的功能，因此省略说明。

重叠部的功能结构

接下来描述重叠部75b的功能构成。重叠部75b具有重放时间管理部 771、重放动画帧选择部772、插值部774、位置参数计算部776、形状转换部 778、补偿参数生成部780、粘贴区域生成部782、补偿部784、图像生成部 786、图像重叠部788以及映射变换部790。这些功能部分别具有与第一实施 方式中的重放时间管理部571、重放用动画帧提取部572、插值部574、转换 位置参数计算部576、形状转换部578、补偿参数生成部580、粘贴领域生成 部582、补偿部584、图像生成部586、图像重叠部588、以及与映射转换部 590相同的功能，因此省略说明。

<实施方式的处理或动作>

以下用图40描述本实施方式的处理或动作。用图40来说明摄影系统执行 的摄影方法。图40是本实施方式涉及的摄影方法的时序图。在此，步骤 S111～S118的处理与第一实施方式的步骤S11～S18相同，因此省略说明。

在智能手机5中，远程通信部51通过通信网络100，向图像处理服务器7 发送重叠要求信息(步骤S119)，该重叠要求信息表示要求将映射方式不同的 一方图像重叠到另一方的图像上的重叠要求。该重叠请求信息包含存储部 5000中保存的电子文件夹内的数据(平面图像数据、等距柱形映射图像数 据)。由此，图像处理服务器7的受理部71收到电子文件夹内的数据。

接着在图像处理服务器7中，存储及读取部79把步骤S119中收到的电子 文件夹内的数据保存到存储部7000(步骤S120)。而后，图38所示的元数据生 成部75a进行重叠显示用元数据的生成(步骤S121)。进而，重叠部75b进行重 叠处理(步骤S122)。步骤S121、S122的处理分别是与步骤S21、S22的处理的 内容相同，因此省略说明。

接下来，显示控制部76生成把表示区域T的区域图像Q显示在智能手机5 的显示器517整个显示区域上的区域图像Q的数据。在此，预定区域图像Q内 包括重叠了平面图像P的状态的平面图像P′的重叠图像S。远程通信部51向智 能手机5发送显示控制部76生成的区域图像Q的数据(步骤S123)。这样，智能 手机5的远程通信部51便收到领域图像Q的数据。

接下来在智能手机5中，显示控制部56在显示器517上显示包含重叠图像 S的区域图像Q(步骤S124)。

<本实施形态的主要效果>

如上所述，本实施方式具有与上述第一实施方式相同的效果。

除此之外，本实施方式用智能手机5进行联动摄影处理，用图像处理服 务器7进行重叠显示用元数据的生成和重叠处理，因此具有即使智能手机5的 处理能力较低也能够抑制图像偏离的效果。

补充

在上述各实施方式中，如图13所示，智能手机5具有等距柱形映射图像 数据、平面图像数据以及重叠显示参数数据，但并不限于此。例如，可以通 过互联网等通信网络进行通信的管理服务也可以保存等距柱形映射图像数 据、平面图像数据以及重叠显示参数数据中的至少一个数据。

另外，上述各个本实施方式中在天球图像CE上重叠平面图像P，但并不 局限于此。还可以例如，将天球图像CE的部分图像置换为平面图像P，或者 删除天球图像CE中的部分图像，同时将平面图像P嵌入到被删除的部分中。

再者，上述第二实施方式用图像处理服务器7进行重叠处理(参见步骤 S45)，但并不限于此。例如，可以从图像处理服务器7向智能手机5发送重叠 显示用元数据，用智能手机5进行重叠处理和显示处理。在这种情况下，在 图像处理服务器7中用图39所示的元数据生成部75a进行重叠显示用元数据的 生成。另一方面，在智能手机5中用图15所示的重叠部55b进行重叠处理，图 13所示的显示控制部56进行显示处理。

以上描述了在天球图像上重叠平面图像，其中的″重叠″仅仅是合成的一 个例子。合成具体除了重叠以外，还包含贴合、嵌入、合成以及叠加等。上 述的重叠图像也仅仅是合成图像的一个例子。合成图像除了重叠图像以外， 还包含贴合图像、嵌入图像、重合图像等。进而，图像重叠部588、788也仅 仅是图像合成部的一个例子。最后，关于等距柱形映射图像EC和平面图像 P，两者既可以均为静止图像，也可以均为动画的帧，还可以是一方为静止 画面而另一方为动画的帧。

图13、图15、图16、图36、图37、图38所示的各功能结构，可以以软件 功能单元的形式实现，并在以独立产品销售或使用的情况下，存储在计算机 可读存储介质中。在这种情况下，本实施方式的技术方案本质上，或对现有 技术做出贡献的部分再或上述技术方案的部分以软件产品的形式表现。所述 计算机软件产品包括保存在存储介质中，并使计算机设备(例如，个人计算 机、服务器或网络设备)执行上述各个实施方式中所述方法的全部或部分步 骤的多个指令。上述存储介质包括USB存储器、可移动磁盘、ROM、RAM、磁 盘或光盘等可存储程序代码的各种介质。

另外，所述实施方式所涉及的方法可以由处理器来应用，也可通过处理 器实现。处理器是具有处理信号能力的集成电路板。上述各种实施方式涉及 的方法中各个步骤通过处理器中的硬件集成逻辑电路或软件形式的指令实 现。上述处理器是通用处理器、数字信号处理器(DSP)、专用集成电路 (ASIC)、现成可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管 逻辑器件、离散硬件器件，并可实现或执行上述各个实施例中所披露的各个 方法、步骤及逻辑框。通用处理器为微处理器或任意一般处理器等。上述各 个实施方式所涉及的方法的各个步骤可以通过硬件解码器来实现，也可以通 过能够解码器的硬件与软件的组合来实现。软件模块可存储在本领域中常用 的存储介质中，如随机存储器、闪存、只读存储器、可编程只读存储器、可 编程只读存储器、电可擦除可编程只读存储器、寄存器等。从含有存储该软 件的存储介质的存储器中，处理器读取信息，并配合硬件实现上述方法的步 骤。

以上说明的实施形态是以硬件、软件、固件、中间件、微代码、或它们 的组合实现的。其中，关于硬件实现，处理单元是由一个或多个专用集成电 路(ASIC)、数字信号处理器(DSP)、数字信号处理器(DSPD)、可编程逻辑电 路(PLD)、场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处 理器、执行本发明功能的其他电子单元或其组合实现的。关于软件的实现， 通过实现上述功能的模块(例如过程、函数等)实现上述技术。软件代码保存在存储器中，由处理器执行。存储器是在处理器的内部或外部实现的。

Claims (13)

1.一种图像处理装置，其特征在于，具备，

取得部，用于取得具有第一映射方式的第一图像、具有与所述第一映射方式不同的第二映射方式的第二图像、表示所述第一图像上与所述第二图像对应的基准形状的基准形状信息、以及用于在所述第一图像上转换所述基准形状的基准形状形状转换信息；

图像生成部，用于通过根据所述基准形状转换信息转换所述基准形状，来生成与所述第二图像对应的合成图像；以及，

图像合成部，用于将所述合成图像合成到所述第一图像上。

2.根据权利要求1所述的图像处理装置，其特征在于，进一步具有，

转换位置参数计算部，用于根据所述基准形状转换信息，计算所述基准形状信息转换结果的转换位置参数；

形状转换部，用于将用所述转换位置参数确定的所述第一图像上的对应区域，转换为与所述第二图像相同的矩形形状；以及，

补偿信息生成部，用于对比所述对应区域和所述第二图像，计算用来补偿灰度和颜色之中至少一方的补偿信息，

所述图像生成部根据所述补偿信息，补偿灰度和颜色之中至少一方，生成所述重叠图像。

3.根据权利要求1或2所述的图像处理装置，其特征在于，所述第一图像和所述第二图像是动画中相同摄影时间的帧。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述取得部对单一的基准形状信息，取得多个基准形状转换信息，

具有插值部，用于通过配合所述动画中各帧的重放时间，用所述多个基准形状转换信息进行插值，来生成用于在各帧的每个重放时间转换所述基准形状的形状转换参数，

所述转换位置参数计算部计算每个所述形状转换参数的所述基准形状信息转换结果的所述转换位置参数。

5.根据权利要求2所述的图像处理装置，其特征在于，

所述图像生成部将根据所述第二图像或所述补偿信息对所述第二图像的灰度和色值的至少其中之一进行了补偿的图像，张贴在基于所述转换位置参数生成的部分立体球上，生成所述重叠图像，

所述合成部将所述合成图像合成到基于所述第一图像生成的立体球图像上。

6.根据权利要求1至5中任意一项所述的图像处理装置，其特征在于，

所述图像生成部根据所述位置信息，生成屏蔽数据，

所述屏蔽数据的周围的透过率从所述屏蔽数据的内测向外侧逐渐增高。

7.根据权利要求1至6中任意一项所述的图像处理装置，其特征在于，所述第一图像是等距柱形映射图像，所述第二图像是透视映射图像。

8.根据权利要求1至7中任意一项所述的图像处理装置，其特征在于，所述图像处理装置是智能手机、平板电脑、笔记本电脑、立式电脑、服务器计算机中任意一种装置。

9.一种摄影系统，其特征在于，具有

权利要求1至8中任意一项所述的图像处理装置；

第一摄影装置，用于拍摄被摄体，获得具有所述第一摄影方式的所述第一图像；以及，

第二摄影装置，用于拍摄被摄体，获得具有所述第二摄影方式的所述第一图像。

10.根据权利要求9所述的摄影系统，其特征在于，所述第一摄影装置是拍摄被摄体，获得天球图像的照相机。

11.一种图像处理方法，其特征在于，执行以下步骤，

取得步骤，取得具有第一映射方式的第一图像、具有与所述第一映射方式不同的第二映射方式的第二图像、表示所述第一图像上与所述第二图像对应的基准形状的基准形状信息、以及用于在所述第一图像上转换所述基准形状的基准形状形状转换信息；

图像生成步骤，通过根据所述基准形状转换信息转换所述基准形状，来生成与所述第二图像对应的合成图像；以及，

图像合成步骤，将所述合成图像合成到所述第一图像上。

12.一种记录介质，其中保存用来实行权利要求10或11中所述的图像处理方法的程序。

13.一种计算机装置，其中具有保存程序的内存和处理器，通过所述处理器执行所述程序，来实现权利要求10或11所述的图像处理方法。