CN108632589A

CN108632589A - 信息处理装置、摄像系统以及记录介质

Info

Publication number: CN108632589A
Application number: CN201810214143.0A
Authority: CN
Inventors: 水藤浩; 浅井贵浩; 河口启; 河口启一; 吉田和弘
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-03-15
Filing date: 2018-03-15
Publication date: 2018-10-09
Also published as: US10681271B2; US20180270417A1

Abstract

本发明涉及信息处理装置、摄像系统以及记录介质，其目的在于抑制平面图像重叠到广角图像中时发生画质下降。本发明的信息处理装置具有将广角图像的投影方式转换为第二投影方式来生成图像的第一投影方式转换部(556)、分别从平面图像以及图像提取多个特征点的提取部(550)、根据提取的平面图像的多个特征点和图像的多个特征点求出图像中与平面图像对应的第三对应区域的对应区域计算部(582)、将第三对应区域包含的多个点的投影方式转换为第一投影方式的第二投影方式转换部(562)、求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息的位置计算部(562)。

Description

信息处理装置、摄像系统以及记录介质

技术领域

本发明涉及信息处理装置、摄像系统以及记录介质。

背景技术

在摄像装置拍摄的图像中，会产生被称为晕影(Vignitting)的画质下降区域。以往，用来减小这种晕影而开发的的技术方案，如有专利文献1(JP 特开2006-041741号公报)公开的摄影装置，该摄影装置在摄像时，判断图像中的晕影状态，删除图像数据中出现晕影的区域。

另一方面，近年开发的特殊数码相机能够用一次摄影获得天球图像的原始数据，即两个半球图像数据。该数码相机(以下称为天球相机)根据两个半球图像数据，制作拍摄360°全景的天球图像。

在放大天球图像中的一部分区域时，如果在该一部分区域中插入了不同于天球图像的、通过其他摄影装置得到的平面图像，能够显示清晰的图像。

然而，合成到天球图像上的平面图像存在以下问题，即该平面图像中会摄入用来拍摄天球图像的数码相机的阴影。对此以下详述。

作为拍摄平面图像的数码相机，例如，通常希望使用能够轻松操作的智能手机。在这种情况下，需要天球相机拍摄天球图像与智能手机拍摄平面图像的摄影时间尽可能一致，并且，最理想的情况是在同一位置拍摄。在此，要求摄影时间相同的理由在于，如果摄影时间(时刻)不同，摄影场景本身会发生变动(变化)(摄像范围中并非只有静止物体，即便只有静止物体，亮度和阴影的状态也会发生变化)。而要求在同一位置拍摄的理由则在于，如果天球相机与智能手机之间产生视差，天球图像与平面图像的光轴便将产生变化，从而重叠显示时难以避免违和感。

因此，虽然用户能够将天球相机的镜头尽可能地接近智能手机的镜头并同时摄影，但是过于接近反而会让天球相机的阴影进入智能手机的视角。这种现象被称为晕影。

发明内容

鉴于上述问题，本发明以抑制平面图像重叠到广角图像中时发生画质下降为目的，提供以下技术方案。

具体为一种信息处理装置，具有取得部，用于取得以第一投影方式获得的广角图像、以及以不同于所述第一投影方式的第二投影方式获得的平面图像；第一投影方式转换部，用于将所述广角图像的投影方式转换为所述第二投影方式，生成图像；提取部，用于分别从所述平面图像以及所述图像提取多个特征点；对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；第二投影方式转换部，用于将所述第三对应区域包含的多个点的投影方式转换为所述第一投影方式；位置计算部，用于求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息；以及，存储部，其中保存在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息，并保存与所述平面图像的多个点相对应的、根据所述区域指定信息进行重叠显示时使用的所述位置信息。

本发明的效果在于能够抑制平面图像重叠到广角图像中时发生画质下降。

附图说明

图1是特殊摄影装置的外观图，其中，(a)是特殊摄影装置的左视图，(b) 是特殊拍摄装置的后视图，图1(c)是特殊摄影装置的俯视图，(d)是特殊摄影装置的仰视图。

图2是使用特殊摄影装置的示意图。

图3是特殊摄影装置1拍摄的图像的示意图，其中，(a)中为特殊拍摄装置 1拍摄的半球图像(前方)，(b)表示特殊摄影装置拍摄的半球图像(后方)，(c) 是利用等距柱形投影法表示的图像。

图4是天球图像的示意图，其中，(a)显示用等矩柱形投影图像覆盖球的状态，(b)是天球图像。

图5是将天球图像作为三维立体球体显示时假想照像机以及规定区域的位置的示意图。

图6是用来说明用假想照相机拍摄得到的图像中显示在显示器上的规定区域的示意图，(a)是图5的立体图，(b)显示器上规定区域。

图7是规定区域信息与规定区域T的图像之间关系的示意图。

图8是本实施方式的摄像系统的外观图。

图9是特殊拍摄装置的硬件结构模块图。

图10是智能电话的硬件结构模块图。

图11是构成本实施方式的摄影系统的功能模块图。

图12中(a)是联动摄影管理表的示意图，(b)是联动摄影装置设定画面的示意图。

图13是图像及音频处理部的具体功能模块图。

图14是重叠显示元数据的数据结构示意图。

图15中(a)是第二对应区域中网格区域的示意图，(b)是第三对应区域中网格区域的示意图。

图16是摄影方法时序图。

图17是重叠显示参数制作处理过程的图像示意图。

图18是指定周边区域图像时的示意图。

图19是第二对应区域被分割为多个网格区域的示意图。

图20是等距柱形投影图像EC中的第三对应区域的示意图。

图21是补偿参数的制作处理过程的图像概念图。

图22是重叠显示处理过程的图像示意图。

图23是天球图像上叠加了平面图像时的二维示意图。

图24是天球图像上叠加了平面图像时的三维示意图。

图25是在不使用本实施方式的位置参数的情况下将平面图像叠加到天球图像上的二维示意图。

图26是用本实施方式的位置参数将平面图像叠加到天球图像上的二维示意图。

图27是对比没有重叠显示和重叠显示的图像显示的示意图。(a)是没有重叠显示时的广域图像的显示例，(b)是没有重叠显示时的电视图像的显示例，(c)是重叠显示时的广域图像的显示例，(d)是重叠显示时的电视图像的显示例。

图28是用于说明视差和晕影关系的一例示意图。

图29是一例呈现晕影的平面图像的示意图。

图30是用来说明重叠显示元数据中保存晕影区域的方法的一例示意图。

图31是一例“晕影对策之一”的重叠显示元数据的示意图。

图32是图像制作部参考重叠显示元数据的重叠区域信息，将平面图像贴到等距柱形投影图像上的处理的一例流程图。

图33是用来说明在重叠显示元数据中保存晕影区域的方法的一例示意图，其中，(a)显示智能手机拍摄的平面图像和晕影区域，(b)显示以20×30 的领域分割的平面图像。(c)显示一例非晕影区域被分割为20×30的平面图像，(d)显示一例非晕影区域被分割为20×30的平面图像。

图34是晕影对策之二的一例重叠显示元数据的显示图。

图35是图像制作部参考重叠显示元数据的重叠区域信息，将平面图像贴在等距柱形投影图像上的一例处理流程图。

图36是一例用来说明关注点的示意图。

图37是用来说明yaw和pitch与关注点Gp的对应一例示意图。

图38是未重叠晕影区域的效果的一例示意图，其中，(a)显示为了进行对比而将晕影区域也包含在内进行重叠的天球图像，(b)显示去除晕影区域之后进行重叠的天球图像。

图39是一例产生变形的平面图像的示意图。

图40是一例表示纹理UV坐标和位置参数之间对应的示意图，其中，(a) 显示发生变形的平面图像P为用50×50的区域分割所得到的51×51的纹理UV 坐标，(b)显示基于位置参数(此处为51×51)的网格区域的位置和UV坐标之间的对应，部分立体球上被贴了平面图像P的补偿状态。

图41是一例用来说明变形补偿效果的示意图，其中，(a)不考虑变形，直接把平面图像贴到部分立体球上，(b)是用经过变形补偿失的UV坐标将平面图像P贴到部分立体球上的一个例子。

图42是在具有N张平面图像P的情况下的一例重叠显示元数据的示意图。

图43是具有重叠顺序指定信息的重叠显示元数据的一例示意图。

图44是具有作为显示开始信息的视线方向信息和视角信息的重叠显示元数据的一例构成示意图。

图45是本实施方式的摄像系统构成的示意图。

图46是图像处理服务器的硬件结构模块图。

图47是本实施例涉及的摄像系统的功能结构模块图。

图48是图像机音频处理部的功能结构模块图。

图49是摄像系统的摄像方法的时序图。

具体实施方式

以下参考附图，描述本发明的实施方式。

[实施例一]

《实施方式概述》

〈天球图像的生成方法〉

首先用图1至图7描述天球图像的生成方法。

在此，先用图1描述特殊摄影装置1的外观。特殊摄影装置1是用于获得天球(360°)全景图像的原始摄影图像的数码像机。图1是特殊摄影装置的外观图，其中，(a)是特殊摄影装置的左视图，(b)是特殊拍摄装置的后视图，图 1(c)是特殊摄影装置的俯视图，(d)是特殊摄影装置的仰视图。

如图1的(a)、(b)、(c)、(d)所示，特殊摄影装置1的上部的正面(正前方)和背后(后方)分别设有鱼眼型镜头102a和镜头102b。特殊摄影装置1 的内部设有后述的摄像元件(图像传感器)103a、103b，摄像元件(图像传感器)103a、103b分别通过镜头102a、102b来拍摄被摄体或风景，获得半球图像 (视角为180°以上)。

特殊摄影装置1的正前方和后方设有快门按钮115a。特殊拍摄装置1的侧面设有电源按钮115b、Wi-Fi(Wireless Fidelity)按钮115c、以及摄影模式切换按钮115d。电源按钮115b和Wi-Fi按钮115c每当受到按动时进行ON/OFF 切换。摄影模式切换按钮115d每当受到按动时，进行静态图像摄影模式和动态图像摄影模式之间的切换。快门按钮115a、电源按钮115b、Wi-Fi按钮115c、以及摄影模式切换按钮115d是操作部分115的一部分，操作部115不局限于这些按钮。

特殊拍摄装置1的底部150中央设有用于将特殊摄影装置1安装到相机三脚架上或普通摄影装置3上的三脚架螺纹孔151。在底部150左侧设有 Micro USB(UniversalSerial Bus)端子152。底部150的侧设有HDMI (High-Definition Multimedia Interface:高清晰度多媒体接口)端子153。在此，HDMI是注册商标。

接着，用图2描述特殊摄影装置1的使用状况。图2是使用特殊摄影装置的示意图。特殊摄影装置1如图2所示，用于例如供用户手持该特殊摄影装置1 拍摄周围的被摄体。在这种情况下，通过图1所示的摄像元件103a以及摄像元件103b分别拍摄用户周围的被摄体，可以获得两个半球图像。

接着，参考图3和图4描述用特殊摄影装置1拍摄的图像制作等距柱形投影图像EC和天球图像CE的处理。图3是特殊摄影装置1拍摄的图像的示意图，其中，(a)中为特殊拍摄装置1拍摄的半球图像(前方)，(b)表示特殊摄影装置拍摄的半球图像(后方)，(c)是利用等距柱形投影法表示的图像(以下，称为等距柱形投影图像)。图4是天球图像的示意图，其中，(a)显示用等矩柱形投影图像覆盖球的状态，(b)是天球图像。

如图3中(a)所示，由摄像元件103a获得的图像被后述的鱼眼镜头102a形成为弯曲的半球图像(前方)。同时，如图3的(b)所示，由摄像元件103a获得的图像被后述的鱼眼镜头102b形成为弯曲的半球状像(后方)。而且，半球图像(前方)和转动180度的半球图像(后方)通过特殊摄影装置1合成，形成如图3 的(c)所示的等距柱形投影图像EC。

而后如图4所示，利用OpenGL ES(Open Graphics Library for EmbeddedSystems)，用等距柱形投影方式将图像如(a)所示地覆盖到球面上，生成(b)所示的天球图像CE。这样，天球图像CE显示为基于等距柱形投影方式面向球体中心的图像。OpenGL ES是为了将二位数据和三维数据可视化而使用的图形库。天球图像CE既可以是静态图像也可以是动态图像。

如上所述，在天球图像CE如同覆盖似地贴在球面上，人眼看来会不舒服。对此，如果将天球图像CE的一部分规定区域(以下称为规定区域图像)以弯曲较少的平面图像来显示，可以避免有不适应的感觉。对此，以下将用图5和图 6进行描述。

图5是将天球图像作为三维立体球体显示时假想照像机以及规定区域的位置的示意图。假想照相机IC的位置相当于，观看三维立体球体显示的天球图像CE的用户的关注点位置。图6是用来说明用假想照相机拍摄得到的图像中显示在显示器上的规定区域的示意图，(a)是图5的立体图，(b)显示器上规定区域。图6的(a)以三维立体球体CS来表示图4所示的天球图像CE。如此产生的天球图像CE如果是立体球体CS，则如图5所示，假想照相机IC位于天球图像CE 的内部。天球图像CE中的规定区域T是假想照相机IC的摄影区域，该规定区域 T可以通过包括天球图像CE在内的三维假想空间中表示假想照像机IC的拍摄方向和视角的规定区域信息来确定。规定区域T的变焦也可以通过使得假想照相机IC靠近或远离天球图像CE来呈现。规定区域图像Q是天球图像CE中的规定区域T的图像，为此规定区域可以通过从视角以及假想照相机IC到天球图像CE 的距离f来确定(参见图7)。

在图6中，(a)所示的规定区域图像Q如图6的(b)所示，在规定的显示器上作为假想照相机IC的摄像区域的图像来显示。

参考图7，描述规定区域与规定区域T的图像之间的关系。图7是规定区域信息与规定区域T的图像之间关系的示意图。如图7所示，ea表示仰角，aa表示方位角，α表示视角。即为了使得摄影方向(ea，aa)上显示的假想照像机 IC的关注点成为假想照相机IC的摄影区域，即规定区域T的中心点CP，需要改变假想照相机IC的姿势。如图7所示，用假想照相机IC的视角α表示的规定区域T的对焦视角为α时的中心点CP成为规定区域信息的(x，y)参数。f是从假想照相机IC到中心点CP的距离。L是规定区域T中的任意顶点与中心点CP之间的距离(2L对角线)。图7中通常下式1所表示的三角函数关系成立。

〈摄像系统简述〉

接下去用图8描述本实施方式的系统200的构成。图8是本实施方式的摄像系统200的外观图。

广角图像是指优选拍摄四周360度的图像，但也可以是仅在水平方向360 度的图像、上下或水平方向180度的图像。进而还可以比前述更狭窄。

映射方式是指基于通过镜头的光的位置与通过之后到达的位置之间关系的像的成像方式。

如图8所示，本实施方式的摄影系统200具有特殊拍摄装置1和智能手机5。特殊摄影装置1经由装配单元301与智能手机5之间的相对位置固定。

其中，特殊摄影装置1是特殊的数码相机，如上所述，用于拍摄被摄体或风景等获得天球(全景)图像的原始图像，即两个半球图像的专用数码相机。

安装单元301可以有多种形状和材料构成，而特殊摄影装置1和智能手机5 之间的相对位置的固定方法也多种多样。图8显示的一例安装单元301采用保持方式，但是安装单元301不局限于此。

智能手机5可以利用Wi-Fi、蓝牙(注册商标)、 NFC(Near Field Communication)等短程无线通信技术，与特殊摄影装置1进行无线通信。智能手机5能够在后述的其本身的显示器517上，显示从特殊摄影装置1获取的图像。

智能手机5也可以不利用短距离无线通信技术，而通过有线电缆与特殊摄影装置1通信。智能手机5是一例图像处理装置，除此之外，诸如平板 PC(Personal Computer:个人计算机)、笔记本PC、台式PC均可以作为图通信终端。再者，智能手机5也是后述的图像处理终端的一个例子。

用户可以如图2所示，高举智能手机5和特殊摄影装置1拍摄，也可以在比较低的位置进行自拍。进而还可以固定在在三脚架等上拍摄。

智能手机5的显示器一侧和显示器后面一侧分别具有照相机。前者主要用于一边确认电视电话或显示器，一边自拍，后者则作为一般的数码相机使用。前者被称为前置摄像机和内置摄像头，后者则后置摄像机和后置摄像头等。

本实施例的智能手机5能够用前置摄像头及后置摄像头同时摄影。由此，可以简单地实现方位不同的场景的摄影。

智能手机5的前置摄像头和后置摄像头以及特殊摄影装置1按照一次摄像指示，同时拍摄天球图像和方位不同的两张平面图像。如以下将要描述的，智能手机5将两张平面图像与天球图像合成，可以轻松享受天球图像和智能手机5拍摄的平面图像的好处。

《构成摄影系统各装置的硬件构成》

其次参考图9和图10，详述本实施方式的特殊摄影装置1和智能手机5的硬件构成。

〈特殊摄影装置的硬件构成〉

首先，使用图9描述特殊摄影装置1的硬件结构。图9是特殊拍摄装置1的硬件结构模块图。以下以具有2个摄像元件的天球(全景)特殊摄像装置作为特殊摄影装置1，但是也可以具有两个或更多的摄像元件。此外，特殊摄影装置 1不并不一定是全景摄影专用装置，也可以在普通的数码相机或智能手机等上安装后设的全方位摄像部，其与特殊摄影装置1功能实质相同。

如图9所示，特殊摄影装置1包括摄像部101、图像处理部104、摄像控制部105、麦克风108、音频处理部109、CPU(Central Processing Unit:中央处理部)111、ROM(ReadOnly Memory:只读存储器)112、 SRAM(Static Random Access Memory:静态随机存取存储器)113、DRAM (Dynamic Random Access Memory:动态随机存取存储器)114、操作部115、网络I/F 116、通信部117、天线117a、电子罗盘118、陀螺传感器119、以及加速度传感器120。

其中，摄像部101具有用于各个半球图像成像且具有180°以上视角的广角镜头(所谓的鱼眼镜头)102a，102b、以及与各个广角镜头对应设置的两个摄像元件103a，103b。摄像元件103a，103b具有用于将用鱼眼镜头102a，102b 形成的光学图像转换为电信号的图像数据后输的CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)或 CCD(Charge Coupled Device:电荷耦合器件)传感器之类的图像传感器、用于生成这些图像传感器的水平或垂直同步信号或像素时钟等定时生成电路、该摄像元件的动作所需要的各种指令和参数被设定了的寄存器组等。

用并行I/F总线连接摄像部101的摄像元件103a、103b与图像处理部104。另一方面，用串行I/F总线(I2C总线等)连接摄像部101的摄像元件103a、103b 和摄像控制部105。图像处理部104、摄像控制部105以及音频处理部109经由总线110与CPU 111连接。进而，总线110上也连接了ROM 112、SRAM113、 DRAM 114、操作部115、网络I/F 116、通信部117、以及电子罗盘118、陀螺传感器119、加速度传感器120以及Micro USB用的凹形端子121。等。进而，主线110还将ROM112、SRAM113、DRAM114、操作不115、网络I/F116、通信部 117、以及电子罗盘118等连接起来。

图像处理部104通过并行I/F总线获取摄像元件103a、103b输出的图像数据，对各图像数据实施规定的处理后，实行这些图像数据的合成处理，生成图3的(c)所示的等距柱形投影图像的数据。

摄像控制部105通常以摄像控制部105为主装置、摄像元件103a、103b作为从动器件，用I2C总线，对摄像元件103a、103b的寄存器群设定指令等。从 CPU 111接受所需指令等。此外，摄像控制部105也同样利用I2C总线，取得摄像元件103a、103b的寄存器群的状态数据等，并将该状态数据送往CPU 111。

摄像控制部105在操作部115的快门按钮受到按动时，向摄像元件103a、 103b发出图像数据输出指示。随着特殊摄像装置1的不同，有些特殊摄像装置 1具有应对显示屏(例如，智能电话5的显示器517)预览显示功能或动画显示的功能。在这种情况下，来自摄像元件103a、103b的图像数据的输出以规定的框速(框/分钟)连续进行。

摄像控制部105还具有如下述的同步控制部的功能，用于与CPU 111协作，使得摄像元件103a、103b的图像数据的输出时刻同步。本实施方式中的特殊摄影装置1上没有设置显示器，但也可以设置显示部。

麦克风108用于将声音转换为声音(信号)数据。音频处理部109，通过I/F 总线从麦克风108取得输出的声音数据，对声音数据实施预定的处理。

CPU 111在控制特殊摄影装置1整体上的动作的同时，还实施必要的处理。 ROM112用来保存用于CPU111的各种程序。SRAM113和DRAM 114是工作存储器，用于保存CPU111执行的程序和处理期间的数据等。DRAM 114特别用于保存图像处理部104中的处理过程中的图像数据或处理完毕的等距柱形投影图像的数据。

操作部115是快门按钮115(a)等的操作按钮的总称。用户通过对操作部 115进行操作，来输入各种摄影模式和摄影条件等。

网络I/F 116是诸如SD卡等外部介质或与个人计算机等的接口(USB I/F 等)的总称。无论无线还是有线都可以用于网络接口116。保存在DRAM 114中的等距柱形投影图像的数据通过网络I/F 116保存到外部介质中，或者根据需要经由网络I/F 116送往智能电话5等外部终端(装置)。

通信部117利用Wi-Fi、NFC、蓝牙(Bluetooth)等的短程无线通信技术，经由设于特殊摄影装置1的天线117a，与智能电话5等外部终端(装置)通信。通过通信部117也能够向智能电话5等外部终端(装置)发送等距柱形投影图像的数据。

电子罗盘118用于根据地球的磁性计算特殊摄影装置1的方位，输出方位信息。该方位信息是遵循Exif(Exchangeable image file format)文件的相关信息(元数据)的一个例子，用于摄影图像的图像补偿处理等各种图像处理。在此，相关信息包含图像的拍摄日期、以及图像数据的数据容量的各种数据。

陀螺仪传感器119是用于检测伴随天球相机20的移动而产生的角度变化 (Roll，Pitch，Yaw)传感器。角度的变化是沿Exif的信息(元数据)的一个例子，用于摄影图像的图像补偿等图像处理。

加速度传感器120是用于检测3个轴向的加速度的传感器。特殊摄影装置 3a根据加速度传感器120检测的加速度来求出装置本身(特殊摄影装置3a)的姿势(相对于重力方向的角度)。通过同时设置陀螺传感器119和加速度传感器 120两者，可以提高特殊摄影装置3a的图像补偿精度。

〈智能手机的硬件构成〉

以下使用图10描述智能电话机的硬件。图10是智能电话的硬件结构模块图。如图10所示，智能电话5具备CPU 501、ROM 502、RAM 503、EEPROM504、摄像元件I/F505、加速度/方位传感器506、介质I/F508、GPS收信部509。

其中，CPU 501控制智能电话5的整体操作。ROM 502存储CPU 501或 IPL(InitialProgram Loader，初始加载程序)等CPU驱动程序。RAM 503用于作为CPU 501的工作区域。EEPROM504按照CPU 501的控制，执行智能手机用程序等各种数据的读取或写入。摄像元件I/F505与两个CMOS传感器505a连接，在CPU 501的控制下拍摄被摄体(主要是自拍像)，取得图像数据。两个CMOS 传感器505a分别相当于前置摄像头和后置摄像头。摄像元件I/F505是控制 COMS传感器505a驱动的电路。

加速度/方位传感器506是用于检测地磁的电子磁罗盘或陀螺罗盘、加速度传感器等的各种传感器。介质I/F(接口)508用于控制闪存等存储介质507 的数据读取或写入(存储)。GPS收信部509用于从GPS卫星接收GPS信号。

智能手机5还具备远程通信电路511、天线511a、CMOS传感器512、摄像元件I/F513、麦克风514、扬声器515、音频输入输出I/F 516、显示器517、外设连接I/F 518、短程通信电路519、短程通信电路519的天线519a、和触摸屏521。

其中，远程通信电路511用于借助于后述的通信网络100与其它设备进行通信的电路。CMOS传感器512是一种在CPU 501的控制下拍摄被摄体并获得图像数据的内置型摄像装置。摄像元件I/F513b是用于控制CMOS传感器512的驱动电路。麦克风514是用于语音输入的一种内置型拾音装置。音频输入I/F 516 是在CPU 501的控制下根据麦克风514和扬声器515之间的用于处理的音频信号的输入输出电路。显示器517是一种用于显示被摄体的图像或各种图标等的液晶或有机EL等的显示装置。外设连接接口(I/F)518是用于连接各种外设的接口。短程通信电路519是Wi-Fi、NFC、蓝牙等的通信电路。触摸面板521是一种输入装置，通过用户按动显示器517，操作智能手机5。

智能手机5包括总线510。总线510是用于CPU 501等的各构成要素电连接的地址总线或数据总线等。

记录了上述各程序的HD(Hard Disk)、CD-ROM等的记录介质均可以作为程序产品(Program Product)向国内或国外提供。

《构成摄影系统的各装置的功能构成》

接着参考图11，描述本实施方式的功能结构。图11是构成本实施方式的摄影系统200的一部分的特殊拍摄装置1以及智能手机5的各功能模块图。

〈特殊摄影装置的功能构成〉

首先参考图11，详述特殊摄影装置1的功能结构。如图11所示，特殊摄影装置1具有受理部12、摄像部13、集音部14、图像及音频处理部15、判断部17、以及存储及读取部19。这些功能部通过图9所示的各个构成元件中的任意元件，按照执行从SRAM113读取后展开到DRAM上的特殊摄影装置用程序的CPU111 发送的指令动作，来实现功能。

特殊摄影装置1具有如图9所示的ROM 112、SRAM113以及DRAM114构成的存储部1000。

特殊摄影装置的各项功能结构

以下参考图9和图11进一步详细描述特殊摄影装置1的功能结构。

特殊摄影装置1的受理部12主要是通过91所示的操作部115和CPU 111的处理来实现功能，接受来自用户的操作输入。

摄像部13主要通过图9中所示的摄像部101、图像处理部104、摄像控制部105、以及CPU 111的处理来实现功能，拍摄被摄体或风景等，获取摄影图像数据。该摄影图像数据如图3(a)、(b)所示，是天球图像数据的原始数据，即两个半球图像数据。

集音部14是通过图9所示的麦克风108和音频处理部109、以及CPU 111的处理来实现功能，用于收集特殊拍摄装置1周围的声音。

判断部17通过CPU 111的处理来实现功能，进行各种判断。

短程通信部18主要通过CPU111的处理以及通信部117和天线117a来实现功能，借助于诸如Wi-Fi之类的短程无线通信技术，与智能电话5的短程通信部58等通信。

存储及读取处理部19主要通过图9中所示的CPU111的处理来实现功能，将各种数据(或信息)保存到存储部1000中，或从存储部1000读出各种数据(或信息)。

〈智能手机的功能结构〉

以下详述智能电话5的功能结构。如图11所示，智能手机5具有远程通信部51、受理部52、摄像部53、集音部54、图像及音频处理部55、显示控制部 56、判断部57、短程通信部58、以及存储及读取部59。上述各部功能通过图 10所示的各个构成要素中的某个要素，按照执行从EEPROM504上传到RAM503 上的智能手机5用程序的CPU501所发送的指令而动作来得以实现。

智能手机5还具有以图10所示的ROM502、RAM503以及EEPROM504构建的存储部5000。该存储部5000中构建了联动摄影装置管理数据库5001。该联动摄影装置管理数据库5001以图12的(a)所示的联动摄影装置管理表构成。图12 中的(a)是一例联动摄影管理表。存储部5000中还保存重叠区域信息5002。关于重叠区域信息5002将在以下详述。

联动摄影装置管理表

以下参考图12(a)描述联动摄影装置管理表。如图12的(a)所示，联动摄影装置管理表将每台摄影装置与表示各台装置的联动关系的相关关系信息、摄影装置的IP地址以及摄影装置的装置名称相关联地管理。其中，相关关系信息表示在以装置本身的快门受到按动而开始摄影的摄影装置为主摄影装置，根据主摄影装置的快门受到按动而开始摄影的其它摄影装置为辅助摄影装置。IP地址是在用Wi-Fi通信的情况下，用来取代使用USB的有线电缆通信的情况下的制造商ID(Identification)和产品ID、以及取代使用蓝牙的无线通信时的BD(Bluetooth Device Address)。

智能手机的各项功能结构

智能手机5的远程通信部51主要是通过图10所示的远程通信电路511和 CPU 501的处理来实现功能，并且经由诸如因特网之类的通信网络，与其他装置(例如特殊摄像装置1、其他的智能手机、服务器)之间进行各种数据(或信息)的发送和接收。

受理部52主要通过触摸面板521和CPU 501的处理来实现功能，接受用户的各种选择或输入。触摸屏521也可以用来兼顾显示器517。还可以是触摸屏以外的输入装置(按钮)等也可以作为受理部52。

摄像部53主要包括图10中所示的CMOS传感器505a、CMOS传感器512、以及 CPU 501的处理来实现功能，并拍摄被摄物或风景等，获得摄影图像数据。该摄影图像数据是以透视投影方式拍摄的平面图像数据。

集音部54通过图10中所示的麦可风514、以及CPU 501的处理来实现功能，收集智能手机5的周围的声音。

图像及音频处理部55主要通过CPU501的指令来实现功能，对摄像部53获得的摄影图像数据或集音部54获得的声音数据，实施各种处理。

显示控制部56通过图10所示的CPU 501的处理来实现功能，用于在显示器 517上显示基于摄像部53正在拍摄或拍摄之后的摄影图像数据的平面图像P。显示控制部56还利用图像及音频处理部55制作的重叠显示元数据，将后述品面图像P的各网格区域LA0，与位置参数所表示的位置、以及以补偿参数所表示的明度值和色调值组合，在天球图像CE上叠加平面图像P来显示。在此，不预先合成平面图像P和天球图像CE，而是在用户阅览时将平面图像P叠加到天球图像CE上，是为了将平面图像P用于各种显示(改变变焦倍率、改变投影方式进行显示等)，而不是限制为一种显示方式。

在此，位置参数是一例位置信息。补偿参数是一例修正信息。

判断部57通过图10所示的CPU501的处理实现功能，进行各种判断。

短程通信部58主要由CPU 501的处理、短程通信电路519以及天线519a来实现功能，特殊成像装置1的短程通信部18等可以通过诸如Wi-Fi之类的短程无线通信技术进行通信。

存储及读取部59主要通过图10所示的CPU 501的处理来实现功能，将重叠显示元数据之类的各种数据(或信息)保存到存储部5000之中，或者从存储部 5000中读出重叠显示元数据之类的各种数据(或信息)。存储及读取部59起到从存储部5000获取各种数据的取得部的作用。

图像及音频处理部的各项具体功能

在此参考图13来详述图像及音频处理部55的各功能结构。图13是图像及音频处理部的具体功能模块图。

图像及音频处理部55主要具有用来编码的元数据生成部55a和解码的重叠部55b。元数据生成部55a实行后述图16所示的步骤S22的处理。叠加部55b实行后述图16所示的步骤S23的处理。

元数据生成部的各项功能

首先描述元数据生成部55a的功能结构。元数据生成部55a具有提取部 550、第一对应区域计算部552、关注点确定部554、投影方式转换部556、第二对应区域计算部558、区域分割部560、投影方式逆转换部562、形状转换部 564、补偿参数生成部566、以及重叠显示元数据生成部570。另外，在不需要进行明度或颜色的补偿的情况下，不需要形状转换部564和补偿参数生成部 566。图17显示以下说明的图像或区域表示的符号。图17是重叠显示参数制作处理过程的图像示意图。

提取部550基于每个图像的局部特征来提取特征点。局部特征是指可在图像内找到的边缘或斑点等图案或构造，且经过局部特征数值化而得到的特征量。在本实施方式中，提取部550在不同的图像中提取各自的特征点。提取部 550使用的两个图像的变形只要不十分显著，也可以是不同的投影方式。例如，提取部550通过等距柱形投影方式得到的长方形等距柱形投影图像EC与通过透视投影方式得到的长方形平面图像P之间、以及平面图像P与经过投影方法转换部556转换后的周边区域图像PI之间使用。在此，等距柱形投影方式是一例第一投影方式，透视射影方式是一例第二投影方式。此外，等距柱形投影图像是一例第一投影图像，平面图像P是一例第二投影图像。

第一对应区域计算部552首先求出基于等距柱形投影图像EC中多个特征点fp1的各特征量fv1，同时，还求出基于平面图像P中多个特征点fp2的各特征量fv2。特征量的描述的方法有多种方式，本实施方式优选对尺度和转动不变或具有鲁棒性。其次，第一对应区域计算部552根据求出的等距柱形投影图像的多个特征点fp1的特征量是fv1与平面图像P的多个特征点fp2的特征量 fv2之间的相似度，计算图像之间的对应点，并根据求出的图像之间的对应点的关系，计算等距柱形投影图像EC中平面图像P对应的单应(homography)，将该单应用于转换，进行第一单应转换。其结果，第一对应区域计算部552求出第一对应区域CA1。在这种情况下，平面图像P的四个顶点构成的四角形(矩形) 的中心点CP1通过第一单应转换，成为等距柱形投影图像EC中的注关注点 GP1。

在此，设平面图像P的四个顶点的顶点坐标为，P1＝(x1，y1)、p2(x2，y2)、 P3＝(x3，y3)，p4＝(x4，y4)，第一对应区域计算部552根据以下所示的(式2) 决定中心点CP1(x，y)。

图17中平面图像P的形状为长方形，但使用对角线的交点后，能够求出正方形、梯形、菱形等四角形的部分图像的中心坐标。当平面图像P的形状被限定为长方形、正方形时，出于计算的简化起见，可以将对角线的中点作为部分图像的中心坐标PC。对角线P1P3的中点的计算以式(3)表示。

关注点确定部554用于确定平面图像P的中心点CP1经过第一单应转换后等距柱形投影图像EC上所在的点(本实施方式中的关注点)。

顺便提及，关注点GP1的坐标是等距柱形投影图像EC上的坐标，为此用纬度和经度表示有利于转换。具体而言，等距柱形投影图像EC的垂直方向用 -90°(-0.5π)至+90度(+0.5π)的纬度坐标表示，水平方向用-180度(-π) 至+180度(+π)的经度坐标表示。这样，便能够从纬度和经度坐标来计算等距柱形投影图像EC的图像大小所对应的像素位置坐标。

投影方式转换部556用于以等距柱形投影图像EC中的关注点GP1为中心的周边区域PA转换为与平面图像P相同的透视摄影方式的周边区域图像PI。在这种情况下，确定原始投影转换的周边区域PA，用以生成以关注点GP1为经过转换后的点作为中心点CP2、并以与平面图像P的对角视角α相同的视角为垂直视角(或水平视角)时能够确定的正方形周边区域图像PI。以下进一步详述。

投影方式的转换

首先说明投影方式的转换。如图3至图5的说明，通过把等距柱形投影图像EC覆盖到立体球体CS上，制作天球图像CE。因此等距柱形投影图像EC上的各像素数据能够与三维天球图像的立体球体CS表面上的各像素数据对应。在此，设等距柱形投影图像EC中的坐标以(纬度、经度)＝(ea，aa)表示、三维立体球体CS上的坐标以直角(x，y，z)表示，则投影方式转换部556的转换公式可以表示为如下(式4)。

(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea)) (式4)

在此，设立体球体CS的半径设为1。

另一方面，透射投影图像的平面图像P是二维图像，以二维的极坐标(矢径，角度)＝(r，a)表示时，半径r对应对角视角α，取值范围为0≤r≤tan(对角视角/2)。以二维正交坐标系统(u，v)表示平面图像P时，与极坐标(矢径、角度)＝(r，a)之间的关系可以通过如下式5表示。

U＝r×cos(a)，v＝r×sin(a) (式5)

其次，考虑上述式5对应三维坐标(矢径、极角、方位角)。在此，仅考虑立体球体CS的表面，因此，三维极坐标的半径为1。透视投影转换贴在立体球体CS表面的等距柱形投影图像EC的投影时，设想立体球体CS的中心上设置假想照相机IC，则此时，用上述二维极坐标(矢径、偏角)＝(r，a)表示为如下 (式6)、(式7)。

r＝tan(极角) (式6)

a＝方位角 (式7)

在此，设极角为t时，t＝arctan(r)，三维坐标(半径、极角、方位角)，可以表示为(矢径、极角、方位角)＝(1，arctan(r)，a)。

从三维极坐标转换到正交坐标系(x，y，z)的转换如以下式8。

(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t)) (式8)

利用上述式8能够对等距柱形投影方式的等距柱形投影图像EC和透视投影方式的平面图像P进行互相转换。即能够用需要制作的平面图像P的对角视角α所对应的矢径r，来计算转换映射坐标，表示平面图像P的各像素与等距柱形投影图像EC的哪个坐标对应，并根据该转换映射坐标，从等距柱形投影图像EC制作透视投影图像的周边区域图像PI。

上述投影系统的转换是等距柱形投影图像EC(纬度，经度)在(90°，0°) 的位置成为透视射影图像即周边区域图像PI的中心点CP2的转换。因此，以等距柱形投影图像EC的任意点作为关注点进行透视投影转换时，只要进行坐标转动，通过使得粘贴了等距柱形投影图像EC的立体球体CS转动，让关注点的坐标(纬度，经度)设置到(90°，0°)的位置上。

关于该立体球体CS的转动的转换公式是一般的坐标转动公式，在此省略说明。

周边区域图像的确定

以下参考图18，描述指定周边区域图像PI的区域的方法。图18是指定周边区域图像时的示意图。

优选第一对应区域计算部552在判断平面图像P和周边区域图像PI的对应关系时，尽可能在周边区域图像PI中宽广地包含第二对应区域CA2。因此，如果将周边区域图像PI设定为较宽广，则不会发生不包含第二对应区域CA2的事态。但是周边区域图像PI设定得过大，则相应地需要计算相似度的对象像素增加，处理需要花费时间。因此，周边区域图像PI的区域以包含第二对应区域CA2的范围内越小越好。对此，本实施方式用以下所示方法来确定周边区域图像PI。

在本实施方式中，用平面图像的35mm换算焦距来确定周边区域图像PI，这可以通过摄影时记录的Exif数据获得。35mm换算焦距即以所谓的24mmx36mm 的胶卷尺寸为基准的焦距，因此用该胶卷的对角、焦距来计算以下的计算式 (式9)、(式10)中相对应的对角视角。

胶卷对角＝sqrt(24×24+36×36) (式9)

合成图像视角/2＝arctan((胶卷对角/2)/合成用图像35mm换算的焦距)

(式10)

然而，用于覆盖该视角的图像为圆形，而实际的摄像元件(胶卷)为长方形，所以成为圆内接的长方型图像。本实施方式将周边区域图像PI的垂直视角α设定为与平面图像P的对角视角α相同。这样，如图18的(b)所示的周边区域图像PI成为以覆盖图18的(a)所示的平面图像P的对角视角α的圆的外接正方形，垂直视角α如下述(式11)、(式12)所示，可以根据正方形的对角平面图像P的焦点距离来计算。

正方形对角线＝sqrt(胶卷对角*胶卷对角+胶卷对角*胶卷对角) (式11)

垂直视角α/2＝arctan((正方形对角/2)/(平面图像的35mm换算焦距))

(式12)

通过上述垂直视角α来投影方式转换，能够制作以关注点为中心尽可能宽广地覆盖平面图像P的对角视角α上的图像，且垂直视角α不会变得过大的周边区域图像PI(透视投影图像)。

位置信息的计算

接着，返回图13，第二对应区域计算部558用于计算平面图像P中的多个特征点fp2与周边区域图像PI中的多个特征点fp3的特征量fv3。基于所求出的各特征量fv2、fv3的相似度，求出图像之间的对应点，根据求出的图像之间的对应点的关系，求出周边区域图像PI中平面图像P对应的单应，并将该单应用于转换，实行第二单应转换。其结果，第二对应区域计算部558求出第二对应区域CA2。

第一单应转换之前，为了加速第一单应的计算时间，可以调整平面图像P 和等距柱形投影图像EC中至少一方的图像尺寸。例如，在平面图像P为4000 万像素，等距柱形投影图像EC为3000万像素的情况下，将平面图像P调整为 3000万像素，或者分别将各自的图像均调整为1000万像素。同样地，在求出第二单应之前，可以调整平面图像P和周边区域图像PI中的至少一方的图像大小。

此外，本实施方式中的单应是表示等距柱形投影图像EC和平面图像P之间的投影关系的转换矩阵，平面图像P中的坐标乘以单应计算处理求出的单应转换矩阵，可以求出等距柱形投影图像EC(天球图像CE)上的对应坐标。

区域分割部560用于将图像的一部分区域分割为多个网格区域。在此参考图19，详述将第二对应区域分割为多个网格区域的方法。图19是第二对应区域被分割为多个网格区域的示意图。

区域分割部560如图19的(a)所示，将对应区域计算部552用第二单应转换求出的第二对应区域CA2上的顶点坐标的四个顶点构成的四角形，分割为如图19的(b)所示，成为多个网格区域LA2。例如水平方向30、垂直方向20等均等分割。

以下说明多个网格区域LA2的具体的分割方法。

首先，均等分割第二对应区域CA2的计算式如下。设将两点A(X1，Y1)、 B(X2，Y2)之间的线段以均等间隔分割为n个，此时，从A到第m点Pm的坐标可以用如下(式13)计算。

Pm＝(X1)(X2)(X1)×m/n Z＝[Y0，Y1，Y2]+(Y2-Y1)×m/n) (式13)

可以用上述(式13)计算线段均等分割的坐标，因而可以在求出经过分割后的四角形的上边和下边的坐标之后，进一步分割经过分割的坐标构成的线段。当设定四边形的左上、右上、右下、左下的各坐标分别为TL、TR、BR、 BL时，求出线段TL-TR和线段BR-BL三十均等分割的坐标。然后，对于经过分割的0至30个的各个坐标以对相同顺序对应的坐标之间的线段，求出均等二十分割的坐标。这样便能够求出将四角形区域分割成30×20个小区域的坐标。图19(b)中，例如TL的坐标为(LO_00，00，LA_00，00)。

以下返回图13和图17，投影方式逆转换部562将第二对应区域CA2的投影方式转换为与等距柱形投影图像EC相同的等距柱形投影方式，计算等距柱形投影图像EC中第二对应区域CA2所对应的第三对应区域CA3。具体而言，投影方式逆转换部562计算等距柱形投影图像EC中第二对应区域CA2的多个网格区域LA2所对应的各网格区域LA3构成的第三对应区域CA3。图17显示图20显示的第三对应区域CA的放大图。图20是等距柱形投影图像EC中的第三对应区域的示意图。由此，平面图像P最终与第三对应区域CA3一致(映射)，叠加显示在等距柱形投影图像EC上。通过上述投影方式逆转换部562的处理来生成表示各网格区域LA3的各网格点的坐标所示的位置参数。位置参数如图17和图18(b) 所示。在此，网格点是一例多个点。

如上所述，通过制作位置参数，可以求出等距柱形投影图像EC和平面图像P之间的位置关系。

但是，如果把求出的位置参数直接重叠显示，则在等距柱形投影图像EC 和平面图像P之间明度或色调差异较大的情况下，会发生不自然的重叠显示。对此，以下所示的形状转换部564及补偿参数生成部566用来防止在明度和色调差异较大时出现不自然的重叠显示。

形状转换部564在后述的颜色匹配之前，通过将第二对应区域CA2的四个顶点投影到平面图像P的四个顶点上，将第二对应区域CA2专换为与平面图像P 相同的形状。具体而言，为了图21(a)所示的第二对应区域CA2中的各个网格区域LA2与图21(c)所示的平面图像P的各个网格区域LA匹配，把第二对应区域 CA2的形状转换为与平面图像P相同的形状。由此，如图21(a)所示的第二对应区域CA2的形状被转换为图21(b)所示的第二对应区域CA2'的形状。随之，网格区域LA2被转换成网格区域LA2'，因而，与平面图像P的网格区域LA的形状相同。

补偿参数生成部566用于生成补偿参数，该补偿参数用于使得与经过相同形状转换后的第二对应区域CA2'中各网格区域LA2'形状相同的平面图像P中各网格区域LA、和各网格区域LA2'两者之间，两者的明度值和色调值一致。具体而言，补偿参数生成部566计算构成共有一个网格点LA0的四个网格区域的全部像素的明度值和色调值(R，G，B)的平均值a＝(R_ave、G_ave、B_ave)，同时，计算构成共有一个网格点LA2′的四个网格区域的全部像素的明度值和色调值(R′，G′，B′)的平均值a'＝(R_ave'，G_ave'，B_ave')。而当上述网格点LA0和 LA2'位于第二对应区域CA2和第三对应区域CA3的四个顶角时，补偿参数生成部566计算一个网格区域的明度值的平均值a和色调值得平均值a'。进而，当上述网格点LA0和LA2'的第二对应区域CA2和第三对应区域CA3的外周上的点时，补偿参数生成部566计算位于内侧的两个网格区域明度值的平均值a和色调值的平均值a'。而后在本实施方式中，补偿参数成为用于补偿平面图像P 的明度值和色调值的增益数据，如以下(式14)所示，用平均值a除以平均值 a'，求出补偿参数Pa。

Pa＝a'/a (式14)

由此，在后述的重叠显示中，将补偿参数表示的增益值与每个网格区域 LA0相乘，能够使得平面图像P的色调和明度达到接近于等距柱形投影图像 EC(天球图像CE)的像素值，从而消除显示的外观上的差异感觉。在此，补偿参数不仅可以用平均值计算，也可以用中间值、最多值等来取代平均值或加入平均值来进行计算。

本实施方式在明度值和色调值的补偿值计算中使用像素值(R，G，B)，除此之外，还可以用灰度和色差信号的YUV格式或JPEG的sYCC(YCbCr)格式等中的灰度值、色差值，除以用同样的方法求出构成网格区域的全部像素的灰度值及色差值的平均值，将得到的结果作为后述的重叠显示的补偿参数。另外，从RGB转换到YUV、sYCC(YCbCr)的转换方法是公知方法，在此省略详述，作为参照，例举用(式15)进行从JPEG压缩图像格式(JFIF(JPEG文件互换格式)形式的RGB转换到YCbCr的例子。

重叠显示元数据生成部570用于利用位置参数和补偿参数等，生成表示平面图像P叠加在天球图像CE上时的位置、以及明度值和色调值的补偿值的重叠显示元数据。

重叠显示元数据

接着，用图14说明重叠显示的元数据的数据结构。图14是重叠显示元数据的数据结构示意图。

如图17所示，重叠显示元数据包括等距柱形投影图像信息、平面图像信息、重叠显示信息以及元数据生成信息。

其中，等距柱形投影图像信息是由特殊摄影装置1与摄影图像数据一起传送来的信息。等距柱形投影图像信息包括图像识别信息和附属信息。等距柱形投影图像信息中的图像识别信息是用于识别等距柱形投影图像的图像识别信息。图14中以图像的文件名作为一例等距柱形投影图像信息中的图像识别信息，除此之外，用于识别图像的图像ID也可以作为该图像识别信息。

等距柱形投影图像信息中的附属信息是附属于等距柱形投影图像信息的关联信息。图17作为附属信息的一个示例，显示了特殊拍摄装置1拍摄时得到的等距柱形投影图像数据的姿势补偿信息(Pitch，Yaw，Roll)。该姿势补偿信息既可以以作为特殊摄影装置1的图像记录格式的经过标准化的Exif (Exchangeable image file format)保存，也可以用GPano(Google Sphere schema)提供的各种格式保存。天球图像的特征在于，如果在同一位置拍摄，即便姿势不同，也能够进行360°全方位图像的拍摄，但是在显示天球图像CE时，必须指定姿势信息、图像的中心(关注点)等，如果不确定，则无法确定显示位置。因而通常将天球图像CE补偿成为天顶在拍摄者正上方。这样便能够将水平线补偿成为直线，显示自然。

平面图像信息是智能手机5制作的信息。平面图像信息包含图像标识信息和附加信息。平面图像信息中的图像识别信息用于识别平面图像P的图像。图 14中用图像的文件名作为一例图像识别信息，除此之外，也可以识别图像的图像ID作为图像识别信息。

另外，平面图像信息中的附属信息是附属于平面图像信息的关联信息。图14中用35mm换算焦距的值作为一例平面图像信息的附加信息。35mm换算焦距的值并不是在平面图像P叠加显示天球图像CE所必须的，在此例举主要是用来作为进行重叠显示时作为决定显示的视角的参考信息。

重叠显示信息是智能电话5中生成的信息，包含区域分割数量信息、各网格区域的网格点的位置(位置参数)及明度值和色调值的补偿值(补偿参数)。其中，区域分割数量信息表示第一对应区域CA1被分割成多个网格区域时水平 (经度)方向的分割数量和垂直(纬度)方向的分割数量。

位置参数是表示，在平面图像P被分割为网格形状的多个区域时，每一个网格点被配置在等距柱形投影图像EC(天球图像CE)中哪个位置的顶点映射信息。补偿参数在本实施方式中是用于补偿平面图像P的颜色的增益数据。在补偿对象是单色图像的情况下，补偿参数是用于使得明度值和色调值中的至少明度值一致的参数。

在取得天球图像CE的情况下，如果使用与平面图像P相同的投影方式即透视投影方式，则无法进行360°全方位拍摄。为此，即便要在天球图像CE的一部分区域上叠加除天球图像CE之外的拍摄得到的平面图像P，也会因为等距柱形投影图像EC和平面图像P的投影方式不同，等距柱形投影图像EC(天球图像 CE)和平面图像P不相配，而无法使得平面图像P很好地溶入天球图像CE。为此，经常使用作为一种投影方式的等距柱形投影方式来生成天球图像之类的广角图像。但是使用等距柱形投影方式的问题在于，如同所谓的墨卡托制图法，离开标准纬线越远横向长度越扩大，因而其形成的图像与普通相机中所采用的是透视射影图像有很大差异。出于上述理由，即使只是单纯地改变图像的比例尺后重叠，图像无法保持一致，平面图像P不能很好地溶入天球图像CE。对此，本实施方式通过图14所示的处理来生成位置参数。

以下参考图15详细说明位置参数和补偿参数。图15中(a)是第二对应区域中网格区域的示意图，(b)是第三对应区域中网格区域的示意图。

如图15(a)所示，用与平面图像P相同透视投影方式转换等距柱形投影图像EC的一部分区域即第一对应区域CA1，得到第二对应区域CA2。在本实施方式中，该第二对应区域CA2被分割为水平分割数量30、垂直分割数量20的网格区域。图15(a)中，各个网格区域的网格点的坐标(LO_00，00，LA_00，00)、 (LO_01，00，LA_01，00)，…，(LO_30，20，LA_30，20)、以及各个网格区域的网格点的明度值和色调值的补偿值(R_00，00，G_00，00，B_00，00)，(R_01，00，G_01，00，B_01，00)，…，(R_30，20，G_30，20，B_30，20)来表示。另外，为了简化附图，图中仅显示了四个顶点上的网格点的坐标以及明度值和颜色值的补偿值，但实际上，所有的网格点均存在坐标以及明度值和颜色值的补偿值。并且，每个明度值和色调值的补偿值R、 G和B分别表示红色补偿增益，绿色补偿增益，蓝色补偿增益。各个明度值和色调值的补偿值R、G、B实际上表示以各个网格点的坐标为中心的规定范围(与相邻网格点的规定范围不重叠的范围)内的图像的明度值和颜色值的补偿值。

另一方面，如图15(b)所示，用与平面图像P相同透视投影方式转换等距柱形投影图像EC的一部分区域即第二对应区域CA2，得到第三对应区域CA3。在本实施方式中，该第二对应区域CA2被分割为水平分割数量30、垂直分割数量20的网格区域。图15(b)中的各网格区域的网格的坐标(LO’_00，00，LA’ _00，00)，(LO’_01，00，LA’_01，00)，…，(LO’_30，20，LA’_30，20)以及与第二对应区域 CA2的各补偿值相同的明度值和色调值的补偿值。此时，为了简化附图，图中仅显示了四个顶点上的网格点的坐标以及明度值和颜色值的补偿值，但实际上，所有的网格点均存在坐标以及明度值和颜色值的补偿值。

元数据生成信息表示重叠显示元数据的版本的版本信息。

如上所述，位置参数是表示平面图像P和等距柱形投影图像EC(天球图像 CE)各自的位置对应关系。然而，如果用位置参数来表示图平面图像P的各个像素位置与等距柱形投影图像EC(天球图像CE)的坐标之间的相应关系的信息，则智能手机5若为高像素数数码相机时，需要表示约4000万像素数量的信息，因此会造成位置参数的数据量增多，而且数据存储等的处理非常麻烦。在此，本实施方式的位置参数是表示被分割为600个(30×20)个区域的平面图像P的网格点的坐标与等距柱形投影图像EC(天球图像CE)中的位置的对应关系的数据。另外，在智能手机5进行重叠显示的情况下，根据网格点的坐标对每个区域中的图像的位置进行内插，从而能够实现重叠显示。

重叠部的功能结构

以下，参考图13，描述重叠部55b的功能结构。重叠部55b具有粘贴区域生成部582、补偿部584、图像生成部586、图像重叠部588、以及投影方式转换部590。

其中，粘贴区域生成部582用于在假想的三维球体CS中，生成与第三区域 CA3相对应的区域部分(以下，称为「部分立体球」)PS。

补偿部584用于根据重叠显示元数据中的补偿参数，配合等距柱形投影图像EC的明度值和色调值，来补偿平面图像P的明度值和色调值。补偿部584不局限于补偿明度或色调。补偿部584用补偿参数进行补偿时，也可以只补偿明度而不补偿色调。

图像生成部586将平面图像P(或该平面图像P经过补偿之后形成的补偿图像C)贴到部分立体球形PS上，生成重叠图像S。图像生成部586根据部分立体球PS的区域，生成屏蔽数据(mask data)M。进而，图像生成部586将等距柱形投影图像EC贴在立体球体CS上，形成天球图像CE。

在此，屏蔽数据M是在将重叠图像S叠加到天球图像CE上时可以使用的透射率数据。关于屏蔽数据M，在重叠图像S叠加到天球图像CE上时，由于边界附近的明度和色调从内侧的重叠图像S逐渐接近外侧的天球图像CE，因而屏蔽周边的透射度从接近内侧的重叠图像S逐渐向接近外侧的天球图像CE而变高。由此，在将重叠图像S叠加到天球图像CE上时，能够尽量不凸显重叠。但是，掩蔽数据M的生成并不是必须的。

图像重叠部588用于将重叠图像S和屏蔽数据M叠加在天球图像CE上。由此形成边界不明显地叠加了高清晰度重叠图像S的低清晰度天球图像CE。

投影方式转换部590如图7所示，基于预先设定的假想照相机IC的视线方向(规定区域T的中心点CP)和规定区域T之间的视角α，对处于叠加了重叠图像S状态下的天球图像CE中的规定区域T进行投影方式转换，使得该规定区域T 能够显示在显示器517上。并且，投影方式转换部590还在投影转换之际，实行规定区域T与显示器517中的显示区域DA的分辨率保持一致的处理。具体而言，当规定区域T的分辨率小于显示器517的显示区域DA的分辨率时，投影方式转换部590放大规定区域T，使得规定区域能够与显示器517的显示区域DA保持一致。

相反，当规定区域T的分辨率大于显示器517的显示区域DA的分辨率时，投影方式转换部590缩小规定区域T，使得规定区域能够与显示器517的显示区域DA 保持一致。由此，显示控制部56便能够在显示器517的整个显示区域DA上显示表示规定区域T的规定区域图像Q。

《实施形态的处理或动作》

接着参考图16，说明摄像系统200执行的摄影方法。图16是摄影方法时序图。以下说明关于被摄体和风景等的摄影，此时，可以用集音部14与摄像同时录取周围的声音。

如图16所示，智能手机5的受理部52从用户接受联合摄影开始(步骤S11)。在这种情况下，如图12的(b)所示，显示控制部56在显示器517上显示图12的 (b)所示的联合摄影装置设定画面。该画面上显示每台摄像装置的用于指定联合摄影时的主摄像装置的收音机按钮、用于指定联合摄影时的辅助摄像装置的复选框。此外还显示每台摄像装置的摄像装置的装置名称及信号接收强度。然后，用户指定(选择)所期望的主摄像装置和辅助摄像装置，按动“确定” 按钮后，受理部受理协作摄像开始。在此，辅助摄像装置可以是多台，在复选框中能够指定(选择)的多个摄像装置。

首先，在智能手机5中，短程通信部58向特殊摄影装置1发送表示要求开始摄影的摄影开始要求信息(步骤S12)。据此，特殊摄影装置1的短程通信部分18收到摄影开始要求信息。

例如，通过使用被称为OSC(Open Spherical Camera)API的供球体相机用的指令组合，智能手机5可以向特殊摄影装置1发行摄影指示。

另一方面，特殊摄影装置1开始摄影(步骤S13)。该摄影处理中，摄影部 13拍摄被摄体和风景等，生成摄影图像数据(图3(a)、(b)所示的两个半球图像数据)，图像及音频处理部15根据两个半球图像数据，制作图3(c)所示的单一等距柱形投影图像数据，存储及读取部19将该正距円筒投影图像数据保存到存储部1000。

在智能手机5中，摄影部53与特殊摄影装置1并行开始摄影(步骤S14、步骤S15)。优选智能手机5和特殊摄影装置1同时摄影。但是，智能手机5向特殊摄影装置1发出摄像指示后实际上进行摄影的时间很难与智能手机5的摄像时间完全一致。另外，智能手机5的前置摄像头和后置摄像头也不一定能够完全同时拍摄。图16显示的牵制摄像头拍摄之后，后置摄像头才拍摄，但是牵制摄像头和后置摄像头、以及特殊摄影装置1尽可能同时拍摄。

作为同时发送摄像指示的构成，例如在安卓(注册商标)OS的情况下，可以从智能手机5所执行的程序中调用提供摄影功能的Camera API，向前置摄像头和后置摄像头发送摄影指示。

智能手机5的摄影部53生成前置摄像头的平面图像数据1(图像识别信息、附带信息)和后置摄像头的平面图像数据2(图像识别信息、附带信息)。

另一方面，特殊摄影装置1的短程通信部18向智能手机5发送在步骤S13 得到的等距柱形投影图像数据(步骤S16)。此时还同时发送的用来识别等距柱形投影图像数据的图像识别信息以及附带信息。图像识别信息及其附带信息被作为如图14所示的等距柱形投影图像信息显示显示。这样，智能手机5的短程通信部分58便收到等距柱形投影图像数据、图像识别信息，以及附属信息。

其次，智能手机5的存储及读取部59将在步骤S14、步骤S15收到的平面图像数据的电子文件、以及在步骤S16收到的等距柱形投影图像数据的电子文件保存到同一个文件夹中，进而将该文件夹存放到存储器部5000(步骤S17)。

而后，智能手机5的图像及音频处理部55制作用于重叠显示的元数据，该用于重叠显示的元数据用于在低清晰度图像的天球图像CE的一部分区域上重叠高精细图像的平面图像P后显示时使用的数据(步骤S18)。此时，存储及读取部59将重叠显示用的元数据保存到存储部分5000中(步骤S19)。而后，智能手机5的图像及音频处理部55制作天球图像(步骤S20)。接着在天球图像上重叠平面图像(步骤S21)，对此将在以下详述。

以上主要是使用图13至图21详述了重叠显示用的元数据的制作处理。由于特殊摄影装置1的摄像元件需要网罗所有的的360°天球图像CE的原始图像的等距柱形投影图像，因此，智能手机5和特殊摄影装置1的摄像元件的分辨率即使相同，特殊摄影装置1的摄像图像中的一定区域附近的精细度较低。

如此，本实施方式不仅从智能手机5发出对智能手机本身的相机的摄影指示，而且同时对特殊摄影装置1给出摄影指示。从而，几乎可以同时获得天球图像和平面图像，适合图像的重叠。而在几乎同时撮像的情况下，由于知道特殊摄影装置1和智能手机5的位置关系，因而能够特定后述的关注点Gp。

图16显示了从智能手机5向特殊摄影装置1发送摄影指示，对此，用户操作的特殊摄影装置1，从特殊摄影装置1向智能手机5发送摄影指示也是可以的。

重叠显示元数据的生成处理

首先描述在低清晰度等距柱形投影图像EC生成的天球图像CE上重叠高清晰度平面图像P并显示到显示器517上时使用的重叠显示元数据的生成处理。重叠显示元数据如图14所示，包括位置参数和补偿参数，所以主要说明位置参数和补偿参数的生成方法。

提取部550提取以等距柱形投影方式得到的长方形等距柱形投影图像EC 中多个特征点、以及以透视投影方式得到的长方形平面图像P中多个特征点 (步骤S110)。

接着，第一对应区域计算部552通过第一单应转换，根据等距柱形投影图像EC中的多个特征点的特征量是与平面图像P中的多个特征点的特征量之间的类似度，如图17所示，计算等距柱形投影图像EC中与平面图像P对应的四边形的第一对应区域CA1(步骤S120)。进一步具体而言，在第一对应区域计算部 552根据求出的等距柱形投影图像EC的多个特征点fp1的特征量fv1与平面图像P中的多个特征点fp2的特征量fv2之间的相似度，计算图像之间的对应点，在等距柱形投影图像EC中，通过求出与平面图像P对应的单应而得到的第一单应转换，如图17所示，求出等距柱形投影图像EC中与平面图像P对应的四边形的第一对应区域CA1。该处理虽然无法使得投影方式不同的平面图像P准确地对应于等距柱形投影图像EC，但能够先粗略推测对应位置(暂定处理)。

接着，关注点确定部554确定经过第一单应转换后平面图像P的中心点CP1 在等距柱形投影图像EC中的点(关注点GP1)(步骤S130)。

接着，投影方式转换部556如图18所示，将等距柱形投影图像EC内以关注点GP1为中心的周边区域PA，转换为与平面图像P相同的透视投影方式，使得周边区域图像PI的垂直视角α与平面图像P的对角视角α相等，其结果，生成周边区域图像PI(步骤S140)。

然后，提取部550提取通过投影转换部556得到的周边区域图像PI中多个特征点(步骤S150)。

接着，第二对应区域计算部558通过第二单应转换，根据平面图像P中的多个特征点的特征量与周围区域图像PI中的多个特征点的特征量之间的相似度，计算周边区域图像PI中平面图像P所对应的四边形的第二对应区域CA2 (步骤S160)。此外，平面图像P例如为4000万像素的高清晰图像，因此，预先调整为合适的大小。

接着，区域分割部560将第二对应区域CA2分割成如图19的(b)所示的多个网格区域LA2(步骤S170)。

接着，投影方式逆转换部562如图17所示，将第二对应区域CA2的投影方式转换(逆转换)成与等距柱形投影图像EC相同的等距柱形投影方式(步骤 S180)。这样，投影方式逆转换部562如图20所示，求出等距柱形投影图像EC 中第二对应区域CA2内多个网格区域LA2所对应的各网格区域LA3构成的第三对应区域CA3。图20是等距柱形投影图像EC中第三对应区域的示意图。通过该投影方式逆转换部562的处理，生成各网格区域LA3的各网格点的坐标所表示的位置参数。

位置参数如上述所示，在图13和图17示出。

接着参考图21，描述补偿参数的生成处理。图24是补偿参数的生成处理的过程中的图像的示意图。步骤S180的处理后，形状转换部564通过将投影图 21中的(a)所示的第二对应区域CA2的4个顶点投影到平面图像P的4个顶点，将第二对应区域CA2转换为平面图像P相同的形状，得到图21的(b)所示的第二对应区域CA2'(步骤S190)。

接着，区域分割部560如图21中的(c)所示，将平面图像P分割为与转换后的第二对应区域CA2中的各网格区域LA2'相同形状且相同数量的多个网格区域LA0(步骤S200)。

接着，补偿参数生成部566生成补偿参数，用于使得各网格区域LA2'所对应的平面图像P的各网格区域LA0的明度值和色调值与第二对应区域CA2'中各网格区域LA2'的色调值一致(S210)。

最后，如图17所示，重叠显示元数据生成部570根据从特殊摄影装置1取得的等距柱形投影图像信息、从普通摄影装置3取得的平面图像信息、预定的区域分割数信息、投影方式逆转变部562生成的位置参数、补偿参数生成部566 生成的补偿参数以及元数据生成信息，生成重叠显示元数据(步骤S220)。该重叠显示元数据由存储及读取部59保存到存储部5000中。

至此为止，图19所示的步骤S22的具体处理结束。而后，存储及读取部59 和显示控制部56用重叠显示元数据进行重叠处理(步骤S21)。

重叠显示处理

接下来参考图22，详述重叠处理。图22是重叠显示处理过程的图像示意图。

首先，图11所示的存储及读取部59(取得部)从存储部5000取得用等距柱形投影方式得到的等距柱形投影图像EC的数据、用透视投影方式得到的平面图像P的数据、以及重叠显示元数据。

其次，如图22示，粘贴区域生成部582根据位置参数，生成假想立体球体 CS中第三对应区域CA3所对应的部分立体球体PS(步骤S310)。此时，关于位置参数中没有表示的网格点以外的像素，例如用线性插值来插值。

而后，补偿部584根据重叠显示元数据内的补偿参数进行补偿，使得平面图像P的明度值及色调值与等距柱形投影图像EC的明度值及色调值相保持一致(步骤S320)。在以下的描述中将经过补偿的平面图像P称为补偿图像C。

而后，图像生成部586将补偿图像C贴到部分立体球体PS上，生成重叠图像S(步骤S330)。此时，关于位置参数中未表示的网格点以外的像素，用线性插值来插值。图像生成部586根据部分立体球PS，生成屏蔽数据M(步骤S340)。进而，图像生成部586将等距柱形投影图像EC贴到立体球体CS上，生成天球图像CE(步骤S350)。而后，重叠部585用屏蔽数据M将重叠图像叠加到天球图像CE上(步骤S360)。这样，便形成不凸显边界地叠加了高清晰重叠图像S的低清晰天球图像CE。

而后，如图7所示，投影方式转换部590以预先决定的假想照相机IC的视线方向(规定区域T的中心点CP)和规定区域的视角α，投影叠加了重叠图像 S的天球图像CE中的规定区域，使得该规定区域T能够用显示器517阅览(步骤 S370)。

此时，投影方式转换部590对规定区域T实行处理，使得该规定区域T能够与显示器517中的显示区域DA的分辨率相保持一致。这样，显示控制部56便能够在显示器517的整个显示区域DA上实行显示规定区域的规定区域图像Q的显示处理。在此，规定区域图像Q内包含叠加了平面图像P的平面图像P’即重叠图像S。

以下参考图23至图27，详述重叠显示状态。图23是天球图像上叠加了平面图像时的二维示意图。在此显示将平面图像P叠加到图5上。如图23所示，按照位置参数，从立体球体CS内侧将高清晰重叠图像S贴到贴在立体球体CS 上的低清晰天球图像CE上。

图24是天球图像上叠加了平面图像时的三维示意图。图24显示的是天球图像CE和重叠图像S被贴在立体球体CS上，包含重叠图像S的图像称为规定区域图像Q的状态。

图25是在不使用本实施方式的位置参数的情况下将平面图像叠加到天球图像上的二维示意图。图26是用本实施方式的位置参数将平面图像叠加到天球图像上的二维示意图。

在图25中，如(a)所示，设定以假想照相机IC位于立体球体CS的中心点时作为基准，被摄体P1在天球图像CE上被显示为P2，在重叠图像P上被表示为 P3。此时，像P2和像P3均位于假想照相机IC和被摄体P1的连线上，因而即便以重叠图像S叠加在天球图像CE上的状态显示，天球图像CE和重叠图像S之间也不会产生偏离。但是，如果假想照相机IC位置离开立体球体CS的中心点，则如(b)所示，在假想照相机IC和被摄体P1的连线上，像P3稍微位于像P2 的内侧。在此，如果设定在假想照相机IC与被摄体P1的连线上，重叠图像S 上的像为像P3’，则天球图像CE和重叠图像S上像P3和像P3之间便产生偏离量 g。这样，重叠图像S被显示为相对于天球图像CE产生偏离。

对此，本实施方式利用以多个网格区域表示的位置参数，如图26的(a) 和(b)所示，使得重叠图像S沿着天球图像CE重叠。这样，不仅如(a)所示，当假想照相机IC位于立体球体CS的中心点上时，而且如图26(b)所示，在假想照相机IC不位于立体球体CS的中心点上时，像P2和像P3也能够位于假想照相机IC和被摄体P1的连线上。这样，在显示重叠图像S叠加在天球图像CE上的状态时，天球图像CE与重叠图像S之间不会发生偏离。

图27是对比没有重叠显示和重叠显示的图像显示的示意图。(a)是没有重叠显示时的广域图像的显示例，(b)是没有重叠显示时的电视图像的显示例，(c)是重叠显示时的广域图像的显示例，(d)是重叠显示时的电视图像的显示例。图中的虚线框是用于说明的标记，实际上显示器517上不一定需要显示。

在图27中，在如(a)所示的在天球图像CE上没有叠加平面图像P显示的情况下，当放大显示(a)中以虚线框显示的区域时，如(b)所示，只能显示低清晰度图像，因而用户只能看到不清晰的图像。对此，在如(c)所示的在天球图像CE上叠加平面图像P显示的情况下，当放大显示(c)中以虚线框显示的区域时，如(d)所示，能够显示高清晰度图像，因而用户能够看到清晰的图像。尤其在虚线框显示的区域中具有文字招牌等时，如果不叠加高清晰平面图像P，则即便放大也无法清晰显示文字，无法看清内容。但是，如果重叠显示高清晰的平面图像P，则即使放大显示，文字等也十分清晰，用户能够看清内容。

〈关于视差和晕影〉

图28是用于说明视差和晕影关系的一例示意图。晕影是指镜头盖或滤波器等被摄入照片的周边而使得被摄体发生缺失或四周变暗的现象。图28中， (a)显示智能手机5的后置摄像头的镜头(图中为CMOS传感器505a)到特殊摄影装置1的机身之间距离具有足够大，因而智能手机5后置摄像头未拍摄到特殊摄影装置1的影子等(例如，框体的影子或光的反射)。但是，同样是因为智能手机5的镜头与特殊摄影装置1的镜头之间的距离较大(视差较大)，造成智能手机5在天球图像上重叠平面图像时，会产生不协调感。

对此，图28(b)显示的智能手机5的后置摄像头的镜头与特殊成像装置1 之间的距离较短。在这种情况下，智能手机5在天球图像上重叠平面图像时不协调感很少。然而，智能手机5的后置摄像头中会有时会发生摄入特殊摄影装置1的阴影等问题。另外，智能手机5通过变焦可使得视角变窄，不会发生晕影。

本实施方式的智能手机5在智能手机5的镜头与特殊摄影装置1的机身之间的相对位置以及焦距符合晕影发生条件时，不在产生晕影的部分进行重叠显示。

图29是一例产生晕影的平面图像的示意图。如图28所示，从智能手机5 的后置摄像头看到左侧存在特殊摄影装置1的情况下，平面图像的右端会呈现阴影等(晕影区域302)。而呈现阴影等部分的图像画质下降，可视性也差，所以这部分重叠的必要性较小。

<晕影对策之一>

特殊摄影装置1相对于智能手机5的相对位置固定的智能手机5在焦距一定的情况下，晕影出现的区域(晕影区域302)也是一定。因此，开发者和用户等可以预先将晕影区域302作为重叠区域信息设定到智能手机5等中。例如，作为重叠区域信息5002保存在智能手机5的存储部5000中。或者智能手机5可以从通信网络上的服务器下载。

图30是用来说明在图14所示的重叠显示元数据中保存晕影区域302的方法的一例示意图。其中(a)显示智能手机5拍摄的平面图像和晕影区域302，(b) 显示一例经过区域分割的平面图像。重叠显示元数据的位置参数及校正参数被分割为30×20个区域。图30(b)的网格区域与位置参数或补正参数的网格区域相同，因此，图30(b)的一个区域直接与位置参数及补偿参数的一个网格区域相对应。

设水平方向上6个，垂直方向上20个区域为晕影区域302。如图30(c)所示，在重叠显示元数据中的位置参数及补偿参数的区域中，没有晕影部分(非晕影部分)的24×20个区域被指定为重叠显示信息。如下述图31所示，作为编码处理，重叠显示元数据生成部570将保存在存储器部5000中的重叠区域信息5002 设定为重叠显示元数据即可。

这样，智能手机5的图像及音频处理部55便可以参照重叠区域信息，确定用位置参数及补偿参数在网格区域中进行重叠或色彩补偿等的区域。也就是说，在重叠和色彩补偿中均不使用24×20个区域以外的区域。

图31显示一例“晕影对策之一”的重叠显示元数据。与图14相比，重叠显示信息具有重叠区域信息。重叠区域信息具有水平(纬度)开始结束位置和垂直(经度)开始结束位置。重叠区域信息可以指定平面图像P的任意的领域。水平(纬度)开始结束位置用于指定按照区域分割数量信息决定的水平分割数 30个区域之中未发生画质下降的非晕影区域在水平方向的开始位置和结束位置。或者用于指定发生了画质下降的晕影区域在水平方向的开始位置和结束位置。在图31中水平(纬度)开始结束位置为(0，24)，所以被指定从左端到第 24个为止的区域。

垂直(经度)开始结束位置区域用于指定按照区域分割数量信息决定的垂直分割数20个区域之中的开始位置和结束位置。在图31中垂直(经度)开始结束位置为(0，20)，所以被指定为从上端到第20个为止的区域。

以下说明关于解码处理。为此，在位置参数的网格区域包含在重叠显示元数据的重叠区域信息所指定的区域之中时，图像及音频处理部55的重叠部 55b(图像制作部586)提取平面图像中的对应区域并重叠到天球图像上。而当位置参数的网格区域未包含在重叠显示元数据的重叠区域信息所指定的区域之中时，不将平面图像中的对应区域重叠到天球图像上。对于补偿参数与上述相同。

以上在重叠显示信息中设定非晕影区域，同样也可以设定晕影领域302。开发人员或用户等可以用例如本实施方式的摄像系统200来实际尝试摄像，目视确认晕影区域302，作为重叠区域信息来事先确定。

图32是图像制作部586参考重叠显示元数据的重叠区域信息，将平面图像贴到等距柱形投影图像上的处理的一例流程图。该处理在图22的步骤S310执行。

首先，图像制作部586读取位置参数的一个区域(S310-1)。

其次，图像制作部586参考重叠区域信息，判断该位置参数的一个区域是否包含在晕影区域302之中(S310-2)。

在步骤S310-2判断为“否”的情况下，图像制作部586将平面图像P的位置参数的区域贴到等距柱形投影图像上(S310-3)。具体为在屏蔽数据M上加上位置参数的领域。

而在步骤S310-2判断为“是”的情况下，图像制作部586不将位置参数的区域贴到等距柱形投影图像上(S310-4)。具体为不在屏蔽数据M上加入位置参数的区域。

然后，图像制作部586判断是否确认了位置参数的所有区域(S310-5)。

在步骤S310-5判断为“否”的情况下，处理返回到步骤S310-1，而在步骤S310-5的判断为“是”的情况下，图32的处理结束。

晕影区域随着智能手机5的焦距不同而变化，所以优选重叠区域信息按照焦距设定。重叠显示元数据中例如保持以下所示的重叠区域信息。

焦距范围1:重叠显示信息1

焦距范围2:重叠显示信息2

……

焦距范围n:重叠显示信息n

如此，通过按照每个有焦距的范围设定重叠显示信息，图像制作部586 能够根据智能手机5的后置摄像头的焦距，读出重叠显示信息，在等距柱形投影图像上贴平面图像。

<晕影对策之二>

晕影对策之一存在以下制约，即只能在20×30的固定区域中选择晕影 302、以及只对应矩形区域的晕影区域302。对此，利用如下所示的坐标点来指定非晕影区域。首先说明编码。

图33是用来说明在重叠显示元数据中保存晕影区域302的方法的一例示意图。其中，(a)显示智能手机5拍摄的平面图像和晕影区域302，(b)显示以 20×30的领域分割的平面图像。(c)显示一例非晕影区域被分割为20×30的平面图像。在图33的情况下发生晕影的部分也是一定的。

如图33中的(a)所示，晕影区域302呈梯形形状。重叠显示元数据制作部 570首先均等分割非晕影区域。纵向和横向的分割数量如图31的重叠显示元数据中所记载的，事先设定。

由于晕影发生部分一定，所以如图33(c)的非晕影区域的四个顶点abcd 的坐标被保存在存储器部5000中(与晕影1的重叠领域信息相同)。使用这些坐标，重叠显示元数据制作部570进行如下处理。

(i)非晕影区域的坐标a和座标b之间以分割领域数信息的水平(经度)分割数来均等分割，坐标d和座标c之间以分割领域数信息的水平(经度)分割数来均等分割。

(ii)非晕影区域的坐标a和座标d之间以分割领域数信息的垂直(维度)分割数来均等分割，坐标b和坐标c之间以分割领域数信息的垂直(维度)分割数来均等分割。

(iii)与非晕影区域相对的两条边的分割得到的点(上边和下边是从左或右开始按顺序，左边和右边是从上方或下方开始按顺序)用直线连接。由此，非晕影区域被分割成多个区域。

(iv)用于分割的各条直线的方程式已知，所以可以求出直线的交点作为领域的顶点303。为了方便起见，图33的(c)只显示一个顶点303。用直线的交点可以求出21×31个领域的顶点303的坐标。

在计算机图形学领域中，重叠显示图像时使用的图像数据一般被称为纹理图像。在本实施方式中将天球图像的重叠显示所利用的重叠图像称为纹理图像。另外，在前述OpenGL的用语中，纹理图像中的座标系统被称为纹理UV 坐标，以把图像的宽度、高度分别标准化为0-1的坐标系统来表示。本发明中也称为纹理UV坐标或UV坐标。重叠显示元数据制作部570将如此求出的21×31 个UV坐标包含在重叠显示元数据之中。由于从顶点abcd的坐标可知晕影区域 302的坐标，所以晕影区域302的坐标也可以包含在重叠显示元数据之中。

本实施例中，图33(c)的网格点所显示的各个位置坐标表示平面图像P中对应的位置为UV坐标。此时，如上所述的UV坐标是高度和宽度均为被标准化为0-1的坐标系。具体而言，当设定平面图像P的宽度为Pw，高度为Ph，平面图像P上的某一点的坐标为(x，y)时，对应UV坐标为(x/Pw，y/Ph)。平面图像的左下方是(0，0)。

图33(d)显示了一例按上述方法算出的各个网格点的UV坐标。四角形的上边和下边分别是将纹理图像的0到0.8之间和0到0.6之间均等地作30分割。左边和右边是将0到1.0之间均等地20分割(参见图33的(d))。该UV坐标分别对应图33(c)的各个网格点所示的位置参数，在解码处理中重叠的纹理图像时利用。

关于补偿参数，可以与上述增益数据同样地求出与图33(c)中分割网格区域的扩展点相对应的亮度值及色调值的补偿值。

说明解码处理。图像制作部586参考位置参数及纹理UV坐标，在天球图像上重叠。通过参考非晕影区域对应的各个位置坐标以及该位置坐标对应UV坐标，平面图像P中只有非晕影区域部分被重叠到天球图像上。

如果采用图33所示的方法，即便是形状复杂的晕影，用户和开发者等也能够通过适当设定UV坐标来应对。

图34是晕影对策之二的一例重叠显示元数据。与图14相比，图34的重叠显示信息具有UV坐标。UV坐标是如图33(c)所示的非晕影区域均等分割时的交点坐标。

图35是图像制作部586参考重叠显示元数据的重叠区域信息、将平面图像贴在等距柱形投影图像上的一例处理流程图。该处理在图22的步骤S310执行。

首先，图像制作部586读取位置参数的一个网格区域(S310-1)。

其次，图像制作部586求出位置参数的网格区域的坐标(S310-2)。例如，计算网格区域的四个顶点的坐标。

而后，图像制作部586判断位置参数的网格区域的坐标是否包含在重叠显示元数据的UV坐标中(S310-3)。例如，判断位置参数的网格区域的四个顶点的坐标是否落入用UV坐标确定区域内。

而后，在步骤S310-3判断为“是”的情况下，图像制作部586将位置参数的网格区域贴到等距柱形投影图像上(S310-4)。具体为在屏蔽数据M中加如位置参数的区域。

而在步骤S310-3判断为“否”的情况下，图像制作部586不把位置参数的网格区域贴到等距柱形投影图像上(S310-5)。具体为不将位置参数的区域加入屏蔽数据M。

然后，图像制作部586判断是否确认了位置参数的所有网格区域 (S310-6)。

在步骤S310-6判断为“否”的情况下，处理返回到步骤S310-1，而在步骤S310-6的判断为“是”的情况下，结束图35的处理。

另外，在晕影对策之二中，优选UV坐标按照智能手机5的焦点距离设定。 <关于确定利用位置关系信息的关注点>

根据智能手机5与特殊摄影装置1的透镜的相对位置，能够确定用智能手机5拍摄的平面图像的中心是否与天球图像对应。相对应的点被称为关注点 Gp。只要已知关注点Gp，便可以通过转换每个区域的以焦距确定的周边区域 PA的投影方式进行转换，来制作重叠显示元数据。

图36是一例用来说明关注点Gp的示意图。图36显示等距柱形投影图像的各相对位置的关注点Gp和关注点Gp周围的周边领域PA。天球图像的中心是特殊摄影装置1的镜头中心。用yaw，pitch，roll表示相对位置。在智能手机5 和特殊摄影装置1的镜头都朝着相同方向的情况下，yaw＝0，pitch＝0，roll＝0，关注点Gp0和天球图像的中心一致。

在yaw＝-90，pitch＝-45，roll＝0的情况下，关注点Gp1处于等距柱形投影图像的右上方。和yaw的坐标系正负不一致是坐标系形式的不同而引起的。同样，在yaw R1＝50，pitch＝60，roll＝0的情况下，关注点Gp2存在于等距柱形投影图像的左下方。在yaw＝110，pitch＝10，roll＝0的情况下，关注点Gp3存在于关注点Gp0的左侧。

关注点Gp的计算除了yaw、pitch、roll，还可以考虑镜头的位置关系、焦距等。

图37是用来说明yaw和pitch与关注点Gp的对应一例示意图。如果假设摄像位置相同，则yaw和pitch相当于纬度和经度，为此，只要将纬度和经度转换成等距柱形投影图像的坐标，就可以求出关注点Gp。

此外，智能手机5和特殊摄影装置1相对位置固定，因而智能手机5可以将关注点Gp预先保存在存储部分5000中。如此，元数据制作部55a便不需要计算关注点Gp。

<本实施方式的晕影排除效果>

以下用图38说明不重叠晕影区域的效果。在图38中，(a)显示为了进行对比而将晕影区域也包含在内进行重叠的天球图像，其中晕影区域也被重叠。 (b)显示去除晕影区域之后进行重叠的天球图像，其中没有将晕影区域重叠，因而，不重叠晕影区域可以不至于让用户阅览画质低下的平面图像或对晕影感觉不协调。

另外，不重叠晕影区域时，不再需要制作如图17所示的重叠显示元数据的位置参数的一系列过程中的步骤S110～S130的处理，从而减少了位置参数的计算时间，同时还可以降低求出不正确的位置参数的可能性。

也就是说，由于智能手机5能够根据相对位置求出关注点Gp、或者预先在存储部5000中保存关注点Gp，因而可以省略提取部550实施的步骤S 110的处理 (等距柱形投影图像EC和平面图像P中的多个特征点)、第一对应区域计算部 552求出的步骤S120的处理(第一单应变换)、以及关注点确定部554湿湿的步骤S130的处理(关注点GP1的确定)。

<透镜像差变形补偿>

本实施例中使用纹理UV坐标来说明晕影引起的画质下降，而利用纹理UV 坐标，能够抑制晕影以外的画质下降。以下说明一例镜头像差引起变形的平面图像。

在用智能手机5拍摄平面图像P因镜头像差而出现变形的情况下，在立体球CS上贴平面图像P时，接缝偏离显著，有可能造成画质下降。

图39显示一例产生变形的平面图像P。为了容易理解变形，在此显示拍摄网格图案的平面图像P。如果镜头完全不发生变形，则网格图案为正方形上下左右排列整齐的排列，但是，由于镜头像差，图像发生变形，变成中央部分较大的周围部分变小的图像。图39的变形仅仅是一个例子，如何变形随镜头不同。

图40是一例表示纹理UV坐标和位置参数的对应的示意图。其中，(a)显示发生变形的平面图像P为用50×50的区域分割所得到的51×51的纹理UV坐标， (b)显示基于位置参数(此处为51×51)的网格区域的位置和UV坐标之间的对应，部分立体球上被贴了平面图像P的补偿状态。

也就是说，UV坐标的51×51的网格与位置参数的51×51的网格对应。如果不对位置参数实施补偿，直接将平面图像P拿去重叠，则平面图像P将发生如图40的(a)所示的变形。对此，摄像系统200的开发者等为位置参数的每个网格准备补偿镜头变形的参数。简单的补偿镜头变形的参数的例子就是每个网格的经过补偿后的坐标。重叠时，重叠部55b对每个网格区域进行补偿，例如对平面图像P实施投影转换，用以补偿变形。UV坐标被用来作为补偿镜头变形的参数。

关于补偿镜头变形的参数(本实施例中是用来计算的经过补偿后的纹理UV坐标的系数)的计算方法是公知技术。例如，计算机或开发人员等用该镜头一边改变摄影位置，一边多次拍摄网格图案。利用拍摄的多张画像中的对应点来求出相机的内部参数、外部参数、以及变形像差系数。关于这种相机校准技术的具体详见如非专利文献1(Zhang，Z."AFlexible New Technique for Camera Calibration."IEEE Transactions on PatternAnalysis and Machine Intelligence.Vol.22，No.11，2000，pp.1330－1334.)。此外，OpenCV 的通用程序库中也已安装。

如图40中的(a)和(b)所示，在左图中发生变形的网格图案的50×50个的四角形经过补偿后成为正方形。如此，通过指定纹理UV坐标，重叠部55b能够将经过补偿的平面图像P贴到部分立体球上。

图41是一例用来说明变形补偿效果的示意图。其中，(a)不考虑变形，直接把平面图像贴到部分立体球上，(b)是用经过变形补偿失的UV坐标将平面图像P贴到部分立体球上的一个例子。图41中以虚线包围的区域是被贴的平面图像P。

在图41中，(a)的平面图像P的变形与立体球图像的变形不一致，接缝附近偏离显著，画质下降。而(b)的天球图像和平面图像P的接缝附近，偏离在较大程度上得到改善，平面图像P内部变形也得到补偿，重叠了平面图像P 的天球图像的质量有所提高。

综上所述，利用纹理UV坐标，不仅能够排除晕影，而且能够补偿变形。 <多张重叠画像情况下的重叠显示元数据的构成>

以下说明将具有多张叠加图像(平面影像)时的重叠显示元数据。图42是在具有N张平面图像P的情况下的一例重叠显示元数据的示意图。在图14的重叠显示元数据中，平面图像P只有一张，因此平面图像信息和重叠显示信息各自只有一份，但在具有N张平面图像P的情况下，对每张平面图像设定平面图像信息及重叠显示信息。

在显示处理中，粘贴区域制作部582在假想立体球CS上，根据每个平面图像P中的重叠显示信息，生成与第三对应区域CA3相对应的部分立体球PS。由于具有多张平面图像，因而可以制作多个部分立体球。

其次，补偿部584根据各张平面图像中的重叠显示信息的补偿参数，补偿每张平面图像P的亮度值及色彩值，使得亮度值及色彩值与等距柱形投影图像 EC的亮度值及色彩值相配，图像制作部586在各自的平面图像的部分立体球上贴对应的补偿图像C，制作重叠图像S。

屏蔽数据的制作也是各个平面图像分别进行。进而，图像制作部586通过把等距柱形投影图像EC贴在立体球CS上来制作天球图像CE。而后，图像重叠部588将为每个平面图像所创建的重叠图像S以及屏蔽数据M重叠到天球图像 CE上。由此结束形成重叠了经过补偿后接缝不再明显的多张高清晰重叠图像S 的低清晰天球图像CE。

接下来说明设定了重叠顺序的重叠显示元数据。在重叠显示元数据中设定了多张叠加图像(平面图像)的情况下，重叠显示处理中按照怎样的顺序来重叠等距柱形投影图像以及平面图像变得十分重要。这是因为，在等距柱形投影图像和平面图像均为一张的情况下，图像重叠部588将平面图像重叠到等距柱形投影图像上之后，重叠的图像被放在前面显示。换言之，最初将等距柱形投影图像EC粘在立体球CS上，而后根据平面图像生成的重叠图像S与屏蔽数据M一起重叠，所以顺序自然而然地定了下来。

而在具有多张叠加图像(平面图像)，且其中一部分或全部重叠的情况下，较后重叠的平面图像位于前方，重叠部分中位于内部的图像就会看不见。因此，需要注意重叠顺序，优选具有指定重叠顺序的信息。

图43是具有重叠顺序指定信息的重叠显示元数据的一例示意图。重叠顺序和等距柱形投影图像以及平面图像之间互相对应，因此可以用图像识别信息来识别等距柱形投影图像以及平面图像。例如，IMAGE001.JPG、 IMAGE111.JPG、IMAGE113.JPG、IMAGE112.JPG均为图像识别信息。重叠顺序指定信息将该图像识别信息作为排列来容纳，在显示处理中，图像重叠部588 以中排列所容纳的顺序来进行重叠处理。

图43的例子中，中叠顺序指定信息为 [./IMAGE001.JPG，./IMAGE111.JPG，./IMAGE113.JPG，./IMAGE112.JPG]，所以图像重叠部588最初重叠/IMAGE001.JPG指定的等距柱形投影图像。而后依照/IMAGE111.JPG，./IMAGE113.JPG，./IMAGE112.JPG的顺序进行重叠。因此，如果这些图像的叠加位置有重叠时，最后重叠的/IMAGE112.JPG指定的图像处于最前方。

重叠顺序决定方法可以随着显示目的的不同而不同，使用者可以自由指定，或者自动决定顺序。以起初为等距柱形投影图像，其后为平面图像为例，可以按照平面图像的焦距小的顺序(视角大的顺序)。按照焦距小的顺序叠加，能够在平面图像的叠加位置发生重叠时，防止焦距大的图像(视角小的图像) 隐藏其他的平面图像的后面。

<用于创建最初显示的显示图像的重叠显示元数据构成例>

接着说明在重叠显示中具有用于指定智能手机5最初显示的视线方向(假想照相机IC中的摄像方向)及角度α的设定的重叠显示元数据。

图44是具有作为显示开始信息的视线方向信息和视角信息的重叠显示元数据的一例构成示意图。在图7中所作的说明，通过改变假想照相机IC的姿势，假想照相机IC的摄像区域即预定区域T将发生变化。例如在图22的步骤S370 中设定，根据事先规定的假想照相机IC的视线方向(假想照相机IC的姿势)和规定区域T的视角α，处于重叠图像S重叠状态下的天球图像CE中的规定区域T 经过投影方式转换后显示在显示器517上。这样，将作为显示开始信息的预定的视线方向和视角α(初始值)包含在重叠显示元数据中，投影方式转换部590 能够将该显示开始信息用于创建最初显示的规定区域图像的显示开始信息来利用。

最初创建的显示图像根据使用者的目的不同而不同，因而优选使用者自由指定，或者自动设定开始显示信息。在此显示一例。在只有一张重叠的平面图像的情况下，重叠显示元数据制作部570决定显示开始信息，让相当于其平面图像中心的中心点成为相当于规定区域图像Q中心的位置。

因此，在元数据中，将重叠显示的平面图像的中心点转换为等距柱形投影图像上的纬度及经度坐标(ee，aa)作为视线方向信息保存。该转换通过上述投影方式逆转换部562实现。等距柱形投影图像上的纬度经度坐标如上所述，把垂直方向作为从-90度(-0.5π)到+90度(+0.5π)的纬度坐标来表示，水平方向作为从-180度-π)作为+180度(+π)的经度坐标来表示。此外，指定平面图像的对角视角为角度α。

而在具有多张平面图像的情况下，例如对于焦距最小的平面图像，可以用同样的方法来决定姿势方向信息，让其中心点成为相当于规定区域图像的中心。对于视角亦相同。再者，对于具有多张以相同焦距拍摄的平面图像的选择，可以利用以重叠顺序指定信息指定的顺序信息来决定选择哪一张平面图像。

<总结>

如上所述，本实施方式的摄像系统200不把预设的晕影区域重叠到等距柱形投影图像上，因而能够抑制重叠在天球图像上的平面图像的画质下降。而且还可以通过重叠显示元数据的UV坐标来补偿平面图像P的变形。进而能够利用重叠显示元数据指定多张平面图像的重叠顺序或视线方向及视角的初始值。

[实施例二]

本实施例说明有图像处理服务器7进行重叠显示元数据制作的摄像系统 200。

首先，参考图45说明本实施例的摄像系统200的构成。图45是本实施方式的摄像系统200的构成的示意图。

如图45所示，本实施例的摄像系统200相对于实施例1相关的各构成，增加了图像处理服务器7。关于与实施例1相同的构成，使用相同标记并省略说明。智能手机5可以通过互联网和以太网等通信网络100，与图像处理服务器7 通信。

在第一实施方式中，智能手机5实行重叠显示元数据的制作和图像的重叠的处理，而在本实施方式中，这些处理由图像处理服务器7实行。本实施例的智能手机5成为一例通信终端，图像处理服务器7成为一例图像处理装置。

图像处理服务器7是服务器计算机，还包含多台服务器计算机分散实行图像处理的情况。

《图像处理服务器的硬件构成》

其次，用图46详述本实施方式的图像处理服务器7的硬件构成。图46是图像处理服务器的硬件结构模块图。本实施方式的特殊摄影装置1以及智能手机 5的硬件构成与第一实施方式相同，因此省略说明。

<图像处理服务器的硬件构成>

图像处理服务器7以计算机构建，如图46所示，具备CPU701、ROM702、 RAM703、HD704、HDD(Hard Disk Drive)705、记录介质706、介质I/F707、显示器708、网络I/F709、键盘711、鼠标712、光驱动器714，以及主线710。图像处理服务器7由于起到服务器作用，因而不一定需要键盘711和鼠标712等的输入装置以及显示器708等的输出装置。

其中，CPU701用于控制图像处理服务器7整体的动作。ROM702用于存储 CPU701的驱动程序。RAM703被作为CPU701的工作区域使用。HD704用于存储程序等的各种数据。HDD705用于按照CPU701的控制来控制HD704对各种数据的读取或写入。介质I/F707用于控制闪存等存储介质706的数据的读取或写入(记忆)。显示器708用于显示光标、菜单、窗口、文字、或图像等各种信息。网络I/F709是用于利用通信网络100进行数据通信的接口。键盘711是用于输入文字、数值、各种指示等的具备多个键的一种输入手段。鼠标712是用于实行各种指示的选择或执行、处理对象的选择、光标的移动的输入手段。光驱动器714是用于控制作为可拆卸记录介质的一例的CD-RW(Compact Disc-ReWritable)713中各种数据的读取等。

另外，图像处理服务器7还具备总线710。总线710是电性连接于图46中所示的CPU701等的各构成要素的地址线路和数据线路等。

《图像处理服务器的功能构成》

以下用图47以及图48说明本实施方式的功能构成。图47是本实施例涉及的摄像系统200的功能结构模块图。本实施方式的特殊摄影装置1以及智能手机5的功能构成与第一实施方式相同，因此省略说明。本实施方式中，智能手机5的图像及音频处理部55即可以具有图13所示的各项功能构成，也可以不具备这些功能。

<图像处理服务器的功能构成>

如图47所示，图像处理服务器7具有远程通信部71、受理部72、图像及音频处理部75、显示控制部76、判断部77、以及存储及读部分79。这些功能部由图46中所示的各个构成要素中的某个要素按照CPU701执行从HD704上传到 RAM703上展开的图像处理服务器7用程序所发送的指令而动作来实现的功能或手段。

图像处理服务器7具有以图46中所示的ROM702、RAM703、以及HD704构成的存储部7000。

(图像处理服务器的各项功能构成)

图像处理服务器7的远距离通信部71主要由图46中所示的网络I/F709及 CPU701的处理实现，通过通信网络100与其他的装置(例如，其他服务器、智能手机5)进行各种数据(或信息)的发送接收。

受理部72主要通过键盘711、鼠标712、以及CPU701的处理来实现功能，从用户接受各种选择和输入。

图像及音频处理部75主要通过CPU701发出的指令而实现功能，对来自智能手机5的各种数据实施各种处理。

显示控制部76主要通过CPU701的处理而实现功能，与第一实施方式的显示控制部56不同，用于制作用来在智能手机5的显示器517上显示的平面图像P 的预定区域图像Q的数据。此外，显示控制部76利用图像及音频处理部75生成的重叠显示元数据，配合位置参数表示的位置以及补偿参数表示的亮度值及其色调值，制作将平面图像P的各网格区域LA0重叠到天球图像CE上显示的数据。

判断部77通过图46中所示的CPU701的处理而实现功能，用于实行各种判断。

存储及读取部79主要通过图46所示CPU701的处理而实现功能，在存储部分7000中保存重叠显示元数据等各种数据(或信息)，或从存储部7000读出重叠显示元数据等各种数据(或信息)。存储及读取部79起到从存储部7000取得各种数据的取得部的作用。

图像及音频处理部的各项功能构成

在此，用图48详述图像及音频处理部75的各项功能。图48是图像机音频处理部的功能结构模块图。

图像及音频处理部75大致分为进行编码的元数据作成部75a和解码的重叠部75b。元数据作成部75a执行图49中所示的后述步骤S44的处理。另外，重叠部75b执行图49中所示的后述步骤S45的处理。

元数据作成部的各项功能构成

首先说明元数据作成部75a的各个功能构成。元数据作成部75a具有提取部750、第一对应区域计算部752、关注点确定部754、投影方式转换部756、第二对应区域计算部758、区域分割部760、投影方式逆转换部762、形状转换部764、补偿参数作成部766、以及重叠显示元数据制作部770。这些功能部分别与第一实施方式中的提取部550、第一对应区域的计算部552、关注点确定部554、投影方式转换部分556、第二对应区域计算部558、领域分割部560、投影方式逆转换部562、形状转换部564、补偿参数作成部566、以及重叠显示元数据制作部570具有相同功能，在此省略说明。

重叠部分的功能构成

接着说明重叠部75b的功能构成。重叠部75b具有粘贴区域生成部782、补偿部784、图像生成部786、图像重叠部788、以及投影方式转换部分790。这些功能部分别与第一实施方式中的粘贴区域生成部582、补偿部584、图像生成部586、图像重叠部588、以及投影方式转换部590具有相同的功能，因此省略说明。

《实施形态的处理或动作》

接着，利用图49说明本实施方式的处理或动作。图49是显示本实施方式涉及摄像方法的时序图。其中的步骤S31～S41的处理与第一实施方式的步骤 S11～S31相同，因此省略说明。

在智能手机5中，远程通信部51通过通讯网络100向图像处理服务器7发送重叠要求信息，该重叠要求信息表示在投影方式不同的一方图像上重叠另一方图像(步骤S42)。该叠加需求信息中包含保存在存储部5000的电子文件夹内的数据(平面图像数据、等距柱形投影图像数据)。由此，图像处理服务器7 的远程通信部71收到电子文件夹内的数据。

其次，在图像处理服务器7中，存储及读取部79将步骤S42收到的电子文件夹内的数据保存到存储部7000(步骤S43)。而后，图48中显示的元数据生成部75a实行重叠显示元数据的生成(步骤S44)。进而，重叠部75b实行重叠处理 (步骤S45)。步骤S44、S45的处理分别是步骤S22、S23的处理相同，在此省略说明。

接下来显示控制部76制作规定区域图像Q的数据，用于在智能手机5的显示器517的整个显示领域上显示表示规定区域T的规定区域图像Q(步骤S46)。在此，规定区域图像Q内包含重叠了平面图像P的状态下的平面图像P'即重叠图像S。

远程通信部71向智能手机5发送显示控制部76制作的规定区域图像Q的数据(步骤S47)。由此，智能手机5的远程通信部51收到规定区域图像Q的数据。

而后在智能手机5中，显示控制器56在显示器517上显示包含重叠的图像S 的预定区域图像Q(步骤S48)。

《本实施例的主要效果》

上述本实施方式具有与第一实施方向相同的效果。

除此以外，本实施方式中，智能手机5实行联动摄像处理，图像处理服务器7实行重叠显示元数据的制作以及重叠处理，因而还具有在智能手机5处理能力较差的情况下，也能够抑制图像的偏离的效果。

<其他适用的例子>

以上说明了采用本发明最佳方式的实施例，但是，上述实施例对本发明没有任何限制，只要不脱离本发明的要旨范围，允许实施各种变形及置换。

例如，本实施方式说明了抑制晕影造成的画质下降的方法，除了晕影以外，本发明同样可以用来从重叠对象中去除其它引起画质下降的区域。

在以上的说明中设定了用户和开发者等，对此也可以通过智能手机5利用图像处理来检测晕影区域。

关于天球图像的显示，既可以用浏览器软件来实行，也可以用显示天球图像的应用软件。

在用服务器实行智能手机5实行的处理的情况下，智能手机5主要可以用来进行操作受理或显示天球图像CE。

本实施方式的天球图像只要是规定区域T上无法完整显示的视角的图像数据便可。例如也可以是只有在水平方向具有180度～360度的视角的广角图像。换言之，本实施方式的图像不局限于天球图像。

另外，也可以具有智能手机5，与智能手机5外部连接的照相机数量也可以是三台以上。

权利要求范围中的“贴”，是指一方的图像比另一方的图像优先看得到，也可以用“重叠”或“合成”，再或“放置”等来表示。

图11、图13等所示的构成例是为了便于理解特殊摄影装置1和智能手机5 的处理而按照主要功能来分割构成。处理单位进行分割的方法或名称对本发明没有限制。特殊摄影装置1以及智能手机5的处理可以根据处理内容进一步分割成多个处理单位。相反，也可以构成为由一个处理单位包含更多处理。

最后，重叠显示元数据的重叠领域信息或UV坐标是区域指定信息的一个例子。

Claims

1.一种信息处理装置，其特征在于，具有，

取得部，用于取得以第一投影方式获得的广角图像、以及以不同于所述第一投影方式的第二投影方式获得的平面图像；

第一投影方式转换部，用于将所述广角图像的投影方式转换为所述第二投影方式，生成图像；

提取部，用于分别从所述平面图像以及所述图像提取多个特征点；

对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；

第二投影方式转换部，用于将所述第三对应区域包含的多个点的投影方式转换为所述第一投影方式；

位置计算部，用于求出经过所述第二投影方式转换部转换的所述多个点在所述广角图像中的位置信息；以及，

存储部，其中保存在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息，并保存与所述平面图像的多个点相对应的、根据所述区域指定信息进行重叠显示时使用的所述位置信息。

2.信息处理装置，其特征在于，具有，

第二投影方式转换部，用于将所述第三对应区域之中，除了在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息所指定以外的，该第三对应区域包含的规定的多个点的投影方式转换为所述第一投影方式；

存储部，其中保存所述区域指定信息，并将所述位置信息与所述平面图像的多个点对应保存。

3.根据权利要求1或2所述的信息处理装置，其特征在于，

所述图像是通过所述第一投影方式转换部将所述广角图像中包含所述平面图像的所述周边区域的投影方式转换为所述第二投影方式的周边区域图像，

具有区域分割部，用于在所述周边区域图像中，将与所述平面图像对应的第二对应区域分割为多个网格区域，

所述第二投影方式转换部通过将所述第二对应区域的投影方式转换为所述第一投影方式，求出所述广角图像中构成所述第二对应区域的所述多个网格区域所对应的、以多个网格区域构成的所述第三对应区域。

4.根据权利要求1至3中任意一项所述的信息处理装置，其特征在于，所述区域指定信息是指定所述平面图像的任意区域的信息。

5.根据权利要求1至4中任意一项所述的信息处理装置，其特征在于，所述区域指定信息是指定所述平面图像中发生画质下降的区域的信息。

6.根据权利要求4或5所述的信息处理装置，其特征在于，所述区域指定信息是指定所述平面图像中摄入了拍摄所述广角图像的摄像装置的阴影的区域的信息。

7.根据权利要求3所述的信息处理装置，其特征在于，

在所述平面图像被分割成与所述第二对应区域相同的所述网格区域的情况下，所述区域指定信息是指定各网格区域的信息，

所述区域指定信息被用于与所述第二对应区域的所述网格区域对比，判断是否将所述平面图像的网格区域贴到假想立体球中与所述第三对应区域相对应的部分立体球上。

8.根据权利要求7所述的信息处理装置，其特征在于，具有元数据生成部，用于读取所述存储部中保存的所述区域指定信息，生成包含有关于所述第三对应区域的信息以及所述区域指定信息的元数据。

9.根据权利要求2所述的信息处理装置，其特征在于，所述区域指定信息是用坐标来指定所述平面图像的任意区域以外的区域的信息。

10.根据权利要求8所述的信息处理装置，其特征在于，

所述元数据生成部根据指定所述存储部保存的所述平面图像的任意区域以外的区域的信息，将该平面图像的任意区域以外的区域分割成多个区域，将所述多个区域作为所述平面图像的任意区域以外的区域的坐标包含在所述元数据之中，

所述多个区域的坐标用来与所述第二对应区域的所述网格区域对比，判断是否将所述平面图像的网格区域贴到假想立体球中与所述第三对应区域相对应的部分立体球上。

11.根据权利要求1至10中任意一项所述的信息处理装置，其中，所述区域指定信息是在将所述平面图像分割为多个区域时的各个区域的坐标，所述各个坐标的区域通过拍摄平面图像的第二摄像装置的相机校准来补偿变形。

12.根据权利要求8所述的信息处理装置，其中，所述元数据中设定了多个平面图像的重叠顺序。

13.根据权利要求8所述的信息处理装置，其中，所述元数据中设定了所述广角图像的视线方向和视角的初始值。

14.根据权利要求3所述的信息处理装置，其特征在于，所述第一投影方式转换部参照关于拍摄所述广角图像的第一摄像装置和拍摄所述平面图像的第二摄像装置之间相对位置的信息，确定与所述平面图像对应的第一对应区域所包含的所述周边区域的中心点，提取所述中心点周围的所述周边区域。

15.根据权利要求3所述的信息处理装置，其特征在于，所述第一投影方式转换部参照预存的所述周边区域的中心点，提取该中心点的周边的所述周边区域。

16.一种摄像系统，其中包括，

信息处理装置，其中具备，

提取部，用于分别从所述平面图像以及所述图像提取多个特征点；对应区域计算部，用于根据所述提取部分别提取的所述平面图像的多个特征点和所述图像的多个特征点，求出所述图像中与所述平面图像对应的第三对应区域；

存储部，其中保存在所述广角图像上重叠所述平面图像时使用的所述平面图像的区域指定信息，并保存与所述平面图像的多个点相对应的、根据所述区域指定信息进行重叠显示时使用的所述位置信息；

通信装置，接收所述广角图像的摄像指示；以及，

摄像装置，用于拍摄所述广角图像，

所述通信装置具备摄像部，该摄像部将所述摄像装置拍摄的所述广角图像送往所述信息处理装置。

17.一种计算机可读存储介质，其特征在于，其中保存可供信息处理装置执行的计算机程序，所述信息处理装置通过执行该计算机程序，具备以下功能，

18.一种摄像系统，其中包括，

信息处理装置，其中具备，

存储部，其中保存所述区域指定信息，并将所述位置信息与所述平面图像的多个点对应保存，

通信装置，接收所述广角图像的摄像指示；以及，

摄像装置，用于拍摄所述广角图像，

19.一种计算机可读存储介质，其特征在于，其中保存可供信息处理装置执行的计算机程序，所述信息处理装置通过执行该计算机程序，具备以下功能，