CN111226255A - 图像处理设备，图像捕获系统，图像处理方法和记录介质 - Google Patents

Abstract

图像处理设备包括：获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及位置信息生成器，配置为生成位置信息，位置信息生成器被配置为:将包含第一图像中的与第二图像对应的第一对应区域的周边区域的图像从第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；从第二图像和周边区域图像分别识别多个特征点；基于分别在第二图像和周边区域图像识别的多个特征点，确定周边区域图像中的与第二图像对应的第二对应区域；通过将周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的中心点和四个顶点的位置的位置信息；以及将指示在第一图像中的第一投影方式的中心点和四个顶点的位置的位置信息存储在存储器。

Description

图像处理设备，图像捕获系统，图像处理方法和记录介质

技术领域

本发明涉及图像处理设备，图像捕获系统，图像处理方法，以及记录介质。

背景技术

用广角透镜拍摄的广角图像用于拍摄诸如风景，因为图像趋向于覆盖大面积。例如，图像捕获系统捕获目标对象及其周围环境的广角图像，以及目标对象的放大图像。广角图像与放大图像结合，即使当放大表示目标对象的广角图像的一部分时，也能以高分辨率显示嵌入有放大图像的部分(参见专利文献1)。

另一方面，已经提出一种数码相机，其捕获两个半球图像，从中生成360度全天球图像(参见专利文献2)。这样的数码相机基于两个半球图像生成等距柱形投影图像(equirectangular projection image)，并将该等距柱形投影图像发送到通信终端，诸如智能手机，用于向用户显示。

引文列表

专利文献

【专利文献1】日本未审查专利申请公开No.2016-96487

【专利文献2】日本未审查专利申请公开No.2017-178135

发明内容

技术问题

本发明的发明人已经实现目标对象及其周围的全天球图像可以以如上所述的类似方式与目标对象的平面图像结合。然而，如果所述全天球图像要与目标对象的平面图像一起显示，则由于这些图像是在不同的投影方式中拍摄，因此，这些图像的位置可能会彼此偏移。

解决问题的方案

本发明的例示实施例包括图像处理设备，其包括：

获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及

位置信息生成器，配置为生成位置信息，所述位置信息生成器被配置为:

将包含第一图像中的与所述第二图像对应的第一对应区域的周边区域的图像从所述第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；

从所述第二图像和所述周边区域图像分别识别多个特征点；

基于分别在所述第二图像和所述周边区域图像识别的多个特征点，确定所述周边区域图像中的与第二图像对应的第二对应区域；

通过将所述周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从所述第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息；以及

将指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息存储在存储器。

本发明的例示实施例包括设有所述图像处理设备的图像捕获系统，图像处理方法，和记录介质。

本发明的效果

根据本发明的一个或多个实施例，即使当一个图像叠加在投影方式不同的另一图像上时，也可以抑制这些图像之间的位置偏移。

附图说明

附图旨在描述本发明的示例实施例，而不应被解释为限制其范围。除非明确说明，否则附图不应视为按比例绘制。而且，相同或相似的附图标记在若干视图中表示相同或相似的组件。

图1A，1B，1C和1D(图1)分别是根据一实施例的特殊图像捕获装置的左侧视图，后视图，俯视图和底侧视图。

图2是用于说明用户如何使用根据一实施例的图像捕获装置。

图3A，3B和3C是分别表示由根据一实施例的图像捕获装置捕获的半球图像的前侧，半球图像的背侧和以等距柱形投影表示的图像。

图4A和4B是分别表示根据一实施例的以等距柱形投影覆盖球面的图像和全天球图像。

图5是表示根据一实施例的将全天球图像设为三维实心球场合虚拟相机和预定区域的位置的图。

图6A和6B分别是图5的透视图和根据一实施例的在显示器上显示预定区域的图像的图。

图7是表示根据一实施例的预定区域信息与预定区域图像之间关系的图。

图8是表示根据第一实施例的图像捕获系统的示意图。

图9是表示根据第一实施例的适配器的透视图。

图10表示用户如何使用根据第一实施例的图像捕获系统。

图11是表示根据第一实施例的专用图像捕获装置的硬件配置的示意框图。

图12是表示根据第一实施例的一般图像捕获装置的硬件配置的示意框图。

图13是表示根据第一实施例的智能手机的硬件配置的示意框图。

图14是根据第一实施例的图像捕获系统的功能框图。

图15A和15B是分别表示根据第一实施例的链接图像捕获设备管理表和链接图像捕获设备配置屏幕的概念图。

图16是表示根据第一实施例的图像和音频处理单元的功能配置的框图。

图17是根据第一实施例的叠加显示元数据的数据结构的图示。

图18是表示根据第一实施例的捕获图像区域中的有效区域的概念图。

图19是表示根据第一实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。

图20是表示根据第一实施例的生成叠加显示元数据的操作的概念图。

图21A和21B是用于描述确定根据第一实施例的周边区域图像的概念图。

图22是表示根据第一实施例的对第二对应区域进行投影方式变换后的球的对应区域的概念图。

图23是表示根据第一实施例的第三对应区域和图22所示对应区域之间关系的概念图。

图24是表示根据第一实施例的在处理或生成图像的情况下叠加图像的操作的概念图。

图25是表示根据第一实施例的叠加有平面图像的全天球图像的二维视图的概念图。

图26是表示根据第一实施例的叠加有平面图像的全天球图像的三维视图的概念图。

图27A和27B是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。

图28A和28B是表示在第一实施例中使用位置参数叠加有平面图像的全天球图像的二维视图的概念图。

图29A，29B，29C和29D是分别表示根据第一实施例的没有叠加显示的广角图像，没有叠加显示的远摄图像，具有叠加显示的广角图像，和具有叠加显示的远摄图像。

图30是表示根据第二实施例的图像捕获系统的示意图。

图31是图示根据第二实施例的图像处理服务器的硬件配置的示意图。

图32是表示根据第二实施例的图30的图像捕获系统的功能配置的示意框图。

图33是表示根据第二实施例的图像和音频处理单元的功能配置的框图。

图34是表示根据第二实施例的由图像捕获系统执行的捕获图像的操作的数据序列图。

具体实施方式

在描述附图中所示的实施例时，为了清楚起见采用了特定的术语。然而，本说明书的公开内容并不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有类似功能、以类似方式操作并且实现类似结果的所有技术等同物。

这里使用的术语仅用于描述特定实施例的目的，并不意图限制本发明。如这里所使用的单数形式“一”、“一个”、“该”也旨在包括复数形式，除非上下文另有明确说明。

在本公开中，第一图像是与第二图像叠加的图像，第二图像是要叠加在第一图像上的图像。例如，第一图像是覆盖大于第二图像的区域的图像。在另一示例中，第二图像是图像质量高于第一图像的图像，例如，就图像分辨率而言。例如，第一图像可以是低清晰度图像，第二图像可以是高清晰度图像。在另一示例中，第一图像和第二图像是以不同投影表示的图像。第一投影中的第一图像的示例包括等距柱形投影图像，例如全天球图像(spherical image)。第二投影中的第二图像的示例包括透视投影图像，例如平面图像。

在本公开中，第二图像例如用一般图像捕获装置捕获的平面图像，作为在第二投影中的第二图像的一个例子，即使该平面图像被认为没有任何投影。

第一图像甚至第二图像，如果需要的话，可以由不同透镜或使用不同的图像传感器或不同时间捕获的多个图像数据组成。

再有，在本公开中，所述全天球图像不必是全景球形图像。例如,全天球图像可以是水平方向上具有大约180度至360度角度的广角图像。在下文中,全天球图像优选具有至少一部分并不完全显示在预定区域T中的图像数据。

下面参照附图描述本发明的实施例。

首先，参照图1至图7，描述根据一实施例的生成全天球图像的操作。

先参照图1A至1D，根据该实施例描述专用(特殊)图像捕获装置1的外观。特殊图像捕获装置(special-purpose image capturing device)1是用于捕获生成360度全天球图像的数字相机。图1A至1D分别是特殊图像捕获装置1的左侧视图，后视图，俯视图和仰视图。

如图1A至1D所示，特殊图像捕获装置1具有上部，其在其正面侧(前侧)设置有鱼眼型透镜102a，在背面侧(后侧)设置有鱼眼型透镜102b。特殊图像捕获装置1在其内部包括成像元件(成像传感器)103a和103b。成像元件103a和103b分别经由透镜102a和102b捕获对象或周围环境的图像，以获得半球图像(具有180度或更大的视角的图像)。如图1B所示，特殊图像捕获装置1还包括快门按钮115a，其在特殊图像捕获装置1的后侧，为特殊图像捕获装置1的前侧的相反侧。如图1A所示，特殊图像捕获装置1的左侧设置有电源按钮115b，无线保真(Wi-Fi)按钮115c和图像捕获模式按钮115d。根据用户的选择(按压)，电源按钮115b和Wi-Fi按钮115c中的任何一个在接通和断开之间切换。图像捕获模式按钮115d根据用户的选择(按压)在静止图像捕获模式和运动图像捕获模式之间切换。快门按钮115a，电源按钮115b，Wi-Fi按钮115c和图像捕获模式按钮115d是操作单元115的一部分。操作单元115是接收用户指令的任何部分，不限于上述按钮或开关。

如图1D所示，特殊图像捕获装置1在其底面150的中央处设置有三脚架安装孔151。当特殊图像捕获装置1安装在三脚架上时，三脚架安装孔151接收三脚架的螺钉。在该实施例中，如后文参照图9描述，三脚架安装孔151位于一般图像捕获装置(general-purposeimage capturing device)3通过适配器9被附设的位置。特殊图像捕获装置1的底面150还在其左侧包括微通用串行总线(微型USB)端子152。底面150还在其右侧包括高清晰度多媒体接口(HDMI，注册商标)端子153。

接下来，参照图2，给出使用特殊图像捕获装置1的状况的描述。图2表示用户如何使用特殊图像捕获装置1的示例。如图2所示，例如，特殊图像捕获装置1用于捕获在他或她的手中握住特殊图像捕获装置1的用户周围的对象。图1A至1D所示的成像元件103a和103b捕获用户周围的物体以获得两个半球图像。

接下来，参照图3A至3C和图4A和4B，描述从由特殊图像捕获装置1捕获的图像生成等距柱形投影图像EC和全天球图像CE的操作的概述图。图3A是表示由特殊图像捕获装置1捕获的半球图像(前侧)的视图。图3B是表示由特殊图像捕获装置1捕获的半球图像(后侧)的视图。图3C是表示等距柱形投影中的图像的视图，其被称为“等距柱形投影图像”(或等距圆柱投影图像)EC。图4A是表示等距柱形投影图像如何映射到球面的示例的概念图。图4B是表示全天球图像的视图。

如图3A所示，由成像元件103a捕获的图像是通过鱼眼型透镜102a拍摄的弯曲的半球图像(前侧)。而且，如图3B所示，由成像元件103b捕获的图像是通过鱼眼型透镜102b拍摄的弯曲的半球图像(后侧)。通过特殊图像捕获装置1合成半球图像(前侧)和反转180度的半球图像(后侧)。这导致生成如图3C所示的等距柱形投影图像EC。

如图4A所示，使用用于嵌入式系统的开放图形库(OpenGL ES)将等距柱形投影图像映射在球面上。如图4B所示，这导致产生全天球图像CE。换句话说，全天球图像CE表示为等距柱形投影图像EC，其对应于面向球体CS的中心的表面。应当注意，开放图形库是用于可视化二维(2D)和三维(3D)数据的图形库。全天球图像CE是静止图像或运动图像。

如图4B所示，由于全天球图像CE是附着到球面的图像，当从用户观看时，图像的一部分看起来可能变形，从而提供奇怪的感觉。为了解决这种奇怪的感觉，作为全天球图像CE的一部分的预定区域的图像显示为具有较少曲线的平面图像。预定区域例如是用户可以看到的全天球图像CE的一部分。在本公开中，预定区域的图像被称为“预定区域图像”Q。在下文中，参照图5，图6A和6B，给出显示预定区域图像Q的描述。

图5是表示在全天球图像表示为三维实心球的表面区域的情况下虚拟相机IC和预定区域T的位置的视图。虚拟相机IC对应于正在观看表示为三维立体球CS的表面区域的全天球图像CE的用户的视点(viewpoint)的位置。图6A是图5中所示的全天球图像CE的透视图。图6B是表示当在显示器显示时的预定区域图像Q的图。在图6A中，表示图4B中所示的全天球图像CE表示为三维实心球CS的表面积。假设全天球图像CE是实心球CS的表面区域，如图5所示，虚拟照相机IC位于全天球图像CE的内部。全天球图像CE中的预定区域T是虚拟相机IC的成像区域。具体地说，预定区域T由指示包含全天球图像CE的三维虚拟空间中的虚拟照相机IC的成像方向和视角的预定区域信息特定。

预定区域图像Q是图6A所示的预定区域T的图像，在显示器上显示作为虚拟相机IC的成像区域的图像，如图6B所示。图6B表示通过由默认设定的预定区域信息所表示的预先确定的区域图像Q。下面使用虚拟照相机IC的成像方向(ea，aa)和视角α说明虚拟照相机IC的位置。

参照图7，根据本实施例描述预定区域信息和预定区域T的图像之间的关系。图7是表示预定区域信息和预定区域T的图像之间的关系的图。如图7中所示，“ea”表示虚拟照相机IC的仰角，“aa”表示虚拟照相机IC的方位角，“α”表示虚拟照相机IC的视角。调整虚拟照相机IC的位置，使得由成像方向(ea，aa)指示的虚拟照相机IC的注视点与作为虚拟照相机IC的成像区域的预定区域T的中心点CP匹配。预定区域图像Q是全天球图像CE中的预定区域T的图像。“f”表示从虚拟照相机IC到预定区域T的中心点CP的距离。“L”表示中心点CP与预定区域T的给定顶点之间的距离(2L是对角线)。在图7中，一般由以下式1表示的三角函数关系式成立：

L/f＝tan(α/2)(式1)

第一实施例

参照图8至图29D，描述根据本发明第一实施例的图像捕获系统。

<图像捕获系统概略>

首先，参照图8，根据第一实施例说明图像捕获系统的概略。图8是根据本实施例的图像捕获系统的配置示意图。

如图8所示，图像捕获系统包括特殊图像捕获装置1，一般目的(一般)捕获装置3，智能手机5，和适配器9。特殊图像捕获装置1经由适配器9连接到一般图像捕获装置3。

特殊图像捕获装置1是一种特殊的数字照相机，其捕获对象或环境例如风景的图像，以获得两个半球图像，从其中生成一个球形(全景)图像，如上述参照图1至图7所说明。

一般图像捕获装置3是数字单镜头反光照相机，然而，它也可以为紧凑型数字照相机。一般图像捕获装置3设置有快门按钮315a，其是下面描述的操作单元315的一部分。

智能手机5能使用近距离无线通信(例如Wi-Fi，蓝牙(注册商标)和近场通信(NFC))与特殊图像捕获装置1和一般图像捕获装置3无线通信。智能手机5能够在如下所述的为智能手机5提供的显示器517上显示分别从特殊图像捕获装置1和一般图像捕获装置3获得的图像。

智能手机5可以不使用近距离无线通信、而使用诸如电缆的有线通信与特殊图像捕获装置1和一般图像捕获装置3通信。智能手机5是能够处理捕获图像的图像处理设备的示例。图像处理设备的其他示例包括但不限于平板个人计算机(PC)，笔记本PC，和台式PC。智能手机5可以作为下面描述的通信终端操作。

图9是表示根据本实施例的适配器9的透视图。如图9所示，适配器9包括插座板适配器(shoe adapter)901，螺栓902，上调节器903和下调节器904。插座板适配器901在其滑动时附接到一般图像捕获装置3的附件插座板。螺栓902设置在插座板适配器901的中心，其将拧入特殊图像捕获装置1的三脚架安装孔151中。螺栓902设置有上调节器903和下调节器904，它们各自可绕螺栓902的中心轴线旋转。上调节器903固定附设在螺栓902的物体(例如特殊图像捕获装置1)。下调节器904固定附设在插座板适配器901的物体(诸如一般图像捕获装置3)。

图10表示用户如何使用根据本实施例的图像捕获装置。如图10所示，用户将他或她的智能手机5放入他或她的口袋中。用户使用通过适配器9附设有特殊图像捕获装置1的一般图像捕获装置3捕获对象的图像。虽然图示智能手机5放置在用户衬衫的口袋中，但是，智能手机5可以放置在任何区域中，只要它可以与特殊图像捕获装置1和一般图像捕获装置3无线通信即可。

硬件配置

接下来，参照图11至图13，说明根据本实施例的特殊图像捕获装置1、一般图像捕获装置3和智能手机5的硬件配置。

<特殊图像捕获装置的硬件配置>

首先，参照图11，说明根据本实施例的特殊图像捕获装置1的硬件配置。图11表示特殊图像捕获装置1的硬件配置。下面描述特殊图像捕获装置1是具有两个成像元件的球形(全方位)图像捕获装置的情况。然而，特殊图像捕获装置1可包括任何合适数量的成像元件，只要其包括至少两个成像元件即可。另外，特殊图像捕获装置1不一定是专用于全方位图像捕获的图像捕获装置。或者，外部全方位图像捕获单元可以附设到一般目的数字相机或智能手机，以实现具有与特殊图像捕获装置1的功能基本相同的功能的图像捕获装置。

如图11所示，特殊图像捕获装置1包括成像单元101，图像处理器104，成像控制器105，麦克风108，音频处理器109，中央处理单元(CPU)111，只读存储器(ROM)112，静态随机存取存储器(SRAM)113，动态随机存取存储器(DRAM)114，操作单元115，网络接口(I/F)116，通信电路117，天线117a，以及电子罗盘118。

成像单元101包括两个广角镜头(所谓的鱼眼型镜头)102a和102b，每个都具有等于或大于180度的视角，以便形成半球图像。成像单元101还包括分别对应于广角镜头102a和102b的两个成像元件103a和103b。成像元件103a和103b均包括成像传感器，例如互补金属氧化物半导体(CMOS)传感器和电荷耦合器件(CCD)传感器，定时生成电路，以及一组寄存器。成像传感器将由广角镜头102a和102b形成的光学图像转换成电信号以输出图像数据。定时生成电路为成像传感器生成水平或垂直同步信号、像素时钟等。用于成像元件103a和103b的操作的各种命令、参数等设置在寄存器组中。

成像单元101的各成像元件103a和103b经由并行I/F总线连接到图像处理器104。另外，成像单元101的各成像元件103a和103b经由诸如I2C总线的串行I/F总线连接到成像控制器105。图像处理器104，成像控制器105和音频处理器109各自经由总线110连接到CPU111。此外，ROM112，SRAM113，DRAM114，操作单元115，网络I/F116，通信电路117，以及电子罗盘118也连接到总线110。

图像处理器104经由并行I/F总线从每个成像元件103a和103b获取图像数据，并对各图像数据执行预定处理。此后，图像处理器104合成这些图像数据以生成如图3C所示的等距柱形投影图像的数据。

成像控制器105通常用作主设备，而成像元件103a和103b各自通常用作从设备。成像控制器105经由诸如I2C总线的串行I/F总线在成像元件103a和103b的寄存器组中设置命令等。成像控制器105从CPU111接收各种命令。此外，成像控制器105经由诸如I2C总线的串行I/F总线获取成像元件103a和103b的寄存器组的状态数据等。成像控制器105将获取的状态数据等发送到CPU111。

成像控制器105指示成像元件103a和103b在按下操作单元115的快门按钮115a时输出图像数据。在一些情况下，特殊图像捕获装置1能够在显示器(例如，智能手机5的显示器)上显示预览图像或显示运动图像(电影)。在显示电影的情况下，以预定的帧速率(每分钟帧数)从成像元件103a和103b连续输出图像数据。

此外，成像控制器105与CPU111协同操作，以使成像元件103a输出图像数据的时间与成像元件103b输出图像数据的时间同步。应当注意，尽管在该实施例中特殊图像捕获装置1不包括显示器，但是，特殊图像捕获装置1也可以包括显示器。

麦克风108将声音转换为音频数据(信号)。音频处理器109经由I/F总线获取从麦克风108输出的音频数据，并对音频数据执行预定处理。

CPU111例如通过执行预定处理来控制特殊图像捕获装置1的整个操作。ROM112存储用于由CPU111执行的各种程序。SRAM113和DRAM114各自用作工作存储器，以存储从ROM112加载的程序以供CPU111执行或当前处理中的数据。更具体地说，在一个示例中，DRAM114存储当前由图像处理器104处理的图像数据和已经执行了处理的等距柱形投影图像的数据。

操作单元115为各种操作键例如快门按钮115a的总称。除了硬件键之外，操作单元115还可以包括触摸板。用户操作该操作单元115以输入各种图像捕获(拍摄)模式或图像捕获(拍摄)条件。

网络I/F116统称为诸如USB I/F的接口电路，其允许特殊图像捕获装置1与诸如SD卡或外部个人计算机的外部介质进行数据通信。作为网络I/F116，可以是有线和无线通信中的至少一种。存储在DRAM114中的等距柱形投影图像的数据可以在任何所需的时间经由网络I/F116存储在外部介质中，或者经由网络I/F116传输到诸如智能手机5等的外部设备。

通信电路117由诸如Wi-Fi、NFC、蓝牙的近距离无线通信，经由特殊图像捕获装置1的天线117a与诸如智能手机5的外部装置进行数据通信。通信电路117还能够将等距柱形投影图像的数据发送到诸如智能手机5等的外部设备。

电子罗盘118根据地球的磁力计算特殊图像捕获装置1的方位，以输出方位信息。该方位信息是相关信息的示例，其是根据Exif描述的元数据。该信息用于图像处理，例如捕获图像的图像校正。相关信息还包括特殊图像捕获装置1捕获图像的日期和时间，以及图像数据的大小。

<一般图像捕获装置的硬件配置>

接下来，参照图12，说明根据本实施例的一般图像捕获装置3的硬件配置。图12表示一般图像捕获装置3的硬件配置。如图12所示，一般图像捕获装置3包括成像单元301，图像处理器304，成像控制器305，麦克风308，音频处理器309，总线310，CPU311，ROM312，SRAM313，DRAM314，操作单元315，网络I/F316，通信电路317，天线317a，电子罗盘318，和显示器319。图像处理器304和成像控制器305均经由总线310连接到CPU311。

一般图像捕获装置3的元件304,310,311,312,313,314,315,316,317,317a和318在结构和功能上与特殊图像捕获装置1的元件104,110,111,112,113，114,115,116,117,117a和118基本相似，因此，在此说明省略。

此外，如图12所示，在一般图像捕获装置3的成像单元301中，具有多个透镜的透镜单元306，机械快门按钮307和成像元件303从面向外侧的一侧依次设置(即，面对要捕获的对象的一侧)。

成像控制器305在结构和功能上与成像控制器105基本相同。成像控制器305还根据通过操作单元315输入的用户操作来控制镜头单元306和机械快门按钮307的操作。

显示器319能够显示操作菜单、正在捕获的图像或已捕获的图像等。

<智能手机的硬件配置>

参照图13，说明根据本实施例的智能手机5的硬件配置。图13表示智能手机5的硬件配置。如图13所示，智能手机5包括CPU501，ROM

502，RAM503，EEPROM504，互补金属氧化物半导体(CMOS)传感器505，成像元件I/F513a，加速度及方位传感器506，介质I/F508，和GPS接收器509。

CPU501控制智能手机5的整体操作。ROM502存储用于控制CPU501的控制程序，例如IPL。RAM503用作CPU501的工作区域。EEPROM504在CPU501的控制下读取或写入诸如用于智能手机5的控制程序的各种数据。

CMOS传感器505在CPU501的控制下捕获对象(例如，操作智能手机5的用户)以获得捕获的图像数据。成像元件I/F513a是控制CMOS传感器512的驱动的电路。加速度及方位传感器506包括各种传感器，例如用于检测地磁的电磁罗盘、陀螺罗盘、加速度传感器等。介质I/F508控制相对于诸如闪存的记录介质507的数据读取或写入。GPS接收器509从GPS卫星接收GPS信号。

智能手机5还包括远程通信电路511，用于远程通信电路511的天线511a，CMOS传感器512，成像元件I/F513b，麦克风514，扬声器515，音频输入/输出I/F516，显示器517，外部设备连接I/F518，近程通信电路519，用于近程通信电路519的天线519a，以及触摸板521。

远程通信电路511是通过通信网络100与其他设备通信的电路。CMOS传感器512是能够在CPU501的控制下捕获对象的内置成像装置的示例。成像元件I/F513b是控制CMOS传感器512的驱动的电路。麦克风514是能够在CPU501的控制下输入音频的内置音频采集设备的示例。音频输入/输出I/F516是用于在CPU501的控制下在麦克风514和扬声器515之间输入或输出音频信号的电路。显示器517可以是显示对象图像、操作图标等的液晶或有机电致发光(EL)显示器。外部设备连接I/F518是将智能手机5连接到各种外部设备的接口电路。近程通信电路519是根据Wi-Fi、NFC、蓝牙等进行通信的通信电路。触摸板521是使用户能够通过触摸显示器517的屏幕输入用户指令的输入设备的示例。

智能手机5还包括总线510。总线510的示例包括地址总线和数据总线等，其电连接诸如CPU501等元件。

应当注意，存储任何上述程序的诸如CD-ROM或HD的记录介质可以作为程序产品在国内或海外分发。

<图像捕获系统的功能配置>

参照图11至图14，说明根据本实施例的图像捕捉系统的功能配置。图14是表示根据本实施例的图像捕获系统中的特殊图像捕获装置1、一般图像捕获设备3、和智能手机5的功能配置的示意性框图。

<特殊图像捕获装置的功能配置>

参照图11和14，说明根据本实施例的特殊图像捕获装置1的功能配置。如图14所示，特殊图像捕获装置1包括接受单元12，图像捕获单元13，音频收集单元14，图像和音频处理单元15，判断器17，近距离通信单元18，以及存储和阅读单元19。这些单元是由图11中所示的任何元件根据从SRAM113扩展到DRAM114的特殊图像捕获装置控制程序，基于CPU111的指令而实现的功能或手段。

特殊图像捕获装置1还包括存储器1000，其由图11所示的ROM112，SRAM113和DRAM114实现。

参照图11和14，说明根据本实施例的特殊图像捕获装置1的各功能单元。

特殊图像捕获装置1的接受单元12由图11所示的操作单元115实现，接收单元12在CPU111的控制下处理。接收单元12根据用户操作接收从操作单元115输入的指令。

图像捕获单元13由成像单元101，图像处理器104和成像控制器105实现，如图11所示，各处理由CPU111控制。图像捕获单元13捕获对象或周围环境的图像，以获得捕获的图像数据。如图3A和3B所示，作为捕获图像数据，获得生成全天球图像的两个半球图像。

音频收集单元14由图11中所示的麦克风108和音频处理器109实现，各自都在CPU111的控制下处理。音频收集单元14收集特殊图像捕获装置1周围的声音。

图像和音频处理单元15由图11中所示的CPU111的指令实现。图像和音频处理单元15将图像处理应用于由图像捕获单元13获得的捕获图像数据。图像和音频处理单元15将音频处理应用于由音频收集单元14获得的音频。例如，图像和音频处理单元15使用分别由成像元件103a和103b获得的两个半球图像(图3A和3B)生成等距柱形投影图像(图3C)的数据。

由CPU111的指令实现的判断器17执行各种确定。

通过CPU111的指令实现的近距离通信单元18和具有天线117a的通信电路117使用如Wi-Fi等的近距离无线通信与智能手机5的近距离通信单元58等进行数据通信。

存储和读取单元19由图1中所示的CPU 111的指令实现。在存储器1000中存储各种数据或信息，或从存储器1000读出各种数据或信息。

<一般图像捕获装置的功能配置>

接下来，参照图12和图14，说明根据本实施例的一般图像捕获装置3的功能配置。如图14所示，一般图像捕获装置3包括接受单元32，图像捕获单元33，音频收集单元34，图像和音频处理单元35，显示控制器36，判断器37，近距离通信单元38，以及存储和读取单元39。这些单元是由图12中所示的任何元件根据从SRAM313扩展到DRAM314的特殊图像捕获装置控制程序，基于CPU311的指令而实现的功能或手段。

一般图像捕获装置3还包括存储器3000，其由图12中所示的ROM 312，SRAM313和DRAM314实现。

一般图像捕获装置3的接受单元32由图12中所示的操作单元315实现，在CPU311的控制下处理。接收单元32根据用户操作接收从操作单元315输入的指令。

图像捕获单元33由成像单元301，图像处理器304和成像控制器305实现，如图12所示，各自都在CPU311的控制下处理。图像捕获单元33捕获对象或周围环境的图像以获得捕获的图像数据。在该示例中，捕获的图像数据是用透视投影(perspective projection)方法捕获的平面图像数据。

音频收集单元34由图12中所示的麦克风308和音频处理器309实现，各自都在CPU311的控制下处理。音频收集单元34收集一般图像捕获装置3周围的声音。

图像和音频处理单元35由图12中所示的CPU311的指令实现。图像和音频处理单元35将图像处理应用于由图像捕获单元33获得的捕获图像数据。图像和音频处理单元35将音频处理应用于由音频收集单元34获得的音频。

显示控制器36由图12所示的CPU311的指令实现，控制显示器319以基于正捕获的或已捕获的捕获图像数据显示平面图像P。

由CPU311的指令实现的判断器37执行各种确定。例如，判断器37确定用户是否按下快门按钮315a。

通过CPU311的指令实现的近距离通信单元38和具有天线317a的通信电路317使用例如Wi-Fi等的近距离无线通信与智能手机5的近距离通信单元58进行数据通信。

存储和读取单元39由图12中所示的CPU311的指令实现，在存储器3000中存储各种数据或信息，或从存储器3000读出各种数据或信息。

<智能手机的功能配置>

参照图13至图16，说明根据本实施例的智能手机5的功能配置。如图14所示，智能手机5包括远程通信单元51，接受单元52，图像捕获单元53，音频采集单元54，图像和音频处理单元55，显示控制器56，判断器57，近距离通信单元58，以及存储和读取单元59。这些单元是由图13中所示的任何元件根据从EEPROM504扩展到RAM503的控制程序，基于CPU501的指令而实现的功能或手段。

智能手机5还包括存储器5000，其由图13所示的ROM502，RAM503和EEPROM504实现。存储器5000存储链接图像捕获装置管理DB5001。链接图像捕获装置管理DB5001由图15A所示的链接图像捕获装置管理表实现。图15A是表示根据本实施例的链接图像捕获装置管理表的概念图。

参照图15A，说明根据本实施例的链接图像捕获装置管理表。如图15A所示，链接图像捕获装置管理表为每个图像捕获装置存储指示与链接图像捕获装置的关系的链接信息，图像捕获装置的IP地址，以及图像捕获装置的装置名称，彼此关联地存储管理。链接信息指示图像捕获装置在执行链接功能时是“主”装置还是“子”装置。作为“主”装置的图像捕获装置响应于按下为该装置提供的快门按钮而开始捕获图像。作为“子”装置的图像捕获装置响应于按下为“主”装置提供的快门按钮而开始捕获图像。IP地址是图像捕获装置的目的地信息的一个示例。在图像捕获装置使用Wi-Fi进行通信的情况下使用IP地址。或者，在图像捕获装置使用有线USB电缆进行通信的情况下，可以使用制造商的标识(ID)或产品ID。或者，在图像捕获装置使用诸如蓝牙的无线通信进行通信的情况下，使用蓝牙设备(BD)地址。

智能手机5的远程通信单元51由远程通信电路511实现，远程通信电路511在CPU501的控制下处理，如图13所示，通过诸如因特网的通信网络向其他设备(例如，其他智能手机或服务器)发送或接收各种数据或信息。

接受单元52由触摸板521实现，触摸板521在CPU501的控制下操作，以接收来自用户的各种选择或输入。触摸板521与图13中的显示器517分开设置，显示器517和触摸板521可以集成为一个设备。此外，除了触摸板521之外，智能手机5可以包括用于接收用户指令的任何硬件键，例如按钮。

图像捕获单元53由CMOS传感器505和512实现，其在CPU501的控制下操作，如图13所示。图像捕获单元53捕获对象或周围环境的图像以获得捕获的图像数据。

在该示例中，捕获的图像数据是用透视投影方法捕获的平面图像数据。

音频收集单元54由在CPU501的控制下操作的麦克风514实现。音频收集单元14a收集智能手机5周围的声音。

图像和音频处理单元55由图13中所示的CPU501的指令实现。图像和音频处理单元55将图像处理应用于已经由图像捕获单元53捕获的对象的图像。图像和音频处理单元15将音频处理应用于由音频收集单元54获得的音频。

显示控制器56由图13所示的CPU501的指令实现，控制显示器517显示基于正捕获的或已经由图像捕获单元53捕获的捕获图像数据的平面图像P。显示控制器56使用由图像和音频处理单元55生成的叠加显示元数据，将平面图像P叠加在全天球图像CE上。利用叠加的显示元数据，平面图像P的每个网格区域LA0放置在由位置参数指示的位置处，并且调整为具有由校正参数指示的明度值和颜色值。通过改变变焦比率或投影方法,使得平面图像P显示在各种显示形式中。更具体地说，当要将平面图像P向用户显示时，将平面图像P叠加在全天球图像CE上。利用该配置，可以以用户期望的形式显示平面图像P。

在该示例中，位置参数是位置信息的一个示例。校正参数是校正信息的一个示例。

判断器57由图13中所示的CPU501的指令实现，执行各种确定。

通过CPU501的指令实现的近距离通信单元58和具有天线519a的近程通信电路519能使用诸如Wi-Fi的近距离无线通信技术与特殊图像捕获装置1的近距离通信单元18、一般图像捕获装置3的近距离通信单元38进行数据通信。

存储和读取单元59由图13中所示的CPU501的指令实现，在存储器5000中存储各种数据或信息，或者从存储器5000读出各种数据或信息。例如，叠加的显示元数据可以存储在存储器5000中。在该实施例中，存储和读取单元59用作从存储器5000获得各种数据的获取器。

参照图16，说明根据本实施例的图像和音频处理单元55的功能配置。图16是表示根据该实施例的图像和音频处理单元55的功能配置的框图。

图像和音频处理单元55主要包括执行编码的元数据生成器55a和执行解码的叠加单元55b。在该示例中，编码对应于生成要用于叠加用于显示的图像的元数据的处理(“叠加显示元数据”)。此外，在该示例中，解码对应于使用叠加的显示元数据生成用于显示的图像的处理。元数据生成器55a执行S22的处理，S22是生成叠加显示元数据(superimposeddisplay metadata)的处理，如图19所示。叠加单元55b执行S23的处理，S23是使用叠加的显示元数据叠加图像的处理，如图19所示。

首先，说明根据本实施例的元数据生成器55a的功能配置。元数据生成器55a包括提取器550，第一区域计算器552，注视点指定器554，投影转换器556，第二区域计算器558，位置数据计算器565，校正数据计算器567，以及叠加显示元数据生成器570。在不校正明度和颜色的情况下，不必提供校正数据计算器567。图20是表示利用在这种操作中处理或生成的图像生成叠加显示元数据的操作的概念图。

提取器550根据具有相同对象的两个图像中的每一个的局部特征提取特征点。特征点是两个图像中的独特关键点。局部特征对应于在图像中检测到的图案或结构，例如边缘或斑点。在该实施例中，提取器550提取彼此不同的两个图像中的各特征点。要由提取器550处理的这两个图像可以是使用不同图像投影方法生成的图像。除非投影方法的差异导致高度失真的图像，否则可以使用任何期望的图像投影方法。例如，参照图20所示，提取器550基于包括相同对象的这些图像中的每一个的局部特征，从等距柱形投影(S110)所得到的长方形的等距柱形投影图像EC和透视投影(S110)所得到的长方形的平面图像P中提取特征点。此外，提取器550基于具有相同对象的这些图像中的每一个的局部特征，从长方形的平面图像P(S110)和由投影转换器556转换的外围区域图像PI(S150)中提取特征点。在该实施例中，等距柱形投影方法是第一投影方法的一个示例，透视投影方法是第二投影方法的一个示例。等距柱形投影图像是第一投影图像的一个示例，平面图像P是第二投影图像的一个示例。

第一区域计算器552基于在等距柱形投影图像EC中的多个特征点fp1计算特征值fv1。第一区域计算器552还基于平面图像P中的多个特征点fp2计算特征值fv2。可以以任何期望的方法检测特征值或特征点。然而，优选特征值或特征点对于标度或图像旋转的变化是不变的或稳固的。第一区域计算器552基于在等距柱形投影图像EC中的特征点fp1的特征量fv1和在平面图像P中的特征点fp2的特征值fv2之间的类似度，指定图像之间的对应点。基于该图像之间的对应点，第一区域计算器552计算等距柱形投影图像EC和平面图像P之间的变换的单应性。然后，第一区域计算器552将第一单应变换应用于平面图像P(S120)。因此，第一区域计算器552在等距柱形投影图像EC中获得对应于平面图像P的第一对应区域CA1(“第一区域CA1”)。在这种情况下，通过第一单应变换，将由平面图像P的四个顶点限定的矩形的中心点CP1转换为等距柱形投影图像EC中的注视点GP1。

在此，平面图像P的四个顶点p1，p2，p3和p4的坐标是p1＝(x1，y1)，p2＝(x2，y2)，p3＝(x3，y3)，p4＝(x4，y4)。第一区域计算器552使用下面的式2计算中心点CP1(x，y)。

(式2)：

S1＝{(x4-x2)*(y1-y2)-(y4-y2)*(x1-x2)}/2

S2＝{(x4-x2)*(y2-y3)-(y4-y2)*(x2-x3)}/2

x＝x1+(x3-x1)*S1/(S1+S2)

y＝y1+(y3-y1)*S1/(S1+S2)

虽然平面图像P在图20的情况下是矩形，但即使当平面图像P是正方形，梯形或菱形时，也可以使用具有平面图像P的对角线的交点的式2计算中心点CP1。当平面图像P具有矩形或正方形的形状时，对角线的中心点可以设置为中心点CP1。在这种情况下，使用下面的式3分别计算顶点p1和p3的对角线的中心点。

(式3)：

x＝(x1+x3)/2

y＝(y1+y3)/2

注视点指定器554指定在等距柱形投影图像EC中的点(称为注视点)，其对应于第一单应变换之后的平面图像P的中心点CP1(S130)。

在此，注视点GP1表示为等距柱形投影图像EC上的坐标。注视点GP1的坐标可以变换为纬度和经度。具体地说，等距柱形投影图像EC的垂直方向上的坐标表示为-90度(-0.5π)至+90度(+0.5π)范围内的纬度。此外，等距柱形投影图像EC的水平方向上的坐标表示为-180度(-π)至+180度(+π)范围内的经度。通过该变换，可以由纬度和经度系统根据等距柱形投影图像EC的图像尺寸计算每个像素的坐标。

投影转换器556从等距柱形投影图像EC提取外围区域PA，该外围区域PA是围绕注视点GP1的部分。投影转换器556将周边区域PA从等距柱形投影转换为透视投影，以生成周边区域图像PI(S140)。确定周边区域PA，使得在投影变换之后，方形外围区域图像PI具有垂直视角(或水平视角)，其与平面图像P的对角线视角α相同。在此，周边区域图像PI的中心点CP2对应于注视点GP1。

(投影变换)

以下详细说明在图20的S140执行的投影的变换。如上面参照图3至5所述，等距柱形投影图像EC覆盖球体CS的表面，以产生全天球图像CE。因此，等距柱形投影图像EC中的每个像素对应于球面CS的表面中的每个像素，即，三维全天球图像。投影转换器556应用以下变换式。在此，用于等距柱形投影图像EC的坐标系用(纬度，经度)＝(ea，aa)表示，用于三维球CS的直角坐标系用(x，y，z)表示。

(式4)：

(x，y，z)＝(cos(ea)×cos(aa)，cos(ea)×sin(aa)，sin(ea))

其中，球体CS的半径为1。

透视投影中的平面图像P是二维图像。当平面图像P由二维极坐标系(移动半径，自变量)＝(r，a)表示时，对应于对角线视角α的移动半径r具有从0到tan(对角线视角/2)的范围内的值。即，0≦r≦tan(对角线视角/2)。由二维直角坐标系(u，v)表示的平面图像P可以使用以下变换式5使用极坐标系(移动半径，自变量)＝(r，a)表示。

(式5)：

u＝r×cos(a)

v＝r×sin(a)

式5由三维坐标系(移动半径，极角，方位角)表示。对于球体CS的表面，三维坐标系中的移动半径为“1”。使用以下式6和式7，将覆盖球面CS的表面的等距柱形投影图像从等距柱形投影转换为透视投影。在此，等距柱形投影图像由上述二维极坐标系(移动半径，方位角)＝(r，a)表示，虚拟照相机IC位于球体中心。

(式6)：

r＝tan(极角)

(式7)：

a＝方位角

在此，假设极角为t，式6可表示为：t＝arctan(r)，因此，三维极坐标(移动半径，极角，方位角)可以表示为(1，arctan(r)，a)。

使用式8，将三维极坐标系变换为直角坐标系(x，y，z)。

(式8)：

(x，y，z)＝(sin(t)×cos(a)，sin(t)×sin(a)，cos(t))

式8用于在等距柱形投影中的等距柱形投影图像EC与透视投影中的平面图像P之间进行转换。更具体地说，对应于平面图像P的对角线视角α的移动半径r用于计算变换图坐标，其指示平面图像P与等距柱形投影图像EC之间的每个像素的位置的对应关系。利用该变换图坐标，变换等距柱形投影图像EC以在透视投影中生成周边区域图像PI。

通过上述投影变换，等距柱形投影图像EC中的坐标(纬度＝90°，经度＝0°)成为透视投影中的周边区域图像PI中的中心点CP2。在将投影变换应用于等距柱形投影图像EC中的任意点作为注视点的情况下，旋转覆盖有等距柱形投影图像EC的球体CS，使得注视点的坐标(纬度，经度)配置在(90°，0°)。

可以使用用于旋转坐标的任何已知方式旋转球体CS。

(周边区域图像的确定)

接下来，参照图21A和21B，说明根据本实施例的周边区域图像P1的确定。图21A和21B是用于描述周边区域图像PI的确定的概念图。

为了使第一区域计算器552能够确定平面图像P和周边区域图像PI之间的对应关系，优选周边区域图像PI足够大以包括整个第二区域CA2。如果外围区域图像PI具有大尺寸，则第二区域CA2包括在这种大尺寸区域图像中。然而，对于大尺寸外围区域图像PI，由于存在大量经历相似度计算的像素，因此，处理所需的时间增加。因此，周边区域图像PI应该是包括至少整个第二区域CA2的最小尺寸图像区域。在该实施例中，外围区域图像PI按如下方法确定。

更具体地说，使用平面图像的35mm等效焦距确定周边区域图像PI，其是从捕获图像时记录的Exif数据获得的。由于35mm等效焦距是对应于24mm×36mm胶片尺寸的焦距，因此，可以使用式9和式10从24mm×36mm胶片的对角线和焦距计算。

(式9)：

胶片对角线＝sqrt(24*24+36*36)

(式10)：

合成用图像视角/2＝arctan((胶片对角线/2)/合成用图像35mm换算焦距)

具有该视角的图像具有圆形形状。由于实际成像元件(胶片)具有矩形形状，因此，利用成像元件拍摄的图像是内接于这样的圆中的矩形。在该实施例中，确定周边区域图像PI，使得周边区域图像PI的垂直视角α等于平面图像P的对角线视角α。也就是说，图21B中所示的外围区域图像PI是围绕包含图21A中所示的平面图像P的对角线视角α的圆的矩形。使用式11和式12，根据正方形的对角和平面图像P的焦距计算垂直视角α。

(式11)：

正方形对角＝sqrt(胶片对角*胶片对角+胶片对角*胶片对角)

(式12)：

垂直视角α/2＝arctan((正方形对角/2)/平面图像的35mm换算焦距))

计算出的垂直视角α用于通过投影变换获得透视投影中的周边区域图像PI。所获得的周边区域图像PI至少包含具有平面图像P的对角线视角α的图像，同时以注视点为中心，但具有尽可能小的垂直视角α。

(位置信息的计算)

返回图16和20，第二区域计算器558计算平面图像P中的多个特征点fp2的特征值fv2，以及周边区域图像PI中的多个特征点fp3的特征值fv3。第二区域计算器558基于特征值fv2和特征值fv3之间的相似性指定图像之间的对应点。基于图像之间的对应点，第二区域计算器558计算平面图像P和周边区域图像PI之间的变换的单应性。然后，第二区域计算器558将第二单应变换应用于平面图像P(S160)。因此，第二区域计算器558获得第二(对应)区域CA2(“第二区域CA2”)，在周边区域图像PI中，对应于平面图像P。

在上述变换中，为了增加计算速度，在应用第一单应变换之前，可以改变平面图像P和等距柱形投影图像EC中的至少一个的图像尺寸。例如，假设平面图像P具有4000万像素，等距柱形投影图像EC具有3000万像素，则平面图像P的尺寸可以减小到3000万像素。或者，平面图像P和等距柱形投影图像EC都可以减小到1000万像素。类似地，在应用第二单应变换之前，可以改变平面图像P和周边区域图像PI中的至少一个的图像尺寸。

在本实施例中的单应是表示等距柱形投影图像EC和平面图像P的投影关系的变换矩阵。平面图像P的坐标系乘以单应变换矩阵,转换为等距柱形投影图像EC(全天球图像CE)的相应坐标系。

对第二区域CA2进行投影变换，以使其具有与平面图像P相对应的矩形形状。与使用第一区域CA1相比，第二区域CA2的使用提高了像素的位置确定精度。位置数据计算器565从第二区域CA2的四个顶点计算第二区域CA2的注视点GP2。为了简单起见，在本公开中，第二区域CA2的中心点CP2和注视点GP2彼此重合，使得它们显示在相同位置。

接下来，以与上述获得第一区域CA1的注视点GP1的情况基本相同的方法，位置数据计算器565计算在周边区域图像PI内的第二区域CA2的注视点GP2的二维坐标，并将计算出的注视点GP2的坐标转换为在等距柱形投影图像EC上的坐标(纬度，经度)，以获得第三对应区域(第三区域)CA3的注视点GP3。即，注视点GP3的坐标位于所述第三区域CA3，其对应于叠加图像叠加位置的纬度和经度。位置数据计算器565将第二区域CA2的四个顶点施以投影变换，以计算在等距柱形投影图像EC上的第三区域CA3的四个顶点的坐标。基于注视点GP3和第三区域CA3的四个顶点的坐标，位置数据计算器565计算平面图像P在水平、垂直、及对角线方向的视角，以及平面图像P相对光轴的旋转角度R。由于投影到等距柱形投影图像EC的四顶点分别由虚拟立体球CS上的纬度及经度表示，由立体球CS的中心S0和从四顶点中选取的任意一顶点、以及立体球CS的中心S0和从四顶点中选取的与上述顶点不同的其他顶点所形成的角度成为视角。作为视角，垂直方向成为垂直视角，水平方向成为水平视角，对角线方向成为对角线视角。

下面说明计算垂直方向视角、水平方向视角、以及旋转角R的方法。图22是表示对第二区域CA2进行投影方式变换后的在立体球CS上的第三对应区域CA03的概念图。所述立体球CS在X、Y、Z轴的三维虚拟空间上表示。使用立体球CS的中心S0和第三对应区域CA03的顶点V0、V1、V2、和V3，由矢量a和矢量b定义的角度通常可以用式13表示。

(式13)：

由该式13，从矢量(S0→V0)和矢量(S0→V1)获得垂直视角，从矢量(S0→V0)和矢量(S0→V3)获得水平视角。

图23是表示第三区域CA3和第三对应区域CA03之间关系的概念图。图23表示等距柱形投影图像EC上的平面图像P的注视点GP3和相对光轴的旋转角R。注视点GP3和相对光轴的旋转角R基于一般图像捕获设备3的位置分别确定。如图23所示，以注视点GP3为中心，使得具有与立体球CS的赤道EQ平行的边的长方形的对应区域CA03旋转角度R。位置数据计算器565使得矢量(S0→V0)和矢量(S0→V1)以矢量(S0→C0)为中心旋转，使得直线V0-V1成为与Z轴平行，获得旋转角R。为了使得以矢量(S0→C0)为中心旋转角度θ，将矢量(S0→C0)的单位矢量设为n＝(nx,ny,nx)场合，可以使用Rodriguez式，用式(14)表示。在此，单位矢量已知，未知的θ可以唯一地确定。

(式14)：

如上所述，校正数据计算器567计算位置参数(即，重叠显示信息，如注视点、相对光轴的旋转角度、以及视角)，其表示平面图像P在等距柱形投影图像EC上的位置。视角α也可从图像捕获时记录的Exif数据获得，但视角α因一般图像捕获设备3的控光部件而变化。因此，从第2区域CA2获得的视角更准确。

(校正数据的计算)

尽管可以利用位置参数在正确的位置将平面图像P叠加在等距柱形投影图像EC上，但是，这些等距柱形投影图像EC和平面图像P可能在明度或色调上差别很大，从而导致外观不自然。在明度和色调上的这种差异是由照相机的传感器的特性或由照相机进行图像处理的特性所产生。因此，校正数据计算器567起着即使这些明度和色调不同的图像部分地彼此重叠场合也能避免这种不自然的外观的作用。

校正数据计算器567校正平面图像P与等距柱形投影图像EC上的第三区域CA3之间的明度和颜色。根据可能是最简单的一种方法，校正数据计算器567分别计算等距柱形投影图像EC和平面图像P的像素的平均值，并且进行校正，以使得平面图像P的像素平均值与等距柱形投影图像EC上的第三区域CA3的像素平均值相匹配。在该实施例中，校正参数是用于校正平面图像P的明度和颜色的增益数据。因此，校正参数Pa通过将avg′除以avg获得，如以下式15所示。

优选地，提取在平面图像P和第三区域CA3中的对应于相同位置的像素。如果不能提取这样的像素，则从平面图像P和第三区域CA3提取明度和颜色均匀的像素。在相同的色彩空间中，对所提取的像素进行比较，以获得平面图像P和第三区域CA3之间在色彩空间的关系性，以获得校正参数。在任一种方法中，校正数据计算器567计算用于校正每个RGB通道的强度值的查找表(Lookup Table,简记为“LUT”)，作为校正参数。

(式15)：

Pa＝avg'/avg

叠加显示元数据生成器569将校正参数作为元数据发送到叠加单元55b。因此，减小平面图像P和等距柱形投影图像EC之间的明度和颜色的差异。

根据另一种稍复杂的方法，校正数据计算器567分别计算针对平面图像P和第三区域CA3的像素的明度值的直方图，将明度值的直方图按出现频率分类为多个槽(slot)，计算每个槽的明度平均值，并根据每个槽的明度平均值计算近似表达式。基于式15中描述的比例关系，近似表达式可以是一阶近似、二阶近似、或伽马曲线近似。为了全面表达这些各种近似表达式，在本实施例中使用LUT。

叠加显示元数据生成器570使用诸如位置参数和校正参数生成指示平面图像P叠加在全天球图像CE上的位置的叠加显示元数据，以及用于校正像素的明度和颜色的校正值。

(叠加显示元数据)

参照图17，说明根据本实施例的叠加显示元数据的数据结构。图17表示根据本实施例的叠加显示元数据的数据结构。

如图17所示，叠加显示元数据包括等距柱形投影图像信息，平面图像信息，叠加显示信息和元数据生成信息。

利用捕获的图像数据，从特殊图像捕获装置1发送等距柱形投影图像信息。等距柱形投影图像信息包括图像标识符(图像ID)和捕获的图像数据的附属数据。包括在等距柱形投影图像信息中的图像标识符用于识别等距柱形投影图像。在图17中，使用图像文件名作为图像标识符的示例，也可以是用于唯一识别图像的图像ID。

包括在等距柱形投影图像信息中的附属数据是与等距柱形投影图像有关的任何信息。在图17的元数据的情况下，附属数据包括等距柱形投影图像的姿势校正数据(俯仰，偏转，滚动)，其由特殊图像捕获装置1在捕获图像时获得。姿势校正数据按照标准图像记录格式，例如可交换图像文件格式(Exchangeable image file format,简记为“Exif”)存储。或者，姿势校正数据可以以由Google Photo Sphere模式(GPano)定义的任何期望格式存储。只要在相同位置拍摄图像，特殊图像捕获装置1就可以通过任何定位以360度捕获图像。然而，在显示这样的全天球图像CE时，应该指定定位信息和图像中心(注视点)。通常，校正全天球图像CE用于显示，使得其天顶正好在捕获图像的用户上方。通过该校正，水平线显示为直线，因此，显示的图像具有更自然的外观。

利用捕获的图像数据，从一般图像捕获装置3发送平面图像信息。平面图像信息包括图像标识符(图像ID)和捕获的图像数据的附属数据。图像标识符包括在所述平面图像信息，用于识别所述平面图像P。在图17中，使用图像文件名作为图像标识符的示例，也可以是用于唯一识别图像的图像ID。

包括在平面图像信息中的附属数据是与平面图像P有关的任何信息。在图17的元数据的情况下，平面图像信息包括作为附属数据的35mm换算焦距的值。对于将平面图像P叠加在全景全天球图像CE上显示来说，35mm换算焦距的值并不是必须的，然而，进行叠加显示场合，其成为用于确定显示叠加图像时的视角的参考信息，

如图18所示，有效区域数据是用于特定作为整个拍摄范围的捕获图像区域AR1内的有效区域AR2的任何数据。在图18中，有效区域数据包括在左上角的点的坐标(xs，ys)和在右下角的点的坐标(xe，ye)。有效区域AR2是由点(xs，ys)、(xe，ys)、(xe，ye)、以及(xs，ye)围绕的矩形区域，确定为平面图像P。通常，所捕获的图像区域的边缘部分图像失真比较大，且有时会包含一个未期望的对象，如拍摄该图像的用户的手指。因此，在本实施例中，将与拍摄图像区域的中央部分相对应的有效区域AR2用作平面图像P。选择是否使用有效区域AR2以及指示有效区域AR2的位置的坐标的登录可以由用户经由例如智能手机5执行。当接受单元52接受对是否使用的选择，或者坐标登录时，存储和读取单元59改变图17表示的叠加显示元数据的有效区域数据。当捕获图像区域AR1和有效区域AR2相同时，xs和ys都成为0，xe和ye分别等于图像宽度和图像高度。

接下来，在本实施例中，由智能手机5生成的叠加显示数据包括用纬度和经度表示的叠加位置数据，一般图像捕获装置3的照相机相对于光轴的旋转角度的数据，水平和垂直方向的视角，以及用于色彩校正的LUT。关于生成叠加图像的流程将在下文参照图20进行描述。

返回图17，元数据生成信息包括指示叠加显示元数据的版本的版本信息。

(叠加单元的功能配置)

参照图16，说明根据本实施例的叠加单元55b的功能配置。叠加单元55b包括叠加区域生成器582，校正单元584，图像生成器586，图像叠加单元588和投影转换器590。

叠加区域生成器582指定球体CS的与第三区域CA3对应的部分，以生成部分球体PS。该部分球体PS可以使用元数据确定，该元数据是指示平面图像P位于等距柱形投影图像EC上的位置的位置参数(注视点，相对于光轴的旋转，视角)。

校正单元584使用叠加显示元数据的校正参数校正平面图像P的明度和颜色，以匹配等距柱形投影图像EC的明度和颜色。校正单元584可以不总是对明度和颜色执行校正。在一个示例中，校正单元584可以仅使用校正参数校正平面图像P的明度。

图像生成器586将平面图像P(或平面图像P的校正图像C)叠加(映射)在部分球体PS，以生成要叠加在全天球图像CE上的图像，为简单起见，其称为叠加图像S。图像生成器586基于部分球体PS的表面区域生成掩蔽数据(mask data)M。图像生成器586在球体CS上覆盖(附着)等距柱形投影图像EC，以生成全天球图像CE。

掩蔽数据M是能用于将叠加图像S叠加到全天球图像CE场合的透射率数据。掩蔽数据M为了使得将叠加图像S叠加到全天球图像CE场合的边界周边的明度和颜色从内侧的叠加图像S侧逐渐接近外侧的全天球图像CE，掩模周边的透明度从内侧向着外侧，从靠近叠加图像S到靠近全天球图像CE逐渐变高。由此，即使叠加图像S叠加到全天球图像CE，也能极力使得叠加变得不明显。然而，掩蔽数据M的应用是可选的，并不是必须的。

图像叠加单元588将叠加图像S和掩蔽数据M叠加在全天球图像CE上。生成图像，其中高清晰度叠加图像S叠加在低清晰度全天球图像CE上。利用掩蔽数据，使得两个不同图像之间的边界不明显。

如图7所示，投影转换器590转换投影，使得叠加图像S叠加状态的全天球图像CE的预定区域T显示在显示器517，例如，响应用户的显示指令。基于用户的视线(虚拟照相机IC的方向，由预定区域T的中心点CP表示)和预定区域T的视角α执行投影变换。在投影变换中，投影转换器590转换预定区域T的分辨率，以与显示器517的显示区域的分辨率相匹配。具体地说，当预定区域T的分辨率小于显示器517的显示区域的分辨率时，投影转换器590放大预定区域T的尺寸，以匹配显示器517的显示区域。相反，当预定区域T的分辨率大于显示器517的显示区域的分辨率时，投影转换器590减小预定区域T的尺寸，以匹配显示器517的显示区域。因此，显示控制器56在显示器517的整个显示区域显示预定区域图像Q，即预定区域T的图像。

参照图19至29，说明根据本实施例的由图像捕获系统执行的捕获图像和显示图像的操作。首先，参照图19，说明根据本实施例的由图像捕获系统执行的捕获图像的操作。图19是表示根据本实施例的捕获图像的操作的数据序列图。以下描述捕获对象的对象和周围环境的示例情况。然而，除了捕获对象之外，当正在生成捕获图像时，音频可以由音频收集单元14记录。

如图19所示，智能手机5的接受单元52接受用户指令以开始链接图像捕获(S11)。响应于开始链接图像捕获的用户指令，显示控制器56控制显示器517以显示如图15B所示的链接图像捕获装置配置屏幕。图15B的屏幕对于每个可使用的图像捕获装置包括当选择图像捕获装置作为主装置时要选择的单选按钮，以及当选择图像捕获装置作为子装置时要选择的复选框。图15B的屏幕还为每个可使用的图像捕获装置显示图像捕获装置的装置名称和接收信号强度等级。假设用户选择一个图像捕获设备作为主装置，选择其他图像捕获装置作为子装置，并按下“确认”键，智能手机5的接受单元52接受开始链接图像捕获的指令。在该示例中，可以选择多个图像捕获装置作为子装置。出于这个原因，可以选择多个复选框。

智能手机5的近距离通信单元58向一般图像捕获装置3的近距离通信单元38发送轮询查询以开始图像捕获(S12)。一般图像捕获装置3的近距离通信单元38接收该查询以开始图像捕获。

一般图像捕获装置3的判断器37根据接受单元32是否已经接受用户按下快门按钮315a来确定图像捕获是否已经开始(S13)。

一般图像捕获装置3的近距离通信单元38将基于S13的确定结果的响应发送到智能手机5(S14)。当在S13确定图像捕获已经开始时，响应指示图像捕获已经开始。在这种情况下，响应包括利用一般图像捕获装置3捕获的图像的图像标识符。相反，当在S13确定图像捕获尚未开始时，响应指示其等待开始图像捕获。智能手机5的近距离通信单元58接收该响应。

继续描述，假设确定指示图像捕获已在S13开始，并且在S14发送指示图像捕获已开始的响应。

一般图像捕获装置3开始捕获图像(S15)。在按下快门按钮315a之后执行的S15的处理包括捕获对象和周围环境，以利用图像捕获单元33生成捕获图像数据(平面图像数据)，并且用存储和读取单元39将捕获图像数据存储在存储器3000中。

在智能手机5，近距离通信单元58将请求开始图像捕获的图像捕获开始请求发送到特殊图像捕获装置1(S16)。特殊图像捕获装置1的近距离通信单元18接收图像捕获开始请求。

特殊图像捕获装置1开始捕获图像(S17)。具体地说，在S17，图像捕获单元13捕获对象和周围环境以生成捕获的图像数据，即，如图3A和3B所示的两个半球图像。然后，图像和音频处理单元15基于这两个半球图像，生成如图3C所示的等距柱形投影图像。存储和读取单元19将等距柱形投影图像的数据存储在存储器1000中。

在智能手机5，近距离通信单元58将用于发送捕获图像的请求(“捕获图像请求”)发送到一般图像捕获装置3(S18)。捕获图像请求包括在S14接收的图像标识符。一般图像捕获装置3的近距离通信单元38接收捕获图像请求。

一般图像捕获装置3的近距离通信单元38将在S15获得的平面图像数据发送到智能手机5(S19)。这时，与平面图像数据一起，也发送用于识别平面图像数据的图像标识符和附属数据。平面图像的图像标识符和附属数据是图17中所示的平面图像信息的一部分。智能手机5的近距离通信单元58接收平面图像数据，图像标识符和附属数据。

特殊图像捕获装置1的近距离通信单元18将在S17获得的等距柱形投影图像数据发送到智能手机5(S20)。与等距柱形投影图像数据一起，也发送用于识别等距柱形投影图像数据的图像标识符和附属数据。如图17所示，图像标识符和附属数据是等距柱形投影图像信息的一部分。智能手机5的近距离通信单元58接收等距柱形投影图像数据，图像标识符和附属数据。

接下来，智能手机5的存储和读取单元59将在S19接收的平面图像数据和在S20接收的等距柱形投影图像数据存储在存储器5000的相同文件夹中(S21)。

接下来，智能手机5的图像和音频处理单元55生成叠加的显示元数据，其用于显示平面图像P部分地叠加在全天球图像CE上的图像(S22)。在此，平面图像P是高清晰度图像，全天球图像CE是低清晰度图像。存储和读取单元59将叠加的显示元数据存储在存储器5000中。

参照图20至21，详细说明根据本实施例的生成叠加显示元数据的操作。即使当一般图像捕获装置3和特殊图像捕获装置1在成像元件的分辨率相等时，特殊图像捕获装置1的成像元件也捕获宽区域，以获得从360度获得的等距柱形投影图像，生成全天球图像CE。因此，利用特殊图像捕获装置1捕获的图像数据趋向于每单位面积的清晰度低。

<叠加显示元数据的生成>

首先，描述生成叠加显示元数据的操作。叠加显示元数据用于在显示器517上显示图像，其中，高清晰度平面图像P叠加在全天球图像CE上。从低清晰度的等距柱形投影图像EC生成全天球图像CE。如图17所示，叠加显示元数据包括位置参数和校正参数，每个位置参数和校正参数按如下所述生成。

参照图20，提取器550从在等距柱形投影中捕获的长方形的等距柱形投影图像EC中提取多个特征点fp1(S110)。提取器550还从透视投影中捕获的长方形的平面图像P中提取多个特征点fp2(S110)。

如图18所示，设置有效区域AR2的情况下，该有效区域AR2成为在S110、S120、S160、和S180中使用的平面图像P。

接下来，第一区域计算器552通过第一单应性变换，基于等距柱形投影图像EC中的特征点fp1的特征值fv1和平面图像P中的特征点fp2的特征值fv2之间的相似度，计算在等距柱形投影图像EC中，与平面图像P对应的矩形第一区域CA1(S120)。更具体地说，第一区域计算器552基于计算得到的等距柱形投影图像EC的多个特征点fp1的特征值fv1和平面图像P中的多个特征点fp2的特征值fv2之间的相似度，计算图像间的对应点，在等距柱形投影图像EC中，通过求取与平面图像P对应的单应性，得到第一单应性变换，如图20所示，在等距柱形投影图像EC中，计算与平面图像P对应的矩形第一区域CA1(S120)。执行上述处理以粗略估计平面图像P和投影方式不同的等距柱形投影图像EC之间的对应像素(网格)位置。

接下来，注视点指定器554指定等距柱形投影图像EC中的点(称为注视点)，其对应于第一单应变换之后的平面图像P的中心点CP1(S130)。

投影转换器556从等距柱形投影图像EC中提取外围区域PA，该外围区域PA是围绕注视点GP1的部分。投影转换器556将周边区域PA从等距柱形投影转换为透视投影，以生成周边区域图像PI(S140)。

提取器550从周边区域图像PI中提取多个特征点fp3，其由投影转换器556获得(S150)。

接下来，第二区域计算器558通过第二单应性变换，基于平面图像P中的特征点fp2的特征值fv2和周边区域图像PI中的特征点fp3的特征值fv3之间的相似度，计算在周边区域图像PI中，与平面图像P对应的矩形第二区域CA2(S160)。在该示例中，可以减小作为4000万像素的高清晰度图像的平面图像P的尺寸。

接下来，位置数据计算器565将第二注视点GP2(在指定位置比第一注视点GP1精度高)和第二区域CA2(四个顶点)投影变换到等距柱形投影图像EC上，确定第三对应区域CA03。位置数据计算器565还通过将第三对应区域CA03旋转角度R确定第三对应区域CA3。因此，位置数据计算器565计算位置参数，例如由纬度和经度表示的位置数据，照相机相对于光轴的旋转角度，以及在水平和垂直方向上的视角(S170)。

接下来，校正数据计算器568基于平面图像P和第三区域CA3校正明度和颜色，并且计算用于校正RGB的各通道(channel)的强度值的作为LUT的校正参数(S180)。

如图17所示，叠加显示元数据生成器570基于从特殊图像捕获装置1获得的等距柱形投影图像信息、从一般图像捕获装置3获得的平面图像信息、由位置数据计算器565计算的位置参数、由校正数据计算器567计算的校正参数(LUT)、以及元数据生成信息生成叠加显示元数据(S190)。存储和读取单元59将该叠加显示元数据存储在存储器5000中，该叠加显示元数据可以具有如图17所示的数据结构。

然后，在图19的S22，生成叠加显示元数据，结束处理。与存储和读取单元59协同，显示控制器56使用叠加显示元数据进行叠加处理(S23)。

<叠加>

参照图24至29D，说明根据本实施例的叠加图像的操作。图24是表示根据本实施例的在处理或生成图像的情况下叠加图像的操作的概念图。

图14中所示的存储和读取单元59(获取器)从存储器5000读取在等距柱形投影中的等距柱形投影图像EC的数据，透视投影中的平面图像P的数据，以及叠加的显示元数据。

参照图24，使用位置参数，叠加区域生成器582指定虚拟球体CS的与第三区域CA3对应的部分，以生成部分球体PS(S310)。通过线性插值对与具有由位置参数定义的位置的网格对应的像素以外的像素进行插值。

校正单元584使用叠加显示元数据的校正参数校正平面图像P的明度和颜色，以匹配等距柱形投影图像EC的明度和颜色(S320)。已经校正的平面图像P被称为“校正平面图像C”。

图像生成器586将平面图像P的校正后的平面图像C叠加在部分球体PS上，以生成叠加图像S(S330)。

图像生成器586基于部分球体PS生成掩蔽数据M(S340)。图像生成器586在球体CS的表面覆盖(附着)等距柱形投影图像EC，以生成全天球图像CE(S350)。图像叠加单元588将叠加图像S和掩蔽数据M叠加在全天球图像CE上(S360)。生成图像，其中，高清晰度叠加图像S叠加在低清晰度全天球图像CE上。利用掩蔽数据，两个不同图像之间的边界变得不明显。与平面图像P和校正图像C类似，掩蔽数据M也显示为投影在部分球体PS上的图像。

如图7所示，投影转换器590转换投影，使得用叠加图像S叠加的全天球图像CE的预定区域T显示在显示器517，例如，响应于用户的显示指令。基于用户的视线(虚拟相机IC的方向，由预定区域T的中心点CP表示)和预定区域T的视角α执行投影变换(S370)。投影转换器590还可以根据显示器517的显示区域的分辨率改变预定区域T的尺寸。因此，显示控制器56在显示器517的整个显示区域中显示预定区域图像Q，即预定区域T的图像(S24)。在该示例中，预定区域图像Q包括叠加有平面图像P的叠加图像S。

参照图25至29D，详细说明根据本实施例的叠加图像的显示。图25是表示叠加有平面图像P的全天球图像CE的二维视图的概念图。平面图像P叠加在图5所示的全天球图像CE上。如图25所示，根据位置参数，高清晰叠加图像S叠加在覆盖球体CS表面的全天球图像CE上，叠加在球体CS的内侧。

图26是表示叠加有平面图像P的全天球图像CE的三维视图的概念图。图26表示全天球图像CE和叠加图像S覆盖球体CS的表面的状态，并且预定区域图像Q包括叠加图像S。

图27A和27B是表示根据比较例的在不使用位置参数的情况下叠加有平面图像的全天球图像的二维视图的概念图。图28A和28B是表示在本实施例中使用位置参数叠加有平面图像P的全天球图像CE的二维视图的概念图。

如图27A中所示，假设对应于用户的视点的虚拟相机IC位于作为参考点的球体CS的中心。作为图像捕获目标的对象P1由全天球图像CE中的对象P2表示。对象P1由叠加图像S中的对象P3表示。仍然参照图27A所示，对象P2和对象P3沿着连接虚拟相机IC和对象P1的直线定位。这表示即使当叠加图像S被显示为叠加在全天球图像CE上时，全天球图像CE的坐标和叠加图像S的坐标也匹配。如图27B所示，如果虚拟相机IC远离球体CS的中心移动，则对象P2的位置停留在连接虚拟相机IC和对象P1的直线上，但对象P3的位置稍微偏移到对象P3'的位置。对象P3'是叠加图像S中的对象，其沿着连接虚拟相机IC和对象P1的直线定位。这将因对象P3和对象P3'之间的偏移量“g”，导致全天球图像CE和叠加图像S之间的网格位置的差异。因此，在显示叠加图像S时，叠加图像S的坐标偏离全天球图像CE的坐标。

鉴于上述情况，在本实施例中，生成位置参数，其指示叠加图像S中的多个网格区域相对于平面图像P的各自位置。利用该位置参数，如图28A和28B所示，叠加图像S在右侧位置叠加在全天球图像CE上，同时补偿所述移位。更具体地说，如图28A所示，当虚拟相机IC位于球体CS的中心时，对象P2和对象P3沿着连接虚拟相机IC和对象P1的直线定位。如图28B所示，即使当虚拟相机IC远离球体CS的中心移动时，对象P2和对象P3也沿着连接虚拟相机IC和对象P1的直线定位。即使当叠加图像S被显示为叠加在全天球图像CE上时，全天球图像CE的坐标和叠加图像S的坐标也匹配。

因此，本实施例的图像捕捉系统能够以高图像质量显示图像，在该图像中，高清晰度平面图像P叠加在低清晰度全天球图像CE上。这将参照图29A至29D进行说明。图29A表示当作为广角图像显示时的全天球图像CE。在此，平面图像P不叠加在全天球图像CE上。图29B表示当显示为远摄图像时的全天球图像CE。在此，平面图像P不叠加在全天球图像CE上。图29C表示当显示为广角图像时与平面图像P叠加的全天球图像CE。图29D表示当显示为远摄图像时与平面图像P叠加的全天球图像CE。图29A和29C中的每一个中的点线是为了说明方便，表示平面图像P的边界。可以在显示器517上向用户显示或不显示这样的点线。

假设如图29A所示，显示没有叠加平面图像P的全天球图像CE，接收用于放大由点线区域指示的区域的用户指令。在这种情况下，如图29B所示，向用户显示作为模糊图像的放大的低清晰度图像。如上面在本实施例中所述，假设在叠加有平面图像P的全天球图像CE的同时，如图29C所显示，接收用于放大由点线区域指示的区域的用户指令。在这种情况下，如图29D所示，向用户显示作为清晰图像的高清晰度图像。例如，假设在虚线内表示的目标对象具有带有一些字符的符号，即使用户放大该部分，如果图像模糊，用户也可能无法读取这些字符。如果高清晰度平面图像P叠加在该部分上，则将向用户显示高质量图像，使得用户能够读取这些字符。

如上所述，在本实施例中，即使当投影方式不同的一个图像叠加在另一个上时，也可以补偿由投影差异引起的网格偏移。例如，即使当透视投影的平面图像P叠加在等距柱形投影的等距柱形投影图像EC上时，这些图像也以相同的坐标位置显示。更具体地说，特殊图像捕获装置1和一般图像捕获装置3使用不同的投影方法捕获图像。在这种情况下，如果由一般图像捕获装置3获得的平面图像P叠加在由特殊图像捕获装置1获得的等距柱形投影图像EC生成的全天球图像CE上，则因为这些图像CE和P看起来彼此不同，因此，平面图像P不适合全天球图像CE。鉴于此种状况，如图20所示，根据该实施例的智能手机5在等距柱形投影图像EC中，确定与平面图像P对应的第一区域CA1，粗略地确定叠加平面图像P的区域(S120)。智能手机5从等距柱形投影图像EC中提取外围区域PA，该外围区域PA是围绕第一区域CA1中的注视点GP1的部分。智能手机5还将周边区域PA从等距柱形投影转换为作为平面图像P的投影的透视投影，以生成周边区域图像PI(S140)。智能手机5在外围区域图像PI中确定对应于平面图像P的第二区域CA2(S160)，并且将施加到第二区域CA2的投影逆转换返回应用于等距柱形投影图像EC的等距柱形投影。利用该投影变换，在等距柱形投影图像EC中确定与第二区域CA2对应的第三区域CA3(S170)。如图29C所示，高清晰度平面图像P叠加在低清晰度全天球图像CE的预定区域图像的一部分上。当向用户显示时，平面图像P适合全天球图像CE。

此外，在该实施例中，表示将叠加图像S叠加在全天球图像CE上的位置的位置参数用纬度和经度、以及相对光轴的旋转角度表示，其视角也被指定，因此，可以唯一地确定叠加图像S在全天球图像CE上的位置，而不会在所述叠加图像S叠加时引起位置偏移。

第二实施例

参照图30至34，说明根据第二实施例的图像捕获系统。

<图像捕获系统概述>

首先，参照图30，说明根据第二实施例的图像捕获系统的概略。图30是表示根据第二实施例的图像捕获系统的配置的示意框图。

参照图30，与上述第一实施例的图像捕获系统相比，本实施例的图像捕获系统还包括图像处理服务器7。在第二实施例中，与第一实施例中描述的元件基本相同的元件赋予相同的附图标记。出于描述方便的目的，省略其描述。智能手机5和图像处理服务器7通过诸如因特网或内联网的通信网络100互相通信。

在第一实施例中，智能手机5生成叠加的显示元数据，并处理图像的叠加。在该第二实施例中，图像处理服务器7执行这样的处理，而不是智能手机5。本实施例中的智能手机5是通信终端的一个示例，图像处理服务器7是图像处理装置或设备的一个示例。

图像处理服务器7是服务器系统，其由可以分布在网络上的多个计算机实现，以彼此协作地执行诸如图像处理的处理。

<硬件配置>

接下来，参照图31，说明根据本实施例的图像处理服务器7的硬件配置。图31表示根据该实施例的图像处理服务器7的硬件配置。由于特殊图像捕获装置1，一般图像捕获装置3和智能手机5在硬件配置上基本相同，如第一实施例中所述，因此，省略其描述。

<图像处理服务器的硬件配置>

图31是图示根据本实施例的图像处理服务器7的硬件配置的示意框图。如图31所示，由通用计算机实现的图像处理服务器7包括CPU701，ROM702，RAM703，HD704，HDD705，介质I/F707，显示器708，网络I/F 709，键盘711，鼠标712，CD-RW驱动器714和总线710。由于图像处理服务器7作为服务器操作，因此，不必提供诸如键盘711和鼠标712的输入设备，或诸如显示器708的输出设备。

CPU701控制图像处理服务器7的整体处理。ROM702存储用于控制CPU 701的控制程序。RAM703用作CPU701的工作区域。HD704存储诸如程序的各种数据。HDD705在CPU701的控制下控制向HD704写入各种数据或从HD 704读取各种数据。介质I/F707控制相对于诸如闪存的记录介质706的数据读取或写入。显示器708显示各种信息，例如光标，菜单，窗口，字符或图像。网络I/F709是通过通信网络100控制与外部设备的数据通信的接口。键盘711是输入设备的一个示例，其具有多个键，用于允许用户输入字符，数字或各种指令。鼠标712是用于允许用户选择特定指令或执行，选择用于处理的目标或移动正在显示的光标的输入设备的一个示例。CD-RW驱动器714控制相对于作为可移动记录介质一例的可重写光盘(CD-RW)713读取或写入各种数据。

图像处理服务器7还包括总线710。总线710是地址总线或数据总线，其电连接图31中的元件，例如CPU701。

<图像捕获系统的功能配置>

参照图32和33，说明根据第二实施例的图30的图像捕获系统的功能配置。图32是表示根据第二实施例的图30的图像捕获系统的功能配置的示意框图。由于特殊图像捕获装置1，一般图像捕获装置3和智能手机5在功能配置上基本相同，如第一实施例中所述，因此，省略其描述。然而，在本实施例中，智能手机5的图像和音频处理单元55既可以具有图16中所示的所有功能单元，也可以不具有这些功能单元。

<图像处理服务器的功能配置>

如图32所示，图像处理服务器7包括远程通信单元71，接受单元72，图像和音频处理单元75，显示控制器76，判断器77，以及存储和读取单元79。这些单元是由图31中所示的任何元件根据从HD704扩展到RAM703的控制程序，基于CPU701的指令而实现的功能或手段。

图像处理服务器7还包括存储器7000，其由图31所示的ROM702，RAM 703和HD704实现。

图像处理服务器7的远程通信单元71由在CPU701的控制下操作的网络I/F709实现，如图31所示，通过诸如因特网的通信网络向其他设备(例如，其他智能手机或服务器)发送或接收各种数据或信息。

接受单元72由键盘711或鼠标712实现，键盘711或鼠标712在CPU 701的控制下操作，以接收来自用户的各种选择或输入。

图像和音频处理单元75由CPU701的指令实现。图像和音频处理单元75对从智能手机5发送的各种类型的数据应用各种类型的处理。

由CPU701的指令实现的显示控制器76生成预定区域图像Q的数据，作为平面图像P的一部分，用于在智能手机5的显示器517上显示。显示控制器76使用由图像和音频处理单元75生成的叠加显示元数据，将平面图像P叠加在全天球图像CE上。利用叠加显示元数据，平面图像P的每个网格区域LA0放置在由位置参数指示的位置，并且调整为具有由校正参数指示的明度值和颜色值。

判断器77由图31中所示的CPU701的指令实现，执行各种确定。

存储和读取单元79由图31中所示的CPU701的指令实现，存储器7000中存储各种数据或信息，并从存储器7000中读出各种数据或信息。例如，叠加显示元数据可以存储在存储器7000中。在该实施例中，存储和读取单元79用作从存储器7000获得各种数据的获取器。

(图像和音频处理单元的功能配置)

参照图33，说明根据本实施例的图像和音频处理单元75的功能配置。图33是表示根据本实施例的图像和音频处理单元75的功能配置的框图。

图像和音频处理单元75主要包括执行编码的元数据生成器75a和执行解码的叠加单元75b。元数据生成器75a执行S44的处理，S44是用于生成叠加显示元数据的处理，如图34所示。叠加单元75b执行S45的处理，S45是使用叠加显示元数据叠加图像的处理，如图34所示。

(元数据生成器的功能配置)

首先，说明根据本实施例的元数据生成器75a的功能配置。元数据生成器75a包括提取器750，第一区域计算器752，注视点指定器754，投影转换器756，第二区域计算器758，区域分割器760，投影逆转换器762，形状转换器764，校正数据计算器767，和叠加显示元数据生成器770。元数据生成器75a的这些元件在功能上基本上分别类似于元数据生成器55a的提取器550，第一区域计算器552，注视点指定器554，投影转换器556，第二区域计算器558，区域分割器560，投影逆转换器562，形状转换器564，校正数据计算器567和叠加显示元数据生成器570。因此，省略其描述。

参照图33，说明根据本实施例的叠加单元75b的功能配置。叠加单元75b包括叠加区域生成器782，校正单元784，图像生成器786，图像叠加单元788和投影转换器790。叠加单元75b的这些元件在功能上基本上分别类似于叠加单元55b的叠加区域发生器582，校正单元584，图像生成器586，图像叠加单元588和投影转换器590。因此，省略其描述。

<处理>

参照图34，捕获图像的处理由图30的根据第二实施例的图像捕获系统执行。图34是表示根据第二实施例的捕获图像的处理的数据序列图。S31至S41以与上述根据第一实施例的S11至S21所述的基本类似的方式执行，省略其描述。

在智能手机5，远程通信单元51通过通信网络100向图像处理服务器7发送请求将一个图像叠加在投影方式不同的其他图像上的叠加请求(S42)。叠加请求包括已经存储在存储器5000中的要处理的图像数据。在该示例中，要处理的图像数据包括平面图像数据和存储在同一文件夹中的等距柱形投影图像数据。所述图像处理服务器7的远程通信单元71接收要处理的图像数据。

接下来，在图像处理服务器7，存储和读取单元79将在S42接收的要处理的图像数据(平面图像数据和等距柱形投影图像数据)存储在存储器7000中(S43)。如图33中表示的元数据生成器75a生成叠加显示元数据(S44)。此外，叠加单元75b使用叠加显示元数据叠加图像(S45)。更具体地说，叠加单元75b将平面图像叠加在等距柱形投影图像上。S44和S45以与上面参照图19的S22和S23所述的基本类似的方式执行，省略其说明。

接下来，显示控制器76产生预定区域图像Q的数据，该预定区域图像Q对应于预定区域T，以显示在智能手机5的显示器517的显示区域中。如上所述，在该示例中，预定区域图像Q被显示，以覆盖显示器517的整个显示区域。在这个例子中，该预定区域图像Q包括用平面图像P叠加的叠加图像S。远距离通信单元71向智能手机5发送由显示控制器76生成的预定区域图像Q的数据(S46)。智能手机5的远距离通信单元51接收预定区域图像Q的数据。

智能手机5的显示控制器56控制显示器517，以显示包括叠加图像S的预定区域图像Q(S47)。

因此，本实施例的图像捕获系统可以实现上述参照第一实施例描述的优点。

此外，在该实施例中，智能手机5执行图像捕获，并且图像处理服务器7执行诸如叠加显示元数据的生成和叠加图像的生成的图像处理。这导致智能手机5上的处理负荷减小。因此，智能手机5不需要高的图像处理能力。

可以以各种其他方式实现上述实施例中的任何一个。例如，如图14所示，等距柱形投影图像数据，平面图像数据和叠加显示元数据可以不存储在智能手机5的存储器中。例如，等距柱形投影图像数据，平面图像数据和叠加显示元数据中任一个可以存储在网络上的任何服务器中。

在任何上述实施例中，平面图像P叠加在全天球图像CE上。或者，要叠加的平面图像P可以由全天球图像CE的一部分代替。在另一示例中，在删除全天球图像CE的一部分之后，平面图像P可以嵌入在没有图像的部分中。

此外，在第二实施例中，图像处理服务器7执行图像的叠加(S45)。例如，图像处理服务器7可以将叠加显示元数据发送到智能手机5，以指示智能手机5执行图像的叠加并显示叠加的图像。在这种情况下，在图像处理服务器7，图33中所示的元数据生成器75a生成叠加显示元数据。在智能手机5，图33中所示的叠加单元75b以与图16的叠加单元55b基本相似的方式将一个图像叠加在另一个图像上。图14所示的显示控制器56处理叠加图像的显示。

在本公开中，图像叠加的示例包括但不限于将一个图像完全或部分地放置在其他图像之上，将一个图像完全或部分地置于其他图像上，将一个图像完全或部分地映射到其他图像上，将一个图像完全或部分地粘贴在其他图像上，将一个图像与其他图像合成，以及将一个图像与其他图像集成。也就是说，只要用户能够感知在显示器上显示的多个图像(诸如全天球图像和平面图像)，由于它们是一个图像，对要显示的那些图像执行的处理不限于上述例子。

在一个示例中，可以进行叠加以将平面图像P和校正后图像C投影到部分球体PS上。更具体地说，将投影在部分球体PS上的投影区域划分为多个平面(多边形划分)，并且将多个平面映射(粘贴)作为结构。

本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在IP网络(例如因特网)上承载计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CDROM、磁带设备、或固态存储设备。

所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)，DSP(数字信号处理器)，FPGA(场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。

本专利申请基于并根据35U.S.C.§119(a)要求于2017年10月19日向日本专利局提交的日本专利申请Nos.2017-202753的优先权，其全部公开内容通过引用作为参考。

附图标记列表

1 特殊图像捕获装置(第一图像捕获装置的示例)

3 一般图像捕获装置(第二图像捕获装置的示例)

5 智能手机(图像处理装置的示例)

7 图像处理服务器(图像处理装置的示例)

51 远距离通信单元

52 接受单元

55a 元数据生成器

55b 叠加单元

56 显示控制器

58 近距离通信单元

59 存储和读取单元(获取器的示例)

72 接受单元

75 图像和音频处理单元

75a 元数据生成器

75b 叠加单元

76 显示控制器

78 近距离通信单元

79 存储和读取单元(获取器的示例)

517 显示器

550 提取器

552 第一区域计算器

554 注视点指定器

556 投影转换器

558 第二区域计算器

565 位置数据计算器

567 校正数据计算器

570 叠加显示元数据生成器

582 属性区域生成器

584 校正单元

586 图像生成器

588 图像叠加单元

590 投影转换器

750 提取器

752 第一区域计算器

754 注视点指定器

756 投影转换器

758 第二区域计算器

765 位置数据计算器

767 校正数据计算器

770 叠加显示元数据生成器

782 属性区域生成器

784 校正单元

786 图像生成器

788 图像叠加单元

790 投影转换器

5000 存储器

5001 链接图像捕获装置DB

7000 存储器

Claims (9)

1.一种图像处理设备，包括：

获取器，配置为获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；以及

位置信息生成器，配置为生成位置信息，所述位置信息生成器被配置为:

将包含第一图像中的与所述第二图像对应的第一对应区域的周边区域的图像从所述第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；

从所述第二图像和所述周边区域图像分别识别多个特征点；

基于分别在所述第二图像和所述周边区域图像识别的多个特征点，确定所述周边区域图像中的与第二图像对应的第二对应区域；

通过将所述周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从所述第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息；以及

将指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息存储在存储器。

2.根据权利要求1所述的图像处理设备，

其中，所述位置信息生成器进一步被配置为基于所述位置信息，生成校正信息，该校正信息用于校正相对于所述第一图像的明度和颜色的所述第二图像的明度和颜色中的至少一个。

3.根据权利要求1或2所述的图像处理设备，

其中，位置信息生成器进一步从所述第一图像识别多个特征点；以及

基于所述第一图像中的多个特征点和第二图像中的多个特征点，确定所述第一图像中的所述第一对应区域。

4.根据权利要求1至3中任一项所述的图像处理设备，

其中，所述图像处理设备包括智能手机、平板个人计算机、笔记本电脑、台式计算机、以及服务器计算机中的至少一种。

5.一种图像捕获系统，包括：

权利要求1至4中任一项所述的图像处理设备；

第一图像捕获装置，配置为捕获目标对象的周围环境，以获得第一投影方式的第一图像，并将该第一投影方式的第一图像发送到所述图像处理设备；以及

第二图像捕获装置，配置为捕获所述目标对象，以获得第二投影方式的第二图像，并将该第二投影方式的第二图像发送到所述图像处理设备。

6.根据权利要求5所述的图像捕获系统，

其中，所述第一图像捕获装置是照相机，其配置为捕获目标对象，以生成所述全天球图像，作为第一图像。

7.根据权利要求1至5中任一项所述的图像处理设备，

其中，所述第一图像是全天球图像，所述第二图像是平面图像。

8.一种图像处理方法，包括：

获得第一投影方式的第一图像和与第一投影方式不同的第二投影方式的第二图像；

将包含第一图像中的与所述第二图像对应的第一对应区域的周边区域的图像从所述第一投影方式变换为第二投影方式，以生成第二投影方式的周边区域图像；

从所述第二图像和所述周边区域图像分别识别多个特征点；

基于分别在所述第二图像和所述周边区域图像识别的多个特征点，确定所述周边区域图像中的与第二图像对应的第二对应区域；

通过将所述周边区域图像中限定第二对应区域的矩形的的中心点及四个顶点从所述第一投影方式变换为第二投影方式，以获得指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息；以及

将指示在第一图像中的第一投影方式的所述中心点和所述四个顶点的位置的位置信息存储在存储器。

9.一种记录介质，载有计算机可读取代码，用于控制计算机执行权利要求8的方法。

Images