CN108702441A - 图像处理设备、图像处理系统及程序 - Google Patents

Abstract

问题是通过图像处理设备来解决，该图像处理设备接受第一图像作为输入，选择要添加到第一图像的第二图像，基于第一图像对第二图像进行转换来生成转换的图像，合成第一图像和转换的图像来生成合成图像。

Description

图像处理设备、图像处理系统及程序

技术领域

本发明涉及图像处理设备、图像处理系统及程序。

背景技术

传统上，已知显示全景图像的方法。另外，已知用于在全景图像的显示中接收用户对全景图像显示的指示的用户界面(下文中称为“UI”)。

例如，通过通信终端显示与全景图像的预定区域图像有关的缩略图，并且通过通信终端接收对预定缩略图进行选择的指示，通信终端显示与所接收的缩略图有关的预定区域图像。已知一种方法使得用户可以以这种方式容易地在用户期望的全景图像中或在全景图像中搜索用户期望的预定区域图像(例如，专利文献1)。

同样地，首先，计算机从图像生成部分图像，其中该部分图像是图像的部分区域并且包括在中心处的图像上视点，并且计算机显示图像以及对多个部分图像的缩略图的列表进行指示的视点列表图像。接下来，计算机从服务器装置接收通过将部分图像与用户对部分图像的评论相关联而获得的评论信息，并且显示视点列表图像中所指示的部分图像的每个缩略图的评论数量。已知一种方法，利用该方法用户可以以这种方式找到在图像中具有高关注等级的视点(例如，专利文献2)。

附加地，当用户尝试使用接收器从图像管理系统下载图像数据时，接收器基于相应的图像识别信息从附加信息管理系统下载附加信息。已知一种方法，利用该方法用户可以以这种方式使用用于执行图像处理、诸如校正图像数据之类的元数据(例如，专利文献3)。

发明内容

本发明要解决的问题

问题在于，根据已知方法当图像被新添加到捕获图像时，图像变得不自然，并且经常生成不协调的(awkward)图像。

本发明一个方面的目的是提供一种图像处理设备，其即使在图像被新添加到捕获图像时，也能够生成较少不协调的图像。

解决问题的手段

为了解决上述问题，根据本发明实施例的图像处理设备包括：输入单元，被配置为输入第一图像；选择器，被配置为选择被添加到第一图像的第二图像；转换器，被配置为通过基于第一图像对第二图像进行转换来生成转换图像；合成器，被配置为通过合成第一图像和转换图像来生成合成图像。

发明的有利效果

可以提供一种图像处理设备，其即使在图像被新添加到捕获图像时，也能够生成较少不协调的图像。

附图说明

图1是示出根据本发明实施例的图像处理系统的整体配置的示例的图；

图2是示出根据本发明实施例的图像捕获设备的示例的图(版本1)；

图3是示出根据本发明实施例的图像捕获设备的示例的图(版本2)；

图4是示出根据本发明实施例的图像捕获设备的示例的图(版本3)；

图5是示出根据本发明实施例的图像捕获设备的图像捕获的示例的图；

图6是示出由根据本发明实施例的图像捕获设备捕获的图像的示例的图；

图7是示出根据本发明实施例的图像捕获设备的硬件配置的示例的框图；

图8是示出根据本发明实施例的智能电话的硬件配置的示例的框图；

图9是示出根据本发明实施例的图像处理系统的整体处理的示例的序列图；

图10是示出根据本发明实施例的全天球图像的示例的图(版本1)；

图11是示出根据本发明实施例的全天球图像的示例的图(版本2)；

图12是示出根据本发明实施例的全天球图像的示例的图(版本3)；

图13是示出根据本发明实施例的全天球图像的示例的图(版本4)；

图14是示出根据本发明实施例的天球全景图像的示例的图；

图15是示出根据本发明实施例的初始图像的示例的图(版本1)；

图16是示出根据本发明实施例的初始图像的示例的图(版本2)；

图17是示出根据本发明实施例的初始图像的示例的图(版本3)；

图18是示出根据本发明实施例的初始图像的示例的图(版本4)；

图19是示出根据本发明实施例的另一变焦处理的示例的图；

图20是示出根据本发明实施例的该另一变焦处理的示例的表；

图21是示出根据本发明实施例的该另一变焦处理的范围的示例的图(版本1)；

图22是示出根据本发明实施例的该另一变焦处理的范围的示例的图(版本2)；

图23是示出根据本发明实施例的该另一变焦处理的范围的示例的图(版本3)；

图24是示出根据本发明实施例的该另一变焦处理的范围的示例的图(版本4)；

图25是示出根据本发明实施例的该另一变焦处理的范围的示例的图(版本5)；

图26是示出根据本发明实施例的编辑模式中的图像和GUI的示例的图；

图27是示出根据本发明实施例的图章屏幕的示例的图；

图28是示出根据本发明实施例的布置有图章的屏幕的示例的图(版本1)；

图29是示出根据本发明实施例的布置有图章的屏幕的示例的图(版本2)；

图30是示出根据本发明实施例的布置有图章的屏幕的示例的图(版本3)；

图31是示出根据本发明实施例的改变图章的尺寸的示例的图；

图32是示出根据本发明实施例的改变图章的角度的示例的图；

图33是示出根据本发明实施例的文本屏幕的示例的图；

图34是示出根据本发明实施例的布置有文本的屏幕的示例的图；

图35是示出根据本发明实施例的指示合成图像的屏幕的示例的图；

图36是示出根据本发明实施例的智能电话的处理的示例的流程图；

图37是示出根据本发明实施例的通过智能电话添加第二图像的处理的示例的图；

图38是示出根据本发明实施例的其中第二图像的布置受智能电话限制的范围的示例的图；

图39是示出根据本发明实施例的图像处理设备的功能配置的示例的功能框图。

具体实施方式

下面描述本发明的实施例。

<图像处理系统的整体配置的示例>

图1是示出根据本发明实施例的图像处理系统的整体配置的示例的图。在所描绘的示例中，图像处理系统10包括图像捕获设备1；以及智能电话2，其为图像处理设备的一个示例。

图像捕获设备1是包括多个光学系统的相机。例如，图像捕获设备1基于使用多个光学系统所捕获的图像，生成指示宽范围、诸如所有方向的图像(下文中称为“全天球图像(celestial sphere image)”)。接下来，图像捕获单元1将全天球图像输出到智能电话2。然后，智能电话2对诸如全天球图像之类的输入图像执行图像处理。在下文中，描述了其中输入图像即第一图像是全天球图像的示例。注意，在以下描述中，全景图像例如是全天球图像。

此外，在该示例中，图像捕获设备1和智能电话2被有线或无线地连接。例如，智能电话2从图像捕获设备1下载对图像捕获设备1输出的全天球图像进行指示的数据。注意，可以通过网络建立连接。

这里，整体配置不限于所描绘的配置。例如，图像捕获设备1和智能电话2可以是集成设备。除了图像捕获设备1和智能电话2之外，图像处理系统10还可以包括图像处理设备。

<图像捕获设备的示例>

图像捕获设备1(图1)例如是诸如下面描述的设备。

图2至图4是示出根据本发明实施例的图像捕获设备的示例的图。图2至图4是示出图像捕获设备1的外观的示例的图。具体而言，图2是图像捕获设备1的前视图的示例。图3是图像捕获设备1的左侧视图的示例。图4是图像捕获设备1的平面图的示例。

图像捕获设备1设有前方图像传感器1H1；后方图像传感器1H2；以及开关1H3。在该示例中，诸如前方图像传感器1H1和后方图像传感器1H2之类的一个或多个光学系统被用于图像捕获；并且图像捕获设备1基于使用各个光学系统所捕获的图像来生成全天球图像。下面描述生成全天球图像的方法的细节。

开关1H3是快门按钮，并且开关1H3是用户指示图像捕获设备1捕获图像的输入设备的示例。

例如，如图2中所示，当用户的手握住图像捕获设备1并且用户按下开关1H3时，图像捕获设备1捕获图像。具体而言，图像捕获装设备1用于如下所述的图像捕获。

图5是示出根据本发明实施例的图像捕获设备的图像捕获的示例的图。如图所示，用户用手握住图像捕获设备1，并且用户按下如图3所示的开关1H3以捕获图像。以这种方式，如图所示，图像捕获设备1可以通过前方图像传感器1H1(图2)和后方图像传感器1H2(图2)在图像捕获设备1的所有方向上捕获图像。以这种方式捕获的图像可以例如是以下图像。

图6是示出由根据本发明实施例的图像捕获设备捕获的图像的示例的图。具体而言，图6的(a)是由前方图像传感器1H1(图2)捕获的图像的示例。在图6中，(b)是由后方图像传感器1H2(图2)捕获的图像的示例。在图6中，(c)是基于由前方图像传感器1H1捕获的图像即图6的(a)的图像以及由后方图像传感器1H2捕获的图像即图6的(b)所示的图像而生成的图像的示例。

如图6的(a)中所示，由前方图像传感器1H1捕获的图像是在图像捕获设备1前方的宽范围、诸如与180°的视角相对应的范围的覆盖范围的图像。如图所示，当用于捕获宽范围图像的光学系统被用于前方图像传感器1H1时，例如当使用鱼眼镜头时，由前方图像传感器1H1捕获的图像具有畸变像差。即，图6的(a)中所示的图像是表示图像捕获设备1的一侧的宽范围并且具有畸变像差的半球图像(下文中称为半球图像)。

这里，每个光学系统的视角优选地在大于或等于180°且小于或等于200°的范围内。特别地，如果视角大于或等于180°，则存在用于合成图6的(a)中所示的半球图像和图6的(b)所示的半球图像的待重叠的图像区域。因此，使图像捕获设备便于创建全天球图像。

如图6的(b)中所示，由后方图像传感器1H2捕获的图像是在图像捕获设备1的后侧上的宽范围、诸如与180°的视角相对应的范围的覆盖范围的图像。如所述，由后方图像传感器1H2捕获的图像是半球图像，类似于图6的(a)中的图像。

接下来，图像捕获设备1执行诸如失真校正处理和合成处理之类的处理，并且图像捕获设备1基于图6的(a)中所示的前侧的半球图像以及图6的(b)中所示的后侧的半球图像来生成图6的(c)中所示的图像。即，图6的(c)中所示的图像是通过墨卡托(Mercator)投影法或等距圆柱投影法生成的图像，即全天球图像的示例。

这里，第一图像不限于由图像捕获设备1生成的图像。例如，第一图像可以是由另一相机捕获的图像，或者是基于由另一相机捕获的图像而生成的图像。注意，第一图像优选地是由全方向相机或具有广角镜头的相机拍摄宽视角范围而获得的图像，例如图6所示的图像。

在以下描述中，描述了其中第一图像是全天球图像的示例。然而，第一图像并不限于全天球图像。例如，第一图像可以是由袖珍相机、单镜头反光相机或智能电话所捕获的图像。该图像可以是水平或垂直延伸的全景图像。

<图像捕获设备的硬件配置的示例>

图7是示出根据本发明实施例的图像捕获设备的硬件配置的示例的框图。如图所示，图像捕获设备1包括图像捕获单元1H4；图像处理单元1H7；图像捕获控制单元1H8；CPU(中央处理单元)1H9；以及ROM(只读存储器)1H10。此外，图像捕获设备1包括SRAM(静态随机存取存储器)1H11；

DRAM(动态随机存取存储器)1H12；以及操作I/F(接口)1H13。此外，图像捕获设备1包括网络I/F 1H14；无线I/F 1H15；以及天线1H16。包括在图像捕获设备1中的硬件部件通过总线1H17连接，并且数据或信号通过总线1H17被输入和输出。

图像捕获单元1H4包括前方图像传感器1H1和后方图像传感器1H2。此外，对应于前方图像传感器1H1的透镜1H5和对应于后方图像传感器1H2的透镜1H6被安装。

前方图像传感器1H1和后方图像传感器1H2是相机单元。具体而言，前方图像传感器1H1和后向图像传感器1H2中的每一个包括光学传感器，诸如COMS(互补金属氧化物半导体)或CCD(电荷耦合器件)。前方图像传感器1H1对经过透镜1H5进入的光进行转换，并生成指示半球图像的图像数据。类似地，后方图像传感器1H2对经过透镜1H6进入的光进行转换，并生成指示半球图像的图像数据。

随后，图像捕获单元1H4将前方图像传感器1H1生成的图像数据和后方图像传感器1H2生成的图像数据输出到图像处理单元1H7。例如，输出图像数据是图6的(a)中所示的前方半球图像，以及另一输出图像数据是图6的(b)中所示的后方半球图像。

此外，为了捕获高质量图像，除了透镜之外，前方图像传感器1H1和后方图像传感器1H2中的每一个还可以包括另一光学元件，例如光圈或低通滤波器。附加地，为了捕获高质量图像，前方图像传感器1H1和后方图像传感器1H2中的每一个可以执行缺陷像素校正或图像稳定。

图像处理单元1H7基于从图像捕获单元1H4输入的图像数据，生成图6的(c)中所示的全天球图像。稍后将描述生成全天球图像的过程的细节。

图像捕获控制单元1H8是控制图像捕获设备1的硬件的控制设备。

CPU 1H9是执行用于实现每个处理的处理和数据处理的处理器，并且CPU 1H9是执行硬件控制的控制设备。例如，CPU 1H9基于预先安装的程序执行每个处理。

ROM 1H10、SRAM 1H11和DRAM 1H12是存储设备的示例。具体而言，例如，ROM 1H10存储用于CPU 1H9执行处理的程序、数据或参数。例如，SRAM 1H11和DRAM 1H12存储用于CPU1H9基于另一程序执行处理的程序、由该程序使用的数据以及由该程序生成的数据。这里，图像捕获设备1还可以包括辅助存储设备，诸如硬盘。

操作I/F 1H13被连接到输入设备，诸如开关1H3，并且操作I/F 1H13是用于执行将用户的操作输入到图像捕获设备1的处理的接口。例如，操作I/F 1H13包括输入设备，诸如开关；用于连接输入设备的连接器；线缆；用于处理从输入设备输入的信号的电路；驱动器；以及控制器。操作I/F 1H13还可以包括诸如显示器之类的输出设备。操作I/F 1H13可以是其中输入设备和输出设备被集成的触摸面板等。操作I/F 1H13可以进一步包括接口，诸如USB(通用串行总线)，并且操作I/F 1H13可以将诸如闪存之类的记录介质连接到图像捕获设备1。结果，操作I/F 1H13可以将数据从图像捕获设备1输入到记录介质，并且可以将数据从记录介质输出到图像捕获设备1。

开关1H3可以是电源开关以及用于执行除了与快门有关的操作之外的操作的参数输入开关。

网络I/F 1H14、无线I/F 1H15以及天线1H16无线地或通过有线将外部设备连接到图像捕获设备1。例如，图像捕获设备1通过网络I/F 1H14连接到网络，并且图像捕获设备1将数据发送到智能电话(图1)。这里，网络I/F 1H14、无线I/F 1H15和天线1H16中的每一个可以是用于利用诸如USB之类的电线连接到另一外部设备的硬件。即，网络I/F 1H14、无线I/F 1H15和天线1H16中的每一个可以是连接器和线缆。

总线1H17被用于在图像捕获设备1的硬件组件之间输入和输出数据。即，总线1H17是内部总线。具体而言，总线1H17例如是PCI Express(Peripheral ComponentInterconnect Bus Express，外围组件互连总线Express)。

图像捕获装置不限于包括两个图像传感器的情况。例如，可以包括三个或更多的图像传感器。此外，图像捕获设备1可以通过改变单个图像传感器的图像捕获角度来捕获多个部分图像。此外，图像捕获设备1不限于使用鱼眼镜头的光学系统。例如，可以使用广角镜头。

由图像捕获设备1执行的处理可以由另一设备执行。例如，通过由图像捕获设备1发送数据和参数，可以智能电话2或由连接到网络的另一信息处理设备执行处理中的一些或全部。如上所述，图像处理系统可以包括多个信息处理设备，并且图像处理系统可以以分布式方式、冗余方式或并行方式执行处理。

<信息处理设备的硬件配置的示例>

图8是示出根据本发明实施例的智能电话的硬件配置的示例的框图。如图所示，作为信息处理设备的示例的智能电话2包括辅助存储设备2H1；主存储设备2H2；输入/输出设备2H3；状态传感器2H4；CPU 2H5；以及网络I/F 2H6。此外，智能电话2中包括的硬件组件通过总线2H7被连接，并且数据或信号通过总线2H7被输入和输出。

辅助存储设备2H1存储数据、参数或程序。具体而言，辅助存储设备2H1例如是硬盘或转储(flush)SSD(Solid State Drive，固态驱动器)。存储在辅助存储设备2H1中的部分或全部数据可以冗余地或替换地存储在由网络I/F2H6连接的文件服务器中。

主存储设备2H2是存储器(Memory)，其是由程序使用来执行处理的存储区域。即，主存储设备2H2存储数据、程序或参数。具体而言，主存储设备2H2例如是SRAM(StaticRandom Access Memory，静态随机存取存储器)或DRAM。主存储设备2H2还可以包括执行存储和取回的控制设备。

输入/输出设备2H3是用于显示图像或处理结果的输出设备以及用于输入用户操作的输入设备。具体而言，输入/输出设备2H3是触摸面板、外围电路和驱动器。例如，输入/输出设备2H3向用户显示预定的GUI(图形用户界面)和被应用图像处理的图像。例如，当用户操作显示的GUI或图像时，输入/输出设备2H3输入用户的操作。

状态传感器2H4是用于检测智能电话2的状态的传感器。具体而言，状态传感器2H4是陀螺仪传感器或角度传感器。例如，状态传感器2H4确定智能电话2的侧面中的一侧的角度是否相对于水平面大于或等于预定角度。即，状态传感器2H4检测智能电话2是处于垂直姿势状态还是横向姿势状态。

CPU 2H5是用于执行实现每个处理的处理或数据处理的处理器，并且CPU 2H5是用于控制硬件的控制设备。为了以并行方式、冗余方式或分布式方式执行处理，CPU 2H5可以由多个CPU、设备或多个核形成。智能电话2还可以内部地或外部地包括用于执行图像处理的GPU(图形处理单元)。

网络I/F 2H6无线地或通过有线经由网络连接到外部设备。具体而言，网络I/F2H6是天线、外围电路和用于输入和输出数据的驱动器。例如，智能电话2通过CPU 2H5和网络I/F 2H6输入来自图像捕获设备1(图1)的图像数据。智能电话2通过CPU 2H5和网络I/F2H6将数据输出到图像捕获设备1。

信息处理设备不限于智能电话。即，信息处理设备可以是除智能电话之外的计算机。例如，信息处理设备可以是PC(个人计算机)、PDA(个人数字助理)、平板机、蜂窝电话或其组合。

<图像处理系统的整体处理的示例>

图9是示出根据本发明实施例的图像处理系统的整体处理的示例的序列图。例如，图像处理系统10执行以下处理以生成合成图像。

在步骤S0701处，图像捕获设备1执行生成全天球图像的处理。注意，全天球图像是由图像捕获设备1通过以下处理从被预先捕获的图6的(a)和(b)中所示的半球图像生成的。

图10至图13是示出根据本发明实施例的全天球图像的示例的图。注意，图10是表示图6的(a)中所示的半球图像的图，其中相对于光轴在水平方向和垂直方向上具有相同入射角的点被连接。在下文中，相对于光轴在水平方向上的入射角由“θ”表示，并且相对于光轴在垂直方向上的入射角由“”表示。与图10类似，图11是表示图6的(b)中所示的半球图像的图，其中相对于光轴在水平方向和垂直方向上具有相同入射角的点被连接。

图12是示出通过墨卡托投影法处理的图像的示例的图。具体而言，图12中所示的图像是通过预先生成的LUT(查找表)将图10和图11中所示的图像进行关联并且通过等距圆柱投影法进行处理而生成的图像。在获得图12中所示的状态之后，通过对分别合成在图10和图11中所示的图像，如图13所示，图像捕获设备生成全天球图像。如上所述，合成处理例如是使用图12所示的状态下的两个半球图像生成全天球图像的处理。注意，合成处理不限于简单地连续布置处于图12所示的状态下的半球图像的处理，例如图13中所示的处理。例如，如果全天球图像的水平中心不是θ＝180°，则在合成处理中，图像捕获设备首先对图6的(a)中所示的半球图像进行预处理以将半球图像布置在全天球图像的中心处。随后，图像捕获设备可以将通过对图6的(b)中所示的半球图像进行预处理而获得图像划分为具有可以布置在待生成图像的左部分和右部分处的尺寸，并且可以合成半球图像以生成图6的(c)中所示的全天球图像。

生成全天球图像的处理不限于等距圆柱投影法。例如，存在颠倒的情况，从而使得在方向上，图11中所示的半球图像的像素的布置和图10中所示的半球图像的像素的布置在垂直方向上倒置，并且在θ方向上，像素的布置在水平方向上倒置。如上所述，在颠倒的情况下，在预处理中，图像捕获设备可以执行将图11中所示的半球图像旋转180°的处理，从而使图11中所示的半球图像与图10中在方向和θ方向上的像素的布置对齐。

此外，在生成全天球图像的处理中，可以执行像差校正处理，其中在图10和图11中所示的半球图像的每个中的畸变像差被校正。此外，生成全天球图像的处理可以包括例如阴影校正、伽马校正、白平衡、图像稳定、光学黑色校正处理、缺陷像素校正处理、边缘增强处理和线性校正处理。注意，例如，如果半球图像的覆盖范围与另一半球图像的覆盖范围重叠，则通过使用在重叠的覆盖范围中的捕获的对象的像素来执行校正，可以在合成处理中以高精度合成半球图像。

通过生成全天球图像的这种处理，图像捕获设备1从捕获的多个半球图像生成全天球图像。注意，全天球图像可以由另一处理生成。在下文中，描述了其中使用通过所描绘的方法生成的全天球图像的示例。

返回参考图9，在步骤S0702，智能电话2通过网络获得在步骤S0701处生成的全天球图像。在下文中，描述了其中智能电话2获得图13中所示的全天球图像的示例。

在步骤S0703处，智能电话2从在步骤S0702处获得的全天球图像生成全天球全景图像(celestial paboramic image)。全天球全景图像是下面描述的图像。

图14是示出根据本发明的实施例的全天球全景图像的示例的图。例如，在图9中所示的步骤S0703处，智能电话2从所获得的图13中所示的天球图像生成图14中所示的全天球全景图像。注意，如图所示，全天球全景图像是通过将全天球图像粘贴成球形而获得的图像。

生成全天球全景图像的处理例如由API(应用编程接口)实现，诸如OpenGL ES(用于嵌入式系统的OpenGL(注册商标))。具体地，通过首先将全天球图像的像素划分为三角形，然后接合(join)三角形的顶点P(下文中称为顶点P)并将三角形粘贴为多边形来生成全天球全景图像。

返回参考图9，在步骤S0704处，智能电话2输入用户的用于选择图像的操作。具体地，首先，在步骤S0704处，智能电话2显示例如缩略图图像，该缩略图图像是通过缩小在步骤S0703处生成的全天球全景图像而获得的图像。即，如果智能电话2中存储了多个全天球全景图像，则智能电话2将缩略图图像作为列表输出，以便允许用户从多个全天球全景图像中选择要在后续处理中处理的全天球全景图像。在步骤S0704处，智能电话2输入例如用户的用于从缩略图图像列表中选择一个缩略图图像的操作。在下文中，处理被执行，其中在步骤S0704处被选择的全天球全景图像是要被处理的目标。

在步骤S0705处，智能电话2基于在步骤S0704处选择的全天球全景图像生成初始图像。注意，初始图像例如是下面描述的图像。

图15至图18是示出根据本发明实施例的初始图像的示例的图。具体而言，首先，图15是示出三维坐标系的图，该坐标系用于示出根据本发明实施例的初始图像的示例。在下文中，描述是在具有XYZ轴的三维坐标系中进行的，如图15所示。在该示例中，假设智能电话2在原点的位置处安装虚拟相机3，并且智能电话2从虚拟相机3的视点处生成每个图像。例如，在图15中所示的坐标系中，全天球全景图像被表示为三维球面CS。注意，虚拟相机3对应于用户相对于安装位置观看全天球全景图像、即从原点观看作为三维球面CS的全天球全景图像的视点。

图16是示出根据本发明实施例的虚拟相机的预定区域的示例的图。具体而言，图16是其中图15通过三个视图被示出的示例。即，图15和图16示出了相同的状态。相应地，如图所示，假设虚拟摄像机3被安装在图16中的原点处。

接下来，图17是根据本发明实施例的虚拟相机的预定区域的示例的投影图。注意，在图17中，预定区域T是通过将虚拟相机3的视场角投影到三维球面CS而获得的区域。在下文中，如所描述的，描述其中智能电话2生成预定区域T的图像的示例。即，智能电话2基于预定区域T生成图像。例如，预定区域T如下被确定。

图18是示出根据本发明实施例的用于确定虚拟相机的预定区域的信息的示例的图。在该示例中，例如，预定区域T由预定区域信息(x，y，α)确定。具体而言，如图18所示，视场角α是表示虚拟像机3的视野的角度。相对于由视场角α指示的预定区域T中的对角线视场角2L，预定区域T的中心点CP的坐标由预定区域信息的(x，y)指示。

接下来，从虚拟相机3到中心点CP的距离由下面的公式1表示。

[表达式1]

f＝tan(α/2) (1)

初始图像是基于预定区域T生成的图像，该预定区域T基于预先设定的初始设置而确定。例如，初始设置由用户设定，诸如(x，y，α)＝(0,0,34)等。

然后，当改变视角的操作、即变焦操作被输入时，智能电话2如下执行变焦处理。这里，变焦处理是生成其中基于被输入的用户的操作放大或缩小预定区域的图像的处理。在下文中，通过变焦操作输入的操作量被称为“变化量dz”。首先，当变焦操作被输入时，智能电话2基于被输入的用户操作获得变化量dz。然后，智能电话2基于变化量dz计算以下公式(2)。

[表达式2]

α＝α0+m×dz (2)

这里，上述公式(2)中的“α”是图18中所示的虚拟相机3的视场角α。附加地，上述公式(2)中指示的“m”是用于调节变焦量的系数，该系数是由用户预先设定的值。此外，上述公式(2)中的“α0”(2)是虚拟相机3在初始状态下的视场角α，即，在步骤S0705处生成的初始图像中的视场角α。

接着，智能电话2在投影矩阵中使用基于公式(2)计算出的视场角α来确定图17中示出的预定区域T的范围。

这里，当用户进一步执行变化量为dz2的变焦操作时，智能电话2计算下面的公式(3)。

[表达式3]

α＝α0+m×(dz+dz2) (3)

如在上述公式(3)中所示，视场角α是基于将各个变焦操作的变化量相加所获得的值来计算的。如上所述，即使执行多个变焦操作，通过首先执行对天球的视场角α的计算，智能电话2可以保持一致的可操作性。

注意，变焦处理不限于基于上述公式(2)或上述公式(3)的处理。例如，变焦处理可通过组合视场角α和虚拟相机3(图16)的观看位置的变化来实现。具体地，可以执行以下变焦处理。

图19是示出根据本发明实施例的另一变焦处理的示例的图。注意，该图是用于示出另一变焦处理的模型图。三维球面CS与图10中所示的三维球面CS相同。此外，在以下描述中，描述了其中三维球面CS的半径是“1”的示例。

首先，所描绘的原点是虚拟相机3的初始位置。然后，虚拟相机3在光轴上移动，即，在图15中所示的Z轴上移动以改变位置。接下来，虚拟相机3的移动量d由相距原点的距离表示。例如，当虚拟摄像机3位于原点时，即，在初始状态下，移动量d为“0”。

基于虚拟相机3的该移动量d以及视场角α，图17所示的作为预定区域T的范围由视角ω指示。例如，所描绘的视角ω是当虚拟相机3位于原点时即当d＝0时的视角。当虚拟相机3位于原点时，即，当d＝0时，视角ω与视场角α相等。当虚拟相机3离开原点，即，当d的值大于0时，视角ω和视场角α指示不同的范围。另一变焦处理例如是如下改变视角ω的处理。

图20示出用于例示根据本发明实施例的另一变焦处理的示例的表。注意，说明性表4示出了其中视角ω的范围是60°至300°的情况下的示例。正如在说明性表4中所示，智能电话2基于变焦指定值ZP确定优先改变虚拟相机3的视场角α和移动量d中的哪个。

注意，“范围”是基于变焦指定值ZP确定的范围。此外，“输出放大率”是基于由该另一变焦处理确定的图像参数所计算的图像的输出放大率。此外，“变焦指定值ZP”是与待输出的视角对应的值。

如上所述，在该另一变焦处理中，确定移动量d和视场角α的处理是基于变焦指定值ZP改变。具体地，如说明性表4所示，基于变焦指定值ZP确定将由该另一变焦处理执行的处理为所描绘的四种方法之一。在该示例中，变焦指定值ZP的范围被划分为“A～B”、“B～C”、“C～D”和“D～E”四个范围。

此外，“视角ω”是对应于通过该另一变焦处理所确定的图像参数的视角ω。此外，“要改变的参数”是对基于变焦指定值ZP要由相应的四种方法改变的参数进行说明的描述。“注释”是对“要改变的参数”的注释。

在说明性表4中，“view WH”是指示输出区域的宽度或高度的值。例如，如果输出区域为横向，则“view WH”指示宽度值。如果输出区域是竖向长的，则“view WH”指示高度值。即，“view WH”是指示在输出区域的纵向方向上的尺寸的值。

在说明性表4中，“img WH”是指示输出图像的宽度或高度的值。例如，如果输出区域是横向长的，则“img WH”指示输出图像的宽度值。如果输出区域是竖向长的，则“img WH”指示输出图像的高度值。也就是说，“img WH”是指示在输出图像的纵向方向上的尺寸的值。

此外，在说明性表4中，“imgDeg”是指示输出图像的显示范围的角度的值。具体地，如果要指示输出图像的宽度，则“imgDeg”是360°。如果要指示输出图像的高度，则“imgDeg”是180°。

图21至图25是示出根据本发明实施例的另一变焦处理的“范围”的示例的图。所描述的示例示出了在图像上显示的“范围”以及当执行上述的另一变焦处理时的图像的示例。在下文中，使用所描绘的示例来描述缩小(zoom-out)的情况的示例。图21至图25中的每个的左图示出了待输出的图像的示例。图21至图25中的每个的右图是示出在通过与图11相同的模型图输出时虚拟相机3的状态的示例的图。

具体地，图21示出当输入其中图20所示的说明性表4中的“范围”为“A到B”的变焦指定值ZP时，输出图像和“范围”的示例。如上所述，当变焦指定值ZP是处于“A～B”的值时，虚拟相机3(图19)中的视场角α被固定为例如α＝60°。此外，假设变焦指定值ZP是“A～B”并且虚拟像机3的移动量d在其中如图21所示的视场角α被固定的状态下改变。在下文中，将描述其中在视场角α被固定的状态下虚拟像机3的移动量d改变为增大的示例。在该情况下，视角ω扩展。也就是说，如果变焦指定值ZP被设定为“A～B”，则视场角α被固定，并且虚拟像机3的移动量d增大，可以实现缩小处理。这里，当变焦指定值ZP是“A～B”时，虚拟相机3的移动量d从“0”到三维球面CS的半径。具体地，在图21至图25所示的情况下，由于三维球面CS的半径是“1”，因此虚拟照相机3的移动量d变为在“0到1”的值。此外，虚拟相机3的移动量d变为与变焦指定值ZP对应的值。

接下来，图22示出当输入图20所示的说明性表4中的“范围”为“B～C”的变焦指定值ZP时，输出图像和“范围”的示例。这里，相比于“A～B”，对于“B～C”，变焦指定值ZP更大。然后，假设变焦指定值ZP是“B～C”，并且虚拟相机3的移动量d被固定到虚拟相机3位于三维球面CS的外边缘处时的值。在这种情况下，如图22所示，虚拟相机3的移动量d被固定为“1”，这是三维球面CS的半径。此外，假设在其中变焦指定值ZP为“B～C”并且虚拟相机3的移动量d被固定的状态下视场角α改变。在下文中，将描述其中在虚拟像机3的移动量d被固定的状态下视场角α改变为增大的示例。在这种情况下，视角ω从图21扩展为如图22所示。也就是说，如果变焦指定值ZP被设置为“B～C”，则虚拟像机3的移动量d被固定，并且视场角α增大，则可以实现缩小处理。注意，当变焦指定值ZP是“B～C”时，视场角α通过“ω/2”来计算。此外，当变焦指定值ZP是“B～C”时，视场角α的范围是从60°到120°，其在“A～B”的情况下是固定值。

当变焦指定值ZP是“A～B”或“B～C”时，视角ω与变焦指定值ZP相等。此外，当变焦指定值ZP是“A～B”和“B～C”时，视角ω增大。

图23示出当输入其中图20所示的说明性表4中的“范围”为“C～D”的变焦指定值ZP时，输出图像和“范围”的示例。这里，相比于“B～C”，对于“C～D”的变焦指定值ZP更大。然后，例如，假设变焦指定值ZP为“C～D”，并且视场角α被固定为α＝120°。接着，如图23中所示，假设变焦指定值ZP是“C～D”，并且在视场角α被固定的状态下虚拟像机3的移动量d改变。在下文中，描述其中在视场角α被固定的同时虚拟像机3的移动量d改变为增大的示例。结果，视角ω扩展。此外，基于说明性表4(图20)中所示的变焦指定值ZP通过公式来计算虚拟相机3的移动量d。注意，如果变焦指定值ZP是“C～D”，则虚拟相机3的移动量d改变为最大显示距离dmax1。注意，最大显示距离dmax1是在智能电话2(图1)的输出区域中可以最大地显示三维球面CS的距离。输出区域例如是智能电话2在其上输出图像的屏幕的尺寸。附加地，最大显示距离dmax1例如是诸如图24所示的状态。此外，最大显示距离dmax1通过以下描述的公式(4)计算。

[表达式4]

注意，在上述公式(4)中，“viewW”是指示智能电话2的输出区域的宽度的值。此外，在上述公式(4)中，“viewH”是指示智能电话2的输出区域的高度的值。相同的标记适用于下文。如上所述，基于智能电话的输出区域，即，基于“viewW”和“viewH”的值来计算最大显示距离dmax1。

图24示出当输入其中图20所示的说明性表4中的“范围”为“D～E”的变焦指定值ZP时，输出图像和“范围”的示例。这里，相比于“C～D”，对于“D～E”的变焦指定值ZP更大。然后，例如，假设变焦指定值ZP为“D～E”，并且视场角α被固定为α＝120°。接着，如图24中所示，假设变焦指定值ZP是“C～D”，并且在视场角α被固定的状态下虚拟像机3的移动量d改变。虚拟相机3的移动量d被改变为限制显示距离dmax2。注意，限制显示距离dmax2是三维球面CS内接在智能电话2的输出区域中以被显示的距离。具体地，通过以下公式(5)计算限制显示距离dmax 2。限制显示距离dmax2例如是诸如图25所示的状态。

[表达式5]

如上述公式(5)所指示的，限制显示距离dmax 2是基于定义了智能电话2的输出区域的“viewW”和“viewH”的值来计算的。此外，限制显示距离dmax2指示智能电话2可以输出的最大范围，即，虚拟相机3的移动量d可以增大到的限制值。智能电话2可以限制输入值，从而使得变焦指定值ZP在说明性表4(图20)中描述的范围内，即，虚拟相机3的移动量d的值小于或等于限制显示距离dmax2。通过这样的限制，智能电话2处于输出图像适合于作为输出区域的屏幕的状态，或者处于可以以预定的输出放大率将图像输出给用户的状态，并且可以实现缩小。通过“D～E”的处理，智能电话2可以使用户识别出输出图像是全天球全景。

注意，当变焦指定值ZP是“C～D”或“D～E”时，视角ω是与变焦指定值ZP不同的值。尽管视角ω在说明性表4中以及在图21至图25示出的每个范围中是连续的，但视角ω可能不会按照朝向广角侧的缩小而均匀地增大。即，例如，如果变焦指定值ZP是“C～D”，则视角ω按照虚拟像机3的移动量d而增加。然而，如果变焦指定值ZP是“D～E”，则视角ω按照虚拟摄像机3的移动量d而减小。在变焦指定值ZP为“D～E”的情况下，虚拟摄像机3的移动量d的减小是由三维球面CS的外部区域的反射导致的。如上所述，当变焦指定值ZP指定大于或等于240°的宽视域时，智能电话2可以通过改变摄像机3的移动量d向用户输出较少不协调的图像并且可以改变视角ω。

当变焦指定值ZP在广角方向上改变时，视角ω通常变宽。以这种方式，当视角ω变宽时，智能电话2固定虚拟像机3的视场角α并增大虚拟像机3的移动量d。以这种方式，通过固定虚拟相机3的视场角α，智能电话2可以减少虚拟相机3的视场角α的增大。此外，通过减少虚拟相机3的视场角α的增大，智能电话2可以向用户输出具有较少畸变的图像。

通过固定虚拟相机3的视场角α并且通过智能电话2增加虚拟相机3的移动量d，即，通过沿着离开的方向移动虚拟相机3，智能电话2可以向用户提供广角显示的开阔感。此外，虚拟像机3在离开方向上的移动类似于人类用于确认宽范围的移动。因此，智能电话2可以通过虚拟相机3在离开方向上的移动来实现较少不协调的缩小。

当变焦指定值ZP是“D～E”时，随着变焦指定值ZP在广角方向上变化，视角ω减小。以这种方式，当变焦指定值ZP是“D～E”时，通过减小视角ω，智能电话2可以向用户提供离开三维球面CS的感觉。通过向用户提供离开三维球面CS的感觉，智能电话2可以向用户输出较不突兀的图像。

如上所述，通过说明性表4(图20)中描述的另一变焦处理，智能电话2可以向用户输出较少不协调的图像。

注意，智能电话2不限于仅改变说明性表4中描述的虚拟相机3的移动量d或视场角α的情况。即，智能电话2可以优先改变说明性表4中虚拟相机3的移动量d或视场角α。例如，为了调整，智能电话2可以将固定值改变为足够小的值。附加地，智能电话2不限于执行缩小。例如，智能电话2可以执行放大(zoom in)。

返回参照图9，在步骤S0706处，智能电话2输入例如用户的用于切换编辑屏幕的状态(在下文被称为“编辑模式”)的操作。当检测到模式被切换到编辑模式时，智能电话2输出用于编辑的屏幕。

在步骤S0707处，智能电话2输出用于编辑的屏幕。在以下描述中，描述其中输出下面描述的屏幕的示例。

图26是示出根据本发明实施例的编辑模式中的屏幕和GUI的示例的图。例如，智能电话输出用于编辑的屏幕(下文中称为编辑屏幕)，例如所描绘的屏幕。注意，如图所示，编辑屏幕显示初始图像ImgF，其是第一图像的示例，并显示用于编辑的图标(以下简称为图标ICN)。以这种方式，用户使用诸如输出图标ICN之类的GUI(图形用户界面)来编辑图像。例如，如下所述，通过用户的操作执行编辑。具体而言，在图26所示的编辑屏幕中，假设用户按下用于将屏幕切换到图章(stamp)选择屏幕(下文中称为图章屏幕)的图章按钮ICNS。结果，例如，智能电话输出以下图章屏幕。

图27是示出根据本发明实施例的图章屏幕的示例的图。与图26中所示的编辑屏幕相比，所描绘的图章屏幕的不同之处在于在屏幕的底部显示了图章选择菜单SELS。在该示例中，通过用户的操作从图章选择菜单SELS选择表示一个图章的图像(下文中称为第一图章图像)，其是第二图像的示例。即，通过图章选择菜单SELS，用户可以输入操作以选择要叠加在初始图像ImgF上的第二图像的类型。例如，假设通过用户的操作，所描绘的第一图章图像ImgS1被选择。结果，智能电话输出下面描述的屏幕。

图28是示出根据本发明实施例的其中布置了图章的屏幕的示例的图(版本1)。与图27中所示的屏幕相比，所描绘的屏幕的不同之处在于，从图章选择菜单SELS(图27)中选择的第一图章图像ImgS1被显示在初始图像ImgF中。此外，在该屏幕中，用户可以执行与第一图章图像ImgS1相关的编辑。具体地，例如，用户可以指定第一图章图像显示在初始图像ImgF上的位置S1。即，用户可以执行用于决定第一图章图像ImgS1将被输出在初始图像ImgF上的位置的布置。

这里，一旦选择了诸如图章之类的另一第二图像，则优选地可以确定第二图像的先前选择。即，可以优选地逐个选择第二图像。假设如所描绘的那样选择了第一图章图像ImgS1。在选择中，可以执行诸如上述的编辑。接下来，在确定第一图章图像ImgS1的位置时，用户可以选择下一个图章。指示在第一图章图像ImgS1之后被选择的图章的图像在下文被称为“第二图章图像ImgS2”。在下文中，描述了一个示例，使得在选择下一个图章时，先前的图章被确定。

图29是示出根据本发明实施例的其中布置了图章的屏幕的示例的图(版本2)。例如，在可以执行对第二图章图像ImgS2的编辑的情况下，第一图章图像ImgS1的布置可以优选地处于已确定的状态。即，在该示例中，诸如改变第一图章图像ImgS1的布置之类的编辑被限制。然而，可以执行诸如改变第二图章图像ImgS2的布置之类的编辑。即，例如，用户可以执行以下操作。

图30是示出根据本发明实施例的其中布置了图章的屏幕的示例的图(版本3)。在所描绘的示例中，第二图章图像ImgS2已经被选择，从而使得第一图章图像ImgS1被确定。结果，诸如改变第一图章图像ImgS1的位置之类的编辑被限制。然而，由于尚未确定第二图章图像ImgS2，因此可以改变第二图章图像ImgS2的位置。结果，例如，有可能将第二图章图像ImgS2的位置从图29所示的第二图章图像ImgS2的位置改变到图30所示的位置。如上所述，待改变的第二图像，即，在确定之前的状态下的第二图像，可以优选的是逐个的。注意，如所描绘的，上述示例是其中待改变的第二图像由白框指示的示例。利用该配置，用户可以容易地执行与第二图像有关的操作。即，通过使第二图像被逐个地选择，智能电话可以增强用户的可用性。注意，即使在确定之后，也可以允许删除第二图像的改变。

注意，编辑不限于改变第二图像的位置。例如，编辑可以是对第二图像的类型、尺寸、位置、角度或其组合进行配置的操作。具体地，例如，当改变第二图像的尺寸时，输出变为如下。

图31是示出根据本发明实施例的改变图章的尺寸的示例的图。与图30相比，图31中所示的第二图章图像ImgS2的尺寸不同。具体而言，图31中所示的第二图章图像ImgS2是尺寸被放大的示例，使得第二图章图像ImgS2显示为大于图31所示的第二图章图像ImgS2。这里，尺寸的改变可以是尺寸的减小。另外，在检测到执行改变第二图像的角度的操作时，输出可以如下。

图32是示出根据本发明实施例的改变图章的角度的示例的图。与图31相比，图32中所示的第二图章图像ImgS2的角度不同。具体而言，图32中所示的第二图章图像ImgS2是图31所示的第二图章图像ImgS2的角度变为顺时针旋转的情况的示例。

注意，第二图像不限于图章。例如，第二图像可以包括以下文本。

图33是示出根据本发明实施例的文本屏幕的示例的图。例如，第二图像可以是表示所描绘的文本的图像(在下文中称为文本图像ImgT)。这里，例如，通过用户的操作，从文本选择菜单TESL选择要在文本图像ImgT中显示的文本、符号、图形、数字或其组合(在下文中称为文本等)。此外，可以对文本等应用修饰，例如粗体、斜体、颜色、字体的选择、文本尺寸的改变等。与图章类似，可以对文本图像ImgT执行编辑。例如，可以执行编辑，从而使得文本图像ImgT的位置改变，如下所述。

在执行上述编辑之后，响应于对下一个第二图像的选择，先前选择的第二图像被确定。具体地，所确定的第二图像如下。

图34是示出根据本发明实施例的其中布置了文本的屏幕的示例的图。图34示出在确定之前的示例。具体而言，与图33相比，图34的文本图像ImgT的位置不同。即，类似于图30，图34示出了输入改变文本图像ImgT的位置的操作的情况的示例。此外，如图所示，可以执行编辑以将由文本图像ImgT指示的文本等的颜色改变为黑色。然后，当选择下一图章或输入要终止的操作时，智能电话确定文本图像ImgT，并且例如输出以下屏幕。

图35是示出根据本发明实施例的指示合成图像的屏幕的示例的图。例如，示出了图34中所示的文本图像ImgT被确定的示例。在该示例中，与图34相比，转换的图像ImgCC响应于文本图像ImgT的确定而生成，如图35所示。注意，当图章图像被确定时，智能电话类似地执行转换。

这里，例如，转换的图像ImgCC被转换以反映初始图像的曲率。即，初始图像是图15中所示的三维球面CS。相应地，存在曲率。智能电话基于第二图像被布置在的位置确定第一图像的曲率，并且智能电话通过转换第二图像以反映在第二图像中的识别的曲率来生成转换的图像ImgCC。如果以这种方式对转换的图像进行转换，则即使将转换的图像ImgCC添加到第一图像，也会存在更少的不协调感。

假设用户执行将第二图像新添加到捕获的第一图像的操作，并且添加的第二图像被确定。随后，智能电话通过将要调整的第二图像转换为第一图像的曲率来生成转换的图像ImgCC。以这种方式，智能电话根据捕获的图像来转换要添加的图像。此外，通过合成第一图像和转换的图像ImgCC来生成合成图像ImgCO。具体地，为了添加第二图像，即，为了生成合成图像ImgCO，智能电话执行以下处理。

图36是示出根据本发明实施例的智能电话的处理的示例的流程图。注意，所描绘的处理对应于图9中的步骤S0708和步骤S0709。在以下描述中，三维球面CS(图15)上的三维坐标(r，θ，)被称为3D多边形坐标。

在步骤S2401处，智能电话获得第二图像的位置、尺寸和角度。首先，在步骤S2401以及图9的步骤S0708处，智能电话输出图26至图35所示的图像，并且智能电话输入用户的操作。一旦检测到第二图像被确定，在步骤S2401处，智能电话获得第二图像的位置、尺寸和角度。例如，位置由屏幕中的坐标(x，y)指示。尺寸是第二图像的垂直像素数和水平像素数。这里，尺寸可以是参考特定尺寸的放大率。角度是第二图像相对于屏幕上的水平方向(x轴)的角度。

在步骤S2402处，智能电话计算与第二图像的位置相对应的3D多边形坐标。即，智能电话计算与作为屏幕上的坐标的坐标(x，y)相对应的在三维球面(图15)上的三维坐标(r，θ，)。智能电话计算屏幕上的坐标(x，y)将被投影在3D对象上的哪个位置处，该3D对象用于显示360°图像，例如3D球面多边形，即三维球面CS。

在步骤S2403处，智能电话基于屏幕尺寸和屏幕上第二图像的尺寸计算3D多边形坐标上的第二图像的尺寸。即，在步骤S2403处，智能电话在三维坐标(r，θ，)上计算第二图像的尺寸。该计算基于在步骤S2401处获得的屏幕上的坐标(x，y)上的第二图像的尺寸来执行。

在步骤S2404处，智能电话基于3D多边形坐标上的第二图像的坐标、尺寸和角度生成矩形多边形。注意，矩形多边形是生成的用于将转换的图像添加到第一图像的矩形3D对象。例如，矩形多边形由OpenGL(注册商标)生成。

在步骤S2405处，智能电话在步骤S2404处生成的矩形多边形上绘制第二图像。例如，该绘制由OpenGL(注册商标)实现。以这种方式，智能电话可以生成转换的图像。

通过执行上述处理，获得以下处理结果。

图37是示出根据本发明实施例的通过智能电话添加第二图像的处理的示例的图。该图是示出图36的处理结果的概念图。在该示例中，假设智能电话2(图1)的屏幕PNL上的第二图像Img2的中心位置由坐标(x，y)指示。首先，在步骤S2401(图36)处，智能电话2获得第二图像Img2的位置、尺寸和角度。

接下来，在步骤S2402(图36)处，智能电话2计算3D球面多边形3DP上的三维坐标(r，θ，)。即，如图所示，智能电话2计算从用户的视点来看坐标(x，y)所位于的3D球面3DP上的位置。然后，为了将第二图像Img2添加到在步骤S2402处计算的位置，智能电话生成矩形多边形RPL。

首先，智能电话2在步骤S2403(图36)处计算矩形多边形RPL的尺寸。然后，在步骤S2404(图36)处，智能电话2生成矩形多边形RPL，使得矩形多边形RPL具有计算出的尺寸。随后，在步骤S2405(图36)处，在矩形多边形RPL上绘制第二图像Img2。以这种方式，智能电话2可以生成具有与第一图像匹配的曲率的转换的图像，如图35所示。

注意，当第二图像被选择时，第一图像可以优选地被固定。即，在许多情况下，可以放大、缩小第一图像，或者可以改变显示的部分。即使在这种情况下，当第二图像被选择时，第一图像可以优选地指示恒定的尺寸和相同的部分。当在编辑第二图像的同时改变第一图像时，用户通常难以操作。因此，当已经进行了第二图像的选择时，智能电话固定第一图像，使得第一图像的显示不会改变。以这种方式，智能电话可以增强用户可操作性。

智能电话可以优选地限制用户可以指定第二图像的位置的范围。如图36所示，智能电话计算3D球面多边形上的三维坐标(r，θ，)。相应地，当第二图像被放置在难以计算三维坐标(r，θ，)的位置时，智能电话变得难以执行步骤S2402(图36)等。注意，难以计算三维坐标(r,θ,)的位置例如是半球图像不具有像素的位置。具体而言，其为诸如如下所述的位置。

图38是示出根据本发明实施例的智能电话限制第二图像要被布置的范围的示例的图。例如，描述图6的(a)中所示的半球图像作为示例。在该示例中，第二图像的布置被限制的范围(下文中称为限制范围AR)是所描绘的范围。例如，智能电话可以限制要显示在屏幕上用以选择第二图像的第一图像，使得不在屏幕上输出限制范围AR。以这种方式，智能电话可以限制用户可以指定第二图像的位置的范围，使得第二图像可以容易地叠加在第一图像上。

此外，智能电话可以更优选地在用于选择第二图像的屏幕中限制显示作为极点的位置的附近，例如图38中的φ＝90°和φ＝-90°。当极点被显示时，可能会显示用户不想要的图像。相应地，智能电话可以优选地防止作为极点的位置在屏幕上输出。这里，智能电话可以限制第二图像布置在靠近极点的位置。如上所述，智能电话可以限制在高度方向(即，方向)上选择第二图像的操作。

<功能配置的示例>

图39是示出根据本发明实施例的图像处理设备的功能配置的示例的功能框图。如图所示，作为图像处理设备的示例的智能电话2包括输入单元2F1；选择器2F2；转换器2F3；及合成器2F4。

输入单元2F1输入第一图像Img1。例如，当全天球全景图像作为第一图像Img1被输入时，输入单元2F1由图像捕获设备1(图7)和网络I/F 2H6(图8)实现。

选择器2F2选择第二图像Img2，比如要添加到第一图像Img1的图章。附加地，选择器2F2可以接收用户的操作，比如在第二图像Img2上进行编辑的操作。例如，选择器2F2可以由输入/输出设备2H3(图8)实现。

转换器2F3基于由输入单元2F1输入的第一图像Img1对由选择器2F2选择的第二图像Img2进行转换，以产生转换的图像ImgCC。例如，转换器2F3转换如图36和图37所示的第二图像Img2以生成转换的图像ImgCC。转换器2F3例如由CPU 2H5(图8)实现。

合成器2F4合成由输入单元2F1输入的第一图像Img1和由转换器2F3从第二图像Img2转换的转换图像ImgCC，以生成合成图像ImgCO。例如，合成器2F4由CPU 2H5实现。

首先，智能电话2通过输入单元2F1输入第一图像Img1。然后，通过用户的操作，诸如图章或文本的第二图像Img2被添加到第一图像Img1。第二图像Img2由选择器2F2选择。接下来，智能电话2对待调整到第一图像Img1的第二图像Img2进行转换，以生成转换的图像ImgCC。

第一图像Img1可以是全天球图像。相应地，该图像可以是由诸如广角镜头或鱼眼镜头的光学系统捕获的图像。由于畸变像差等，这样的第一图像Img1可能通常具有曲率。相反，第二图像Img2可能通常具有小曲率，因为第二图像Img2可以是图章等。相应地，当第二图像Img2被简单地添加到第一图像Img1时，由于第一图像Img1和第二图像Img2具有不同的曲率，两个图像在许多情况下可能是不连续的或者连接是不自然的。即，当第二图像Img2简单地被添加到第一图像Img1而没有进行转换时，在许多情况下可能获得不协调的图像。

相反，通过转换器2F3基于第一图像Img1的转换而生成的转换的图像ImgCC通过转换具有接近第一图像Img1的曲率。相应地，当合成器2F4合成第一图像Img1和转换的图像ImgCC时，合成图像ImgCO变为较少不协调的图像。如上所述，即使图像被新添加到捕获图像，图像处理设备也可以生成较少不协调的图像。

可以通过以编程语言描述的程序来实现根据本发明的实施例。即，根据本发明的实施例可以通过用于使诸如图像处理设备之类的计算机执行图像处理方法的程序来实现。注意，可以通过将程序存储在诸如闪存、SD(注册商标)卡或光盘之类的记录介质中来分发程序。可替换地，程序可以通过诸如因特网之类的电通信线路分发。

注意，根据本发明实施例的图像不限于静态图像。例如，图像可以是视频。

在本发明的实施例中，可以在诸如现场可编程门极阵列(FPGA)之类的可编程设备(PD)中处理和实现一些或全部的处理。此外，在根据本发明的实施例中，可以在ASIC(专用集成电路)中处理和实现一些或全部的处理。

以上详细描述了本发明的优选实施例。然而，本发明不限于特定实施例。即，可以在权利要求中描述的本发明的主旨的范围内进行各种修改和变型。本国际申请是基于在2016年2月24日提交的日本优先权申请No.2016-033642并要求其优先权，其全部内容通过引用合并于本文。

附图标记说明

10：图像处理系统

1：图像捕获设备

2：智能电话

IMG1：第一图像

IMG2：第二图像

IMGCC：转换的图像

IMGCO：合成图像

[专利文献]

专利文献1：日本未经审查的专利公开No.2014-6880

专利文献2：日本未经审查的专利公开No.2015-18013

专利文献3：日本未经审查的专利公开No.2014-30104

Claims (11)

1.一种图像处理设备，包括：

输入单元，被配置为输入第一图像；

选择器，被配置为选择被添加到所述第一图像的第二图像；

转换器，被配置为通过基于所述第一图像转换所述第二图像来生成转换的图像；和

合成器，被配置为通过合成所述第一图像和所述转换的图像来生成合成图像。

2.根据权利要求1所述的图像处理设备，其中，所述第一图像是基于由一个图像捕获设备所捕获的图像或由多个图像捕获设备所捕获的多个图像而生成的图像。

3.根据权利要求1所述的图像处理设备，其中，所述转换器被配置为转换所述第二图像，从而使得反映所述第一图像的曲率。

4.根据权利要求1所述的图像处理设备，其中，所述选择器被配置为在所述选择中输入对所述第二图像的类型、尺寸、位置、角度或其组合进行编辑的操作。

5.根据权利要求1所述的图像处理设备，其中，在检测到所述第二图像被选择时，所述选择器被配置为确定对先前选择的第二图像的选择。

6.根据权利要求1所述的图像处理设备，其中，所述选择器被配置为限制指定所述第二图像的位置的范围。

7.根据权利要求1所述的图像处理设备，其中，所述选择器被配置为在用于选择所述第二图像的屏幕中限制由所述第一图像指示的范围。

8.根据权利要求7所述的图像处理设备，其中，所述范围是在高度方向上。

9.根据权利要求1所述的图像处理设备，其中，在用于选择所述第二图像的屏幕中，所述第一图像被固定。

10.一种图像处理系统，包括：

图像捕获设备；和

连接到所述图像捕获设备的一个或多个信息处理设备，

其中所述图像处理系统包括：

输入单元，被配置为输入第一图像；

选择器，被配置为选择要添加到所述第一图像的第二图像；

转换器，被配置为通过基于所述第一图像转换所述第二图像来生成转换的图像；和

合成器，被配置为通过合成所述第一图像和所述转换的图像来生成合成图像。

11.一种用于使计算机执行图像处理方法的程序，其中所述程序用于：

使所述计算机执行输入第一图像的输入过程；

使所述计算机执行选择要添加到所述第一图像的第二图像的选择过程；

使所述计算机执行通过基于所述第一图像转换所述第二图像来生成转换的图像的转换过程；和

使所述计算机执行通过合成所述第一图像和所述转换的图像来生成合成图像的合成过程。