CN108781251A - 图像处理装置、图像处理方法和图像处理系统 - Google Patents

Abstract

提供一种图像处理装置，其接收第一图像和第二图像的输入，并且通过将第二图像布置在第一图像被张贴到的3D模型上来生成输出图像。

Description

图像处理装置、图像处理方法和图像处理系统

技术领域

本发明涉及图像处理装置、图像处理方法和图像处理系统。

背景技术

已知用于显示全景图像的技术。另外，已知用于接受用于显示全景图像的用户的指令的用户界面(下文中称为“UI”)。

例如，已知一种技术，该技术涉及使通信终端显示与全景图像内的预定区域图像相关联的缩略图，接受选择预定缩略图的指令，从而显示与所选缩略图相关联的预定区域图像。以这种方式，用户可以容易地搜索期望d全景图像或全景图像的期望预定区域图像(例如参见专利文献1)。

另外，已知一种技术，该技术设涉及使计算机首先生成与图像的部分区域相对应的部分图像，该图像在其中心处具有图像的给定视点，并且与该图像一起显示包括部分图像的多个缩略图的视点列表图像。然后，计算机从服务器装置接收将部分图像与用户对部分图像的评论相关联的评论信息，并且显示对于视点列表图像中包括的部分图像的缩略图的每个的评论的数量。以这种方式，用户能够确定吸引高关注度的图像中的视点(例如参见专利文献2)。

另外，当用户使用接收装置从图像管理系统下载图像数据时，该接收装置可以被配置为基于图像数据的相应图像标识信息从附加信息管理系统下载附加信息。以这种方式，当用户执行诸如图像数据校正的图像处理时，元数据可以是可用的(例如参见专利文献3)。

发明内容

本发明所要解决的问题

然而，没有使能够新添加图像以产生增强的呈现效果的传统技术。

本发明的至少一个实施例的目的是提供能够新添加图像以产生增强的呈现效果的图像处理装置。

解决问题的手段

根据本发明的实施例，提供了图像处理装置，其包括：输入单元，被配置为输入第一图像和第二图像；以及生成单元，被配置为通过将第二图像布置在其上布置有第一图像的3D模型上来生成输出图像。

本发明的效果

根据本发明的一个方面，可以提供能够新添加图像以产生增强的呈现效果的图像处理装置。

附图说明

图1是示出根据本发明实施例的图像处理系统的示例整体配置的图；

图2是示出根据本发明实施例的图像捕获装置的第一图；

图3是示出根据本发明实施例的图像捕获装置的第二图；

图4是示出根据本发明实施例的图像捕获装置的第三图；

图5是示出根据本发明实施例的通过图像捕获装置的示例图像捕获操作的图；

图6是示出根据本发明实施例的由图像捕获装置捕获的示例图像的图；

图7是示出根据本发明实施例的图像捕获装置的示例硬件配置的框图；

图8是示出根据本发明实施例的智能电话的示例硬件配置的框图；

图9是示出根据本发明实施例的由图像处理系统实现的示例整体处理的序列图；

图10是示出根据本发明实施例的生成全方向图像的示例处理的第一图；

图11是示出根据本发明实施例的生成全方向图像的示例处理的第二图；

图12是示出根据本发明实施例的生成全方向图像的示例处理的第三图；

图13是示出根据本发明实施例的生成全方向图像的示例处理的第四图；

图14是示出根据本发明实施例的示例全方向全景图像的图；

图15是示出根据本发明实施例的示例初始图像的第一图；

图16是示出根据本发明实施例的示例初始图像的第二图；

图17是示出根据本发明实施例的示例初始图像的第三图；

图18是示出根据本发明实施例的示例初始图像的第四图；

图19是示出根据本发明实施例的替代变焦处理的图；

图20是描述根据本发明实施例的替代变焦处理的表格；

图21是示出根据本发明实施例的替代变焦处理的示例“范围”的第一图；

图22是示出根据本发明实施例的替代变焦处理的示例“范围”的第二图；

图23是示出根据本发明实施例的替代变焦处理的示例“范围”的第三图；

图24是示出根据本发明实施例的替代变焦处理的示例“范围”的第四图；

图25是示出根据本发明实施例的替代变焦处理的示例“范围”的第五图；

图26是示出根据本发明实施例的示例第一图像的图；

图27是示出根据本发明实施例的示例第二图像的图；

图28是示出根据本发明实施例的示例输出图像的图；

图29是示出根据本发明实施例的输出图像中的第二图像的示例移动的图；

图30是示出根据本发明实施例的具有俯视(looking-down)视点的示例输出图像的图；

图31是示出根据本发明实施例的具有俯视视点的输出图像中的第二图像的示例移动的图；

图32是示出根据本发明实施例的具有仰视(looking-up)视点的示例输出图像的图；

图33是示出根据本发明实施例的具有仰视视点的输出图像中的第二图像的示例移动的图；

图34是示出根据本发明实施例的示例缩小的(zoomed-out)输出图像的图；

图35是示出根据本发明实施例的示例放大的(zoomed-in)输出图像的图；以及

图36是示出根据本发明实施例的图像处理装置的示例功能配置的框图。

具体实施方式

下面，参考附图描述本发明的实施例。

<图像处理系统整体配置>

图1是示出根据本发明实施例的图像处理系统10的示例整体配置的图。在所示出的示例中，图像处理系统10包括图像捕获装置1和作为图像处理装置的示例的智能电话2。

图像捕获装置1是包括多个光学系统的相机等。例如，图像捕获装置1可以基于使用多个光学系统捕获的图像生成诸如全方向图像的覆盖宽视场的图像。然后，图像捕获装置1可以将全方向图像等输出到智能电话2。进而，智能电话2可以对全方向图像或一些其它输入图像执行图像处理。下面，将描述其中全方向图像与输入图像即第一图像相对应的示例。在下面的描述中，全景图像包括全方向图像。

此外，在本示例中，图像捕获装置1和智能电话2可以通过有线连接或无线地连接。例如，智能电话2可以从图像捕获装置1下载包括由图像捕获装置1输出的全方向图像数据的数据。注意，图像捕获装置1和智能电话2可以经由网络等连接。

注意，图像处理系统10的整体配置不限于所示出的配置。例如，图像捕获装置1和智能电话2可以是集成装置。例如，除智能电话2之外的显示装置，诸如个人计算机或移动电话，也可以用作图像处理装置。除了图像捕获装置1和智能电话2之外，图像处理系统10还可以包括信息处理装置等。

<图像捕获装置示例>

例如，图像捕获装置1(图1)可以是如下所述的装置。

图2至图4是示出根据本发明实施例的图像捕获装置1的示例的图。注意，图2至图4是图像捕获装置1的示例外部视图。具体地，图2是图像捕获装置1的示例前视图。图3是图像捕获装置1的示例性左侧视图。此外，图4是图像捕获装置1的示例平面视图。

图像捕获装置1包括前侧图像捕获元件1H1、后侧图像捕获元件1H2和开关1H3。在本示例中，诸如前侧图像捕获元件1H1和后侧图像捕获元件1H2的光学系统用于捕获图像。基于使用各个光学系统捕获的图像，图像捕获装置1生成全方向图像。注意，下面将详细描述用于生成全方向图像的方法。

开关1H3是所谓的快门释放按钮，并且是用于使用户能够向图像捕获装置1输入图像捕获指令的输入设备的示例。

例如，如图2中所示，当用户用他/她的手握住图像捕获装置1并按下开关1H3时，图像捕获装置1可以执行图像捕获操作。具体地，可以以例如图5所示的方式使用图像捕获装置1来于捕获图像。

图5是示出根据本发明实施例的图像捕获装置1捕获图像的示例的图。用户用他/她的手握住图像捕获装置1并按下如图3所示的开关1H3以捕获图像。以此方式，图像捕获装置1可以使用前侧图像捕获元件1H1(图2)和后侧图像捕获元件1H2(图2)来捕获覆盖图像捕获装置1的所有方向的图像。例如，以上述方式捕获的图像可以是如图6所示的图像。

图6是示出根据本发明实施例的由图像捕获装置1捕获的图像的示例的图。具体地，在图6中，(a)示出了由前侧图像捕获元件1H1(图2)捕获的图像的示例。另一方面，(b)示出了由后侧图像捕获元件1H2(图2)捕获的图像的示例。在图6中，(c)示出了基于由前侧图像捕获元件1H1捕获的图像、即图6中的图像(a)和由后侧图像捕获元件1H2捕获的图像、即图6中的图像(b)生成的图像的示例。

如图6的(a)中所示，由前侧图像捕获元件1H1捕获的图像是捕获跨图像捕获装置1的前侧的宽范围的图像，并且例如可以是具有180°视场角作为图像捕获范围的图像。另外，如图所示，在前侧图像捕获元件1H1使用用于捕获宽范围的光学系统、例如诸如所谓的鱼眼镜头的情况下，由前侧图像捕获元件1H1捕获的图像可能具有畸变。也就是说，图6的(a)中所示的图像是所谓的半球图像(下文中称为“半球图像”)，其捕获跨图像捕获装置1的一侧的宽范围并且具有畸变。

每个光学系统的视场角优选在180°到200°的范围内。特别地，当视场角超过180°时，重叠图像区域可能被包括在图6的(a)中的半球图像和图6的(b)中的半球图像中，以促进它们在生成全方向图像时的合成。

另一方面，如图6的(b)中所示，由后侧图像捕获元件1H2捕获的图像是捕获跨图像捕获装置1的后侧的宽范围的图像，并且可以是例如具有180°视场角作为图像捕获范围的图像。因此，由后侧图像捕获元件1H2捕获的图像也是类似于图6的(a)中所示的图像的半球图像。

接下来，图像捕获装置1执行诸如畸变校正处理和图像合成处理的图像处理，以基于如图6的(a)中所示的前侧半球图像和如图6的(b)中所示的后侧半球图像来生成如图6的(c)中所示的图像。也就是说，图6的(c)所示的图像是通过例如所谓的Mercator投影法或等距圆柱投影法生成的图像、即全方向图像的示例。

注意，第一图像不限于由图像捕获装置1生成的图像。例如，第一图像可以是由另一相机捕获的图像，或者，例如是基于由另一相机捕获的图像而生成的图像。注意，第一图像优选地是例如使用所谓的全方向相机或所谓的广角镜头相机捕获的具有宽视角范围的图像。

在下面的描述中，全方向图像将被描述为第一图像的示例。然而，第一图像不限于全方向图像。例如，第一图像可以是由紧凑型相机、单镜头反射相机、智能电话等捕获的图像。例如，图像也可以是水平或垂直延伸的全景图像。

此外，尽管在本示例中基于用户按下开关1H3的操作来控制快门释放按钮，但是也可以例如从诸如智能电话2的显示装置远程控制快门释放按钮。

<图像捕获装置硬件配置>

图7是示出根据本发明实施例的图像捕获装置1的示例硬件配置的框图。在图7中，图像捕获装置1包括图像捕获单元1H4、图像处理单元1H7、图像捕获控制单元1H8、CPU(中央处理单元)1H9和ROM(只读存储器)1H10。另外，图像捕获装置1包括SRAM(静态随机存取存储器)1H11、DRAM(动态随机存取存储器)1H12和操作I/F(接口)1H13。此外，图像捕获装置1包括网络I/F 1H14、无线I/F 1H15和天线1H16。图像捕获装置1的硬件元件经由总线1H17彼此连接，使得数据和信号可以经由总线1H17输入到硬件元件/从硬件元件输出。

图像捕获单元1H4包括前侧图像捕获元件1H1和后侧图像捕获元件1H2。图像捕获单元1H4还包括用于前侧图像捕获元件1H1的透镜1H5和用于后侧图像捕获元件1H2的透镜1H6。

前侧图像捕获元件1H1和后侧图像捕获元件1H2是所谓的相机单元。具体地，前侧图像捕获元件1H1和后侧图像捕获元件1H2每个包括诸如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)的光学传感器。前侧图像捕获元件1H1转换穿过透镜1H5入射的光，以生成表示半球图像等的图像数据。类似地，后侧图像捕获元件1H2转换穿过透镜1H6入射的光，以生成表示半球图像等的图像数据。

进而，图像捕获单元1H4将分别由前侧图像捕获元件1H1和后侧图像捕获元件1H2生成的图像数据输出到图像处理单元1H7。注意，输出图像数据可以与例如图6的(a)中所示的前侧半球图像和图6的(b)中所示的后侧半球图像相对应。

注意，前侧图像捕获元件1H1和后侧图像捕获元件1H2还可以包括除了透镜之外的其它光学元件，比如孔径光阑或低通滤波器，以执行高质量的图像捕获。另外，为了执行高质量的图像捕获，前侧图像捕获元件1H1和后侧图像捕获元件1H2可以执行所谓的缺陷像素校正或所谓的图像稳定(相机抖动校正)。

图像处理单元1H7基于从图像捕获单元1H4输入的图像数据生成例如如图6的(c)中所示的全方向图像。注意，下面将详细描述生成全方向图像的处理。

图像捕获控制单元1H8是用于控制图像捕获装置1的硬件元件的控制设备。

CPU 1H9是用于执行用于实现各种处理的计算和数据处理以及控制图像捕获装置1的硬件元件的计算设备和控制设备。例如，CPU 1H9可以基于预先安装的程序来执行各种处理。

ROM 1H10、SRAM 1H11和DRAM 1H12是存储设备的示例。具体地，例如，ROM 1H10可以存储程序、数据、参数等用于使CPU 1H9执行各种处理。例如，SRAM 1H11和DRAM 1H12可以存储由CPU 1H9使用来基于程序执行处理的程序、由程序使用的数据和由程序生成的数据。图像捕获装置1还可以包括诸如硬盘的辅助存储设备。

操作I/F 1H13连接到诸如开关1H3的输入设备，并且是用于执行将用户操作输入到图像捕获装置1的处理的接口。例如，操作I/F 1H13可以包括诸如开关的输入设备、用于连接输入设备的连接器、电缆、用于处理从输入设备输入的信号的电路、驱动器、控制设备等。注意，操作I/F 1H13还可以包括诸如显示器的输出设备。此外，操作I/F 1H13可以是例如集成了输入设备和输出设备的所谓的触摸面板。此外，操作I/F 1H13可以包括诸如USB(通用串行总线)的接口，使得诸如闪存的记录介质可以被连接到图像捕获装置1。以这种方式，操作I/F 1H13可以使图像捕获装置1能够向记录介质输入数据/从记录介质输出数据。

开关1H3可以是用于执行除了与快门相关的操作之外的操作的电源开关或参数输入开关。

网络I/F 1H14、无线I/F 1H15和天线1H16通过有线或无线地将图像捕获装置1连接到外部装置。例如，图像捕获装置1可以经由网络I/F 1H14连接到网络，以将数据传输到智能电话2(图1)。注意，例如，网络I/F 1H14、无线I/F 1H15和天线1H16可以是用于通过诸如USB的导线与外部装置建立连接的硬件。也就是说，网络I/F 1H14、无线I/F 1H15和天线1H16可以是连接器、电缆等。

总线1H17用于向/从图像捕获装置1的硬件元件输入/输出数据等。也就是说，总线1H17是所谓的内部总线。具体地，总线1H17可以是PCI Express(外围组件互连总线Express)总线等。

注意，图像捕获装置1不限于包括两个图像捕获元件的配置。例如，图像捕获装置1可以包括三个或更多个图像捕获元件。此外，图像捕获装置1可以被配置为例如通过改变一个图像捕获元件的图像捕获角度来捕获多个部分图像。另外，图像捕获装置1不限于使用鱼眼镜头的光学系统。例如，可以使用广角镜头。

注意，由图像捕获装置1执行的一个或多个处理可以可替换地由另一装置执行。例如，图像捕获装置1可以传输数据、参数等，并且经由网络连接的智能电话2或一些其它信息处理装置可以执行将要由图像捕获装置1执行的处理的部分或全部。以这种方式，图像处理系统10可以包括以分布式、冗余或并行方式执行处理的多个信息处理装置。

<信息处理装置硬件配置>

图8是示出根据本发明实施例的智能电话2的示例硬件配置的框图。在图8中，作为信息处理装置的示例的智能电话2包括辅助存储设备2H1、主存储设备2H2、输入/输出设备2H3、状态传感器2H4、CPU 2H5和网络I/F 2H6。智能电话2的硬件元件通过总线2H7彼此连接，使得数据和信号可以经由总线2H7输入到硬件元件/从硬件元件输出。

辅助存储设备2H1存储数据、参数、程序等。更具体地，辅助存储设备2H1可以是硬盘、快闪SSD(固态驱动器)等。注意，例如，存储在辅助存储设备2H1中的数据的部分或全部可以冗余地或可替换地存储在经由网络I/F 2H6连接到智能电话2的文件服务器中。

主存储设备2H2是所谓的存储器等，其提供由用于执行处理的程序使用的存储区域。也就是说，主存储设备2H2存储数据、程序、参数等。具体地，主存储设备2H2可以是SRAM(静态随机存取存储器)、DRAM等。主存储设备2H2还可以包括例如执行存储和取回的控制设备。

输入/输出设备2H3包括显示图像、处理结果等的输出设备和输入用户操作的输入设备。具体地，输入/输出设备2H3可以包括所谓的触摸面板、外围电路、驱动器等。例如，输入/输出设备2H3可以向用户显示预定的GUI(图形用户界面)和已经经历了图像处理的图像。另外，当用户操作显示的GUI或图像时，输入/输出设备2H3可以输入用户的操作。

状态传感器2H4是检测智能电话2的状态的传感器。更具体地，状态传感器2H4可以是陀螺仪传感器、角度传感器等。例如，状态传感器2H4可以确定智能电话2的各侧中的一侧相对于水平方向是否形成大于预定角度的角度。也就是说，状态传感器2H4可以检测智能电话2是处于垂直朝向还是水平朝向。

CPU 2H5是计算设备和控制设备，其执行用于实现各种处理的计算和数据处理，并控制智能电话2的硬件元件。注意，例如，CPU 2H5可以包括多个CPU、设备或多个核心以便并行、冗余地或以分布式方式实现处理。另外，例如，智能电话2可以包括内部或外部GPU(图形处理单元)等以便执行图像处理。

网络I/F 2H6经由网络无线地或有线连接到外部装置。具体地，网络I/F2H6可以包括用于输入/输出数据等的天线、外围电路、驱动器等。例如，智能电话2可以使用CPU 2H5和网络I/F 2H6来从图像捕获装置1(图1)输入图像数据。另外，例如，智能电话2可以使用CPU2H5和网络I/F 2H6来将数据等输出到图像捕获装置1。

注意，信息处理装置不限于智能电话。也就是说，信息处理装置可以是除智能电话之外的计算机。例如，信息处理装置可以是PC(个人计算机)、PDA(个人数字助理)、平板机、移动电话或其组合。

<图像处理系统整体处理>

图9是示出由根据本发明实施例的图像处理系统10实现的示例整体处理的序列图。例如，图像处理系统10可以执行以下处理操作以生成输出图像。

在步骤S0701中，图像捕获装置1执行生成全方向图像的处理。例如，注意，全方向图像可以通过如图10至13中所示的处理从由图像捕获装置1预先捕获的如图6的(a)和(b)中所示的半球图像生成。

图10至13是示出根据本发明实施例的生成全方向图像的示例处理的图。注意，图10是指示连接如图6的(a)中所示的半球图像中的位置的线的图，在该半球图像中相对于光轴的水平方向和垂直方向上的入射角相等。在下面的描述中，“θ”表示相对于光轴的水平方向上的入射角，表示垂直于光轴的方向上的入射角。图11是类似于图10的图，指示连接如图6的(b)中所示的半球图像中的位置的线，在该半球图像中相对于光轴的水平方向和垂直方向上的入射角相等。

图12是示出使用Mercator投影方法处理的示例图像的图。具体地，图12的图像对应于通过将图10和图11中所示的图像与预先生成的LUT(查找表)等相关联并使用例如等距长方(equirectangular)投影方法处理图像而生成的图像。在图像被处理成如图12中所示的状态之后，由图像捕获装置1如图13所示合成图10和图11的经处理的图像以生成全方向图像。如上所述，图像合成处理可以涉及使用处于如图12中所示的状态的两个半球图像来生成全方向图像。注意，图像合成处理不限于涉及仅连接处于如图12中所示的状态的半球图像的、如图13中所示的图像合成处理。例如，当全方向图像的水平中心不是θ＝180°时，在图像合成处理中，图像捕获装置可以首先预处理图6的(a)中所示的半球图像，并将经预处理的图像布置在全方向图像的中心。然后，图像捕获装置可以划分图6的(b)中所示的半球图像的经预处理的图像使得它们可以被布置在要生成的全方向图像的左部分和右部分，并且合成半球图像以生成如图6的(c)中所示的全方向图像。

注意，生成全方向图像的处理不限于使用等距长方投影方法的图像处理。例如，图11中所示的半球图像的方向上的像素对准和图10中所示的半球图像的方向上的像素对准可以在相反的方向上，使得它们的顶部和底部相对于彼此颠倒，并且半球图像的θ方向上的像素对准可以在相反的方向上，使得它们的左侧和右侧颠倒。当半球图像以这种方式相对于彼此颠倒时，图像捕获装置可以执行将图11中所示的半球图像旋转(滚动)180°的预处理，以便将半球图像在方向和θ方向上的像素对准与图10中所示的半球图像的像素对准匹配。

另外，生成全方向图像的处理可以包括例如用于校正图10和11中所示的半球图像的畸变的畸变校正处理。此外，生成全方向图像的处理可以包括其它处理，诸如阴影校正、gamma校正、白平衡、图像稳定(相机抖动校正)、光学黑校正、缺陷像素校正、边缘增强、线性校正等。注意，在图像合成处理中，例如，如果一个半球图像的图像捕获范围和另一半球图像的图像捕获范围重叠，则可以使用在重叠图像捕获范围中捕获的对象的像素来执行校正，从而可以准确地合成半球图像。

通过实现如上所述的生成全方向图像的处理，图像捕获装置1可以从已经捕获的多个半球图像生成全方向图像。注意，全方向图像也可以通过一些其它处理生成。在下面的描述中，将描述通过上述方法生成全方向图像的示例情况。

返回参考图9，在步骤S0702中，智能电话2经由网络等获取在步骤S0701中生成的全方向图像。在下面，将描述智能电话2获取图13中所示的全方向图像的示例情况。

在步骤S0703中，智能电话2使用在步骤S0702中获取的全方向图像生成全方向全景图像。注意，全方向全景图像可以是例如图14中所示的图像。

图14是示出根据本发明实施例的示例全方向全景图像的图。例如，在图9的步骤S0703中，智能电话2可以从已经获取的图13的全方向图像生成图14的全方向全景图像。注意，全方向全景图像是通过将全方向图像布置到球形形状(3D模型)上而获得的图像。

生成全方向全景图像的处理例如可以通过诸如OpenGL ES(用于嵌入式系统的OpenGL(注册商标))的API(应用编程接口)来实现。具体地，例如，可以通过首先将全方向图像的像素划分成三角形，然后通过连接三角形的顶点P(下文中称为“顶点P”或“多个顶点P”)将三角形接合为多边形来生成全方向全景图像。

返回参考图9，在步骤S0704中，智能电话2输入用户选择图像的操作。具体地，首先，在步骤S0704中，智能电话2显示例如在步骤S0703中生成的全方向全景图像的小型化图像，比如缩略图图像。也就是说，当多个全方向全景图像存储在智能电话2中时，智能电话2输出存储的全方向全景图像的缩略图图像的列表，以提示用户从多个全方向全景图像当中选择将要处理的全方向全景图像。然后，在步骤S0704中，智能电话2输入例如用户从缩略图图像的列表中选择一个缩略图图像的操作。注意，在步骤S0704中选择的全方向全景图像成为要经历后续处理的处理目标。

在步骤S0705中，智能电话2基于在步骤S0704中选择的全方向全景图像生成初始图像。注意，该初始图像可以是例如如图15至18中所示的图像。

图15至18是示出根据本发明实施例的初始图像的示例的图。具体地，图15是示出根据本发明实施例的用于描述初始图像的三维坐标系的图。下面，相对于如图15所示的具有X、Y和Z轴的三维坐标系描述初始图像。在本示例中，智能电话2假设虚拟相机3位于原点的位置，并从虚拟相机3的视点生成图像捕获视图。例如，全方向全景图像可以被表示为图15的坐标系中的立体球(stereosphere)CS。注意，虚拟摄像机3对应于用户从原点即虚拟摄像机3的安装位置观看由立体球CS表示的全方向全景图像的视点。

图16是示出根据本发明实施例的由虚拟相机3捕获的预定区域的示例的图。具体地，图16以三个视图描绘了图15的图像。也就是说，图15和16表示相同的状态。因此，在图16中，认为虚拟相机3被安装在原点。

图17是根据本发明实施例的由虚拟相机3捕获的示例预定区域的投影图。在图17中，预定区域T是通过将虚拟相机3的视角投影到立体球CS上而获得的区域。下面，将描述智能电话2关于预定区域T生成图像的示例情况。也就是说，智能电话2基于预定区域T生成图像。例如，预定区域T可以如下确定。

图18是示出根据本发明实施例的用于确定由虚拟相机3捕获的预定区域T的信息的示例的图。在本示例中，例如，通过预定区域信息(x，y，α)来确定预定区域T。具体地，如图18中所示，视角(viewing angle)α是指示虚拟相机3的视角的角度。注意，预定区域信息的(x，y)表示相对于由视角α指示的预定区域T中的对角线视场角(field angle)2L的、预定区域T的中心点CP的坐标。

从虚拟摄像机3到中心点CP的距离可以由以下公式(1)表示。

[表达式1]

f＝tan(α/2) (1)

初始图像是基于预定区域T生成的图像，该预定区域T基于预先设置的所谓初始设置而确定。例如，初始设置可以由用户等设置为(x，y，α))＝(0，0，34)。

当输入改变视场角的操作，即所谓的变焦操作时，智能电话2如下所述地执行变焦处理。变焦处理是基于由用户输入的操作生成预定区域的放大或缩小的图像的处理。在下面的描述中，通过变焦操作输入的操作量被称为“改变量dz”。首先，当输入变焦操作时，智能电话2基于已经由用户输入的操作来获取改变量dz。然后，智能电话2使用以下公式(2)基于改变量dz计算视角α。

[表达式2]

α＝α0+m×dz (2)

在上述公式(2)中，“α”表示图18中所示的虚拟相机3的视角α。上述公式(2)中的“m”表示用于调节变焦量的系数，并且是用户预先设置的值。此外，上述公式(2)中的“α0”表示初始状态下虚拟相机3的视角α，即，在步骤S0705中生成的初始图像中的视角α。

接下来，智能电话2在投影矩阵中使用基于上述公式(2)计算的视角α来确定图18中所示的预定区域T的范围。

注意，当用户进一步以改变量dz2执行变焦操作时，智能电话2计算以下公式(3)。

[表达式3]

α＝α0+m×(dz+dz2) (3)

从上述公式(3)可以理解，基于各个变焦操作的改变量之和来计算视角α。通过首先如上所述计算视角α，即使当执行多个变焦操作时，智能电话2也可以保持一致的可操作性。

注意，变焦处理不限于基于上述公式(2)或(3)的处理。例如，变焦处理可以基于视角α和虚拟相机3的视点位置(图16)的改变的组合来实现。具体地，例如，可以执行如图19中所示的变焦处理。

图19是示出根据本发明实施例的替代变焦处理的示例的图。注意，图19是描述替代变焦处理的模型图。注意，图19中的立体球CS与图15中所示的立体球CS基本上相同。此外，在下面，将描述立体球CS的半径为“1”的示例情况。

首先，所示出的原点是虚拟摄像机3的初始位置。然后，虚拟相机3通过沿着光轴即图19中所示的Z轴移动来改变其位置。虚拟相机3的移动量d由离原点的距离来表示。例如，当虚拟摄像机3位于原点即初始位置时，移动量d为“0”。

基于虚拟相机3的移动量d和视角α，视场角ω表示如图16中所示的预定区域T的范围。例如，图19中所示的视场角ω对应于在虚拟摄像机3位于原点时即当d＝0时的视场角。当虚拟摄像机3位于原点时，即当d＝0时，视场角ω和视角α一致。相反，当虚拟摄像机3离开原点移动时，即当d值大于“0”(d>0)时，视场角ω和视角α不同。替代的变焦处理可以是如图20中所示的改变视场角ω的处理。

图20示出了描述根据本发明实施例的替代变焦处理的示例描述表4。注意，描述表4描述了其中视场角ω在60°至300°范围内的示例情况。如描述表4所示，智能电话2基于变焦指定值ZP确定虚拟相机3的视角α和移动量d中的哪个参数将被优先改变。

注意，在描述表4中，“范围”对应于基于变焦指定值ZP确定的范围。“输出放大率”对应于基于由替代变焦处理确定的图像参数所计算的图像的输出放大率。此外，“变焦指定值ZP”对应于根据将要输出的视场角指定的值。

如上所述，替代变焦处理涉及改变基于变焦指定值ZP确定移动量d和视角α的处理。具体地，如描述表4所示，在替代变焦处理中，基于变焦指定值ZP确定所指示的四种方法中的一种方法。在本示例中，变焦指定值ZP的范围被划分为“A～B”、“B～C”、“C～D”和“D～E”四个范围。

“视场角ω”表示与通过替代变焦处理确定的图像参数相对应的视场角ω。此外，“要改变的参数”指示将要以基于变焦指定值ZP的四种方法中的相应方法来改变的参数。“注释”指示对“要改变的参数”的注释。

在描述表4中，“viewWH”是指示输出区域的宽度或高度的值。例如，如果输出区域在水平方向上长(横向)，则“viewWH”指示输出区域的宽度。另一方面，如果输出区域在垂直方向上长(纵向)，“viewWH”指示输出区域的高度。也就是说，“viewWH”是表示输出区域在较长方向上的大小的值。

另外，在描述表4中，“imgWH”是指示输出图像的宽度或高度的值。例如，如果输出区域在水平方向上长，“imgWH”指示输出图像的宽度。另一方面，如果输出区域在垂直方向上长，“imgWH”指示输出图像的高度。也就是说，“imgWH”是指示输出图像在较长方向上的大小的值。

此外，在描述表4中，“imgDeg”是指示输出图像的显示范围的角度的值。具体地，当指示输出图像的宽度时，“imgDeg”是360°。另一方面，当指示输出图像的高度时，“imgDeg”是180°。

图21至25是示出根据本发明实施例的替代变焦处理中的“范围”的示例的图。所示的示例中的每一个指示由图像显示的“范围”以及当执行上述替代变焦处理时的相应图像的示例。下面，将使用所示出的示例来描述所谓的缩小处理。图21至25的左侧的图像示出将要被输出的图像的示例。另一方面，图21至25的右侧的图是类似于图19的模型图，表示在输出相应图像时虚拟相机3的示例状态。

具体地，图21示出了当在图20的描述表4的“范围”下列出的范围“A～B”内的值被输入作为变焦指定值ZP时，将要被输出的图像和“范围”的示例。可以理解，当在范围“A～B”内的变焦指定值ZP被输入时，虚拟相机3(图19)的视角α被固定为例如α＝60°。此外，当变焦指定值ZP在范围“A～B”内并且在视角α被固定的同时虚拟相机3的移动量d改变时，如图21中所示，视场角ω可以以下面描述的方式改变。下面，将描述在视角α被固定的同时虚拟相机3的移动量d增加的示例情况。在这种情况下，视场角ω扩展。也就是说，当在变焦指定值ZP在范围“A～B”内并且视角α被固定的同时移动量d增加时，可以实现缩小处理。注意，当变焦指定值ZP在范围“A～B”内时，虚拟相机3的移动量d在从“0”到立体球CS的半径的范围内。具体地，在图21至25所示的示例中，立体球CS的半径是“1”，因此，虚拟相机3的移动量d是在范围“0～1”内的值。此外，虚拟相机3的移动量d是与变焦指定值ZP相对应的值。

图22示出了当在描述表4(图20)中“范围”下列出的范围“B～C”内的值被输入作为变焦指定值ZP时要输出的图像和“范围”的示例。注意，在“B～C”范围内的变焦指定值ZP是比在“A～B”范围内的变焦指定值ZP大的值。在本示例中，假设变焦指定值ZP在范围“B～C”内，并且虚拟相机3的移动量d被固定为与虚拟相机3位于立体球CS的外边缘处的距离相对应的值。在这种情况下，如图22中所示，虚拟相机3的移动量d被固定为与立体球CS的半径对应的“1”。此外，当在变焦指定值ZP在范围“B～C”内并且虚拟相机3的移动量d被固定的同时视角α改变时，视场角ω可以以下面描述的方式改变。下面，将描述在虚拟相机3的移动距离d被固定的同时视角α增加的示例情况。在这种情况下，例如，视场角ω从图21中所示的状态扩展到图22中所示的状态。也就是说，当变焦指定值ZP在范围“B～C”内时，虚拟相机3的移动量d被固定，并且视角α增加，可以实施缩小处理。注意，当变焦指定值ZP在范围“B～C”内时，视角α被计算为“ω/2”。另外，当变焦指定值ZP在范围“B～C”内时，视角α的范围从与当变焦指定值ZP在范围“A～B”内时的固定值相对应的“60°”改变为“60°～120°”。

当变焦指定值ZP在范围“A～B”或“B～C”内时，视场角ω与变焦指定值ZP一致。此外，当变焦指定值ZP在范围“A～B”或“B～C”内时，视场角ω的值随着要被改变的参数值的增加而增加。

图23示出了当在描述表4(图20)中“范围”下列出的范围“C～D”内的值被输入作为变焦指定值ZP时要被输出的图像和“范围”的示例。注意，在范围“C～D”内的变焦指定值ZP是比在范围“B～C”内的变焦指定值ZP大的值。在本示例中，假设变焦指定值ZP在范围“C～D”内，并且视角α固定为例如α＝120°。此外，当在变焦指定值ZP在范围“C～D”内，并且在视角α被固定的同时虚拟相机3的移动量d改变时，如图23中所示，视场角ω可以以下面描述的方式改变。下面，将描述在视角α被固定的同时虚拟相机3的移动量d增加的示例情况。在这种情况下，视场角ω扩展。此外，基于描述表4(图20)中指示的变焦指定值ZP使用公式来计算虚拟相机3的移动量d。注意，当变焦指定值ZP在范围“C～D”内时，虚拟相机3的移动量d可以被改变(增加)到最大显示距离dmax 1。注意，最大显示距离dmax 1对应于在智能电话2的输出区域中立体球CS的显示可以最大化的距离(图1)。另外，注意，输出区域可以例如与智能电话2在其上输出图像的屏幕的大小相对应。此外，最大显示距离dmax 1可以例如与如图24中所示的状态相对应。此外，最大显示距离dmax 1可以通过以下公式(4)来计算。

[表达式4]

在上述公式(4)中，“viewW”表示指示智能电话2的输出区域的宽度的值。另外，上述公式(4)中的“viewH”表示指示智能电话2的输出区域的高度的值。注意，以下将使用相同的描述。这样，最大显示距离dmax 1可以基于智能电话2的输出区域的尺寸即“viewW”和“viewH”等的值来计算。

图24示出了当在描述表4(图20)中的“范围”下列出的范围“D～E”内的值被输入作为变焦指定值ZP时要被输出的图像和“范围”的示例。注意，在范围“D～E”内的变焦指定值ZP是比在范围“C～D”内的变焦指定值ZP大的值。在本示例中，假设变焦指定值ZP在范围“D～E”内，并且视角α固定为例如α＝120°。下面进一步假设变焦指定值ZP在范围“D～E”内，并且在视角α被固定的同时虚拟相机3的移动量d改变，如图24中所示。注意，虚拟相机3的移动量d可以被改变(增加)到上限显示距离dmax 2。上限显示距离dmax 2与立体球CS内接在智能电话2的输出区域内的距离相对应。具体地，上限显示距离dmax 2可以通过以下公式(5)来计算。注意，上限显示距离dmax 2可以例如与如图25所示的状态相对应。

[表达式5]

如上式(5)所指示的，上限显示距离dmax 2可以基于与智能电话2的输出区域的尺寸相对应的“view”和“view”的值来计算。另外，上限显示距离dmax 2指示智能电话2可以输出的最大范围，即，虚拟相机3的移动量d可以增加到的上限值。注意，智能电话2可以限制输入值，使得变焦指定值ZP落入描述表4(图20)中描述的范围内，即，使得虚拟相机3的移动量d不超过上限显示距离dmax 2。通过施加这样的限制，智能电话2能够使输出图像适合于它的与输出区域相对应的屏幕，或者能够在实施缩小处理时以预定的输出放大率将图像输出给用户。通过实现“D～E”的变焦处理，智能电话2可以使用户识别出输出给用户的图像与全方向全景图像相对应。

注意，当变焦指定值ZP在范围“C～D”或“D～E”内时，视场角ω取与变焦指定值ZP不同的值。另外，尽管在描述表4和图21至25中指示了视场角ω的连续值范围，但是视场角ω不一定必须均匀增加，因为变焦指定值ZP指定缩小到更宽的角度。也就是说，例如，当变焦指定值ZP在范围“C～D”内时，视场角ω随着虚拟相机3的移动量d的增加而增加。另一方面，当变焦指定值ZP在范围“D～E”内时，视场角ω随着虚拟相机3的移动量d的增加而减小。注意，当变焦指定值ZP在“D～E”范围内时，视场角ω相对于虚拟相机3的移动量d的减小的发生是因为立体球CS的外部区域反映在输出图像中。如上所述，当变焦指定值ZP指定大于或等于240°的宽观看范围时，智能电话2可以改变虚拟相机3的移动量d，以向用户输出看起来较少不协调(awkward)的图像，并且还可以改变视场角ω。

另外，当变焦指定值ZP在更宽的角度方向上改变时，在大多数情况下，视场角ω也加宽。如上所述，当视场角ω加宽时，智能电话2固定虚拟相机3的视角α，并增加虚拟相机3的移动量d。通过固定虚拟相机3的视角α，智能电话2可以减少虚拟相机3的视角α的增加。此外，通过减小虚拟相机3的视角α的增加，智能电话2可以向用户输出具有较少畸变的图像。

当虚拟相机3的视角α被固定并且智能电话2增加虚拟相机3的移动量d、即在远离其原始位置的方向上移动虚拟相机3时，智能电话2可以带来从更宽的角度显示的开阔感。另外，因为在远离其原始位置的方向上移动虚拟相机3的移动类似于使得人们识别出更宽范围的移动，所以智能电话2可以通过在远离其原始位置的方向上移动虚拟相机3来实现看起来较少不协调的缩小处理。

当变焦指定值ZP在范围“D～E”内时，随着变焦指定值ZP在更宽的角度方向上变化，视场角ω减小。如上所述，当变焦指定值ZP在范围“D～E”内时，智能电话2可以通过减小视场角ω而为用户带来远离立体球CS的感觉。通过带来远离立体球CS的感觉，智能电话2可以向用户输出看起来较少不协调的图像。

通过实现如上参考描述表4(图20)所述的替代变焦处理，智能电话2可以向用户输出看起来较少不协调的图像。

注意，智能电话2不限于通过仅改变如描述表4中所描述的虚拟相机3的移动量d或视角α来实现变焦处理。也就是说，在描述表4中，智能电话2可以仅被配置为优先改变虚拟相机3的移动量d或视角α。例如，出于调节目的，智能电话2可以将固定值改变为足够小的值。此外，智能电话2不限于执行缩小处理。例如，智能电话2可以执行放大处理。

下面，假设使用如图26中所示的全方向图像作为第一图像的示例。

图26示出了根据本发明实施例的第一图像的示例。例如，用户可以选择如图26中所示的第一图像IMG11。注意，在下面描述的示例中，假设第一图像是静止图像。然而，第一图像也可以是运动图像。

返回参考图9，在步骤S0706中，智能电话2输入用户选择第二图像的操作。在下面的描述中，“第二图像”指将要被新添加到与第一图像的示例相对应的全方向图像的图像。例如，用户可以向智能电话2输入向第一图像添加诸如标签(hashtag)的附加信息的操作。进而，智能电话2可以将与该标签相对应的图像指定为将要被添加到第一图像的相应第二图像。例如，如图27中所示的图像可以是第二图像的示例。

图27示出了根据本发明实施例的第二图像的示例。例如，当输入诸如“樱花树”的标签时，智能电话指定与输入的标签相对应的第二图像。具体地，如图27所示，相应的第二图像IMG21可以是指示第一图像中指示的花的相同类型的“花瓣”的图像。在下面，第二图像中指示的对象被称为“对象OBJ”。在本示例中，假设樱花被包括在第一图像中作为与标签“樱花树”相对应的图像，即，与由标签指定的对象类型相同的对象。如上所述，第二图像可以是与第一图像中指示的相同类型的对象的部分相对应的图像(例如，樱花花瓣)或者与相同类型的对象的全部相对应的图像(例如，樱花花瓣、叶子和树枝)。在下面，将描述输入标签为“樱花树”且第二图像为“花瓣”的示例。然而，本发明的实施例不限于此。例如，当输入标签是“雨”时，第二图像可以对应于与雨相对应的“水滴”的图像，而当输入标签是“雪”时，第二图像可以与“雪花”的图像相对应。注意，第二图像可以是指示一个对象的图像。另外，在一些实施例中，可以选择多个第二图像。

例如，指示第二图像IMG21的数据可以被预先输入到智能电话2。注意，指示第二图像IMG21的数据可以由智能电话2从其中登记了第二图像的服务器等下载，或者可以基于标签使用搜索引擎搜索并下载。

在智能电话2包括识别图像的识别单元的情况下，智能电话2可以识别被包括在第一图像中的图像并指定相应的第二图像。例如，图26的第一图像IMG11包括指示“花瓣”的图像。因此，当对第一图像IMG11执行图像识别处理时，智能电话2可以识别在第一图像IMG11中捕获的“花瓣”。基于识别单元的识别结果，智能电话2可以从预先输入到智能电话2的一个或多个第二图像当中指定指示与在图26的第一图像IMG11中捕获的“花瓣”图像相同内容的第二图像IMG21。另外，即使第二图像与被包括在第一图像中的图像不相同，例如，也可以如图27中所示指定指示与被包括在第一图像中的图像相似的内容的图像。

注意，例如，第二图像可以由JSON(JavaScript(注册商标)对象标记)格式的3D模型数据和指示对象OBJ的颜色、图案和其它属性的数据来描述。第二图像也可以以一些其它格式描述。

返回参考图9，在步骤S0707中，智能电话2将第二图像布置到其上布置有第一图像的3D模型，即，立体球CS(图15)等上。也就是说，第一图像由智能电话2首先布置在3D模型上，之后由第二图像指示的对象OBJ(图27)被进一步添加到3D模型上。

在步骤S0708中，智能电话2基于在步骤S0707中获得的其上布置有第二图像的3D模型生成输出图像。具体地，如在如图15至图18中所示的生成初始图像的情况下，智能电话2可以输出其上布置有第二图像的3D模型的预定区域的图像作为输出图像。例如，输出图像可以是如图28中所示的图像。

图28示出了根据本发明实施例的输出图像的示例。例如，智能电话2可以输出第一输出图像IMGOUT1作为第一帧，然后输出第二输出图像IMGOUT2作为第二帧。第一输出图像IMGOUT1和第二输出图像IMGOUT2与图26中所示的第一图像的不同之处在于：它们具有由第二图像指示的多个对象OBJ，即添加到其上的“花瓣”。注意，由第二图像指示的对象OBJ可以被复制，使得输出的对象OBJ的数量可以大于输入的第二图像的数量。另外，在输出图像中可以以不同角度和不同位置输出对象。

从图28中所示的第一输出图像IMGOUT1和第二输出图像IMGOUT2可以理解，智能电话2输出对象OBJ，使得它们在重力方向(图28中Y轴方向上的第一方向DR1)上从一帧移动到下一帧。在所示出的示例中，智能电话2输出与“花瓣”相对应的对象OBJ，使得它们看起来是由于重力而在第一方向DR1上下落。也就是说，智能电话2可以将第二图像新添加到如图26中所示的第一图像上，从而产生“花瓣”飘动的增强呈现效果。注意，增强的呈现效果不限于所示出的示例。例如，可以输出与图27的第二图像所指示的对象不同的对象，以产生一些其它增强的呈现效果。

因为输出图像是基于3D模型生成的，所以对象OBJ被输出以便在预定方向上移动。具体地，在图28所示的示例中，例如，可以输出第二图像以便以图29中所示的方式移动。

图29是示出根据本发明实施例的输出图像中的第二图像的示例移动的图。图29是示出第二图像的移动，即图28的输出图像中的对象的移动的3D模型图。如图29中所示，当第一图像被布置与3D模型的示例相对应的立体球CS上时，智能电话2输出指示由用户指定的参数等所指定的预定区域T的图像。也就是说，基于预定区域T输出的图像对应于输出图像。此外，在图28的示例中，生成输出图像使得对象OBJ在图29中的第一方向DR1上移动。

注意，对象移动的方向、对象开始被输出的位置、对象移动的速度或它们的组合可以由用户等指定。在图28的示例中，对象的移动方向在第一方向DR1上，但是对象的移动不限于第一方向DR1。

例如，对象移动的方向可以是在横向方向(图29中X轴方向上的第二方向DR2)上、深度方向(图29中Z轴方向上的第三方向DR3)上或其组合。

另外，在本示例中，例如，可以通过输入Y坐标值来指定对象开始被输出的位置。具体地，如图29中所示，例如，可以输入指示开始位置SPOS的坐标值。当确定了开始位置SPOS时，输出对象以便从开始位置SPOS朝向第一方向DR1移动。此外，例如，可以通过输入指示对象每帧要移动距离的坐标数字来指定对象的移动速度。这样，用户可以设置关于对象如何在第一图像的帧序列间移动的细节。

此外，因为输出图像是基于3D模型生成的，所以即使执行所谓的视点转换使得如图29中所示的预定区域T改变为不同的区域，对象OBJ也被输出为在相应的预定方向上移动。具体地，例如，如图30中所示的图像可以作为在视点转换之后的输出图像而输出。

图30示出了根据本发明实施例的具有俯视视点的示例输出图像。也就是说，图30示出了作为当与将要被输出的区域相对应的预定区域T被改变为与图29中所示的区域不同的区域时输出的示例图像的输出图像IMGOUTDW。更具体地，输出图像IMGOUTDW是作为执行视点转换的结果而输出的示例图像，该视点转换将输出图像的视点改变为与当在Y轴方向上从顶部朝底部观看时的视点相对应的所谓的俯视视点。在图30中，对象OBJ移动的方向是如图28中所示的情况那样的第一方向DR1上。

在输出图像IMGOUTDW中，例如，即使对象OBJ的移动方向被设置为与图28中的移动方向相同，对象OBJ也以与图28中的方式不同的方式被显示在屏幕内。具体地，在图30的输出图像IMGOUTDW中，对象OBJ从屏幕的外侧朝向中心输出，并且大小逐渐减小。也就是说，输出对象OBJ以便在屏幕的深度方向上从前向后移动。也就是说，即使当视点被改变为俯视视点时，与“花瓣”相对应的对象OBJ也被输出为看起来好像它由于重力而在第一方向DR1上下落。如上所述，当基于3D模型生成输出图像时，即使执行视点转换，智能电话2也可以输出第二图像使得它在相应的预定方向上移动。具体地，在图30所示的示例中，例如，可以输出第二图像以便以如图31中所示的方式移动。

图31是示出根据本发明实施例的具有俯视视点的输出图像中的第二图像的示例移动的图。图31是类似于图29中所示的3D模型图的3D模型图，其示出了图30的输出图像中的第二图像的移动，即对象的移动。在图31中，由于输出图像的视点转换为俯视视点，预定区域T的位置与图29中所示的预定区域T的位置不同。如图31中所示，即使执行视点转换，智能电话2也可以生成输出图像使得对象在第一方向DR1上移动。另外，例如，如图32中所示的图像可以被输出为在视点转换之后的输出图像。

图32是示出根据本发明实施例的具有仰视视点的示例输出图像的图。图32示出了作为当与将要被输出的区域相对应的预定区域T的位置从图29中所示的位置改变时输出的示例图像的输出图像IMGOUTUP。也就是说，输出图像IMGOUTUP是当输出图像的视点被改变为与在Y轴方向上从底部朝顶部观看时的视点相对应的所谓的仰视视点时输出的示例图像。在图32中，如图28中所示的情况那样，对象OBJ移动的方向是在第一方向DR1上。

在输出图像IMGOUTUP中，即使对象OBJ移动的方向被设置为与图28中的方向相同，对象OBJ也以与图28中的方式不同的方式被显示在屏幕内。具体地，在输出图像IMGOUTUP中，如图32所示，输出对象OBJ以便从屏幕的中心向屏幕的外侧移动并逐渐放大。也就是说，输出对象OBJ以便在屏幕的深度方向上从后向前移动。也就是说，即使当视点变为仰视视点时，也输出对象OBJ使得与“花瓣”相对应的对象OBJ看起来是由于重力而在第一方向DR1上下落。如上所述，当基于3D模型生成输出图像时，即使执行视点转换，智能电话2也可以输出第二图像使得它在预定方向上移动。

图33是示出根据本发明实施例的具有仰视视点的输出图像中的第二图像的示例移动的图。图33是类似于图29中所示的3D模型图的3D模型图，其示出了图32的输出图像中的第二图像的移动，即对象的移动。在图33中，由于输出图像的视点转换到仰视视点，预定区域T的位置不同于图29中所示的预定区域T的位置。如图33中所示，即使执行视点转换，智能电话2也可以生成输出图像使得对象在第一方向DR1上移动。

此外，因为输出图像是基于3D模型生成的，所以当执行涉及改变图29的预定区域T的范围的变焦处理时，例如可以根据变焦因子输出对象OBJ。更具体地，例如，可以输出如图34中所示的图像作为当执行缩小处理时的输出图像。

图34示出了根据本发明实施例的缩小的输出图像的示例。图34示出缩小的输出图像IMGOUTZO作为对图28的输出图像执行缩小处理而得到的示例输出图像，其指示比图28的输出图像更宽的范围。注意，假设对于图34的缩小的输出图像IMGOUTZO的其它设置与对于图28的输出图像的设置相同。具体地，例如，假设对象OBJ移动的方向是在第一方向DR1上。这样，在图34的缩小的输出图像IMGOUTZO中，在图28的输出图像中成像的对象被输出为更小。如图34中所示，例如，对象OBJ也由智能电话输出为根据变焦因子而看起来更小。此外，例如，当执行放大处理时，可以以类似的方式处理输出图像，并且可以输出如图35中所示的图像作为得到的输出图像。

图35是示出根据本发明实施例的放大的输出图像的示例的图。图35示出放大的输出图像IMGOUTZI作为对图28的输出图像执行放大处理而得到的示例输出图像，其指示比图28的输出图像更窄的范围。注意，假设对于图35的放大的输出图像IMGOUTZI的其它设置与对于图28的输出图像的设置相同。具体地，例如，假设对象OBJ移动的方向是在第一方向DR1上。这样，在图35的放大的输出图像IMGOUTZI中，在图28的输出图像中成像的对象被输出为更大。注意，放大的输出图像IMGOUTZI对应于图28的输出图像的中心部分的放大图像。如图35所示，例如，对象OBJ也由智能电话输出为根据变焦因子而看起来更大。

如上所述，当基于3D模型生成输出图像时，即使执行变焦处理或视点转换，例如，智能电话2也可以输出相应大小或相应移动方向上的第二图像。以这种方式，智能电话2可以将第二图像添加到第一图像上，以产生增强的呈现效果。

<功能配置示例>

图36是示出根据本发明实施例的图像处理装置的示例功能配置的功能框图。在图36中，作为图像处理装置的示例的智能电话2包括输入单元2F1和生成单元2F2。

输入单元2F1输入第一图像和将要被要添加到第一图像上的第二图像。例如，输入单元2F1可以由输入/输出设备2H3(图8)等实现。

生成单元2F2通过将第二图像布置在其上布置有第一图像的3D模型上，基于3D模型生成输出图像。例如，生成单元2F2可以由CPU 2H5(图8)等实现。

智能电话2还可以包括识别单元，该识别单元识别被包括在第一图像中的图像。例如，识别单元可以由CPU 2H5(图8)实现。

通过以上述方式基于3D模型生成输出图像，智能电话2可以输出输出图像，使得布置在3D模型上的第二图像在预定方向上移动。也就是说，即使执行视点转换、变焦处理或其组合，智能电话2也可以输出在预定方向上移动的第二图像。

例如，在第二图像被简单地叠加在第一图像上并被输出为从屏幕的顶部移动到底部的情况下，例如，当执行视点转换时，第二图像将不被输出为根据视点转换在相应的方向上移动。也就是说，即使执行视点转换，第二图像也将总是被输出为从屏幕的顶部移动到底部。另一方面，利用图36中所示的功能配置，基于3D模型生成输出图像，这样，例如，可以根据视点转换来更改第二图像移动的方向。因此，如图30所示，例如，即使执行视点转换，智能电话2也可以将第二图像添加到表示第一图像的图像上，从而产生诸如花瓣飘动的增强的呈现效果。

注意，例如，本发明的实施例可以通过以编程语言编写的程序来实现。也就是说，本发明的实施例可以通过程序来实现，该程序用于使诸如图像处理装置的计算机执行图像处理方法。程序可以被存储在记录介质中，例如闪存、SD(注册商标)卡或光盘中，并以这种状态分发。另外，例如，程序可以经由诸如互联网的电通信线路分发。

此外，根据本发明的实施例，例如，一些或所有处理可以由诸如现场可编程门阵列(FPGA)的可编程器件(PD)实现。此外，根据本发明的实施例，例如，部分或所有处理可以由ASIC(专用集成电路)实现。

此外，根据本发明实施例的信息处理装置不限于智能电话，例如可以是服务器等。此外，信息处理装置不限于一个信息处理装置，并且可以由多个信息处理装置构成。也就是说，例如，本发明的实施例可以通过包括一个或多个信息处理装置的图像处理系统来实现。

尽管上面已经关于某些说明性实施例描述了本发明，但是本发明不限于这些实施例。也就是说，可以在权利要求中描述的本发明的范围内进行各种修改和改变。

本申请基于并要求2016年3月15日提交的日本专利申请第2016-051471号的优先权日的权益，其全部内容通过引用结合于本文。

附图标记的描述

10 图像处理系统

1 图像捕获装置

2 智能电话

OBJ 对象

IMG11 第一图像

IMG21 第二图像

现有技术文献

专利文献

专利文献1：日本未经审查专利公开第2014-6880号

专利文献2：日本未经审查专利公开第2015-18013号

专利文献3：日本未经审查专利公开第2014-30104号

Claims (8)

1.一种图像处理装置，包括：

输入单元，被配置为输入第一图像和第二图像；以及

生成单元，被配置为通过将所述第二图像布置在3D模型上来生成输出图像，该3D模型上布置有所述第一图像。

2.根据权利要求1所述的图像处理装置，其中

所述第一图像包括附加信息；以及

基于所述附加信息来指定所述第二图像。

3.根据权利要求1所述的图像处理装置，还包括：

识别单元，被配置为识别被包括在所述第一图像中的图像；

其中，所述第二图像对应于指示与由所述识别单元识别的图像相同或相似的内容的图像。

4.根据权利要求1所述的图像处理装置，其中，所述第一图像对应于由图像捕获装置捕获的图像或者基于由多个图像捕获装置捕获的多个图像而生成的图像。

5.根据权利要求1所述的图像处理装置，其中，输出所述第二图像以便在所述第一图像的帧序列上沿预定方向移动。

6.根据权利要求5所述的图像处理装置，其中

设置所述第二图像移动的方向、所述第二图像开始被输出的位置、所述第二图像移动的速度或其组合。

7.一种图像处理系统，包括至少一个信息处理装置，所述图像处理系统包括：

输入单元，被配置为输入第一图像和第二图像；以及

生成单元，被配置为通过将所述第二图像布置在3D模型上来生成输出图像，该3D模型上已布置有所述第一图像。

8.一种由图像处理装置实现的图像处理方法，所述图像处理方法包括以下步骤：

所述图像处理装置输入第一图像和第二图像；以及

所述图像处理装置通过将所述第二图像布置在3D模型上来生成输出图像，该3D模型上已布置有所述第一图像。