CN110610531A - 图像处理方法、图像处理装置和记录介质 - Google Patents

Abstract

一种图像处理装置，包括显示单元和操作单元，其中，所述显示单元配置至少允许对全天球图像进行编辑的第一区域和允许使全天球图像的显示改变的第二区域，并且所述显示单元显示全天球图像；以及所述操作单元接收对第二区域的使全天球图像的显示改变的操作，并且使所述显示单元改变在所述第一区域和第二区域中显示的全天球图像的显示范围。

Description

图像处理方法、图像处理装置和记录介质

本申请是申请日为2015年03月10日、申请号为201580013326.0、发明名称为“信息处理方法、信息处理设备和程序”的发明专利申请的分案申请。

技术领域

本发明涉及图像处理方法、图像处理装置和记录介质。

背景技术

传统上已知用于显示全景图像的方法。

已知用户界面(以下将被称作“UI”)用于接受来自用户的关于在全景图像显示器中全景图像的显示的指令(例如，参见日本专利申请公开No.2011-076249)。

然而，传统的UI在智能电话等上的图像显示时将用于滚动图像的功能分配给所谓的“拖动”，因此，用户可能难以执行例如图像的编辑等的图像操作。

发明内容

根据本发明的一方面，提供了用于使计算机处理图像的信息处理方法，其中，所述图像处理方法使计算机执行获取该图像的获取步骤和输出以该图像的预定区域作为能够进行图像编辑的编辑区域和以除所述预定区域之外的区域作为用于移动所述编辑区域的改变区域的输出图像的输出步骤，其中用于所述编辑区域的操作不移动所述编辑区域。

根据本发明的另一方面，提供了处理图像的信息处理设备，其中，所述图像处理设备具有获取该图像的获取部分和输出以该图像的预定区域作为能够进行图像编辑的编辑区域和以除所述预定区域之外的区域作为用于移动所述编辑区域的改变区域的输出图像的输出部分，其中用于所述编辑区域的操作不移动所述编辑区域。

根据本发明的另一方面，提供了用于使计算机处理图像的程序，其中，所述程序使计算机执行获取该图像的获取步骤和输出以该图像的预定区域作为能够进行图像编辑的编辑区域和以除所述预定区域之外的区域作为用于移动所述编辑区域的改变区域的输出图像的输出步骤，其中用于所述编辑区域的操作不移动所述编辑区域。

附图说明

图1是说明根据本发明的一个实施例的图像采集系统的整体配置示例的图。

图2A、图2B和图2C是说明根据本发明的一个实施例的图像采集设备的一个示例的图。

图3是说明根据本发明的一个实施例的图像采集设备的图像采集的一个示例的图。

图4A、图4B和图4C是说明根据本发明的一个实施例的图像采集设备所采集的图像的一个示例的图。

图5是说明根据本发明的一个实施例的图像采集设备的硬件配置的一个示例的方框图。

图6是说明根据本发明的一个实施例的智能电话的硬件配置的一个示例的方框图。

图7是说明根据本发明的一个实施例的图像采集系统的整体处理的一个示例的序列图。

图8A、图8B、图8C和图8D是说明根据本发明的一个实施例的全天球(allcelestial sphere)图像的一个示例的图。

图9是说明根据本发明的一个实施例的全天球全景图像的一个示例的图。

图10A、图10B、图10C和图10D是用于说明根据本发明的一个实施例的初始图像的一个示例的图。

图11是说明根据本发明的一个实施例的处于用于执行图像编辑的初始状态的输出图像的一个示例的图。

图12A、图12B和图12C是用于说明根据本发明的一个实施例的将要输出的区域的编辑的一个示例的图。

图13A和图13B是用于说明根据本发明的一个实施例的将要输出的区域的放大或缩小的一个示例的图。

图14是用于说明根据本发明的一个实施例的另一变焦过程的一个示例的图。

图15是用于说明根据本发明的一个实施例的另一变焦过程的一个示例的表。

图16A、图16B、图16C、图16D和图16E是用于说明根据本发明的一个实施例的另一变焦过程的“范围”的一个示例的图。

图17A和图17B是用于说明根据本发明的一个实施例的基于编辑区域对预定区域所执行的编辑的一个示例的图。

图18是说明根据本发明的一个实施例的智能电话的整体处理的一个示例的流程图。

图19A和图19B是用于说明根据本发明的一个实施例的区域的分隔的改变的一个示例的图。

图20是用于说明根据本发明的一个实施例的图像采集系统的功能配置的一个示例的功能图。

具体实施方式

下面将描述本发明的实施例。

<第一实施例>

<系统的整体配置>

图1是说明根据本发明的一个实施例的图像采集系统的整体配置的一个示例的图。

图像采集系统10具有图像采集设备1和智能电话2。

图像采集设备1具有多个光学系统，产生并向智能电话2输出例如诸如在图像采集设备1周围的所有方向的宽范围的采集图像(以下将被称作“全天球图像”)。下面将描述图像采集设备1和全天球图像的细节。由图像采集系统10处理的图像例如是全天球图像。全景图像例如是全天球图像。下面将描述全天球图像的示例。

信息处理设备例如是智能电话2。下面将作为示例来描述智能电话2。智能电话2是用于使用户操作从图像采集设备1获取的全天球图像的设备。智能电话2是用于使用户输出所获取的全天球图像的设备。下面将描述智能电话2的细节。

图像采集设备1和智能电话2经历有线或无线连接。例如，智能电话2从图像采集设备1下载从图像采集设备1输出的诸如全天球图像的数据，并将其输入至智能电话2。这里，可通过网络来执行连接。

这里，整体配置并不限于图1所示的配置。例如，图像采集设备1和智能电话2可以是集成设备。此外，除图像采集设备1和智能电话2之外的另一计算机可连接起来以由三个或更多设备组成。

<图像采集设备>

图2A、图2B和图2C是说明根据本发明的一个实施例的图像采集设备的一个示例的图。

图2A、图2B和图2C是说明图像采集设备1的外观的一个示例的图。图2A是图像采集设备1的正视图的一个示例。图2B是图像采集设备1的左侧视图的一个示例。图2C是图像采集设备1的俯视图的一个示例。

图像采集设备1具有前侧图像采集元件1H1、后侧图像采集元件1H2和开关1H3。下面将描述在图像采集设备1的内部所提供的硬件。

图像采集设备1通过利用由前侧图像采集元件1H1和后侧图像采集元件1H2所采集的图像来产生全天球图像。

开关1H3是所谓“快门按钮”，是用于使用户对图像采集设备1执行图像采集的指令的输入设备。

图像采集设备1由用户手持，例如，如图2A所示，并且按下开关1H3来执行图像采集。

图3是说明根据本发明的一个实施例的图像采集设备的图像采集的一个示例的图。

如图3所示，用户手持图像采集设备1，并按下图2A、图2B和图2C中的开关1H3来执行图像采集。如图3所示，图像采集设备1能够通过图2A、图2B和图2C中的前侧图像采集元件1H1和图2A、图2B和图2C中的后侧图像采集元件1H2来在图像采集设备1周围的所有方向上采集图像。

图4A、图4B和图4C是说明根据本发明的一个实施例的图像采集设备所采集的图像的一个示例的图。

图4A是通过图2A、图2B和图2C中的前侧图像采集元件1H1所采集的图像的一个示例。图4B是通过图2A、图2B和图2C中的后侧图像采集元件1H2所采集的图像的一个示例。图4C是基于通过图2A、图2B和图2C中的前侧图像采集元件1H1所采集的图像和通过图2A、图2B和图2C中的后侧图像采集元件1H2所采集的图像而产生的图像的一个示例。

通过图2A、图2B和图2C中的前侧图像采集元件1H1所采集的图像是图像采集范围为在图像采集设备1的前向方向上的宽范围的图像，例如，以180°范围作为视角，如图4A所示。在图2A、图2B和图2C中的前侧图像采集元件1H1使用例如所谓的“鱼眼镜头”的用于采集具有宽范围的图像的光学系统的情况中，通过图2A、图2B和图2C中的前侧图像采集元件1H1所采集的图像具有如图4所示的畸变像差。图4A中的通过图2A、图2B和图2C中的前侧图像采集元件1H1所采集的图像是所谓的“半球图像”，其具有图像采集设备1的一侧的宽范围以及畸变像差(以下将被称作“半球图像”)。

这里，期望视角在大于或等于180°并小于或等于200°的范围内。具体地，由于下面将要描述的图4A中的半球图像和图4B中的半球图像在视角大于180°的情况下被合成，存在重叠图像区域，因此，促进了合成。

通过图2A、图2B和图2C中的后侧图像采集元件1H2所采集的图像是图像采集范围为在图像采集设备1的后向方向的宽范围的图像，例如，以180°范围作为视角，如图4B所示。

图4B中的通过图2A、图2B和图2C中的后侧图像采集元件1H2所采集的图像是类似于图4A的半球图像。

图像采集设备1执行诸如畸变校正处理和合成处理的处理，从而从图4A中的前侧半球图像和图4B中的后侧半球图像来产生图4C所示的图像。图4C是例如通过墨卡托投影、等距圆柱投影等产生的图像，即全天球图像。

这里，全天球图像并不限于由图像采集设备1所产生的图像。全天球图像可以是例如由另一相机等拍摄的图像、或基于由另一相机所拍摄的图像来产生的图像。期望全天球图像是由所谓的“全方向相机”、所谓的“广角镜头相机”等拍摄的具有宽范围的视角的图像。

此外，将作为示例来描述全天球图像，而图像并不限于这种全天球图像。图像可以是例如由紧凑型相机、单镜头反射式相机、智能电话等拍摄的图像等。图像可以是水平或垂直延伸的全景图像等。

<图像采集设备的硬件配置>

图5是说明根据本发明的一个实施例的图像采集设备的硬件配置的一个示例的方框图。

图像采集设备1具有图像采集单元1H4、图像处理单元1H7、图像控制单元1H8、中央处理单元(CPU)1H9和只读存储器(ROM)1H10。此外，图像采集设备1具有静态随机存取存储器(SRAM)1H11、动态随机存取存储器(DRAM)1H12和操作接口(I/F)1H13。而且，图像采集设备1具有网络I/F 1H14、无线I/F 1H15和天线1H16。图像采集设备1的每一部件通过总线1H17连接，并执行数据或信号的输入或输出。

图像采集单元1H4具有前侧图像采集元件1H1和后侧图像采集元件1H2。放置了对应于前侧图像采集元件1H1的镜头1H5和对应于后侧图像采集元件1H2的镜头1H6。前侧图像采集元件1H1和后侧图像采集元件1H2是所谓的“相机单元”。前侧图像采集元件1H1和后侧图像采集元件1H2具有例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的光学传感器。前侧图像采集元件1H1执行用于转换入射在镜头1H5上的光以产生图像数据的处理。后侧图像采集元件1H2执行用于转换入射在镜头1H6上的光以产生图像数据的处理。图像采集单元1H4将由前侧图像采集元件1H1和后侧图像采集元件1H2所产生的图像数据输出至图像处理单元1H7。例如，图像数据是图4A中的前侧半球图像和图4B中的后侧半球图像等。

这里，前侧图像采集元件1H1和后侧图像采集元件1H2可具有除镜头之外的光学元件，比如光阑(stop)或低通滤波器，以执行具有高图像质量的图像采集。此外，前侧图像采集元件1H1和后侧图像采集元件1H2可执行例如所谓的“缺陷像素校正”或所谓的“手移动校正”的处理，以执行具有高图像质量的图像采集。

图像处理单元1H7执行用于从自图像采集单元1H4输入的图像数据来产生图4C中的全天球图像的处理。下面将描述用于产生全天球图像的处理的细节。这里，图像处理单元1H7所执行的处理可以是这样：处理的部分或全部由另一计算机并行或冗余地执行。

图像采集控制单元1H8是控制图像采集设备1的每一部件的控制设备。

CPU 1H9对图像采集设备1所执行的每一处理执行操作或控制。例如，CPU 1H9执行每种程序。这里，CPU 1H9可由多个CPU或设备、或多个内核组成，以达到由并行处理引起的加速。此外，CPU 1H9的处理可以是使得在图像采集设备1的内部或外部提供另一硬件资源，并使其执行对图像采集设备1的处理的部分或全部。

ROM 1H10、SRAM 1H11和DRAM 1H12是存储设备的示例。ROM 1H10例如存储由CPU1H9所执行的程序、数据或参数。在CPU 1H9执行程序的情况下，SRAM 1H11和DRAM 1H12例如存储程序、将要在程序中使用的数据、将要由程序产生的数据、参数等。这里，图像采集设备1可具有诸如硬盘的辅助存储设备。

操作I/F 1H13是执行用于将用户的操作输入至图像采集设备1的处理的接口，比如开关1H13。操作I/F 1H13是诸如开关、用于连接操作设备的连接器或电缆、用于处理从操作设备输入的信号的电路、驱动器、控制设备等的操作设备。这里，操作I/F 1H13可以具有诸如显示器的输出设备。此外，操作I/F 1H13可以是其中集成了输入和输出设备的所谓“触摸屏”等。而且，操作I/F 1H13可具有例如通用串行总线(USB)的接口，连接诸如闪存(注册商标)的存储介质，并从图像采集设备1输入数据以及向其输出数据。

这里，开关1H13可具有用于执行除快门操作之外的操作的电源开关、参数输入开关等。

网络I/F 1H14、无线I/F 1H15和天线1H16是用于通过无线或有线网络和外围电路等将图像采集设备1与另一计算机相连接的设备。例如，图像采集设备1通过网络I/F 1H14连接到网络，并将数据传输至智能电话2。这里，网络I/F 1H14、无线I/F 1H15和天线1H16可配置为通过利用诸如USB、电缆等的连接器来连接。

总线1H17用于在图像采集设备1的各部件之间的数据等的输入和输出。总线1H17是所谓的“内部总线”。总线1H17例如是外围组件互连快速总线(PCI Express)。

这里，图像采集设备1并不限于两个图像采集元件的情况。例如，可以有三个或更多图像采集元件。而且，图像采集设备1可改变一个图像采集元件的图像采集角度，以采集多个部分图像。此外，图像采集设备1不限于使用鱼眼镜头的光学系统。例如，可使用广角镜头。

这里，由图像采集设备1执行的处理不限于图像采集设备1所执行的处理。图像采集设备1所执行的处理的部分或全部可由智能电话2或通过网络连接的另一计算机来执行，同时图像采集设备1可以传输数据或参数。

<信息处理设备的硬件配置>

图6是说明根据本发明的一个实施例的包括智能电话的信息处理设备的硬件配置的一个示例的方框图。

信息处理设备是计算机。除智能电话之外，信息处理设备例如也可以是笔记本个人计算机(PC)、个人数字助理(PDA)、平板机、移动电话等。

作为信息处理设备的一个示例的智能电话2具有辅助存储设备2H1、主存储设备2H2、输入/输出设备2H3、状态传感器2H4、CPU 2H5和网络I/F 2H6。智能电话2的每一部件与总线2H7相连，并执行数据或信号的输入或输出。

辅助存储设备2H1存储诸如包括由于CPU 2H5、控制设备等的控制而由CPU 2H5所执行的处理的中间结果的各种数据、参数或程序的信息。辅助存储设备2H1例如是硬盘、快闪固态驱动器(SSD)等。这里，存储在辅助存储设备2H1中的信息是这样的，该信息的部分或全部可存储在与网络I/F 2H6等相连的文件服务器中，而不是辅助存储设备2H1中。

主存储设备2H2是诸如将要由CPU 2H5所执行的程序使用的存储区域的主存储设备，即所谓的“内存(memory)”。主存储设备2H2存储诸如数据、程序或参数的信息。主存储设备2H2例如是静态随机存取存储器(SRAM)、DRAM等。主存储设备2H2可具有用于执行存入内存中或从内存获取的控制设备。

输入/输出设备2H3是具有用于执行显示的输出设备和用于输入用户的操作的输入设备的功能的设备。

输入/输出设备2H3是所谓的“触摸屏”、“外围电路”、“驱动器”等。

输入/输出设备2H3执行用于向用户显示例如在预定图形用户界面(GUI)或智能电话2中输入的图像的处理。

输入/输出设备2H3执行用于例如在用户操作具有显示或图像的GUI的情况下输入该用户的操作的处理。

状态传感器2H4是用于检测智能电话2的状态的传感器。状态传感器2H4是陀螺传感器、角度传感器等。状态传感器2H4例如确定由智能电话2所处理的一侧是否提供在相对水平线(horizon)的预定或更大的角度上。也就是说，状态传感器2H4执行关于智能电话2是被提供在纵向方向姿态的状态还是横向方向姿态的状态的检测。

CPU 2H5执行由智能电话2所执行的每一处理中的计算、以及对在智能电话2中所提供的设备的控制。例如，CPU 2H5执行每种程序。这里，CPU 2H5可由多个CPU或设备、或多个内核组成，以并行地、冗余地或离散地执行处理。此外，用于CPU 2H5的处理是这样的，可在智能电话2的内部或外部提供另一硬件资源以执行用于智能电话2的处理的部分或全部。例如，智能电话2可具有用于执行图像处理等的图形处理单元(GPU)。

网络I/F 2H6是通过无线或有线网络与另一计算机相连的诸如天线、外围电路、驱动器等的设备，用于输入或输出数据等。例如，由于CPU 2H5和网络I/F 2H6，智能电话2执行用于从图像采集设备1输入图像数据的处理。由于CPU 2H5和网络I/F 2H6，智能电话2执行用于向图像采集设备1输出预定参数等的处理。

<用于图像采集系统的整体处理>

图7是说明用于根据本发明的一个实施例的图像采集系统的整体处理的一个示例的序列图。

在步骤S0701，图像采集设备1执行用于产生全天球图像的处理。

图8A、图8B、图8C和图8D是说明根据本发明的一个实施例的全天球图像的一个示例的图。

图8A、图8B、图8C和图8D是说明用于在步骤S0701产生全天球图像的处理的一个示例的图。

图8A是以这样的方式来说明的图，图4A中的半球图像中的入射角在相对光轴的水平方向或垂直方向上相等的位置通过线而连接。以下将表示在相对光轴的水平方向上的入射角θ和在相对该光轴的垂直方向上的入射角φ。

类似于图8A，图8B是以这样的方式来说明的图，图4B中的半球图像中的入射角在相对光轴的水平方向或垂直方向上相等的位置通过线而连接。

图8C是说明依照墨卡托投影而处理的图像的一个示例的图。图8C是其中例如使处于图8A或图8B所示的状态中的图像与初步产生的查找表(LUT)等相对应并依照等距圆柱投影来处理的情况的示例。

图8D是用于合成通过将图8C中所示的处理应用于图8A和图8B而提供的图像的合成处理的示例。

如图8D所示，合成处理是要通过利用例如处于图8C所示的状态中的多个图像来产生图像。这里，合成处理不限于用于简单地连续排列预处理后的图像的处理。例如，在水平方向上的全天球图像的中心没有提供在θ＝180°的角度上的情况中，合成处理可以是用于以这样的方式来执行合成处理的处理：将图4A中的预处理后的图像排列在全天球图像的中心，并且将图4B中的预处理后的图像划分并排列在其左侧和右侧，以产生图4C所示的全天球图像。

这里，用于产生全天球图像的处理不限于依照等距圆柱投影的处理。例如，以这样的方式来提供所谓的“颠倒”的情况，如像图8B，在φ方向上的像素的排列(alignment)相对于图8A中的像素的排列上下颠倒，并且在θ方向上的像素的排列相对于图8A中的排列左右反转。在颠倒的情况中，图像采集设备1可执行用于将处于图8B的状态中的预处理后的图像转动或旋转180°的处理，以与图8A中φ方向和θ方向上的像素的排列对齐。

此外，用于产生全天球图像的处理可执行校正处理，用于校正在处于图8A或图8B的状态中的图像中所提供的畸变像差。而且，用于产生全天球图像的处理可执行用于改善图像质量的处理，例如，阴影校正、伽马校正、白平衡、手移动校正、光学黑校正处理、缺陷像素校正处理、边缘增强处理、线性校正处理等。

这里，例如，在半球图像的图像采集范围与另一半球图像的图像采集范围重叠的情况中，合成处理可通过利用重叠范围来以高精度执行该合成处理以执行校正。

由于用于产生全天球图像的处理，图像采集设备1从由图像采集设备1所采集的半球图像来产生全天球图像。

在步骤S0702中，智能电话2执行用于获取步骤S0701中所产生的全天球图像的处理。下面将作为示例来描述智能电话2获取图8D中的全天球图像的情况。

在步骤S0703中，智能电话2从在步骤S0702中所获取的全天球图像来产生全天球全景图像。全天球全景图像是以这样的方式而提供的图像：将全天球图像施加到球形上。

图9是说明根据本发明的一个实施例的全天球全景图像的一个示例的图。

在步骤S0703中，智能电话2执行用于从图8D中的全天球图像来产生

图9中的全天球全景图像的处理。

用于产生全天球全景图像的处理例如由诸如嵌入式系统的开放GL(注册商标)(Open GL ES)的应用编程接口(API)来实现。

通过将图像划分成三角形，连接三角形的顶点P(以下将被称作“顶点P”)，并应用其多边形来产生全天球全景图像。

在步骤S0704中，智能电话2执行用于使用户输入操作以开始图像输出的处理。在步骤S0704中，智能电话2例如缩小并输出在步骤S0703中所产生的全天球全景图像，也就是说，显示所谓的“缩略图”。在多个全天球全景图像被存储在智能电话2中的情况中，智能电话2例如输出缩略图的列表，以使用户选择要输出的图像。在步骤S0704中，智能电话2例如执行用于输入操作以使用户从缩略图的列表中选择一个图像的处理。

在步骤S0705中，智能电话2执行用于基于在步骤S0704中所选择的全天球全景图像来产生初始图像的处理。

图10A、图10B、图10C和图10D是用于说明根据本发明的一个实施例的初始图像的一个示例的图。

图10A是说明用于说明根据本发明的一个实施例的初始图像的一个示例的三维坐标系的图。

如图10A所示，下面将描述具有XYZ轴的三维坐标系。智能电话2将虚拟相机3放置在原点位置，并以虚拟相机3的视点来产生每种图像。在图10A中的坐标系的情况中，全天球全景图像例如由球体CS来表示。虚拟相机3对应于观看全天球全景图像的用户的视点，其中这样的全天球全景图像是在其所放置的位置处的球体CS。

图10B是用于说明用于根据本发明的一个实施例的虚拟相机的预定区域的一个示例的图。

图10B是图10A由三平面图来表示的情况。图10B是虚拟相机3被放置在图10A的原点的情况。图10C是根据本发明的一个实施例的虚拟相机的预定区域的一个示例的投影视图。

预定区域T是虚拟相机3的视角被投影到球体CS上的区域。智能电话2基于预定区域T来产生图像。

图10D是用于说明根据本发明的一个实施例的用于确定虚拟相机的预定区域的信息的一个示例的图。

预定区域T例如通过预定区域信息(x,y,α)来确定。

视角α是指示如图10D所示的虚拟相机3的角度的角度。在由视角α所表示的预定区域T的对角视角2L的情况中，这样的预定区域T的中心点CP的坐标由预定区域信息中的(x,y)来表示。

这里，从虚拟相机3到中心点CP的距离由下述公式(1)来表示：

f＝tan(α/2) (公式1)

初始图像是通过基于初步设定的初始设置来确定预定区域T并基于这样确定的预定区域T来产生而提供的图像。初始设置例如是(x,y,α)＝(0,0,34)等。

在步骤S0706中，智能电话2使用户执行用于切换到图像编辑模式的操作。这里，在用户未执行用于切换到图像编辑模式的操作的情况中，智能电话2例如输出初始图像。

在步骤S0707中，智能电话2执行用于输出输出图像以编辑图像的处理。

图11是说明根据本发明的一个实施例的处于用于编辑图像的初始状态的输出图像的一个示例的图。

输出图像例如是处于初始状态的输出图像21。输出图像具有处于初始状态的编辑图像31和处于初始状态的改变图像41。

输出图像显示用于接收用户的操作的图形用户界面(GUI)的按钮。GUI例如是模糊编辑按钮51、取消编辑按钮52等。这里，输出图像可具有另一GUI。

处于初始状态的编辑区域31和处于初始状态的改变区域41被组合成与在步骤S0705中所产生的初始图像一致的输出。输出图像具有用于分隔并输出编辑区域31和改变区域41的分隔线211。这里，分隔线211不限于实线。分隔线211例如可以是虚线、图案等。此外，智能电话2可以这样的方式改变分隔线211的图案、诸如分隔线211的颜色或线条类型：相对将要输出的周围像素，用户很容易看到分隔线211。例如，在具有例如雪景的许多白色物体的输出图像的情况中，智能电话2以具有蓝色的实线来输出分隔线211。例如，在具有诸如一群高层建筑的许多反射物体的输出图像的情况中，智能电话2以具有红色的粗实线来输出分隔线211。例如，在具有诸如图表或设计图的许多物体的输出图像的情况中，智能电话2以具有绿色的粗虚线来输出分隔线211。

依据物体或背景来改变分隔线的图案，从而智能电话2能够使用户容易地看到区域之间的分隔。

这里，尽管分隔线被清楚地指示为使用户容易地看到区域之间的分隔，但是可以不显示分隔线。例如，分隔线妨碍对操作已熟悉的用户，因此，智能电话2可控制显示/不显示这样的分隔线。而且，智能电话2可改变编辑区域的对比度或改变区域的对比度，而不是显示分隔线，使得能够识别区域之间的分隔。在这种情况中，实施例由以这样的方式所提供的配置来实现：智能电话2通过利用编辑区域的坐标和改变区域的坐标来控制输出图像中的区域的对比度。

用户以图像编辑模式来编辑图像，因此，将操作应用于在输出图像中显示的编辑区域或改变区域。

在步骤S0708中，智能电话2执行用于使用户输入操作以编辑图像的处理。

在步骤S0709中，智能电话2获取用户输入对于输入/输出设备2H3的操作的坐标。在步骤S0709中，智能电话2执行用于基于所获得的坐标来确定是对于图11中的处于初始状态的编辑区域31中的区域执行操作还是对于图11中的处于初始状态的改变区域41中的区域执行操作的处理。

图像编辑是基于用户的操作来执行的编辑。对将要输出的区域的编辑是用于基于改变区域来改变图像中将要输出的区域的编辑、或基于编辑区域对预定区域所执行的编辑。

在步骤S0709中操作被应用于改变区域的区域的情况中执行用于改变将要输出的区域的编辑。

在步骤S0709中操作被应用于编辑区域中的区域的情况中执行基于编辑区域要对预定区域执行的编辑。

在用户操作改变区域(在步骤S0709中确定改变区域中的区域)的情况中，智能电话2来到步骤S0710。在用户操作编辑区域(在步骤S0709中确定编辑区域中的区域)的情况中，智能电话2来到步骤S0712。

<用于改变将要输出的区域的编辑>

图12A、图12B和图12C是用于说明根据本发明的一个实施例的要输出的区域的编辑的一个示例的图。

图12A是说明根据本发明的一个实施例的在编辑要输出的区域之后的输出图像的一个示例的图。

输出图像例如是在编辑要输出的区域之后的输出图像22。在编辑要输出的区域之后的输出图像22具有在编辑要输出的区域之后的编辑区域32以及在编辑要输出的区域之后的改变区域42。在编辑要输出的区域之后的输出图像22具有分隔线211用于分隔并输出在编辑要输出的区域之后的编辑区域32和在编辑要输出的区域之后的改变区域42，类似于处于初始状态的输出图像21。

在编辑要输出的区域之后的输出图像22是通过改变图11中处于初始状态的输出图像21中的如图10A、图10B、图10C和图10D所示的预定区域T而产生的图像。在编辑要输出的区域之后的输出图像22是要输出对应于通过在编辑要输出的区域之后的编辑区域32和在编辑要输出的区域之后的改变区域42改变的预定区域T的图像，类似于处于初始状态的输出图像21。

图12B是说明根据本发明的一个实施例的在编辑要输出的区域之后的预定区域的一个示例的图。

在编辑要输出的区域之后的输出图像22例如被提供在处于图10B的状态下的虚拟相机3如图12B所示被平移旋转(pan-rotate)的情况的视点处。

图12C是说明根据本发明的一个实施例的在编辑要输出的区域的情况中的操作的一个示例的图。

以这样的方式来执行对要输出的区域的编辑：用户操作其中改变图像被输出的屏幕区域。

要在步骤S0708中输入的操作例如是用于相对图像的左、右方向来改变要输出的区域的操作等。

在图12A、图12B和图12C的情况中，用户输入的操作是这样的，用手指在如图12C所示的屏幕的左、右方向上追踪处于图11中的初始状态的改变区域41的屏幕，即所谓的“挥动(swipe)操作”等。

此处，在挥动操作上的输入量被提供为(dx,dy)。

图8A、图8B、图8C和图8D中的全天球的极坐标系(φ,θ)与输入量(dx,dy)之间的关系由下述公式(2)表示：

φ＝k×dx

θ＝k×dy

公式(2)

在上述公式(2)中，k是用于执行调整的预定常数。

输出图像基于对于挥动操作输入的输入量而改变，因此，用户能够以诸如地球仪的球体被转动的感觉而操作图像。

这里，为了简化处理，挥动操作被输入到屏幕的什么位置可以不做考虑。也就是说，即使在输出了处于初始状态的改变区域41的屏幕的任意位置处执行挥动操作，对于公式(2)中的输入量(dx,dy)可以输入类似的值。

在编辑要输出的区域之后的改变区域42基于依照公式(2)计算的(φ,θ)来执行三维空间中的顶点P的坐标(Px,Py,Pz)的透视投影变换。

在用户在图12A的情况中利用输入量(dx2,dy2)来执行挥动操作的情况中，全天球的极坐标系(φ,θ)由下述公式(3)表示：

φ＝k×(dx+dx2)

θ＝k×(dy+dy2) (公式3)

如上述公式(3)所示，全天球的极坐标系(φ,θ)基于各个挥动操作的输入量的总值来计算。即使在执行多个挥动操作等的情况中，执行全天球的极坐标系(φ,θ)的计算，从而能够保持持续的可操作性。

这里，对要输出的区域的编辑不限于平移旋转。例如，可实现虚拟相机3在图像的上下方向上的倾斜旋转。

在步骤S0708中输入的操作例如是用于放大或缩小将要输出的区域的操作等。

图13A和图13B是用于说明根据本发明的一个实施例的将要输出的区域的放大或缩小的一个示例的图。

在执行将要输出的区域的放大的情况中，用户输入的操作是这样的，两个手指在其中输出图11中的处于初始状态的改变区域41的屏幕上展开，如图13A所示，即所谓的“扩张(pinch-out)操作”等。

在执行将要输出的区域的缩小的情况中，用户输入的操作是这样的，两个手指在其中输出图11中的处于初始状态的改变区域41的屏幕上相互更靠近地移动，如图13B所示，即所谓的“缩进(pinch-in)操作”等。

这里，只要用户的手指首次接触的位置被提供在其上显示有改变图像的区域中，扩张或缩进操作就足够，且该扩张或缩进操作可以是随后利用其上显示有编辑区域的区域的操作。此外，操作可由作为用于操作触摸屏等的工具的所谓的“手写笔”来执行。

在图13A和图13B中所示的操作被输入的情况中，智能电话2执行所谓的“变焦(zoom)操作”。

变焦操作是用于产生具有基于用户输入的操作而放大或缩小的预定区域的图像的处理。

在图13A和图13B中所示的操作被输入的情况中，智能电话2基于用户输入的操作来获取改变量dz。

变焦操作是用于基于改变量dz依照下述公式(4)执行计算的处理：

α＝α0+m×dz 公式(4)

上述公式(4)中所指示的α是图10A、图10B、图10C和图10D中所示的虚拟相机3的视角α。公式(4)中所指示的m是用于调整变焦量的系数。公式(4)中所指示的α0是处于初始状态的视角α，即在步骤S0705中生成初始图像的情况中的视角α。

在图13A和图13B所示的操作被输入的情况中，智能电话2通过使用依照公式(4)所计算的视角α用于投影矩阵来确定图10A、图10B、图10C和图10D中的预定区域T的范围。

在依照公式(4)来执行计算且用户执行用于提供改变量dz2的操作的情况中，智能电话2依照下述公式(5)执行计算：

α＝α0+m×(dz+dz2) (公式5)

如上述公式(5)所示，基于由如图13A和图13B中所示的操作引起的改变量的总值来计算视角α。即使在执行多个如图13A和图13B中所示的操作等的情况中，执行全天球的视角α的计算，从而，能够保持持续的可操作性。

这里，变焦处理不限于依照公式(4)或公式(5)的处理。

变焦处理可通过组合虚拟相机3的视角α和视点位置的改变来实现。

图14是用于说明根据本发明的一个实施例的另一变焦处理的一个示例的图。

图14是用于说明另一变焦处理的模型图。图14中的球体CS类似于图10A、图10B、图10C和图10D中的球体CS。在图14中，球体CS的半径被描述为“1”。

图14中的原点被提供在虚拟相机3的初始位置处。虚拟相机3的位置在光轴、即图10A中的z轴上变化。能够通过离原点的距离来表示虚拟相机3的移动量d。例如，在虚拟相机3被定位在原点处的情况下，即初始状态的情况下，移动量d为“0”。

图10A、图10B、图10C和图10D中的预定区域T的范围由基于虚拟相机3的视角α和移动量d的视场角ω来表示。如图14中所示的视场角ω是在虚拟相机3被定位在原点处的情况下、即d＝0的情况下的视场角。

在虚拟相机3被定位在原点处的情况下、即d＝0的情况下，视场角ω与视角α一致。在虚拟相机3偏离原点的情况下、即d的值增加的情况下，视场角ω与视角α呈现不同的范围。

另一变焦处理是用于改变视场角ω的处理。

图15是用于说明根据本发明的一个实施例的另一变焦处理的一个示例的表。

说明性表4说明视场角ω的范围为60°到300°的情况的示例。

如说明性表4所示，智能电话2确定基于变焦规格值ZP来优先改变虚拟相机3的视角α和移动量d中的哪一个。

“RANGE(范围)”是基于变焦规格值ZP确定的范围。

“OUT MAGNIFICATION(输出放大率)”是基于由另一变焦处理所确定的图像参数而计算出的图像的输出放大率。

“ZOOM SPECIFICATION VALUE ZP(变焦规格值ZP)”是对应于将要输出的视场角的值。另一变焦处理改变用于基于变焦规格值ZP来确定移动量d和视角α的处理。对于要在另一变焦处理中执行的处理，基于如说明性表4中所说明的变焦规格值ZP来确定四种方法之一。变焦规格值ZP的范围被划分成4个范围，它们是范围A-B、范围B-C、范围C-D和范围D-E。

“ANGLE OF VIEW ω(视场角ω)”是对应于由另一变焦处理所确定的图像参数的视场角ω。

“CHANGING PARAMETER(改变参数)”是说明基于变焦规格值ZP通过4种方法中的每种方法改变的参数的描述。“REMARKS(评论)”是对“CHANGING PARAMETER”的评论。

说明性表4中的“viewWH”是表示输出区域的宽度或高度的值。在输出区域在横向上长的情况中，“viewWH”是宽度的值。在输出区域在纵向上长的情况中，“viewWH”是高度的值。也就是说，“viewWH”是表示输出区域在纵向方向上的尺寸的值。

说明性表4中的“imgWH”是表示输出图像宽度或高度的值。在输出区域在横向上长的情况中，“imgWH”是输出图像的宽度的值。在输出区域在纵向上长的情况中，“imgWH”是输出图像的高度的值。也就是说，“imgWH”是表示输出图像在纵向方向上的尺寸的值。

说明性表4中的“imageDeg”是表示输出图像的显示范围的角度的值。在表示输出图像的宽度的情况中，“imageDeg”是360°。在表示输出图像的高度的情况中，“imageDeg”是180°。

图16A、图16B、图16C、图16D和图16E是用于说明根据本发明的一个实施例的另一变焦处理的“范围”的一个示例的图。

下面将作为示例来描述图16A、图16B、图16C、图16D和图16E中的所谓的“缩小”的情况。这里，图16A、图16B、图16C、图16D和图16E中每个图的左图说明将要输出的图像的一个示例。图16A、图16B、图16C、图16D和图16E中每个图的右图是说明在图14所示的模型图中的输出的时间时虚拟相机3的状态的一个示例的图。

图16A是在变焦规格值ZP以这样的方式被输入的情况中的输出的一个示例：图15中的说明性表4中的“RANGE”是“A-B”。在“A-B”的情况中，虚拟相机3的视角α例如固定在α＝60°。在“A-B”的情况中，在视角α如图16A所示被固定的条件下，虚拟相机3的移动量d改变。在视角α被固定的条件下虚拟相机3的移动量d增加的情况中，视场角ω增加。在“A-B”的情况中，视角α被固定，并且虚拟相机3的移动量d增加，使得能够实现缩小处理。这里，在“A-B”的情况中虚拟相机3的移动量d为从0到球体CS的半径。也就是说，在图16A、图16B、图16C、图16D和图16E的情况中，球体CS的半径是“1”，因此，虚拟相机3的移动量d是在0-1的范围内的值。虚拟相机3的移动量d是对应于变焦规格值ZP的值。

图16B是在变焦规格值ZP以这样的方式被输入的情况中的输出的一个示例：图15中的说明性表4中的“RANGE”是“B-C”。“B-C”是变焦规格值ZP是比“A-B”的值更大的值的情况。在“B-C”的情况中，虚拟相机3的移动量d被固定在用于将虚拟相机3定位在球体CS的圆周(periphery)处的值。也就是说，如图16B所示，虚拟相机3的移动量d被固定在作为球体CS的半径的“1”。在“B-C”的情况中，在虚拟相机3的移动量d被固定的条件下，视角α改变。在虚拟相机3的移动量d被固定的条件下视角α增加的情况中，视场角ω从图16A至图16B增加。在“B-C”的情况中，虚拟相机3的移动量d被固定，并且视角α增加，使得能够实现缩小处理。在“B-C”的情况中，视角α被计算为ω/2。在“B-C”的情况中，视角α的范围为从作为在“A-B”的情况中固定的值60°到120°。

在“A-B”或“B-C”的情况中，视场角ω与变焦规格值ZP一致。在“A-B”或“B-C”的情况中，视场角ω的值增加。

图16C是在变焦规格值ZP以这样的方式被输入的情况中的输出的一个示例：图15中的说明性表4中的“RANGE”是“C-D”。“C-D”是变焦规格值ZP是比“B-C”的值更大的值的情况。在“C-D”的情况中，视角α例如被固定在α＝120°。在“C-D”的情况中，在如图16C所示视角α被固定的条件下，虚拟相机3的移动量d改变。在视角α被固定的条件下虚拟相机3的移动量d增加的情况中，视场角ω增加。虚拟相机3的移动量d依照基于图15中的说明性表4中所示的变焦规格值ZP的公式来计算。在“C-D”的情况中，虚拟相机3的移动量d改变为最大显示距离dmax1。

最大显示距离dmax1是球体CS被显示为在智能电话2的输出区域中最大的距离。输出区域例如是其中智能电话2输出图像等的屏幕的大小等。最大显示距离dmax1例如是图16D的情况。最大显示距离dmax1依照下述公式(6)来计算：

上述公式(6)中的“viewW”是表示智能电话2的输出区域的宽度的值。上述公式(6)中的“viewH”是表示智能电话2的输出区域的高度的值。下面将描述类似问题。

最大显示距离dmax1基于智能电话2的输出区域的“viewW”和“viewH”的值来计算。

图16D是在变焦规格值ZP以这样的方式被输入的情况中的输出的一个示例：图15中的说明性表4中的“RANGE”是“D-E”。“D-E”是变焦规格值ZP是比“C-D”的值更大的值的情况。在“D-E”的情况中，视角α例如固定在α＝120°。在“D-E”的情况中，如图16D所示，在视角α被固定的条件下，虚拟相机3的移动量d改变。虚拟相机3的移动量d被改变为极限显示距离dmax2。极限显示距离dmax2是球体CS被显示为内切在智能电话2的输出区域中的距离。极限显示距离dmax2以下述公式(7)来计算：

极限显示距离dmax2例如是图16E的情况。

极限显示距离dmax2基于作为智能电话2的输出区域的“viewW”和“viewH”的值来计算。极限显示距离dmax2表示智能电话2能够输出的最大范围，即虚拟相机3的移动量d的极限值。实施例可被限于这样的方式，变焦规格值ZP被包括在图15中的说明性表4中所示的范围中，也就是说，虚拟相机3的移动量d的值小于或等于极限显示距离dmax2。由于这样的限制，在输出图像适合于作为输出区域的屏幕的条件下或者具有预定输出放大率的图像被输出给用户的条件下来提供智能电话2，使得能够实现缩小。

由于用于“D-E”的处理，智能电话2能够使用户识别出输出图像为全天球全景。

这里，在“C-D”或“D-E”的情况中，视场角ω与变焦规格值ZP不一致。此外，如图15中的说明性表4和图16A、图16B、图16C、图16D和图16E中所示，视场角ω在每个范围中是连续的，但这样的视场角ω并不是通过缩小而朝向广角侧均匀地增加。也就是说，在虚拟相机3的移动量d改变的“C-D”的情况中，视场角ω随虚拟相机3的这样的移动量d而增加。在虚拟相机3的移动量d改变的“D-E”的情况中，视场角ω随虚拟相机3的这样的移动量d而减小。通过反射球体CS的外部区域而导致“D-E”中虚拟相机3的移动量d的减小。在由变焦规格值ZP指定大于或等于240°的宽视场的情况中，智能电话2改变虚拟相机3的移动量d，从而能够将具有较少的奇怪感觉的图像输出给用户，并改变视场角ω。

在变焦规格值ZP朝着广角方向被改变的情况中，视场角ω经常增加。在视场角ω增加的情况中，智能电话2固定虚拟相机3的视角α，并增加虚拟相机3的移动量d。智能电话2固定虚拟相机3的视角α，从而能够减少虚拟相机3的这样的视角α的增加。智能电话2减少虚拟相机3的视角α的增加，从而能够将具有较少失真的图像输出给用户。在虚拟相机3的视角α被固定的情况中，智能电话2增加虚拟相机3的移动量d，即将虚拟相机3移动到远处，从而能够向用户提供广角显示的开阔感。此外，将虚拟相机3移动到远处的移动类似于人确认宽范围时的移动，因此，由于将虚拟相机移动到远处，智能电话2能够以较少的奇怪感觉来实现缩小。

在“D-E”的情况中，视场角ω随着朝向广角方向改变变焦规格值ZP而减小。在“D-E”的情况中，智能电话2减小视场角ω，从而能够向用户提供远离球体CS的感觉。智能电话2向用户提供远离球体CS的感觉，从而能够将具有较少奇怪感觉的图像输出给用户。

因此，由于图15中的说明性表4中所示的另一变焦处理，智能电话2能够将具有较少奇怪感觉的图像输出给用户。

这里，实施例不限于仅改变图15中的说明性表4中所示的虚拟相机3的移动量d或视角α的情况。实施例作为用于在图15中的说明性表4中所示的条件下优先改变虚拟相机3的移动量d或视角α的模式是足够的，且可将固定值改变为足够小的值，例如以用于调整。

此外，实施例不限于缩小。实施例例如可以实现放大。

这里，编辑要输出的区域的情况不限于对改变区域执行操作的情况。例如，在对编辑区域执行操作的情况中，智能电话2可以编辑要输出的区域。

<基于编辑区域要对预定区域执行的编辑>

基于编辑区域要对预定区域执行的编辑是使预定像素模糊的模糊编辑。因此，对于另一编辑，能够提供对图像的指定范围的擦除、对图像的色调或色深度等的改变、图像的指定范围的颜色改变等。

下面将作为示例来描述在对图12A、图12B和图12C中要输出的区域的编辑之后用户对于输出图像22执行模糊编辑的情况。

在用户执行按下模糊编辑按钮51的操作的情况中，智能电话2使用户输入对如下区域的所谓的“轻敲(tap)操作”：在该区域中显示在对图12A、图12B和图12C中要输出的区域的编辑之后的输出图像22的编辑区域32。

智能电话2执行用于使以用户轻敲的点为中心的预定范围模糊的处理。

图17A和图17B是用于说明根据本发明的一个实施例的基于编辑区域要对预定区域执行的编辑的一个示例的图。

图17A是用于说明根据本发明的一个实施例的模糊编辑的一个示例的图。图17A是说明在模糊编辑之后的输出图像23的图。在模糊编辑之后的输出图像23具有在模糊编辑之后的编辑区域33和在模糊编辑之后的改变区域43。在模糊编辑之后的输出图像23具有用于分隔并输出在模糊编辑之后的编辑区域33和在模糊编辑之后的改变区域43的分隔线211，类似于处于初始状态的输出图像21。

通过将模糊编辑应用于在对图12A、图12B和图12C中要输出的区域的编辑之后的输出图像来产生在模糊编辑之后的输出图像23。模糊编辑例如通过高斯函数、周围像素的平均、低通滤波器等来实现。模糊编辑被说明为例如像模糊编辑区域5。

图17B是用于说明根据本发明的一个实施例的取消模糊的编辑的一个示例的图。

基于编辑区域应用于预定区域的编辑是对于通过模糊编辑而被模糊的模糊编辑区域5取消这样的模糊编辑的编辑。

在用户执行按下取消编辑按钮52的操作的情况中，智能电话2输出用于取消编辑的输出图像24，该输出图像24在已应用了模糊编辑的模糊编辑区域5上显示填充区域6。如图17B所示，用于取消编辑的输出图像24是在图17A中的模糊编辑之后的编辑区域33中的模糊编辑区域5上显示填充区域6的图像。用户对所显示的填充区域6、即已应用了模糊编辑的区域执行轻敲操作。智能电话2执行用于取消在以用户轻敲的点为中心的预定范围中的模糊编辑的处理。也就是说，在用于取消模糊编辑的编辑中，智能电话2在对图12A、图12B和图12C中要输出的区域的编辑之后的输出图像22的状态下的模糊编辑之后的编辑图像33中提供以用户轻敲的点为中心的预定范围。

一旦人脸或禁止拍摄的建筑的采集图像在互联网上被发布或共享，可能引起麻烦。具体地，在采集具有宽范围的全景图像的情况中，可能频繁地采集到宽范围中的许多物体的图像。因此，由于用于使在发布或共享时可能有问题的物体模糊的处理，用户能够减少麻烦。由于将要基于编辑区域应用于预定区域的编辑，智能电话2能够促进用于使图像中所拍摄的人脸模糊的操作。因此，由于将要基于编辑区域应用于预定区域的编辑，智能电话2能够使用户容易地执行图像操作。

这里，在执行对要输出的区域的编辑的情况中，智能电话2可以依照放大率来改变基于编辑区域应用于预定区域的编辑的范围等。

在步骤S0710中，智能电话2计算将要输出的坐标的移动量。也就是说，在步骤S0710中，智能电话2例如基于上述公式(2)来计算图10A、图10B、图10C和图10D中的对应于用户的挥动操作的预定区域T的位置。

在步骤S0711中，智能电话2在步骤S0710中所计算的位置上更新图10A、图10B、图10C和图10D中的预定区域T的位置。

在步骤S0712中，智能电话2计算作为编辑对象的点的坐标。也就是说，在步骤S0712中，智能电话2计算对应于用户的轻敲操作的坐标，并执行用于投影到三维坐标上的计算。

在步骤S0713中，智能电话2计算以步骤S0712中所计算出的坐标为中心并基于编辑区域而编辑的预定区域。也就是说，在步骤S0713中，智能电话2计算作为由用户的轻敲操作所指定的点或这样的点的周围、并且是用于进行模糊编辑等的对象的像素。

在步骤S0714中，智能电话2产生编辑区域。在用户在步骤S0714中对改变区域执行操作的情况中，智能电话2基于在步骤S0711中所更新的预定区域T来产生改变区域。在步骤S0714中在用户对编辑区域执行操作的情况中，智能电话2产生编辑区域，在该编辑区域中模糊处理被反映在步骤S0713中所计算的像素上。

在步骤S0715中，智能电话2产生改变区域。在步骤S0715中在用户对改变区域执行操作的情况中，智能电话2基于在步骤S0711中所更新的预定区域T来产生改变区域。在步骤S0715中在用户对编辑区域执行操作的情况中，智能电话2产生改变区域，该改变区域指示作为步骤S0713中的模糊对象的位置。

智能电话2重复步骤S0708到步骤S0715的处理。

<智能电话上的处理>

图18是说明根据本发明的一个实施例的智能电话上的整体处理的一个示例的流程图。

在步骤S1801中，智能电话2执行用于从图1中的图像采集设备1等获取图像的处理。步骤S1801的处理对应于图7中的步骤S0702的处理。

在步骤S1802中，智能电话2执行用于产生全景图像的处理。步骤S1802的处理基于在步骤S1801中所获取的图像而执行。步骤S1802的处理对应于图7中的步骤S0703的处理。

在步骤S1803中，智能电话2执行用于使用户选择将要输出的图像的处理。步骤S1803的处理对应于图7中的步骤S0704的处理。具体地，用于使用户选择将要输出的图像的处理是用于输出缩略图或提供用于使用户执行对缩略图的操作的UI等的处理。

在步骤S1804中，智能电话2执行用于产生初始图像的处理。步骤S1804的处理对应于图7中的步骤S0705的处理。在步骤S1804中，智能电话2产生并输出用户在步骤S1803中所选择的图像作为初始图像。

在步骤S1805中，智能电话2执行关于是否执行切换至用于编辑图像的模式的确定。步骤S1805的处理基于是否提供了图7中的步骤S0706中的用户的操作来执行确定。在步骤S1805中以提供了至用于编辑图像的模式的切换的方式而提供确定(步骤S1805中的是)的情况中，智能电话2来到步骤S1806。在步骤S1805中以没有提供至用于编辑图像的模式的切换的方式提供确定(步骤S1805中的否)的情况中，智能电话2返回至步骤S1804。

在步骤S1805中以提供了至用于编辑图像的模式的切换的方式而提供确定的情况是用户提供了开始图像的编辑的输入的情况。在步骤S1805中以没有提供至用于编辑图像的模式的切换的方式提供确定的情况是用户未执行操作的情况。因此，在用户未执行操作的情况中，智能电话2继续输出初始图像，并等待用户的开始图像的编辑的输入。

在步骤S1806中，智能电话2执行用于输出用于编辑图像的输出图像的处理。步骤S1806的处理对应于图7中步骤S0707的处理。此外，智能电话2输出输出图像，从而接受图7中步骤S0708中用户的操作。

在步骤S1807中，智能电话2执行关于是对编辑区域还是对改变区域执行用户的操作的确定。步骤S1807的处理对应于图7中步骤S0709的处理。智能电话2执行关于是对编辑区域还是对改变区域执行图7中的步骤S0708的用户的操作的确定。

在以对改变区域执行用户操作的方式提供确定(步骤S1807中的改变区域)的情况中，智能电话2来到步骤S1808。在以对编辑区域执行用户操作的方式提供确定(步骤S1807中的编辑区域)的情况中，智能电话2来到步骤S1810。

在步骤S1808中，智能电话2执行用于计算由于操作引起的预定区域的移动量的处理。步骤S1808的处理对应于图7中步骤S0710的处理。在步骤S1808中，智能电话2基于用户执行的并改变了预定区域的挥动操作来计算用于移动这样的预定区域的移动量。

在步骤S1809中，智能电话2执行用于更新预定区域的处理。步骤S1809的处理对应于图7中步骤S0711的处理。在步骤S1809中，智能电话2将图10A、图10B、图10C和图10D中的预定区域T移动至对应于步骤S1808中所计算的移动量的位置，并将这样的预定区域T从初始图像的位置更新至对应于用户挥动操作的位置。

在步骤S1810中，智能电话2执行用于计算并三维投影作为操作的对象的坐标的处理。步骤S1810的处理对应于图7中步骤S0712的处理。在步骤S1810中，智能电话2计算在对应于通过用户的轻敲操作而指定的点的全天球图像上的坐标。

在步骤S1811中，智能电话2执行用于计算作为模糊的对象的像素的处理。例如，智能电话2具有编辑状态表，该编辑状态表使关于是否提供了用于模糊的对象的标志数据对应于每个像素。编辑状态表表示是否以模糊状态输出每个像素。智能电话2参考该编辑状态表，确定是否以模糊状态输出在输出图像中的每个像素，并输出图像。也就是说，步骤S1811的处理是用于更新编辑状态表的处理。在用户的轻敲操作中提供如图17A所示的模糊操作或如图17B所示的取消的情况中，智能电话2基于这样的操作来更新编辑状态表。

在步骤S1812中，智能电话2执行用于产生编辑图像的处理。步骤S1812的处理对应于图7中步骤S0714的处理。

在步骤S1813中，智能电话2执行用于产生改变区域的处理。步骤S1813的处理对应于图7中步骤S0715的处理。

智能电话2返回到步骤S1807，并重复前面所说明的处理。

由于步骤S1812和步骤S1813的处理，智能电话2产生输出图像，并执行向用户的输出。

在步骤S1812和步骤S1813的处理中基于编辑状态表来提供用于模糊的对象的情况中，智能电话2例如执行如图17A所示的模糊处理以及输出。

由智能电话2向用户输出的图像以使得该用户感觉动画的流畅再现的方式以每秒30或更多帧来输出。期望智能电话2以使得该用户感觉特别流畅的再现的方式以每秒60或更多帧来执行输出。这里，输出的帧速率可以是使得每秒60帧改变为例如每秒59.94帧。

这里，步骤S1812和步骤S1813的处理不限于用于使智能电话2执行模糊处理和输出的处理。

例如，智能电话2具有通过将模糊处理初步应用于将要输出的图像的所有像素应用而提供的图像、以及通过不应用模糊处理而提供的图像。智能电话2通过同时选择通过基于编辑状态表来执行模糊处理而提供的图像或通过不执行模糊处理而提供的图像来输出每个像素。智能电话2能够通过初步执行模糊处理来减少用于输出图像的计算量。也就是说，智能电话2能够通过执行对每个像素的选择和同时输出来实现诸如每秒60帧的高速图像输出。

此外，例如，在每个像素被选择并同时输出的情况中，智能电话2可存储输出图像。在用户未执行编辑操作的情况中，智能电话2输出所存储的图像。由于存储，不需要用于选择并产生将要输出的图像的每个像素的处理，因此，智能电话2能够减少计算量。因此，智能电话2存储输出图像，从而能够实现诸如每秒60帧的高速图像输出。

这里，输出图像并不限于图11所示的图像等。例如，可改变编辑区域或改变区域的形状、位置、大小或范围。

图19A和图19B是用于说明根据本发明的一个实施例的在区域之间的分隔的改变的一个示例的图。

图19A是说明在执行根据本发明的一个实施例的区域之间的分隔的改变的示例的情况中用户的操作的图。

例如，智能电话2使用户按压分隔线211达较长时间段，或输入所谓的“长按(long-tap)操作”。在图19A的情况中，较长时间段的按压或长按是通过用户的手指持续按压在具有输出分隔线211的位置处的屏幕达预定或更长的时间段的用户操作。

在长按操作被输入的情况中，智能电话2执行用于改变分隔线211的位置、大小或范围的处理。

图19B是用于说明根据本发明的一个实施例的区域之间的分隔线的改变的一个示例的图。

图19B是在智能电话2接受长按操作的情况中的状态的一个示例。

改变前分隔线211A说明分隔线在改变之前的位置。也就是说，改变前分隔线211A以图19A的状态被提供。

改变后分隔线211B说明分隔线在改变之后的位置。如图19B所示，智能电话2取决于追踪屏幕的用户手指的移动来改变分隔线。智能电话2取决于分隔线的改变来改变并输出将要输出的编辑区域或改变区域的位置、大小或范围。

区域之间的分隔的改变被执行，从而用户能够提供编辑区域或改变区域的位置、大小或范围，以促进操作。区域之间的分隔的改变被执行，从而智能电话2能够以对于用户来说便利了屏幕的操作的方式输出输出图像。

<功能配置>

图20是用于说明根据本发明的一个实施例的图像采集系统的功能配置的一个示例的方框图。

图像采集系统10具有图像采集设备1和智能电话2。图像采集系统10具有第一图像采集部分1F1、第二图像采集部分1F2和全天球图像产生部分1F3。图像采集系统10具有图像获取部分2F1、产生部分2F2、输入/输出部分2F3、存储部分2F4和控制部分2F5。

第一图像采集部分1F1和第二图像采集部分1F2采集并产生作为全天球图像的素材的图像。第一图像采集部分1F1例如由图2A、图2B和图2C中的前侧图像采集元件1H1等来实现。第二图像采集部分1F2例如由图2A、图2B和图2C中的后侧图像采集元件1H2等来实现。作为全天球图像的素材的图像例如是如图4A或图4B所示的半球图像。

全天球图像产生部分1F3产生被输出到智能电话2的图像，比如全天球图像。全天球图像产生部分1F3例如由图5中的图像处理单元1H7等来实现。全天球图像产生部分1F3从由第一图像采集部分1F1和第二图像采集部分1F2所采集的半球图像产生全天球图像。

图像获取部分2F1从图像采集设备1获取诸如全天球图像的图像数据。图像获取部分2F1例如由图6中的网络I/F 2H6等来实现。图像获取部分2F1执行用于使智能电话2获取诸如全天球图像的图像数据的处理。

产生部分2F2执行用于产生每种图像和线条的处理、以及产生图像所需的每种计算。产生部分2F2具有改变区域产生部分2F21、编辑区域产生部分2F22和分隔线产生部分2F23。产生部分2F2由图6中的CPU 2H5等来实现。

改变区域产生部分2F21执行用于执行改变区域的产生的处理。改变区域产生部分2F21例如从存储部分2F4获取图像数据和编辑状态表。改变区域产生部分2F21基于所获取的编辑状态表和图像数据来产生改变区域。

编辑区域产生部分2F22执行用于执行编辑区域的产生的处理。编辑区域产生部分2F22例如从存储部分2F4获取图像数据和编辑状态表。编辑区域产生部分2F22基于所获取的编辑状态表和图像数据来产生编辑区域。

此外，在提供如图19A和图19B所示的操作的情况中，改变区域产生部分2F21和编辑区域产生部分2F22改变将要输出的每个区域的位置、大小、范围等，并在每个区域中产生将要输出的图像。

分隔线产生部分2F23产生诸如图11中的分隔线211的分隔线。例如，在提供如图19A和图19B所示的操作的情况中，分隔线产生部分2F23执行改变分隔线的输出所需的处理。

产生部分2F2计算与在用户执行轻敲或挥动操作的情况中的操作相关联的坐标并将其存储为编辑状态表。此外，由产生部分2F2产生的图像可存储在存储部分2F4中，并根据处理而取得。

输入/输出部分2F3执行用于输入用户的操作的处理。输入/输出部分2F3使用户执行用于输出由产生部分2F2所产生的图像的处理。输入/输出部分2F3例如由图6中的输入/输出设备2H3等来实现。

存储部分2F4存储由智能电话2所获取或产生的每种信息。存储部分2F4例如具有编辑状态表存储部分2F41和图像存储部分2F42。存储部分2F4例如由图6中的辅助存储设备2H1或主存储设备2H2等来实现。

编辑状态表存储单元2F41存储表示被执行模糊处理的像素的表的数据。

图像存储部分2F42存储由图像获取部分2F1所获取的全天球图像、由产生部分2F2所产生的输出图像等。

控制部分2F5控制在智能电话2中所提供的每种部件。控制部分2F5控制每种部件，从而实现每种处理、用于辅助每种处理的处理等。控制部分2F5例如由图6中的CPU 2H5等来实现。

这里，整体处理不限于如图7所示的情况。例如，每个处理的部分或全部可由除如图7所示设备之外的设备来处理。

这里，实施例不限于在编辑区域和改变区域之间被分隔线分隔的输出。例如，实施例可以是以这样的方式来提供的实施例：智能电话2模糊、装饰、例如以预定颜色涂色并输出改变区域，从而使用户感知不同的区域，并分隔且输出编辑区域和这样的改变区域。

智能电话2基于从图像采集设备1等所获取的全天球图像来产生编辑区域和改变区域。编辑区域是用于输出通过预定区域T所确定的预定区域的区域，并使用户执行诸如模糊或取消模糊的编辑操作。改变区域是用于输出使用户执行改变预定区域T的位置、大小或范围等的操作的图像的区域。智能电话2输出至少具有编辑区域和改变区域的输出图像。输出图像具有编辑区域和改变区域，从而智能电话2能够使用户执行诸如模糊的编辑，并同时通过这样的改变区域来改变在这样的编辑区域中输出的区域。因此，在用户对全天球图像等执行模糊操作的情况中，智能电话2能够输出用于促进操作的图像。因此，智能电话2输出具有编辑区域和改变区域的输出图像，从而用户能够容易地执行图像的操作。

这里，智能电话2可以由以诸如汇编语言、C、C++、C#或Java(注册商标)的传统编程语言、面向对象的编程语言等来描述的计算机可执行的程序来实现。程序能够存储在诸如ROM或电可擦除可编程ROM(EEPROM)的记录介质中并由该记录介质分发。程序能够存储在诸如可擦除可编程ROM(EPROM)的记录介质中并由该记录介质分发。程序能够存储在诸如闪存、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW等的记录介质中并由该记录介质分发。程序能够存储在诸如蓝光盘、SD(注册商标)卡或MO的设备可读取记录介质中或通过电信线路来分发。

这里，实施例中的图像不限于静止图像。例如，图像可以是动画。

此外，实施例中每个处理的部分或全部例如可由诸如现场可编程门阵列(FPGA)的可编程设备(PD)来实现。而且，实施例中每个处理的部分或全部可由专用集成电路(ASIC)来实现。

尽管上面已详细描述了本发明的优选实际示例，但是本发明不限于这些具体实施例，在如权利要求所陈述的本发明的实质的范围内，各种替换和修改是可能的。

[附录]

<信息处理方法、信息处理设备和程序的说明性实施例>

本发明的至少一个说明性实施例可以涉及信息处理方法、信息处理设备和程序。

本发明的至少一个说明性实施例可以目的在于便利于用户的图像操作的执行。

根据本发明的至少一个说明性实施例，可以提供使计算机处理图像的信息处理方法，其特征在于使计算机执行用于获取该图像的获取步骤和用于通过在用于编辑该图像的预定区域的编辑区域和用于改变将要输出的该预定区域的改变区域之间分隔来输出输出图像的输出步骤。

说明性实施例(1)是用于使计算机处理图像的信息处理方法，其中，该图像处理方法使计算机执行用于获取该图像的获取步骤和用于通过在用于编辑该图像的预定区域的编辑区域和用于改变将要输出的该预定区域的改变区域之间分隔来输出输出图像的输出步骤。

说明性实施例(2)是如在说明性实施例(1)中所描述的信息处理方法，其中，执行用于通过利用所述编辑区域来获取作为编辑的目标区域的编辑位置的编辑位置输入步骤和用于编辑所述编辑位置的编辑步骤。

说明性实施例(3)是如在说明性实施例(2)中所描述的图像处理方法，其中，所述编辑步骤是用于使所述编辑位置模糊的步骤。

说明性实施例(4)是如在说明性实施例(3)中所描述的信息处理方法，其中，产生就在所述获取步骤中所获取的获取图像和通过模糊处理所产生的模糊图像，且通过选择用于所述编辑区域的所述模糊图像的像素和用于除所述编辑区域之外的所述获取图像的像素来输出所述输出图像。

说明性实施例(5)是如在说明性实施例(3)或说明性实施例(4)中所描述的信息处理方法，其中，执行用于获取用于指定与所述编辑区域一起输出的图像的部分或全部的区域的指定位置的指定位置输入步骤和用于取消对所述指定位置所执行的模糊处理的取消步骤。

说明性实施例(6)是如在说明性实施例(1)至说明性实施例(5)中任一项所描述的信息处理方法，其中，执行操作输入步骤，用于获取通过利用所述改变区域来改变、放大或缩小与所述编辑区域一起输出的所述预定区域的操作。

说明性实施例(7)是如在说明性实施例(6)中所描述的信息处理方法，其中，基于所述操作来执行用于确定视点位置和视角的确定步骤，且所述确定基于所述操作所指示的区域来改变所述视点位置和所述视角之一。

说明性实施例(8)是如在说明性实施例(1)至说明性实施例(7)中任一项所描述的信息处理方法，其中，执行基于用于改变在所述编辑区域和所述改变区域之间的分隔的操作来改变将要输出的编辑区域或改变区域的位置、大小或范围的改变步骤。

说明性实施例(9)是处理图像的信息处理设备，其中，所述图像处理设备具有用于获取所述图像的获取装置和用于通过在用于编辑所述图像的预定区域的编辑区域和用于改变将要输出的预定区域的改变区域之间分隔来输出输出图像的输出装置。

说明性实施例(10)是用于使计算机处理图像的程序，其中，所述程序使计算机执行用于获取该图像的获取步骤和用于通过在用于编辑该图像的预定区域的编辑区域和用于改变将要输出的该预定区域的改变区域之间分隔来输出输出图像的输出步骤。

根据本发明的至少一个说明性实施例，能够便利于用户的图像操作的执行。

尽管已参考附图描述了本发明的说明性实施例和具体示例，但是本发明不限于任一说明性实施例和具体示例，且可变更、修改或组合这些说明性实施例和具体示例而不脱离本发明的范围。

本申请要求基于2014年3月18日提交的日本专利申请号2014-054783的优先权益，该专利申请的全部内容通过参考合并入本文。

Claims (15)

1.一种图像处理装置，包括：

显示单元；和

操作单元；其中，

所述显示单元配置至少允许对全天球图像进行编辑的第一区域和允许使全天球图像的显示改变的第二区域，并且所述显示单元显示全天球图像；以及

所述操作单元接收对第二区域的使全天球图像的显示改变的操作，并且使所述显示单元改变在所述第一区域和第二区域中显示的全天球图像的显示范围。

2.如权利要求1所述的图像处理装置，其中，所述第二区域是接收使全天球图像放大或缩小的操作的区域。

3.如权利要求1所述的图像处理装置，其中，所述第二区域是接收使全天球图像在上下方向或左右方向上改变显示范围的操作的区域。

4.如权利要求1至3的任一项所述的图像处理装置，其中，在所述第一区域和第二区域之间显示表示分隔的颜色或线。

5.如权利要求1至3的任一项所述的图像处理装置，其中，为了区别所述第一区域和第二区域，使各区域以不同的对比度显示全天球图像。

6.如权利要求1至5的任一项所述的图像处理装置，其中，对所述第一区域进行的编辑是模糊编辑。

7.如权利要求1至6的任一项所述的图像处理装置，其中，所述第一区域被设置于所述第二区域之内。

8.一种图像处理方法，由图像处理装置执行，所述图像处理装置包括显示单元和操作单元，所述方法包括：

在所述显示单元中显示全天球图像，其中所述显示单元配置至少允许对全天球图像进行编辑的第一区域和允许使全天球图像的显示改变的第二区域；

所述操作单元接收对第二区域的使全天球图像的显示改变的操作，并且使所述显示单元改变在所述第一区域和第二区域中显示的全天球图像的显示范围。

9.如权利要求8所述的图像处理方法，其中，所述第二区域是接收使全天球图像放大或缩小的操作的区域。

10.如权利要求8所述的图像处理方法，其中，所述第二区域是接收使全天球图像在上下方向或左右方向上改变显示范围的操作的区域。

11.如权利要求8至10的任一项所述的图像处理方法，其中，在所述第一区域和第二区域之间显示表示分隔的颜色或线。

12.如权利要求8至10的任一项所述的图像处理方法，其中，为了区别所述第一区域和第二区域，使各区域以不同的对比度显示全天球图像。

13.如权利要求8至12的任一项所述的图像处理方法，其中，对所述第一区域进行的编辑是模糊编辑。

14.如权利要求8至13的任一项所述的图像处理方法，其中，所述第一区域被设置于所述第二区域之内。

15.一种计算机可读记录介质，其中存储程序，所述程序使得图像处理装置执行方法，所述图像处理装置包括显示单元和操作单元，所述方法包括：

在所述显示单元中显示全天球图像，其中所述显示单元配置至少允许对全天球图像进行编辑的第一区域和允许使全天球图像的显示改变的第二区域；

所述操作单元接收对第二区域的使全天球图像的显示改变的操作，并且使所述显示单元改变在所述第一区域和第二区域中显示的全天球图像的显示范围。