CN110456967B - 信息处理方法、信息处理设备以及程序 - Google Patents

信息处理方法、信息处理设备以及程序 Download PDF

Info

Publication number
CN110456967B
CN110456967B CN201910830851.1A CN201910830851A CN110456967B CN 110456967 B CN110456967 B CN 110456967B CN 201910830851 A CN201910830851 A CN 201910830851A CN 110456967 B CN110456967 B CN 110456967B
Authority
CN
China
Prior art keywords
image
input operation
editing
output
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910830851.1A
Other languages
English (en)
Other versions
CN110456967A (zh
Inventor
入江弘宪
寺下敏之
佐佐木智彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910830851.1A priority Critical patent/CN110456967B/zh
Publication of CN110456967A publication Critical patent/CN110456967A/zh
Application granted granted Critical
Publication of CN110456967B publication Critical patent/CN110456967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

一种用于使得计算机处理图像的信息处理方法，其中，所述图像处理方法使得所述计算机执行：获取步骤：获取所述图像；产生步骤：产生编辑所述图像的预定区域的编辑图像以及改变待输出的所述预定区域的改变图像；以及输出步骤，输出至少具有所述编辑图像和所述改变图像的输出图像。

Description

信息处理方法、信息处理设备以及程序
本发明是以下专利申请的分案申请：申请号：201580013724.2，申请日：2015年03月10日，发明名称：信息处理方法、信息处理设备以及程序。
技术领域
本发明的一方面涉及信息处理方法、信息处理设备以及程序中的至少一个。
背景技术
用于显示全景图像的方法传统上已经是公知的。
用于从用户接受关于在全景图像显示器中显示全景图像的指令的用户接口(其在以下将称为“UI”)已经是公知的(见例如日本专利申请公开No.2011-076249)。
然而，传统UI在智能电话等上的图像显示时将用于滚动图像的功能分配给所谓的“拖动”，因此，用户可能难以执行图像操作(例如图像的编辑等)。
发明内容
根据本发明一方面，提供一种用于使得计算机处理图像的信息处理方法，其中，所述图像处理方法使得所述计算机执行：获取步骤：获取所述图像；第一产生步骤：产生用于编辑所述图像的至少一部分的编辑图像以及用于改变待输出的所述编辑图像的第一改变图像；编辑步骤：在所产生的编辑图像上编辑所述图像；第二产生步骤：基于在所述编辑步骤所编辑的图像产生第二改变图像；以及输出步骤，输出至少具有在所述编辑步骤所编辑的所述编辑图像和在所述第二产生步骤所产生的所述第二改变图像的输出图像。
根据本发明另一方面，提供一种处理图像的信息处理设备，其中，所述图像处理设备具有：获取部分，其获取所述图像；第一产生部分，其产生用于编辑所述图像的至少一部分的编辑图像以及用于改变待输出的所述编辑图像的第一改变图像；编辑部分，其在所产生的编辑图像上编辑所述图像；第二产生部分，其基于所述编辑部分中所编辑的图像产生第二改变图像；以及输出部分，其输出至少具有所述编辑部分中所编辑的所述编辑图像和所述第二产生部分中所产生的所述第二改变图像的输出图像。
根据本发明另一方面，提供一种用于使得计算机处理图像的程序，其中，所述程序使得所述计算机执行：获取步骤：获取所述图像；第一产生步骤：产生用于编辑所述图像的至少一部分的编辑图像以及用于改变待输出的所述编辑图像的第一改变图像；编辑步骤：在所产生的编辑图像上编辑所述图像；第二产生步骤：基于在所述编辑步骤所编辑的图像产生第二改变图像；以及输出步骤，输出至少具有在所述编辑步骤所编辑的所述编辑图像和在所述第二产生步骤所产生的所述第二改变图像的输出图像。
附图说明
图1是示出根据本发明一个实施例的图像拍摄系统的整体配置的一个示例的示图。
图2A、图2B和图2C是示出根据本发明一个实施例的图像拍摄设备的一个示例的示图。
图3是示出根据本发明一个实施例的图像拍摄设备进行的图像拍摄的一个示例的示图。
图4A、图4B和图4C是示出根据本发明一个实施例的图像拍摄设备所拍摄的图像的一个示例的示图。
图5是示出根据本发明一个实施例的图像拍摄设备的硬件配置的一个示例的框图。
图6是示出根据本发明一个实施例的智能电话的硬件配置的一个示例的框图。
图7是示出根据本发明一个实施例的图像拍摄系统的整体处理的一个示例的顺序示图。
图8A、图8B、图8C和图8D是示出根据本发明一个实施例的全天球图像的一个示例的示图。
图9是示出根据本发明一个实施例的全天球全景图像的一个示例的示图。
图10A、图10B、图10C和图10D是用于示出根据本发明一个实施例的初始图像的一个示例的示图。
图11是示出根据本发明一个实施例的、在用于执行图像的编辑的初始状态下的输出图像的一个示例的示图。
图12A、图12B和图12C是用于示出根据本发明一个实施例的编辑待输出的区域的一个示例的示图。
图13A和图13B是用于示出根据本发明一个实施例的增大或减小待输出的区域的一个示例的示图。
图14是用于示出根据本发明一个实施例的另一变焦处理的一个示例的示图。
图15是用于示出根据本发明一个实施例的另一变焦处理的一个示例的表。
图16A、图16B、图16C、图16D和图16E是用于示出根据本发明一个实施例的另一变焦处理的“范围”的一个示例的示图。
图17A和图17B是用于示出根据本发明一个实施例的基于编辑图像对于预定区域所执行的编辑的一个示例的示图。
图18是示出根据本发明一个实施例的智能电话的整体处理的一个示例的流程图。
图19A和图19B是用于示出根据本发明一个实施例的改变输出(例如改变图像的位置或方向)的一个示例的示图。
图20是用于示出根据本发明一个实施例的图像拍摄系统的功能配置的一个示例的功能示图。
具体实施方式
以下将描述本发明实施例。
<第一实施例>
<系统的整体配置>
图1是示出根据本发明一个实施例的图像拍摄系统的整体配置的一个示例的示图。
图像拍摄系统10具有图像拍摄设备1和智能电话2。
图像拍摄设备1具有多个光学系统，并且产生而且对智能电话2输出例如宽范围(例如图像拍摄设备1周围的所有方向)的所拍摄的图像(其在以下将称为“全天球图像”)。以下将描述图像拍摄设备1和全天球图像的细节。图像拍摄系统10所处理的图像例如是全天球图像。例如，全景图像是全天球图像。将在以下描述全天球图像的示例。
信息处理设备例如是智能电话2。将在以下作为示例描述智能电话2。智能电话2是用于使得用户操作从图像拍摄设备1所获取的全天球图像的设备。智能电话2是用于使得用户输出所获取的全天球图像的设备。将在以下描述智能电话2的细节。
图像拍摄设备1和智能电话2经受有线连接或无线连接。例如，智能电话2从图像拍摄设备1下载数据(例如从图像拍摄设备1输出的全天球图像)并且将其输入到智能电话2。在此，可以通过网络执行连接。
在此，整体配置不限于图1所示的配置。例如，图像拍摄设备1和智能电话2可以是集成式设备。此外，可以连接除了图像拍摄设备1和智能电话2之外的另一计算机，以便由三个或更多个设备构成。
<图像拍摄设备>
图2A、图2B和图2C是示出根据本发明一个实施例的图像拍摄设备的一个示例的示图。
图2A、图2B和图2C是示出图像拍摄设备1的外观的一个示例的示图。图2A是图像拍摄设备1的正视图的一个示例。图2B是图像拍摄设备1的左侧视图的一个示例。图2C是图像拍摄设备1的平面图的一个示例。
图像拍摄设备1具有前侧图像拍摄元件1H1、后侧图像拍摄元件1H2和开关1H3。将在以下描述图像拍摄设备1的内部中所提供的硬件。
图像拍摄设备1通过使用前侧图像拍摄元件1H1和后侧图像拍摄元件1H2所拍摄的图像产生全天球图像。
开关1H3是所谓的“快门按钮”，并且是用于使得用户执行用于图像拍摄设备1的图像拍摄的指令的输入设备。
图像拍摄设备1由用户的手握持，例如，如图2A所示，并且开关1H3被推按，以执行图像拍摄。
图3是示出根据本发明一个实施例的图像拍摄设备进行的图像拍摄的一个示例的示图。
如图3所示，用户通过手握持图像拍摄设备1，并且推按图2A、图2B和图2C中的开关1H3以执行图像拍摄。如图3所示，图像拍摄设备1可以通过图2A、图2B和图2C中的前侧图像拍摄元件1H1以及图2A、图2B和图2C中的后侧图像拍摄元件1H2在图像拍摄设备1周围的所有方向上拍摄图像。
图4A、图4B和图4C是示出根据本发明一个实施例的图像拍摄设备所拍摄的图像的一个示例的示图。
图4A是图2A、图2B和图2C中的前侧图像拍摄元件1H1所拍摄的图像的一个示例。图4B是图2A、图2B和图2C中的后侧图像拍摄元件1H2所拍摄的图像的一个示例。图4C是基于图2A、图2B和图2C中的前侧图像拍摄元件1H1所拍摄的图像以及图2A、图2B和图2C中的后侧图像拍摄元件1H2所拍摄的图像产生的图像的一个示例。
图2A、图2B和图2C中的前侧图像拍摄元件1H1所拍摄的图像是具有在图像拍摄设备1的前面方向上是宽范围的图像拍摄范围(例如作为视角的180°的范围)的图像，如图4A所示。在图2A、图2B和图2C中的前侧图像拍摄元件1H1使用用于拍摄具有宽范围的图像的光学系统(例如所谓的“鱼眼镜头”)的情况下，图2A、图2B和图2C中的前侧图像拍摄元件1H1所拍摄的图像具有图4A所示的失真像差。图2A、图2B和图2C中的前侧图像拍摄元件1H1所拍摄的图4A中的图像是具有图像拍摄设备1的一侧上的宽范围以及失真像差的所谓的“半球图像”(其在以下将称为“半球图像”)。
在此，期望视角处于大于等于180°并且小于等于200°的范围内。具体地说，当在视角大于180°的情况下合成图4A中的半球图像以及将在以下描述的图4B中的半球图像时，存在重叠图像区域，因此，促进了合成。
图2A、图2B和图2C中的后侧图像拍摄元件1H2所拍摄的图像是具有在图像拍摄设备1的后面方向上是宽范围的图像拍摄范围(例如作为视角的180°的范围)的图像，如图4B所示。
图2A、图2B和图2C中的后侧图像拍摄元件1H2所拍摄的图4B中的图像是与图4A相似的半球图像。
图像拍摄设备1执行处理(例如失真校正处理和合成处理)，并且由此从图4A中的前侧半球图像和图4B中的后侧半球图像产生图4C所示的图像。图4C是例如墨卡托’s投影、等距圆柱投影等所产生的图像(即全天球图像)。
在此，全天球图像不限于图像拍摄设备1所产生的图像。全天球图像可以是例如另一相机等所拍摄的图像或基于另一相机所拍摄的图像产生的图像。期望全天球图像是所谓的“全方向相机”、所谓的“广角镜头相机”等所拍摄的具有宽范围中的视角的图像。
此外，将作为示例描述全天球图像，并且图像不限于这种全天球图像。图像可以是例如紧凑相机、单镜头反射相机、智能电话等所拍摄的图像等。图像可以是水平地或垂直地延伸的全景图像等。
<图像拍摄设备的硬件配置>
图5是示出根据本发明一个实施例的图像拍摄设备的硬件配置的一个示例的框图。
图像拍摄设备1具有图像拍摄单元1H4、图像处理单元1H7、图像控制单元1H8、中央处理单元(CPU)1H9以及只读存储器(ROM)1H10。此外，图像拍摄设备1具有静态随机存取存储器(SRAM)1H11、动态随机存取存储器(DRAM)1H12以及操作接口(I/F)1H13。此外，图像拍摄设备1具有网络I/F 1H14、无线I/F 1H15和天线1H16。图像拍摄设备1的每个组件通过总线1H17连接，并且执行数据或信号的输入或输出。
图像拍摄单元1H4具有前侧图像拍摄元件1H1和后侧图像拍摄元件1H2。放置与前侧图像拍摄元件1H1对应的透镜1H5以及与后侧图像拍摄元件1H2对应的透镜1H6。前侧图像拍摄元件1H1和后侧图像拍摄元件1H2是所谓的“相机单元”。前侧图像拍摄元件1H1和后侧图像拍摄元件1H2具有光学传感器(例如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD))。前侧图像拍摄元件1H1执行用于转换透镜1H5上入射的光以产生图像数据的处理。后侧图像拍摄元件1H2执行用于转换透镜1H6上入射的光以产生图像数据的处理。图像拍摄单元1H4将前侧图像拍摄元件1H1和后侧图像拍摄元件1H2所产生的图像数据输出到图像处理单元1H7。例如，图像数据是图4A中的前侧半球图像和图4B中的后侧半球图像等。
在此，前侧图像拍摄元件1H1和后侧图像拍摄元件1H2可以具有除了透镜之外的光学元件(例如带阻滤波器或低通滤波器)，以便高画质地执行图像拍摄。此外，前侧图像拍摄元件1H1和后侧图像拍摄元件1H2可以执行例如所谓的“瑕疵像素校正”或所谓的“手移动校正”的处理，以便高画质地执行图像拍摄。
图像处理单元1H7执行用于从输入自图像拍摄单元1H4的图像数据产生图4C中的全天球图像的处理。将在以下描述用于产生全天球图像的处理的细节。在此，图像处理单元1H7所执行的处理可以是这样的：另一计算机并行地并且冗余地执行部分或整个处理。
图像拍摄控制单元1H8是控制图像拍摄设备1的每个组件的控制设备。
CPU 1H9执行用于图像拍摄设备1所执行的每个处理的操作或控制。例如，CPU 1H9执行每种程序。在此，CPU 1H9可以包括多个CPU或设备或多个内核，以便实现由于并行处理带来的加速。此外，CPU 1H9的处理可以是这样的：在图像拍摄设备1内部或外部提供另一硬件资源，并且使得其执行用于图像拍摄设备1的处理的部分或全部。
ROM 1H10、SRAM 1H11以及DRAM 1H12是存储设备的示例。ROM1H10存储例如CPU1H9所执行的程序、数据或参数。在CPU 1H9执行程序的情况下，SRAM 1H11和DRAM 1H12存储例如程序、待用在程序中的数据、待由程序产生的数据、参数等。在此，图像拍摄设备1可以具有附属存储设备(例如硬盘)。
操作I/F 1H13是执行用于将用户的操作输入到图像拍摄设备1的处理的接口(例如开关1H3)。操作I/F 1H13是操作设备(例如开关)、用于连接操作设备的连接器或缆线、用于处理从操作设备、驱动器、控制设备等输入的信号的电路。在此，操作I/F 1H13可以具有输出设备(例如显示器)。此外，操作I/F 1H13可以是所谓的“触摸板”等，其中，集成了输入设备和输出设备。此外，操作I/F 1H13可以具有接口(例如通用串行总线(USB))，连接存储介质(例如闪存(注册商标))，并且从图像拍摄设备1输入数据并且将数据输出到图像拍摄设备1。
在此，开关1H3可以具有用于执行除了快门操作之外的操作的电力源开关、参数输入开关等。
网络I/F 1H14、无线I/F 1H15和天线1H16是用于通过无线网络或有线网络以及外围电路等将图像拍摄设备1与另一计算机连接的设备。例如，图像拍摄设备1通过网络I/F1H14连接到网络，并且将数据发送到智能电话2。在此，网络I/F 1H14、无线I/F 1H15和天线1H16可以被配置为：通过使用连接器(例如USB、缆线等)连接。
总线1H17用于图像拍摄设备1的各个组件之间的数据等的输入或输出。总线1H17是所谓的“内部总线”。总线1H17例如是外围组件互连总线高速(PCI Express)。
在此，图像拍摄设备1不限于两个图像拍摄元件的情况。例如，其可以具有三个或更多个图像拍摄元件。此外，图像拍摄设备1可以改变一个图像拍摄元件的图像拍摄角度，以拍摄多个局部图像。此外，图像拍摄设备1不限于使用鱼眼镜头的光学系统。例如，可以使用广角镜头。
在此，图像拍摄设备1所执行的处理不限于图像拍摄设备1所执行的处理。在图像拍摄设备1可以发送数据或参数的同时，通过网络连接的智能电话2或另一计算机可以执行图像拍摄设备1所执行的处理的部分或全部。
<信息处理设备的硬件配置>
图6是示出根据本发明一个实施例的包括智能电话的信息处理设备的硬件配置的一个示例的框图。
信息处理设备是计算机。信息处理设备可以是例如除了智能电话之外的笔记本个人计算机(PC)、个人数字助理(PDA)、平板电脑、移动电话等。
作为信息处理设备的一个示例的智能电话2具有附属存储设备2H1、主存储设备2H2、输入/输出设备2H3、状态传感器2H4、CPU 2H5以及网络I/F 2H6。智能电话2的每个组件连接到总线2H7，并且执行数据或信号的输入或输出。
附属存储设备2H1存储信息(例如包括归因于CPU 2H5、控制设备等的控制由CPU2H5执行的处理的中间结果的每种数据、参数或程序)。附属存储设备2H1是例如硬盘、闪速固态驱动器(SSD)等。在此，附属存储设备2H1中所存储的信息是这样的：这种信息的部分或全部可以存储在连接到网络I/F 2H6的文件服务器等中，而非附属存储设备2H1中。
主存储设备2H2是主存储设备(例如待由CPU 2H5所执行的程序使用的存储区域(即所谓的“存储器”))。主存储设备2H2存储信息(例如数据、程序或参数)。主存储设备2H2是例如静态随机存取存储器(SRAM)、DRAM等。主存储设备2H2可以具有用于执行存储器中的存储或来自存储器的获取的控制设备。
输入/输出设备2H3是具有用于执行显示的输出设备以及用于输入用户的操作的输入设备的功能的设备。
输入/输出设备2H3是所谓的“触摸板”、“外围电路”、“驱动器”等。
输入/输出设备2H3执行用于对用户显示例如预定图形用户接口(GUI)或智能电话2中所输入的图像的处理。
例如，在用户操作具有显示器或图像的GUI的情况下，输入/输出设备2H3执行用于输入该用户的操作的处理。
状态传感器2H4是用于检测智能电话2的状态的传感器。状态传感器2H4是陀螺仪传感器、角度传感器等。状态传感器2H4确定例如是否按相对于地平线的预定的或更大的角度提供智能电话2所拥有的一侧。也就是说，状态传感器2H4关于是在纵向方向姿态的状态下还是在横向方向姿态的状态下提供智能电话2执行检测。
CPU 2H5执行智能电话2所执行的每个处理中的计算以及智能电话2中所提供的设备的控制。例如，CPU 2H5执行每种程序。在此，CPU 2H5可以包括多个CPU或设备或多个内核，以并行地、冗余地或分散地执行处理。此外，用于CPU 2H5的处理是这样的：可以在智能电话2内部或外部提供另一硬件资源，以执行用于智能电话2的处理的部分或全部。例如，智能电话2可以具有用于执行图像处理等的图形处理单元(GPU)。
网络I/F 2H6是通过无线网络或有线网络连接到另一计算机的用于输入或输出数据等的例如天线、外围电路、驱动器等的设备。例如，智能电话2执行用于归因于CPU 2H5和网络I/F 2H6从图像拍摄设备1输入图像数据的处理。智能电话2执行用于归因于CPU 2H5和网络I/F 2H6将预定参数等输出到图像拍摄设备1的处理。
<用于图像拍摄系统的整体处理>
图7是示出根据本发明一个实施例的用于图像拍摄系统的整体处理的一个示例的顺序示图。
在步骤S0701，图像拍摄设备1执行用于产生全天球图像的处理。
图8A、图8B、图8C和图8D是示出根据本发明一个实施例的全天球图像的一个示例的示图。
图8A、图8B、图8C和图8D是示出用于在步骤S0701产生全天球图像的处理的一个示例的示图。
图8A是以通过直线连接入射角相对于光轴在水平方向或垂直方向上相等的图4A中的半球图像中的位置的这样的方式所示的示图。将在以下指出水平方向上相对于光轴的入射角θ以及垂直方向上相对于该光轴的入射角φ。
与图8A相似，图8B是以通过直线连接入射角相对于光轴在水平方向或垂直方向上相等的图4B中的半球图像中的位置的这样的方式所示的示图。
图8C是示出根据墨卡托投影所处理的图像的一个示例的示图。图8C是例如使得图8A或图8B所示的状态下的图像与预先产生的查找表(LUT)等对应并且根据等距圆柱投影被处理的情况的示例。
图8D是用于合成通过将图8C所示的处理应用于图8A和图8B所提供的图像的合成处理的一个示例。
如图8D所示，合成处理是：例如，通过使用例如图8C所示的状态下的多个图像来产生图像。在此，合成处理不限于用于简单地相继布置预处理的图像的处理。例如，在并未按θ＝180°提供水平方向上的全天球图像的中心的情况下，合成处理可以是用于以这样的方式执行合成处理的处理：图4A中的预处理的图像布置在全天球图像的中心，并且图4B中的预处理的图像被划分并且布置在其左侧和右侧，从而产生图4C所示的全天球图像。
在此，用于产生全天球图像的处理不限于根据等距圆柱投影的处理。例如，以这样的方式提供所谓的“颠倒”情况：比如图8B，φ的方向上的像素的对准相对于图8A中的对准是颠倒的，并且θ的方向上的像素的对准相对于图8A中的对准是左右相反的。在颠倒的情况下，图像拍摄设备1可以执行用于滚动或旋转8B的状态下的预处理的图像达180°的处理，从而对准于图8A中的φ的方向和θ的方向上的像素的对准。
此外，用于产生全天球图像的处理可以执行用于校正图8A或图8B的状态下的图像中所提供的失真像差。此外，用于产生全天球图像的处理可以执行用于改进图像质量的处理(例如阴影校正、伽玛校正、白平衡、手移动校正、光学黑色校正处理、瑕疵像素校正处理、边沿增强处理、线性校正处理等)。
在此，例如，在半球图像的图像拍摄范围与另一半球图像的图像拍摄范围重叠的情况下，合成处理可以通过利用重叠范围执行校正，以按高精度执行该合成处理。
归因于用于产生全天球图像的处理，图像拍摄设备1从图像拍摄设备1所拍摄的半球图像产生全天球图像。
在步骤S0702，智能电话2执行用于获取在步骤S0701所产生的全天球图像的处理。以下将作为示例描述智能电话2获取图8D中的全天球图像的情况。
在步骤S0703，智能电话2从在步骤S0702所获取的全天球图像产生全天球全景图像。
图9是示出根据本发明一个实施例的全天球全景图像的一个示例的示图。
在步骤S0703，智能电话2执行用于从图8D中的全天球图像产生图9中的全天球全景图像的处理。全天球全景图像是以全天球图像应用于球面形状上的这样的方式所提供的图像。
通过例如应用编程接口(API)(例如嵌入式系统Open GL(注册商标)(Open GLES))实现用于产生全天球全景图像的处理。
通过将图像划分为三角形，连结三角形的顶点P(其在以下将称为“顶点P”)并且应用其多边形产生全天球全景图像。
在步骤S0704，智能电话2执行用于使得用户输入用于开始图像的输出的操作的处理。在步骤S0704，智能电话2例如减小并且输出在步骤S0703所产生的全天球全景图像，也就是说，显示所谓的“缩略图像”。在多个全天球全景图像存储在智能电话2中的情况下，智能电话2输出缩略图像的列表，例如，以使得用户选择待输出的图像。在步骤S0704，智能电话2执行例如用于输入使得用户从缩略图像的列表中选择一个图像的操作的处理。
在步骤S0705，智能电话2执行用于基于在步骤S0704所选择的全天球全景图像产生初始图像的处理。
图10A、图10B、图10C和图10D是用于示出根据本发明一个实施例的初始图像的一个示例的示图。
图10A是示出用于示出根据本发明一个实施例的初始图像的一个示例的三维坐标系的示图。
如图10A所示，将在以下描述具有XYZ轴的三维坐标系。智能电话2将虚拟相机3放置在原点的位置处，并且在虚拟相机3的视点处产生每种图像。在图10A的坐标系的情况下，全天球全景图像由例如球面CS表示。虚拟相机3与观看全天球全景图像的用户的视点对应，其中，该全天球全景图像在其所放置的位置处是球面CS。
在10B是用于示出根据本发明一个实施例的用于虚拟相机的预定区域的一个示例的示图。
图10B是通过三平面图表示图10A的情况。图10B是虚拟相机3放置在图10A的原点处的情况。图10C是根据本发明一个实施例的用于虚拟相机的预定区域的一个示例的投影视图。
预定区域T是虚拟相机3的视角投影到球面CS上的区域。智能电话2基于预定区域T产生图像。
图10D是用于示出根据本发明一个实施例的用于确定用于虚拟相机的预定区域的信息的一个示例的示图。
预定区域T由例如预定区域信息(x，y，α)确定。
视角α是图10D所示的指示虚拟相机3的角度的角度。在视角α所表示的预定区域T的对角视角2L的情况下，该预定区域T的中心点CP的坐标由预定区域信息中的(x，y)表示。
在此，从虚拟相机3到中心点CP的距离由下述公式(1)表示：
f＝tan(α/2)(Formula 1)
初始图像是通过基于预先设置的初始设置确定预定区域T所提供的图像，并且是基于该所确定的预定区域T产生的。初始设置是例如(x，y，α)＝(0，0，34)等。
在步骤S0706，智能电话2使得用户执行用于切换到图像编辑模式的操作。在此，在用户不执行用于切换到图像编辑模式的操作的情况下，智能电话2输出例如初始图像。
在步骤S0707，智能电话2执行用于输出用于编辑图像的输出图像的处理。
图11是示出根据本发明一个实施例的用于编辑图像的初始状态下的输出图像的一个示例的示图。
输出图像是例如初始状态下的输出图像21。输出图像具有初始状态下的编辑图像31和初始状态下的改变图像41。
输出图像显示用于接受用户的操作的图形用户接口(GUI)的按钮。GUI是例如模糊编辑按钮51、消除编辑按钮52等。在此，输出图像可以具有另一GUI。
初始状态下的编辑图像31是例如在步骤S0705所产生的初始图像。
初始状态下的改变图像41是例如通过缩小在步骤S0703所产生的全天球全景图像所提供的图像。
用户在图像编辑模式下编辑图像，因此，将操作应用于显示在输出图像中的编辑图像或改变图像。
在步骤S0708，智能电话2执行用于使得用户输入用于编辑图像的操作的处理。
在步骤S0709，智能电话2获取用户对于输入/输出设备2H3输入操作的坐标。在步骤S0709，智能电话2执行用于基于所获取的坐标确定是在图11中的初始状态下对于编辑图像31的区域执行操作还是在图11中的初始状态下对于改变图像41的区域执行操作的处理。
图像编辑是基于用户的操作执行的编辑。待输出的区域的编辑是用于基于改变图像对图像中的待输出的区域进行改变的编辑或基于编辑图像对于预定区域所执行的编辑。
在步骤S0709将操作应用于改变图像的区域的情况下，执行用于改变待输出的区域的编辑。
在步骤S0709将操作应用于编辑图像的区域的情况下，执行待基于编辑图像对于预定区域执行的编辑。
在用户操作改变图像(在步骤S0709确定改变图像的区域)的情况下，智能电话2进入步骤S0710。在用户操作编辑图像(在步骤S0709确定编辑图像的区域)的情况下，智能电话2进入步骤S0712。
<用于改变待输出的区域的编辑>
图12A、图12B和图12C是用于示出根据本发明一个实施例的编辑待输出的区域的一个示例的示图。
图12A是示出根据本发明一个实施例的在编辑待输出的区域之后的输出图像的一个示例的示图。
输出图像是例如在编辑待输出的区域之后的输出图像22。在编辑待输出的区域之后的输出图像22具有在编辑待输出的区域之后的编辑图像32以及在编辑待输出的区域之后的改变图像42。
在编辑待输出的区域之后的编辑图像32是通过在图11中的初始状态下在编辑图像31中改变如图10A、图10B、图10C以及图10D所示的预定区域T所产生的图像。
在编辑待输出的区域之后的改变图像42是通过在图11中的初始状态下在改变图像41中改变图10A、图10B、图10C以及图10D所示的预定区域T所产生的图像。
图12B是示出根据本发明一个实施例的在编辑待输出的区域之后的预定区域的一个示例的示图。
例如，在如图12B所示摇摄旋转图10B的状态下的虚拟相机3的情况的视点提供在编辑待输出的区域之后的输出图像22。
图12C是示出根据本发明一个实施例的在编辑待输出的区域的情况下的操作的一个示例的示图。
以用户操作输出改变图像的屏幕区域的这样的方式执行待输出的区域的编辑。
在步骤S0708待输入的操作是例如用于相对于图像的左方向和右方向改变待输出的区域的操作等。
在图12A、图12B和图12C的情况下，用户所输入的操作是这样的屏幕：通过如图12C所示在该屏幕的左方向和右方向上以手指跟踪图11中的初始状态下的改变图像41，即所谓的“滑动操作”等。
在此，关于滑动操作的输入量提供为(dx，dy)。
图8A、图8B、图8C和图8D中的全天球的极坐标系(φ，θ)与输入量(dx，dy)之间的关系由下述公式(2)表示：
φ＝k×dx
θ＝k×dy(Formula 2)
在上述公式(2)中，k是用于执行调整的预定常数。
输出图像基于对于滑动操作所输入的输入量改变，因此，用户可以通过球面(例如地球仪)旋转的感觉操作图像。
在此，为了简化处理，可以不考虑在屏幕的什么位置输入滑动操作。也就是说，即使在输出初始状态下的改变图像41的屏幕的任何位置处执行滑动操作，也可以对于公式(2)中的输入量(dx，dy)输入相似值。
在编辑待输出的区域之后的改变图像42基于根据公式(2)所计算的(φ，θ)执行三维空间中的顶点P的坐标(Px，Py，Pz)的透视投影变换。
在用户在图12A的情况下通过输入量(dx2，dy2)执行滑动操作的情况下，全天球的极坐标系(φ，θ)由下述公式(3)表示。
φ＝k×(dx+dx2)
θ＝k×(dy+dy2)(Formula3)
如上述(3)所示，基于用于各个滑动操作的输入量的总值计算全天球的极坐标系(φ，θ)。甚至在执行多个滑动操作等的情况下，执行全天球的极坐标系(φ，θ)的计算，并且由此，可以保持恒定的可操作性。
在此，编辑待输出的区域不限于摇摄旋转。例如，可以实现虚拟相机3在图像的上下方向上的倾斜旋转。
在步骤S0708所输入的操作是例如用于放大或缩小待输出的区域的操作等。
图13A和图13B是用于示出根据本发明一个实施例的待输出的区域的放大或缩小的一个示例的示图。
在执行放大待输出的区域的情况下，用户所输入的操作是这样的：两个手指在输出图11中的初始状态下的改变图像41的屏幕上伸展，如图13A所示，即所谓的“捏开操作”等。
在执行缩小待输出的区域的情况下，用户所输入的操作是这样的：两个手指在输出图11中的初始状态下的改变图像41的屏幕上移动得彼此靠近，如图13B所示，即所谓的“捏合操作”等。
在此，只要用户的手指首先接触的位置提供于具有其上所显示的改变图像的区域中，捏开或捏合操作就是足够的，并且可以是随后使用具有其上所显示的编辑图像的区域的操作。此外，可以通过作为用于操作触摸板等的工具的所谓的“手写笔”执行操作。
在输入图13A和图13B所示的操作的情况下，智能电话2执行所谓的“变焦处理”。
变焦处理是用于产生具有基于用户所输入的操作所放大或缩小的预定区域的图像的处理。
在输入图13A和图13B所示的操作的情况下，智能电话2获取基于用户所输入的操作的改变量dz。
变焦处理是用于基于改变量dz根据下述公式(4)执行计算的处理：
α＝α0+m×dz(Formula 4)
上述公式(4)中所指示的α是图10A、图10B、图10C和图10D所示的虚拟相机3的视角α。公式(4)中所指示的m是用于调整变焦量的系数。公式(4)中所指示的α0是初始状态下的视角α，即在步骤S0705产生初始图像的情况下的视角α。
在输入图13A和图13B所示的操作的情况下，智能电话2关于投影矩阵通过使用根据公式(4)所计算的视角α确定图10A、图10B、图10C和图10D中的预定区域T的范围。
在根据公式(4)执行计算并且用户执行用于提供改变量dz2的操作的情况下，智能电话2根据下述公式(5)执行计算：
α＝α0+m×(dz+dz2)(Formula 5)
如上述(5)中所指示的那样，归因于图13A和图13B所示的操作基于改变量的总值计算视角α。甚至在执行图13A和图13B所示的多个操作等的情况下，执行天空球面的视角α的计算，并且由此，可以保持恒定的可操作性。
在此，变焦处理不限于根据公式(4)和公式(5)的处理。
可以通过组合虚拟相机3的视角α和视点的位置的改变实现变焦处理。
图14是用于示出根据本发明一个实施例的另一变焦处理的一个示例的示图。
图14是用于示出另一变焦处理的模型示图。图14中的球面CS与图10A、图10B、图10C和图10D中的球面CS相似。在图14中，球面CS的半径描述为“1”。
在虚拟相机3的初始位置处提供图14中的原点。虚拟相机3的位置在光轴(即图10A中的z轴)上改变。可以通过距原点的距离表示虚拟相机3的移动量d。例如，在虚拟相机3位于原点处的情况(即初始状态的情况)下，移动量d是“0”。
基于虚拟相机3的移动量d和视角α通过视角ω表示图10A、图10B、图10C和图10D中的预定区域T的范围。图14所示的视角ω是在虚拟相机3位于原点处的情况(即d＝0的情况)下的视角。
在虚拟相机3位于原点处的情况(即d＝0的情况)下，视角ω与视角α相同。在虚拟相机3距原点移位的情况(即d的值增加的情况)下，视角ω和视角α展现不同的范围。
另一变焦处理是用于改变视角ω的处理。
图15是用于示出根据本发明一个实施例的另一变焦处理的一个示例的表。
说明性表4示出视角ω是60°到300°的范围的情况的示例。
如说明性表4所示，智能电话2基于变焦规格值ZP确定优先改变虚拟相机3的视角α和移动量d中的哪一个。
“范围”是基于变焦规格值ZP所确定的范围。
“输出放大率”是基于另一变焦处理所确定的图像参数所计算的图像的输出放大率。
“变焦规格值ZP”是与待输出的视角对应的值。另一变焦处理基于变焦规格值ZP改变用于确定移动量d和视角α的处理。对于待在另一变焦处理中执行的处理，基于说明性表4所示的变焦规格值ZP确定四种方法之一。变焦规格值ZP的范围划分为四个范围：A-B的范围、B-C的范围、C-D的范围以及D-E的范围。
“视角ω”是与另一变焦处理所确定的图像参数对应的视角ω。
“改变参数”是示出四种方法中的每一个基于变焦规格值ZP所改变的参数的描述。“标记”是用于“改变参数”的标记。
说明性表4中的“viewWH”是表示输出区域的宽度或高度的值。在输出区域在横向上很长的情况下，“viewWH”是宽度的值。在输出区域在纵向上很长的情况下，“viewWH”是高度的值。也就是说，“viewWH”是表示纵向方向上的输出区域的大小的值。
说明性表4中的“imgWH”是表示输出图像的宽度或高度的值。在输出区域在横向上很长的情况下，“imgWH”是输出图像的宽度的值。在输出区域在纵向上很长的情况下，“imgWH”是输出图像的高度的值。也就是说，“imgWH”是表示纵向方向上的输出图像的大小的值。
说明性表4中的“imageDeg”是表示输出图像的显示范围的角度的值。在表示输出图像的宽度的情况下，“imageDeg”是360°。在表示输出图像的高度的情况下，“imageDeg”是180°。
图16A、图16B、图16C、图16D和图16E是用于示出根据本发明一个实施例的另一变焦处理的“范围”的一个示例的示图。
以下将作为示例描述图16A、图16B、图16C、图16D和图16E中的所谓的“缩小”的情况。在此，图16A、图16B、图16C、图16D和图16E的每幅图中的左图示出待输出的图像的一个示例。图16A、图16B、图16C、图16D和图16E中的每幅图中的右图是示出在图14所示的模型示图中的输出时的虚拟相机3的状态的一个示例的示图。
图16A是在以图15中的说明性表4中的“范围”是“A-B”的这样的方式输入变焦规格值ZP的情况下的输出的一个示例。在“A-B”的情况下，虚拟相机3的视角α固定在例如α＝60°处。在“A-B”的情况下，如图16A所示，在视角α为固定的条件时，虚拟相机3的移动量d改变。在视角α为固定的条件时虚拟相机3的移动量d增加的情况下，视角ω增加。在“A-B”的情况下，视角α是固定的，并且虚拟相机3的移动量d增加，从而可以实现缩小处理。在此，在“A-B”的情况下的虚拟相机3的移动量d是从0到球面CS的半径。也就是说，在图16A、图16B、图16C、图16D和图16E的情况下，球面CS的半径为“1”，因此，虚拟相机3的移动量d是0-1的范围内的值。虚拟相机3的移动量d是与变焦规格值ZP对应的值。
图16B是在以图15中的说明性表4中的“范围”是“B-C”的这样的方式输入变焦规格值ZP的情况下的输出的一个示例。“B-C”是变焦规格值ZP是比“A-B”更大的值的情况。在“B-C”的情况下，虚拟相机3的移动量d固定在用于将虚拟相机3定位在球面CS的边缘处的值。也就是说，如图16B所示，虚拟相机3的移动量d固定在作为球面CS的半径的“1”处。在“B-C”的情况下，在虚拟相机3的移动量d为固定的条件时，视角α改变。在虚拟相机3的移动量d为固定的条件时视角α增加的情况下，视角ω从图16A增加到图16B。在“B-C”的情况下，虚拟相机3的移动量d是固定的，并且视角α增加，从而可以实现缩小处理。在“B-C”的情况下，视角α计算为ω/2。在“B-C”的情况下，视角α的范围是从作为在“A-B”的情况下固定的值的60°到120°。
在“A-B”或“B-C”的情况下，视角ω与变焦规格值ZP相同。在“A-B”或“B-C”的情况下，视角ω的值增加。
图16C是在以图15中的说明性表4中的“范围”是“C-D”的这样的方式输入变焦规格值ZP的情况下的输出的一个示例。“C-D”是变焦规格值ZP是比“B-C”更大的值的情况。在“C-D”的情况下，视角α固定在例如α＝120°处。在“C-D”的情况下，如图16C所示，在视角α为固定的条件时，虚拟相机3的移动量d改变。在视角α为固定的条件时虚拟相机3的移动量d增加的情况下，视角ω增加。基于图15中的说明性表4所示的变焦规格值ZP根据公式计算虚拟相机3的移动量d。在“C-D”的情况下，虚拟相机3的移动量d改变为最大显示距离dmax1。
最大显示距离dmax1是显示球面CS以便在智能电话2的输出区域中最大的距离。输出区域是例如智能电话2输出图像等的屏幕的大小等。最大显示距离dmax1是例如图16D的情况。根据下述公式(6)计算最大显示距离dmax1。
Figure BDA0002190642800000191
上述公式(6)中的“viewW”是表示智能电话2的输出区域的宽度的值。上述公式(6)中的“viewH”是表示智能电话2的输出区域的高度的值。以下将描述相似的内容。
基于作为智能电话2的输出区域的“viewW”和“viewH”的值计算最大显示距离dmax1。
图16D是在以图15中的说明性表4中的“范围”是“D-E”的这样的方式输入变焦规格值ZP的情况下的输出的一个示例。“D-E”是变焦规格值ZP是比“C-D”更大的值的情况。在“D-E”的情况下，视角α固定在例如α＝120°处。在“D-E”的情况下，如图16D所示，在视角α为固定的条件时，虚拟相机3的移动量d改变。虚拟相机3的移动量d改变为限制显示距离dmax2。限制显示距离dmax2是显示球面CS以便内接在智能电话2的输出区域中的距离。在下述公式(7)中计算限制显示距离dmax2。
Figure BDA0002190642800000192
限制显示距离dmax2是例如图16E的情况。
基于作为智能电话2的输出区域的“viewW”和“viewH”的值计算限制显示距离dmax2。限制显示距离dmax2表示智能电话2能够输出的最大范围(即虚拟相机3的移动量d的限制值)。可以通过这样的方式限制实施例：图15中的说明性表4所示的范围中包括变焦规格值ZP，也就是说，虚拟相机3的移动量d的值小于或等于限制显示距离dmax2。归因于这种限制，在输出图像适于作为输出区域的屏幕的条件或具有预定输出放大率的图像输出到用户的条件时，提供智能电话2，从而可以实现缩小。
归因于用于“D-E”的处理，智能电话2可以使得用户识别出输出图像为全天球全景。
在此，在“C-D”或“D-E”的情况下，视角ω与变焦规格值ZP不相同。此外，如图15中的说明性表4以及16A、图16B、图16C、图16D和图16E所示，视角ω在每个范围中是连续的，但该视角ω因朝向广角侧的缩小而不均匀地增加。也就是说，在虚拟相机3的移动量d改变的“C-D”的情况下，视角ω随虚拟相机3的该移动量d增加。在虚拟相机3的移动量d改变的“D-E”的情况下，视角ω随虚拟相机3的该移动量d减小。“D-E”中的虚拟相机3的移动量d的减小是因反映球面CS的外部区域导致的。在变焦规格值ZP指定大于等于240°的宽视场的情况下，智能电话2改变虚拟相机3的移动量d，并且由此，可以将具有较少奇怪感的图像输出到用户，并且改变视角ω。
在变焦规格值ZP朝向广角方向改变的情况下，视角ω频繁增加。在视角ω增加的情况下，智能电话2固定虚拟相机3的视角α，并且增加虚拟相机3的移动量d。智能电话2固定虚拟相机3的视角α，并且由此，可以减少虚拟相机3的该视角α的增加。智能电话2减少虚拟相机3的视角α的增加，并且由此，可以将具有较少失真的图像输出到用户。在虚拟相机3的视角α为固定的情况下，智能电话2增加虚拟相机3的移动量d，也就是说，将虚拟相机3移动为远离的，并且由此，可以对用户提供广角显示的开放感觉。此外，用于将虚拟相机3移动为远离的移动与在人类确认宽范围时的移动相似，因此，智能电话2归因于用于将虚拟相机移动为远离的移动而实现具有较少奇怪感的缩小。
在“D-E”的情况下，视角ω随朝向广角方向改变变焦规格值ZP而减小。在“D-E”的情况下，智能电话2减小视角ω，并且由此，可以对用户提供远离球面CS的感觉。智能电话2对用户提供远离球面CS的感觉，并且由此，可以将具有较少奇怪感的图像输出到用户。
因此，归因于图15中的说明性表4所示的另一变焦处理，智能电话2可以将具有较少奇怪感的图像输出到用户。
在此，实施例不限于仅图15中的说明性表4所示的虚拟相机3的移动量d或视角α改变的情况。对于实施例足够的是成为用于在图15中的说明性表4所示的条件时优先改变虚拟相机3的移动量d或视角α的模式，并且固定值可以改变为足够小的值，例如，以用于调整。
此外，实施例不限于缩小。实施例可以实现例如放大。
在此，编辑待输出的区域的情况不限于对于改变图像执行操作的情况。例如，在对于编辑图像执行操作的情况下，智能电话2可以编辑待输出的区域。
<待基于编辑图像对于预定区域执行的编辑>
待基于编辑图像对于预定区域执行的编辑是模糊编辑，其模糊预定像素。在此，对于另一编辑，可以提供所指定的图像范围的擦除、图像的色调或色彩深度等的改变、指定的图像范围的色彩改变等。
将在以下作为示例描述在图12A、图12B和图12C中编辑待输出的区域之后用户对于输出图像22执行模糊编辑的情况。
在用户执行推按模糊编辑按钮51的操作的情况下，智能电话2使得用户输入用于显示在图12A、图12B和图12C中编辑待输出的区域之后的输出图像22的编辑图像32的区域的所谓的“点击操作”。
智能电话2执行用于模糊以用户所点击的点为中心的预定范围的处理。
图17A和图17B是用于示出根据本发明一个实施例的待基于编辑图像对于预定区域执行的编辑的一个示例的示图。
图17A是用于示出根据本发明一个实施例的模糊编辑的一个示例的示图。图17A是示出在模糊编辑之后的输出图像23的示图。在模糊编辑之后的输出图像23具有在模糊编辑之后的编辑图像33以及在模糊编辑之后的改变图像43。
通过将模糊编辑应用于图12A、图12B和图12C中在编辑待输出的区域之后的输出图像来产生在模糊编辑之后的编辑图像33。通过例如高斯函数、外围像素的平均、带通滤波等实现模糊编辑。示出类似例如模糊编辑区域5的模糊编辑。
将模糊编辑应用于改变图像。智能电话2执行从户所点击的点的坐标计算三维空间中的点(Px，Py，Pz)。智能电话2通过使用视锥的透视投影变换的逆变换从二维坐标计算(Px，Py，Pz)。二维坐标中不存在深度的信息，因此，通过使用球面上的点和联立方程计算(Px，Py，Pz)。投影坐标系中的Pz的符号是恒定的，因此，智能电话2可以计算联立方程。全天球全景图像的坐标与(Px，Py，Pz)对应，因此，智能电话2可以从所计算的(Px，Py，Pz)计算全天球全景图像上的坐标。因此，在如图17A所示反映模糊编辑的条件时，提供在模糊编辑之后的改变图像43。
图17B是用于示出根据本发明一个实施例的消除模糊的编辑的一个示例的示图。
基于编辑图像应用于预定区域的编辑是消除用于该模糊编辑所模糊的模糊编辑区域5的模糊编辑的编辑。
在用户执行推按消除编辑按钮52的操作的情况下，智能电话2输出用于在具有所应用的模糊编辑的模糊编辑区域5上显示填充区域6的消除编辑的输出图像24。如图17B所示，用于消除编辑的输出图像24是在图17A中的模糊编辑之后的编辑图像33中的模糊编辑区域5上显示填充区域6的图像。用户执行用于所显示的填充区域6(即具有所应用的模糊的区域)的点击操作。智能电话2执行用于消除在以用户所点击的点为中心的预定范围中的模糊编辑的处理。也就是说，在用于消除模糊编辑的编辑中，智能电话2提供在编辑图12A、图12B和图12C中待输出的区域之后的输出图像22的状态下的模糊编辑之后的编辑图像33中以用户所点击的点为中心的预定范围。
一旦人的面部或禁止拍照的建筑的拍摄图像在互联网上发放或共享，就可能产生麻烦。具体地说，在拍摄具有宽范围的全景图像的情况下，可能频繁拍摄到宽范围中的很多对象的图像。因此，归因于用于模糊在发放或共享时可能有问题的对象的处理，用户可以减少麻烦。归因于待基于编辑图像应用于预定区域的编辑，智能电话2可以促进用于模糊图像中的所拍摄的人的面部的操作。因此，归因于待基于编辑图像应用于预定区域的编辑，智能电话2可以使得用户容易地执行图像操作。
在此，在执行编辑待输出的区域的情况下，智能电话2可以根据放大率基于编辑图像等改变应用于预定区域的编辑的范围。
在步骤S0710，智能电话2计算待输出的坐标的移动量。也就是说，在步骤S0710，智能电话2基于例如上述公式(2)计算与用户的滑动操作对应的图10A、图10B、图10C和图10D中的预定区域T的位置。
在步骤S0711，智能电话2于在步骤S0710所计算的位置处更新图10A、图10B、图10C和图10D中的预定区域T的位置。
在步骤S0712，智能电话2计算作为编辑对象的点的坐标。也就是说，在步骤S0712，智能电话2计算与用户的点击操作对应的坐标，并且执行用于投影到三维坐标上的计算。
在步骤S0713，智能电话2计算以步骤S0712所计算的坐标为中心并且基于编辑图像所编辑的预定区域。也就是说，在步骤S0713，智能电话2计算作为用户的点击操作所指定的点或该点的外围并且作为用于模糊编辑的对象等的像素。
在步骤S0714，智能电话2产生编辑图像。在用户在步骤S0714执行用于改变图像的操作的情况下，智能电话2基于在步骤S0711所更新的预定区域T产生改变图像。在用户在步骤S0714执行用于编辑图像的操作的情况下，智能电话2产生编辑图像，其中，模糊处理反映于在步骤S0713所计算的像素上。
在步骤S0715，智能电话2产生改变图像。在用户在步骤S0715执行用于改变图像的操作的情况下，智能电话2基于在步骤S0711所更新的预定区域T产生改变图像。在用户在步骤S0715执行用于编辑图像的操作的情况下，智能电话2产生指示作为在步骤S713的模糊对象的位置的改变图像。
智能电话2重复步骤S0708至步骤S0715的处理。
<智能电话上的处理>
图18是示出根据本发明一个实施例的智能电话上的整体处理的一个示例的流程图。
在步骤S1801，智能电话2执行用于从图1中的图像拍摄设备1获取图像等的处理。在步骤S1801的处理与在图7中的步骤S0702的处理对应。
在步骤S1802，智能电话2执行用于产生全景图像的处理。基于在步骤S1801所获取的图像执行在步骤S1802的处理。在步骤S1802的处理与在图7中的步骤S0703的处理对应。
在步骤S1803，智能电话2执行用于使得用户选择待输出的图像的处理。在步骤S1803的处理与在图7中的步骤S0704的处理对应。具体地说，用于使得用户选择待输出的图像的处理是用于输出缩略图像或提供用于使得用户执行用于缩略图像的操作的UI等的处理。
在步骤S1804，智能电话2执行用于产生初始图像的处理。在步骤S1804的处理与在图7中的步骤S0705的处理对应。在步骤S1804，智能电话2产生并且输出用户在步骤S1803所选择的图像作为初始图像。
在步骤S1805，智能电话2执行关于是否执行切换到用于编辑图像的模式的确定。在步骤S1805的处理基于是否提供图7中的步骤S0706的用户操作执行确定。在以提供切换到提供用于编辑图像的模式(在步骤S1805的是)的这样的方式在步骤S1805提供确定的情况下，智能电话2进入步骤S1806。在以不提供切换到用于编辑图像的模式(在步骤S1805的否)的这样的方式在步骤S1805提供确定的情况下，智能电话2返回步骤S1804。
以提供切换到用于编辑图像的模式的这样的方式在步骤S1805提供确定的情况是用户提供用以开始编辑图像的输入的情况。以不提供切换到用于编辑图像的模式的这样的方式在步骤S1805提供确定的情况是用户不执行操作的情况。因此，在用户不执行操作的情况下，智能电话2继续输出初始图像，并且等待用户用以开始图像的编辑的输入。
在步骤S1806，智能电话2执行用于输出用于编辑图像的输出图像的处理。在步骤S1806的处理与在图7中的步骤S0707的处理对应。此外，智能电话2对输出图像进行输出，并且由此在图7中的步骤S0708接受用户的操作。
在步骤S1807，智能电话2关于是对于编辑图像还是改变图像执行用户的操作执行确定。在步骤S1807的处理与在图7中的步骤S0709的处理对应。智能电话2关于是对于编辑图像还是改变图像执行用户在图7中的步骤S0708的操作执行确定。
在以对于改变图像(在步骤S1807的改变图像)执行用户的操作的这样的方式提供确定的情况下，智能电话2进入步骤S1808。在以对于编辑图像(在步骤S1807的编辑图像)执行用户的操作的这样的方式提供确定的情况下，智能电话2进入步骤S1810。
在步骤S1808，智能电话2执行用于计算由于操作引起的预定区域的移动量的处理。在步骤S1808的处理与在图7中的步骤S0710的处理对应。在步骤S1808，智能电话2基于用户所执行的滑动操作计算用于移动预定区域的移动量，并且改变该预定区域。
在步骤S1809，智能电话2执行用于更新预定区域的处理。在步骤S1809的处理与在图7中的步骤S0711的处理对应。在步骤S1809，智能电话2将图10A、图10B、图10C和图10D中的预定区域T移动到与在步骤S1808所计算的移动量对应的位置，并且将该预定区域T从初始图像的位置更新为与用户的滑动操作对应的位置。
在步骤S1810，智能电话2执行用于计算并且三维投影作为操作对象的坐标的处理。在步骤S1810的处理与在图7中的步骤S0712的处理对应。在步骤S1810，智能电话2计算与用户的点击操作所指定的点对应的全天球图像上的坐标。
在步骤S1811，智能电话2执行用于计算作为模糊对象的像素的处理。例如，智能电话2具有使得关于是否提供模糊对象的标志数据与每个像素对应的编辑状态表。编辑状态表表示每个像素是否以模糊状态输出。智能电话2参考编辑状态表，确定输出图像中的每个像素是否以模糊状态输出，并且输出图像。也就是说，在步骤S1811的处理是用于更新编辑状态表的处理。在用户的点击操作中提供用于如图17A所示的模糊或如图17B所示的取消的操作的情况下，智能电话2基于该操作更新编辑状态表。
在步骤S1812，智能电话2执行用于产生编辑图像的处理。在步骤S1812的处理与在图7中的步骤S0714的处理对应。
在步骤S1813，智能电话2执行用于产生改变图像的处理。在步骤S1813的处理与在图7中的步骤S0715的处理对应。
归因于在步骤S1812和步骤S1813的处理，智能电话2产生输出图像，并且执行对用户的输出。
智能电话2返回步骤S1807，并且重复先前所示的处理。
在步骤S1812和步骤S1813的处理基于编辑状态表提供模糊对象的情况下，智能电话2执行例如图17A所示的模糊处理以及输出。
智能电话2输出到用户的图像以该用户感觉动画的平滑再现的这样的方式按每1秒30或更多帧输出。期望智能电话2以用户感觉特别平滑的再现的这样的方式按每1秒60或更多帧执行输出。在此，输出的帧率可以是这样的：每1秒60帧改变为例如每1秒59.94帧。
在此，在步骤S1812和步骤S1813的处理不限于用于使得智能电话2执行模糊处理和输出的处理。
例如，智能电话2具有通过预先将模糊处理应用于待输出的图像的所有像素所提供的图像以及通过不应用模糊处理所提供的图像。智能电话2通过同时选择通过基于编辑状态表执行模糊处理提供的图像或通过不执行模糊处理提供的图像来输出每个像素。智能电话2可以通过预先执行模糊处理减少用于输出图像的计算量。也就是说，智能电话2可以通过执行每个像素的选择和同时输出来实现例如每1秒60帧的高速图像输出。
此外，例如，在选择并且同时输出每个像素的情况下，智能电话2可以存储输出图像。在用户不执行编辑操作的情况下，智能电话2输出所存储的图像。归因于存储，无需用于选择并且产生待输出的图像的每个像素的处理，因此，智能电话2可以减少计算量。因此，智能电话2存储输出图像，并且由此，可以实现例如每1秒60帧的高速图像输出。
在此，输出图像不限于图11所示的图像等。例如，可以改变编辑图像或改变图像的形状、位置、大小或范围。
图19A和图19B是用于示出根据本发明一个实施例的改变输出(例如改变图像的位置或方向等)的一个示例的示图。
作为用于显示输出图像的设备的一个示例的信息处理设备是例如智能电话2。将在以下作为示例描述智能电话2。
图19A是示出根据本发明一个实施例的改变智能电话2的姿态的一个示例的示图。
例如，改变图像在改变之前输出到位置7，如图19A所示。将在以下作为示例描述图19A的情况。
例如，用户在图19A所示的旋转方向上改变智能电话2的姿态。图6中的状态传感器2H4检测智能电话2的姿态。智能电话2基于作为检测结果的智能电话2的姿态对输出图像进行旋转并且输出。智能电话2可以基于检测的结果改变用于输出改变图像的区域的位置或方向。
图19B是示出根据本发明一个实施例的基于检测结果改变显示改变图像的区域的位置或方向的一个示例的示图。
在用户如图19A所示旋转智能电话2的情况下，智能电话2将用于输出改变图像的区域的位置从图19A中的改变之前示出为位置7的位置改变为第一改变位置71或第二改变位置72。
在此，改变图像可以是在基于如图19B所示的检测结果改变输出的方向(也就是说，从图19A的状态旋转到图19B所示的状态)的条件时的输出。
智能电话2基于检测的结果改变用于输出改变图像的区域的位置或方向。也就是说，即使智能电话2的姿态改变，智能电话2也可以在便于用户操作的位置处或方向上输出图像，以便根据该姿态输出该图像。
此外，关于改变图像的位置或方向的改变，智能电话2可以显示该改变图像，从而在该改变期间恢复。
<功能配置>
图20是示出根据本发明一个实施例的图像拍摄系统的功能配置的一个示例的框图。
图像拍摄系统10具有图像拍摄设备1和智能电话2。图像拍摄系统10具有第一图像拍摄部分1F1、第二图像拍摄部分1F2和全天球图像产生部分1F3。图像拍摄系统10具有图像获取部分2F1、产生部分2F2、输入/输出部分2F3、检测部分2F4、存储部分2F5和控制部分2F6。
第一图像拍摄部分1F1和第二图像拍摄部分1F2拍摄并且产生作为全天球图像的素材的图像。通过例如图2A、图2B和图2C等中的前侧图像拍摄元件1H1实现第一图像拍摄部分1F1。通过例如图2A、图2B和图2C等中的后侧图像拍摄元件1H2实现第二图像拍摄部分1F2。作为全天球图像的素材的图像是例如图4A或图4B所示的半球图像。
全天球图像产生部分1F3产生输出到智能电话2的图像(例如全天球图像)。通过例如图5中的图像处理单元1H7等实现全天球图像产生部分1F3。全天球图像产生部分1F3从第一图像拍摄部分1F1和第二图像拍摄部分1F2所拍摄的半球图像产生全天球图像。
图像获取部分2F1从图像拍摄设备1获取图像数据(例如全天球图像)。通过例如图6中的网络I/F 2H6等实现图像获取部分2F1。图像获取部分2F1执行用于使得智能电话2获取图像数据(例如全天球图像)的处理。
产生部分2F2执行用于产生每种图像以及关于产生图像必须的每种计算的处理。产生部分2F2具有改变图像产生部分2F21和编辑图像产生部分2F22。通过图6中的CPU 2H5等实现产生部分2F2。
改变图像产生部分2F21执行用于执行改变图像的产生的处理。改变图像产生部分2F21从存储部分2F5获取例如图像数据和编辑状态表。改变图像产生部分2F21基于所获取的编辑状态表和图像数据产生改变图像。
编辑图像产生部分2F22执行用于执行编辑图像的产生的处理。编辑图像产生部分2F22从存储部分2F5获取例如图像数据和编辑状态表。编辑图像产生部分2F22基于所获取的编辑状态表和图像数据产生编辑图像。
产生部分2F2计算与在用户执行点击或滑动操作的情况下的操作关联的坐标，并且将其存储为编辑状态表。此外，产生部分2F2所产生的图像可以存储在存储部分2F5中，并且根据处理取出。
产生部分2F2可以基于从检测部分2F4获取的检测结果产生每种图像。
输入/输出部分2F3执行用于输入用户的操作的处理。输入/输出部分2F3使得用户执行用于输出产生部分2F2所产生的图像的处理。通过例如图6中的输入/输出设备2H3等实现输入/输出部分2F3。
检测部分2F4执行用于检测智能电话2的姿态的处理。通过例如图6中的状态传感器2H4等实现检测部分2F4。
存储部分2F5存储智能电话2所获取或产生的每种信息。存储部分2F5具有例如编辑状态表存储部分2F51和图像存储部分2F52。通过例如图6中的附属存储设备2H1或主存储设备2H2等实现存储部分2F5。
编辑状态表存储部分2F51存储表示执行模糊处理的像素的表的数据。
图像存储部分2F52存储图像获取部分2F1所获取的全天球图像、产生部分2F2所产生的输出图像等。
控制部分2F6控制智能电话2中所提供的每种组件。控制部分2F6控制每种组件，并且由此，实现每种处理、用于协助每种处理的处理等。通过例如图6中的CPU 2H5等实现控制部分2F6。
在此，整体处理不限于图7所示的情况。例如，除了图7所示的设备之外的设备可以处理每个处理的部分或全部。
智能电话2基于从图像拍摄设备1获取的全天球图像等产生编辑图像和改变图像。编辑图像是用于输出预定区域T所确定的预定区域的图像，并且使得用户执行编辑操作(例如模糊或消除模糊)。改变图像是用于使得用户执行用于改变预定区域T的位置、大小或范围等的操作的图像。智能电话2输出至少具有编辑图像和改变图像的输出图像。输出图像具有编辑图像和改变图像，并且由此，智能电话2可以使得用户执行编辑(例如模糊)并且通过该改变图像同时改变该编辑图像中所输出的区域。因此，在用户对于全天球图像等执行模糊操作的情况下，智能电话2可以输出用于便利操作的图像。因此，智能电话2输出具有编辑图像和改变图像的输出图像，并且由此，用户可以容易地执行图像的操作。
在此，可以通过传统编程语言(例如汇编、C、C++、C#或Java(注册商标))、面向对象的编程语言等中所描述的计算机可执行程序实现智能电话2。程序可以存储在记录介质(例如ROM或电可擦除可编程ROM(EEPROM))中并且通过其发布。程序可以存储在记录介质(例如可擦除可编程ROM(EPROM))中并且通过其发布。程序可以存储在记录介质(例如闪存、软盘、CD-ROM、CD-RW、DVD-ROM、DVD-RAM、DVD-RW等)中并且通过其发布。程序可以存储在设备可读记录介质(例如蓝光盘、SD(注册商标)卡或MO)中或通过电信线路发布。
在此，实施例中的图像不限于静止图像。例如，图像可以是动画。
此外，可以通过例如可编程器件(PD)(例如现场可编程门阵列(FPGA))实现实施例中的每个处理的部分或全部。此外，可以通过专用集成电路(ASIC)实现实施例中的每个处理的部分或全部。
虽然以上已经详细描述了本发明优选实际示例，但本发明不限于这些特定实施例，并且各种改动和修改在权利要求中所陈述的本发明的实质的范围的内是可能的。
[附录]
<信息处理方法、信息处理设备和程序的说明性实施例>
本发明的至少一个说明性实施例可以涉及信息处理方法、信息处理设备以及程序。
本发明的至少一个说明性实施例可以致力于促进执行用于用户的图像操作。
根据本发明至少一个说明性实施例，可以提供一种使得计算机处理图像的信息处理方法，其特征在于，使得所述计算机执行：获取步骤，用于获取所述图像；产生步骤，用于产生用于编辑所述图像的预定区域的编辑图像以及用于改变待输出的所述预定区域的改变图像；以及输出步骤，用于输出至少具有所述编辑图像和所述改变图像的输出图像。
说明性实施例(1)是一种用于使得计算机处理图像的信息处理方法，其中，所述图像处理方法使得所述计算机执行：获取步骤，用于获取所述图像；产生步骤，用于产生用于编辑所述图像的预定区域的编辑图像以及用于改变待输出的所述预定区域的改变图像；以及输出步骤，用于输出至少具有所述编辑图像和所述改变图像的输出图像。
说明性实施例(2)是如说明性实施例(1)中所描述的信息处理方法，其中，执行：编辑区域输入步骤，用于通过使用所述编辑图像获取作为所述编辑的目标区域的编辑区域；以及编辑步骤，用于编辑所述编辑区域。
说明性实施例(3)是如说明性实施例(2)中所述的图像处理方法，其中，所述编辑步骤是用于模糊所述编辑区域的步骤。
说明性实施例(4)是如说明性实施例(3)中所描述的信息处理方法，其中，产生刚好已经在所述获取步骤中获取的获取图像以及模糊处理所产生的模糊图像，并且通过选择用于所述编辑区域的所述模糊图像的像素以及用于除了所述编辑区域之外的区域的所述获取图像的像素来输出所述输出图像。
说明性实施例(5)是如说明性实施例(2)至(4)中的任一项所描述的信息处理方法，其中，执行：指定区域输入步骤，用于获取指定随所述编辑图像所输出的图像的部分或全部的区域的指定区域；以及消除步骤，用于消除对于所述指定区域执行的所述编辑处理。
说明性实施例(6)是如说明性实施例(1)至(5)中的任一项所描述的信息处理方法，其中，执行操作输入步骤：用于通过使用所述改变图像获取用于改变、放大或缩小随所述编辑图像所输出的所述预定区域的操作。
说明性实施例(7)是如说明性实施例(6)中所描述的信息处理方法，其中，基于所述操作执行用于确定视点位置和视角的确定步骤，并且所述确定基于所述操作所指示的区域改变所述视点位置和所述视角之一。
说明性实施例(8)是如说明性实施例(1)至(7)中的任一项所描述的信息处理方法，其中，执行：检测步骤，用于检测显示所述输出图像的设备的姿态；以及改变步骤，用于基于所述检测步骤进行的检测的结果改变所述改变图像的位置或方向。
说明性实施例(9)是一种处理图像的信息处理设备，其中，所述图像处理设备具有：获取部件，用于获取所述图像；产生部件，用于产生用于编辑所述图像的预定区域的编辑图像以及用于改变待输出的所述预定区域的改变图像；以及输出部件，用于输出至少具有所述编辑图像和所述改变图像的输出图像。
说明性实施例(10)是一种用于使得计算机处理图像的程序，其中，所述程序使得所述计算机执行：获取步骤，用于获取所述图像；产生步骤，用于产生用于编辑所述图像的预定区域的编辑图像以及用于改变待输出的所述预定区域的改变图像；以及输出步骤，用于输出至少具有所述编辑图像和所述改变图像的输出图像。
根据至少本发明说明性实施例，可以促进执行用于用户的图像操作。
虽然已经参照附图描述了本发明的说明性实施例和特定示例，但本发明不限于任何说明性实施例和特定示例，并且在不脱离本发明的范围的情况下，可以改动、修改或组合说明性实施例和特定示例。
本申请要求基于2014年3月18日提交的日本专利申请No.2014-054782的优先权的利益，其完整内容通过引用合并到此。

Claims (15)

1.一种信息处理方法,包括：
第一显示步骤：将全天球图像的至少一部分区域作为第一图像来显示；
第二显示步骤：将包含在所述第一图像中的区域作为第二图像而显示在与显示所述第一图像的屏幕相同的屏幕上；
编辑步骤：对所述第二图像进行编辑；
输入操作接收步骤：对于所述第一图像接收来自用户的输入操作，其中，所述输入操作包括对所述第一图像进行改变的操作，所述输入操作包括滑动操作，其中基于对于所述滑动操作所输入的输入量改变所述第一图像；
确定步骤：基于在所述输入操作接收步骤中接收的输入操作确定视点位置和视角，并且所述确定基于在所述输入操作接收步骤中接收的所述输入操作所指示的区域改变所述视点位置和所述视角之一；
第三显示步骤：显示一同被改变的所述第一图像及所述第二图像，其中通过由所述输入操作接收步骤接收的输入操作和所述确定步骤改变的所述视点位置和所述视角之一，所述第一图像及第二图像一同被改变。
2.如权利要求1所述的信息处理方法，
所述输入操作接收步骤是变更所述全天球图像中的至少一部分区域的步骤。
3.如权利要求1所述的信息处理方法，
所述第一图像是将所述全天球图像缩小后的图像，所述输入操作接收步骤是变更将所述全天球图像缩小后的图像中的区域的步骤。
4.如权利要求1所述的信息处理方法，
所述编辑步骤是基于所述包含在所述第一图像中的区域的坐标，对所述第二图像进行编辑的步骤。
5.如权利要求4所述的信息处理方法，
所述编辑步骤是模糊处理。
6.一种计算机可读记录介质，其存储有信息处理程序，所述程序使计算机执行：
第一显示处理：将全天球图像的至少一部分区域作为第一图像来显示；
第二显示处理：将包含在所述第一图像中的区域作为第二图像而显示在与显示所述第一图像的屏幕相同的屏幕上；
编辑处理：对所述第二图像进行编辑；
输入操作接收处理：对于所述第一图像接收来自用户的输入操作，其中，所述输入操作包括对所述第一图像进行改变的操作，所述输入操作包括滑动操作，其中基于对于所述滑动操作所输入的输入量改变所述第一图像；
确定处理：基于在所述输入操作接收处理中接收的输入操作确定视点位置和视角，并且所述确定基于在所述输入操作接收处理中接收的所述输入操作所指示的区域改变所述视点位置和所述视角之一；
第三显示处理：显示一同被改变的所述第一图像及所述第二图像，其中通过由所述输入操作接收处理接收的输入操作和所述确定处理改变的所述视点位置和所述视角之一，所述第一图像及第二图像一同被改变。
7.如权利要求6所述的计算机可读记录介质，
所述输入操作接收处理是变更所述全天球图像中的至少一部分区域的处理。
8.如权利要求6所述的计算机可读记录介质，
所述第一图像是将所述全天球图像缩小后的图像，所述输入操作接收处理是变更将所述全天球图像缩小后的图像中的区域的处理。
9.如权利要求6所述的计算机可读记录介质，
所述编辑处理是基于所述包含在所述第一图像中的区域的坐标，对所述第二图像进行编辑的处理。
10.如权利要求9所述的计算机可读记录介质，
所述编辑处理是模糊处理。
11.一种信息处理装置，所述信息处理装置具有：
显示部分，其将全天球图像的至少一部分区域作为第一图像而显示在屏幕的第一区域，将包含在所述第一图像中的区域作为第二图像而显示在与显示所述第一图像的屏幕相同的屏幕的第二区域上；
编辑部分，其对所述第二图像进行编辑；
输入操作接收部分，其对于所述第一图像接收来自用户的输入操作，其中，所述输入操作包括对所述第一图像进行改变的操作，所述输入操作包括滑动操作，其中基于对于所述滑动操作所输入的输入量改变所述第一图像；
确定部分：基于在所述输入操作接收部分中接收的输入操作确定视点位置和视角，并且所述确定基于在所述输入操作接收部分中接收的所述输入操作所指示的区域改变所述视点位置和所述视角之一；
其中，所述显示部分还显示一同被改变的所述第一图像及所述第二图像，其中通过由所述输入操作接收部分接收的输入操作和所述确定部分改变的所述视点位置和所述视角之一，所述第一图像及第二图像一同被改变。
12.如权利要求11所述的信息处理装置，
通过所述输入操作接收部分，变更所述全天球图像中的至少一部分区域。
13.如权利要求11所述的信息处理装置，
所述第一图像是将所述全天球图像缩小后的图像，通过所述输入操作接收部分，变更将所述全天球图像缩小后的图像中的区域。
14.如权利要求11所述的信息处理装置，
所述编辑部分是基于所述包含在所述第一图像中的区域的坐标，对所述第二图像进行编辑的部分。
15.如权利要求14所述的信息处理装置，
通过所述编辑部分，基于所述包含在所述第一图像中的区域的坐标，对所述第二图像进行模糊处理。
CN201910830851.1A 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序 Active CN110456967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910830851.1A CN110456967B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014054782A JP5835383B2 (ja) 2014-03-18 2014-03-18 情報処理方法、情報処理装置、およびプログラム
JP2014-054782 2014-03-18
CN201910830851.1A CN110456967B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序
CN201580013724.2A CN106133794B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序
PCT/JP2015/057609 WO2015141605A1 (en) 2014-03-18 2015-03-10 Information processing method, information processing device, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580013724.2A Division CN106133794B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序

Publications (2)

Publication Number Publication Date
CN110456967A CN110456967A (zh) 2019-11-15
CN110456967B true CN110456967B (zh) 2023-05-02

Family

ID=54144574

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580013724.2A Active CN106133794B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序
CN201910830851.1A Active CN110456967B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580013724.2A Active CN106133794B (zh) 2014-03-18 2015-03-10 信息处理方法、信息处理设备以及程序

Country Status (6)

Country Link
US (3) US9760974B2 (zh)
EP (1) EP3120327A1 (zh)
JP (1) JP5835383B2 (zh)
CN (2) CN106133794B (zh)
CA (1) CA2941469C (zh)
WO (1) WO2015141605A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255664B2 (en) * 2014-07-04 2019-04-09 Sony Corporation Image processing device and method
JP6518069B2 (ja) * 2015-01-09 2019-05-22 キヤノン株式会社 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体
JP5987931B2 (ja) 2015-02-09 2016-09-07 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
USD791146S1 (en) * 2015-09-25 2017-07-04 Sz Dji Osmo Technology Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
EP3422696A4 (en) 2016-02-24 2019-03-13 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE PROCESSING SYSTEM AND PROGRAM
TWI567691B (zh) * 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
JPWO2018043135A1 (ja) * 2016-08-31 2019-06-24 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JP7133900B2 (ja) * 2016-11-17 2022-09-09 株式会社Ｎｔｔファシリティーズ 撮影位置特定システム、撮影位置特定方法、及びプログラム
JP6885158B2 (ja) * 2017-03-31 2021-06-09 株式会社リコー 画像処理装置、撮影装置、及び画像処理方法
JP6331178B1 (ja) * 2017-05-12 2018-05-30 パナソニックＩｐマネジメント株式会社 画像処理装置、及び、画像処理方法
JP7122729B2 (ja) * 2017-05-19 2022-08-22 株式会社ユピテル ドライブレコーダー、ドライブレコーダー用表示装置及びプログラム
JP2019099219A (ja) * 2017-12-01 2019-06-24 株式会社イオグランツ 包装体
US10855916B2 (en) 2018-03-15 2020-12-01 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
JP7268372B2 (ja) * 2019-01-31 2023-05-08 株式会社リコー 撮像装置
US11436776B2 (en) * 2019-03-15 2022-09-06 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
CN117616447A (zh) 2021-07-09 2024-02-27 三星电子株式会社 电子装置和电子装置的操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
CN103339466A (zh) * 2011-03-15 2013-10-02 欧姆龙株式会社 图像处理装置及图像处理程序
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341466A (en) * 1991-05-09 1994-08-23 New York University Fractal computer user centerface with zooming capability
US6121966A (en) * 1992-11-02 2000-09-19 Apple Computer, Inc. Navigable viewing system
JPH06325144A (ja) 1993-05-12 1994-11-25 Toppan Printing Co Ltd レイアウトデザイン装置
JPH10340075A (ja) 1997-06-06 1998-12-22 Matsushita Electric Ind Co Ltd 画像表示方法
US7620909B2 (en) * 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
JP2002329212A (ja) 2001-05-02 2002-11-15 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4439763B2 (ja) * 2001-07-04 2010-03-24 株式会社リコー 画像録画再生システムおよび画像録画再生方法
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP3641747B2 (ja) * 2001-10-23 2005-04-27 ヴイストン株式会社 画像表示方法及び画像表示装置
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP2004254256A (ja) * 2003-02-24 2004-09-09 Casio Comput Co Ltd カメラ装置、表示方法及びプログラム
FR2854265B1 (fr) * 2003-04-28 2006-05-19 Snecma Moteurs Optimisation de l'ergonomie lors du deplacement d'un mannequin virtuel
JP4635437B2 (ja) 2004-01-07 2011-02-23 ソニー株式会社 電子機器及び画像表示方法
JP4756876B2 (ja) 2004-06-09 2011-08-24 キヤノン株式会社 画像表示制御装置、画像表示制御方法、プログラム、及び記憶媒体
US7839446B2 (en) * 2005-08-30 2010-11-23 Olympus Corporation Image capturing apparatus and image display apparatus including imparting distortion to a captured image
JP4916237B2 (ja) 2005-09-16 2012-04-11 株式会社リコー 画像表示装置、画像表示方法、その方法をコンピュータに実行させるプログラム、および画像表示システム
CN101305595B (zh) * 2005-11-11 2011-06-15 索尼株式会社 图像处理设备以及图像处理方法
WO2007055336A1 (ja) * 2005-11-11 2007-05-18 Sony Corporation 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置
EP1961205B1 (en) * 2005-12-16 2019-06-19 The 41st Parameter, Inc. Methods and apparatus for securely displaying digital images
US8477154B2 (en) * 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP4841449B2 (ja) 2007-01-29 2011-12-21 ソニー株式会社 撮像装置、画像編集方法及びプログラム
US8259208B2 (en) * 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
US8214766B1 (en) 2008-07-09 2012-07-03 Adobe Systems Incorporated Method and system for preview control for image adjustment
US20100162163A1 (en) * 2008-12-18 2010-06-24 Nokia Corporation Image magnification
EP2207342B1 (en) 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
WO2011055451A1 (ja) 2009-11-06 2011-05-12 パイオニア株式会社 情報処理装置、その方法、および、表示装置
KR101662846B1 (ko) 2010-05-12 2016-10-06 삼성전자주식회사 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
JP5589644B2 (ja) * 2010-07-27 2014-09-17 日本精機株式会社 周辺画像表示装置及びその表示方法
JP5645626B2 (ja) 2010-12-06 2014-12-24 キヤノン株式会社 表示制御装置、表示制御方法、プログラム、並びに記憶媒体
JP5701040B2 (ja) * 2010-12-14 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
US8898630B2 (en) * 2011-04-06 2014-11-25 Media Direct, Inc. Systems and methods for a voice- and gesture-controlled mobile application development and deployment platform
JP2012249175A (ja) * 2011-05-30 2012-12-13 Olympus Imaging Corp 撮像装置、表示方法およびプログラム
CN103186324A (zh) 2011-12-29 2013-07-03 富泰华工业（深圳）有限公司 图像编辑系统及图像编辑方法
US8693776B2 (en) 2012-03-02 2014-04-08 Adobe Systems Incorporated Continuously adjustable bleed for selected region blurring
US9569078B2 (en) 2012-03-06 2017-02-14 Apple Inc. User interface tools for cropping and straightening image
US8548778B1 (en) * 2012-05-14 2013-10-01 Heartflow, Inc. Method and system for providing information from a patient-specific model of blood flow
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
US10037820B2 (en) * 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
JP5920057B2 (ja) * 2012-06-29 2016-05-18 株式会社リコー 送信装置、画像共有システム、送信方法、及びプログラム
KR20140028311A (ko) 2012-08-28 2014-03-10 삼성전자주식회사 출력화면의 편집 영역을 설정하기 위한 전자 장치 및 방법
US20140062917A1 (en) 2012-08-29 2014-03-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling zoom function in an electronic device
JP6153318B2 (ja) * 2012-11-30 2017-06-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
KR20140086632A (ko) * 2012-12-28 2014-07-08 삼성디스플레이 주식회사 영상 처리 장치 및 그것을 포함하는 표시 장치
JP6075066B2 (ja) 2012-12-28 2017-02-08 株式会社リコー 画像管理システム、画像管理方法、及びプログラム
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
KR101988313B1 (ko) 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
US20150046299A1 (en) * 2013-08-12 2015-02-12 Sap Ag Inventory Assessment with Mobile Devices
EP3331231A1 (en) * 2013-08-28 2018-06-06 Ricoh Company Ltd. Image processing apparatus, image processing method, and imaging system
US9253415B2 (en) * 2013-11-27 2016-02-02 Adobe Systems Incorporated Simulating tracking shots from image sequences
US9210321B2 (en) * 2013-12-05 2015-12-08 Here Global B.V. Method and apparatus for a shutter animation for image capture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
CN103339466A (zh) * 2011-03-15 2013-10-02 欧姆龙株式会社 图像处理装置及图像处理程序
JP2013251787A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

Also Published As

Publication number Publication date
EP3120327A4 (en) 2017-01-25
CA2941469A1 (en) 2015-09-24
EP3120327A1 (en) 2017-01-25
US9760974B2 (en) 2017-09-12
CN106133794A (zh) 2016-11-16
US20160048942A1 (en) 2016-02-18
US20170337658A1 (en) 2017-11-23
US10304157B2 (en) 2019-05-28
WO2015141605A1 (en) 2015-09-24
JP2015176559A (ja) 2015-10-05
JP5835383B2 (ja) 2015-12-24
CN106133794B (zh) 2021-11-23
US20190228500A1 (en) 2019-07-25
CA2941469C (en) 2018-05-08
CN110456967A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
EP3120328B1 (en) Information processing method, information processing device, and program
US8803918B2 (en) Methods and apparatus for calibrating focused plenoptic camera data
JP6350695B2 (ja) 装置、方法、およびプログラム
JP4875887B2 (ja) 画像合成システム及び画像合成方法
JP6583486B2 (ja) 情報処理方法、情報処理プログラムおよび情報処理装置
US10701286B2 (en) Image processing device, image processing system, and non-transitory storage medium
JP2018109946A (ja) 表示装置、プログラム、表示方法
JP6128185B2 (ja) 装置、方法、およびプログラム
JP6777208B2 (ja) プログラム
WO2017159014A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2016021267A (ja) 装置、方法、およびプログラム
JP2017224330A (ja) 装置、方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant