CN113260917B - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN113260917B
CN113260917B CN201980086832.0A CN201980086832A CN113260917B CN 113260917 B CN113260917 B CN 113260917B CN 201980086832 A CN201980086832 A CN 201980086832A CN 113260917 B CN113260917 B CN 113260917B
Authority
CN
China
Prior art keywords
area
display
image
displayed
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980086832.0A
Other languages
English (en)
Other versions
CN113260917A (zh
Inventor
小川诚司
村上新
吉见崇
上田清登
芝上玄志郎
小熊浩太郎
北矢光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018247842A external-priority patent/JP7327938B2/ja
Priority claimed from JP2018247845A external-priority patent/JP7313822B2/ja
Priority claimed from JP2018248329A external-priority patent/JP7208002B2/ja
Priority claimed from JP2018247844A external-priority patent/JP7214475B2/ja
Priority claimed from JP2018247843A external-priority patent/JP7204482B2/ja
Priority claimed from JP2018248311A external-priority patent/JP7278774B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113260917A publication Critical patent/CN113260917A/zh
Application granted granted Critical
Publication of CN113260917B publication Critical patent/CN113260917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的电子设备包括:显示控制单元,其被构造为进行控制,使得在第一画面上,将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;接受单元,其被构造为在所述VR内容正在所述第一画面上显示期间,接受来自用户的裁剪指令;以及生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于接受所述裁剪指令时的所述显示区域的位置。

Description

电子设备及其控制方法
技术领域
本发明涉及电子设备、电子设备的控制方法和计算机可读介质,尤其涉及用于显示具有宽视角的图像的控制方法。
背景技术
近年来,能够拍摄包含具有以比人类视角更宽的视角的视频的图像(诸如全方位图像或全天体图像)的成像装置正变得流行。还已知如下方法:通过在显示器上显示包含这种宽视角视频的图像的一部分,并改变要在显示器上显示的视频的区域(显示区域)以便跟随电子设备的朝向的变化,来进行具有高度沉浸感或高度真实感的显示(VR视图)。
在全方位图像的拍摄中,拍摄图像中经常会不经意地出现不必要的被摄体,诸如拍摄者本人。为此,提供使用户能够通过仅裁剪必要部分或去除不必要部分来显示图像的功能,对于能够再现全方位图像的电子设备是有用的。
PTL 1和PTL 2公开了一种技术,其中,用户指定全方位图像的任意位置并且从全方位图像裁剪包括该任意位置的区域。
引用列表
专利文献
PTL1:日本特开2013-127739号公报
PTL2:日本特开2012-29180号公报
发明内容
技术问题
虽然PTL 1和PTL 2公开了一种从全方位图像(VR内容)中裁剪不是VR内容的普通图像的方法,但是没有考虑从全方位图像(VR内容)中裁剪具有较窄区域的VR内容。当从VR内容中裁剪具有较窄区域的VR内容时,虽然裁剪后的VR内容的视频区域比裁剪前的窄,但该区域比在正常倍率下由VR视图一次显示的显示区域宽。因此,当进行从VR内容中裁剪具有较窄区域的VR内容的操作时,难以确认裁剪前的VR内容的哪个区域被包括在裁剪后的VR内容的视频区域中。另外,在裁剪具有较窄区域的VR内容时,如果裁剪后的VR内容的中心从水平方向向上或向下(俯仰角方向)偏移,则裁剪后的VR内容的视图区域包括跨天顶或天底的区域,导致视频包括难以全景观看的区域。
鉴于此,本发明提供了:(1)能够从具有良好可操作性的VR内容生成具有较窄区域的VR内容的技术;(2)在从VR内容生成具有较窄区域的VR内容时能够更容易地确认裁剪后的VR内容的视频区域的技术;或(3)能够从VR内容更合适地生成具有较窄区域的VR内容的技术。
解决问题的技术手段
根据本发明的电子设备包括:显示控制单元,其被构造为进行控制,使得在第一画面上,将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;接受单元,其被构造为在所述VR内容正在所述第一画面上显示期间,接受来自用户的裁剪指令;以及生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于接受所述裁剪指令时的显示区域的位置。
本发明的有利效果
根据本发明,(1)能够从具有良好可操作性的VR内容生成具有较窄区域的VR内容;(2)在从VR内容生成具有较窄区域的VR内容时,能够更容易地确认裁剪后的VR内容的视频区域;或(3)能够从VR内容更合适地生成具有较窄区域的VR内容。
附图说明
图1包括数字相机的外观图和数字相机的框图。
图2包括电子设备的外观图和框图。
图3是VR视图显示的流程图。
图4是裁剪编辑处理的流程图。
图5是裁剪预览处理的流程图。
图6表示VR视图显示、裁剪编辑画面和预览画面的示例。
图7表示整个半球显示的示例。
图8是双屏显示处理的流程图。
图9表示双屏显示的示例。
图10是端部微调处理的流程图。
图11表示端部微调画面的示例。
图12是不必要部分指定处理的流程图。
图13表示不必要部分指定画面的示例。
图14包括示出直到设置选择禁用区域的流程的示例的示意图。
图15表示裁剪编辑画面和预览画面的示例。
图16包括示出启用俯仰角与禁用俯仰角之间的裁剪差异的示例的示意图。
图17表示裁剪区域的引导显示的示例。
图18表示显示VR图像的各种方式的示例。
具体实施方式
以下将参照附图来描述本发明的优选实施例。图1(a)是数字相机100(成像装置)的前透视图(外观图)。图1(b)是数字相机100的后透视图(外观图)。数字相机100是全方位相机(全天体相机)。
挡板102a是用于以数字相机100的前方作为拍摄角度的前置相机部分的保护窗。前置相机部是例如以数字相机100的前侧的至少180度的垂直和水平角的广角作为拍摄角度的广角相机部分。挡板102b是用于以数字相机100的后方作为拍摄角度的后置相机部分的保护窗。后置相机部分是例如以数字相机100的后侧的至少180度的垂直和水平角的广角作为拍摄角度的广角相机部分。
显示单元28显示各种类型的信息。快门按钮61是用于发出拍摄指令的操作单元(操作部件)。模式切换开关60是用于在各种模式之间切换的操作单元。连接I/F 25是用于将连接线缆连接到数字相机100的连接器,并且使用连接线缆,诸如智能电话、个人计算机、电视机等的外部设备被连接到数字相机100。操作单元70是指用于接收来自用户的各种类型的操作的各种开关、按钮、拨盘、触摸传感器等。电源开关72是用于打开和关闭电源的按钮。
发光单元21是诸如发光二极管(LED)的发光构件并且通过发光图案、发光颜色等将数字相机100的各种状态通知给用户。固定单元40例如是三脚架螺孔,其用于利用诸如三脚架的固定工具来固定和安装数字相机100。
图1(c)是示出数字相机100的构造示例的框图。
挡板102a覆盖前置相机部分的成像系统(摄影镜头103a、快门101a、成像单元22a等)以防止成像系统被弄脏或损坏。摄影镜头103a是指包括变焦透镜和聚焦透镜的透镜组并且是广角镜头。快门101a是具有用于调整到成像单元22a中的被摄体光的入射量的光圈功能的快门。成像单元22a是由诸如CCD或CMOS的将光学图像转换成电信号的设备构成的成像元件(图像传感器)。A/D转换器23a将从成像单元22a输出的模拟信号转换为数字信号。另选地,可以暴露摄影镜头103a的外表面,并且可以通过摄影镜头103a来防止成像系统的其他部分(快门101a和成像单元22a)被弄脏或损坏,而无需设置挡板102a。
挡板102b覆盖后置相机部分的成像系统(摄影镜头103b、快门101b、成像单元22b等)以防止成像系统被弄脏或损坏。摄影镜头103b是指包括变焦透镜和聚焦透镜的透镜组并且是广角镜头。快门101b是具有用于调整到成像单元22b中的被摄体光的入射量的光圈功能的快门。成像单元22b是由诸如CCD或CMOS的将光学图像转换成电信号的设备构成的成像元件。A/D转换器23b将从成像单元22b输出的模拟信号转换为数字信号。另选地,可以暴露摄影镜头103b的外表面,并且可以通过摄影镜头103b来防止成像系统的其他部分(快门101b和成像单元22b)被弄脏或损坏,而无需设置挡板102b。
VR(虚拟现实)图像由成像单元22a和成像单元22b拍摄。假设VR图像是可以进行VR显示(“VR视图”显示模式下的显示)的图像。假设VR图像包括由全方位相机(全天体相机)拍摄的全方位图像(全天体图像)、以及具有比在显示单元上能够一次显示的显示区域更宽的视图区域(更宽的有效视图区域)的全景图像。除了静止图像之外,VR图像还包括运动图像和实时取景图像(从相机近似实时获取的图像)。VR图像具有最大视图区域(最大有效视图区域),该最大视图区域对应于垂直方向(垂直角、与天顶的角度、仰角、俯角、高度角或俯仰角)360度和水平方向(水平角、方位或横摆角)360度的视野。
另外,假设VR图像包括具有比普通相机能够拍摄的视角更宽的视角(更宽的视野)的图像、或具有比在显示单元的画面上能够一次显示的显示区域更宽的视图区域(更宽的有效视野)的图像,即使这些图像的视角在垂直方向上小于360度并且在水平方向上小于360度。例如,由全天体相机拍摄的图像是一种VR图像,该全天体相机能够拍摄与水平方向(水平角或方位)360度和以天顶为中心的垂直方向210度的视野(视角)相对应的被摄体。另外,例如,由如下相机拍摄的图像是一种VR图像,该相机能够拍摄与水平方向(水平角或方位)至少180度和以水平方向为中心的垂直方向至少180度的视野(视角)相对应的被摄体。换言之,具有与垂直方向和水平方向这两者至少160度(±80度)的视野相对应的视角、并且具有比人类一次能够视觉识别的角度更宽的视角的图像是一种VR图像。
通过对VR图像进行VR显示(“VR视图”显示模式下的显示),在水平旋转方向上改变显示装置(用于显示VR图像的显示装置)的朝向,使得能够观看在水平方向(水平旋转方向)上无任何接缝的全方位视频。在垂直方向(垂直旋转方向)上,虽然可以以相对于正上方(天顶)的±105度的角度观看无任何接缝的全方位视频,但是与正上方超过105度的视角将成为不存在视频的空白区域。VR图像可以描述为“视图区域是虚拟空间(VR空间)的至少一部分的图像”。
VR显示(VR视图)是指显示VR图像中的与显示装置的朝向相对应的视野的视频、并且可以改变显示区域的显示方法(显示模式)。当佩戴和观看作为显示装置的头戴式显示器(HMD)时,将显示与用户头部的朝向相对应的视野的视频。例如,让我们假设正在显示VR图像中的在某个时间点具有以水平方向0度(诸如北方等的特定朝向)和垂直方向90度(与天顶90度,或者换言之,水平)为中心的视角(视角)的视频。当显示装置的朝向的前后从该状态反转时(例如,当显示表面面向的方向从南改变为北时),显示区域改变为同一VR图像中的具有以水平方向180度(诸如南方等的相反朝向)和垂直方向90度(水平)为中心的视角的视频。这意味着,在用户正在观看HMD的情况下,当用户将头从北向南转动时(换言之,当用户转身时),HMD上显示的视频也从北方的视频改变为南方的视频。这样的VR显示能够向用户提供好像用户在视觉上存在于VR图像内(在VR空间内)的感觉(沉浸感)。安装在VR护目镜(头戴式适配器)上的智能电话可视为一种HMD。
应当注意,VR图像的显示方法不限于上述方法。可以采用如下构造,其中,代替朝向改变,根据用户对触摸面板、方向按钮等的操作来移动(滚动)显示区域。可以采用如下构造,其中,在VR显示期间(在“VR视图”显示模式下),除了根据朝向改变来改变显示区域之外,还可以根据对于触摸面板的触摸移动、对于鼠标等的拖动操作、对方向按钮的按下等,来改变显示区域。
图像处理单元24对来自A/D转换器23a或A/D转换器23b的数据、或来自存储器控制单元15的数据,进行规定的尺寸调整处理或规定的颜色转换处理,诸如像素插值或缩小等。另外,图像处理单元24使用拍摄图像的图像数据进行规定的计算处理。系统控制单元50基于图像处理单元24获得的计算结果来进行曝光控制和测距控制。因此,进行TTL(通过镜头)方式的AF(自动对焦)处理、AE(自动曝光)处理、EF(闪光前的预发光)处理等。图像处理单元24还使用拍摄图像的图像数据进行规定的计算处理,并基于获得的计算结果进行TTL方式的AWB(自动白平衡)处理。另外,图像处理单元24对从A/D转换器23a和A/D转换器23b获得的两个图像(两个鱼眼图像、两个广角图像)进行基本图像处理,并进行合成已经进行基本图像处理的这两个图像的图像连接处理,以生成单个VR图像。此外,图像处理单元24在实时取景的VR显示期间或再现期间,进行用于实现VR图像的VR显示的图像裁剪处理、扩展处理、失真校正等,并且进行在存储器32的VRAM上渲染处理结果的渲染。
在图像连接处理中,图像处理单元24使用两个图像之一作为基准图像,另一个作为比较图像,通过图案匹配处理针对各区域计算基准图像与比较图像之间的偏差量,并基于各区域的偏差量检测要连接两个图像的连接位置。图像处理单元24考虑到检测到的连接位置和各光学系统的镜头特性,通过几何转换来校正各图像的失真,并且将各图像转换为全天体格式(全天体图像格式)的图像。此外,通过合成(混合)全天体格式的两个图像,图像处理单元24生成单个全天体图像(单个VR图像)。生成的全天体图像是使用例如等距圆柱投影的图像,并且全天体图像中的各像素的位置可以与球体(VR空间)表面上的坐标相关联。
来自A/D转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15或经由存储器控制单元15而不涉及图像处理单元24被写入存储器32。存储器32存储由成像单元22a和22b获得并由A/D转换器23a和23b转换成数字数据的图像数据、以及要从连接I/F25输出到外部显示器的图像数据。存储器32具有足够的存储容量用于存储规定数量的静止图像以及规定时间的运动图像和音频。
此外,存储器32还兼作用于图像显示的存储器(视频存储器)。存储在存储器32中的用于图像显示的数据可以从连接I/F 25输出到外部显示器。通过将由成像单元22a和22b拍摄、由图像处理单元24生成、并累积在存储器32中的VR图像依次传输到外部显示器并在外部显示器上显示VR图像,可以实现作为电子取景器的功能并且可以进行实时取景显示(LV显示)。以下,将实时取景显示中显示的图像称为实时取景图像(LV图像)。此外,还可以通过将累积在存储器32中的VR图像传输到经由通信单元54无线连接的外部设备(智能电话等)并使外部设备显示VR图像,来进行实时取景显示(远程LV显示)。
非易失性存储器56是作为电可擦除和可记录的记录介质的存储器,并且例如是EEPROM。系统控制单元50的操作所需的常数、程序等被记录在非易失性存储器56中。在这种情况下,程序是指用于执行各种处理的计算机程序。
系统控制单元50是由至少一个处理器或一个电路构成的控制单元,并控制整个数字相机100。系统控制单元50通过执行上述非易失性存储器56中记录的程序来实现各个处理。系统存储器52例如是RAM,并且用于系统控制单元50的操作的常数和变量、从非易失性存储器56读取的程序等被展开到系统存储器52上。另外,系统控制单元50还通过控制存储器32、图像处理单元24、存储器控制单元15等来进行显示控制。系统定时器53是用于测量各种控制中使用的时间并根据内部时钟测量时间的时间测量单元。
模式切换开关60、快门按钮61、操作单元70和电源开关72用于向系统控制单元50输入各种操作指令。
模式切换开关60将系统控制单元50的操作模式切换为静止图像记录模式、运动图像拍摄模式、再现模式、通信连接模式等中的任一种。静止图像记录模式中包括的模式有自动拍摄模式、自动场景确定模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式。其他可用模式包括构成不同拍摄场景的拍摄设置的各种场景模式以及自定义模式。使用模式切换开关60,用户可以直接切换到这些模式中的任何一个。另选地,在使用模式切换开关60临时切换到拍摄模式列表画面之后,可以使用其他操作构件来选择性地切换到显示单元28上正在显示的多个模式中的任何一个。以类似的方式,运动图像拍摄模式也可以包括多种模式。
快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62在快门按钮61的操作期间通过所谓的半按(拍摄准备指令)而接通,并生成第一快门开关信号SW1。根据第一快门开关信号SW1,系统控制单元50开始涉及AF(自动对焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理、EF(闪光前的预发光)处理等的拍摄准备操作。第二快门开关64在快门按钮61的操作完成时通过所谓的全按(拍摄指令)而接通,并生成第二快门开关信号SW2。根据第二快门开关信号SW2,系统控制单元50开始从成像单元22a和22b读取信号到将图像数据写入记录介质90的一系列拍摄处理的操作。
应当注意,快门按钮61不限于能够进行两个阶段(完全按下和半按下)的操作的操作构件,并且可以是仅能够进行一个阶段的按下的操作构件。在这种情况下,通过一个阶段的按下连续进行拍摄准备操作和拍摄处理。这是与可完全按下和半按下的快门按钮被完全按下的情况(第一快门开关信号SW1和第二快门开关信号SW2近似同时生成的情况)相同的操作。
通过选择和操作显示单元28上显示的各种功能图标和选项,操作单元70被适当地分配用于各场景的功能并且用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像给送按钮、跳转按钮、缩小按钮和属性改变按钮。例如,当按下菜单按钮时,在显示单元28上显示能够进行各种设置的菜单画面。用户可以通过在查看显示在显示单元28上的菜单画面的同时操作操作单元70,来直观地进行各种设置。
电源开关72是用于打开和关闭电源的按钮。电源控制单元80由电池检测电路、DC-DC转换器、用于在要通电的块之间切换的切换电路等构成,并且检测是否安装了电池、电池的类型、剩余电池电量等。此外,电源控制单元80基于检测结果和来自系统控制单元50的指令来控制DC-DC转换器,并且在必要的时间段内向包括记录介质90的各个单元提供必要的电压。电源单元30由一次电池(诸如碱性电池或锂电池)、二次电池(诸如NiCd电池、NiMH电池或Li电池)、AC适配器等构成。
记录介质I/F 18是与作为存储卡、硬盘等的记录介质90的接口。记录介质90是用于记录拍摄图像的诸如存储卡等的记录介质,并且由半导体存储器、光盘、磁盘等构成。记录介质90可以是可安装到数字相机100并且可从数字相机100拆卸的可更换记录介质、或内置于数字相机100中的记录介质。
通信单元54向/从无线或通过有线线缆连接的外部设备发送/接收视频信号和音频信号。通信单元54还能够连接到无线LAN(局域网)和因特网。通信单元54能够发送由成像单元22a和22b拍摄的图像(包括LV图像)和记录在记录介质90上的图像,并且从外部设备接收图像和各种其他类型的信息。
朝向检测单元55检测数字相机100相对于重力方向的朝向。基于朝向检测单元55检测的朝向,可以确定成像单元22a和22b拍摄的图像是水平保持数字相机100时拍摄的图像还是垂直保持数字相机100时拍摄的图像。此外,在成像单元22a和22b拍摄图像期间,可以确定数字相机100在横摆方向、俯仰方向和侧倾方向这三个轴向(旋转方向)上倾斜的程度。系统控制单元50可以将与由朝向检测单元55检测到的朝向相对应的朝向信息添加到由成像单元22a和22b拍摄的VR图像的图像文件中,并在旋转图像之后(在调整VR图像的朝向以进行倾斜校正(天顶校正)之后)记录VR图像。加速度传感器、陀螺仪传感器、地磁传感器、朝向传感器、高度传感器等中的一个或多个这些传感器的组合可以用作朝向检测单元55。也可以使用构成朝向检测单元55的加速度传感器、陀螺仪传感器、朝向传感器等来检测数字相机100的运动(平摇、倾斜、抬起、是否静止等)。
麦克风20是用于收集数字相机100周围的声音以被记录为作为运动图像的VR图像(VR运动图像)的音频的麦克风。连接I/F 25是连接有为了发送和接收视频而连接到外部设备的HDMI(注册商标)线缆、USB线缆等的连接插头。
图2(a)是作为一种显示控制装置的电子设备200的外观图。电子设备200是诸如智能电话等的显示装置。显示器205是显示图像和各种类型的信息的显示单元。显示器205与触摸面板206a一体构造,并被构造为能够检测对显示器205的显示表面的触摸操作。电子设备200能够进行VR图像(VR内容)在显示器205上的VR显示。操作单元206b是电源按钮,用于接受在电子设备200的电源的打开与关闭之间切换的操作。操作单元206c和操作单元206d是音量按钮,用于增大和减小从扬声器212b或从连接到音频输出端子212a的耳机、外部扬声器等输出的音频的音量。操作单元206e是用于使主画面显示在显示器205上的主按钮。音频输出端子212a是耳机插孔,其是用于将音频信号输出到耳机、外部扬声器等的端子。扬声器212b是内置于用于输出音频的主体中的扬声器。
图2(b)是示出电子设备200的构造示例的框图。CPU 201、存储器202、非易失性存储器203、图像处理单元204、显示器205、操作单元206、记录介质I/F 207、外部I/F 209和通信I/F 210连接到内部总线250。此外,音频输出单元212和朝向检测单元213也连接到内部总线250。连接到内部总线250的各个单元被构造为能够经由内部总线250相互交换数据。
CPU 201是控制整个电子设备200的控制单元并且由至少一个处理器或一个电路构成。存储器202例如由RAM(诸如使用半导体元件的易失性存储器等)构成。CPU 201通过例如根据存储在非易失性存储器203中的程序,使用存储器202作为工作存储器来控制电子设备200的各个单元。非易失性存储器203存储图像数据和音频数据、其他数据、使CPU 201能够运行的各种程序等。非易失性存储器203例如由闪速存储器或ROM构成。
在CPU 201的控制下,图像处理单元204对存储在非易失性存储器203或记录介质208中的图像、经由外部I/F 209获取的视频信号、经由通信I/F 210获取的图像等进行各种类型的图像处理。图像处理单元204进行的图像处理包括图像数据的A/D转换处理和D/A转换处理以及编码处理、压缩处理、解码处理、放大/缩小处理(尺寸调整)、降噪处理、颜色转换处理等。图像处理单元204还对全方位图像或作为宽视角图像的VR图像(虽然不是全方位图像,但具有宽视角的视频)进行各种类型的图像处理,诸如全景展开、映射处理和转换等。图像处理单元204可以由用于进行特定图像处理的专用电路块构成。另外,取决于图像处理的类型,CPU 201可以在不使用图像处理单元204的情况下根据程序进行图像处理。
显示器205在CPU 201的控制下显示图像、构成GUI(图形用户界面)的GUI画面等。CPU 201控制电子设备200的各个单元,以根据程序生成显示控制信号,生成要显示在显示器205上的视频信号,并将视频信号输出到显示器205。显示器205基于生成和输出的视频信号显示视频。另选地,电子设备200本身的部件可以局限直到用于输出要由显示器205显示的视频信号的接口,并且显示器205可以由外部监视器(诸如电视或HMD等)构成。
操作单元206是用于接受用户操作的输入设备,其示例包括诸如键盘等的字符信息输入设备、诸如鼠标或触摸面板等的指示设备、按钮、拨盘、操纵杆、触摸传感器和触摸板。在本实施例中,操作单元206包括触摸面板206a以及操作单元206b、206c、206d和206e。
作为存储卡、CD、DVD等的记录介质208可安装到记录介质I/F 207并且可从记录介质I/F 207拆卸。在CPU 201的控制下,记录介质I/F 207从/向安装的记录介质208读取/写入数据。记录介质208存储诸如要在显示器205上显示的图像等的数据。外部I/F 209是使用有线线缆(诸如USB线缆)或以无线方式连接到外部设备以进行视频信号和音频信号的输入和输出(数据通信)的接口。通信I/F 210是用于与外部设备、因特网211等进行通信(通过无线电通信)以发送和接收诸如文件和命令等的各种类型的数据(数据通信)的接口。
音频输出单元212输出要由电子设备200再现的运动图像和音乐数据的音频、键盘点击、铃声、各种通知声音等。虽然假设音频输出单元212包括耳机等要连接到的音频输出端子212a和扬声器212b,但是另选地,音频输出单元212可以通过无线电通信等将音频数据输出到外部扬声器。
朝向检测单元213检测电子设备200相对于重力方向的朝向(倾斜)或电子设备200相对于横摆方向、俯仰方向和侧倾方向的各轴的朝向,并将朝向信息通知给CPU 201。基于由朝向检测单元213检测到的朝向,可以确定电子设备200是水平保持、竖直保持、指向上方、指向下方还是采取倾斜朝向。此外,可以确定电子设备200在诸如横摆方向、俯仰方向和侧倾方向等的旋转方向上的倾斜的存在与否或大小,以及电子设备200是否已在旋转方向旋转。加速度传感器、陀螺仪传感器、地磁传感器、朝向传感器、高度传感器等中的一个或多个这些传感器的组合可以用作朝向检测单元213。
如上所述,操作单元206包括触摸面板206a。触摸面板206a是平面地构造为与显示器205重叠并根据触摸位置输出坐标信息的输入设备。CPU 201能够检测针对触摸面板206a的以下操作或触摸面板206a的以下状态。
·先前未与触摸面板206a接触的手指或触笔新触摸触摸面板206a的状态,或者换言之,触摸开始(以下称为触及)
·触摸面板206a正被手指或触笔触摸的状态(以下称为触摸持续)
·手指或触笔在与触摸面板206a接触的同时移动的状态(以下称为触摸移动)
·先前与触摸面板206a接触的手指或触笔与触摸面板206a分离的状态,或者换言之,触摸结束(以下称为触摸停止)
·没有任何物体触摸触摸面板206a的状态(以下称为未触摸)
当检测到触及时,同时检测到触摸持续。通常,在触及之后,除非检测到触摸停止,否则会持续检测到触摸持续。当检测到触摸移动时,类似地同时检测到触摸持续。即使当检测到触摸持续时,除非触摸位置移动,否则不会检测到触摸移动。在检测到先前触摸的所有手指或触笔的触摸停止时检测到未触摸。
通过内部总线向CPU 201通知上述操作或状态、以及手指或触笔触摸触摸面板206a的位置坐标,并且基于通知的信息,CPU 201确定在触摸面板206a上进行了哪种操作(触摸操作)。对于触摸移动,可以基于位置坐标的变化,针对触摸面板206a上的垂直分量和水平分量中的各个分量,来确定在触摸面板206a上移动的手指或触笔的移动方向。假设当检测到规定距离以上的触摸移动时确定进行了滑动操作。触摸移动是用户对触摸面板206a进行的移动操作。也可以根据鼠标的拖动操作(也是移动操作)来进行稍后描述的根据触摸移动的各种处理。
涉及在保持手指与触摸面板206a接触的同时将手指在触摸面板206a上快速移动一定距离然后释放手指的操作被称为轻拂。换言之,轻拂是手指快速跟踪触摸面板206a好像在触摸面板206a上拂过一样的操作。当检测到规定速度以上且规定距离以上的触摸移动、然后检测到触摸停止时,可以确定进行了轻拂(可以确定为在滑动操作之后发生了轻拂)。
此外,涉及同时触摸多个位置(例如,两个点)并使各触摸位置彼此靠近的触摸操作被称为捏合,而各触摸位置彼此远离的触摸操作被称为捏放。捏合和捏放统称为捏分操作(或简称为捏分)。作为触摸面板206a,可以使用采用各种方式(包括电阻膜方式、电容方式、表面声波方式、红外线方式、电磁感应方式、图像识别方式和光学传感器方式)中的任一种方式的触摸面板。可以采用在与触摸面板接触时检测到触摸的方式和在手指或触笔接近触摸面板时检测到触摸的方式中的任一种。
图2(c)是可安装电子设备200的VR护目镜(头戴式适配器)230的外观图。通过将电子设备200安装到VR护目镜230,电子设备200还可以用作头戴式显示器。插入口231是电子设备200要插入的插入口。通过将显示器205的显示表面朝向用于将VR护目镜230固定到用户的头部的头带232的一侧(换言之,朝向用户),可以将整个电子设备200插入VR护目镜230中。在安装了电子设备200的VR护目镜230佩戴在用户头上的状态下,用户无需手动保持电子设备200就可以观看电子设备200的显示器205。在这种情况下,当用户移动头部或整个身体时,电子设备200的朝向也会改变。朝向检测单元213检测此时电子设备200的朝向变化,并且CPU 201基于朝向变化进行用于VR显示的处理。在这种情况下,朝向检测单元213对电子设备200的朝向的检测等同于对用户头部的朝向(用户的视线所指向的方向)的检测。另选地,电子设备200本身可以是甚至无需VR护目镜也可安装到头部的HMD。
在本实施例中,将描述如下操作和处理:从具有与垂直方向和水平方向均为360度的最大视野相对应的视图区域(有效视图区域)的VR图像中裁剪具有与垂直方向和水平方向均为180度的视野相对应的视图区域(有效视图区域)的VR图像。应当注意,在下面的描述中,将具有与垂直方向和水平方向均为360度的最大视野相对应的视图区域(有效视图区域)的VR图像称为360度VR图像。另外,将具有与垂直方向和水平方向均为180度的视野相对应的视图区域(有效视图区域)的VR图像称为180度VR图像。从概念上讲,从360度VR图像中裁剪180度VR图像的处理是从虚拟球体中裁剪半球的处理,与360度相对应的视频已完全映射到该虚拟球体上。在本实施例中描述的裁剪不是裁剪普通矩形图像(平面图像)的处理,而是裁剪即使在裁剪之后也可以作为VR图像观看的图像(可以映射到球体上并在VR视图中观看的图像)的处理。由于裁剪后的图像具有与垂直方向和水平方向均为180度的视野相对应的视图区域,因此当裁剪后的图像映射到球体上时,映射与半球相对应的有效视频(诸如拍摄图像等)。剩余的半球变成要以单色或通过规定的图案填充的无效视图区域,或将某种补充视频映射到该无效视图区域上。当在VR视图中观看这样的裁剪VR图像时,用户可以在宽度为180度的前方区域(从中心起在垂直方向和水平方向均为90度的区域)中视觉识别图像。进行这种裁剪处理的原因包括以下。
首先,可以减少图像的数据量。裁剪后的180度VR图像具有比360度VR图像更小的数据量。因此,可以防止在保存VR图像时记录介质的容量受压迫。此外,可以减少发送和接收期间的通信数据量和显示期间的处理负荷,并且可以成比例地产生包括处理速度或响应速度的提高以及功耗的降低的效果。
其次,可以删除不必要的被摄体。例如,在拍摄具有与360度视野相对应的有效视图区域的VR图像的大多数情况下,拍摄者自己被包括在VR图像中是不可避免的。然而,当拍摄者想要拍摄的被摄体是风景等而不是拍摄者自己时,拍摄者自己是不必要的被摄体并且构成无意的存在。包括无意的视频阻止了观看者将其注意力集中在拍摄者认为是主题的视频(诸如风景)上。此外,经常会包括要隐藏的信息(诸如路人的面部和过往车辆的车牌),并且在很多情况下,从隐私和安全的角度来看,包括这些信息是不可取的。通过进行仅裁剪拍摄者想要的区域而丢弃其他不必要的区域的视频的裁剪处理,可以避免这样的问题。
第三,可以减轻用户在VR视图中观看VR图像的身体负担。在VR视图中观看360度VR图像时,即使在观看VR图像的用户身后也存在视频。虽然观看者仅通过转头就可以粗略地全景观看与前方180度相对应的视频,但为了向后看,观看者必须扭转躯干或改变站立方向,从而对观看者产生了相对较高的身体负担。这种需要向后看的身体移动不适合就坐时观看,除非观看者坐在转椅上。相比之下,由于仅通过转头就可以粗略地全景观看180度VR图像,因此在观看VR画面时对观看者产生的身体负担相对较小。如果通过引导显示或指示超过180度的视角是无效区域的显示使观看者意识到VR图像是180度VR图像这一事实,则观看者甚至不会尝试向后看。因此,可以防止观看者被迫进行诸如向后看等的身体移动。
第四,可以显示360度VR图像以对应于180度VR图像等的记录格式。当360度VR图像的记录格式与180度VR图像的记录格式不同时,仅支持观看180度VR图像的再现装置(再现应用软件)无法观看360度VR图像。然而,通过从360度VR图像中裁剪180度VR图像来生成180度VR图像,使得即使仅支持观看180度VR图像的再现装置也能够观看VR图像。此外,即使支持观看180度VR图像和观看360度VR图像这两者,在必须进行观看180度VR图像的模式与观看360度VR图像的模式之间的切换时,切换操作也可能很麻烦。然而,通过从360度VR图像中裁剪180度VR图像来生成180度VR图像,使得可以连续切换和观看多个VR图像,而无需切换到180度VR图像的显示模式。此外,设想了一种显示模式(双目VR视图),该显示模式显示通过以在相同方向面向被摄体并间隔对应于视差的距离的方式安装的两个相机单元拍摄的两个180度VR图像(包括右眼180度VR图像和左眼180度VR图像),使得可以立体地观看这两个180度VR图像。通过预先从360度VR图像中裁剪右眼180度VR图像和左眼180度VR图像并记录180度VR图像,也可以在这种双目VR视图中观看180度VR图像。
虽然在本实施例中将描述通过从360度VR图像中裁剪180度VR图像来生成180度VR图像的示例,但本实施例也适用于对具有其他视角的VR图像的处理,只要该处理涉及裁剪有效视图区域比裁剪之前的VR图像的有效视图区域更窄的VR图像即可。换言之,裁剪前的VR图像不限于360度VR图像,裁剪后的VR图像不限于180度VR图像。
在以下描述的各处理中,将描述通过显示各种触摸按钮并接受针对各种触摸按钮的触摸操作作为用户操作来推进处理的示例。具体地,接受针对各种触摸按钮的指令的触摸操作可以是从与触摸按钮对应的触摸响应区域的触摸停止、或者针对与触摸按钮对应的触摸响应区域的触及。另外,被描述为要通过针对稍后描述的触摸按钮的操作而接受的指令的各指令不限于此,并且可以通过其他用户操作接受。例如,用于接受指令的用户操作可以是对各个物理按钮的操作、使用方向键选择显示项并按下回车键的操作、使用鼠标选择显示项的操作、语音命令等。
图3是电子设备200中的VR视图显示(处理)的流程图。通过CPU 201将记录在非易失性存储器203中的程序展开在存储器202上并执行该程序来实现该处理。当能够在VR视图中显示360度VR图像并且具有裁剪180度VR图像的功能的应用软件在电子设备200打开的状态下启动时,CPU 201在初始化标志、控制变量等之后开始图3所示的处理。
在S301中,CPU 201经由通信I/F 210从记录介质208或通信目的地加载(获取)作为显示对象的VR图像。此外,CPU 201获取作为VR图像的属性信息而附加的指示视图区域(有效视图区域)的信息。指示有效视图区域的信息是指描述包括在VR图像中的有效视频在垂直方向和水平方向上的角度区域的信息。指示有效视图区域的信息只需是能够指定VR图像的有效视图区域的信息,并且可以是视角、观察角、方位、仰角、水平像素的数量或诸如坐标等的信息。另选地,指示有效视图区域的信息可以是用于拍摄VR图像的相机的型号信息(可以通过指定型号来指定可拍摄角度)、关于拍摄期间的变焦的信息等。当CPU 201获取指示有效视图区域的信息时,CPU 201还基于与垂直和水平方向上的360度的差来识别(计算)无效视图区域(非视图区域)。相反,可以从VR图像的属性信息中获取指示无效视图区域的信息,并且可以根据指示无效视图区域的信息计算有效视图区域,或者可以从VR图像的属性信息中获取指示有效视图区域的信息和指示无效视图区域的信息二者。
在S302中,CPU 201在S301中获取的VR图像的VR视图中进行显示处理。VR图像的原始数据(图像数据)是由于使用例如等距圆柱投影而失真的图像,并且是能够将各像素的位置与球体的表面上的坐标相关联的格式的图像。VR图像的原始图像被映射到球体上,并且裁剪并显示球体的一部分。换言之,S302中显示的图像是通过对VR图像的一部分进行裁剪和放大而获得的图像,并且是去除(或减少)了原始图像的失真的图像。
在S303中,基于在S301中获取的信息,CPU 201确定作为S302中的显示对象的VR图像是否是可以裁剪180度VR图像的VR图像。在记录像素的数量低于阈值的图像、有效视图区域比阈值窄(小)的图像、进行了稍后描述的裁剪处理的图像以及180度VR图像中的任一个的情况下,CPU 201确定为VR图像不是可以裁剪180度VR图像的VR图像并且前进到S305。当CPU 201确定为VR图像是可以裁剪的图像时,CPU 201前进到S304。
在S304中,CPU 201显示裁剪编辑按钮。图6(a)示出了在S304中显示的VR图像和裁剪编辑按钮的显示示例。VR图像602是S302中显示的VR图像。裁剪编辑按钮601是用于发出裁剪VR图像的指令的触摸图标。虽然采用了当CPU 201在S303中确定为不能裁剪VR图像时不显示裁剪编辑按钮601的构造,但是,另选地,可以以能够识别裁剪编辑按钮601的选择禁用状态的显示模式(诸如灰化等)来显示裁剪编辑按钮601。
在S305中,基于从触摸面板206a通知的信息,CPU 201确定是否已经针对显示VR图像602的区域进行了触摸移动(显示区域改变操作)。当已经进行了触摸移动时,CPU 201前进到S306,否则CPU 201前进到S307。在S306中,CPU 201根据触摸移动的方向和量来滚动显示的VR图像602,并且改变VR图像的显示区域。具体地,基于触摸移动的移动分量中的左右方向(水平方向),CPU 201向右或向左滚动VR图像,使得显示区域围绕VR图像已映射到的虚拟球体的垂直轴(天顶轴,重力轴)旋转和移动。换言之,这是显示区域的改变,其改变了当从位于虚拟球体的中心处的观看者观看时的视线(显示区域的方向)的朝向。此外,基于触摸移动的移动分量中的上下方向(垂直方向),CPU 201向上或向下滚动VR图像,使得显示区域围绕VR图像已映射到的虚拟球体的水平轴(垂直于天顶轴的轴,垂直于重力的轴)旋转和移动。换言之,这是显示区域的改变,其改变了当从位于虚拟球体的中心处的观看者观看时的视线(显示区域的方向)的仰角或俯角(以下称为俯仰角)。
在S307中,CPU 201确定朝向检测单元213是否已经检测到需要改变显示区域的朝向变化。当已经检测到需要改变显示区域的朝向变化时,CPU 201前进到S308,否则CPU 201前进到S309。在S308中,CPU 201根据朝向检测单元213检测到的朝向变化,来改变(移动)VR图像602的显示区域。
在S309中,基于从触摸面板206a通知的信息,CPU 201确定是否已经针对显示VR图像602的区域进行了捏合或捏放(换言之,倍率改变操作)。当已经进行了捏合或捏放时,CPU201前进到S310,否则CPU 201前进到S311。在S310中,CPU 201根据捏分操作(连续地或以涉及多个(三个或更多个)步骤的逐级方式)改变VR图像的显示倍率。在捏合(缩小操作)的情况下,降低VR图像的显示倍率。因此,VR图像的显示区域变宽。换言之,尽管被摄体变小,但是显示了更宽的视图区域。在捏放(放大操作)的情况下,提高VR图像的显示倍率。因此,VR图像的显示区域变窄。换言之,尽管被摄体变大,但显示了更窄的视图区域。
在S311中,基于从触摸面板206a通知的信息,CPU 201确定是否已经进行了指定裁剪编辑按钮601的触摸操作。当已经进行了对裁剪编辑按钮601的触摸操作时,CPU 201前进到S312,否则CPU 201前进到S313。在S312中,CPU 201进行裁剪编辑处理。稍后将参照图4描述裁剪编辑处理。
在S313中,CPU 201确定是否进行了图像切换操作。当进行了图像切换操作时,CPU201前进到S314,否则CPU 201前进到S315。图像切换操作的示例包括操作单元206中包括的图像切换按钮的操作、对显示在显示器205上的图像切换图标(下一图像图标和前一图像图标)的触摸操作、以及涉及同时触摸两个点并沿同一方向拖动这两个点的双拖动。在S314中,根据图像切换操作,CPU 201将与当前显示的VR图像不同的图像文件的VR图像指定为下一个显示对象。随后,CPU 201返回到S301并且进行作为下一个显示对象的VR图像的获取和显示处理。
在S315中,CPU 201确定是否进行了其他操作。当进行了其他操作时,CPU 201前进到S316,否则CPU 201前进到S317。在S316中,CPU 201执行根据其他操作的处理。根据其他操作的处理的示例包括VR图像的双目VR视图中的显示处理、正在显示的VR图像的文件的删除、共享(发布到SNS、邮件发送、与其他应用一起使用的指令等)、以及诸如色感调整等的编辑处理。
在S317中,CPU 201确定是否进行了针对操作单元206的结束操作。当没有结束操作时,CPU 201返回到S305并重复处理。当存在结束操作时,CPU201关闭作为用于显示VR图像的应用的应用软件,并结束图3所示的处理。
图4是先前参照图3所示的S312描述的裁剪编辑处理的流程图。当CPU201将记录在非易失性存储器203中的程序展开在存储器202上并执行该程序时实现该处理。图4所示的编辑处理基本上是在维持VR视图的同时在VR视图中显示的360度VR图像中将要裁剪的区域的中心指定为180度VR图像的处理。虽然可以对区域指定进行微调,但是由于即使通过粗略确定中心而无需进行微调也可以确定要裁剪的区域,因此可以以简单的方式指定要裁剪的区域。在VR视图中,通常不显示整个VR图像,同时,要裁剪的区域的边界不像平面图像的情况那样是直线边界。因此,假设通过涉及显示修剪框和调整所显示修剪框的操作来确定裁剪区域的方法对于用户来说是麻烦且难以理解的。相反,根据本实施例的裁剪编辑处理使得能够在维持VR视图的同时仅通过指定区域的中心来指定要在360度VR图像中被裁剪为180度VR图像的区域。因此,用户可以在体验直观、易懂、和简单的操作感受的同时进行裁剪。
在S401中,CPU 201在显示器205上显示作为用于指定裁剪区域的画面的裁剪编辑画面。图6(b)示出裁剪编辑画面的显示示例。VR图像602是与在转变到裁剪编辑画面之前在VR视图显示中显示的图像相同的VR图像。虽然例如可以通过捏分操作来放大或缩小显示区域,但是紧接在显示裁剪编辑画面之后(默认状态),在比对应于180度的区域窄的显示区域中显示VR图像602。指针603是用于指定裁剪区域的中心(裁剪区域的基准位置)的指示符。裁剪按钮604是用于基于当前显示区域(基准位置)指定裁剪区域的指令图标。在裁剪编辑画面上,指针603显示在固定到画面的中心部分的位置处,并且即使当VR图像602的显示区域改变时,指针603在显示器205上的位置也不会改变。用户通过与普通VR视图中的操作大致相同的操作来改变在VR视图中显示的VR图像602的显示区域,使得作为裁剪之后的VR图像的中心的期望被摄体的位置采取由指针603指示的位置。另外,通过触摸裁剪按钮604,可以指定(或临时指定)基于当前显示区域(基准位置)的区域作为裁剪之后的区域。更具体地,可以指定裁剪后的区域,使得与正在显示指针603的位置对应的VR图像的位置成为裁剪后的中心或中心的朝向。
在圆圈指示的显示方向引导中,扇形显示区域605指示由圆圈指示的VR图像的所有朝向中的当前显示区域的朝向的区域(围绕天顶轴的角度区域)。非显示区域606指示由圆圈指示的VR图像的所有朝向中的不是当前显示区域的朝向的区域(围绕天顶轴的角度区域)。基准方向607指示作为当开始显示VR图像602时首先(换言之,在改变显示区域的操作和发生朝向改变之前)显示的显示区域的中心的方向(以下称为显示开始方向)。
角度信息608(角度标度)指示指针603相对于显示开始方向的当前角度(方位),并且当显示区域改变时更新角度信息608的显示。整个半球显示按钮609是用于通过单次触摸将VR图像602的显示倍率切换到包括被指定为裁剪后的区域的整个区域的倍率的指令图标。双屏确认按钮610是用于切换到同时显示被指定为裁剪区域的区域和未被指定为裁剪区域并且在裁剪后的VR图像中被丢弃的删除区域的显示模式的指令图标。端部微调按钮611是用于切换到显示裁剪区域的端部(边界部分)以进行裁剪区域的微调的显示模式的指令图标。不必要部分指定按钮612是用于切换到指定不必要部分(不必要部分是期望不包括在裁剪区域中的被摄体)的模式的指令图标。一旦指定了不必要部分,当指定裁剪区域的中心使得裁剪区域中不包括不必要部分时,可指定的区域和不能指定的区域将被可识别地显示。
俯仰角启用/禁用按钮613是用于在与当前显示区域对应的俯仰角(在映射到球体上的整个VR图像中由指针603指示的位置处的俯仰角)作为裁剪区域的中心的启用和禁用之间切换的指令图标。另外,俯仰角启用/禁用按钮613还表示当前设置,并且在当前设置为启用状态时显示为指示启用状态的显示模式下的图标,而在当前设置为禁用状态时显示为指示禁用状态的显示模式下的图标。当启用时,采用以指针603所指示的朝向的俯仰角为中心的总共180度(半球角)的外围各90度的区域作为裁剪区域。当禁用时,采用以0度的俯仰角(或者换言之,由指针603在水平面上指示的位置)为中心的总共180度(半球角)的外围各90度的区域作为裁剪区域,以代替基于由指针603所指示的俯仰角的区域。假设在用户进行指定操作之前的初始设置中,俯仰角启用/禁用设置被设置为禁用。
朝向检测ON/OFF按钮614是用于在启用和禁用由于朝向改变而对VR图像602的显示区域的改变之间切换的指令图标。另外,朝向检测ON/OFF按钮614还表示当前设置,并且在当前设置为启用状态时显示为指示启用状态的显示模式下的图标,而在当前设置为禁用状态时显示为指示禁用状态的显示模式下的图标。虽然因为仅通过改变电子设备200的朝向就可以确定裁剪区域的中心而使启用设置简单直观,但是由于仅通过朝向改变就会使显示区域频繁地改变,因此有时难以调整到期望的显示区域。由于禁用设置可以防止显示区域由于朝向变化而发生变化,因此可以防止对显示区域的无意改变,并且可以通过触摸移动的操作(滑动操作)进行更符合用户的意图的对显示区域的调整。在用户进行指定操作之前的初始设置中,可以将朝向检测ON/OFF设置设置为禁用(OFF)。
在S402和S403中,CPU 201根据针对显示VR图像602的区域的触摸移动来改变显示区域。处理的细节与早先描述的图3中所示的S305和S306中的处理相同。如前所述,即使当显示区域改变时,指针603在显示器205上的显示位置也不会改变。当VR图像的显示区域改变时,针对VR图像的指针603的相对位置关系改变。另外,根据该处理,稍后在S502和S503中描述的裁剪处理中的裁剪区域的宽度(180度)不改变,但是裁剪之前的VR图像中的裁剪区域的位置改变。
图6(c)示出了在从图6(b)所示的状态通过向左的触摸移动改变显示区域的情况下的显示示例。VR图像602的显示区域已经改变,并且相应地,角度信息608以及显示方向引导中的显示区域605和非显示区域606所指示的区域也已经改变。与图6(b)相比,VR图像602已经滚动以向左移动,并且与图6(b)所示的状态相比,已使VR图像中的右侧区域新成为显示区域。换言之,显示区域已向右移动。在图6(c)所示的示例中,从角度信息608和显示方向引导可以明显看出,与图6(b)所示的显示区域相比,显示区域已经改变为面向向右大约90度的方向。显示区域包括在车牌可读的方向上经过的车辆作为被摄体。例如,用户认为这些过往车辆的车牌不是应该公开的信息,并希望从裁剪后的图像中省略车牌。
图6(d)示出了在从图6(c)所示的状态通过进一步向左触摸移动来改变显示区域的情况下的显示示例。VR图像602的显示区域已经改变,并且相应地,角度信息608以及显示方向引导中的显示区域605和非显示区域606所指示的区域也已经改变。与图6(c)相比,VR图像602已经滚动以向左移动,并且与图6(c)所示的状态相比,已使VR图像中的右侧区域新成为显示区域。换言之,显示区域已向右移动。在图6(c)所示的示例中,从角度信息608和显示方向引导可以明显看出,与图6(b)所示的显示区域相比,显示区域已经改变为面向大致正后方(向右180度)的方向。显示区域包括拍摄者自己作为被摄体。例如,用户不认为拍摄者自己是原本打算拍摄的主要被摄体,并希望从裁剪后的图像中省略拍摄者。
在S404中,CPU 201参考保持在存储器202中的设置信息并且确定用于根据朝向检测改变显示区域的功能是否已经被启用(开启)。启用(打开)/禁用(关闭)用于根据朝向检测改变显示区域的功能是可以通过针对上述朝向检测ON/OFF按钮614的触摸操作来设置的设置项。当根据朝向检测改变显示区域的功能被启用(开启)时,CPU 201前进到S405,否则CPU 201前进到S407。在S405和S406中,CPU 201根据朝向检测单元213检测到的朝向变化来改变VR图像602的显示区域。由于该处理与早先描述的图3中所示的S307和S308中的处理相同,因此其细节将被省略。应当注意,根据该处理,稍后在S502和S503中描述的裁剪处理中的裁剪区域的宽度(180度)没有变化,但是裁剪之前的VR图像中的裁剪区域的位置发生变化。当CPU 201在S404中确定为用于根据朝向检测改变显示区域的功能被禁用(关闭)时,CPU 201在不前进到S405和S406的情况下前进到S407,并且即使当朝向检测单元213检测到朝向变化时,也不根据朝向变化改变显示区域。
在S407和S408中,CPU 201根据捏分操作(倍率改变指令)改变VR图像602的显示倍率。由于该处理与早先描述的图3中所示的S309和S310中的处理相同,因此将省略其细节。
在S409中,基于从触摸面板206a通知的信息,CPU 201确定是否已经进行了针对整个半球显示按钮609的触摸操作(整个半球指令;倍率改变指令)。当进行了指定整个半球显示按钮609的触摸操作时,CPU 201前进到S410,否则CPU 201前进到S413。在S410中,CPU201确定当前显示倍率是否已经是用于整个半球显示的倍率(半球倍率)。可以参考当前显示倍率或参考当前显示模式进行该确定。当显示倍率已经是半球倍率时,CPU 201进行到S412以恢复原始显示倍率。当显示倍率不是半球倍率时,CPU 201前进到S411以切换到以半球倍率显示。换言之,每当进行对整个半球显示按钮609的触摸操作时,打开和关闭整个半球显示(半球倍率显示)。
在S411中,CPU 201在将切换到整个半球显示之前的当前显示倍率记录在存储器202中之后进行整个半球显示。整个半球显示是以如下倍率进行的显示,其中,已经以由指针603当前指示的位置为中心进行裁剪的整个裁剪区域纳入显示器205上的显示区域。虽然在本实施例中采用包括半球区域的显示倍率作为半球倍率以便使180度区域成为裁剪区域,但是不是180度的裁剪区域不限于半球区域,并且以使得整个裁剪区域能够纳入显示区域的倍率显示。
图7(a)示出了在裁剪编辑画面上的整个半球显示的显示示例。当从图6(b)所示的VR视图中的正常显示倍率(开始VR视图中的显示时初始显示的初始倍率)发出整个半球显示的指令时,利用单次触摸(不会以其它倍率停止)将正常显示倍率切换到图7(a)所示的显示倍率(低于初始倍率的倍率)。图7(a)中所示的VR图像602表示以整个半球显示的倍率显示与图6(b)中显示的VR图像602相同的图像。由于原本打算映射到球体上的等于或宽于180度的区域纳入平面显示区域,因此显示周边失真好像由鱼眼镜头拍摄的VR图像602。阴影部分702被叠加并显示在VR图像602上。阴影部分702指示在显示的VR图像602中位于裁剪区域之外(从指针603指示的位置起的180度区域之外)的区域,并且指示裁剪后的图像中要删除的区域(排除区域)。用户可以通过查看VR图像602中的中心部分中没有阴影的部分701来确认裁剪区域中包括的部分,并且可以通过查看VR图像602中的阴影部分702来确认排除区域。因此,可以通过确认VR图像602的多少将被包括在裁剪区域中以及VR图像602的多少不被包括在裁剪区域中来指定裁剪区域。因此,可以容易地进行如下操作,诸如设置裁剪区域,使得经过的车辆和人在排除区域中同时使作为主要被摄体的河流纳入裁剪区域。
由于阴影部分702仅需要被识别为排除区域,因此其显示模式不限于阴影,可以通过其他显示模式(诸如半透明掩模、加网(screening)和单色显示等)来指示排除区域。另选地,可以采用如下显示模式,其中,代替指示排除区域,而仅用圆形线等指示裁剪区域与排除区域之间的边界。另外,代替显示排除区域,可以显示裁剪区域,使得裁剪区域的内部全部包括在显示区域中。即使在整个半球显示期间,也可以进行根据在图4所示的处理中描述的各种操作的处理。换言之,可以进行调整,使得通过根据朝向改变或触摸移动改变显示区域,使期望区域成为裁剪区域。另外,可以通过根据稍后在S425至S431中描述的对裁剪按钮604的触摸操作的处理来确定裁剪区域。指示排除区域的阴影部分702可以被构造为在根据对整个半球显示按钮609的触摸操作的整个半球显示的情况下显示,而当通过捏合使显示倍率从正常倍率降低时不显示。另选地,指示排除区域的阴影部分702可以被构造为在根据对整个半球显示按钮609的触摸操作的整个半球显示的情况下显示,并且当通过捏合使显示倍率从正常倍率降低时也显示。
在S412中,CPU 201从进行了整个半球显示的状态开始,参照保持在存储器202中的切换之前的原始显示倍率并且恢复原始显示倍率的显示状态。换言之,例如,CPU 201将图7(a)所示的显示状态切换到图6(b)所示的显示状态。因此,周边部分失真并且显示得较小的状态被切换到如下显示状态:包括在裁剪区域中的中心部分被显示得较大而没有失真或失真减小。
在S413中,基于从触摸面板206a通知的信息,CPU 201确定是否已经进行了针对双屏确认按钮610的触摸操作。当进行了指定双屏确认按钮610的触摸操作时,CPU 201前进到S414,否则CPU 201前进到S415。在S414中,CPU 201进行双屏显示处理。双屏显示处理将在后面参照图8和图9进行描述。
在S415中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了对端部微调按钮611的触摸操作(用于开始显示区域的微调的微调指令)。当进行了指定端部微调按钮611的触摸操作时,CPU 201前进到S416,否则CPU201前进到S417。在S416中,CPU 201进行端部微调处理。稍后将参照图10和图11描述端部微调处理。
在S417中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对不必要部分指定按钮612的触摸操作。当进行了指定不必要部分指定按钮612的触摸操作时,CPU201前进到S418,否则CPU 201前进到S419。在S418中,CPU 201进行不必要部分指定处理。稍后将参照图12至图14描述不必要部分指定处理。
在S419中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了对俯仰角启用/禁用按钮613的触摸操作(用于在启用和禁用俯仰角之间切换的切换指令)。当进行了指定俯仰角启用/禁用按钮613的触摸操作时,CPU 201前进到S420,否则CPU 201前进到S423。在S420中,CPU 201参考保持在存储器202中的设置信息并且确定在接受对俯仰角启用/禁用按钮613的触摸操作之前的当前设置是否是启用俯仰角。当CPU 201确定为当前设置是启用俯仰角时,CPU 201前进到S421,但是在当前设置是禁用俯仰角时,CPU 201前进到S422。在S421中,CPU 201通过将启用改变为禁用来设置俯仰角启用/禁用的设置,并将设置状态记录在存储器202中。在S422中,CPU 201通过将禁用改变为启用来设置俯仰角启用/禁用的设置并将设置状态记录在存储器202中。当俯仰角启用/禁用的设置改变时,俯仰角启用/禁用按钮613的显示模式也被更新以指示改变后的设置状态。应当注意,当S421中将俯仰角启用/禁用的设置设置为禁用时,在S403和S406中可以改变VR图像602的显示区域的方向可以限定为方位方向并且可以防止显示区域在俯仰角方向发生变化。换言之,可以施加限制,使得根据触摸移动或朝向改变,进行水平滚动(在方位方向上的显示区域的改变),但不进行垂直滚动(在俯仰角方向上的显示区域的改变)。
在S423中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对朝向检测ON/OFF按钮614的触摸操作。当进行了指定朝向检测ON/OFF按钮614的触摸操作时,CPU201前进到S424,否则CPU 201前进到S425。在S424中,CPU 201根据朝向检测来改变显示区域的改变功能的设置状态。当改变前的设置为启用(ON)时,设置被改变为禁用(OFF),并且指示改变后的设置的设置信息被记录在存储器202中。当改变前的设置为禁用(OFF)时,设置被改变为启用(ON)并且指示改变后的设置的设置信息被记录在存储器202中。当根据朝向检测的显示区域的改变功能的设置状态改变时,朝向检测ON/OFF按钮614的显示模式也被更新以指示改变后的设置状态。
在S425中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了对裁剪按钮604的触摸操作(裁剪指令、基准位置的指定操作)。当进行了指定裁剪按钮604的触摸操作时(当裁剪指令已经被接受时),CPU 201前进到S426,否则CPU 201前进到S432。
在S426中,CPU 201确定是否已经通过稍后描述的不必要部分指定处理而登记了不必要部分。当不必要部分被登记时,CPU 201前进到S428,但是当不必要部分没有被登记时,CPU 201前进到S427。在S427中,CPU 201进行裁剪预览处理。稍后将参照图5描述裁剪预览处理。另选地,当CPU 201在S425中确定为进行了针对裁剪按钮604的触摸操作时,CPU201可以前进到S427而不进行S426的处理。此外,当CPU 201在S425中确定为进行了针对裁剪按钮604的触摸操作时,CPU 201可以在不进行S426和S427的处理的情况下前进到稍后描述的图5中的S535,并且进行裁剪的VR图像保存处理。由于S428至S431的处理是在登记了不必要部分的情况下的处理,并且与后述的图12所示的S1215至S1218的处理相同,因此将省略其细节。
在S432中,CPU 201确定是否结束了裁剪编辑处理并且进行了返回到图3所示的VR视图显示的处理的操作。当没有进行返回操作时,CPU 201返回到S402以重复处理,但是当进行了返回操作时,CPU 201结束图4所示的处理,进行原始VR视图显示,并且前进到图3所示的S313。
图5是先前参照图4所示的S427描述的裁剪预览处理的流程图。当CPU201将记录在非易失性存储器203中的程序展开在存储器202上并执行该程序时实现该处理。图5所示的裁剪预览处理是用于确认是否可以最终确定在图4所示的裁剪编辑处理中用户对裁剪区域的指定的处理。
在S501中,CPU 201参考保持在存储器202中的设置信息,并确定当前设置是否是启用俯仰角。应当注意,此时所参考的设置项的设置可以通过对俯仰角启用/禁用按钮613的触摸操作来改变。当CPU 201确定为当前设置是启用俯仰角时,CPU 201前进到S502,但是在当前设置是禁用俯仰角时,CPU 201前进到S503。
在S502中,CPU 201基于当前显示区域(紧接在参照图4描述的处理的裁剪编辑画面上或稍后描述的预览画面上触摸裁剪按钮604之前的显示区域)的方位和俯仰角来确定裁剪区域,并进行裁剪处理。更具体地,CPU 201从360度VR图像中裁剪以显示区域的中心(显示指针603的位置)为中心的180度区域(从中心起的所有方向上的各90度的区域)并生成180度VR图像(编辑后的VR内容)。该处理将在后面参照图16(a)和图16(c)进行描述。
在S503中,CPU 201基于当前显示区域(紧接在参照图4描述的处理的裁剪编辑画面上或稍后描述的预览画面上触摸裁剪按钮604之前的显示区域)的方位和水平方向(0度的俯仰角)来确定裁剪区域,并进行裁剪处理。由此,基于水平方向(垂直于天顶轴的方向)来确定裁剪区域,而与裁剪前的显示区域的俯仰角无关。更具体地,CPU 201从360度VR图像中裁剪以通过与水平方向上的显示区域的中心(显示指针603的位置)相对应的方位而确定的一个点为中心的180度区域,并且生成180度VR图像(编辑后的VR内容)。该处理将在后面参照图16(a)和图16(b)进行描述。
在S504中,CPU 201显示使得能够在显示器205上确认S502或S503中的裁剪结果的预览画面。图6(e)、图6(f)和图6(g)示出了预览画面的显示示例。
图6(e)表示在图6(b)所示的状态(VR图像602中的显示区域是图6(b)所示的区域的状态)下触摸裁剪按钮604并转变到裁剪预览处理的情况下的预览画面的显示示例。画面右下方的圆形显示方向引导除了显示扇形显示区域605和非显示区域606外,还显示指示裁剪区域外部(排除区域)的区域的排除区域622(图6(e)中的涂黑部分))。因此,用户可以识别出现在存在这样的状态:在VR图像602的360度的所有方向中的与排除区域622对应的区域中不存在图像。另外,改变指针603的显示模式并且将其显示为指针621。在预览画面上,指针621被显示为指示指定裁剪区域的中心的指示符。因此,指针621显示在指示VR图像602的裁剪区域(有效视图区域)的中心的位置,而不是固定在显示器205的中心。出于这个原因,根据对显示区域的改变,指针621的显示位置也随着VR图像602的裁剪区域(有效视图区域)的中心的显示位置的移动而移动。通过与图6(b)相同的附图标记表示的其他显示项表示与裁剪编辑画面类似的显示项。双屏确认按钮610和不必要部分指定按钮612隐藏在预览画面上。再现开始方向指定按钮623、保存按钮624和取消按钮625被显示为不显示在裁剪编辑画面上但显示在预览画面上的显示项。再现开始方向指定按钮623是用于指定在下次第一次显示裁剪后的VR图像时成为显示区域的部分的指令图标。采用在对再现开始方向指定按钮623的触摸操作(用于指定再现开始方向的方向指定指令)的时间点的显示区域的中心,作为下次第一次显示裁剪后的VR图像时的显示区域的中心,或者换言之,裁剪后的VR图像中前面描述的显示开始方向。保存按钮624是用于发出最终确定裁剪区域并记录裁剪后的VR图像的图像文件的指令的指令图标。取消按钮625是用于在不保存当前裁剪区域中的VR图像的情况下返回裁剪编辑画面的指令图标。
在S505和S506中,CPU 201根据针对显示VR图像602的区域的触摸移动来改变显示区域。处理的细节与早先描述的图3中所示的S305和S306中的处理相同。如前所述,当显示区域改变时,指针621在显示器205上的显示位置也改变。即使当VR图像的显示区域改变时,针对VR图像的指针621的相对位置关系也不会改变。
图6(f)示出了在通过从图6(e)所示的状态向左的触摸移动来改变显示区域的情况下的显示示例。VR图像602的显示区域已经改变,并且相应地,角度信息608以及显示方向引导中的显示区域605和非显示区域606所指示的区域也已经改变。在显示方向引导中,包括在显示区域中的排除区域的一部分由图案626可识别地显示。与图6(e)相比,VR图像602已经被滚动以向左移动,并且与图6(e)所示的状态相比,已使VR图像中的右侧区域新成为显示区域。换言之,显示区域已向右移动。在图6(f)所示的示例中,从角度信息608和显示方向引导显而易见,与图6(e)所示的显示区域相比,显示区域变为面向向右约90度的方向。由于在以指针621指示的位置为中心的180度区域中进行裁剪,因此排除区域630开始出现在显示区域内。排除区域630仅需要可识别为不存在有效视图区域的区域,并且可以以单色或以诸如规定图案或灰度等的显示模式显示。可以确认,在图6(f)中,以车牌可见的朝向通过的车辆(已参照图6(c)将该车辆描述为用户希望从裁剪后的图像中排除的被摄体的示例)已被排除为排除区域630,并且不包括在裁剪后的VR图像中。
图6(g)示出了在通过从图6(f)所示的状态进一步向左触摸移动来改变显示区域的情况下的显示示例。VR图像602的显示区域已经改变,并且相应地,角度信息608以及由显示方向引导指示的区域也已经改变。在图6(g)所示的示例中,从角度信息608和显示方向引导显而易见,与图6(e)所示的显示区域相比,显示区域变为面向大致正后方(向右180度)的方向。VR图像602不包括在显示区域内并且排除区域630占据整个显示区域。可以确认,在图6(g)中,已参照图6(d)描述为用户希望从裁剪后的图像中排除的被摄体的示例的拍摄者自己已被排除为排除区域630,并且不包括在裁剪后的VR图像中。
由于S507至S515的处理是根据朝向变化的显示区域的变化处理、根据捏分操作的显示倍率的变化处理以及根据整个半球指令的半球倍率的显示处理,并且与早先描述的图4中所示的S404至S412的处理相同,因此将省略对其的描述。应当注意,在S514的整个半球显示中,与S411中的整个半球显示不同,不显示排除区域(图7(a)中的阴影部分702指示的部分)。图7(b)示出了在预览画面上的整个半球显示的显示示例。为了通过排除排除区域来仅显示裁剪后的VR图像的有效视图区域,不显示图7(a)中的阴影部分702指示的部分。换言之,在裁剪前的VR图像中,裁剪后的有效视图区域的外部被隐藏。由于这样的显示,用户可以在单个画面内确认哪种被摄体位于裁剪后的VR图像的中心部分以及有多少被摄体被包括在裁剪区域中。当在图7(a)所示的显示状态下进行对裁剪按钮604的触摸操作时,转变到图7(b)所示的显示状态。当在图6(e)至图6(g)所示的显示状态下进行针对整个半球显示按钮609的触摸操作时,也进行到图7(b)所示的显示状态的转变。
由于S516和S517包括根据对端部微调按钮611的触摸操作的处理并且与之前描述的S415和S416的处理相同,因此将省略对其的描述。
由于S518至S521包括根据针对俯仰角启用/禁用按钮613的触摸操作的处理并且与之前描述的S419至S422的处理相同,因此将省略对其的描述。当在S520中设置从启用俯仰角切换到禁用俯仰角时,CPU 201前进到S503并改变裁剪区域。当CPU 201从S520前进到S503时,代替基于该时间点的显示区域设置裁剪区域,基于进行使得确定S520的时间点的裁剪区域的裁剪按钮604的操作时的显示区域来设置裁剪区域。换言之,从360度VR图像(球体区域)中裁剪180度区域(半球区域),使得在维持S520的时间点的裁剪区域中心的朝向的同时,裁剪区域的中心的俯仰角变为水平方向。另外,当在S521中设置从禁用俯仰角切换到启用俯仰角时,CPU 201前进到S502并改变裁剪区域。当CPU 201从S521前进到S502时,代替基于该时间点的显示区域设置裁剪区域,基于进行使得确定S521的时间点的裁剪区域的裁剪按钮604的操作时的显示区域来设置裁剪区域。换言之,从360度VR图像中裁剪180度VR图像,使得在维持S521的时间点的裁剪区域中心的朝向的同时,裁剪区域的中心的俯仰角变为使得确定S521的时间点的裁剪区域的裁剪按钮604的操作时的显示区域的俯仰角。
由于S522和S523的处理是根据针对朝向检测ON/OFF按钮614的触摸操作的处理并且与早先描述的S423和S424的处理相同,因此将省略对其的描述。
在S524中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对再现开始方向指定按钮623的触摸操作。当进行了针对再现开始方向指定按钮623的触摸操作时,CPU 201前进到S525,否则CPU 201前进到S526。在S525中,CPU 201将当前显示区域的中心确定为裁剪后的VR图像的显示开始方向,并将指示当前显示区域在VR图像中的中心的位置信息记录在存储器202中。在稍后描述的S535中,将位置信息作为指示显示开始方向的信息记录在裁剪的VR图像的图像文件的属性信息中。
在S526中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对裁剪按钮604的触摸操作。当进行了指定裁剪按钮604的触摸操作时,CPU 201前进到S527,否则CPU201前进到S532。
在S527中,CPU 201确定不必要部分是否已通过稍后描述的不必要部分指定处理而登记。当不必要部分被登记时,CPU 201前进到S528,但是当不必要部分没有被登记时,CPU 201前进到S501。接下来,CPU 201从S501前进到S502或S503,并且基于在S526中确定为已经针对裁剪按钮604进行了触摸操作的时间点的显示区域来改变裁剪区域。以此方式,在本实施例中,当想要在预览画面上改变裁剪区域时,通过对裁剪按钮604进行触摸操作,就可以基于该时间点的显示区域(或者更具体地,该时间点的显示区域的中心位置)来校正裁剪区域。当在S502或S503中再次进行裁剪时,在S504中更新预览画面以指示校正的裁剪区域。另选地,可以将预览画面构造为使得不能在预览画面上校正裁剪区域。在这种情况下,裁剪按钮604被隐藏或以指示不可操作的的显示模式(诸如灰化等)来显示,并且不进行S526的确定。即便如此,当用户希望在查看预览画面的同时改变裁剪区域时,用户可以通过对取消按钮625进行触摸操作并在返回裁剪区域编辑画面之后重新指定裁剪区域来改变裁剪区域。由于S528至S531的处理是在登记了不必要部分的情况下的处理并且与后述的图12所示的S1215至S1218的处理相同,因此省略其细节。
在S532中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了对取消按钮625的触摸操作。当进行了对取消按钮625的触摸操作时,CPU 201前进到S533并返回到前面参照图4描述的裁剪编辑处理(裁剪编辑画面)。当没有进行对取消按钮625的触摸操作时,CPU 201前进到S534。
在S534中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对保存按钮624的触摸操作。当进行了针对保存按钮624的触摸操作时,CPU 201前进到S535,否则CPU201前进到S505并重复处理。
在S535中,CPU 201从已经在预览画面上确认的裁剪区域中裁剪的VR图像生成可以在VR视图中显示的图像文件,并且将生成的图像文件记录在记录介质208中。在这种情况下,假设将在S502或S503中从裁剪前的360度VR图像进行了裁剪处理并保持在存储器202或记录介质208中的图像记录为图像文件。另选地,可以在S535的时间点通过控制图像处理单元204从裁剪之前的360度VR图像再次裁剪180度VR图像,并且可以记录裁剪的180度VR图像。另外,假设裁剪的VR图像的图像文件被记录为新保存的文件。另选地,可以通过将裁剪的VR图像的图像文件覆写在裁剪前的360度VR图像的图像文件上来进行保存。裁剪的VR图像的图像文件以符合VR 180标准的格式记录。一旦CPU 201记录了裁剪的VR图像的图像文件,则CPU 201结束图5所示的处理,返回图3所示的S301,并进行作为裁剪源的360度VR图像的VR视图显示。另选地,可以在结束图5所示的处理后,进行新保存的裁剪的180度VR图像的VR视图显示。
将描述要在S535中记录的裁剪的VR图像(可以在VR视图中显示的图像文件)。当裁剪的VR图像为静止图像时,生成并记录单个文件,该单个文件以多图片格式存储通过等距圆柱投影对裁剪区域内的图像进行变形并将变形的图像纳入矩形中而创建的多个图像。当裁剪前的360度VR图像(原始图像)显示为普通平面图像以代替VR视图时,获得通过在诸如图18(a)所示的矩形中的等距圆柱投影绘制的图像。在通过前面描述的处理从原始图像中裁剪180度区域的情况下,当裁剪的180度区域被显示为普通平面图像以代替VR视图时,记录通过在诸如图18(b)所示的近似正方形中的等距圆柱投影绘制的图像。由此,即使在没有视差的情况下,通过复制裁剪区域内的图像而获得的两个相同图像被分别作为右眼图像和左眼图像而记录在相同的文件中。另选地,可以从裁剪前的一个360度VR图像中裁剪并生成两个180度区域,以具有伪视差(换言之,使得左眼图像和右眼图像的区域略有不同)。即使在这种情况下,基于进行裁剪按钮604的触摸操作时的显示区域来确定裁剪区域。例如,裁剪的静止图像的VR图像的文件名是“123456.vr.jpg”,其中在扩展名“.jpg”之前描述了由三个字符“.vr”组成的字符串。当以这种方式保存为静止图像文件的图像在VR视图中再现和显示时,图18(b)中所示的图像被映射到半球上并显示。图18(d)示出了通过双目VR视图再现和显示裁剪的静止图像的VR图像文件的示例(在显示器205没有安装在VR护目镜上的状态下的显示器205上的显示示例)。
当裁剪的VR图像是运动图像时,生成并记录运动图像文件,该运动图像文件具有通过将裁剪区域内的图像映射到圆或椭圆的内部(代替等距圆柱投影)并在单个运动图像的视频内水平(并排)布置而获得的视频(运动图像)。由此,即使在没有视差的情况下,通过复制裁剪区域内的图像而获得的两个相同图像被分别水平布置并记录为右眼图像和左眼图像。当这样的运动图像被显示为普通平面图像而不是VR视图时,如图18(c)所示显示运动图像。另选地,可以从裁剪前的一个360度VR图像中裁剪并生成两个180度区域,以具有伪视差(换言之,使得左眼图像和右眼图像的区域略有不同)。即使在这种情况下,基于进行裁剪按钮604的触摸操作时的显示区域来确定裁剪区域。例如,裁剪的运动图像的VR图像的文件名是“123456.vr.mp4”,其中在扩展名“.mp4”之前描述了由三个字符“.vr”组成的字符串。当在双目VR视图中再现和显示时的裁剪的运动图像的VR图像文件的给定帧的显示示例(在显示器205未安装在VR护目镜上的状态下的显示器205上的显示示例)与图18(d)所示的示例相同。
图8示出了先前参照图4所示的S414描述的双屏显示处理的流程图。当CPU 201将记录在非易失性存储器203中的程序展开到存储器202上并执行程序时实现该处理。
在S801中,CPU 201在显示器205上进行双屏显示的初始显示。图9(a)示出了显示器205上的双屏显示的初始显示的显示示例。双屏显示的显示画面被划分为显示VR图像602中的裁剪区域903内部的上部区域901和显示VR图像602中的排除区域904内部的下部区域902。在初始显示中,失真的圆形图像显示在上部区域901的圆形显示区域中,使得整个裁剪区域纳入显示区域内。该显示区域是与参照图7(b)描述的整个半球显示相同的显示区域。另外,在初始显示中,在下部区域902的圆形显示区域中显示失真的圆形图像,使得整个排除区域纳入显示区域内。该显示区域对应于裁剪后要丢弃的半球区域。与之前描述的显示项具有相同附图标记的其他显示项与这些显示项相同。通过观看以这种方式同时显示整个裁剪区域和整个排除区域的画面,用户可以在裁剪之前的360度VR图像中容易地确认裁剪后的裁剪区域中包括哪种被摄体以及裁剪后的排除区域中包括哪种被摄体。在正常裁剪编辑画面的VR视图中,在大于整个半球显示的显示倍率下,由于只显示裁剪区域内的一部分,并且显示区域始终位于裁剪区域的中心,因此不显示裁剪区域与排除区域之间的边界。因此,无法确认边界。另外,在预览画面上比整个半球显示大的显示倍率下,由于仅显示裁剪区域内的一部分,因此只能确认裁剪区域与排除区域之间的边界的一部分。当仅通过观看边界的一部分来调整裁剪区域时,可能会出现以下情况:例如,即使在显示的边界处将期望的部分纳入裁剪区域内,待纳入的被摄体最终也会在未显示的边界附近超出裁剪区域。为了确认期望的部分是否被纳入所有边界附近的裁剪区域,必须多次或大量改变显示区域。另一方面,通过诸如图9(a)所示的双屏显示,用户可以在不改变显示区域的情况下确认整个裁剪区域和整个排除区域。此外,用户可以在进行这种确认的同时通过触摸移动来调整裁剪区域和排除区域。因此,可以防止错误,诸如在排除区域中包括应该包括在裁剪区域中的被摄体同时未察觉该被摄体的存在,或者在裁剪区域中包括应该从裁剪区域中排除的被摄体同时未察觉该被摄体的存在。对于显示在下部区域902中的排除区域,可以应用规定颜色的半透明掩模、诸如以单色或深褐色显示等的颜色转换、加网等,以便更容易理解排除区域是裁剪后要丢弃的部分。
在S802中,CPU 201确定是否在上部区域901或下部区域902中进行了触摸移动(视图区域改变操作)。当CPU 201确定为进行了触摸移动时,CPU 201前进到S803,否则CPU 201前进到S804。在S803中,CPU 201分别改变VR图像602中的成为裁剪区域的部分和成为排除区域的部分。具体地,CPU 201根据触摸位置的移动来改变显示在上部区域901和下部区域902中的进行了触摸移动的一个区域中的VR图像602的显示区域。此时,当设置为启用俯仰角时,根据触摸移动的横向移动分量和垂直移动分量二者来改变显示区域。当设置为禁用俯仰角时,虽然根据触摸移动的横向移动分量移动显示区域,但是不根据垂直移动分量移动显示区域,指针603始终指示0度的俯仰角(水平方向),并且显示区域不向上或向下移动。此外,在其他区域中显示的VR图像602的显示区域随着VR图像602中的进行了触摸移动的区域中的显示区域的改变而改变,并且被采用作为进行了触摸移动的区域中的不是显示区域的对侧半球部分。因此,显示在显示器205上的固定位置(显示器205的画面上的规定位置)的指针603(上部区域的中心位置)针对VR图像602的相对位置改变。CPU 201将以VR图像602中的与指针603对应的位置为中心的半球区域设置为裁剪区域。
在S804中,CPU 201确定是否在上部区域901中进行了捏分操作。当CPU 201确定为在上部区域901中进行了捏分操作时,CPU 201前进到S805,否则CPU 201前进到S807。在S805中,当与S801中的初始显示相比在稍后描述的S809中放大或缩小了下部区域902中的排除区域的图像时,CPU 201将排除区域的图像的显示倍率重置为能够显示整个排除区域的倍率,或者换言之初始显示的倍率。在S806中,CPU 201根据在上部区域901中进行的捏分操作来改变显示在上部区域901中的VR图像602中的裁剪区域的部分的图像的显示倍率,并且通过放大或缩小图像来显示图像。显示裁剪区域的放大图像使用户能够确认裁剪区域中包括的被摄体的细节。
在S807中,CPU 201确定是否在下部区域902中进行了捏分操作。当CPU 201确定为在下部区域902中进行了捏分操作时,CPU 201前进到S808,否则CPU 201前进到S810。在S808中,当与S801中的初始显示相比在前面描述的S806中放大或缩小了上部区域901中的裁剪区域的图像时,CPU 201将裁剪区域的图像的显示倍率重置为能够显示整个裁剪区域的倍率,或者换言之初始显示的倍率。在S809中,CPU 201根据在下部区域902中进行的捏分操作来改变显示在下部区域902中的VR图像602中的排除区域的部分的图像的显示倍率,并且通过放大或缩小图像来显示图像。显示排除区域的放大图像使用户能够确认排除区域中包括的被摄体的细节。
图9(b)示出了在根据在下部区域902中进行的捏放来放大在下部区域902中显示的图像的情况下的显示示例。尽管在下部区域902中显示的区域只是排除区域的一部分而不是整个排除区域,但是由于与图9(a)所示的初始显示相比该区域放大,因此可以更容易地确认被摄体的外观。当从该状态在上部区域901中进行捏分操作时,在S805的处理中重置显示倍率并且下部区域902中的显示倍率恢复为图9(a)所示的初始显示的显示倍率。以此方式,通过以确保裁剪区域和排除区域中的一个被整体包括的显示倍率进行显示,必然可以在失真的圆形图像中的一个中确认裁剪区域与排除区域之间的边界部分。
应当注意,S804至S809的双屏显示处理中的根据捏分操作的倍率变化仅涉及改变显示倍率,而不改变裁剪区域。换言之,针对VR图像602的指针603的相对位置关系没有改变。
在S810中,CPU 201确定是否进行了对裁剪按钮604的触摸操作。当进行了指定裁剪按钮604的触摸操作时,CPU 201前进到S811并且进行先前描述的图5中所示的裁剪预览处理。在这种情况下,在裁剪预览处理中的S502或S503的首次进行中,CPU 201进行裁剪,使得在裁剪按钮604被触摸的时间点在上部区域901中显示的显示区域的中心(由指针603指示的位置)成为裁剪区域的中心。应当注意,当登记了不必要部分时,可以进行与早先描述的图4中所示的S426到S431相同的处理。
在S812中,CPU 201确定是否进行了对保存按钮624的触摸操作。当进行了指定保存按钮624的触摸操作时,CPU 201前进到S813,否则CPU 201前进到S814。在S813中,CPU201进行裁剪,使得在保存按钮624被触摸的时间点显示在上部区域901中的显示区域的中心(由指针603指示的位置)成为裁剪区域的中心。更具体地,CPU 201从360度VR图像中裁剪以上部区域901中的显示区域的中心为中心的180度区域(从中心起的所有方向上各90度的区域)。此外,CPU 201将裁剪的VR图像作为可以在VR视图中显示的图像文件记录在记录介质208中。裁剪之后的记录处理是与早先描述的S535的处理相同。一旦S813的处理结束,CPU201结束双屏显示处理并返回到图3所示的S301。
在S814中,CPU 201确定是否进行了针对取消按钮625的触摸操作。当进行了针对取消按钮625的触摸操作时,CPU 201结束双屏显示处理,返回到S415,并显示裁剪编辑画面。由此,在双屏显示处理中调整的显示区域(针对VR图像602的指针603的相对位置关系)被切换至裁剪编辑画面。当尚未进行针对取消按钮625的触摸操作时,CPU 201返回到S802并重复处理。
虽然双屏显示处理已被描述为当用户对裁剪编辑画面上的双屏确认按钮610进行触摸操作时要进行的处理,但是可以根据裁剪区域的临时设置指令的发出来进行作为裁剪区域的预览显示的双屏显示。例如,可以根据图4所示的S425中对裁剪按钮604进行触摸操作,来进行图8所示的双屏显示处理,以代替图5所示的裁剪预览处理。
图10示出了上述图4所示的S416和图5所示的S517的端部微调处理的流程图。当CPU 201将记录在非易失性存储器203中的程序展开在存储器202上并执行该程序时实现该处理。图10所示的端部微调处理是用户通过放大并显示VR图像的裁剪区域与排除区域之间的边界附近来微调整裁剪区域而进行的处理。
在S1001中,CPU 201进行用于从VR视图裁剪图像的端部微调画面的初始显示。
图11(a)示出了在转变到端部微调处理之后立即显示在显示器205上的端部微调画面的显示示例。图11(a)表示两种端部微调画面(即,水平方向显示和垂直方向显示)中的水平方向显示的示例。主区域1101显示作为已在裁剪编辑画面或预览画面上显示的同一VR图像602的一部分的裁剪区域的中心部分。在主区域1101中,由于以不使周边部分失真的显示倍率显示VR图像602,因此不显示裁剪区域的端部(裁剪区域与排除区域之间的边界)。指针603显示在主区域1101中的固定位置(主区域1101的中心)。确定背景中的VR图像的显示位置,使得指针603相对于VR图像位于与指针603已经在裁剪编辑画面上显示的位置相同的位置。通过查看主区域1101,用户可以确认在裁剪区域的中心正在描绘什么。作为端部显示区域的左侧区域1102和右侧区域1103并排显示在主区域1101下方。左侧区域1102和右侧区域1103显示裁剪区域中的包括裁剪区域与排除区域之间的边界的部分。
左侧区域1102显示裁剪区域中的部分边界部分(包括裁剪区域的端部的部分的区域)。由指针603指示的垂直位置(由指针603指示的俯仰角的位置)处的左侧边界部分在初始显示期间和紧接在重置之后被显示。左侧区域1102显示水平划分并且彼此相邻的、指示裁剪区域内部的图像区域1102a和指示裁剪区域外部(排除区域内部)的排除区域1102b,并且使得能够确认裁剪区域与排除区域之间的边界的状态。左侧区域1102中的图像区域1102a与排除区域1102b之间的位置关系是固定的并且即使在进行稍后描述的触摸移动时也保持不变。
右侧区域1103显示裁剪区域中的与左侧区域1102中显示的区域相对180度的部分边界部分(与左侧区域1102中显示的区域不连续的边界部分)。由指针603指示的垂直位置(由指针603指示的俯仰角的位置)处的右侧边界部分在初始显示期间和紧接在重置之后被显示。右侧区域1103显示水平划分并且彼此相邻的、指示裁剪区域内部的图像区域1103a和指示裁剪区域外部(排除区域内部)的排除区域1103b,并且使得能够确认裁剪区域与排除区域之间的边界的状态。右侧区域1103中的图像区域1103a与排除区域1103b之间的位置关系是固定的并且即使在进行稍后描述的触摸移动时也保持不变。换言之,即使当根据用户操作改变裁剪之前的VR图像中的裁剪区域的位置时,显示器205上的与裁剪区域的端部相对应的位置也不会改变。显示器205上的与裁剪区域的端部相对应的位置是图像区域1103a与排除区域1103b之间的边界位置以及图像区域1102a与排除区域1102b之间的边界位置。
例如,当用户希望通过观看这样的显示来在VR图像602中将道路部分作为排除区域并将人行道部分纳入裁剪区域时,用户可以通过容易地确认期望部分是否纳入裁剪区域内,来以优选的方式对裁剪区域进行微调。在正常裁剪编辑画面的VR视图中的大于整个半球显示的显示倍率下,由于只显示裁剪区域内的一部分,并且显示区域始终位于裁剪区域的中心,因此不显示裁剪区域与排除区域之间的边界。因此,无法确认边界。另外,在预览画面上的比整个半球显示大的显示倍率下,由于仅显示裁剪区域内的一部分,因此只能确认裁剪区域与排除区域之间的边界的一个位置。当仅通过观看边界的一个位置来调整裁剪区域时,可能会出现以下情况:例如,即使在显示的边界处将期望的部分纳入裁剪区域内,待纳入的被摄体最终也会在其他边界附近超出裁剪区域。为了确认期望的部分是否纳入两个边界附近的裁剪区域中,必须多次或大量改变显示区域。另一方面,在诸如图11(a)所示的端部微调画面上,用户可以在不改变显示区域的情况下通过确认裁剪区域与排除区域之间的边界来确认期望部分是否纳入裁剪区域。此外,在诸如图11(a)所示的端部微调画面上,用户可以同时确认多个边界部分(两端的边界部分),并且用户可以在短时间段内或通过少量操作来确认期望部分是否纳入裁剪区域内。
作为触摸图标的水平/垂直切换按钮1104显示在左侧区域1102的左上部分(排除区域1102b的上部)。通过在该位置显示水平/垂直切换按钮1104,不会妨碍在图像区域1102a中显示的裁剪区域内的视频的可视性。此外,即使在水平方向显示与垂直方向显示之间切换时,水平/垂直切换按钮1104的显示位置也不会改变,并且水平/垂直切换按钮1104显示在不会妨碍切换后的裁剪区域内的视频的可视性。另选地,水平/垂直切换按钮1104可以显示在右侧区域1103的右下方(排除区域1103b的下部)。即使在这个位置,水平/垂直切换按钮1104也可以在水平方向显示和垂直方向显示中显示而不妨碍裁剪区域内的视频的可视性。此外,作为触摸图标的重置按钮1105显示在右侧区域1103的右下部分(排除区域1103b的下部)。在该位置,重置按钮1105可以在水平方向显示和垂直方向显示这两者中显示,而不妨碍裁剪区域内的视频的可视性。另选地,由于与上述类似的原因,重置按钮1105可以显示在左侧区域1102的左上部分(排除区域1102b的上部)。
图11(c)表示两种端部微调画面(即,水平方向显示和垂直方向显示)中的垂直方向显示的显示示例。主区域1101的显示内容与水平方向显示类似。作为端部显示区域的左侧区域1112和右侧区域1113并排显示在主区域1101下方。左侧区域1112和右侧区域1113显示裁剪区域中的包括裁剪区域与排除区域之间的边界的部分。
左侧区域1112显示裁剪区域中的部分边界部分。由指针603指示的水平位置(由指针603指示的方位的位置)处的上侧边界部分在初始显示期间和紧接在重置之后被显示。左侧区域1112显示垂直划分并且彼此相邻的、指示裁剪区域内部的图像区域1112a和指示裁剪区域外部(排除区域内部)的排除区域1112b,并且使得能够确认裁剪区域与排除区域之间的边界的状态。左侧区域1112中的图像区域1112a与排除区域1112b之间的位置关系是固定的并且即使在进行稍后描述的触摸移动时也保持不变。
右侧区域1113显示裁剪区域中的与左侧区域1112中显示的区域相对180度的部分边界部分。由指针603指示的水平位置(由指针603指示的方位的位置)处的下侧边界部分在初始显示期间和紧接在重置之后被显示。右侧区域1113显示垂直划分并且彼此相邻的、指示裁剪区域内部的图像区域1113a和指示裁剪区域外部(排除区域内部)的排除区域1113b,并且使得能够确认裁剪区域与排除区域之间的边界的状态。右侧区域1113中的图像区域1113a与排除区域1113b之间的位置关系是固定的并且即使在进行稍后描述的触摸移动时也保持不变。
作为触摸图标的水平/垂直切换按钮1104显示在左侧区域1112的左上部(排除区域1112b的上部)。该显示位置与图11(a)所示的相同。该显示位置是图11(a)所示的排除区域1102b与图11(c)所示的排除区域1112b彼此重叠的区域。另外,在右侧区域1113的右下部(排除区域1113b的下部)显示重置按钮1105。该显示位置与图11(a)所示的相同。该显示位置是图11(a)所示的排除区域1103b与图11(c)所示的排除区域1113b彼此重叠的区域。
在S1002中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对重置按钮1105的触摸操作。当进行了指定重置按钮1105的触摸操作时,CPU 201前进到S1001并且将在稍后描述的S1014或S1020中改变的显示位置恢复到原始显示位置。由于重置,在水平方向显示的情况下,显示裁剪区域的上、下中心部分之间的左边界和右边界,并且在垂直方向显示的情况下,显示裁剪区域的左、右中心部分之间的上边界和下边界。当尚未进行针对重置按钮1105的触摸操作时,CPU 201前进到S1003。
在S1003中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对水平/垂直切换按钮1104的触摸操作。当进行了指定水平/垂直切换按钮1104的触摸操作时,CPU201前进到S1004,否则CPU 201前进到S1005。
在S1004中,当端部微调画面(端部显示区域)为水平方向显示时,CPU 201切换为垂直方向显示,并且当端部微调画面(端部显示区域)为垂直方向显示时,CPU 201切换为水平方向显示。例如,当在图11(a)所示的显示状态下进行对水平/垂直切换按钮1104的触摸操作时,CPU 201切换到图11(c)所示的显示。另外,当在图11(c)所示的显示状态下进行对水平/垂直切换按钮1104的触摸操作时,CPU 201切换到图11(a)所示的显示。
在S1005中,基于从触摸面板206a通知的信息,CPU 201确定是否在主区域1101中进行了触摸移动。更具体地,CPU 201确定是否进行了主区域1101上的触及和触摸移动。当进行了源自主区域1101的触摸移动时,CPU 201前进到S1006,否则CPU 201前进到S1008。
在S1006中,CPU 201根据通过触摸移动的滑动操作来改变主区域1101中显示的VR图像的显示区域。该处理与早先描述的图3所示的S306的处理相同。
在S1007中,在水平方向显示的情况下,CPU 201根据触摸移动的滑动操作来改变左侧区域1102和右侧区域1103中的VR图像的显示区域(换言之,要在图像区域1102a和图像区域1103a中显示的部分)。在垂直方向显示的情况下,CPU 201改变左侧区域1112和右侧区域1113中的VR图像的显示区域(换言之,要在图像区域1112a和图像区域1113a中显示的部分)。这是因为,根据主区域1101中的触摸移动来改变裁剪区域,并且VR图像中的裁剪区域与排除区域之间的位置关系改变。
在S1008中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对排除触摸按钮的显示区域的左侧区域1102、右侧区域1103、左侧区域1103和右侧区域1113中的任一个的触及。当进行了针对排除触摸按钮的显示区域的左侧区域1102、右侧区域1103、左侧区域1103和右侧区域1113中的任一个的触及时,CPU 201前进到S1009,否则CPU 201前进到S1023。
在S1009中,CPU 201清除(关闭)并初始化保持在存储器202中并且指示垂直触摸移动或水平触摸移动的移动标志。
在S1010中,基于从触摸面板206a通知的信息,CPU 201确定是否在显示器205的垂直方向上进行了触摸移动。例如,在每当进行单位移动量的触摸移动时垂直方向的移动分量大于水平方向的移动分量的情况下,确定在垂直方向上进行了触摸移动。当在垂直方向上进行了触摸移动时,CPU 201前进到S1011,否则CPU 201前进到S1016。
在S1011中,CPU 201确定是否开启了保持在存储器202中并且指示在水平方向上的触摸移动正在进行中的水平移动标志。当CPU 201确定为水平移动标志被开启时,由于垂直方向上的移动分量将被忽略,因此CPU 201前进到S1016。当CPU 201确定为水平移动标志被关闭时,CPU 201前进到S1012。
在S1012中,CPU 201将指示垂直方向上的触摸移动正在进行中的垂直移动标志设置为开启(在存储器202中记录为开启),并且前进到S1013。
在S1013中,CPU 201确定当前显示模式是否是端部微调画面(端部显示区域)的水平方向显示和垂直方向显示中的水平方向显示。在水平方向显示的情况下,CPU 201前进到S1014,而在垂直方向显示的情况下,CPU 201前进到S1015。
在S1014中,CPU 201沿着裁剪区域的边界更新左侧区域1102和右侧区域1103中的VR图像的显示位置。这意味着,当半球被指定为已映射360度VR图像的球体中的裁剪区域时,显示区域会沿着该半球的圆形裁剪边界移动。因此,VR图像中的裁剪区域与排除区域之间的位置关系没有改变,但是在图像区域1102a中显示的VR图像的区域与在图像区域1103a中显示的VR图像的区域发生了变化。图像区域1102a和图像区域1103a维持这样的关系,使得即使当显示区域改变时,图像区域1102a和图像区域1103a显示具有彼此相差180度的裁剪边界的部分。因此,当用户垂直进行对应于180度的触摸移动时,用户可以确认当前设置的裁剪区域的边界的整个区域。由于在S1014的处理中裁剪区域没有改变,因此主区域1101的显示内容没有改变。
图11(b)示出了从图11(a)所示的状态进行对左侧区域1102的向下触摸移动并且滚动左侧区域1102以便向下移动图像区域1102a中显示的图像部分(向上移动显示区域)的情况的显示示例。显示在左侧区域1102中的部分从图11(a)所示的状态沿裁剪区域的边界移动,其中在VR图像中的水平方向(地平线方向)上的边界部分已经被显示,并且图11(b)示出了在左侧区域1102中显示的天空方向的边界部分。在右侧区域1103中显示的部分是裁剪区域的边界中的与显示在左侧区域1102中的天空方向相对180度的地面方向的图像。
在S1015中,CPU 201根据垂直触摸移动改变在图像区域1112a和图像区域1113a中显示的VR图像的显示区域。这意味着,裁剪区域的边界相对于裁剪前的VR图像的位置根据垂直触摸移动而移动。由于裁剪区域的角度维持在180度,因此无论从左侧区域1112和右侧区域1113的哪个位置进行垂直触摸移动,图像区域1112a和图像区域1113a这两者的显示区域都会改变。例如,当图像区域1112a的显示区域由于边界在使裁剪区域变窄的方向上的移动而发生变化时,图像区域1113a的显示区域也由于边界在使裁剪区域变宽的方向上的移动而发生变化,以维持裁剪区域的角度为180度。因此,裁剪区域发生变化并且主区域1101中显示的区域也发生变化。用户可以通过在边界附近(图像区域1112a和图像区域1113a)确认有多少VR图像将被包括在裁剪区域中以及有多少VR图像将被包括在排除区域中的同时垂直进行触摸移动,来严格调整裁剪区域。在该处理中,裁剪区域的宽度(180度)不变,但是裁剪区域在裁剪前的VR图像中的位置发生变化。
在S1016中,基于从触摸面板206a通知的信息,CPU 201确定是否在显示器205的水平方向上进行了触摸移动。例如,在每当进行单位移动量的触摸移动时水平方向的移动分量大于垂直方向的移动分量的情况下,确定在水平方向上进行了触摸移动。当在水平方向上进行了触摸移动时,CPU 201前进到S1017,否则CPU 201前进到S1022。
在S1017中,CPU 201确定是否开启了保持在存储器202中并且指示垂直方向上的触摸移动正在进行中的垂直移动标志。当CPU 201确定为垂直移动标志被开启时,由于水平方向上的移动分量将被忽略,因此CPU 201前进到S1022。当CPU 201确定为垂直移动标志被关闭时,CPU 201前进到S1018。
在S1018中,CPU 201将指示水平方向上的触摸移动正在进行中的水平移动标志设置为开启(在存储器202中记录为开启),并且前进到S1019。
在S1019中,CPU 201确定当前显示模式是否是端部微调画面(端部显示区域)的水平方向显示和垂直方向显示中的垂直方向显示。在垂直方向显示的情况下,CPU 201前进到S1020,而在水平方向显示的情况下,CPU 201前进到S1021。
在S1020中,CPU 201沿着裁剪区域的边界更新左侧区域1112和右侧区域1113中的VR图像的显示位置。该处理与早先描述的S1014相同。然而,左侧区域1112和右侧区域1113中的VR图像的显示朝向与S1014相差90度。由于在S1020的处理中裁剪区域没有改变,因此主区域1101的显示内容没有改变。
图11(d)示出了从图11(c)所示的状态进行对右侧区域1113的向左触摸移动并且滚动右侧区域1113以便向左移动图像区域1113a中显示的图像部分(在图像区域1113a的朝向上向右移动显示区域)的情况的显示示例。显示在右侧区域1113中的部分从图11(c)所示的状态沿裁剪区域的边界移动,其中在VR图像中的垂直方向(地面方向)下侧的边界部分已经被显示,并且图11(d)示出了在右侧区域1113中显示的水平方向(地平线方向)的边界部分。在左侧区域1112中显示的部分是裁剪区域的边界中的与显示在右侧区域1113中的方向相对180度的水平方向(地平线方向)的图像。
在S1021中,CPU 201根据水平触摸移动来改变在图像区域1102a和图像区域1103a中显示的VR图像的显示区域。这意味着,裁剪区域的边界相对于裁剪前的VR图像的位置根据水平触摸移动而移动。由于裁剪区域的角度维持在180度,因此无论从左侧区域1102和右侧区域1103的哪个位置进行水平触摸移动,图像区域1102a和图像区域1103a这两者的显示区域都会改变。例如,当图像区域1102a的显示区域由于边界在使裁剪区域变窄的方向上的移动而发生变化时,图像区域1103a的显示区域也由于边界在使裁剪区域变宽的方向上的移动而发生变化,以维持裁剪区域的角度为180度。因此,裁剪区域发生变化并且主区域1101中显示的区域也发生变化。用户可以通过在边界附近(图像区域1102a和图像区域1103a)确认有多少VR图像将被包括在裁剪区域中以及有多少VR图像将被包括在排除区域中的同时水平进行触摸移动,来严格调整裁剪区域。在该处理中,裁剪区域的宽度(180度)不变,但是裁剪区域在裁剪前的VR图像中的位置发生变化。
在S1022中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了触摸停止。当进行了触摸停止时,CPU 201前进到S1023,否则CPU 201返回到S1010并重复处理。
在S1023中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对返回按钮1106的触摸操作。当不存在指定返回按钮1106的触摸操作时,CPU 201返回到S1002并重复处理,但是当存在对返回按钮1106的触摸操作时,CPU 201结束端部微调处理。
当端部微调处理结束时,将在端部微调处理中调整的裁剪区域切换至端部微调处理结束之后进行的处理。因此,例如,当在端部微调处理中进行裁剪区域的微调并且结束端部微调处理以返回到图4所示的裁剪编辑处理(裁剪编辑画面)时,通过随后在不改变显示区域的情况下触摸裁剪按钮604,可以在端部微调处理中调整的裁剪区域中进行裁剪。另选地,端部微调画面可以被构造为接受裁剪指令,在这种情况下,CPU 201可以在端部微调画面上接受裁剪指令时直接前进到S426或S427。另外,端部微调画面可以被构造为接受裁剪保存指令,在这种情况下,CPU 201可以在端部微调画面上接受裁剪保存指令时直接进入S535。
图12示出了参照图4中所示的S418早先描述的不必要部分指定处理的流程图。当CPU 201将记录在非易失性存储器203中的程序展开在存储器202上并且执行该程序时实现该处理。
在S1201中,CPU 201在显示器205上显示不必要部分指定画面。图13(a)示出了不必要部分指定画面的显示示例。具有相同附图标记的显示项与之前描述的显示项(裁剪编辑画面和预览画面上的显示项)相同。
指针1301是固定显示到不必要部分指定画面的中心并且用于指定VR图像602中的不必要部分(不必要被摄体的位置、期望被排除的被摄体的位置)的指示符。为了避免与指针603和指针621混淆,以与指针603和指针621不同的显示模式(不同的颜色、形状、图案等)显示指针1301。然而,当存在对在稍后描述的不必要部分指定画面上显示的保存按钮624的触摸操作时,指针1301用作用于指示裁剪区域的中心的指针。不必要部分登记按钮1302是用于指定和登记不必要部分的触摸按钮。当进行指定不必要部分登记按钮1302的触摸操作时,在VR图像602中此时由指针1301指示的位置的位置信息被登记(记录在存储器202中)作为不必要部分。不必要部分信息删除按钮1303是用于删除关于已经登记的不必要部分的信息的触摸按钮。当进行指定不必要部分信息删除按钮1303的触摸操作时,已经登记的不必要部分的一条信息被删除(清除)并且作为不必要部分的登记被取消。裕度设置按钮1304是用于设置源自不必要部分的选择禁用区域的裕度的触摸按钮。结束按钮1305是用于接受结束不必要部分指定处理并返回到裁剪编辑处理的指令的触摸按钮。
由于S1202和S1203包括根据触摸移动改变显示区域的处理并且与图3所示的S305和S306中的处理相同,将省略其细节。即使VR图像602的显示区域因触摸移动而改变,指针1301的显示区域也不会改变。此外,当登记了不必要部分时,如果在改变后的显示区域中包括选择禁用区域,则显示的VR图像中的选择禁用区域被可识别地显示(以增强方式显示)。这将在后面参照图13(b)进行描述。
由于S1204和S1205包括用于根据捏分操作改变显示倍率的处理并且与图3所示的S309和S310中的处理相同,因此将省略其细节。另外,当登记了不必要部分时,如果在改变显示倍率之后显示区域中包括选择禁用区域,则显示的VR图像中的选择禁用区域被可识别地显示。
在S1206中,CPU 201确定是否进行了对不必要部分登记按钮1302的触摸操作。当进行了对不必要部分登记按钮1302的触摸操作时,CPU 201前进到S1207,否则CPU 201前进到S1208。在S1207中,CPU 201采用在VR图像602中由指针1301指示的位置的位置信息(俯仰角的角度信息和方位的角度信息)作为不必要部分,并登记对应的不必要部分信息。作为不必要部分信息,位置信息和登记编号(从1开始并且每次登记不必要部分时加1)被记录在存储器202中。当指针1301指示的位置已经被登记为不必要部分时,CPU 201跳过S1207的处理。
一旦新登记了不必要部分,则CPU 201将以新登记的不必要部分的位置信息为中心的结合了裁剪角度和裕度角度的角度的区域设置为选择禁用区域。由于当裁剪区域的基准位置被设置在选择禁用区域内时,已经登记的不必要部分最终被包括在裁剪区域中,因此选择禁用区域可以被认为是不适合被设置为裁剪区域的基准位置的不当区域。由于当裁剪区域的基准位置被设置在除选择禁用区域之外的区域(选择启用区域)中时不包括已经登记的不必要部分,因此除选择禁用区域之外的区域可以被认为是适合设置裁剪区域的基准位置的适当区域。在本实施例中,裁剪角度为180度。虽然用户可以在稍后描述的S1210和S1211中任意改变裕度角度,但其初始值是10度。当裁剪角度为180度且裕度角度为10度时,以新登记的不必要部分为中心的外围100度(作为裁剪区域180度的一半的90度+10度)的区域(或者换言之,总角度为200度的区域)成为选择禁用区域。当存在已经登记的其他不必要部分并且已经设置了选择禁用区域时,通过将基于新登记的不必要部分所设置的选择禁用区域与设置的选择禁用区域合并而创建的区域被设置为选择禁用区域。当选择禁用区域内的任何位置被设置为裁剪区域的中心时,存在被指定为不必要部分的位置处的被摄体(视频)最终被包括在裁剪区域中的可能性。换言之,选择禁用区域内的各位置是优选不设置为裁剪区域的中心的位置。另外,CPU 201对显示在显示器205上的VR图像602进行可识别的显示,使得设置的选择禁用区域是可识别的。图13(b)示出了选择禁用区域的可识别显示的显示示例。在显示的VR图像602中,通过阴影可识别地显示选择禁用区域1307。应当注意,可识别显示的显示模式不限于此,也代替地可以进行半透明掩模的显示、单色或深褐色的变色显示等。另外,虽然在本实施例中将描述增强和显示选择禁用区域的示例,但由于选择禁用区域仅需要从非选择禁用的区域中可识别,因此代替地可以增强和显示非选择禁用的区域。另选地,在VR图像602中,可以隐藏选择禁用区域中的视频并且可以显示除了选择禁用区域之外的区域中的视频。
在裁剪前的VR图像的整个区域由于在S1207中的不必要部分登记处理中新登记的不必要部分而变成选择禁用区域的情况下,代替登记新的不必要部分,进行错误显示,以指示无法接受附加登记。类似地,当裁剪前的VR图像中的除选择禁用区域之外的区域(选择启用区域)的宽度为阈值以下时,代替登记新的不必要部分,进行错误显示,以指示无法接受附加登记。
将使用图14(a)至图14(g)中的概念图来描述直到设置选择禁用区域的流程。图14(a)所示的区域1450指示VR图像中的显示在显示器205上的区域(显示区域),并且指针方向1451指示从虚拟球体的中心观看时显示区域的中心方向并对应于指针1301所指示的位置。不必要部分候选1452是被用户认为在VR图像中不必要裁剪的部分(要排除的部分)。当存在不必要裁剪的部分时,用户将与显示器205的显示区域的中心相对应的指针方向1451与不必要裁剪的部分1452(被认为不必要裁剪的被摄体)对齐。随后,用户触摸不必要部分登记按钮1302。
图14(b)示出了紧接在一个不必要的部分被触摸和登记之后的概念图。由加网指示的选择禁用区域1453表示与从指针方向1451起的裁剪角度1454(180度)相对应的区域,并且指示在裕度是0度的情况下的选择禁用区域。如图14(c)所示,当选择禁用区域内的位置1455被指定为裁剪中心时,裁剪区域变为图14(d)中所示的轮廓部分1456的区域并且包括不必要部分1452。应当注意,在图14(d)中,涂黑的部分表示排除区域。
当设置裕度角度时,选择禁用区域被设置为比以不必要部分为中心的180度(半球)更宽的区域,诸如图14(e)所示的选择禁用区域1457。另外,如图14(f)所示,在登记了多个不必要部分时(登记了不必要部分1452和不必要部分1458这两个位置的示例),以各不必要部分为中心来计算选择禁用区域,并且通过将所有的选择禁用区域相加而获得的区域为选择禁用区域。
在如上所述设置(确定)的选择禁用区域中,以与图13(b)中所示的选择禁用区域1307类似的方式可识别地显示在显示器205上显示的区域。诸如选择禁用区域1307等的可识别显示不限于不必要部分指定画面,并且也在参照图4描述的裁剪编辑处理的裁剪编辑画面上进行可识别显示。另选地,可以采用如下构造:可以通过用户操作在开启/关闭状态(显示状态/隐藏状态)之间切换选择禁用区域的可识别显示。另外,可以显示选择禁用区域与不是选择禁用区域的区域之间的边界线。此外,当指针603位于裁剪编辑画面上的选择禁用区域中时,可以通过改变指针603的显示模式、显示警告图标或警告消息等,来向用户通知指针603的位置不适合作为裁剪区域的中心指定位置这一事实。
在S1208中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对不必要部分信息删除按钮1303的触摸操作。当进行了指定不必要部分信息删除按钮1303的触摸操作时,CPU 201前进到S1209,否则CPU 201前进到S1210。在S1209中,CPU 201从存储器202获取不必要部分信息。当没有登记不必要部分信息时,CPU 201暂停处理并前进到S1210。当登记了不必要部分信息时,CPU 201移动VR图像602的显示区域,使得登记编号最大的位置信息(最近登记的不必要部分)的角度处于显示的中心,并从存储器202中删除该条不必要部分信息。另外,基于删除的不必要部分的选择禁用区域被清除(取消)。换言之,从合并的选择禁用区域中去除仅基于被删除的不必要部分的选择禁用区域,并且隐藏关于所去除部分的可识别显示(显示为选择启用区域)。当在仅登记一条不必要部分信息的情况下删除不必要部分信息时,消除诸如图13(b)所示的选择禁用区域1307等的阴影部分。
在S1210中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对裕度设置按钮1304的触摸操作。当进行了指定裕度设置按钮1304的触摸操作时,CPU 201前进到S1211,否则CPU 201前进到S1212。在S1211中,CPU 201从存储器202读取裕度设置信息,显示裕度设置对话框,并接受裕度设置操作。图13(c)示出了裕度设置对话框1306的显示示例。可以将裕度设置对话框1306以外的背景区域显示得较暗。CPU 201根据对裕度设置对话框1306的上下箭头标记的触摸操作、垂直方向上的触摸移动操作、以及通过显示数字键盘而进行的数值输入操作,来改变裕度的设置数值。改变后的数值存储在存储器202中。一旦裕度的设置数值改变,则基于登记的不必要部分信息的选择禁用区域的宽度相应地改变了与裕度变化相对应的量。裕度的设置是关于与裁剪区域的大小(在本实施例中为180度)相比、基于一个不必要部分所设置的选择禁用区域的大小要扩展多少的设置。裕度设置信息的数值范围被设置为0至(360-裁剪角度),并且当超过该范围时,数值不发生变化。当触摸裕度设置对话框1306以外的部分时,CPU 201关闭(隐藏)裕度设置对话框1306。
在S1212中,基于从触摸面板206a通知的信息,CPU 201确定是否进行了针对保存按钮624的触摸操作。当进行了指定保存按钮624的触摸操作时,CPU 201前进到S1213,否则CPU 201前进到S1219。
在S1213中,CPU 201确定不必要部分是否被登记在存储器202中。当至少一个不必要部分被登记时,CPU 201前进到S1215,但是当没有不必要部分被登记时,CPU 201前进到S1214。
在S1214中,CPU 201基于在当前显示区域的中心处的方位和俯仰角,或者换言之被采用作为裁剪区域的中心的位置(在不必要部分指定画面的情况下,指针1301指示的位置)来确定裁剪区域,并进行裁剪处理。更具体地,CPU 201从360度VR图像中裁剪以显示区域的中心为中心的180度区域(从中心起的所有方向上的各90度的区域)。此外,CPU 201将裁剪的VR图像作为可以在VR视图中显示的图像文件记录在记录介质208中。裁剪之后的记录处理是与早先描述的S535的处理相同的处理。一旦S1214的处理结束,则CPU 201结束不必要部分指定处理并返回到图3所示的S301。
在S1215中,CPU 201确定当前显示区域的中心,或者换言之被采用作为裁剪区域的中心的位置(在不必要部分指定画面的情况下,由指针1301指示的位置)是否位于选择禁用区域内。在当前显示区域的中心在选择禁用区域内时,CPU 201前进到S1216,否则CPU201前进到S1214。
在S1216中,CPU 201在显示器205上显示如下警告,该警告通知登记的不必要部分将包括在基于触摸保存按钮624的时间点的显示区域的裁剪区域中。图13(d)示出了在S1216中显示的警告的显示示例。对话框1308将OK按钮1309和取消按钮1310与指示“您确认包括不必要部分?”的消息一起显示。通过查看该显示,用户可以识别出:登记的不必要部分将包括在基于进行了对保存按钮624的触摸操作的时间点的显示区域的裁剪区域中。
在S1217中,CPU 201确定是否进行了对OK按钮1309的触摸操作。当进行了对OK按钮1309的触摸操作时,CPU 201进入S1214。换言之,由于用户已经确认不必要部分将包括在裁剪区域中,因此在包括不必要部分的裁剪区域中进行裁剪并保存裁剪的VR图像。当尚未进行针对OK按钮1309的触摸操作时,CPU 201前进到S1218。
在S1218中,CPU 201确定是否进行了针对取消按钮1310的触摸操作。当尚未进行针对取消按钮1310的触摸操作时,CPU 201返回到S1217。当进行了针对取消按钮1310的触摸操作时,CPU 201隐藏对话框1308并返回到S1202以重复处理,而不进行基于触摸了保存按钮624的时间点的显示区域的裁剪区域的裁剪和保存。
根据S1215至S1218的处理,可以防止用户无意中在选择禁用区域内指定裁剪区域的中心。应当注意,当指针在选择禁用区域内时,可以忽略(禁用)裁剪和保存指令而不显示警告(换言之,不进行S1216至S1218的处理)。另选地,可以只显示警告而不接受OK或取消的选择并且不进行裁剪和保存。
应当注意,除了参照图13(a)描述的各种显示项之外,还可以显示跳转按钮。另外,当指针1301在选择禁用区域内时,VR图像602的显示区域可以改变,使得根据对跳转按钮的触摸操作(不伴随触摸位置的移动的触摸操作)而将指针1301定位于选择禁用区域之外。
另外,代替参照图13(a)描述的不必要部分登记按钮1302,或者除此之外,可以显示必要部分登记按钮。根据对必要部分登记按钮的触摸操作,此时由指针1301指示的VR图像602的位置被记录(登记)在存储器202中作为必要位置的位置信息。此外,CPU 201计算除通过从以必要部分的位置信息为中心的裁剪角度减去裕度角度而获得的角度区域之外的区域,作为选择禁用区域。在概念图方面,当如图14(g)所示指定必要部分1459时,除裁剪角度(例如,180度)-裕度角度(例如,10度)的区域之外的区域被设置为选择禁用区域,诸如选择禁用区域1460。当存在多个不必要部分和必要部分时,组合了基于所有指定位置(登记位置)而分别计算的所有选择禁用区域的区域被设置为选择禁用区域。
在S1219中,CPU 201确定是否进行了对结束按钮1305的触摸操作。当不存在指定结束按钮1305的触摸操作时,CPU 201返回到S1202并重复处理,但是当存在对结束按钮1305的触摸操作时,CPU 201结束不必要部分指定处理并前进到图4中的S419。
将参照图15(a)至图15(d)和图16(a)至图16(c)描述在参考S502描述的俯仰角启用的情况下的裁剪处理和在参考S503描述的俯仰角禁用的情况下的裁剪处理。
图15(a)示出了在显示器205上的裁剪编辑画面的显示示例(换言之,裁剪区域指定之前的显示示例)。假设基准方向(显示开始方向)是0度的方位(例如,北)和0度的俯仰角(垂直于天顶轴或重力方向轴的方向,水平方向)。图15(a)表示当在裁剪编辑画面上将方位设置为0度并将俯仰角设置为大约60度时的VR图像602的显示示例。换言之,在比水平方向更向上(在天空侧)的方向上显示指示显示区域的中心的指针603。应当注意,图15(a)表示如下情况的显示示例:上述俯仰角的启用/禁用设置被禁用,并且俯仰角启用/禁用按钮613处于指示俯仰角的设置被禁用的显示模式。
图16(a)是示意性地表示在映射了360度VR图像的虚拟球体上的图15(a)中的显示区域的图。球体上的位置可以通过以观看者的观看位置1601作为中心,绕天顶轴1602的360度的方位和绕垂直于天顶轴1602的水平轴的360度俯仰角来识别。裁剪前的360度VR图像被映射到整个球体上,并且整个球体成为有效视图区域1603。图16(a)表示如下示例:视线方向1605指向从观看者的角度看向北方(换言之,方位为0度)的天空中的被摄体1604。换言之,显示区域1607被设置在使得显示区域1607的中心与视线方向1605交叉的位置。应当注意,图16(a)至图16(c)中的显示区域以变形方式示出并且比图15(a)至图15(d)中的显示区域窄。然而,使用与图15(a)至图15(d)中示出的显示区域的中心相同的基准来示出图16(a)至图16(c)中的显示区域的中心。因此,显示区域1607的中心是图15(a)所示的指针603指示的位置,并且成为裁剪指定位置1606。
当在俯仰角被禁用并且显示区域被设置为图15(a)和图16(a)所示的区域的情况下使用裁剪按钮604进行用于指定裁剪区域的操作时,通过S503的处理进行裁剪处理,从而得到图15(b)所示的显示区域。图15(b)表示紧接在从图15(a)所示的状态进行裁剪按钮604的触摸操作并且设置裁剪区域之后的预览画面的显示示例。显示区域的俯仰角为水平方向(俯仰角为0度),这与裁剪前的60度的俯仰角不同,并且指针621也显示在俯仰角为0度的位置。图15(b)所示的显示区域的方位是0度(北),这与裁剪前的图15(a)中的相同。由于方位与裁剪前相同,因此假设已经将90度的方位(东)设置为裁剪前的显示区域,则紧随其后的预览画面的显示区域和裁剪区域的中心也为90度的方位(东)。
图16(b)是示意性地表示在映射了360度VR图像的虚拟球体上的图15(b)所示的状态下的裁剪区域的图。球体右侧的轮廓半球表示裁剪区域1611(有效视图区域),其为裁剪后的180度VR图像。对侧的半球是要从裁剪后的VR图像中排除并丢弃的排除区域1612(无效视图区域)。裁剪区域1611是以中心位置1613为中心的半球状区域。中心位置1613是具有由裁剪指定位置1606指示的0度方位、以及与裁剪指定位置1606无关的0度俯仰角(水平)的位置。裁剪区域1611的中心位置1613和基于紧接在进行用于指定裁剪区域的操作之前的视线方向1605或显示区域1607的裁剪指定位置1606彼此不一致并且具有不同的俯仰角(如图所示),这是因为俯仰角被设置为禁用。裁剪区域1611的裁剪表面1610平行于天顶轴1602。
当在俯仰角被启用并且显示区域被设置为图15(c)和图16(a)所示的区域的情况下使用裁剪按钮604进行用于指定裁剪区域的操作时,通过S502的处理进行裁剪处理,从而得到图15(d)所示的显示区域。假设图15(c)中的显示区域与图15(a)中的显示区域相同。图15(c)与图15(a)不同之处仅在于俯仰角启用/禁用的设置,并且在图15(c)中,俯仰角启用/禁用按钮613的显示方式是指示设置为启用俯仰角的显示模式。图15(d)表示紧接在从图15(c)所示的状态进行裁剪按钮604的触摸操作并且设置裁剪区域之后的预览画面的显示示例。显示区域的俯仰角与裁剪前一样为60度,并且指针621也显示在俯仰角为60度的位置。图15(d)中所示的显示区域的方位是0度(北),这与裁剪前的图15(c)中的相同。
图16(c)是示意性地表示在映射了360度VR图像的虚拟球体上的图15(d)所示的状态下的显示区域和裁剪区域的图。球体右上侧的轮廓半球表示裁剪区域1611(有效视图区域),其为裁剪后的180度VR图像。对侧的半球为要从裁剪后的VR图像中排除并丢弃的排除区域1612(无效视图区域)。裁剪区域1611的中心位置1613在方位和俯仰角两者方面与裁剪指定位置1606一致。这是因为俯仰角被设置为启用。
在根据本实施例的VR图像的裁剪中,俯仰角启用/禁用的初始设置为禁用,并且在诸如图16(b)所示的裁剪区域中进行裁剪。利用该裁剪区域,由于有效视图区域从正上方(仰角90度)延伸到正下方(俯角90度),因此使用HMD观看的观看者可以通过仅改变面部的朝向(通过旋转头部)而容易地全景观看裁剪后的整个VR图像。在假设如图16(c)所示有效视图区域超出正上方并延伸到后侧的情况下,观看者必须将头部朝向超出正上方的后侧,以便观看超出正上方的后侧等。为此,观看者必须进行身体负担相对较大的身体移动,诸如拱起躯干、扭转上身、改变站立方向并向后看等,而不是简单地转动头部。换言之,在通过根据朝向变化改变显示区域来全景观看裁剪之后的VR图像是相对需要体力的。相比之下,通过与指定裁剪区域时的显示区域的俯仰角无关地诸如图16(b)所示裁剪以水平方向为中心的区域,可以生成减少这种身体负担并且可以舒适地全景观看的VR图像。另外,由于人的眼睛被定位成使得在面向前方时可以看到水平方向的前方,因此采用视野(换言之,裁剪区域)中心的俯仰角作为水平方向甚至在人体结构方面减少了不适感。
此外,在根据本实施例的VR图像的裁剪中,当俯仰角启用/禁用设置被设置为启用时,在诸如图16(c)所示的裁剪区域中进行裁剪。根据被摄体的内容,该裁剪区域是优选的,因为可以在排除不必要的地面部分的同时全景观看整个星空,或者可以在裁剪后的VR图像中全景观看从天花板观看的房间内的宽阔区域。
对用户来说,很难根据俯仰角启用/禁用设置的变化来想象和理解是在图16(b)所示的裁剪区域1611中还是在图16(c)所示的裁剪区域1611中进行裁剪。因此,为了便于用户理解,优选使用示意图来提供示出不同的俯仰角启用/禁用设置如何导致不同的裁剪区域的引导显示。
图17(a)示出了在显示器205上的裁剪区域的引导显示的显示示例。例如,当俯仰角启用/禁用按钮613被触摸并且俯仰角设置从禁用切换到启用时(图4中的S422,图5中的S521),在规定时间(例如,5秒)内显示图17(a)中所示的引导对话框1700。在对话框1700上显示指示裁剪前的示意图的图形1701、指示裁剪后的示意图的图形1702、以及消息1704。图形1701是使用球体的示意图的引导,并且在裁剪之前,表示在将0度俯仰角上方的位置指定为球体上的裁剪指定位置(箭头指示的位置)的情况下的示意图。图形1702是使用指示当俯仰角设置为启用时的裁剪区域的球体的示意图的引导,并且在裁剪之后,指示要裁剪基于裁剪指定位置的俯仰角的半球。消息1704指示裁剪区域的俯仰角设置已设置为启用。应当注意,代替图形1701,可以显示图17(b)中所示的图形1703,其指示当俯仰角设置被设置为启用时的裁剪区域。
图17(b)示出了在显示器205上的裁剪区域的引导显示的显示示例。例如,当俯仰角启用/禁用按钮613被触摸并且俯仰角设置从启用切换到禁用时(图4中的S421,图5中的S520),在规定时间(例如,5秒)内显示图17(b)中所示的引导对话框1700。在对话框1700上显示指示裁剪前的示意图的图形1701、指示裁剪后的示意图的图形1703、以及消息1705。图形1701是使用球体的示意图的引导,并且在裁剪之前,表示在将0度俯仰角上方的位置指定为裁剪指定位置(箭头指示的位置)的情况下的示意图,并且图形1701与图17(a)所示的图形1701相同。图形1703是使用指示当俯仰角设置为禁用时的裁剪区域的球体的示意图的引导,并且指示在裁剪之后与裁剪指定位置的俯仰角无关地要裁剪通过垂直划分球体而获得的半球(中心为水平方向的半球)。消息1705指示裁剪区域的俯仰角设置已设置为禁用。应当注意,代替图形1701,可以显示图17(a)中所示的图形1702,其指示当俯仰角设置被设置为禁用时的裁剪区域。
诸如图17(a)和图17(b)中所示的引导不限于切换俯仰角设置的情况,并且可以在电子手册等中显示与俯仰角设置相关的描述时显示。另外,作为表示设置状态的信息(诸如俯仰角启用/禁用按钮613),可以显示诸如图17(a)和图17(b)所示的引导。此外,代替显示指示裁剪前的图形1701,可以显示指示裁剪后的图形(俯仰角禁用时的图形1702和俯仰角启用时的图形1703)。
虽然在上述实施例中描述了根据由成像装置拍摄的VR图像生成具有较窄区域的VR图像的示例,但是原始VR图像不限于由成像装置拍摄的VR图像。本发明也适用于根据由计算机图形(CG)等创建的VR内容来裁剪和生成较窄的VR内容的情况。
另外,上述各种流程图的处理不一定需要组合进行,各处理可以单独进行,并且上述流程图的一部分可以与其他实施例组合采用。例如,可以进行上述的整个半球显示、双屏显示处理、端部微调处理等中的各个,作为用于单独指定裁剪区域的处理,而无需与图4所示的用于通过指定裁剪区域的中心的方法来指定裁剪区域的裁剪编辑处理相结合。换言之,例如,当CPU 201在图3所示的S311中确定为进行了针对裁剪编辑按钮的触摸操作时,可以直接转变到参照图7(a)和图7(b)描述的整个半球显示,以使得能够指定裁剪区域。可以采用如下构造:可以通过直接转变到参照图8和图9描述的双屏显示处理或参照图10和图11描述的端部微调处理来指定裁剪区域。
根据上述本发明,可以根据VR内容,以良好的可操作性来生成基于用户指定裁剪区域的操作的具有较窄区域的VR内容。
应当注意,以上描述为由CPU 201进行的控制的各种控制可以由一个硬件执行,或者多个硬件(例如,多个处理器或电路)可以通过共享处理控制整个装置。
此外,虽然本发明已经基于其优选实施例进行了详细描述,但是应当理解,本发明不限于具体实施例,并且不构成背离本发明的范围的各种模式也包括在本发明中。此外,上述实施例仅表示本发明的示例,并且实施例还可以与其他实施例相结合。
此外,虽然在上述实施例中已经描述了将本发明应用于电子设备200(智能电话等)的示例,但是本发明不限于该示例。本发明可以应用于能够进行控制以显示用于从VR内容中裁剪具有较窄区域的VR内容的操作画面的任何电子设备。例如,本发明可以应用于个人计算机、PDA、移动电话终端、移动图像查看器、打印机装置、数字相框、音乐播放器、游戏设备、电子书阅读器、视频播放器等。本发明还可以应用于数字相机、电视装置、投影装置、平板终端、AI扬声器、家用电器、车载装置、医疗设备等。
根据上述实施例,公开了以下构造。具体地,
(A1)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上,将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
接受单元,其被构造为在所述VR内容正在所述第一画面上显示期间,接受来自用户的裁剪指令;以及
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于接受所述裁剪指令时的显示区域的位置。
(A2)
根据(A1)所述的电子设备,其中,
所述第二视图区域比开始显示所述第一画面时的所述显示区域中所包括的区域宽。
(A3)
根据(A1)或(A2)所述的电子设备,其中,
所述显示控制单元在接受所述裁剪指令之后进行控制,使得在第二画面上,将所述VR内容的一部分的区域作为显示区域显示在所述显示器上,根据所述显示器的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置,并且当所述显示区域开始包括所述第二视图区域的外部时进行指示非视图区域的显示。
(A4)
根据(A1)至(A3)中的任一项所述的电子设备,所述电子设备还包括:
记录单元,其被构造为生成并记录存储所述生成单元生成的编辑的VR内容的文件。
(A5)
根据(A4)所述的电子设备,其中,
所述记录单元生成存储基于所述第二视图区域的多个图像的一个静止图像文件。
(A6)
根据(A5)所述的电子设备,其中,
在所述静止图像文件的文件名的扩展名之前描述字符串“.vr”。
(A7)
根据(A4)至(A6)中的任一项所述的电子设备,其中,
所述记录单元生成布置有基于所述第二视图区域的多个运动图像的一个运动图像文件。
(A8)
根据(A7)所述的电子设备,其中,
在所述运动图像文件的文件名的扩展名之前描述字符串“.vr”。
(A9)
根据(A1)至(A8)中的任一项所述的电子设备,其中,
所述显示控制单元进行控制,使得在所述第一画面上,将指示所述第二视图区域的中心位置的项目与所述显示区域无关地显示在预定位置。
(A10)
根据(A9)所述的电子设备,其中,
所述显示控制单元在接受所述裁剪指令之后进行控制,使得在所述第二画面上,将所述VR内容的一部分的区域作为显示区域显示在所述显示器上,显示指示所述第二视图区域的中心位置的项目,根据所述显示器的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置,并且根据所述显示区域的位置变化来改变所述项目的位置。
(A11)
根据(A10)所述的电子设备,其中,
所述显示控制单元进行控制,以将所述项目以第一显示模式显示在所述第一画面上,并将所述项目以不同于所述第一显示模式的第二显示模式显示在所述第二画面上。
(A12)
根据(A1)至(A11)中的任一项所述的电子设备,其中,
所述显示控制单元进行控制,以将指示所述第一视图区域的引导显示在所述第一画面上,并在接受所述裁剪指令之后,将指示所述第二视图区域的引导显示在所述第二画面上。
(A13)
根据(A1)至(A12)中的任一项所述的电子设备,其中,
所述第二视图区域基于所述显示区域中显示的方向的方位,而不基于所述显示区域中显示的方向的俯仰角。
(A14)
根据(A1)至(A12)中的任一项所述的电子设备,其中,
所述第二视图区域基于所述显示区域中显示的方向的方位和俯仰角。
(A15)
根据(A1)至(A12)中的任一项所述的电子设备,所述电子设备还包括:
切换单元,其被构造为根据来自用户的切换指令,将所述第二视图区域在如下的两个视图区域之间切换:基于所述显示区域中显示的方向的方位、而不基于所述显示区域中显示的方向的俯仰角的视图区域;以及基于所述显示区域中显示的方向的方位和俯仰角的视图区域。
(A16)
根据(A15)所述的电子设备,其中,
默认的第二视图区域基于所述显示区域中显示的方向的方位,而不基于所述显示区域中显示的方向的俯仰角。
(A17)
根据(A1)至(A16)中的任一项所述的电子设备,所述电子设备还包括:
设置单元,其被构造为根据来自用户的方向指定指令,来设置所述编辑的VR内容中的要初始显示的显示区域的位置。
(A18)
根据(A1)至(A17)中的任一项所述的电子设备,其中,
所述显示控制单元根据来自用户的微调指令进行控制,以将所述第二视图区域的边界显示在用于微调所述第二视图区域的第三画面上。
(A19)
根据(A1)至(A18)中的任一项所述的电子设备,其中,
所述显示控制单元根据来自用户的倍率改变指令进行控制,以通过改变为使得能够显示整个所述第二视图区域的显示倍率来显示所述VR内容。
(A20)
一种电子设备的控制方法,所述控制方法包括:
进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
在所述VR内容正在所述第一画面上显示期间,接受来自用户的裁剪指令;以及
生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于接受所述裁剪指令时的所述显示区域的位置。
(A21)
一种程序,用于使计算机用作根据A(1)至A(19)中的任一项所述的电子设备的各单元。
(A22)
一种计算机可读介质,其存储使计算机用作根据A(1)至A(19)中的任一项所述的电子设备的各单元的程序。
日本特开2016-19249号公报公开了如下技术:裁剪全方位图像(VR内容)以去除包括拍摄者的部分、或扩展以拍摄者面向的一侧(拍摄者的视线方向)为中心的全方位图像(VR内容)。然而,没有考虑从全方位图像(VR内容)中裁剪具有较窄区域的VR内容。考虑到这些问题,根据上述实施例,为了提供使得能够以良好的操作性根据VR内容生成具有较窄区域的VR内容的技术,还公开了以下构造。具体地,
(B1)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置,并且在第二画面上将所述VR内容中的具有比所述第一视图区域窄的第二视图区域的第一图像和所述第一视图区域中的具有所述第二视图区域外部的区域的第二图像并排显示;
生成单元,其被构造为生成包括所述第二视图区域的编辑的VR内容;以及
改变单元,其被构造为根据在所述第一图像和所述第二图像正在所述第二画面上显示的状态下的用户的视图区域改变操作来改变所述第二视图区域。
(B2)
根据(B1)所述的电子设备,其中,
所述第一图像是所述第二视图区域完全纳入的图像,以及
所述第二图像是所述第二视图区域外部的区域完全纳入的图像。
(B3)
根据(B1)或(B2)所述的电子设备,其中,
所述第一图像和所述第二图像是失真的圆形图像。
(B4)
根据(B1)至(B3)中的任一项所述的电子设备,其中,
所述第二视图区域比开始显示所述第一画面时的所述显示区域中包括的区域宽。
(B5)
根据(B1)至(B4)中的任一项所述的电子设备,其中,
所述显示控制单元进行控制,使得在所述第二画面上,在通过放大或缩小所述第一图像和所述第二图像中的一个图像来显示所述一个图像的情况下,所述第一图像和所述第二图像中的另一个图像以不被放大和缩小的方式来显示。
(B6)
根据(B1)至(B5)中的任一项所述的电子设备,其中,
所述显示控制单元进行控制,使得在所述第二画面上,将所述第二图像以所述第二图像能够被识别为所述第二视图区域外部的区域的图像的方式来显示。
(B7)
根据(B1)至(B6)中的任一项所述的电子设备,所述电子设备还包括:
记录单元,其被构造为生成并记录存储由所述生成单元生成的所述编辑的VR内容的文件。
(B8)
根据(B7)所述的电子设备,其中,
所述记录单元生成存储基于所述第二视图区域的多个图像的一个静止图像文件。
(B9)
根据(B8)所述的电子设备,其中,
在所述静止图像文件的文件名的扩展名之前描述字符串“.vr”。
(B10)
根据(B7)至(B9)中的任一项所述的电子设备,其中,
所述记录单元生成布置有基于所述第二视图区域的多个运动图像的一个运动图像文件。
(B11)
根据(B10)所述的电子设备,其中,
在所述运动图像文件的文件名的扩展名之前描述字符串“.vr”。
(B12)
一种电子设备的控制方法,所述控制方法包括:
进行控制,使得在第一画面上,将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置,并且在第二画面上,将所述VR内容中的具有比所述第一视图区域窄的第二视图区域的第一图像和所述第一视图区域中的具有所述第二视图区域外部的区域的第二图像并排显示;
生成包括所述第二视图区域的编辑的VR内容;以及
根据在所述第一图像和所述第二图像正在所述第二画面上显示的状态下的用户的视图区域改变操作来改变所述第二视图区域。
(B13)
一种程序,用于使计算机用作根据(B1)至(B11)中的任一项所述的电子设备的各单元。
(B14)
一种计算机可读介质,其存储用于使计算机用作根据(B1)至(B11)中的任一项所述的电子设备的各单元的程序。
在传统技术中,当进行用于从VR内容中裁剪具有较窄区域的VR内容的操作时,难以确认在裁剪后的VR内容的视频的区域的边缘包括裁剪前的VR内容的哪个区域。考虑到这些问题,根据上述实施例,为了提供使得能够在根据VR内容生成具有较窄区域的VR内容时更加容易地确认要裁剪的VR内容的视频的区域的技术,还公开了以下构造。具体地,
(C1)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄;以及
控制单元,其被构造为进行控制,以在第二画面上显示所述VR内容中的比所述生成单元生成的所述第二视图区域窄并且包括所述第二视图区域的边缘的部分的区域,使得能够识别所述边缘,并且根据在正在显示包括所述边缘的部分的区域的状态下的用户操作改变所述VR内容中的所述第二视图区域的位置。
(C2)
根据(C1)所述的电子设备,其中,
在包括所述边缘的部分的区域正在所述第二画面上显示的情况下,所述控制单元进行控制,以即使在根据用户操作改变所述VR内容中的所述第二视图区域的位置的情况下,也不改变与所述第二视图区域的所述边缘相对应的所述显示器中的位置。
(C3)
根据(C1)或(C2)所述的电子设备,其中,
所述控制单元进行控制,使得在所述第二画面上显示包括所述第二视图区域的边缘的多个不同位置中的各个位置的多个部分的区域,使得能够识别相应的边缘。
(C4)
根据(C3)所述的电子设备,其中,
所述多个不同位置是所述第二视图区域的边缘之间的相互不连续的位置。
(C5)
根据(C4)所述的电子设备,其中,
所述多个不同位置包括所述第二视图区域的边缘之间的、观察所述VR内容的方向彼此相差180度的多个位置。
(C6)
根据(C1)至(C5)中的任一项所述的电子设备,其中,
所述控制单元根据在包括所述边缘的部分的区域正在所述第二画面上显示的状态下的用户操作进行控制,以改变所述VR内容中的所述生成单元生成的所述第二视图区域的位置,而不改变所述第二视图区域的尺寸。
(C7)
根据(C1)至(C6)中的任一项所述的电子设备,其中,
所述第二视图区域比开始显示所述第一画面时的所述显示区域宽。
(C8)
根据(C1)至(C7)中的任一项所述的电子设备,其中,
所述控制单元进行控制以:
根据用户对所述第二画面上的包括所述边缘的部分的区域的显示区域在第一方向上的移动操作,来改变所述VR内容中的所述第二视图区域的位置,以及
根据用户对所述显示区域在垂直于所述第一方向的第二方向上的移动操作,来改变所述显示区域中显示的包括所述第二视图区域的边缘的部分的区域的位置,而不改变所述VR内容中的所述第二视图区域的位置。
(C9)
根据(C1)至(C8)中的任一项所述的电子设备,其中,
所述控制单元能够在所述第二画面上显示包括所述边缘的部分的区域时,在与所述第二视图区域的边缘相对应的位置的垂直显示与水平显示之间切换。
(C10)
根据(C9)所述的电子设备,其中,
所述控制单元进行控制,使得:
在与所述第二视图区域的边缘相对应的位置正垂直显示在所述第二画面上的情况下,根据来自用户的重置显示位置的指令,将要在所述第二视图区域中显示的部分的区域重置为包括对应于水平方向的边缘的部分的区域,以及
在与所述第二视图区域的边缘相对应的位置正水平显示在所述第二画面上的情况下,根据来自用户的重置显示位置的指令,将要在所述第二视图区域中显示的部分的区域重置为包括对应于垂直方向的边缘的部分的区域。
(C11)
根据(C9)或(C10)所述的电子设备,其中,
所述控制单元进行控制,使得:
在与所述第二视图区域的边缘相对应的位置正垂直显示在所述第二画面上的情况下,在显示区域被垂直划分的第一区域和第二区域中,将包括所述第二视图区域的边缘的部分区域显示在与指示所述第二视图区域外部的所述第一区域相邻的所述第二区域中,
在与所述第二视图区域的边缘相对应的位置正水平显示在所述第二画面上的情况下,在显示区域被水平划分的第三区域和第四区域中,将包括所述第二视图区域的边缘的部分区域显示在与指示所述第二视图区域外部的所述第三区域相邻的所述第四区域中,以及
在所述第一区域和所述第三区域不彼此重叠的部分中不显示用于接受来自用户的操作的显示项的情况下,将所述显示项显示在所述第一区域和所述第三区域彼此重叠的部分中。
(C12)
根据(C1)至(C11)中的任一项所述的电子设备,所述电子设备还包括:
记录单元,其被构造为生成并记录存储由所述生成单元生成的所述编辑的VR内容的文件。
(C13)
根据(C12)所述的电子设备,其中,
所述记录单元生成存储基于所述第二视图区域的多个图像的一个静止图像文件。
(C14)
根据(C13)所述的电子设备,其中,
在所述静止图像文件的文件名的扩展名之前描述字符串“.vr”。
(C15)
根据(C12)至(C14)中的任一项所述的电子设备,其中,
所述记录单元生成布置有基于所述第二视图区域的多个运动图像的一个运动图像文件。
(C16)
根据(C15)所述的电子设备,其中,
在所述运动图像文件的文件名的扩展名之前描述字符串“.vr”。
(C17)
一种电子设备的控制方法,所述控制方法包括:
显示控制步骤,用于进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
生成步骤,用于生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄;以及
控制步骤,用于进行控制,以在第二画面上显示所述VR内容中的比所述生成步骤中生成的所述第二视图区域窄并且包括所述第二视图区域的边缘的部分的区域,使得能够识别所述边缘,并且根据在正在显示包括所述边缘的部分的区域的状态下的用户操作改变所述VR内容中的所述第二视图区域的位置。
(C18)
一种程序,用于使计算机用作根据(C1)至(C16)中的任一项所述的电子设备的各单元。
(C19)
一种计算机可读介质,其存储用于使计算机用作根据(C1)至(C16)中的任一项所述的电子设备的各单元的程序。
根据上述实施例,还公开了以下构造。具体地,
(D1)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作,来改变与针对所述VR内容的所述显示区域的位置相对应的方位和俯仰角;以及
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于对应于所述显示区域的方位,而与对应于所述显示区域的俯仰角无关。
(D2)
根据(D1)所述的电子设备,其中,
所述生成单元生成包括所述第二视图区域的编辑的VR内容,所述第二视图区域基于对应于水平方向的俯仰角,而与对应于所述显示区域的俯仰角无关,并且基于对应于所述显示区域的方位。
(D3)
根据(D1)或(D2)所述的电子设备,其中,
基于对应于所述显示区域的方位的所述第二视图区域是既不跨天顶也不跨天底的区域,而与对应于所述显示区域的俯仰角无关。
(D4)
根据(D1)至(D3)中的任一项所述的电子设备,所述电子设备还包括:
设置单元,其被构造为设置是启用还是禁用俯仰角,其中,
在所述设置单元禁用俯仰角的情况下,所述生成单元生成包括与对应于所述显示区域的俯仰角无关的第二视图区域的编辑的VR内容,以及
在所述设置单元启用俯仰角的情况下,所述生成单元生成包括基于对应于所述显示区域的俯仰角和方位的第二视图区域的编辑的VR内容。
(D5)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作,来改变与针对所述VR内容的所述显示区域的位置相对应的方位和俯仰角;以及
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于与用户进行的用于指定区域的操作相对应的方位、以及对应于水平方向的俯仰角。
(D6)
根据(D5)所述的电子设备,其中,
基于与用于指定区域的操作相对应的方位、以及对应于水平方向的俯仰角的所述第二视图区域是既不跨天顶也不跨天底的区域。
(D7)
根据(D5)或(D6)所述的电子设备,所述电子设备还包括:
设置单元,其被构造为设置是启用还是禁用俯仰角,其中,
在所述设置单元禁用俯仰角的情况下,所述生成单元生成包括与对应于用于指定区域的操作的俯仰角无关的第二视图区域的编辑的VR内容,以及
在所述设置单元启用俯仰角的情况下,所述生成单元生成包括基于对应于用于指定区域的操作的俯仰角和方位的第二视图区域的编辑的VR内容。
(D8)
根据(D4)或(D7)所述的电子设备,其中,
通过用户的切换指令来切换由所述设置单元进行的设置,并且在接受所述切换指令之前的初始设置为禁用设置。
(D9)
根据(D1)至(D8)中的任一项所述的电子设备,其中,
所述显示控制单元控制所述VR内容中的所述第二视图区域,以显示引导,所述引导使用表示球体的图形进行引导。
(D10)
根据(D1)至(D9)中的任一项所述的电子设备,所述电子设备还包括:
记录单元,其被构造为生成并记录存储由所述生成单元生成的所述编辑的VR内容的文件。
(D11)
根据(D10)所述的电子设备,其中,
所述记录单元生成存储基于所述第二视图区域的多个图像的一个静止图像文件。
(D12)
根据(D11)所述的电子设备,其中,
在所述静止图像文件的文件名的扩展名之前描述字符串“.vr”。
(D13)
根据(D10)至(D12)中的任一项所述的电子设备,其中,
所述记录单元生成布置有基于所述第二视图区域的多个运动图像的一个运动图像文件。
(D14)
根据(D13)所述的电子设备,其中,
在所述运动图像文件的文件名的扩展名之前描述字符串“.vr”。
(D15)
一种电子设备的控制方法,所述控制方法包括:
显示控制步骤,用于进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作,来改变与针对所述VR内容的所述显示区域的位置相对应的方位和俯仰角;以及
生成步骤,用于生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于对应于所述显示区域的方位,而与对应于所述显示区域的俯仰角无关。
(D16)
一种电子设备的控制方法,所述控制方法包括:
显示控制步骤,用于进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作,来改变与针对所述VR内容的所述显示区域的位置相对应的方位和俯仰角;以及
生成步骤,用于生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于与用户进行的用于指定区域的操作相对应的方位、以及对应于水平方向的俯仰角。
(D17)
一种程序,用于使计算机用作根据(D1)至(D14)中的任一项所述的电子设备的各单元。
(D18)
一种计算机可读介质,其存储用于使计算机用作根据(D1)至(D14)中的任一项所述的电子设备的各单元的程序。
根据上述实施例,还公开了以下构造。具体地,
(E1)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上,将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
接受单元,其被构造为接受来自用户的裁剪指令;
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄;以及
控制单元,其被构造为进行控制,以显示第二画面,所述第二画面将比所述VR内容中的所述一部分的区域宽并且包括整个所述第二视图区域的区域显示在一个画面内,使得能够识别所述第二视图区域的范围。
(E2)
根据(E1)所述的电子设备,其中,
所述控制单元进行控制,使得在所述第二画面上,在接受所述裁剪指令之前,显示包括所述VR内容中的整个所述第二视图区域并且比所述第二视图区域宽的区域,并且进行使得能够识别所述第二视图区域的范围的可识别显示。
(E3)
根据(E2)所述的电子设备,其中,
所述可识别显示是指示所述第二视图区域边界的显示和使得能够识别所述第二视图区域外部的区域的显示中的至少一个。
(E4)
根据(E2)或(E3)所述的电子设备,其中,
所述控制单元进行控制,使得在所述第二画面上,在接受所述裁剪指令之后隐藏所述VR内容中的所述第二视图区域的外部。
(E5)
根据(E1)至(E4)中的任一项所述的电子设备,其中,
所述控制单元在正在显示所述第二画面的状态下进行控制,以根据用户操作来改变所述VR内容中的所述第二视图区域的位置。
(E6)
根据(E1)至(E5)中的任一项所述的电子设备,其中,
所述第二画面是以比所述第一画面上的显示倍率低的预定显示倍率显示所述VR内容的画面。
(E7)
根据(E6)所述的电子设备,其中,
所述控制单元在正在以第一显示倍率在所述第一画面上显示VR图像的状态下进行控制,以根据第一用户操作以涉及至少为三个步骤的多个步骤的逐级的方式,来降低所述VR内容的显示倍率,以及
所述控制单元在正在以第一显示倍率在所述第一画面上显示VR图像的状态下进行控制,以根据不同于所述第一用户操作的第二用户操作来切换到所述第二画面。
(E8)
根据(E7)所述的电子设备,其中,
所述控制单元在正在显示所述第二画面的状态下进行控制,以根据所述第二用户操作切换到所述第一画面并以切换到所述第二画面之前的显示倍率来显示所述VR内容。
(E9)
根据(E7)或(E8)所述的电子设备,其中,
所述第一显示倍率是开始显示所述第一画面时的显示倍率。
(E10)
根据(E1)至(E9)中的任一项所述的电子设备,所述电子设备还包括:
记录单元,其被构造为生成并记录存储所述生成单元生成的所述编辑的VR内容的文件。
(E11)
根据(E10)所述的电子设备,其中,
所述记录单元生成存储基于所述第二视图区域的多个图像的一个静止图像文件。
(E12)
根据(E11)所述的电子设备,其中,
在所述静止图像文件的文件名的扩展名之前描述字符串“.vr”。
(E13)
根据(E10)至(E12)中的任一项所述的电子设备,其中,
所述记录单元生成布置有基于所述第二视图区域的多个运动图像的一个运动图像文件。
(E14)
根据(E13)所述的电子设备,其中,
在所述运动图像文件的文件名的扩展名之前描述字符串“.vr”。
(E15)
根据(E1)至(E14)中的任一项所述的电子设备,其中,
所述控制单元进行控制,使得在所述第二画面上,将指示所述第二视图区域的中心位置的项目与所述VR内容中的所述第二视图区域的位置无关地显示在画面上的预定位置处。
(E16)
一种电子设备的控制方法,所述控制方法包括:
显示控制步骤,用于进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
接受步骤,用于接受来自用户的裁剪指令;
生成步骤,用于生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄;以及
控制步骤,用于进行控制,以显示第二画面,所述第二画面将比所述VR内容中的所述一部分的区域宽并且包括整个所述第二视图区域的区域显示在一个画面内,使得能够识别所述第二视图区域的范围。
(E17)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄;以及
控制单元,其被构造为进行控制,以显示所述VR内容中的包括所述生成单元生成的所述第二视图区域的边缘的部分的区域,使得能够识别所述边缘,并且根据在正在显示包括所述边缘的部分的区域的状态下的用户操作来改变所述VR内容中的所述第二视图区域的位置。
(E18)
一种电子设备的控制方法,所述控制方法包括:
显示控制步骤,用于进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
生成步骤,用于生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄;以及
控制步骤,用于进行控制,以显示所述VR内容中的包括所述生成步骤中生成的所述第二视图区域的边缘的部分的区域,使得能够识别所述边缘,并且根据在正在显示包括所述边缘的部分的区域的状态下的用户操作来改变所述VR内容中的所述第二视图区域的位置。
(E19)
一种程序,用于使计算机用作根据(E1)至(E15)和(E17)中的任一项所述的电子设备的各单元。
(E20)
一种计算机可读介质,其存储用于使计算机用作根据(E1)至(E15)和(E17)中的任一项所述的电子设备的各单元的程序。
在传统技术中,当从VR内容中裁剪具有较窄区域的VR内容时,难以设置裁剪区域以排除期望从裁剪后的VR内容中排除的视频。考虑到这些问题,根据上述实施例,为了提供使得能够以良好的操作性根据VR内容生成具有较窄区域的VR内容的技术,还公开了以下构造。具体地,
(F1)
一种电子设备,其包括:
显示控制单元,其被构造为进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
接受单元,其被构造为接受用于指定所述VR内容中的基准位置的指定操作;
生成单元,其被构造为生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于通过所述指定操作指定的所述基准位置;
登记单元,其被构造为,根据用户操作来登记所述VR内容中的不必要部分,所述不必要部分是所述编辑的VR内容中不包括的部分;以及
控制单元,其被构造为进行控制,以在接受所述指定操作之前,以可识别的方式显示所述VR内容中的第一区域或所述VR内容中的第二区域,所述第一区域在被指定为所述基准位置时能够使所述登记单元登记的所述不必要部分包括在所述编辑的VR内容中,所述第二区域在被指定为所述基准位置时不会使所述登记单元登记的所述不必要部分包括在所述编辑的VR内容中。
(F2)
根据(F1)所述的电子设备,其中,
所述控制单元进行控制,以采用使用所述登记单元登记的所述不必要部分作为基准的、具有至少为所述第二视图区域的尺寸的预定尺寸的区域,作为所述第一区域。
(F3)
根据(F2)所述的电子设备,所述电子设备还包括:
裕度设置单元,其被构造为根据用户操作来设置所述预定尺寸比所述第二视图区域的尺寸宽多少。
(F4)
根据(F2)或(F3)所述的电子设备,其中,
所述登记单元能够登记多个不必要部分,以及
所述控制单元进行控制,以采用合并具有所述预定尺寸的多个区域的区域作为所述第一区域,所述多个区域使用所述登记单元登记的所述多个不必要部分中的各个不必要部分作为基准。
(F5)
根据(F4)所述的电子设备,其中,
当所述第二区域的尺寸小于阈值时,所述登记单元不新登记所述不必要部分。
(F6)
根据(F4)或(F5)所述的电子设备,其中,
所述显示控制单元进行控制,以在所述第二区域的尺寸小于阈值时,进行指示无法进行所述不必要部分的附加登记的错误显示。
(F7)
根据(F1)至(F6)中的任一项所述的电子设备,其中,
所述显示控制单元进行控制,以在所述第一画面上,通过将用于指定所述基准位置的指示符叠加在所述VR内容上,来显示所述指示符,并且根据所述指示符位于所述第一区域中还是所述指示符位于所述第二区域中,来区分所述指示符的显示模式。
(F8)
根据(F7)所述的电子设备,其中,
所述指示符显示在所述第一画面上的特定位置,而与所述VR内容的哪个位置构成了所述显示区域无关,以及
所述显示控制单元进行控制,使得当所述指示符位于所述第一区域内时,改变所述显示区域,使得根据不伴随触摸位置的移动的触摸操作,将所述指示符定位在所述第一区域的外部。
(F9)
根据(F1)至(F8)中的任一项所述的电子设备,其中,
所述控制单元进行控制,以在进行将所述第一区域的内部指定为基准位置的指定操作时,显示警告,所述警告是指所述不必要部分包括在所述编辑的VR内容中。
(F10)
根据(F1)至(F9)中的任一项所述的电子设备,其中,
当所述基准位置在所述第一区域内时,所述生成单元不生成所述编辑的VR内容。
(F11)
根据(F1)至(F10)中的任一项所述的电子设备,所述电子设备还包括:
记录单元,其被构造为生成并记录存储所述生成单元生成的所述编辑的VR内容的文件。
(F12)
根据(F11)所述的电子设备,其中,
所述记录单元生成存储基于所述第二视图区域的多个图像的一个静止图像文件。
(F13)
根据(F12)所述的电子设备,其中,
在所述静止图像文件的文件名的扩展名之前描述字符串“.vr”。
(F14)
根据(F11)至(F13)中的任一项所述的电子设备,其中,
所述记录单元生成布置有基于所述第二视图区域的多个运动图像的一个运动图像文件。
(F15)
根据(F14)所述的电子设备,其中,
在所述运动图像文件的文件名的扩展名之前描述字符串“.vr”。
(F16)
一种电子设备的控制方法,所述控制方法包括:
显示控制步骤,用于进行控制,使得在第一画面上将具有第一视图区域的VR内容的一部分的区域作为显示区域显示在显示器上,并且根据所述电子设备的朝向变化或用户的显示区域改变操作来改变所述显示区域的位置;
接受步骤,用于接受用于指定所述VR内容中的基准位置的指定操作;
生成步骤,用于生成包括第二视图区域的编辑的VR内容,所述第二视图区域比所述VR内容中的所述第一视图区域窄并且基于通过所述指定操作指定的所述基准位置;
登记步骤,用于根据用户操作来登记所述VR内容中的不必要部分,所述不必要部分是所述编辑的VR内容中不包括的部分;以及
控制步骤,用于进行控制,以在接受所述指定操作之前,以可识别的方式显示所述VR内容中的第一区域或所述VR内容中的第二区域,所述第一区域在被指定为所述基准位置时能够使所述登记步骤中登记的所述不必要部分包括在所述编辑的VR内容中,所述第二区域在被指定为所述基准位置时不会使所述登记步骤中登记的所述不必要部分包括在所述编辑的VR内容中。
(F17)
一种程序,用于使计算机用作根据(F1)至(F15)中的任一项所述的电子设备的各单元。
(F18)
一种计算机可读介质,其存储用于使计算机用作根据(F1)至(F15)中的任一项所述的电子设备的各单元的程序。
(其他实施例)
本发明还可以通过将实现上述实施例的至少一个功能的程序经由网络或存储介质提供给系统或装置、并使系统或装置的计算机中的一个或多个处理器读取并执行该程序来实现。另选地,本发明还可以通过实现一个或多个功能的电路(例如,ASIC)来实现。
本发明不限于上述实施例,并且可以在不脱离本发明的精神和范围的情况下进行各种改变和变型。因此,为了使公众获知本发明的范围,做出所附权利要求书。
本申请要求2018年12月28日提交的日本专利申请第2018-248311号、2018年12月28日提交的日本专利申请第2018-247844号、2018年12月28日提交的日本专利申请第2018-247843号、2018年12月28日提交的日本专利申请第2018-248329号、2018年12月28日提交的日本专利申请第2018-247845号以及2018年12月28日提交的日本专利申请第2018-247842号的优先权,这些申请的全部内容通过引用并入本文。
附图标记列表
200 电子设备
201 CPU
204 图像处理单元
206a 触摸面板

Claims (11)

1.一种电子设备,其包括:
控制单元,其被构造为进行控制,以将被映射到虚拟球体的全方位图像的部分显示在画面上并根据所述电子设备的朝向变化或根据接受用户操作来改变所述全方位图像要被显示在所述画面上的所述部分;
接受单元,其被构造为在所述全方位图像的所述部分在所述画面上被显示期间接受来自用户的裁剪指令;
确定单元,其被构造为在接受所述裁剪指令的情况下将显示在所述画面的预定位置处的所述全方位图像的所述部分的位置确定为基准位置;以及
生成单元,其被构造为通过基于所述基准位置裁剪所述全方位图像来生成被映射到虚拟球体的裁剪图像,
其中,所述裁剪图像的视角比所述全方位图像的视角窄并且比所述全方位图像的显示在所述画面上的所述部分的视角宽。
2.根据权利要求1所述的电子设备,其中,
所述生成单元生成包括所述裁剪图像的文件。
3.根据权利要求1所述的电子设备,其中,
所述控制单元进行控制,以在所述画面上的所述预定位置处固定地显示项目。
4.根据权利要求1所述的电子设备,其中,
所述生成单元在水平方向上而不在俯仰方向上通过基于所述基准位置裁剪所述全方位图像来生成所述裁剪图像。
5.根据权利要求1所述的电子设备,其中,
所述生成单元在水平方向和俯仰方向上通过基于所述基准位置裁剪所述全方位图像来生成所述裁剪图像。
6.根据权利要求1所述的电子设备,其中,
所述全方位图像的视角为360度,并且所述裁剪图像的视角为180度。
7.根据权利要求1所述的电子设备,其中,
所述全方位图像和所述裁剪图像为VR图像。
8.根据权利要求1所述的电子设备,其中,
所述画面的所述预定位置是所述画面的中心位置。
9.根据权利要求1所述的电子设备,其中,
所述基准位置是所述裁剪图像的中心位置。
10.根据权利要求1所述的电子设备,其中,
所述控制单元进行控制,以在倍率根据用户操作而被降低的情况下通过使所显示的所述全方位图像的所述部分变宽,以及在倍率根据用户操作而被提高的情况下通过使所显示的所述全方位图像的所述部分变窄,来在所述画面上显示所述全方位图像的所述部分。
11.一种电子设备的控制方法,所述控制方法包括:
进行控制,以将被映射到虚拟球体的全方位图像的部分显示在画面上并根据所述电子设备的朝向变化或根据接受用户操作来改变所述全方位图像要被显示在所述画面上的所述部分;
在所述全方位图像的所述部分在所述画面上被显示期间接受来自用户的裁剪指令;
在接受所述裁剪指令的情况下,将显示在所述画面的预定位置处的所述全方位图像的所述部分的位置确定为基准位置;以及
通过基于所述基准位置裁剪所述全方位图像来生成被映射到虚拟球体的裁剪图像,
其中,所述裁剪图像的视角比所述全方位图像的视角窄并且比所述全方位图像的显示在所述画面上的所述部分的视角宽。
CN201980086832.0A 2018-12-28 2019-12-25 电子设备及其控制方法 Active CN113260917B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
JP2018-247844 2018-12-28
JP2018247842A JP7327938B2 (ja) 2018-12-28 2018-12-28 電子機器およびその制御方法およびプログラムおよび記憶媒体
JP2018247845A JP7313822B2 (ja) 2018-12-28 2018-12-28 電子機器、その制御方法、プログラム及び記憶媒体
JP2018-247842 2018-12-28
JP2018248329A JP7208002B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
JP2018-248329 2018-12-28
JP2018-247843 2018-12-28
JP2018-248311 2018-12-28
JP2018-247845 2018-12-28
JP2018247844A JP7214475B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
JP2018247843A JP7204482B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
JP2018248311A JP7278774B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
PCT/JP2019/050758 WO2020138140A1 (ja) 2018-12-28 2019-12-25 電子機器、電子機器の制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
CN113260917A CN113260917A (zh) 2021-08-13
CN113260917B true CN113260917B (zh) 2022-12-16

Family

ID=71121882

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980086832.0A Active CN113260917B (zh) 2018-12-28 2019-12-25 电子设备及其控制方法
CN201911364896.0A Active CN111385669B (zh) 2018-12-28 2019-12-26 电子装置、控制方法和计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911364896.0A Active CN111385669B (zh) 2018-12-28 2019-12-26 电子装置、控制方法和计算机可读介质

Country Status (6)

Country Link
US (2) US11683464B2 (zh)
EP (1) EP3904955A4 (zh)
KR (1) KR102549787B1 (zh)
CN (2) CN113260917B (zh)
BR (1) BR112021012648A2 (zh)
WO (1) WO2020138140A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822482B2 (ja) 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体
JP7307568B2 (ja) * 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
BR112022001434A2 (pt) * 2019-07-28 2022-06-07 Google Llc Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas
CN113012182B (zh) * 2021-04-25 2023-03-28 歌尔光学科技有限公司 偏移状态测试方法、测试设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223416A (ja) * 2004-02-03 2005-08-18 Sony Corp 画像処理システム、画像処理装置および画像処理方法、並びにプログラム
CN105393530A (zh) * 2013-05-21 2016-03-09 三星电子株式会社 用于显示全景照片的缩略图图像的设备、方法及计算机可读记录介质
CN108780228A (zh) * 2016-01-19 2018-11-09 奇跃公司 利用映像的增强现实系统和方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056574A1 (en) 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
KR100613752B1 (ko) 2004-03-11 2006-08-22 경북대학교 산학협력단 파노라마 영상의 스트리밍 방법
JP4854539B2 (ja) * 2007-02-21 2012-01-18 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP2012029180A (ja) 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
JP5589644B2 (ja) * 2010-07-27 2014-09-17 日本精機株式会社 周辺画像表示装置及びその表示方法
KR101252071B1 (ko) 2010-09-16 2013-04-12 이영우 파이프 고정 장치
JP5686244B2 (ja) 2010-12-21 2015-03-18 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
KR101784176B1 (ko) 2011-05-25 2017-10-12 삼성전자주식회사 영상 촬영 장치 및 그 제어방법
US9001255B2 (en) * 2011-09-30 2015-04-07 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
JP5966341B2 (ja) 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP6108176B2 (ja) 2012-01-31 2017-04-05 パナソニックIpマネジメント株式会社 画像処理装置及び画像処理方法
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
JP2014007653A (ja) 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
US20140267589A1 (en) * 2013-03-14 2014-09-18 Dai Nippon Printing Co., Ltd. Free viewpoint video display apparatus
KR101578600B1 (ko) * 2013-03-22 2015-12-17 가시오게산키 가부시키가이샤 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP6306845B2 (ja) * 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
JP6281933B2 (ja) * 2013-09-13 2018-02-21 株式会社ドッドウエル ビー・エム・エス 映像表示機器及び映像表示方法
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
JP2016019249A (ja) 2014-07-11 2016-02-01 キヤノン株式会社 表示制御装置
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
JP5987931B2 (ja) 2015-02-09 2016-09-07 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
US9942294B1 (en) * 2015-03-30 2018-04-10 Western Digital Technologies, Inc. Symmetric and continuous media stream from multiple sources
JP6335395B2 (ja) * 2015-09-30 2018-05-30 富士フイルム株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
CN107621917A (zh) 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种在虚拟现实图像中实现放大展示的方法及装置
KR102542515B1 (ko) * 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR20180017944A (ko) 2016-08-11 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102525575B1 (ko) 2016-08-12 2023-04-25 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10845942B2 (en) 2016-08-31 2020-11-24 Sony Corporation Information processing device and information processing method
KR20180060236A (ko) * 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN106774862B (zh) 2016-12-03 2020-07-31 学能通(山东)智能设备有限公司 基于视线的vr显示方法及vr设备
CN108537721B (zh) 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
JP7005161B2 (ja) 2017-04-04 2022-02-04 キヤノン株式会社 電子機器及びその制御方法
CN108040288B (zh) * 2017-12-20 2019-02-22 北京达佳互联信息技术有限公司 视频编辑方法、装置及智能移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223416A (ja) * 2004-02-03 2005-08-18 Sony Corp 画像処理システム、画像処理装置および画像処理方法、並びにプログラム
CN105393530A (zh) * 2013-05-21 2016-03-09 三星电子株式会社 用于显示全景照片的缩略图图像的设备、方法及计算机可读记录介质
CN108780228A (zh) * 2016-01-19 2018-11-09 奇跃公司 利用映像的增强现实系统和方法

Also Published As

Publication number Publication date
KR20210100170A (ko) 2021-08-13
US20200213575A1 (en) 2020-07-02
US20210321048A1 (en) 2021-10-14
US11683464B2 (en) 2023-06-20
EP3904955A1 (en) 2021-11-03
CN113260917A (zh) 2021-08-13
KR102549787B1 (ko) 2023-06-30
EP3904955A4 (en) 2023-01-18
US11553170B2 (en) 2023-01-10
BR112021012648A2 (pt) 2021-09-08
CN111385669B (zh) 2023-08-01
CN111385669A (zh) 2020-07-07
WO2020138140A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
CN113260917B (zh) 电子设备及其控制方法
EP3591499B1 (en) Electronic device, control method for electronic device, program, and computer readable medium
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP7267764B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2021174317A (ja) 電子機器及びその制御方法
JP2020095436A (ja) 電子機器及びその制御方法
JP7313822B2 (ja) 電子機器、その制御方法、プログラム及び記憶媒体
JP7278774B2 (ja) 電子機器及びその制御方法
JP7208002B2 (ja) 電子機器及びその制御方法
JP7204482B2 (ja) 電子機器及びその制御方法
JP7327938B2 (ja) 電子機器およびその制御方法およびプログラムおよび記憶媒体
JP7214475B2 (ja) 電子機器及びその制御方法
EP3621025B1 (en) Image processing apparatus, image processing method, program, and computer readable medium
JP2020129340A (ja) 電子機器、電子機器の制御方法、プログラム
US11558599B2 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium
JP7336200B2 (ja) 電子機器及びその制御方法
GB2617673A (en) Electronic device, method for controlling electronic device, and program
CN118075440A (zh) 电子装置及其控制方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant