CN111385669A - 电子装置、控制方法和计算机可读介质 - Google Patents

电子装置、控制方法和计算机可读介质 Download PDF

Info

Publication number
CN111385669A
CN111385669A CN201911364896.0A CN201911364896A CN111385669A CN 111385669 A CN111385669 A CN 111385669A CN 201911364896 A CN201911364896 A CN 201911364896A CN 111385669 A CN111385669 A CN 111385669A
Authority
CN
China
Prior art keywords
range
image
display
cpu201
clipping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911364896.0A
Other languages
English (en)
Other versions
CN111385669B (zh
Inventor
芝上玄志郎
上田清登
吉见崇
村上新
小川诚司
小熊浩太郎
北矢光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018248329A external-priority patent/JP7208002B2/ja
Priority claimed from JP2018247845A external-priority patent/JP7313822B2/ja
Priority claimed from JP2018247842A external-priority patent/JP7327938B2/ja
Priority claimed from JP2018248311A external-priority patent/JP7278774B2/ja
Priority claimed from JP2018247844A external-priority patent/JP7214475B2/ja
Priority claimed from JP2018247843A external-priority patent/JP7204482B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111385669A publication Critical patent/CN111385669A/zh
Application granted granted Critical
Publication of CN111385669B publication Critical patent/CN111385669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Abstract

本发明涉及一种电子装置、控制方法和计算机可读介质。在根据本发明的电子装置中:在第一画面上,将具有第一视频范围的VR内容的一部分的范围作为显示范围来显示,并且根据电子装置的朝向变化或显示范围改变操作来改变显示范围,以及在第二画面上,并排显示具有比第一视频范围窄的第二视频范围的第一图像和具有第一视频范围中的位于第二视频范围外部的范围的第二图像;生成包括第二视频范围的已编辑VR内容;以及根据第一图像和第二图像正显示在第二画面上的状态下的视频范围改变操作来改变第二视频范围。

Description

电子装置、控制方法和计算机可读介质
技术领域
本发明涉及电子装置、电子装置的控制方法和计算机可读介质,特别是涉及用于显示具有宽范围视频的图像的控制方法。
背景技术
近年来,能够拍摄包含具有比人类视场角(viewing angle)更宽的范围的视频的图像(诸如全向图像或全天球图像等)的摄像设备越来越普遍。还已知有如下的方法:通过将包含这样的宽范围视频的图像的一部分显示在显示器上、并且改变要显示在显示器上的视频的范围(显示范围)以跟随电子装置的朝向的变化,来进行具有高沉浸感或高真实感的显示(VR视图)。
在全向图像的拍摄中,诸如拍摄者他/她自己等的不需要的被摄体经常无意中出现在所拍摄到的图像中。由于该原因,提供使得用户能够通过仅裁剪所需部分或去除不需要部分来显示图像的功能对于能够再现全向图像的电子装置是有用的。
日本特开2016-19249公开了如下技术:裁剪全向图像以去除包括拍摄者的部分,或者以拍摄者所面向的一侧(拍摄者的眼睛方向)为中心展开全向图像。
尽管日本特开2016-19249公开了用于进行裁剪以从全向图像(VR内容)中去除包括拍摄者的部分的方法,但没有考虑从全向图像(VR内容)生成具有更窄范围的VR内容。
发明内容
考虑到这一点,本发明提供使得能够从VR内容以良好的可操作性生成具有更窄范围的VR内容的技术。
根据本发明的电子装置包括:显示控制单元,其被配置为进行控制,使得:在第一画面上,将具有第一视频范围的VR内容的一部分的范围作为显示范围显示在显示器上,并且根据所述电子装置的朝向变化或用户所进行的显示范围改变操作来改变所述显示范围的位置,以及在第二画面上,并排显示具有所述VR内容中的比所述第一视频范围窄的第二视频范围的第一图像和具有所述第一视频范围中的位于所述第二视频范围外部的范围的第二图像;生成单元,其被配置为生成包括所述第二视频范围的已编辑VR内容;以及改变单元,其被配置为根据用户在所述第一图像和所述第二图像正显示在所述第二画面上的状态下所进行的视频范围改变操作,来改变所述第二视频范围。
一种电子装置的控制方法,包括:进行控制,使得:在第一画面上,将具有第一视频范围的VR内容的一部分的范围作为显示范围显示在显示器上,并且根据所述电子装置的朝向变化或用户所进行的显示范围改变操作来改变所述显示范围的位置,以及在第二画面上,并排显示具有所述VR内容中的比所述第一视频范围窄的第二视频范围的第一图像和具有所述第一视频范围中的位于所述第二视频范围外部的范围的第二图像;生成包括所述第二视频范围的已编辑VR内容;以及根据用户在所述第一图像和所述第二图像正显示在所述第二画面上的状态下所进行的视频范围改变操作,来改变所述第二视频范围。
一种存储有程序的计算机可读介质,所述程序使得计算机执行上述的电子装置的控制方法。
通过以下参考附图对典型实施例的说明,本发明的更多特征将变得明显。
附图说明
图1A和1B是数字照相机的外观图,并且图1C是数字照相机的框图;
图2A是电子装置的外观图,图2B是电子装置的框图,并且图2C是VR护目镜的外观图;
图3是VR视图显示的流程图;
图4是裁剪编辑处理的流程图;
图5是裁剪预览处理的流程图;
图6A表示VR视图显示的示例,图6B~图6D表示裁剪编辑画面的示例,并且图6E~图6G表示预览画面的示例;
图7A和图7B表示整个半球显示的示例;
图8是双画面显示处理的流程图;
图9A和图9B表示双画面显示的示例;
图10是端部微调处理的流程图;
图11A~图11D表示端部微调画面的示例;
图12是不需要部分指定处理的流程图;
图13A~图13D表示不需要部分指定画面的示例;
图14A~图14G是示出直到设置选择无效范围为止的流程的示例的示意图;
图15A和图15C表示裁剪编辑画面的示例,并且图15B和图15D表示预览画面的示例;
图16A~图16C是示出在仰/俯角的有效和无效之间的裁剪的差异的示例的示意图;
图17A和图17B表示裁剪范围的引导显示的示例;以及
图18A~图18D表示用以显示VR图像的各种方式的示例。
具体实施方式
以下将参考附图来说明本发明的优选实施例。图1A是数字照相机100(摄像设备)的正面立体图(外观图)。图1B是数字照相机100的背面立体图(外观图)。数字照相机100是全向照相机(全天球照相机)。
挡板102a是具有数字照相机100的前方作为拍摄范围的前置照相机部所用的保护窗。前置照相机部是例如具有数字照相机100的前侧的垂直角度和水平角度至少为180度的宽范围作为拍摄范围的广角照相机部。挡板102b是具有数字照相机100的后方作为拍摄范围的后置照相机部所用的保护窗。后置照相机部是例如具有数字照相机100的后侧的垂直角度和水平角度至少为180度的宽范围作为拍摄范围的广角照相机部。
显示单元28显示各种类型的信息。快门按钮61是用于发出拍摄指示的操作单元(操作构件)。模式转换开关60是用于在各种模式之间切换的操作单元。连接I/F 25是用于将连接线缆连接至数字照相机100的连接器,并且使用该连接线缆,诸如智能电话、个人计算机和电视机等的外部装置连接至数字照相机100。操作单元70是指用于接收来自用户的各种类型的操作的各种开关、按钮、拨盘或触摸传感器等。电源开关72是用于将电源切换成接通和断开的推式按钮。
发光单元21是诸如发光二极管(LED)等的发光构件,并且通过发光图案或发光颜色等向用户通知数字照相机100的各种状态。固定单元40例如是用于利用诸如三脚架等的固定工具来固定和安装数字照相机100的三脚架螺纹孔。
图1C是示出数字照相机100的结构示例的框图。
挡板102a覆盖前置照相机部的摄像系统(拍摄透镜103a、快门101a和摄像单元22a等),以防止摄像系统被弄脏或损坏。拍摄透镜103a是指包括变焦透镜和调焦透镜的透镜组,并且是广角透镜。快门101a是具有用于调整向摄像单元22a的被摄体光的入射量的光圈功能的快门。摄像单元22a是由用于将光学图像转换成电气信号的诸如CCD或CMOS等的器件构成的摄像元件(图像传感器)。A/D转换器23a将从摄像单元22a输出的模拟信号转换成数字信号。可选地,在未设置挡板102a的情况下,拍摄透镜103a的外侧面可以露出,并且可以防止摄像系统的其它部分(快门101a和摄像单元22a)被拍摄透镜103a弄脏或损坏。
挡板102b覆盖后置照相机部的摄像系统(拍摄透镜103b、快门101b和摄像单元22b等),以防止摄像系统被弄脏或损坏。拍摄透镜103b是指包括变焦透镜和调焦透镜的透镜组,并且是广角透镜。快门101b是具有用于调整向摄像单元22b的被摄体光的入射量的光圈功能的快门。摄像单元22b是由用于将光学图像转换成电气信号的诸如CCD或CMOS等的器件构成的摄像元件。A/D转换器23b将从摄像单元22b输出的模拟信号转换成数字信号。可选地,在未设置挡板102b的情况下,拍摄透镜103b的外侧面可以露出,并且可以防止摄像系统的其它部分(快门101b和摄像单元22b)被拍摄透镜103b弄脏或损坏。
利用摄像单元22a和摄像单元22b拍摄VR(虚拟现实)图像。假定VR图像是可以进行VR显示(以“VR视图”显示模式的显示)的图像。假定VR图像包括全向照相机(全天球照相机)所拍摄到的全向图像(全天球图像)、以及具有比在显示单元上可以一次显示的显示范围更宽的视频范围(更宽的有效视频范围)的全景图像。VR图像除包括静止图像之外,还包括运动图像和实时取景图像(从照相机近似实时地获取到的图像)。VR图像具有与在垂直方向(垂直角度、从天顶起的角度、仰角、俯角、高度角或俯仰角)上为360度且在水平方向(水平角度、方位角度或横摆角)上为360度的视场相对应的最大视频范围(最大有效视频范围)。
另外,假定VR图像包括如下的图像:即使在这些图像的视场在垂直方向上小于360度且在水平方向上小于360度的情况下,这些图像也具有比通常照相机可以拍摄的视角(angle of view)更宽的视角(更宽的视场范围)、或者具有比在显示单元上可以一次显示的显示范围更宽的视频范围(更宽的有效视频范围)。例如,全天球照相机所拍摄到的图像是一种VR图像,该全天球照相机能够拍摄与在水平方向上(水平角度或方位角度)为360度且在以天顶为中心的垂直方向上为210度的视场(视角)相对应的被摄体。另外,例如,如下的照相机所拍摄到的图像是一种VR图像,该照相机能够拍摄与在水平方向上(水平角度或方位角度)至少为180度且在以水平方向为中心的垂直方向上至少为180度的视场(视角)相对应的被摄体。换句话说,如下的图像是一种VR图像,该图像具有与在垂直方向和水平方向这两者上都至少为160度(±80度)的视场相对应的视频范围、并且具有比人类一次可以从视觉上识别的范围宽的视频范围。
通过进行VR图像的VR显示(以“VR视图”显示模式的显示),沿水平转动方向改变显示设备(用于显示VR图像的显示设备)的朝向使得能够观看在水平方向(水平转动方向)无缝的全向视频。在垂直方向(垂直转动方向)上,尽管可以在相对于正上方(天顶)的±105度的范围内观看无缝的全向视频,但从正上方起超过105度的范围成为不存在视频的空白区域。VR图像可被描述为“视频范围是虚拟空间(VR空间)的至少一部分的图像”。
VR显示(VR视图)是指如下的显示方法(显示模式),该显示方法(显示模式)显示VR图像中的与显示设备的朝向相对应的视场范围的视频,并且在该显示方法(显示模式)中,可以改变显示范围。在穿戴并观看作为显示设备的头戴式显示器(HMD)的情况下,要显示与用户的头部的朝向相对应的视场范围的视频。例如,假定正显示VR图像中的在某个时间点处具有以水平方向上的0度(诸如北等的特定朝向)且垂直方向上的90度(从天顶起的90度、或者换句话说水平)为中心的视场角(视角)的视频。在显示设备的朝向的前后从该状态反转时(例如,在显示面所面向的方向从南改变为北时),显示范围改变为同一VR图像中的具有以水平方向上的180度(诸如南等的相反朝向)且垂直方向上的90度(水平)为中心的视场角的视频。这意味着,在用户正在观看HMD的情况下,在用户将他/她的头部从朝北转向朝南时(换句话说,在用户转身时),HMD上所显示的视频也从北的视频改变为南的视频。这种VR显示使得能够向用户提供仿佛用户从视觉上存在于VR图像的内部(VR空间的内部)的感觉(沉浸感)。安装至VR护目镜(头戴式适配器)的智能电话可被视为是一种HMD。
应当注意,VR图像的显示方法不限于上述的方法。可以采用如下的配置:代替朝向变化,根据针对触摸面板或方向按钮等的用户操作而使显示范围移动(滚动)。可以采用如下的配置:在VR显示期间(在“VR视图”显示模式时),除了根据朝向变化来改变显示范围之外,还可以根据针对触摸面板的触摸移动、针对鼠标等的拖动操作、或者方向按钮的按下等来改变显示范围。
图像处理单元24针对来自A/D转换器23a或A/D转换器23b的数据或者来自存储器控制单元15的数据进行诸如像素插值或缩小等的规定的调整大小处理或规定的颜色转换处理。另外,图像处理单元24使用所拍摄到的图像的图像数据来进行规定的计算处理。系统控制单元50基于图像处理单元24所获得的计算结果来进行曝光控制和测距控制。因而,进行TTL(通过镜头)方式的AF(自动调焦)处理、AE(自动曝光)处理和EF(闪光之前的预备发光)处理等。图像处理单元24还使用所拍摄到的图像的图像数据来进行规定的计算处理,并且基于所获得的计算结果来进行TTL方式的AWB(自动白平衡)处理。另外,图像处理单元24对从A/D转换器23a和A/D转换器23b获得的两个图像(两个鱼眼图像、两个广角图像)进行基本图像处理,并且进行将进行了基本图像处理的两个图像合成的图像连结处理以生成单个VR图像。此外,图像处理单元24在实时取景中的VR显示期间或者在再现期间进行用于实现VR图像的VR显示的图像裁剪处理、扩大处理或失真校正等,并且进行将处理结果绘制在存储器32的VRAM上的绘制。
在图像连结处理中,图像处理单元24使用两个图像中的一个图像作为基准图像并使用另一图像作为比较图像,通过图案匹配处理来针对各区域计算基准图像和比较图像之间的偏差量,并且基于各区域的偏差量来检测两个图像要连结的连结位置。图像处理单元24考虑到所检测到的连结位置和各光学系统的镜头特性,通过几何转换来校正各图像的失真,并且将各图像转换成全天球格式(全天球图像格式)的图像。另外,通过合成(混合)全天球格式的两个图像,图像处理单元24生成单个全天球图像(单个VR图像)。所生成的全天球图像是例如使用等距圆柱投影的图像,并且该全天球图像中的各像素的位置可以与球体(VR空间)的表面上的坐标相关联。
来自A/D转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15、或者在不涉及图像处理单元24的情况下经由存储器控制单元15被写入存储器32。存储器32存储由摄像单元22a和22b获得并由A/D转换器23a和23b转换成数字数据的图像数据、以及要从连接I/F 25输出至外部显示器的图像数据。存储器32具有足以存储规定数量的静止图像以及规定时间的运动图像和音频的存储容量。
另外,存储器32还兼用作图像显示所用的存储器(视频存储器)。存储器32中所存储的图像显示所用的数据可以从连接I/F 25输出至外部显示器。通过将由摄像单元22a和22b拍摄到、由图像处理单元24生成并累积在存储器32中的VR图像顺次传送至外部显示器并将这些VR图像显示在外部显示器上,可以实现作为电子取景器的功能并且可以进行实时取景显示(LV显示)。在下文,将在实时取景显示中显示的图像称为实时取景图像(LV图像)。另外,实时取景显示(远程LV显示)也可以通过将存储器32中所累积的VR图像传送至经由通信单元54无线连接的外部装置(智能电话等)并且使该外部装置显示这些VR图像来进行。
非易失性存储器56是作为电可擦除且可记录的记录介质的存储器,并且例如是EEPROM。系统控制单元50的操作所需的常数和程序等记录在非易失性存储器56中。在这种情况下,程序是指用于执行各种处理的计算机程序。
系统控制单元50是由至少一个处理器或一个电路构成的控制单元,并且控制整个数字照相机100。系统控制单元50通过执行前面所述的非易失性存储器56中所记录的程序来实现各个处理。系统存储器52例如是RAM,并且将系统控制单元50的操作所用的常数和变量、以及从非易失性存储器56读取的程序等展开到系统存储器52上。另外,系统控制单元50还通过控制存储器32、图像处理单元24和存储器控制单元15等来进行显示控制。系统计时器53是用于测量各种控制中所使用的时间并且用于根据内部时钟来测量时间的时间测量单元。
使用模式转换开关60、快门按钮61、操作单元70和电源开关72以向系统控制单元50输入各种操作指示。
模式转换开关60将系统控制单元50的操作模式切换到静止图像记录模式、运动图像拍摄模式、再现模式和通信连接模式等中的任何模式。静止图像记录模式中所包括的模式是自动拍摄模式、自动场景判断模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式。其它可用的模式包括构成针对不同拍摄场景的拍摄设置的各种场景模式、以及自定义模式。使用模式转换开关60,用户可以直接切换到这些模式中的任何模式。可选地,在使用模式转换开关60暂时切换到拍摄模式列表画面之后,可以使用另一操作构件来选择性地切换到显示单元28上正显示的多个模式中的任何模式。以相同的方式,运动图像拍摄模式也可以包括多个模式。
快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62在快门按钮61的操作期间通过所谓的半按下(拍摄准备指示)而接通,并且生成第一快门开关信号SW1。根据第一快门开关信号SW1,系统控制单元50开始涉及AF(自动调焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理和EF(闪光之前的预备发光)处理等的拍摄准备操作。第二快门开关64在快门按钮61的操作完成时通过所谓的全按下(拍摄指示)而接通,并且生成第二快门开关信号SW2。根据第二快门开关信号SW2,系统控制单元50开始从读取来自摄像单元22a和22b的信号起直到将图像数据写入记录介质90为止的一系列拍摄处理操作。
应当注意,快门按钮61不限于能够进行全按下和半按下这两级的操作的操作构件,并且可以是仅能够进行一级按下的操作构件。在这种情况下,通过一级按下连续地进行拍摄准备操作和拍摄处理。这是与全按下能够全按下和半按下的快门按钮的情况(大致同时生成第一快门开关信号SW1和第二快门开关信号SW2的情况)相同的操作。
通过选择并操作显示单元28上所显示的各种功能图标和选项,针对各场景向操作单元70适当地分配功能,并且操作单元70充当各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像馈送按钮、跳转按钮、缩小按钮和属性改变按钮。例如,在按下菜单按钮时,在显示单元28上显示使得能够进行各种设置的菜单画面。用户可以通过在观看显示单元28上所显示的菜单画面的同时操作该操作单元70来直观地进行各种设置。
电源开关72是用于将电源切换成接通和断开的推式按钮。电源控制单元80由电池检测电路、DC-DC转换器、以及用于在要通电的块之间切换的切换电路等构成,并且检测是否安装了电池、电池的类型、以及剩余电池电量等。另外,电源控制单元80基于检测结果和来自系统控制单元50的指示来控制DC-DC转换器,并且在所需时间段内向包括记录介质90的各个单元供给所需电压。电源单元30由诸如碱性电池或锂电池等的一次电池、诸如NiCd电池、NiMH电池或Li电池等的二次电池、或者AC适配器等构成。
记录介质I/F 18是与作为存储卡或硬盘等的记录介质90的接口。记录介质90是用于记录所拍摄到的图像的诸如存储卡等的记录介质,并且由半导体存储器、光盘或磁盘等构成。记录介质90可以是可安装至数字照相机100以及可从数字照相机100拆卸的可更换记录介质、或者内置在数字照相机100中的记录介质。
通信单元54相对于无线地或通过有线线缆连接的外部装置进行视频信号和音频信号的发送和接收。通信单元54还能够连接至无线LAN(局域网)和因特网。通信单元54能够发送摄像单元22a和22b所拍摄到的图像(包括LV图像)和记录介质90上所记录的图像、以及从外部装置接收图像和各种其它类型的信息。
朝向检测单元55检测数字照相机100相对于重力方向的朝向。基于朝向检测单元55所检测到的朝向,可以判断摄像单元22a和22b所拍摄到的图像是在水平地保持数字照相机100的状态下拍摄到的图像还是在垂直地保持数字照相机100的状态下拍摄到的图像。另外,可以判断在利用摄像单元22a和22b拍摄图像期间、数字照相机100在横摆方向、俯仰方向和侧倾方向这三个轴向(转动方向)上倾斜到何种程度。系统控制单元50能够将与朝向检测单元55所检测到的朝向相对应的朝向信息添加至摄像单元22a和22b所拍摄到的VR图像的图像文件,并且在转动VR图像之后(在调整VR图像的朝向以进行倾斜校正(天顶校正)之后)记录该VR图像。加速度传感器、陀螺仪传感器、地磁传感器、朝向传感器和高度传感器等其中之一或者多个这些传感器的组合可以用作朝向检测单元55。还可以使用构成朝向检测单元55的加速度传感器、陀螺仪传感器或朝向传感器等来检测数字照相机100的运动(平摇、倾斜、抬升、或是否静止等)。
麦克风20是用于收集要作为用作运动图像的VR图像(VR运动图像)的音频进行记录的数字照相机100周围的声音的麦克风。连接I/F 25是连接插头,该连接插头连接有HDMI(注册商标)线缆或USB线缆等,以便连接至外部装置,从而发送和接收视频。
图2A是作为一种显示控制设备的电子装置200的外观图。电子装置200是诸如智能电话等的显示设备。显示器205是用于显示图像和各种类型的信息的显示单元。显示器205与触摸面板206a一体地构造成,并且被配置为能够检测针对显示器205的显示面的触摸操作。电子装置200能够在显示器205上进行VR图像(VR内容)的VR显示。操作单元206b是用于接受用以在电子装置200的电源的接通和断开之间切换的操作的电源按钮。操作单元206c和操作单元206d是用于增大和减小从扬声器212b或者从连接至音频输出端子212a的耳机或外部扬声器等输出的音频的音量的音量按钮。操作单元206e是用于使得主画面显示在显示器205上的主按钮。音频输出端子212a是作为用于向耳机或外部扬声器等输出音频信号的端子的耳机插孔。扬声器212b是用于输出音频的内置在主体中的扬声器。
图2B是示出电子装置200的结构示例的框图。CPU 201、存储器202、非易失性存储器203、图像处理单元204、显示器205、操作单元206、记录介质I/F 207、外部I/F 209和通信I/F 210连接至内部总线250。另外,音频输出单元212和朝向检测单元213也连接至内部总线250。连接至内部总线250的各个单元被配置为能够经由内部总线250彼此交换数据。
CPU 201是控制整个电子装置200的控制单元,并且由至少一个处理器或一个电路构成。存储器202例如由RAM(诸如使用半导体元件的易失性存储器等)构成。CPU 201通过例如根据非易失性存储器203中所存储的程序使用存储器202作为工作存储器,来控制电子装置200的各个单元。非易失性存储器203存储图像数据和音频数据、其它数据、以及使得CPU201能够工作的各种程序等。非易失性存储器203例如由闪速存储器或ROM构成。
在CPU 201的控制下,图像处理单元204对非易失性存储器203或记录介质208中所存储的图像、经由外部I/F 209获取到的视频信号、以及经由通信I/F210获取到的图像等进行各种类型的图像处理。图像处理单元204所进行的图像处理包括A/D转换处理和D/A转换处理、以及图像数据的编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理等。图像处理单元204还进行全向图像或者作为尽管不是全向但具有宽范围的视频的宽范围图像的VR图像的各种图像处理(诸如全景展开、映射处理和转换等)。图像处理单元204可以由用于进行特定图像处理的专用电路块构成。另外,根据图像处理的类型,CPU 201可以在不使用图像处理单元204的情况下根据程序进行图像处理。
显示器205在CPU 201的控制下显示图像和构成GUI(图形用户界面)的GUI画面等。CPU 201控制电子装置200的各个单元,以便根据程序生成显示控制信号,并且生成要显示在显示器205上的视频信号并将该视频信号输出至显示器205。显示器205基于所生成并输出的视频信号来显示视频。可选地,电子装置200自身的组件可被限制成直到用于输出显示器205所要显示的视频信号的接口为止,并且显示器205可以由外部监视器(诸如电视机或HMD等)构成。
操作单元106是用于接受用户操作的输入装置,其示例包括诸如键盘等的字符信息输入装置、诸如鼠标或触摸面板等的指点装置、按钮、拨盘、操纵杆、触摸传感器、以及触摸垫。在本实施例中,操作单元206包括触摸面板206a以及操作单元206b、206c、206d和206e。
作为存储卡、CD或DVD等的记录介质208可安装至记录介质I/F 207且可从记录介质I/F 207拆卸。在CPU 201的控制下,记录介质I/F 207从所安装的记录介质208读取数据并向该记录介质208写入数据。记录介质208存储诸如要显示在显示器205上的图像等的数据。外部I/F 209是使用有线线缆(诸如USB线缆等)或以无线方式连接至外部装置以进行视频信号和音频信号的输入和输出(数据通信)的接口。通信I/F 210是用于(通过无线电通信)与外部装置和网络(因特网)211等进行通信以进行诸如文件和命令等的各种类型的数据的发送和接收(数据通信)的接口。
音频输出单元212输出电子装置200所要再现的运动图像和音乐数据的音频、键盘点击声、铃声、以及各种通知声音等。尽管假定音频输出单元212包括耳机等要连接至的音频输出端子212a、以及扬声器212b,但可选地,音频输出单元212可以通过无线电通信等将音频数据输出至外部扬声器。
朝向检测单元213检测电子装置200相对于重力方向的朝向(倾斜)、或者电子装置200相对于横摆方向、俯仰方向和侧倾方向上的各个轴的朝向,并且向CPU 201通知朝向信息。基于朝向检测单元213所检测到的朝向,可以判断电子装置200是水平地保持、垂直地保持、指向上方、指向下方、还是采取倾斜朝向。另外,可以判断电子装置200在诸如横摆方向、俯仰方向和侧倾方向等的转动方向上的倾斜的有无或大小、以及电子装置200是否已在转动方向上转动。可以使用加速度传感器、陀螺仪传感器、地磁传感器、朝向传感器和高度传感器等其中之一、或者多个这些传感器的组合作为朝向检测单元213。
如上所述,操作单元206包括触摸面板206a。触摸面板206a是被平面地配置成与显示器205重叠并且输出与所触摸的位置相对应的坐标信息的输入装置。CPU 201能够检测针对触摸面板206a的以下操作或者触摸面板206a的以下状态。
·先前未触摸触摸面板206a的手指或触笔新触摸触摸面板206a的状态,或者换句话说,触摸的开始(以下称为触及(touch-down))
·触摸面板206a正被手指或触笔触摸的状态(以下称为触摸持续(touch-on))
·手指或触笔在与触摸面板206a触摸的同时正在移动的状态(以下称为触摸移动(touch-move))
·先前触摸触摸面板206a的手指或触笔从触摸面板206a分离的状态,或者换句话说,触摸的结束(以下称为触摸停止(touch-up))
·什么也没有触摸触摸面板206a的状态(以下称为未触摸(touch-off))
在检测到触及时,同时检测到触摸持续。通常,在触及之后,除非检测到触摸停止,否则继续检测到触摸持续。在检测到触摸移动时,同时同样检测到触摸持续。即使在检测到触摸持续时,除非触摸位置移动,否则未检测到触摸移动。在检测到先前触摸的所有手指或触笔的触摸停止时,检测到未触摸。
经由内部总线向CPU 201通知上述的操作或状态、以及手指或触笔正触摸触摸面板206a的位置坐标,并且基于所通知的信息,CPU 201判断在触摸面板206a上进行了何种操作(触摸操作)。关于触摸移动,可以基于位置坐标的变化针对触摸面板206a上的垂直分量和水平分量各自来判断正在触摸面板206a上移动的手指或触笔的移动方向。假定在检测到规定距离以上的触摸移动的情况下,判断为进行了滑动操作。触摸移动是用户针对触摸面板206a进行的移动操作。后面要说明的根据触摸移动的各种处理也可以根据同样作为移动操作的鼠标的拖动操作来进行。
将涉及在保持手指触摸触摸面板206a的同时使手指在触摸面板206a上快速移动了一定距离、然后松开手指的操作称为轻拂。换句话说,轻拂是手指快速划过触摸面板206a仿佛在触摸面板206a上拂过一样的操作。在检测到以规定速度以上触摸移动了规定距离以上之后检测到触摸停止的情况下,可以判断为进行了轻拂(可以判断为在滑动操作之后发生了轻拂)。
此外,将涉及同时触摸多个位置(例如,两个点)并使各个触摸位置彼此靠近的触摸操作称为捏合,而将各个触摸位置彼此远离的触摸操作称为分开。将分开和捏合统称为捏分操作(或简称为捏分)。作为触摸面板206a,可以使用采用包括电阻膜方式、电容方式、表面声波方式、红外方式、电磁感应方式、图像识别方式和光学传感器方式的各种方式中的任何方式的触摸面板。可以采用在与触摸面板接触时检测到触摸的方式和在手指或触笔接近触摸面板时检测到触摸的方式中的任何方式。
图2C是电子装置200可安装至的VR护目镜(头戴式适配器)230的外观图。通过将电子装置200安装至VR护目镜230,电子装置200也可用作头戴式显示器。插入口231是电子装置200要插入至的插入口。通过使显示器205的显示面朝向用于将VR护目镜230固定到用户的头部的头带232侧(换句话说,朝向用户),可以将整个电子装置200插入VR护目镜230中。在安装有电子装置200的VR护目镜230佩戴在用户的头部上的状态下,用户可以在不必手动地保持电子装置200的情况下观看电子装置200的显示器205。在这种情况下,在用户移动他或她的头部或整个身体时,电子装置200的朝向也改变。朝向检测单元213检测此时的电子装置200的朝向变化,并且CPU 201基于该朝向变化来进行VR显示所用的处理。在这种情况下,朝向检测单元213对电子装置200的朝向的检测等同于对用户的头部的朝向(用户的视线所朝向的方向)的检测。可选地,电子装置200自身可以是即使没有VR护目镜也可安装至头部的HMD。
在本实施例中,将说明如下的操作和处理:从具有与在垂直方向和水平方向这两者上都为360度的最大视场相对应的视频范围(有效视频范围)的VR图像中裁剪具有与在垂直方向和水平方向这两者上都为180度的视场相对应的视频范围(有效视频范围)的VR图像。应当注意,在以下的说明中,具有与在垂直方向和水平方向这两者上都为360度的最大视场相对应的视频范围(有效视频范围)的VR图像将被称为360度VR图像。另外,具有与在垂直方向和水平方向这两者上都为180度的视场相对应的视频范围(有效视频范围)的VR图像将被称为180度VR图像。从概念上,从360度VR图像中裁剪180度VR图像的处理是从与360度相对应的视频已被整体映射到的虚拟球体裁剪半球的处理。如在本实施例中所述的裁剪不是用于裁剪通常的矩形图像(平面图像)的处理,而是用于裁剪即使在裁剪之后也可作为VR图像(可被映射到球体上并且在VR视图中观看的图像)进行观看的图像的处理。由于裁剪之后的图像具有与在垂直方向和水平方向这两者上都为180度的视场相对应的有效视频范围,因此在将裁剪之后的图像映射到球体上时,映射了与半球相对应的有效视频(诸如拍摄图像等)。剩余的半球变成要以单色填充、或者利用规定图案填充、或者要被映射某种补充视频的无效视频范围。在VR视图中观看这样的所裁剪的VR图像的情况下,用户可以在宽度为180度的前方范围(从中心起在垂直方向和水平方向这两者上都为90度的范围)中从视觉上识别出该图像。进行这样的裁剪处理的原因包括以下。
第一,可以减少图像的数据量。所裁剪的180度VR图像与360度VR图像相比具有更小的数据量。因此,可以防止在保存VR图像时的记录介质的容量受到压迫。另外,可以减少发送和接收期间的通信数据量以及显示期间的处理负荷,并且成比例地,可以产生包括处理速度或响应速度的提高以及电力消耗的降低的效果。
第二,可以删除不需要的被摄体。例如,在拍摄具有与360度的视场相对应的有效视频范围的VR图像的大多数情况下,拍摄者他/她自己不可避免地包括在VR图像中。然而,在拍摄者希望拍摄的对象是风景等而不是拍摄者他/她自己的情况下,拍摄者他/她自己是不需要的被摄体并且构成无意的存在。包括无意视频防止了观看者将他或她的注意力集中于拍摄者认为是主题的诸如风景等的视频上。另外,经常包括诸如路人的面部和路过车辆的牌照等的要隐藏的信息,并且在许多情况下,从隐私和安全的角度来看,不期望包括这样的信息。通过进行裁剪处理以仅裁剪拍摄者所期望的范围并丢弃其它不需要范围的视频,可以避免这样的问题。
第三,可以减轻在VR视图中观看VR图像的用户的身体负担。在VR视图中观看360度VR图像时,甚至在观看VR图像的用户的背后也存在视频。尽管观看者可以通过简单地转动他或她的头部来大致全景地观看与前方180度相对应的视频,但为了观看背后,观看者必须扭转他或她的躯干或者改变他或她的站立方向,由此给观看者带来相对较高的身体负担。向后看所需的这种身体运动不适合在坐着时观看,除非观看者在转椅中。相比之下,由于可以通过简单地转动某人的头部来大致全景地观看180度VR图像,因此在观看VR图像时对观看者施加的身体负担相对较小。如果通过引导显示或表示超过180度的范围是无效区域的显示来使得观看者知晓VR图像是180度VR图像,则观看者甚至不会试图向后看。因此,可以防止观看者被迫进行诸如向后看等的身体运动。
第四,可以以与180度VR图像所用的记录格式等相对应的方式来显示360度VR图像。在360度VR图像的记录格式不同于180度VR图像所用的记录格式的情况下,通过仅支持观看180度VR图像的再现设备(再现应用软件)不能观看360度VR图像。然而,通过从360度VR图像中裁剪180度VR图像来生成180度VR图像,这使得通过甚至仅支持观看180度VR图像的再现设备也能够观看VR图像。另外,即使在支持观看180度VR图像和观看360度VR图像这两者时,在必须进行在用于观看180度VR图像的模式和用于观看360度VR图像的模式之间的切换的情况下,切换操作可能是麻烦的。然而,通过从360度VR图像中裁剪180度VR图像来生成180度VR图像,这使得能够在不必切换到180度VR图像所用的显示模式的情况下,顺次地切换并观看多个VR图像。此外,设想如下的显示模式(双目VR视图),该显示模式显示由被安装成面向同一方向的被摄体且分开了与视差相对应的距离的两个照相机单元拍摄到的右眼用的180度VR图像和左眼用的180度VR图像这两个180度VR图像,以使得可以立体地观看这两个180度VR图像。通过从360度VR图像中裁剪右眼用的180度VR图像和左眼用的180度VR图像并预先记录这些180度VR图像,也可以在这种双目VR视图中观看180度VR图像。
尽管在本实施例中将说明通过从360度VR图像中裁剪180度VR图像来生成180度VR图像的示例,但本实施例也可应用于针对具有其它视场角的VR图像的处理,只要该处理涉及裁剪具有比裁剪之前的VR图像的有效视频范围窄的有效视频范围的VR图像即可。换句话说,裁剪之前的VR图像不限于360度VR图像,并且裁剪之后的VR图像不限于180度VR图像。
在以下所述的各处理中,将说明通过显示各种触摸按钮并且接受针对各种触摸按钮的触摸操作作为用户操作来推进处理的示例。具体地,接受针对各种触摸按钮的指示的触摸操作可以是来自与触摸按钮相对应的触摸响应区域的触摸停止、或者针对与触摸按钮相对应的触摸响应区域的触及。另外,作为通过针对后面要说明的触摸按钮的操作而要接受的指示所描述的各指示不限于此,并且可以通过其它用户操作来接受。例如,用于接受指示的用户操作可以是针对各物理按钮的操作、使用方向键来选择显示项并按下输入键的操作、使用鼠标来选择显示项的操作、或者语音命令等。
图3是电子装置200中的VR视图显示(处理)的流程图。在CPU 201将非易失性存储器203中所记录的程序在存储器202上展开并执行该程序时,实现该处理。在电子装置200开启的状态下启动了能够在VR视图中显示360度VR图像并且具有裁剪180度VR图像的功能的应用软件的情况下,CPU 201在对标志和控制变量等进行初始化之后,开始图3所示的处理。
在S301中,CPU 201从记录介质208或经由通信I/F 210的通信目的地加载(获取)作为显示对象的VR图像。另外,CPU 201获取作为VR图像的属性信息所附加的表示视频范围(有效视频范围)的信息。表示有效视频范围的信息是指描述VR图像中所包括的有效视频在垂直方向和水平方向上的角度范围的信息。表示有效视频范围的信息仅需是使得能够指定VR图像的有效视频范围的信息,并且可以是视角、视场角、方位角、仰角、水平像素数、或者诸如坐标等的信息。可选地,表示有效视频范围的信息可以是用于拍摄VR图像的照相机的型号信息(可以通过指定型号来指定可拍摄范围)、以及与拍摄期间的变焦有关的信息等。在CPU 201获取到表示有效视频范围的信息时,CPU 201还基于与垂直方向和水平方向上的360度的差来识别(计算)无效视频范围(非视频范围)。相反,可以从VR图像的属性信息获取表示无效视频范围的信息,并且可以从表示无效视频范围的信息计算有效视频范围,或者可以从VR图像的属性信息获取表示有效视频范围的信息和表示无效视频范围的信息这两者。
在S302中,CPU 201进行S301中所获取到的VR图像在VR视图中的显示处理。VR图像的原始数据(图像数据)是由于使用例如等距圆柱投影而失真的图像,并且是采用使得各像素的位置能够与球体的表面上的坐标相关联的格式的图像。将VR图像的原始图像映射到球体上,并且裁剪并显示该球体的一部分。换句话说,S302中所显示的图像是通过裁剪并放大VR图像的一部分所获得的图像,并且是原始图像的失真已被去除(或减少)的图像。
在S303中,基于S301中所获取到的信息,CPU 201判断作为S302中的显示对象的VR图像是否是可以裁剪出180度VR图像的VR图像。在记录像素的数量低于阈值的图像、有效视频范围窄于(小于)阈值的图像、已进行了后面要说明的裁剪处理的图像、以及180度VR图像中的任何图像的情况下,CPU201判断为该VR图像不是可以裁剪出180度VR图像的VR图像,并且进入S305。在CPU 201判断为VR图像是可以进行裁剪的图像的情况下,CPU 201进入S304。
在S304中,CPU 201显示裁剪编辑按钮。图6A示出S304中所显示的VR图像和裁剪编辑按钮的显示示例。VR图像602是S302中所显示的VR图像。裁剪编辑按钮601是用于发出用以裁剪VR图像的指示的触摸图标。尽管采用了在CPU 201在S303中判断为不能裁剪VR图像的情况下不显示裁剪编辑按钮601的配置,但可选地,可以以使得能够识别出裁剪编辑按钮601的选择无效状态的诸如灰化等的显示模式来显示裁剪编辑按钮601。
在S305中,基于从触摸面板206a通知的信息,CPU 201判断针对显示有VR图像602的区域是否进行了触摸移动(显示范围改变操作)。在进行了触摸移动的情况下,CPU 201进入S306,否则CPU 201进入S307。在S306中,CPU201使所显示的VR图像602根据触摸移动的方向和量而滚动,并且改变VR图像的显示范围。具体地,基于触摸移动的移动分量中的左右方向(水平方向)上的分量,CPU 201使VR图像向右或向左滚动,使得显示范围以VR图像已被映射到的虚拟球体的垂直轴(天顶轴、重力轴)为中心转动和移动。换句话说,这是使在从位于虚拟球体的中心的观看者观看时的视线(显示范围的方向)的朝向改变的显示范围的改变。另外,基于触摸移动的移动分量中的上下方向(垂直方向)上的分量,CPU 201使VR图像向上或向下滚动,使得显示范围以VR图像已被映射到的虚拟球体的水平轴(与天顶轴垂直的轴、与重力垂直的轴)为中心转动和移动。也就是说,这是使在从位于虚拟球体的中心的观看者观看时的视线(显示范围的方向)的仰角或俯角(以下称为仰/俯角)改变的显示范围的改变。
在S307中,CPU 201判断朝向检测单元213是否检测到需要使显示范围改变的朝向的变化。在检测到了需要使显示范围改变的朝向的变化的情况下,CPU 201进入S308,否则CPU 201进入S309。在S308中,CPU 201根据朝向检测单元213所检测到的朝向变化来改变(移动)VR图像602的显示范围。
在S309中,基于从触摸面板206a通知的信息,CPU 201判断针对显示有VR图像602的区域是否进行了捏合或分开(换句话说,倍率改变操作)。在进行了捏合或分开的情况下,CPU 201进入S310,否则CPU 201进入S311。在S310中,CPU 201根据捏分操作来(连续地或者以涉及多个(三个或更多个)级的逐级方式)改变VR图像的显示倍率。在捏合(缩小操作)的情况下,VR图像的显示倍率下降。因此,VR图像的显示范围变宽。换句话说,尽管被摄体变得更小,但显示更宽的范围。在分开(放大操作)的情况下,VR图像的显示倍率提高。因此,VR图像的显示范围变窄。换句话说,尽管被摄体变得更大,但显示更窄的范围。
在S311中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了用于指定裁剪编辑按钮601的触摸操作。在进行了针对裁剪编辑按钮601的触摸操作的情况下,CPU 201进入S312,否则CPU 201进入S313。在S312中,CPU 201进行裁剪编辑处理。后面将参考图4来说明裁剪编辑处理。
在S313中,CPU 201判断是否进行了图像切换操作。在进行了图像切换操作的情况下,CPU 201进入S314,否则CPU 201进入S315。图像切换操作的示例包括对操作单元206中所包括的图像切换按钮的操作、对显示器205上所显示的图像切换图标(下一图像图标和前一图像图标)的触摸操作、以及涉及同时触摸两个点并在相同方向上拖动这两个点的双拖动。在S314中,根据图像切换操作,CPU 201将与当前显示的VR图像不同的图像文件的VR图像指定为下一显示对象。随后,CPU 201返回到S301,并且进行作为下一显示对象的VR图像的获取和显示处理。
在S315中,CPU 201判断是否进行了其它操作。在进行了其它操作的情况下,CPU201进入S316,否则CPU 201进入S317。在S316中,CPU 201执行根据该其它操作的处理。根据该其它操作的处理的示例包括VR图像在双目VR视图中的显示处理、正显示的VR图像的文件的删除、共享(向SNS的发布、邮件发送、以及用以与其它应用一起使用的指示等)、以及诸如色调调整等的编辑处理。
在S317中,CPU 201判断是否进行了针对操作单元206的结束操作。在不存在结束操作的情况下,CPU 201返回到S305并重复处理。在存在结束操作的情况下,CPU 201关闭作为用于显示VR图像的应用的应用软件,并且结束图3所示的处理。
图4是前面参考图3所示的S312所述的裁剪编辑处理的流程图。在CPU201将非易失性存储器203中所记录的程序在存储器202上展开并执行该程序时,实现该处理。图4所示的编辑处理基本上是用于在维持VR视图的同时、在VR视图中所显示的360度VR图像中指定要作为180度VR图像进行裁剪的范围的中心的处理。尽管可以对范围指定进行微调,但由于甚至可以通过在不必进行微调的情况下粗略地确定中心来确定要裁剪的范围,因此可以以简单的方式指定要裁剪的范围。在VR视图中,经常不显示整个VR图像,并且同时,要裁剪的范围的边界不是如平面图像的情况那样的直线边界。因此,假想地,通过涉及显示裁切框并调整所显示的裁切框的操作来确定裁剪范围的方法是麻烦的,并且对于用户而言难以理解。相反,根据本实施例的裁剪编辑处理使得能够通过在维持VR视图的同时、在360度VR图像中简单地指定要作为180度VR图像进行裁剪的范围的中心,来指定该范围。因此,用户可以在体验到直观、易于理解且简单的操作感的状态下进行裁剪。
在S401中,CPU 201将作为用于指定裁剪范围的画面的裁剪编辑画面显示在显示器205上。图6B示出裁剪编辑画面的显示示例。VR图像602是与在转变为裁剪编辑画面之前在VR视图显示中显示的图像相同的VR图像。尽管可以通过捏分操作来放大或缩小显示范围,但例如,紧接在显示裁剪编辑画面(默认状态)之后,以比对应于180度的范围窄的显示范围显示VR图像602。指针603是用于指定裁剪范围的中心(裁剪范围的基准位置)的指示符。裁剪按钮604是用于基于当前显示范围(基准位置)来指定裁剪范围的指示图标。在裁剪编辑画面上,指针603显示在固定于画面的中心部分的位置处,并且即使在VR图像602的显示范围改变时,指针603在显示器205上的位置也不改变。用户通过与通常的VR视图中的操作大致相同的操作来改变VR视图中所显示的VR图像602的显示范围,使得要成为裁剪之后的VR图像的中心的期望被摄体的位置采用由指针603指示的位置。另外,通过触摸裁剪按钮604,可以将基于当前显示范围(基准位置)的范围指定(或临时指定)为裁剪之后的范围。更具体地,可以指定裁剪之后的范围,使得与正显示指针603的位置相对应的VR图像的位置变为裁剪之后的中心或中心的朝向。
在由圆形表示的显示方向引导中,扇形的显示范围605表示由圆形表示的VR图像的所有朝向中的、当前显示范围的朝向的范围(绕天顶轴的角度范围)。非显示范围606表示由圆形表示的VR图像的所有朝向中的、并非当前显示范围的朝向的范围(绕天顶轴的角度范围)。基准方向607表示作为在开始VR图像602的显示时最初(换句话说,在改变显示范围的操作和发生姿势变化之前)显示的显示范围的中心的方向(以下称为显示开始方向)。
角度信息608(角度刻度)表示指针603相对于显示开始方向的当前角度(方位角),并且在改变显示范围时更新角度信息608的显示。整个半球显示按钮609是用于利用单次触摸将VR图像602的显示倍率切换到包括被指定为裁剪之后的范围的整个范围的倍率的指示图标。双画面确认按钮610是用于切换到如下的显示模式的指示图标,该显示模式用于同时显示被指定为裁剪范围的范围和未被指定为裁剪范围且在裁剪之后的VR图像中被丢弃的删除范围。端部微调按钮611是用于切换到如下的显示模式的指示图标,该显示模式用于显示裁剪范围的端部(边界部分),以进行裁剪范围的微调。不需要部分指定按钮612是用于切换到如下的模式的指示图标,该模式用于指定作为期望不包括在裁剪范围中的被摄体的不需要部分。一旦指定了不需要部分,则在指定裁剪范围的中心使得不需要部分不包括在裁剪范围中的情况下,将可识别地显示可以指定的范围和不能指定的范围。
仰/俯角有效/无效按钮613是用于在使与当前显示范围相对应的仰/俯角(映射到球体上的整个VR图像中的由指针603表示的位置处的仰/俯角)作为裁剪范围的中心这一操作有效和无效之间进行切换的指示图标。另外,仰/俯角有效/无效按钮613还表示当前设置,并且在当前设置是有效状态时,被显示为表示有效状态的显示模式中的图标,而在当前设置是无效状态时,被显示为表示无效状态的显示模式中的图标。在有效的情况下,采用以由指针603表示的朝向的仰/俯角为中心的周边中的各自为90度的范围(总共180度(半球范围))作为裁剪范围。在无效的情况下,代替基于由指针603表示的仰/俯角的范围,采用以仰/俯角0度或者换句话说水平面上的由指针603表示的位置为中心的周边中的各自为90度的范围(总共180度(半球范围))作为裁剪范围。假定在用户进行指定操作之前的初始设置中,仰/俯角有效/无效设置被设置为无效。
朝向检测ON/OFF(开启/关闭)按钮614是用于在由于朝向变化引起的使VR图像602的显示范围改变这一操作有效和无效之间进行切换的指示图标。另外,朝向检测ON/OFF按钮614还表示当前设置,并且在当前设置是有效状态时,被显示为表示有效状态的显示模式中的图标,而在当前设置是无效状态时,被显示为表示无效状态的显示模式中的图标。尽管由于可以通过仅仅改变电子装置200的朝向来确定裁剪范围的中心、因此有效设置简单且直观,但由于显示范围仅因朝向变化而频繁地改变,因此有时难以对期望的显示范围进行调整。由于无效设置可以防止显示范围由于朝向变化而改变,因此可以防止对显示范围的无意改变,并且可以利用通过触摸移动的操作(滑动操作)来进行对更接近地符合用户意图的显示范围的调整。在用户进行指定操作之前的初始设置中,朝向检测ON/OFF设置可被设置为无效(OFF)。
在S402和S403中,CPU 201根据针对显示有VR图像602的区域的触摸移动来改变显示范围。该处理的详情与前面所述的图3所示的S305和S306中的处理的详情相同。如前面所述,即使在显示范围改变时,指针603在显示器205上的显示位置也不改变。在VR图像的显示范围改变时,指针603相对于VR图像的相对位置关系改变。另外,根据该处理,后面在S502和S503中要说明的裁剪处理中的裁剪范围的宽度(180度)不改变,但裁剪之前的VR图像中的裁剪范围的位置改变。
图6C示出在从图6B所示的状态起通过向左的触摸移动来改变显示范围的情况下的显示示例。VR图像602的显示范围已改变,并且根据该改变,角度信息608以及显示方向引导中的由显示范围605和非显示范围606表示的范围也已改变。VR图像602与图6B相比已滚动以移动到左侧,并且与图6B所示的状态相比,VR图像中的右侧区域已新成为显示范围。换句话说,显示范围已移动到右侧。在图6C所示的示例中,如从角度信息608和显示方向引导显而易见,显示范围与图6B所示的显示范围相比已改变为面向右约90度的方向。该显示范围包括在可读取牌照的方向上正经过的车辆作为被摄体。例如,用户认为经过的车辆的这种牌照不是应当公开的信息,并且希望从裁剪之后的图像中省略牌照。
图6D示出在从图6C所示的状态起通过进一步向左的触摸移动来改变显示范围的情况下的显示示例。VR图像602的显示范围已改变,并且根据该改变,角度信息608以及显示方向引导中的由显示范围605和非显示范围606表示的范围也已改变。VR图像602与图6C相比已滚动以移动到左侧,并且与图6C所示的状态相比,VR图像中的右侧区域已新成为显示范围。换句话说,显示范围已移动到右侧。在图6D所示的示例中,如从角度信息608和显示方向引导显而易见,显示范围与图6B所示的显示范围相比已改变为面向大致正后方(向右180度)的方向。显示范围包括拍摄者自身作为被摄体。例如,用户不将拍摄者自身视为原本打算拍摄的主要被摄体,并且希望从裁剪之后的图像中省略拍摄者。
在S404中,CPU 201参考存储器202中所保持的设置信息,并且判断用于改变与朝向检测相对应的显示范围的功能是否有效(开启)。用于改变与朝向检测相对应的显示范围的功能的有效(开启)/无效(关闭)是通过针对前面所述的朝向检测ON/OFF按钮614的触摸操作可以设置的设置项。在用于改变与朝向检测相对应的显示范围的功能有效(开启)的情况下,CPU 201进入S405,否则CPU 201进入S407。在S405和S406中,CPU 201根据朝向检测单元213所检测到的朝向变化来改变VR图像602的显示范围。由于该处理与前面所述的图3所示的S307和S308中的处理相同,因此将省略该处理的详情。应当注意,根据该处理,后面在S502和S503中要说明的裁剪处理中的裁剪范围的宽度(180度)不改变,但裁剪之前的VR图像中的裁剪范围的位置改变。在S404中CPU 201判断为用于改变与朝向检测相对应的显示范围的功能无效(关闭)的情况下,CPU 201在不进入S405和S406的情况下进入S407,并且即使在朝向检测单元213检测到朝向变化时,也不根据朝向的变化而改变显示范围。
在S407和S408中,CPU 201根据捏分操作(倍率改变指示)来改变VR图像602的显示倍率。由于该处理与前面所述的图3所示的S309和S310中的处理相同,因此将省略该处理的详情。
在S409中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对整个半球显示按钮609的触摸操作(整个半球指示;倍率改变指示)。在进行了用于指定整个半球显示按钮609的触摸操作的情况下,CPU 201进入S410,否则CPU 201进入S413。在S410中,CPU201判断当前显示倍率是否已经是整个半球显示的倍率(半球倍率)。可以通过参考当前显示倍率或通过参考当前显示模式来进行该判断。在显示倍率已经是半球倍率的情况下,CPU201进入S412以恢复原始显示倍率。在显示倍率不是半球倍率的情况下,CPU 201进入S411以切换到按半球倍率的显示。换句话说,每当进行针对整个半球显示按钮609的触摸操作时,切换整个半球显示(半球倍率显示)的开启和关闭。
在S411中,CPU 201在将切换到整个半球显示之前的当前显示倍率记录在存储器202中之后进行整个半球显示。整个半球显示是按如下倍率的显示,其中以该倍率,以由指针603当前表示的位置为中心进行了裁剪的整个裁剪范围容纳在显示器205上的显示范围内。尽管在本实施例中采用包括半球的范围的显示倍率作为半球倍率以使180度的范围成为裁剪范围,但并非180度的裁剪范围不限于半球范围,并且按使得整个裁剪范围能够容纳在显示范围内的倍率来显示。
图7A示出裁剪编辑画面上的整个半球显示的显示示例。在从如图6B所示的VR视图中的正常显示倍率(在开始VR视图中的显示时最初显示的初始倍率)发出整个半球显示的指示的情况下,通过单次触摸(在以其它倍率不停止的情况下)将正常显示倍率切换到图7A所示的显示倍率(低于初始倍率的倍率)。图7A所示的VR图像602表示按整个半球显示的倍率显示与图6B中所显示的VR图像602相同的图像。由于将原本打算映射到球体上的等于或宽于180度的范围容纳在平面显示范围中,因此显示周边失真仿佛由鱼眼镜头拍摄的VR图像602。阴影部702叠加并显示在VR图像602上。阴影部702表示所显示的VR图像602中的在裁剪范围的外部(在从由指针603表示的位置起的180度范围的外部)的范围,并且在裁剪之后的图像中表示要删除的范围(排除范围)。用户可以通过观看VR图像602中的在中心部分无阴影的部分701来确认裁剪范围中所包括的部分,并且可以通过观看VR图像602中的阴影部702来确认排除范围。因此,可以通过确认VR图像602有多少要包括在裁剪范围中和VR图像602有多少未包括在裁剪范围中来指定裁剪范围。因此,可以容易地进行如下等的操作:设置裁剪范围使得在将作为主要被摄体的河流容纳在裁剪范围内的同时正经过的车辆和人在排除范围中。
由于阴影部702仅需要被识别为排除范围,因此其显示模式不限于阴影,并且排除范围可以由诸如半透明掩模、加网(screening)和单色显示等的其它显示模式来表示。可选地,可以采用如下的显示模式:代替表示排除范围,仅裁剪范围和排除范围之间的边界由圆形线等来表示。另外,代替显示排除范围,可以显示裁剪范围,使得裁剪范围的内部完全包括在显示范围中。即使在整个半球显示期间,也可以进行根据在图4所示的处理中所述的各种操作的处理。换句话说,可以进行调整,使得通过根据朝向变化或触摸移动改变显示范围,期望的范围变为裁剪范围。另外,可以通过根据后面在S425~S431中要说明的针对裁剪按钮604的触摸操作的处理来确定裁剪范围。表示排除范围的阴影部702可被配置成在与针对整个半球显示按钮609的触摸操作相对应的整个半球显示的情况下显示,并且在通过捏合使得显示倍率从正常倍率下降的情况下不显示。可选地,表示排除范围的阴影部702可被配置成在与针对整个半球显示按钮609的触摸操作相对应的整个半球显示的情况下显示,并且在通过捏合使得显示倍率从正常倍率下降的情况下也显示。
在S412中,从进行了整个半球显示的状态,CPU 201参考存储器202中所保持的切换之前的原始显示倍率,并且恢复按原始显示倍率的显示状态。换句话说,例如,CPU 201将图7A所示的显示状态切换到图6B所示的显示状态。因此,将周边部分失真且被显示得小的状态切换到在不存在失真的情况下或者在失真减少的情况下、裁剪范围中所包括的中心部分被显示得大的显示状态。
在S413中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对双画面确认按钮610的触摸操作。在进行了用于指定双画面确认按钮610的触摸操作的情况下,CPU201进入S414,否则CPU 201进入S415。在S414中,CPU 201进行双画面显示处理。后面将参考图8、图9A和图9B来说明双画面显示处理。
在S415中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对端部微调按钮611的触摸操作(用于开始显示范围的微调的微调指示)。在进行了用于指定端部微调按钮611的触摸操作的情况下,CPU 201进入S416,否则CPU 201进入S417。在S416中,CPU201进行端部微调处理。后面将参考图10和图11A~11D来说明端部微调处理。
在S417中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对不需要部分指定按钮612的触摸操作。在进行了用于指定不需要部分指定按钮612的触摸操作的情况下,CPU 201进入S418,否则CPU 201进入S419。在S418中,CPU 201进行不需要部分指定处理。后面将参考图12、图13A~图13D和图14A~图14G来说明不需要部分指定处理。
在S419中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对仰/俯角有效/无效按钮613的触摸操作(用于在使仰/俯角有效和无效之间切换的切换指示)。在进行了用于指定仰/俯角有效/无效按钮613的触摸操作的情况下,CPU 201进入S420,否则CPU 201进入S423。在S420中,CPU 201参考存储器202中所保持的设置信息,并且判断在接受针对仰/俯角有效/无效按钮613的触摸操作之前的当前设置是否是仰/俯角有效。在CPU201判断为当前设置是仰/俯角有效的情况下,CPU 201进入S421,而在当前设置是仰/俯角无效的情况下,CPU 201进入S422。在S421中,CPU 201通过将有效改变为无效来设置仰/俯角有效/无效的设置,并且将设置状态记录在存储器202中。在S422中,CPU 201通过将无效改变为有效来设置仰/俯角有效/无效的设置,并且将设置状态记录在存储器202中。在改变仰/俯角有效/无效的设置的情况下,还更新了仰/俯角有效/无效按钮613的显示模式,以表示改变之后的设置状态。应当注意,在S421中将仰/俯角有效/无效的设置设置为无效的情况下,在S403和S406中可以改变VR图像602的显示范围的方向可被限制为方位角方向,并且可以防止显示范围在仰/俯角方向上改变。换句话说,可以应用限制,使得根据触摸移动或朝向变化,进行水平滚动(方位角方向上的显示范围的改变),但不进行垂直滚动(仰/俯角方向上的显示范围的改变)。
在S423中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对朝向检测ON/OFF按钮614的触摸操作。在进行了用于指定朝向检测ON/OFF按钮614的触摸操作的情况下,CPU 201进入S424,否则CPU 201进入S425。在S424中,CPU 201改变与朝向检测相对应的显示范围的改变功能的设置状态。在改变之前的设置是有效(ON)的情况下,将该设置改变为无效(OFF),并且将表示改变之后的设置的设置信息记录在存储器202中。在改变之前的设置是无效(OFF)的情况下,将该设置改变为有效(ON),并且将表示改变之后的设置的设置信息记录在存储器202中。在改变了与朝向检测相对应的显示范围的改变功能的设置状态的情况下,还更新朝向检测ON/OFF按钮614的显示模式,以表示改变之后的设置状态。
在S425中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对裁剪按钮604的触摸操作(裁剪指示、基准位置的指定操作)。在进行了用于指定裁剪按钮604的触摸操作的情况下(在接受了裁剪指示的情况下),CPU201进入S426,否则CPU 201进入S432。
在S426中,CPU 201判断是否通过后面要说明的不需要部分指定处理登记了不需要部分。在登记了不需要部分的情况下,CPU 201进入S428,而在未登记不需要部分的情况下,CPU 201进入S427。在S427中,CPU 201进行裁剪预览处理。后面将参考图5来说明裁剪预览处理。可选地,在CPU 201在S425中判断为进行了针对裁剪按钮604的触摸操作的情况下,CPU 201可以在不进行S426的处理的情况下进入S427。此外,在CPU 201在S425中判断为进行了针对裁剪按钮604的触摸操作的情况下,CPU 201可以在不进行S426和S427的处理的情况下,进入后面要说明的图5中的S535,并且进行已裁剪VR图像保存处理。由于S428~S431的处理是在登记了不需要部分的情况下的处理、并且与后面要说明的图12所示的S1215~S1218中的处理相同,因此将省略这些处理的详情。
在S432中,CPU 201判断裁剪编辑处理是否结束、并且是否进行了用以返回到图3所示的VR视图显示的处理的操作。在未进行返回操作的情况下,CPU 201返回到S402以重复处理,而在进行了返回操作的情况下,CPU 201结束图4所示的处理,进行原始VR视图显示,并且进入图3所示的S313。
图5是前面参考图4所示的S427所述的裁剪编辑处理的流程图。在CPU201将非易失性存储器203中所记录的程序在存储器202上展开并执行该程序时,实现该处理。图5所示的裁剪预览处理是用于确认是否可以最终确定用户在图4所示的裁剪编辑处理中对裁剪范围的指定的处理。
在S501中,CPU 201参考存储器202中所保持的设置信息,并且判断当前设置是否是仰/俯角有效。应当注意,可以通过针对仰/俯角有效/无效按钮613的触摸操作来改变此时参考的设置项的设置。在CPU 201判断为当前设置是仰/俯角有效的情况下,CPU 201进入S502,而在当前设置是仰/俯角无效的情况下,CPU 201进入S503。
在S502中,CPU 201基于当前显示范围(紧挨在参考图4所述的处理的裁剪编辑画面上或在后面要说明的预览画面上触摸裁剪按钮604之前的显示范围)的方位角和仰/俯角来确定裁剪范围,并且进行裁剪处理。更具体地,CPU201从360度VR图像中裁剪以显示范围的中心(显示指针603的位置)为中心的180度范围(在从中心起的所有方向上分别为90度的范围),并且生成180度VR图像(已编辑VR内容)。后面将参考图16A和16C来说明该处理。
在S503中,CPU 201基于当前显示范围(紧挨在参考图4所述的处理的裁剪编辑画面上或在后面要说明的预览画面上触摸裁剪按钮604之前的显示范围)的方位角和水平方向(仰/俯角为0度)来确定裁剪范围,并且进行裁剪处理。这样,不论裁剪之前的显示范围的仰/俯角如何,都基于水平方向(与天顶轴垂直的方向)来确定裁剪范围。更具体地,CPU 201从360度VR图像中裁剪以水平方向上由与显示范围的中心(显示指针603的位置)相对应的方位角所确定的一个点为中心的180度范围,并且生成180度VR图像(已编辑VR内容)。后面将参考图16A和图16B来说明该处理。
在S504中,CPU 201将使得能够确认S502或S503中的裁剪结果的预览画面显示在显示器205上。图6E、图6F和图6G示出预览画面的显示示例。
图6E表示在图6B所示的状态(VR图像602中的显示范围是图6B所示的范围的状态)下触摸裁剪按钮604并且转变为裁剪预览处理的情况下的预览画面的显示示例。画面右下部的圆形显示方向引导除了显示扇形显示范围605和非显示范围606之外,还显示表示在裁剪范围的外部(排除区域)的范围的排除范围622(图6E中的涂黑部)。因此,用户可以识别出现在存在如下状态:VR图像602的360度的所有方向中的与排除范围622相对应的范围中不存在图像。另外,指针603的显示模式改变并且被显示为指针621。在预览画面上,指针621被显示为表示所指定的裁剪范围的中心的指示符。因此,指针621代替固定到显示器205的中心,而是显示在表示VR图像602的裁剪范围(有效视频范围)的中心的位置处。由于该原因,根据显示范围的改变,指针621的显示位置也与VR图像602的裁剪范围(有效视频范围)的中心的显示位置的移动连动地移动。由与图6B相同的附图标记所表示的其它显示项表示与裁剪编辑画面的显示项相同的显示项。双画面确认按钮610和不需要部分指定按钮612在预览画面上被隐藏。再现开始方向指定按钮623、保存按钮624和取消按钮625被显示为在裁剪编辑画面上不显示而是在预览画面上显示的显示项。再现开始方向指定按钮623是用于指定在下次第一次显示裁剪之后的VR图像时要变为显示范围的部分的指示图标。采用在针对再现开始方向指定按钮623的触摸操作(用于指定再现开始方向的方向指定指示)的时间点处的显示范围的中心作为在下次第一次显示裁剪之后的VR图像时的显示范围的中心、或者换句话说裁剪之后的VR图像中的前面所述的显示开始方向。保存按钮624是用于发出用以最终确定裁剪范围并记录裁剪之后的VR图像的图像文件的指示的指示图标。取消按钮625是用于在不保存当前裁剪范围中的VR图像的情况下返回到裁剪编辑画面的指示图标。
在S505和S506中,CPU 201根据针对显示VR图像602的区域的触摸移动来改变显示范围。该处理的详情与前面所述的图3所示的S305和S306中的处理的详情相同。如前面所述,在显示范围改变时,指针621在显示器205上的显示位置也改变。即使在VR图像的显示范围改变时,指针621相对于VR图像的相对位置关系也不改变。
图6F示出在从图6E所示的状态起通过向左的触摸移动改变显示范围的情况下的显示示例。VR图像602的显示范围已改变,并且根据该改变,角度信息608以及显示方向引导中的由显示范围605和非显示范围606表示的范围也改变。在显示方向引导中,通过图案626可识别地显示显示范围中所包括的排除范围的部分。VR图像602与图6E相比已滚动以移动到左侧,并且与图6E所示的状态相比,VR图像中的右侧区域已新成为显示范围。换句话说,显示范围已移动到右侧。在图6F所示的示例中,如从角度信息608和显示方向引导显而易见,显示范围与图6E所示的显示范围相比已改变为面向右约90度的方向。由于在以由指针621表示的位置为中心的180度范围中进行裁剪,因此排除范围630开始出现在显示范围内。排除范围630仅需要可识别为不存在有效视频的范围,并且可以以单色或以诸如规定图案或灰度等的显示模式显示。可以确认出,在图6F中,在已参考图6C作为用户希望从裁剪之后的图像中排除的对象的示例进行了说明的在牌照可见的朝向上经过的车辆已被作为排除范围630而排除,并且未包括在裁剪之后的VR图像中。
图6G示出在从图6F所示的状态起通过进一步向左的触摸移动来改变显示范围的情况下的显示示例。VR图像602的显示范围已改变,并且根据该改变,角度信息608以及由显示方向引导表示的范围也已改变。在图6G所示的示例中,如从角度信息608和显示方向引导显而易见,显示范围与图6E所示的显示范围相比已改变为面向大致正后方(向右180度)的方向。VR图像602未包括在显示范围内并且排除范围630占据整个显示范围。可以确认出,在图6G中,已参考图6D作为用户希望从裁剪之后的图像中排除的对象的示例进行了说明的拍摄者他/她自身已被作为排除范围630而排除,并且未包括在裁剪之后的VR图像中。
由于S507~S515的处理是根据朝向变化的显示范围的改变处理、根据捏分操作的显示倍率的改变处理和按根据整个半球指示的半球倍率的显示处理、并且与前面所述的图4所示的S404~S412的处理相同,因此将省略对这些处理的说明。应当注意,在S514的整个半球显示中,不同于S411中的整个半球显示,不显示排除范围(由图7A中的阴影部702表示的部分)。图7B示出预览画面上的整个半球显示的显示示例。为了仅显示除排除范围以外的裁剪之后的VR图像的有效视频范围,不显示由图7A中的阴影部702表示的部分。换句话说,在裁剪之前的VR图像中,裁剪之后的有效视频范围的外部被隐藏。由于这样的显示,用户可以在单个画面内确认哪些种类的被摄体位于裁剪之后的VR图像的中心部分以及多少被摄体包括在裁剪范围中。在图7A所示的显示状态下进行针对裁剪按钮604的触摸操作的情况下,转变为图7B所示的显示状态。在图6E~图6G所示的显示状态下进行针对整个半球显示按钮609的触摸操作的情况下,也进行向图7B所示的显示状态的转变。
由于S516和S517包括与针对端部微调按钮611的触摸操作相对应的处理、并且与前面所述的S415和S416的处理相同,因此将省略对这些处理的说明。
由于S518~S521包括与针对仰/俯角有效/无效按钮613的触摸操作相对应的处理、并且与前面所述的S419~S422的处理相同,因此将省略对这些处理的说明。在S520中设置从仰/俯角有效切换到仰/俯角无效的情况下,CPU 201进入S503并改变裁剪范围。在CPU201从S520进入S503的情况下,代替基于该时间点的显示范围来设置裁剪范围,而是基于在进行已使得确定S520的时间点的裁剪范围的裁剪按钮604的操作时的显示范围来设置裁剪范围。换句话说,从360度VR图像(球体的范围)中裁剪180度的范围(半球的范围),使得在维持S520的时间点的裁剪范围的中心的朝向的同时,裁剪范围的中心处的仰/俯角变为水平方向。另外,在S521中设置从仰/俯角无效切换到仰/俯角有效的情况下,CPU 201进入S502并改变裁剪范围。在CPU 201从S521进入S502的情况下,代替基于该时间点的显示范围来设置裁剪范围,而是基于在进行已使得确定S521的时间点的裁剪范围的裁剪按钮604的操作时的显示范围来设置裁剪范围。换句话说,从360度VR图像中裁剪180度的VR图像,使得在维持S521的时间点的裁剪范围的中心的朝向的同时,裁剪范围的中心处的仰/俯角变为在已使得确定S521的时间点的裁剪范围的裁剪按钮604的操作时的显示范围的仰/俯角。
由于S522和S523的处理是根据针对朝向检测ON/OFF按钮614的触摸操作的处理、并且与前面所述的S423和S424的处理相同,因此将省略对这些处理的说明。
在S524中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对再现开始方向指定按钮623的触摸操作。在进行了针对再现开始方向指定按钮623的触摸操作的情况下,CPU 201进入S525,否则CPU 201进入S526。在S525中,CPU 201将当前显示范围的中心确定为裁剪之后的VR图像的显示开始方向,并且将表示VR图像中的当前显示范围的中心的位置信息记录在存储器202中。在后面要说明的S535中,将该位置信息作为表示显示开始方向的信息记录在已裁剪VR图像的图像文件的属性信息中。
在S526中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对裁剪按钮604的触摸操作。在进行了用于指定裁剪按钮604的触摸操作的情况下,CPU 201进入S527,否则CPU 201进入S532。
在S527中,CPU 201判断是否通过后面要说明的不需要部分指定处理登记了不需要部分。在登记了不需要部分的情况下,CPU 201进入S528,但在未登记不需要部分的情况下,CPU 201进入S501。接着,CPU 201从S501进入S502或S503,并且基于在S526中判断为针对裁剪按钮604进行了触摸操作的时间点的显示范围来改变裁剪范围。以这种方式,在本实施例中,在希望改变预览画面上的裁剪范围的情况下,通过进行针对裁剪按钮604的触摸操作,可以基于根据该时间点的显示范围或者更具体为该时间点的显示范围的中心的位置来校正裁剪范围。在S502或S503中再次进行裁剪的情况下,在S504中更新预览画面以表示校正后的裁剪范围。可选地,预览画面可被配置成使得在预览画面上不能校正裁剪范围。在这种情况下,裁剪按钮604被隐藏或者以诸如灰化等的表示不可操作的显示模式显示,并且不进行S526的判断。即使如此,在用户在观看预览画面的同时希望改变裁剪范围的情况下,用户可以通过进行针对取消按钮625的触摸操作、并且在返回到裁剪编辑画面之后重新指定裁剪范围,来改变裁剪范围。由于S528~S531的处理是登记了不需要部分的情况下的处理、并且与后面要说明的图12所示的S1215~S1218中的处理相同,因此将省略对这些处理的说明。
在S532中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对取消按钮625的触摸操作。在进行了针对取消按钮625的触摸操作的情况下,CPU 201进入S533,并且返回到前面参考图4所述的裁剪编辑处理(裁剪编辑画面)。在未进行针对取消按钮625的触摸操作的情况下,CPU 201进入S534。
在S534中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对保存按钮624的触摸操作。在进行了针对保存按钮624的触摸操作的情况下,CPU 201进入S535,否则CPU 201进入S505并重复该处理。
在S535中,CPU 201根据在预览画面上确认的裁剪范围中已裁剪的VR图像来生成可以在VR视图中显示的图像文件,并将所生成的图像文件记录在记录介质208中。在这种情况下,假定将在S502或S503中从裁剪之前的360度VR图像进行了裁剪处理、并且被保持在存储器202或记录介质208中的图像记录为图像文件。可选地,可以通过控制图像处理单元204来在S535的时间点从裁剪之前的360度VR图像再次裁剪180度VR图像,并且可以记录所裁剪的180度VR图像。另外,假定将所裁剪的VR图像的图像文件记录为新保存的文件。可选地,所裁剪的VR图像的图像文件可以通过覆盖在裁剪之前的360度VR图像的图像文件上来保存。所裁剪的VR图像的图像文件是以符合VR 180标准的格式记录的。一旦CPU 201记录了所裁剪的VR图像的图像文件,则CPU 201结束图5所示的处理,返回到图3所示的S301,并且进行作为裁剪源的360度VR图像的VR视图显示。可选地,可以在结束图5所示的处理之后进行新保存的所裁剪的180度VR图像的VR视图显示。
将说明在S535中要记录的所裁剪的VR图像(可以在VR视图中显示的图像文件)。在所裁剪的VR图像是静止图像的情况下,生成并记录单个文件,其中该单个文件以多图片格式存储通过利用等距圆柱投影使裁剪范围内的图像变形并将变形后的图像容纳到矩形中而创建的多个图像。在裁剪之前的360度VR图像(原始图像)被显示为通常平面图像而不是VR视图的情况下,获得了诸如图18A所示的图像等的在矩形中通过等距圆柱投影所绘制的图像。在通过前面所述的处理从原始图像中裁剪180度范围时,在所裁剪的180度范围被显示为通常平面图像而不是VR视图的情况下,记录诸如图18B所示的图像等的在近似正方形中通过等距圆柱投影所绘制的图像。这样,通过复制裁剪范围内的图像所获得的同一图像的两个图像即使在不存在视差的情况下,也被分别作为右眼用图像和左眼用图像记录在同一文件中。可选地,可以从裁剪之前的一个360度VR图像中裁剪并生成两个180度范围,以便具有伪视差(换句话说,使得左眼用图像和右眼用图像的范围彼此略微不同)。即使在这种情况下,也基于进行裁剪按钮604的触摸操作时的显示范围来确定裁剪范围。例如,所裁剪的静止图像的VR图像的文件名是“123456.vr.jpg”,其中在扩展名“.jpg”之前描述由三个字符构成的字符串“.vr”。在VR视图中再现并显示以这种方式保存为静止图像文件的图像时,图18B所示的图像被映射到半球上并被显示。图18D示出通过双目VR视图再现并显示所裁剪的静止图像的VR图像文件的示例(在显示器205未安装在VR护目镜上的状态下的显示器205上的显示示例)。
在所裁剪的VR图像是运动图像的情况下,生成并记录运动图像文件,其中该运动图像文件具有通过将裁剪范围内的图像映射到圆或椭圆的内部而不是通过等距圆柱投影所获得的、并且水平地(并排地)布置在单个运动图像的视频内的视频(运动图像)。这样,通过复制裁剪范围内的图像所获得的同一图像的两个图像即使在不存在视差的情况下,也被分别水平地布置并被记录为右眼用图像和左眼用图像。在这样的运动图像被显示为通常的平面图像而不是VR视图时,如图18C所示显示运动图像。可选地,可以从裁剪之前的一个360度VR图像中裁剪并生成两个180度范围,以便具有伪视差(换句话说,使得左眼用图像和右眼用图像的范围彼此略微不同)。即使在这种情况下,也基于进行裁剪按钮604的触摸操作时的显示范围来确定裁剪范围。例如,所裁剪的运动图像的VR图像的文件名是“123456.vr.mp4”,其中在扩展名“.mp4”之前描述由三个字符构成的字符串“.vr”。所裁剪的运动图像的VR图像文件当在双目VR视图中再现并显示时的给定帧的显示示例(在显示器205未安装在VR护目镜上的状态下的显示器205上的显示示例)与图18D所示的示例相同。
图8是前面参考图4所示的S414所述的双画面显示处理的流程图。在CPU201将非易失性存储器203中所记录的程序在存储器202上展开并执行该程序时,实现该处理。
在S801中,CPU 201在显示器205上进行双画面显示的初始显示。图9A示出显示器205上的双画面显示的初始显示的显示示例。双画面显示的显示画面被划分为显示VR图像602中的裁剪范围903的内部的上区域901和显示VR图像602中的排除范围904的内部的下区域902。在初始显示中,在上区域901的圆形显示区域中显示失真圆形图像,使得整个裁剪范围容纳在显示范围内。该显示范围是与参考图7B所述的整个半球显示相同的显示范围。另外,在初始显示中,在下区域902的圆形显示区域中显示失真圆形图像,使得整个排除范围容纳在显示范围内。该显示范围对应于在裁剪之后要丢弃的半球的范围。具有与前面所述的显示项相同的附图标记的其它显示项与这样的显示项相同。通过观看以这种方式同时显示整个裁剪范围和整个排除范围的画面,用户可以容易地确认在裁剪之前的360度VR图像中,哪些种类的被摄体包括在裁剪之后的裁剪范围中、以及哪些种类的被摄体包括在裁剪之后的排除范围中。以正常裁剪编辑画面的VR视图中的比整个半球显示大的显示倍率,由于仅显示裁剪范围内的一部分并且显示范围始终在裁剪范围的中心,因此不显示裁剪范围和排除范围之间的边界。因此,无法确认边界。另外,以预览画面上的比整个半球显示大的显示倍率,由于仅显示裁剪范围内的一部分,因此仅可以确认裁剪范围和排除范围之间的边界的一部分。在仅通过观看边界的一部分来调整裁剪范围的情况下,可能发生如下的情形:例如,即使在所显示的边界处期望部分容纳在裁剪范围内,要容纳的被摄体在未显示的边界附近也最终超出裁剪范围。为了确认期望部分在所有边界附近是否都容纳在裁剪范围中,必须多次或大幅度地改变显示范围。另一方面,利用诸如图9A所示的双画面显示等的双画面显示,用户可以在不改变显示范围的情况下确认整个裁剪范围和整个排除范围。此外,用户可以在进行这样的确认的同时通过触摸移动来调整裁剪范围和排除范围。因此,可以防止诸如以下等的错误:在不知晓应包括在裁剪范围中的被摄体的存在的情况下将该被摄体包括在排除范围中、或者在不知晓应从裁剪范围排除的被摄体的存在的情况下将该被摄体包括在裁剪范围中。对于在下区域902中显示的排除范围,可以应用规定颜色的半透明掩模、诸如以单色或深褐色显示等的颜色转换、或者加网等,以使得更容易理解排除范围是在裁剪之后要丢弃的部分。
在S802中,CPU 201判断在上区域901或下区域902中是否进行了触摸移动(视频范围改变操作)。在CPU 201判断为进行了触摸移动的情况下,CPU201进入S803,否则CPU 201进入S804。在S803中,CPU 201分别改变VR图像602中的要变为裁剪范围的部分和要变为排除范围的部分。具体地,CPU201根据触摸位置的移动,来改变上区域901和下区域902中的进行了触摸移动的一个区域中所显示的VR图像602的显示范围。此时,在设置是仰/俯角有效的情况下,根据触摸移动的横向移动分量和垂直移动分量这两者来改变显示范围。在设置是仰/俯角无效的情况下,尽管显示范围根据触摸移动的横向移动分量而移动,但显示范围不根据垂直移动分量而移动,指针603始终表示仰/俯角0度(水平方向),并且显示范围不向上或向下移动。另外,其它区域中所显示的VR图像602的显示范围与VR图像602中的进行了触摸移动的区域的显示范围的改变连动地改变,并且被采用作为并非进行了触摸移动的区域中的显示范围的相对侧的半球部分。因此,在显示器205上的固定位置(显示器205的画面上的规定位置)处显示的指针603(上区域的中心位置)相对于VR图像602的相对位置改变。CPU 201将VR图像602中的以与指针603相对应的位置为中心的半球的范围设置为裁剪范围。
在S804中,CPU 201判断在上区域901中是否进行了捏分操作。在CPU201判断为在上区域901中进行了捏分操作的情况下,CPU 201进入S805,否则CPU 201进入S807。在S805中,在后面要说明的S809中下区域902中的排除范围的图像与S801中的初始显示相比放大或缩小的情况下,CPU 201将排除范围的图像的显示倍率重置为使得能够显示整个排除范围的倍率、或者换句话说初始显示的倍率。在S806中,CPU 201根据上区域901中进行的捏分操作来改变在上区域901中显示的VR图像602中的裁剪范围的部分的图像的显示倍率,并且通过放大或缩小该图像来显示该图像。显示裁剪范围的放大图像使得用户能够确认裁剪范围中所包括的被摄体的详情。
在S807中,CPU 201判断在下区域902中是否进行了捏分操作。在CPU201判断为在下区域902中进行了捏分操作的情况下,CPU 201进入S808,否则CPU 201进入S810。在S808中,在前面所述的S806中上区域901中的裁剪范围的图像与S801中的初始显示相比放大或缩小的情况下,CPU 201将裁剪范围的图像的显示倍率重置为使得能够显示整个裁剪范围的倍率、或者换句话说初始显示的倍率。在S809中,CPU 201根据下区域902中进行的捏分操作来改变下区域902中所显示的VR图像602中的排除范围的部分的图像的显示倍率,并且通过放大或缩小该图像来显示该图像。显示排除范围的放大图像使得用户能够确认排除范围中所包括的被摄体的详情。
图9B示出在根据在下区域902中进行的分开来放大下区域902中所显示的图像的情况下的显示示例。尽管下区域902中所显示的范围仅是排除范围的一部分而不是整个排除范围,但由于该范围与图9A所示的初始显示相比放大,因此可以更容易地确认被摄体的外观。在从该状态起在上区域901中进行捏分操作的情况下,在S805的处理中重置显示倍率,并且将下区域902中的显示倍率恢复为图9A所示的初始显示的显示倍率。以这种方式,通过按确保整体包括裁剪范围和排除范围其中之一的显示倍率进行显示,可以在失真圆形图像其中之一中必然地确认裁剪范围和排除范围之间的边界部分。
应当注意,S804~S809的双画面显示处理中的根据捏分操作的倍率的改变仅涉及改变显示倍率,但不改变裁剪范围。换句话说,指针603相对于VR图像602的相对位置关系不改变。
在S810中,CPU 201判断是否进行了针对裁剪按钮604的触摸操作。在进行了用于指定裁剪按钮604的触摸操作的情况下,CPU 201进入S811,并且进行前面所述的图5所示的裁剪预览处理。在这种情况下,在裁剪预览处理中的S502或S503的第一次进行中,CPU 201进行裁剪,使得在触摸裁剪按钮604的时间点在上区域901中显示的显示范围的中心(由指针603表示的位置)变为裁剪范围的中心。应当注意,在登记了不需要部分的情况下,可以进行与前面所述的图4所示的S426~S431相同的处理。
在S812中,CPU 201判断是否进行了针对保存按钮624的触摸操作。在进行了用于指定保存按钮624的触摸操作的情况下,CPU 201进入S813,否则CPU 201进入S814。在S813中,CPU 201进行裁剪,使得在触摸保存按钮624的时间点在上区域901中显示的显示范围的中心(由指针603表示的位置)变为裁剪范围的中心。更具体地,CPU 201从360度VR图像中裁剪以上区域901中的显示范围的中心为中心的180度范围(在从中心起的所有方向分别为90度的范围)。另外,CPU 201将所裁剪的VR图像作为可以在VR视图中显示的图像文件记录在记录介质208中。裁剪之后的记录处理是与前面所述的S535的处理相同的处理。一旦S813的处理结束,则CPU 201结束双画面显示处理,并且返回到图3所示的S301。
在S814中,CPU 201判断是否进行了针对取消按钮625的触摸操作。在进行了针对取消按钮625的触摸操作的情况下,CPU 201结束双画面显示处理,返回到S415,并且显示裁剪编辑画面。这样,在双画面显示处理中调整后的显示范围(指针603相对于VR图像602的相对位置关系)被切换到裁剪编辑画面。在未进行针对取消按钮625的触摸操作的情况下,CPU201返回到S802并重复该处理。
尽管已经将双画面显示处理作为当用户在裁剪编辑画面上进行针对双画面确认按钮610的触摸操作的情况下要进行的处理进行了说明,但可以根据发出了裁剪范围的临时设置指示来进行作为裁剪范围的预览显示的双画面显示。例如,根据在图4所示的S425中进行裁剪按钮604的触摸操作,可以代替图5所示的裁剪预览处理而进行图8所示的双画面显示处理。
图10示出前面所述的图4所示的S416和图5所示的S517的端部微调处理的流程图。在CPU 201将非易失性存储器203中所记录的程序在存储器202上展开并执行该程序时,实现该处理。图10所示的端部微调处理是用户通过放大并显示VR图像的裁剪范围和排除范围之间的边界的附近来对裁剪范围进行微调所进行的处理。
在S1001中,CPU 201进行用于从VR视图中裁剪图像的端部微调画面的初始显示。
图11A示出紧接在转变到端部微调处理之后在显示器205上显示的端部微调画面的显示示例。图11A表示水平方向显示和垂直方向显示这两种类型的端部微调画面中的水平方向显示的示例。主区域1101显示作为裁剪编辑画面或预览画面上已显示的相同VR图像602的一部分的裁剪范围的中心部分。在主区域1101中,由于按不会使周边部分失真的显示倍率来显示VR图像602,因此不显示裁剪范围的端部(裁剪范围和排除范围之间的边界)。指针603显示在主区域1101中的固定位置(主区域1101的中心)。确定背景中的VR图像的显示位置,使得指针603相对于VR图像位于与指针603已显示在裁剪编辑画面上的位置相同的位置。通过查看主区域1101,用户可以确认在裁剪范围的中心描绘了什么内容。在主区域1101的下方并排显示作为端部显示区域的左侧区域1102和右侧区域1103。左侧区域1102和右侧区域1103显示裁剪范围中的包括裁剪范围和排除范围之间的边界的部分。
左侧区域1102显示裁剪范围中的一部分的边界部分(包括裁剪范围的端部的一部分的范围)。在初始显示期间和紧接在重置之后,显示由指针603表示的垂直位置(由指针603表示的仰/俯角的位置)处的左侧边界部分。左侧区域1102将表示裁剪范围的内部的图像区域1102a和表示裁剪范围的外部(排除范围的内部)的排除区域1102b以水平划分且彼此相邻的方式显示,并且使得能够确认裁剪范围和排除范围之间的边界的状态。左侧区域1102中的图像区域1102a和排除区域1102b之间的位置关系是固定的,并且即使在进行后面要说明的触摸移动时也保持不变。
右侧区域1103显示裁剪范围中的左侧区域1102中所显示的范围的180度相对侧的一部分的边界部分(与左侧区域1102中所显示的范围不连续的边界部分)。在初始显示期间和紧接在重置之后,显示由指针603表示的垂直位置(由指针603表示的仰/俯角的位置)处的右侧边界部分。右侧区域1103将表示裁剪范围的内部的图像区域1103a和表示裁剪范围的外部(排除范围的内部)的排除区域1103b以水平划分且彼此相邻的方式显示,并且使得能够确认裁剪范围和排除范围之间的边界的状态。右侧区域1103中的图像区域1103a和排除区域1103b之间的位置关系是固定的,并且即使在进行后面要说明的触摸移动时也保持不变。换句话说,即使在根据用户操作来改变裁剪之前的VR图像中的裁剪范围的位置的情况下,显示器205上的与裁剪范围的端部相对应的位置也不改变。显示器205上的与裁剪范围的端部相对应的位置是图像区域1103a和排除区域1103b之间的边界位置、以及图像区域1102a和排除区域1102b之间的边界位置。
例如,在用户希望在VR图像602中使道路部分成为排除范围并且将人行道部分容纳在裁剪范围中的情况下,通过观看这样的显示,用户可以通过容易地确认期望部分是否容纳在裁剪范围内来以优选方式进行裁剪范围的微调。以正常裁剪编辑画面的VR视图中的比整个半球显示大的显示倍率,由于仅显示裁剪范围内的一部分并且显示范围始终在裁剪范围的中心,因此不显示裁剪范围和排除范围之间的边界。因此,无法确认边界。另外,以预览画面上的比整个半球显示大的显示倍率,由于仅显示裁剪范围内的一部分,因此仅可以确认裁剪范围和排除范围之间的边界的一个位置。在通过仅观看边界的一个位置来调整裁剪范围的情况下,可能发生如下的情形:例如,即使在所显示的边界处期望部分容纳在裁剪范围内,要容纳的被摄体在其它边界附近也最终超出裁剪范围。为了确认期望部分在这两个边界附近是否容纳在裁剪范围中,必须多次或大幅度地改变显示范围。另一方面,在诸如图11A所示的端部微调画面等的端部微调画面上,用户可以在不改变显示范围的情况下,通过确认裁剪范围和排除范围之间的边界来确认期望部分是否容纳在裁剪范围内。此外,在诸如图11A所示的端部微调画面等的端部微调画面上,用户可以同时确认多个边界部分(两端的边界部分),并且用户可以在短时间段内或者通过少量操作来确认期望部分是否容纳在裁剪范围内。
在左侧区域1102的左上部(排除区域1102b的上部)显示作为触摸图标的水平/垂直切换按钮1104。通过在该位置显示水平/垂直切换按钮1104,不会妨碍图像区域1102a中所显示的裁剪范围内的视频的可视性。另外,即使当在水平方向显示和垂直方向显示之间切换时,水平/垂直切换按钮1104的显示位置也不会改变,并且水平/垂直切换按钮1104显示在不会妨碍切换之后的裁剪范围内的视频的可视性的位置处。可选地,水平/垂直切换按钮1104可以显示在右侧区域1103的右下部(排除区域1103b的下部)。即使在该位置处,也可以在不会妨碍裁剪范围内的视频的可视性的情况下在水平方向显示和垂直方向显示这两者中显示水平/垂直切换按钮1104。此外,在右侧区域1103的右下部(排除区域1103b的下部)显示作为触摸图标的重置按钮1105。在该位置,可以在不会妨碍裁剪范围内的视频的可视性的情况下在水平方向显示和垂直方向显示这两者中显示重置按钮1105。可选地,由于与上述相同的原因,重置按钮1105可以显示在左侧区域1102的左上部(排除区域1102b的上部)。
图11C表示水平方向显示和垂直方向显示这两个类型的端部微调画面中的垂直方向显示的显示示例。主区域1101的显示内容与水平方向显示的显示内容相同。在主区域1101的下方并排显示作为端部显示区域的左侧区域1112和右侧区域1113。左侧区域1112和右侧区域1113显示裁剪范围中的包括裁剪范围和排除范围之间的边界的部分。
左侧区域1112显示裁剪范围中的一部分的边界部分。在初始显示期间和紧接在重置之后,显示由指针603表示的水平位置(由指针603表示的方位角的位置)的上侧边界部分。左侧区域1112将表示裁剪范围的内部的图像区域1112a和表示裁剪范围的外部(排除范围的内部)的排除区域1112b以垂直划分且彼此相邻的方式显示,并且使得能够确认裁剪范围和排除范围之间的边界的状态。左侧区域1112中的图像区域1112a和排除区域1112b之间的位置关系是固定的,并且即使在进行后面要说明的触摸移动时也保持不变。
右侧区域1113显示裁剪范围中的左侧区域1112中所显示的范围的180度相对侧的一部分的边界部分。在初始显示期间和紧接在重置之后,显示由指针603表示的水平位置(由指针603表示的方位角的位置)的下侧边界部分。右侧区域1113将表示裁剪范围的内部的图像区域1113a和表示裁剪范围的外部(排除范围的内部)的排除区域1113b以垂直划分且彼此相邻的方式显示,并且使得能够确认裁剪范围和排除范围之间的边界的状态。右侧区域1113中的图像区域1113a和排除区域1113b之间的位置关系是固定的,并且即使在进行后面要说明的触摸移动时也保持不变。
在左侧区域1112的左上部(排除区域1112b的上部)显示作为触摸图标的水平/垂直切换按钮1104。该显示位置与图11A所示的显示位置相同。该显示位置是图11A所示的排除区域1102b和图11C所示的排除区域1112b彼此重叠的区域。另外,在右侧区域1113的右下部(排除区域1113B的下部)显示重置按钮1105。该显示位置与图11A所示的显示位置相同。该显示位置是图11A所示的排除区域1103b和图11C所示的排除区域1113b彼此重叠的区域。
在S1002中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对重置按钮1105的触摸操作。在进行了用于指定重置按钮1105的触摸操作的情况下,CPU 201进入S1001,并且将在后面要说明的S1014或S1020中改变的显示位置恢复到原始显示位置。由于该重置,在水平方向显示的情况下显示裁剪范围的上侧中心部分和下侧中心部分之间的左边界和右边界,并且在垂直方向显示的情况下显示裁剪范围的左侧中心部分和右侧中心部分之间的上边界和下边界。在未进行针对重置按钮1105的触摸操作的情况下,CPU 201进入S1103。
在S1003中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对水平/垂直切换按钮1104的触摸操作。在进行了用于指定水平/垂直切换按钮1104的触摸操作的情况下,CPU 201进入S1004,否则CPU 201进入S1005。
在S1004中,在端部微调画面(端部显示区域)是水平方向显示的情况下,CPU 201切换到垂直方向显示,并且在端部微调画面(端部显示区域)是垂直方向显示的情况下,CPU201切换到水平方向显示。例如,在图11A所示的显示状态下进行针对水平/垂直切换按钮1104的触摸操作的情况下,CPU 201切换到图11C所示的显示。另外,在图11C所示的显示状态下进行针对水平/垂直切换按钮1104的触摸操作的情况下,CPU 201切换到图11A所示的显示。
在S1005中,基于从触摸面板206a通知的信息,CPU 201判断在主区域1101中是否进行了触摸移动。更具体地,CPU 201判断是否进行了主区域1101上的触及以及触摸移动。在进行了源自于主区域1101的触摸移动的情况下,CPU 201进入S1006,否则CPU 201进入S1008。
在S1006中,CPU 201根据通过触摸移动的滑动操作来改变主区域1101中所显示的VR图像的显示范围。该处理与前面所述的图3所示的S306的处理相同。
在S1007中,在水平方向显示的情况下,CPU 201根据通过触摸移动的滑动操作来改变左侧区域1102和右侧区域1103中的VR图像的显示范围(换句话说,在图像区域1102a和图像区域1103a中要显示的部分)。在垂直方向显示的情况下,CPU 201改变左侧区域1112和右侧区域1113中的VR图像的显示范围(换句话说,在图像区域1112a和图像区域1113a中要显示的部分)。这是因为,根据主区域1101中的触摸移动来改变裁剪范围,并且VR图像中的裁剪范围和排除范围之间的位置关系改变。
在S1008中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对除触摸按钮的显示区域以外的左侧区域1102、右侧区域1103、左侧区域1112和右侧区域1113中的任何区域的触及。在进行了针对除触摸按钮的显示区域以外的左侧区域1102、右侧区域1103、左侧区域1112和右侧区域1113中的任何区域的触及的情况下,CPU 201进入S1009,否则CPU 201进入S1023。
在S1009中,CPU 201将存储器202中所保持的并且表示垂直触摸移动或水平触摸移动的移动标志清零(关闭)并初始化。
在S1010中,基于从触摸面板206a通知的信息,CPU 201判断在显示器205的垂直方向上是否进行了触摸移动。例如,在每当进行单位移动量的触摸移动时垂直方向上的移动分量都大于水平方向上的移动分量的情况下,判断为在垂直方向上进行了触摸移动。在垂直方向上进行了触摸移动的情况下,CPU 201进入S1011,否则CPU 201进入S1016。
在S1011中,CPU 201判断存储器202中所保持的并且表示水平方向上的触摸移动在进行中的水平移动标志是否开启。在CPU 201判断为水平移动标志开启的情况下,由于要忽略垂直方向上的移动分量,因此CPU 201进入S1016。在CPU 201判断为水平移动标志关闭的情况下,CPU 201进入S1012。
在S1012中,CPU 201将表示垂直方向上的触摸移动在进行中的垂直移动标志设置为开启(作为开启记录在存储器202中),并且进入S1013。
在S1013中,CPU 201判断当前显示模式是否是端部微调画面(端部显示区域)的水平方向显示和垂直方向显示中的水平方向显示。在水平方向显示的情况下,CPU 201进入S1014,而在垂直方向显示的情况下,CPU 201进入S1015。
在S1014中,CPU 201沿着裁剪范围的边界更新左侧区域1102和右侧区域1103中的VR图像的显示位置。这意味着,在360度VR图像已被映射到的球体中将半球指定为裁剪范围的情况下,显示范围沿着半球的圆形裁剪边界移动。因此,VR图像中的裁剪范围和排除区域之间的位置关系不改变,但图像区域1102a中所显示的VR图像的范围和图像区域1103a中所显示的VR图像的范围改变。图像区域1102a和图像区域1103a维持这样的关系:即使在显示范围改变时,图像区域1102a和图像区域1103a也显示裁剪边界彼此相差180度的部分。因此,在用户垂直地进行与180度相对应的触摸移动的情况下,用户可以确认当前设置的裁剪范围的边界的整个范围。由于在S1014的处理中裁剪范围不改变,因此主区域1101的显示内容不改变。
图11B示出如下情况的显示示例:从图11A所示的状态起进行针对左侧区域1102的向下触摸移动,并且左侧区域1102滚动以使图像区域1102a中所显示的图像部分向下移动(使显示范围向上移动)。左侧区域1102中所显示的部分从显示了VR图像中的水平方向(地平线方向)上的边界部分的图11A所示的状态起沿着裁剪范围的边界移动,并且图11B示出左侧区域1102中正显示的天空方向上的边界部分。右侧区域1103中所显示的部分是裁剪范围的边界中的左侧区域1102中所显示的天空方向的180度相对侧的地面方向上的图像。
在S1015中,CPU 201根据垂直触摸移动来改变图像区域1112a和图像区域1113a中所显示的VR图像的显示范围。这意味着,裁剪范围的边界相对于裁剪之前的VR图像的位置根据垂直触摸移动而移动。由于裁剪范围的角度维持于180度,因此不论从左侧区域1112和右侧区域1113中的哪个位置进行垂直触摸移动,图像区域1112a和图像区域1113a这两者的显示范围都改变。例如,在图像区域1112a的显示范围由于边界在使裁剪范围变窄的方向上的移动而改变的情况下,图像区域1113a的显示范围也由于边界在使裁剪范围变宽的方向上的移动而改变,以使裁剪范围的角度维持于180度。因此,裁剪范围改变,并且主区域1101中所显示的范围也改变。用户可以通过在边界的附近(图像区域1112a和图像区域1113a)确认VR图像有多少要包括在裁剪范围中和VR图像有多少要包括在排除范围中的同时垂直地进行触摸移动,来严格地调整裁剪范围。在该处理中,裁剪范围的宽度(180度)不改变,但裁剪之前的VR图像中的裁剪范围的位置改变。
在S1016中,基于从触摸面板206a通知的信息,CPU 201判断在显示器205的水平方向上是否进行了触摸移动。例如,在每当进行单位移动量的触摸移动时水平方向上的移动分量都大于垂直方向上的移动分量的情况下,判断为在水平方向上进行了触摸移动。在水平方向上进行了触摸移动的情况下,CPU 201进入S1017,否则CPU 201进入S1022。
在S1017中,CPU 201判断存储器202中所保持并且表示垂直方向上的触摸移动在进行中的垂直移动标志是否开启。在CPU 201判断为垂直移动标志开启的情况下,由于将忽略水平方向上的移动分量,因此CPU 201进入S1022。在CPU 201判断为垂直移动标志关闭的情况下,CPU 201进入S1018。
在S1018中,CPU 201将表示水平方向上的触摸移动在进行中的水平移动标志设置为开启(作为开启记录在存储器202中),并且进入S1019。
在S1019中,CPU 201判断当前显示模式是否是端部微调画面(端部显示区域)的水平方向显示和垂直方向显示中的垂直方向显示。在垂直方向显示的情况下,CPU 201进入S1020,而在水平方向显示的情况下,CPU 201进入S1021。
在S1020中,CPU 201沿着裁剪范围的边界更新左侧区域1112和右侧区域1113中的VR图像的显示位置。该处理与前面所述的S1014相同。然而,左侧区域1112和右侧区域1113中的VR图像的显示朝向与S1014相差了90度。由于在S1020的处理中不改变裁剪范围,因此主区域1101的显示内容不改变。
图11D示出如下情况的显示示例:从图11C所示的状态进行针对右侧区域1113的向左触摸移动,并且右侧区域1113滚动以使图像区域1113a中所显示的图像部分向左移动(使显示范围在图像区域1113a的朝向上向右移动)。右侧区域1113中所显示的部分从显示了VR图像中的垂直方向下侧(地面方向)的边界部分的图11C所示的状态起沿着裁剪范围的边界移动,并且图11D示出右侧区域1113中正显示的水平方向(地平线方向)上的边界部分。左侧区域1112中所显示的部分是裁剪范围的边界中的右侧区域1113中所显示的方向的180度相对侧的水平方向(地平线方向)上的图像。
在S1021中,CPU 201根据水平触摸移动来改变图像区域1102a和图像区域1103a中所显示的VR图像的显示范围。这意味着,裁剪范围的边界相对于裁剪之前的VR图像的位置根据水平触摸移动而移动。由于裁剪范围的角度维持于180度,因此不论从左侧区域1102和右侧区域1103的哪个位置进行水平触摸移动,图像区域1102a和图像区域1103a这两者的显示范围都改变。例如,在图像区域1102a的显示范围由于边界在使裁剪范围变窄的方向上的移动而改变的情况下,图像区域1103a的显示范围也由于边界在使裁剪范围变宽的方向上的移动而改变,以使裁剪范围的角度维持于180度。因此,裁剪范围改变,并且主区域1101中所显示的范围也改变。用户可以通过在边界的附近(图像区域1112a和图像区域1113a)确认VR图像有多少要包括在裁剪范围中和VR图像有多少要包括在排除范围中的同时水平地进行触摸移动,来严格地调整裁剪范围。在该处理中,裁剪范围的宽度(180度)不改变,但裁剪之前的VR图像中的裁剪范围的位置改变。
在S1022中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了触摸停止。在进行了触摸停止的情况下,CPU 201进入S1023,否则CPU 201返回到S1010并且重复该处理。
在S1023中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对返回按钮1106的触摸操作。在不存在用于指定返回按钮1106的触摸操作的情况下,CPU 201返回到S1002并且重复处理,而在存在针对返回按钮1106的触摸操作的情况下,CPU 201结束端部微调处理。
在结束端部微调处理的情况下,将在端部微调处理中调整后的裁剪范围切换至在端部微调处理结束之后所进行的处理。因此,例如,在端部微调处理中进行裁剪范围的微调并且端部微调处理结束以返回到图4所示的裁剪编辑处理(裁剪编辑画面)的情况下,通过随后在不改变显示范围的情况下触摸裁剪按钮604,可以在端部微调处理中调整后的裁剪范围中进行裁剪。可选地,端部微调画面可被配置成接受裁剪指示,在这种情况下,在端部微调画面上接受裁剪指示时,CPU 201可以直接进入S426或S427。另外,端部微调画面可被配置为接受裁剪保存指示,在这种情况下,在端部微调画面上接受裁剪保存指示时,CPU201可以直接进入S535。
图12示出前面参考图4的S418所述的不需要部分指定处理的流程图。在CPU 201将非易失性存储器203中所记录的程序在存储器202上展开并执行该程序的情况下,实现该处理。
在S1201中,CPU 201将不需要部分指定画面显示在显示器205上。图13A示出不需要部分指定画面的显示示例。具有相同附图标记的显示项与前面所述的显示项(裁剪编辑画面和预览画面上的显示项)相同。
指针1301是如下的指示符,该指示符被显示成固定至不需要部分指定画面的中心,并且使用该指示符来指定VR图像602中的不需要部分(不需要被摄体的位置、期望排除的被摄体的位置)。为了避免与指针603和指针621的混淆,以与指针603和指针621的显示模式不同的显示模式(不同的颜色、形状或图案等)来显示指针1301。然而,在存在针对后面要说明的不需要部分指定画面上所显示的保存按钮624的触摸操作的情况下,指针1301用作用于表示裁剪范围的中心的指针。不需要部分登记按钮1302是用于指定并登记不需要部分的触摸按钮。在进行用于指定不需要部分登记按钮1302的触摸操作时,将VR图像602中的在该时间点由指针1301表示的位置的位置信息作为不需要部分来登记(记录在存储器202中)。不需要部分信息删除按钮1303是用于删除与已登记的不需要部分有关的信息的触摸按钮。在进行用于指定不需要部分信息删除按钮1303的触摸操作时,删除(清除)已登记的不需要部分的一条信息,并且取消作为不需要部分的登记。余量设置按钮1304是用于设置源自于不需要部分的选择无效范围的余量的触摸按钮。结束按钮1305是用于接受用以结束不需要部分指定处理并返回到裁剪编辑处理的指示的触摸按钮。
由于S1202和S1203包括用于根据触摸移动来改变显示范围的处理、并且与图3所示的S305和S306中的处理相同,因此将省略该处理的详情。即使通过触摸移动改变了VR图像602的显示范围,指针1301的显示范围也不改变。另外,在登记了不需要部分的情况下,如果在改变之后的显示范围中包括选择无效范围,则可识别地显示(以强调方式显示)所显示的VR图像中的选择无效范围。这将在后面参考图13B来进行说明。
由于S1204和S1205包括用于根据捏分操作来改变显示倍率的处理、并且与图3所示的S309和S310中的处理相同,因此将省略该处理的详情。此外,在登记了不需要部分的情况下,如果在显示倍率的改变之后的显示范围中包括选择无效范围,则可识别地显示所显示的VR图像中的选择无效范围。
在S1206中,CPU 201判断是否进行了针对不需要部分登记按钮1302的触摸操作。在进行了针对不需要部分登记按钮1302的触摸操作的情况下,CPU201进入S1207,否则CPU201进入S1208。在S1207中,CPU 201采用VR图像602中的指针1301所表示的位置的位置信息(仰/俯角的角度信息和方位角的角度信息)作为不需要部分,并且登记相应的不需要部分信息。作为不需要部分信息,将位置信息和登记编号(从1开始且在每次登记不需要部分时递增+1)记录在存储器202中。在由指针1301表示的位置已被登记为不需要部分的情况下,CPU 201跳过S1207的处理。
一旦新登记了不需要部分,则CPU 201将以新登记的不需要部分的位置信息为中心的组合了裁剪角度和余量角度的角度的区域设置为选择无效范围。由于在裁剪范围的基准位置被设置在选择无效范围内时、已登记的不需要部分最终被包括在裁剪范围中,因此选择无效范围可被视为不适合设置为裁剪范围的基准位置的不适当范围。由于在裁剪范围的基准位置被设置在除选择无效范围以外的范围(选择有效范围)中时、不包括已登记的不需要部分,因此除选择无效范围以外的范围可被视为适合于设置裁剪范围的基准位置的适当范围。在本实施例中,裁剪角度是180度。尽管在后面要说明的S1210和S1211中用户可以任意改变余量角度,但余量角度的初始值是10度。在裁剪角度是180度并且余量角度是10度的情况下,以新登记的不需要部分为中心的周边中的100度的范围(作为裁剪范围180的一半的90度+10度)、或者换句话说合计角度为200度的范围变为选择无效范围。在存在已登记的其它不需要部分并且已设置了选择无效范围的情况下,将通过将基于新登记的不需要部分所设置的选择无效范围与所设置的选择无效范围合并而创建的范围设置为选择无效范围。在将选择无效范围内的任何位置设置为裁剪范围的中心的情况下,存在被指定为不需要部分的位置处的被摄体(视频)最终被包括在裁剪范围中的可能性。换句话说,选择无效范围内的各位置是优选未被设置为裁剪范围的中心的位置。另外,CPU 201对显示器205上所显示的VR图像602进行可识别显示,使得可识别所设置的选择无效范围。图13B示出选择无效范围的可识别显示的显示示例。在所显示的VR图像602中,通过阴影可识别地显示选择无效范围1307。应当注意,可识别显示的显示模式不限于此,并且作为代替,可以进行通过半透明掩模的显示、或者通过向单色或深褐色的颜色改变的显示等。另外,在本实施例中,尽管将说明强调并显示选择无效范围的示例,但由于仅需从并非选择无效的范围可识别选择无效范围,因此作为代替,可以强调并显示并非选择无效的范围。可选地,在VR图像602中,可以隐藏选择无效范围中的视频,并且可以显示除选择无效范围以外的范围中的视频。
在由于S1207中的不需要部分登记处理中新登记的不需要部分而使得裁剪之前的VR图像的整个范围变为选择无效范围的情况下,代替登记新的不需要部分,进行表示不能接受附加登记的错误显示。同样,在裁剪之前的VR图像中的除选择无效范围以外的范围(选择有效范围)的宽度降至低于阈值的情况下,代替登记新的不需要部分,进行表示不能接受附加登记的错误显示。
将使用图14A~图14G的概念图来说明直到设置选择无效范围为止的流程。图14A所示的范围1450表示VR图像中的正显示在显示器205上的区域(显示范围),并且指针方向1451表示如从虚拟球体的中心观看到的显示范围的中心的方向且对应于由指针1301表示的位置。不需要部分候选1452是由用户视为VR图像中的裁剪所不需要的部分(要排除的部分)的部分。在存在裁剪所不需要的部分的情况下,用户将与显示器205的显示区域的中心相对应的指针方向1451与裁剪所不需要的部分1452(被视为裁剪所不需要的被摄体)对准。随后,用户触摸不需要部分登记按钮1302。
图14B表示紧接在触摸并登记一个不需要部分之后的概念图。由加网表示的选择无效范围1453表示从指针方向1451起的与裁剪角度1454(180度)相对应的区域,并且表示在余量为0度的情况下的选择无效范围。如图14C所示,在将选择无效范围内的位置1455指定为裁剪的中心的情况下,裁剪范围变为图14D所示的留白部1456的范围并且包括不需要部分1452。应当注意,在图14D中,涂黑部分表示排除范围。
在设置余量角度的情况下,将选择无效范围设置为诸如图14E所示的选择无效范围1457等的比以不需要部分为中心的180度(半球)宽的范围。另外,在如图14F所示登记多个不需要部分的情况下(登记不需要部分1452和不需要部分1458这两个位置的示例),以各不需要部分为中心计算选择无效范围,并且通过将所有的选择无效范围相加所获得的区域是选择无效范围。
在如上所述所设置(确定)的选择无效范围中,以与图13B所示的选择无效范围1307相同的方式可识别地显示显示器205上所显示的区域。诸如选择无效范围1307等的可识别显示不限于不需要部分指定画面,并且也在参考图4所述的裁剪编辑处理的裁剪编辑画面上进行。可选地,可以采用能够通过用户操作而在开启/关闭状态(显示状态/隐藏状态)之间切换选择无效范围的可识别显示的配置。另外,可以显示选择无效范围和并非选择无效的范围之间的边界线。此外,在裁剪编辑画面上指针603处于选择无效范围中的情况下,可以通过改变指针603的显示模式、或者显示警告图标或警告消息等来向用户通知指针603的位置不适合作为裁剪范围的中心指定位置这一事实。
在S1208中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对不需要部分信息删除按钮1303的触摸操作。在进行了用于指定不需要部分信息删除按钮1303的触摸操作的情况下,CPU 201进入S1209,否则CPU201进入S1210。在S1209中,CPU 201从存储器202获取不需要部分信息。在未登记不需要部分信息的情况下,CPU 201暂停处理并且进入S1210。在登记了不需要部分信息的情况下,CPU 201使VR图像602的显示范围移动,使得具有最大登记编号的位置信息(最近登记的不需要部分)的角度在显示的中心,并且将该不需要部分信息从存储器202删除。另外,清除(取消)了基于所删除的不需要部分的选择无效范围。换句话说,将仅基于所删除的不需要部分的选择无效范围从合并后的选择无效范围中去除,并且针对所去除的部分的可识别显示被隐藏(显示为选择有效范围)。在登记了仅一条不需要部分信息的情况下删除不需要部分信息时,消除了诸如图13B所示的选择无效范围1307等的阴影部分。
在S1210中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对余量设置按钮1304的触摸操作。在进行了用于指定余量设置按钮1304的触摸操作的情况下,CPU201进入S1211,否则CPU 201进入S1212。在S1211中,CPU 201从存储器202读取余量设置信息,显示余量设置对话框,并且接受余量设置操作。图13C示出余量设置对话框1306的显示示例。除余量设置对话框1306以外的背景区域可被显示得暗。CPU 201根据针对余量设置对话框1306的上下箭头标记的触摸操作、垂直方向上的触摸移动操作和通过显示数字小键盘所进行的数值输入操作,来改变余量的设置数值。改变后的数值被存储在存储器202中。一旦改变了余量的设置数值,则基于所登记的不需要部分信息的选择无效范围的宽度相应地改变了与该余量的改变相对应的量。余量的设置是与基于一个不需要部分所设置的选择无效范围的大小同裁剪范围的大小(在本实施例中为180度)相比要扩展的程度有关的设置。余量设置信息的数值范围被设置为0~(360-裁剪角度)的范围,并且在超过该范围的情况下,不对数值进行改变。在触摸了除余量设置对话框1306以外的部分的情况下,CPU 201关闭(隐藏)余量设置对话框1306。
在S1212中,基于从触摸面板206a通知的信息,CPU 201判断是否进行了针对保存按钮624的触摸操作。在进行了用于指定保存按钮624的触摸操作的情况下,CPU 201进入S1213,否则CPU 201进入S1219。
在S1213中,CPU 201判断在存储器202中是否登记了不需要部分。在登记了至少一个不需要部分的情况下,CPU 201进入S1215,而在未登记不需要部分的情况下,CPU 201进入S1214。
在S1214中,CPU 201基于当前显示范围的中心(或者换句话说,作为裁剪范围的中心所采用的位置(在不需要部分指定画面的情况下为指针1301所表示的位置))的方位角和仰/俯角来确定裁剪范围,并且进行裁剪处理。更具体地,CPU 201从360度VR图像中裁剪以显示范围的中心为中心的180度范围(从中心起的所有方向上分别为90度的范围)。另外,CPU 201将所裁剪的VR图像作为在VR视图中可以显示的图像文件记录在记录介质208中。裁剪之后的记录处理是与前面所述的S535的处理相同的处理。一旦S1214的处理结束,则CPU201结束不需要部分指定处理,并且返回到图3所示的S301。
在S1215中,CPU 201判断当前显示范围的中心或者换句话说作为裁剪范围的中心所采用的位置(在不需要部分指定画面的情况下为指针1301所表示的位置)是否在选择无效范围内。在当前显示范围的中心在选择无效范围内的情况下,CPU 201进入S1216,否则CPU 201进入S1214。
在S1216中,CPU 201在显示器205上显示用于通知所登记的不需要部分将包括在基于触摸了保存按钮624的时间点的显示范围的裁剪范围中的警告。图13D示出S1216中所显示的警告的显示示例。对话框1308显示OK按钮1309和取消按钮1310以及读起来为“你承认包括了不需要部分吗?”的消息。通过查看显示,用户可以识别出所登记的不需要部分将包括在基于进行了针对保存按钮624的触摸操作的时间点的显示范围的裁剪范围中。
在S1217中,CPU 201判断是否进行了针对OK按钮1309的触摸操作。在进行了针对OK按钮1309的触摸操作的情况下,CPU 201进入S1214。换句话说,由于用户承认了不需要部分将被包括在裁剪范围中,因此在包括不需要部分的裁剪范围中进行裁剪,并且保存所裁剪的VR图像。在未进行针对OK按钮1309的触摸操作的情况下,CPU 201进入S1218。
在S1218中,CPU 201判断是否进行了针对取消按钮1310的触摸操作。在未进行针对取消按钮1310的触摸操作的情况下,CPU 201返回到S1217。在进行了针对取消按钮1310的触摸操作的情况下,CPU 201在不进行基于触摸了保存按钮624的时间点的显示范围的裁剪范围中的裁剪和保存的情况下,隐藏对话框1308并且返回到S1202以重复处理。
根据S1215~S1218的处理,可以防止用户在选择无效范围内无意中指定裁剪范围的中心。应当注意,当指针在选择无效范围内时,在不显示警告的情况下(换句话说,在不进行S1216~S1218的处理的情况下),可以忽略(无效)裁剪和保存指示。可选地,可以在不接受对OK或取消的选择、并且不进行裁剪和保存的情况下仅显示警告。
应当注意,除参考图13A所述的各种显示项之外,还可以显示跳转按钮。另外,在指针1301处于选择无效范围内的情况下,可以根据针对跳转按钮的触摸操作(不伴随有触摸位置的移动的触摸操作)来改变VR图像602的显示范围,使得指针1301位于选择无效范围的外部。
另外,代替参考图13A所述的不需要部分登记按钮1302或者除该不需要部分登记按钮1302之外,可以显示所需部分登记按钮。根据针对所需部分登记按钮的触摸操作,将该时间点的由指针1301所表示的VR图像602的位置作为所需部分的位置信息记录(登记)在存储器202中。此外,CPU 201计算以所需部分的位置信息为中心的除通过从裁剪角度中减去余量角度所获得的角度的区域以外的区域,作为选择无效范围。从概念图的角度,在如图14G所示指定所需部分1459的情况下,将除裁剪角度(例如,180度)-余量角度(例如,10度)的区域以外的区域设置为诸如选择无效范围1460等的选择无效范围。在存在多个不需要部分和所需部分的情况下,将组合了基于所有指定位置(登记位置)而分别计算出的所有选择无效范围的区域设置为选择无效范围。
在S1219中,CPU 201判断是否进行了针对结束按钮1305的触摸操作。在不存在用于指定结束按钮1305的触摸操作的情况下,CPU 201返回到S1202并且重复处理,而在存在针对结束按钮1305的触摸操作的情况下,CPU 201结束不需要部分指定处理,并且进入图4的S419。
将参考图15A~图15D和图16A~图16C来说明在参考S502所述的仰/俯角有效的情况下的裁剪处理和在参考S503所述的仰/俯角无效的情况下的裁剪处理。
图15A示出显示器205上的裁剪编辑画面的显示示例(换句话说,裁剪范围指定之前的显示示例)。假定基准方向(显示开始方向)是方位角0度(例如,北)和仰/俯角0度(与天顶轴或重力方向轴垂直的方向、水平方向)。图15A表示裁剪编辑画面上的在方位角被设置为0度且仰/俯角被设置为约60度的仰角的情况下的VR图像602的显示示例。换句话说,表示显示范围的中心的指针603显示在比水平方向更向上(天空侧)的方向上。应当注意,图15A表示如下情况的显示示例:前面所述的仰/俯角的有效/无效设置是无效的,并且仰/俯角有效/无效按钮613处于表示仰/俯角的设置是无效的显示模式。
图16A是示意性表示360度VR图像被映射到的虚拟球体上的图15A中的显示范围的图。在以观看者的观看位置1601作为中心的情况下,球体上的位置可以由围绕天顶轴1602的360度的方位角和围绕与天顶轴1602垂直的水平轴的360度的仰/俯角来识别。裁剪之前的360度VR图像被映射到整个球体上,并且整个球体变为有效视频范围1603。图16A表示如从观看者观看的、视线方向1605指向向北(换句话说,方位角0度)的天空中的被摄体1604的示例。换句话说,显示范围1607被设置在使得显示范围1607的中心与视线方向1605相交的位置处。应当注意,图16A~图16C中的显示范围是以变形的方式示出的,并且比图15A~图15D中的显示范围窄。然而,图16A~图16C中的显示范围的中心是使用与图15A~图15D所示的显示范围的中心相同的基准示出的。因此,显示范围1607的中心是由图15A所示的指针603表示的位置,并且变为裁剪指定位置1606。
在仰/俯角无效并且显示范围被设置为图15A和图16A所示的范围的情况下使用裁剪按钮604来进行用于指定裁剪范围的操作时,通过S503的处理进行裁剪处理,从而得到图15B所示的显示范围。图15B表示紧接在从图15A所示的状态进行了裁剪按钮604的触摸操作并且设置了裁剪范围之后的预览画面的显示示例。显示范围的仰/俯角是与裁剪之前的仰/俯角60度不同的水平方向(仰/俯角0度),并且指针621也显示在仰/俯角0度的位置处。图15B所示的显示范围的方位角是与裁剪之前的图15A相同的0度(北)。由于方位角与裁剪之前相同,因此在假定方位角90度(东)已被设置为裁剪之前的显示范围的情况下,紧后的预览画面的显示范围和裁剪范围的中心也是方位角90度(东)。
图16B是示意性表示360度VR图像被映射到的虚拟球体上的图15B所示的状态下的裁剪范围的图。球体右侧的留白半球表示作为裁剪之后的180度VR图像的裁剪范围1611(有效视频范围)。相对侧的半球是要从裁剪之后的VR图像中排除并丢弃的排除范围1612(无效视频范围)。裁剪范围1611是以中心位置1613为中心的半球范围。中心位置1613是具有由裁剪指定位置1606表示的方位角0度且不论裁剪指定位置1606如何都具有仰/俯角0度(水平)的位置。尽管如该图所示、裁剪范围1611的中心位置1613与基于紧挨在进行用于指定裁剪范围的操作之前的视线方向1605或显示范围1607的裁剪指定位置1606彼此不一致、并且具有不同的仰/俯角,但这是因为仰/俯角被设置为无效。裁剪范围1611的裁剪面1610与天顶轴1602平行。
在仰/俯角有效并且显示范围被设置为图15C和图16A所示的范围的情况下使用裁剪按钮604来进行用于指定裁剪范围的操作时,通过S502的处理来进行裁剪处理,这样得到图15D所示的显示范围。假定图15C的显示范围与图15A的显示范围相同。图15C与图15A的不同之处仅在于仰/俯角有效/无效的设置,并且在图15C中,仰/俯角有效/无效按钮613的显示模式是表示该设置是仰/俯角有效的显示模式。图15D表示紧接在从图15C所示的状态进行了裁剪按钮604的触摸操作并且设置了裁剪范围之后的预览画面的显示示例。显示范围的仰/俯角是与裁剪之前的仰/俯角相同的60度,并且指针621也显示在仰/俯角为60度的位置处。图15D所示的显示范围的方位角是与裁剪之前的图15C相同的0度(北)。
图16C是示意性表示360度VR图像被映射到的虚拟球体上的图15D所示的状态下的显示范围和裁剪范围的图。球体右上侧的留白半球表示变为裁剪之后的180度VR图像的裁剪范围1611(有效视频范围)。相对侧的半球是从裁剪之后的VR图像中要排除并丢弃的排除范围1612(无效视频范围)。裁剪范围1611的中心位置1613在方位角和仰/俯角这两者上与裁剪指定位置1606一致。这是因为仰/俯角被设置为有效。
在根据本实施例的VR图像的裁剪中,仰/俯角有效/无效的初始设置是无效,并且在如图16B所示的裁剪范围等的裁剪范围中进行裁剪。利用该裁剪范围,由于有效视频范围从正上方(仰角90度)延伸到正下方(俯角90度),因此利用HMD观看的观看者可以通过简单地改变面部的朝向(通过转动他或她的头部)来容易地全景观看裁剪之后的整个VR图像。在假定如图16C所示、有效视频范围超出正上方并且延伸到后侧的情况下,观看者必须将他或她的头部朝向超出正上方的后侧,以便观看超出正上方的后侧等。为了这样做,观看者代替简单地转动他或她的头部,必须进行身体负担相对较大的身体运动,诸如使他或她的躯干成弓形、扭转他或她的上身、或者改变他或她的站立方向并向后看等。换句话说,通过根据朝向变化的显示范围的改变来全景观看裁剪之后的VR图像在身体上要求相对较高。相比之下,通过不论指定裁剪范围时的显示范围的仰/俯角如何、都裁剪诸如图16B所示的范围等的以水平方向为中心的范围,可以生成减轻这种身体负担并且舒适地全景观看的VR图像。另外,由于人的眼睛被定位成使得在面向前方时可观看水平方向上的前方,因此采用视场(换句话说,裁剪范围)的中心的仰/俯角作为水平方向,这使得即使在人体的构造上也减少了不适感。
此外,在根据本实施例的VR图像的裁剪中,在仰/俯角有效/无效设置被设置为有效的情况下,在诸如图16C所示的裁剪范围等的裁剪范围中进行裁剪。根据被摄体的内容,该裁剪范围是优选的,因为在裁剪之后的VR图像中,可以在排除不需要的地面部分的同时全景地观看整个星空,或者可以全景地观看如从天花板看到的房间内的宽范围。
对于用户,根据仰/俯角有效/无效设置的改变,难以设想和理解是要在图16B所示的裁剪范围1611中还是要在图16C所示的裁剪范围1611中进行裁剪。因此,使用示意图来有利地提供示出不同的仰/俯角有效/无效设置如何得到不同的裁剪范围的引导显示,以便于用户的理解。
图17A示出显示器205上的裁剪范围的引导显示的显示示例。在例如触摸仰/俯角有效/无效按钮613并且仰/俯角设置从无效切换到有效的情况下(图4的S422、图5的S521),显示图17A所示的引导对话框1700并持续规定时间(例如,5秒)。在对话框1700上显示表示裁剪之前的示意图的图形1701、表示裁剪之后的示意图的图形1702、以及消息1704。图形1701是使用球体的示意图的引导,并且在裁剪之前表示在指定仰/俯角0度上方的位置作为球体上的裁剪指定位置(由箭头表示的位置)的情况下的示意图。图形1702是使用表示仰/俯角设置为有效的情况下的裁剪范围的球体的示意图的引导,并且在裁剪之后表示如下:要裁剪基于裁剪指定位置的仰/俯角的半球。消息1704表示裁剪范围的仰/俯角设置已被设置为有效。应当注意,代替图形1701,可以显示表示在将仰/俯角设置被设置为有效的情况下的裁剪范围的图17B所示的图形1703。
图17B示出显示器205上的裁剪范围的引导显示的显示示例。在例如触摸仰/俯角有效/无效按钮613并且仰/俯角设置从有效切换到无效的情况下(图4的S421、图5的S520),显示图17B所示的引导对话框1700并持续规定时间(例如,5秒)。在对话框1700上显示表示裁剪之前的示意图的图形1701、表示裁剪之后的示意图的图形1703、以及消息1705。图形1701是使用球体的示意图的引导,并且在裁剪之前表示在将仰/俯角0度上方的位置指定为裁剪指定位置(由箭头表示的位置)的情况下的示意图,并且与图17A所示的图形1701相同。图形1703是使用表示仰/俯角设置为无效的情况下的裁剪范围的球体的示意图的引导,并且表示:在裁剪之后,不论裁剪指定位置的仰/俯角如何,都要裁剪通过垂直分割球体所获得的半球(中心是水平方向的半球)。消息1705表示裁剪范围的仰/俯角设置已被设置为无效。应当注意,代替图形1701,可以显示表示仰/俯角设置被设置为无效的情况下的裁剪范围的图17A所示的图形1702。
诸如图17A和图17B所示的引导等的引导不限于切换仰/俯角设置的情况,并且可以在电子手册等中显示与仰/俯角设置相关的描述的情况下显示。另外,作为诸如仰/俯角有效/无效按钮613等的表示设置状态的信息,可以显示诸如图17A和图17B所示的引导等的引导。此外,代替显示表示裁剪之前的图形1701,显示表示裁剪之后的图形(仰/俯角无效的情况下的图形1702和仰/俯角有效的情况下的图形1703)。
尽管在以上呈现的实施例中已经说明了从摄像设备所拍摄到的VR图像来生成具有更窄范围的VR图像的示例,但原始VR图像不限于摄像设备所拍摄到的VR图像。本发明也可应用在从通过计算机图形(CG)等创建的VR内容裁剪并生成更窄的VR内容的情况。
另外,上述各种流程图的处理不必组合进行且各处理可以单独进行,并且上述流程图的一部分可以与其它实施例组合采用。例如,可以进行上述的整个半球显示、双画面显示处理和端部微调处理等中的各处理,作为用于在不与用于通过指定裁剪范围的中心的方法来指定裁剪范围的图4所示的裁剪编辑处理组合的情况下、单独指定裁剪范围的处理。换句话说,例如,在CPU201在图3所示的S311中判断为进行了针对裁剪编辑按钮的触摸操作的情况下,可以直接转变为参考图7A和图7B所述的整个半球显示,以使得能够指定裁剪范围。可以采用如下的配置:可以通过直接转变为参考图8、图9A和图9B所述的双画面显示处理或者直接转变为参考图10和图11A~图11D所述的端部微调处理来指定裁剪范围。
根据上述本发明,可以从VR内容以良好的可操作性来生成基于用户指定裁剪范围的操作的具有更窄范围的VR内容。
应当注意,作为CPU 101所要进行的控制的上述各种控制可以由一个硬件来执行,或者多个硬件(例如,多个处理器或电路)可以通过分担处理来控制整个设备。
另外,尽管已经基于本发明的优选实施例详细描述了本发明,但应当理解,本发明不限于特定实施例,并且不构成背离本发明的范围的各种模式也包括在本发明中。此外,上述实施例仅仅表示本发明的示例,并且该实施例也可以与其它实施例组合。
此外,尽管在以上呈现的实施例中已经说明了将本发明应用于电子装置200(智能电话等)的示例,但本发明不限于该示例。本发明可以应用于能够进行控制以显示用于从VR内容裁剪具有更窄范围的VR内容的操作画面的任何电子装置。例如,本发明可以应用于个人计算机、PDA、移动电话终端、移动图像查看器、打印机设备、数字相框、音乐播放器、游戏装置、电子书阅读器和视频播放器等。本发明还可应用于数字照相机、电视设备、投影设备、平板终端、AI扬声器、家用电器、车载设备和医疗设备等。
根据本公开,可以从VR内容以良好的可操作性来生成具有更窄范围的VR内容。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种电子装置,包括:
显示控制单元,其被配置为进行控制,使得:
在第一画面上,将具有第一视频范围的VR内容的一部分的范围作为显示范围显示在显示器上,并且根据所述电子装置的朝向变化或用户所进行的显示范围改变操作来改变所述显示范围的位置,以及
在第二画面上,并排显示具有所述VR内容中的比所述第一视频范围窄的第二视频范围的第一图像和具有所述第一视频范围中的位于所述第二视频范围外部的范围的第二图像;
生成单元,其被配置为生成包括所述第二视频范围的已编辑VR内容;以及
改变单元,其被配置为根据用户在所述第一图像和所述第二图像正显示在所述第二画面上的状态下所进行的视频范围改变操作,来改变所述第二视频范围。
2.根据权利要求1所述的电子装置,其中,
所述第一图像是完全容纳所述第二视频范围的图像,以及
所述第二图像是完全容纳位于所述第二视频范围外部的范围的图像。
3.根据权利要求1所述的电子装置,其中,
所述第一图像和所述第二图像是失真圆形图像。
4.根据权利要求1所述的电子装置,其中,
所述第二视频范围比所述第一画面的显示开始时的所述显示范围中所包括的范围宽。
5.根据权利要求1所述的电子装置,其中,
所述显示控制单元进行控制,使得:在所述第二画面上,在通过放大或缩小所述第一图像和所述第二图像中的一个图像来显示该一个图像的情况下,在不放大和缩小所述第一图像和所述第二图像中的另一图像的情况下显示该另一图像。
6.根据权利要求1所述的电子装置,其中,
所述显示控制单元进行控制,使得:在所述第二画面上,以所述第二图像能够被识别为位于所述第二视频范围外部的范围的图像的方式来显示所述第二图像。
7.根据权利要求1所述的电子装置,还包括:
记录单元,其被配置为生成并记录用于存储所述生成单元所生成的已编辑VR内容的文件。
8.根据权利要求7所述的电子装置,其中,
所述记录单元生成用于存储基于所述第二视频范围的多个图像的一个静止图像文件。
9.根据权利要求8所述的电子装置,其中,
在所述静止图像文件的文件名中,在扩展名之前描述字符串“.vr”。
10.根据权利要求7至9中任一项所述的电子装置,其中,
所述记录单元生成布置有基于所述第二视频范围的多个运动图像的一个运动图像文件。
11.根据权利要求10所述的电子装置,其中,
在所述运动图像文件的文件名中,在扩展名之前描述字符串“.vr”。
12.一种电子装置的控制方法,包括:
进行控制,使得:
在第一画面上,将具有第一视频范围的VR内容的一部分的范围作为显示范围显示在显示器上,并且根据所述电子装置的朝向变化或用户所进行的显示范围改变操作来改变所述显示范围的位置,以及
在第二画面上,并排显示具有所述VR内容中的比所述第一视频范围窄的第二视频范围的第一图像和具有所述第一视频范围中的位于所述第二视频范围外部的范围的第二图像;
生成包括所述第二视频范围的已编辑VR内容;以及
根据用户在所述第一图像和所述第二图像正显示在所述第二画面上的状态下所进行的视频范围改变操作,来改变所述第二视频范围。
13.一种存储有程序的计算机可读介质,所述程序使得计算机执行根据权利要求12所述的电子装置的控制方法。
CN201911364896.0A 2018-12-28 2019-12-26 电子装置、控制方法和计算机可读介质 Active CN111385669B (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP2018248329A JP7208002B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
JP2018-247844 2018-12-28
JP2018247845A JP7313822B2 (ja) 2018-12-28 2018-12-28 電子機器、その制御方法、プログラム及び記憶媒体
JP2018247842A JP7327938B2 (ja) 2018-12-28 2018-12-28 電子機器およびその制御方法およびプログラムおよび記憶媒体
JP2018248311A JP7278774B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
JP2018-247843 2018-12-28
JP2018-248311 2018-12-28
JP2018247844A JP7214475B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法
JP2018-248329 2018-12-28
JP2018-247845 2018-12-28
JP2018-247842 2018-12-28
JP2018247843A JP7204482B2 (ja) 2018-12-28 2018-12-28 電子機器及びその制御方法

Publications (2)

Publication Number Publication Date
CN111385669A true CN111385669A (zh) 2020-07-07
CN111385669B CN111385669B (zh) 2023-08-01

Family

ID=71121882

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980086832.0A Active CN113260917B (zh) 2018-12-28 2019-12-25 电子设备及其控制方法
CN201911364896.0A Active CN111385669B (zh) 2018-12-28 2019-12-26 电子装置、控制方法和计算机可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980086832.0A Active CN113260917B (zh) 2018-12-28 2019-12-25 电子设备及其控制方法

Country Status (6)

Country Link
US (2) US11683464B2 (zh)
EP (1) EP3904955A4 (zh)
KR (1) KR102549787B1 (zh)
CN (2) CN113260917B (zh)
BR (1) BR112021012648A2 (zh)
WO (1) WO2020138140A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012182A (zh) * 2021-04-25 2021-06-22 歌尔光学科技有限公司 偏移状态测试方法、测试设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822482B2 (ja) * 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体
JP7307568B2 (ja) * 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029179A (ja) * 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
US20120154442A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Display control device, display control method, and program
JP2015056873A (ja) * 2013-09-13 2015-03-23 株式会社ドッドウエル ビー・エム・エス 映像表示機器及び映像表示方法
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
JP2016146098A (ja) * 2015-02-09 2016-08-12 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
CN106774862A (zh) * 2016-12-03 2017-05-31 西安科锐盛创新科技有限公司 基于视线的vr显示方法及vr设备
CN107621917A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种在虚拟现实图像中实现放大展示的方法及装置
US20180035105A1 (en) * 2016-07-28 2018-02-01 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image
US20180048885A1 (en) * 2016-08-11 2018-02-15 Lg Electronics Inc. Mobile terminal and operating method thereof
US20180048886A1 (en) * 2016-08-12 2018-02-15 Samsung Electronics Co., Ltd. Image display apparatus and operating method thereof
US20180152636A1 (en) * 2016-11-28 2018-05-31 Lg Electronics Inc. Mobile terminal and operating method thereof
CN108141511A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
US20180253879A1 (en) * 2017-03-02 2018-09-06 Ricoh Company, Ltd. Method, apparatus and electronic device for processing panoramic image
JP2018180051A (ja) * 2017-04-04 2018-11-15 キヤノン株式会社 電子機器及びその制御方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056574A1 (en) 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
JP2005223416A (ja) 2004-02-03 2005-08-18 Sony Corp 画像処理システム、画像処理装置および画像処理方法、並びにプログラム
KR100613752B1 (ko) 2004-03-11 2006-08-22 경북대학교 산학협력단 파노라마 영상의 스트리밍 방법
JP4854539B2 (ja) * 2007-02-21 2012-01-18 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP2012029180A (ja) 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
KR101252071B1 (ko) 2010-09-16 2013-04-12 이영우 파이프 고정 장치
KR101784176B1 (ko) 2011-05-25 2017-10-12 삼성전자주식회사 영상 촬영 장치 및 그 제어방법
US9001255B2 (en) * 2011-09-30 2015-04-07 Olympus Imaging Corp. Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs
JP5966341B2 (ja) 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
DE112013000762T5 (de) 2012-01-31 2014-12-11 Panasonic Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
JP2014007653A (ja) 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
US20140267589A1 (en) * 2013-03-14 2014-09-18 Dai Nippon Printing Co., Ltd. Free viewpoint video display apparatus
KR101578600B1 (ko) * 2013-03-22 2015-12-17 가시오게산키 가부시키가이샤 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102067620B1 (ko) 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP6306845B2 (ja) * 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
JP2016019249A (ja) 2014-07-11 2016-02-01 キヤノン株式会社 表示制御装置
US9942294B1 (en) * 2015-03-30 2018-04-10 Western Digital Technologies, Inc. Symmetric and continuous media stream from multiple sources
IL260604B2 (en) 2016-01-19 2023-09-01 Magic Leap Inc Augmented reality systems and methods that use reflections
WO2018043135A1 (ja) 2016-08-31 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
CN108040288B (zh) * 2017-12-20 2019-02-22 北京达佳互联信息技术有限公司 视频编辑方法、装置及智能移动终端

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029179A (ja) * 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
US20120154442A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Display control device, display control method, and program
JP2015056873A (ja) * 2013-09-13 2015-03-23 株式会社ドッドウエル ビー・エム・エス 映像表示機器及び映像表示方法
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
JP2016146098A (ja) * 2015-02-09 2016-08-12 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
CN108141511A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
CN107621917A (zh) * 2016-07-14 2018-01-23 幸福在线(北京)网络技术有限公司 一种在虚拟现实图像中实现放大展示的方法及装置
US20180035105A1 (en) * 2016-07-28 2018-02-01 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image
US20180048885A1 (en) * 2016-08-11 2018-02-15 Lg Electronics Inc. Mobile terminal and operating method thereof
US20180048886A1 (en) * 2016-08-12 2018-02-15 Samsung Electronics Co., Ltd. Image display apparatus and operating method thereof
US20180152636A1 (en) * 2016-11-28 2018-05-31 Lg Electronics Inc. Mobile terminal and operating method thereof
CN106774862A (zh) * 2016-12-03 2017-05-31 西安科锐盛创新科技有限公司 基于视线的vr显示方法及vr设备
US20180253879A1 (en) * 2017-03-02 2018-09-06 Ricoh Company, Ltd. Method, apparatus and electronic device for processing panoramic image
JP2018180051A (ja) * 2017-04-04 2018-11-15 キヤノン株式会社 電子機器及びその制御方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HOSSEIN NAJAF-ZADEH 等: "VR+HDR: A system for view-dependent rendering of HDR video in virtual reality", 《IEEE》 *
张钰粮: "基于移动端的产品VR交互设计", 《工业设计》 *
张钰粮: "基于移动端的产品VR交互设计", 《工业设计》, no. 08, 20 August 2018 (2018-08-20) *
黄颖: "基于Unity3D虚拟现实技术的岳麓书院3D漫游设计", 《中国优秀硕士学位论文全文数据库电子期刊》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012182A (zh) * 2021-04-25 2021-06-22 歌尔光学科技有限公司 偏移状态测试方法、测试设备及存储介质

Also Published As

Publication number Publication date
CN113260917B (zh) 2022-12-16
CN113260917A (zh) 2021-08-13
US20200213575A1 (en) 2020-07-02
US11553170B2 (en) 2023-01-10
US11683464B2 (en) 2023-06-20
BR112021012648A2 (pt) 2021-09-08
EP3904955A4 (en) 2023-01-18
KR102549787B1 (ko) 2023-06-30
US20210321048A1 (en) 2021-10-14
KR20210100170A (ko) 2021-08-13
CN111385669B (zh) 2023-08-01
EP3904955A1 (en) 2021-11-03
WO2020138140A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
CN111385669B (zh) 电子装置、控制方法和计算机可读介质
EP3591499B1 (en) Electronic device, control method for electronic device, program, and computer readable medium
US10924789B2 (en) Display control apparatus, control method for display control apparatus, and non-transitory computer readable medium
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP7267764B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2021174317A (ja) 電子機器及びその制御方法
JP7313822B2 (ja) 電子機器、その制御方法、プログラム及び記憶媒体
JP7278774B2 (ja) 電子機器及びその制御方法
JP7208002B2 (ja) 電子機器及びその制御方法
JP7214475B2 (ja) 電子機器及びその制御方法
JP7204482B2 (ja) 電子機器及びその制御方法
JP7327938B2 (ja) 電子機器およびその制御方法およびプログラムおよび記憶媒体
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP2020129340A (ja) 電子機器、電子機器の制御方法、プログラム
EP3621025B1 (en) Image processing apparatus, image processing method, program, and computer readable medium
US20210289191A1 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium
JP7336200B2 (ja) 電子機器及びその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant