CN109981977A - 电子装置及其控制方法和计算机可读存储介质 - Google Patents

电子装置及其控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN109981977A
CN109981977A CN201811619228.3A CN201811619228A CN109981977A CN 109981977 A CN109981977 A CN 109981977A CN 201811619228 A CN201811619228 A CN 201811619228A CN 109981977 A CN109981977 A CN 109981977A
Authority
CN
China
Prior art keywords
processing
image
zenith
display
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811619228.3A
Other languages
English (en)
Other versions
CN109981977B (zh
Inventor
小山泰史
村上新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109981977A publication Critical patent/CN109981977A/zh
Application granted granted Critical
Publication of CN109981977B publication Critical patent/CN109981977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及电子装置及其控制方法和计算机可读存储介质。所述电子装置包括：图像获取单元，其被配置为获得宽范围图像；信息获取单元，其被配置为获得附加至宽范围图像的包括姿势信息的属性信息；以及控制单元，其被配置为进行控制，使得基于条件选择多个处理中的任一处理来显示所述宽范围图像，所述多个处理包括第一处理至第四处理中的至少两个处理，第一处理提供基于姿势信息来校正天顶和横摆角的显示，第二处理提供基于姿势信息来校正天顶的显示，第三处理提供基于姿势信息来校正横摆角的显示，第四处理提供没有校正所述宽范围图像的天顶和横摆角的显示。

Description

电子装置及其控制方法和计算机可读存储介质
技术领域
本发明涉及显示或记录具有宽视场角的宽范围图像的电子装置。
背景技术
已知有可以通过一次成像操作拍摄360°方向的全天球图像(全方位图像或全方位图像)的摄像装置。还已知用于拍摄180°或更大(不是360°的情况)的宽范围的图像的摄像装置。已知用于显示这种图像的部分显示范围、并基于用户的操作或显示装置的姿势来改变和显示该显示范围的方法。在这样的显示器中，显示范围可以主要在围绕两个轴的旋转方向上改变，所述旋转方向包括围绕天顶在水平面内旋转的方向、以及垂直旋转的方向(用于改变仰角或俯角的方向)。
日本特开2017-147682论述了如下的技术：检测全方位照相机的姿势，校正垂直方向上的利用照相机的图像的倾斜，并且在追踪照相机在水平面内的有意旋转时，校正水平面内的被视为照相机抖动分量的微小振动。
在显示在摄像装置倾斜的状态下拍摄到的图像的情况下，如果所显示的图像以与摄像装置的倾斜姿势相同的方式相对于天顶处于倾斜，则用户经常难以观看图像。如日本特开2017-147682所论述的，如果在垂直方向上校正倾斜(天顶校正)并且显示校正后的图像，则这种图像可能变得更容易观看。然而，根据所拍摄到的图像或用户的意图，在不进行天顶校正的情况下显示图像有时更合适。
如果基于摄像期间摄像装置在水平面内的旋转(横摆方向的旋转)而使图像旋转，则重放期间的观看方向在用户没有改变观看方向的情况下发生改变。于是用户不能沿期望方向观看。
发明内容
本发明涉及沿更合适的方向显示宽范围图像。
根据本发明的一个方面，一种电子装置，包括：存储器以及至少一个处理器和/或至少一个电路，以进行以下单元的操作：图像获取单元，其被配置为获得一个或多个摄像单元所拍摄到的宽范围图像；信息获取单元，其被配置为获得附加至所述宽范围图像的属性信息，所述属性信息包括表示摄像装置在摄像期间的姿势的姿势信息；以及控制单元，其被配置为进行控制，使得基于条件选择多个处理中的任一处理来显示所述宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理用于提供基于所述姿势信息来校正天顶和横摆角的显示，所述第二处理用于提供基于所述姿势信息校正天顶而没有校正横摆角的显示，所述第三处理用于提供基于所述姿势信息校正横摆角而没有校正天顶的显示，所述第四处理用于提供没有校正所述宽范围图像的天顶和横摆角的显示。
根据本发明的一个方面，一种电子装置，包括：图像获取单元，其被配置为获得一个或多个摄像单元所拍摄到的宽范围图像；信息获取单元，其被配置为获得附加至所述宽范围图像的属性信息，所述属性信息包括表示摄像装置在摄像期间的姿势的姿势信息；以及控制单元，其被配置为进行控制，使得基于条件选择多个处理中的任一处理来显示所述宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理用于提供基于所述姿势信息来校正天顶和横摆角的显示，所述第二处理用于提供基于所述姿势信息校正天顶而没有校正横摆角的显示，所述第三处理用于提供基于所述姿势信息校正横摆角而没有校正天顶的显示，所述第四处理用于提供没有校正所述宽范围图像的天顶和横摆角的显示。
根据本发明的一个方面，一种电子装置，包括：图像获取单元，其被配置为获得一个或多个摄像单元所拍摄到的宽范围图像；信息获取单元，其被配置为获得表示摄像装置在拍摄所述宽范围图像时的姿势的姿势信息；以及控制单元，其被配置为进行控制，使得：基于条件选择多个处理中的任一处理，将所选择的处理应用于所述宽范围图像，并且记录处理后的宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理包括用于基于所述姿势信息来校正天顶和横摆角的处理，所述第二处理包括用于基于所述姿势信息校正天顶而没有校正横摆角的处理，所述第三处理包括用于基于所述姿势信息校正横摆角而没有校正天顶的处理，所述第四处理没有校正所述宽范围图像的天顶和横摆角。
根据本发明的一个方面，一种电子装置的控制方法，所述控制方法包括：获得一个或多个摄像单元所拍摄到的宽范围图像；获得附加至所述宽范围图像的属性信息，所述属性信息包括表示摄像装置在摄像期间的姿势的姿势信息；以及进行控制，使得基于条件选择多个处理中的任一处理来显示所述宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理用于提供基于所述姿势信息来校正天顶和横摆角的显示，所述第二处理用于提供基于所述姿势信息校正天顶而没有校正横摆角的显示，所述第三处理用于提供基于所述姿势信息校正横摆角而没有校正天顶的显示，所述第四处理用于提供没有校正所述宽范围图像的天顶和横摆角的显示。
根据本发明的一个方面，一种电子装置的控制方法，所述控制方法包括：获得一个或多个摄像单元所拍摄到的宽范围图像，所述宽范围图像的视场角为180°以上；获得姿势信息，所述姿势信息表示摄像装置在拍摄所述宽范围图像期间的姿势；以及进行控制，使得：基于条件选择多个处理中的任一处理，将所选择的处理应用于所述宽范围图像，并且记录处理后的宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理包括用于基于所述姿势信息来校正天顶和横摆角的处理，所述第二处理包括用于基于所述姿势信息校正天顶而没有校正横摆角的处理，所述第三处理包括用于基于所述姿势信息校正横摆角而没有校正天顶的处理，所述第四处理没有校正所述宽范围图像的天顶和横摆角。
根据本发明的一个方面，一种计算机可读存储介质，其存储用于使得计算机用作上述电子装置的各单元的程序。
根据下面参考附图对示例性实施例的描述，本发明的其它特征将变得显而易见。以下描述的本发明的每个实施例可以单独实现或者作为多个实施例的组合实现。而且，来自不同实施例的特征可以在必要时组合，或者在单个实施例中来自各个实施例的元件或特征的组合是有益的情况下组合。
附图说明
图1A是示出数字照相机的正面外观图的图。图1B是示出数字照相机的背面外观图的图。图1C是示出数字照相机的构造框图。
图2A是示出显示控制设备的外观图的图。图2B是示出显示控制设备的构造框图。图2C是示出可以附接有显示控制设备的虚拟现实(VR)护目镜的外观图的图。
图3A-3C是示出进行天顶校正的情况和不进行天顶校正的情况的示意图。
图4A-4E是示出基于天顶校正和横摆角校正的组合的第一显示方法-第四显示方法的示意图。
图5是示出摄像处理的流程图。
图6A是示出安装位置设置画面的显示示例的图。图6B是示出校正设置画面的显示示例的图。
图7是示出显示控制处理的流程图。
图8是示出自动校正判断处理的流程图。
图9是示出视频图像校正处理的流程图。
图10是示出记录期间的自动校正处理的流程图。
具体实施方式
下面将参考附图详细地描述本发明的示例性实施例。
屏障102a是意图用于照相机单元a(即，屏障102a、快门101a、摄像单元22a和A/D转换器23a)的摄像透镜103a的保护窗口，该照相机单元a具有数字照相机100的前方的摄像范围。摄像透镜103a自身的外表面可以用作屏障102a。照相机单元a是广角照相机，其在数字照相机100的前方具有宽度达垂直和水平180°以上的摄像范围。屏障102b是意图用于照相机单元b(即，屏障102b、快门101b、摄像单元22b和A/D转换器23b)的摄像透镜103b的保护窗口，该照相机单元b具有数字照相机100的后方的摄像范围。摄像透镜103b自身的外表面可以用作屏障102b。照相机单元b是广角照相机，其在数字照相机100的后方具有宽度达垂直和水平180°以上的摄像范围。
图1A示出了作为电子装置的数字照相机100(摄像装置)的正面立体图(外观图)。图1B示出了数字照相机100的背面立体图(外观图)。数字照相机100是全方位照相机(全天球照相机)。
显示单元28是用于显示各种类型的信息的显示单元。快门按钮61是用于给出摄像指令的操作单元。模式改变开关60是用于切换各种模式的操作单元。连接接口(I/F)25是数字照相机100和用于连接到例如智能电话、个人计算机和电视机等的外部设备的连接线缆之间的连接器。操作单元70是包括用于接受来自用户的各种操作的诸如各种开关、按钮、拨盘和触摸传感器等的操作构件的操作单元。电源开关72是用于接通和断开电源的按钮。
发光单元21是发光构件，例如发光二极管(LED)等。发光单元21通过使用发光图案和发光颜色向用户通知数字照相机100的各种状态。固定部40是三脚架螺孔。固定部40例如是用于将数字照相机100固定和安装到诸如三脚架等的固定设备上的构件。固定部40布置在数字照相机100的底面中。
图1C是示出数字照相机100的构造示例的框图。屏障102a覆盖数字照相机100的包括摄像透镜103a的照相机单元a的摄像系统，从而防止对包括摄像透镜103a、快门101a和摄像单元22a的摄像系统的污染和损坏。摄像透镜103a是包括变焦透镜和调焦透镜的透镜单元。摄像透镜103a是广角透镜。快门101a是具有用于调节入射在摄像单元22a上的被摄体光量的光圈功能的快门。摄像单元22a是用于将光学图像转换成电信号的图像传感器(摄像传感器)，例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等。模数(A/D)转换器23a将从摄像单元22a输出的模拟信号转换为数字信号。摄像透镜103a、快门101a和摄像单元22a由系统控制单元50控制。
屏障102b覆盖数字照相机100的包括摄像透镜103b的照相机单元b的摄像系统，从而防止对包括摄像透镜103b、快门101b和摄像单元22b的摄像系统的污染和损坏。摄像透镜103b是包括变焦透镜和调焦透镜的透镜单元。摄像透镜103b是广角透镜。快门101b是具有用于调节入射在摄像单元22b上的被摄体光量的光圈功能的快门。摄像单元22b是用于将光学图像转换为电信号的图像传感器，例如CCD传感器或CMOS传感器等。A/D转换器23b将从摄像单元22b输出的模拟信号转换为数字信号。摄像透镜103b、快门101b和摄像单元22b由系统控制单元50控制。
摄像单元22a和22b拍摄虚拟现实(VR)图像。VR图像是指可以VR显示的图像(在VR观看中显示)。VR图像包括由全方位照相机(全天球照相机)拍摄的全方位图像(全天球图像)、以及具有比可以在显示单元上一次显示的显示范围宽的视频范围(有效视频范围)的全景图像。VR图像不仅包括静止图像，还包括运动图像和实时图像(几乎实时地从照相机获得的图像)。VR图像具有垂直方向(垂直角度、相对于天顶的角度、仰角、俯角、高度角或俯仰角)的高达360°且水平方向(水平角度、方位角、横摆角或横摆方向)的360°的视场的视频范围(有效视频范围)。即使在垂直方向上小于360°和/或在水平方向上小于360°，VR图像也包括具有比普通照相机可以拍摄的视角更宽的视角(视场范围)的图像、或者具有比可以在显示单元上一次显示的显示范围宽的视频范围(有效视频范围)的图像。例如，由可以拍摄水平方向(水平角度或方位角)360°且围绕天顶的垂直角度210°的视场(视角)的被摄体的图像的全天球照相机所拍摄的图像是一种VR图像。例如，由可以拍摄水平方向(水平角度或方位角)180°且围绕水平方向的垂直角度180°的视场(视角)的被摄体的图像的照相机所拍摄的图像是一种VR图像。因此，在垂直和水平方向上具有160°(±80°)或更大的视场的视频范围并且具有比人类可以在视觉上一次观察的范围宽的视频范围的图像是一种VR图像。如果对这样的VR图像进行VR显示，则用户可以通过改变显示设备在水平旋转方向上的姿势来观看水平方向(水平旋转方向)上无缝的全方位图像。在垂直方向(垂直旋转方向)上，用户可以观看从正上方(天顶)看到的在±105°范围内无缝的全方位图像。从正上方超过105°的范围是没有视频图像的空区域。VR图像可以说是“具有至少作为虚拟空间(VR空间)的一部分的视频范围的图像”。
VR显示指的是可以改变VR图像的显示范围的显示方法，其中显示与显示设备的姿势相对应的视场范围内的视频图像。如果用户佩戴并观看用作显示设备的头戴式显示器(HMD)，则显示与用户面部的方向相对应的视场范围内的视频图像。例如，假设在特定时间点显示VR图像中的具有在水平方向上约为0°(特定方向，例如向北等)且在垂直方向上约为90°(相对于天顶为90°，即水平)的视场角(视角)的视频图像。如果显示单元的姿势从这种状态反转(例如，显示面从向南改变为向北)，则同一VR图像的显示范围改变为具有在水平方向上将180°(相反方向，例如向南等)设置为中心且在垂直方向上将90°(水平)设置为中心的视场角的视频图像。在观看HMD的情况下，如果用户将面部从北转向南(即，向后转)，则HMD上显示的视频图像也从北方的视频图像改变为南方的视频图像。这种VR显示可以在视觉上向用户提供仿佛用户存在于VR图像内(VR空间中)的感觉(沉浸感)。安装在VR护目镜(头戴式适配器)上的智能电话可以说是一种HMD。用于显示VR图像的方法不限于上述VR显示。可以代替改变姿势而是通过根据对触摸面板或方向按钮的用户操作来移动(滚动)显示范围，来改变并显示视场范围。
图像处理单元24对来自A/D转换器23a和23b的数据或来自存储器控制单元15的数据执行预定的调整大小处理(例如像素插值和缩小等)以及颜色转换处理。图像处理单元24也通过使用拍摄图像数据来执行预定计算处理。系统控制单元50基于由图像处理单元24获得的计算结果来执行曝光控制和距离测量控制。由此执行自动调焦(AF)处理、自动曝光(AE)处理和闪光灯预发光(电子闪光(EF))处理。图像处理单元24还通过使用拍摄图像数据执行预定的计算处理，并基于所获得的计算结果执行自动白平衡(AWB)处理。图像处理单元24对从A/D转换器23a和23b所获得的两个图像(鱼眼图像或广角图像)应用基本图像处理，然后组合这两个图像(对其执行连接图像处理)以生成单个VR图像。在两个图像的连接图像处理中，图像处理单元24针对这两个图像中的每个图像，通过图案匹配处理针对每个区域计算参考图像和比较图像之间的偏差量，并检测连接位置。然后，考虑到检测到的连接位置和各个光学系统的透镜特性，图像处理单元24通过几何变换校正两个图像中的每一个的失真并且将每个图像转换为全天球图像格式。图像处理单元24混合全天球图像格式的两个图像，以最终生成单个全天球图像(VR图像)。生成的全天球图像(VR图像)是等距圆柱投影的图像，并且每个像素的位置可以与球面上的坐标相关联。在VR显示的实时观看期间或在重放期间，图像处理单元24对VR图像执行用于VR显示的图像剪切处理、放大处理和失真校正，并执行渲染以在存储器32的视频随机存取存储器(VRAM)中绘制VR图像。
来自A/D转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15、或者经由存储器控制单元15而无需图像处理单元24的介入被写入存储器32。存储器32存储由摄像单元22a和22b获得并由A/D转换器23a和23b转换成数字数据的图像数据、以及从连接I/F 25要输出到外部显示器的图像。存储器32具有足以存储预定数量的静止图像和预定持续时间的运动图像和音频的存储容量。
存储器32还用作图像显示存储器(视频存储器)。存储在存储器32中的图像显示数据可以从连接I/F 25输出到外部显示器。可以实现电子取景器，以通过将由摄像单元22a和22b拍摄、由图像处理单元24产生并存储在存储器32中的VR图像连续传输和显示到外部显示器上来提供实时取景显示(LV显示)。在下文中，实时取景显示的图像将被称为LV图像。还可以通过将存储在存储器32中的VR图像传输到经由通信单元54无线连接的外部设备(例如，智能电话)并在外部设备上显示VR图像来执行实时取景显示(远程LV显示)。数字照相机100的主体可以被构造为包括能够显示图像的主体显示器，并且可以在主体显示器上显示与描述为从连接I/F 25输出并在外部显示器上显示的视频图像等同的视频图像。
非易失性存储器56是用作电可擦除和可记录的记录介质的存储器。例如，电可擦除可编程只读存储器(EEPROM)用作非易失性存储器56。非易失性存储器56存储用于系统控制单元50的操作常数和程序。这里的程序是指用于实现以下将在本示例性实施例中描述的各种流程图的计算机程序。
系统控制单元50是包括至少一个处理器或电路的控制单元，并且控制整个数字照相机100。系统控制单元50通过执行记录在非易失性存储器56中的程序来实现下面将描述的根据本示例性实施例的各种类型的处理。系统存储器52包括例如随机存取存储器(RAM)。系统控制单元50的操作常数和变量以及从非易失性存储器56读取的程序被加载到系统存储器52中。系统控制单元50还通过控制存储器32、图像处理单元24和存储器控制单元15来执行显示控制。
系统计时器53是用于测量各种控制所使用的时间和内置时钟的时间的计时器单元。
模式改变开关60、快门按钮61和操作单元70是用于向系统控制单元50输入各种操作指令的操作单元。模式改变开关60将系统控制单元50的操作模式切换为静止图像记录模式、运动图像拍摄模式、重放模式和通信连接模式中的任一个。静止图像记录模式包括自动摄像模式、自动场景判断模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式。还存在各种场景模式和自定义模式，其是特定于各个摄像场景的摄像设置。用户可以通过使用模式改变开关60直接切换到任何一种模式。可选地，用户可以通过使用模式改变开关60一次切换到摄像模式的列表画面，然后通过使用其它操作构件来选择并切换到显示单元28上所显示的多个模式中的任一个模式。类似地，运动图像拍摄模式可以包括多个模式。
如果设置在数字照相机100上的快门按钮61被半途操作，即被半按下(摄像准备指令)，则第一快门开关62接通以产生第一快门开关信号SW1。响应于第一快门开关信号SW1，开始诸如AF处理、AE处理、AWB处理和EF处理的摄像准备操作。
如果快门按钮61的操作完成，即快门按钮61被完全按下(摄像指令)，则第二快门开关64接通以产生第二快门开关信号SW2。响应于第二快门开关信号SW2，系统控制单元50开始进行从读取来自摄像单元22a和22b的信号起直到将图像数据写入记录介质90为止的一系列摄像处理的操作。
快门按钮61不限于允许全按和半按这两个操作阶段的按钮，并且可以是仅允许一个按压阶段的操作构件。在这种情况下，根据一个按压阶段连续地执行摄像准备操作和摄像处理。这样的操作类似于当一次完全按下允许半按和全按的快门按钮时执行的操作(当几乎同时产生第一快门开关信号SW1和第二快门开关信号SW2时执行的操作)。
如果选择并操作显示在显示单元28上的各种功能图标和选项，则操作单元70的操作构件分别被分配适当的功能场景并用作各种功能按钮。功能按钮的示例包括结束按钮、后退按钮、图像前进按钮、跳转按钮、缩窄按钮和属性改变按钮。例如，如果按下菜单按钮，则在显示单元28上显示允许各种设置的菜单画面。用户可以通过在观看显示在显示单元28上的菜单画面的同时操作操作单元70来直观地进行各种设置。
电源控制单元80包括电池检测电路、直流-直流(DC-DC)转换器以及用于切换要通电的块的开关电路。电源控制单元80检测所安装的电池的存在或不存在、该电池的类型以及剩余电池电量。基于来自系统控制单元50的检测结果和指令，电源控制单元80控制DC-DC转换器以在所需时间段向包括记录介质90的各种部件提供所需电压。电源单元30包括诸如碱性电池和锂电池等的一次电池、诸如镍镉(NiCd)电池、镍金属卤化物(NiMH)电池和锂离子(Li)电池等的二次电池、以及/或者交流(AC)适配器。
记录介质I/F 18是具有诸如存储卡和硬盘等的记录介质90的I/F。记录介质90是用于记录拍摄图像的记录介质。记录介质90的示例包括存储卡、半导体存储器、光盘和磁盘。记录介质90可以是可附接到数字照相机100或可从数字照相机100拆卸的可更换的记录介质、或内置记录介质。
通信单元54无线地或通过有线线缆连接，并发送和接收视频信号和音频信号。通信单元54还可以连接到无线局域网(LAN)和因特网。通信单元54还可以通过蓝牙或低功耗蓝牙(Low Energy)与外部设备通信。通信单元54可以发送由摄像单元22a和22b拍摄的图像(包括LV图像)和记录在记录介质90上的图像，并从外部设备接收图像和其它各种类型的信息。
姿势检测单元55检测数字照相机100相对于重力方向的姿势。可以基于由姿势检测单元55检测到的姿势来判断由摄像单元22a和22b拍摄的图像是在数字照相机100保持横向还是数字照相机100保持纵向的情况下拍摄的。还可以判断三个轴向方向(即横摆、俯仰和侧倾)上的拍摄图像的倾斜度。系统控制单元50可以将与姿势检测单元55所检测到的姿势相对应的方向信息添加到摄像单元22a和22b拍摄的VR图像的图像文件，或者旋转(调整用于倾斜校正的图像的方向)并记录该图像。可以组合使用加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器中的两个以上作为姿势检测单元55。可以通过使用用作姿势检测单元55的加速度传感器、陀螺仪传感器和/或方位传感器来检测数字照相机100的诸如平摇、倾斜、提升以及是否保持静止等的运动。
麦克风20用于收集作为VR图像的运动图像的音频所要记录的数字照相机100周围的声音。
连接I/F 25是用于高清晰度多媒体接口线缆或通用串行总线(USB)线缆的连接插头。连接I/F 25旨在连接到外部设备并发送和接收视频图像。
图2A示出了显示控制设备200的外观图的示例，该显示控制设备200是一种电子装置。显示控制设备200(电子装置)的示例是智能电话。显示器205是用于显示图像和各种类型的信息的显示单元。如下所述，显示器205整体构造有触摸面板206a，并且可以检测显示器205的显示面上的触摸操作。显示控制设备200可以在显示器205上提供VR图像(VR内容)的VR显示。如图2A所示，操作单元206包括触摸面板206a以及操作单元206b、206c、206d和206e。操作单元206b是接受用于接通和断开显示控制设备200的电源的操作的电源按钮。操作单元206c和206d是用于增大和减小从音频输出单元212输出的音量的音量按钮。操作单元206e是用于在显示器205上显示主画面的主页按钮。音频输出端子212a是耳机插孔，是用于将声音输出到耳机或外部扬声器的输出端子。扬声器212b是用于发出声音的主体内置扬声器。
图2B示出了显示控制设备200的构造的示例。中央处理单元(CPU)201、存储器202、非易失性存储器203、图像处理单元204、显示器205、操作单元206、存储介质I/F 207、外部I/F 209和通信I/F 210连接到内部总线250。音频输出单元212和姿势检测单元213也连接到内部总线250。连接到内部总线250的单元可以经由内部总线250彼此交换数据。
CPU 201是用于控制整个显示控制设备200的控制单元。CPU 201包括至少一个处理器或电路。存储器202包括例如RAM(使用半导体元件的易失性存储器)。例如，CPU 201根据存储在非易失性存储器203中的程序并通过使用存储器202作为工作存储器来控制显示控制设备200的各个单元。非易失性存储器203存储图像数据、音频数据、其它数据和CPU201操作所用的各种程序。例如，非易失性存储器203是闪速存储器或只读存储器(ROM)。
图像处理单元204基于CPU 201的控制，对存储在非易失性存储器203和存储介质208中的图像、经由外部I/F 209获得的视频信号以及经由通信I/F 210获得的图像应用各种类型的图像处理。由图像处理单元204执行的图像处理包括A/D转换处理、数字模拟(D/A)转换处理以及图像数据的编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理。图像处理单元204还进行VR图像的各种类型的图像处理，例如全景展开、映射处理和转换等，该VR图像可以是全方位图像或包括宽范围的视频图像的宽视场图像的非全方位图像。图像处理单元204可以包括用于应用特定图像处理的专用电路块。根据图像处理的类型，CPU 201可以根据程序执行图像处理，而不使用图像处理单元204。
显示器205基于CPU 201的控制来显示构成GUI的图像和图形用户界面(GUI)画面。CPU 201根据程序生成显示控制信号，并控制显示控制设备200的各个部分以生成并输出要在显示器205上显示的视频信号到显示器205。显示器205基于输出视频信号显示视频图像。显示控制设备200本身可以包括直到用于输出要在显示器205上显示的视频信号的I/F的构造，并且显示器205可以被构造为外部监视器(例如电视机等)。
操作单元206是用于接受用户操作的输入设备。输入设备包括诸如键盘等的字符信息输入设备、诸如鼠标和触摸面板等的指示设备、按钮、拨盘、操纵杆、触摸传感器和/或触摸垫。触摸面板206a是平坦地构造为与显示器205重叠并且输出与触摸位置相对应的坐标信息的输入设备。
存储介质I/F 207被构造为使得诸如存储卡、紧凑盘(CD)和数字多功能盘(DVD)等的存储介质208可以安装在其上。存储介质I/F 207基于CPU 201的控制从安装的存储介质208读取数据并将数据写入存储介质208。外部I/F 209是用于通过有线线缆或无线连接到外部设备并输入和输出视频信号和音频信号的I/F。通信I/F 210是用于与外部设备和因特网211通信以及发送和接收诸如文件和命令等的各种类型的数据的接口。例如，通信I/F210可以经由无线LAN、有线LAN、蓝牙和低功耗蓝牙与外部设备通信。
音频输出单元212输出运动图像或音乐数据(音频文件)的音频、操作声音、铃声和各种通知声音。音频输出单元212包括与耳机连接的音频输出端子212a和扬声器212b。音频输出单元212可以通过无线通信将音频数据输出到外部扬声器。
姿势检测单元213检测显示控制设备200相对于重力方向的姿势、以及姿势相对于横摆、侧倾和俯仰轴的倾斜。可以基于姿势检测单元213检测到的姿势来判断显示控制设备200是保持横向、保持纵向、向上指向、向下指向还是倾斜取向。加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器中的至少一个可以用作姿势检测单元213。可以组合使用多个传感器。
操作单元206包括触摸面板206a。CPU 201可以检测下面描述的操作或触摸面板206a的状态。
·未与触摸面板206a接触的手指或笔新接触触摸面板206a，即开始触摸(下文中，称为触及(touch-down))。
·手指或笔处于接触触摸面板206a的状态(下文中，称为触摸持续(touch-on))。
·手指或笔在与触摸面板206a保持接触的同时移动(下文中，称为触摸移动(touch-move))。
·与触摸面板206a接触的手指或笔从触摸面板206a释放，即结束触摸(下文中，称为触摸停止(touch-up))。
·没有任何东西接触触摸面板206a(下文中，称为未触摸(touch-off))。
如果检测到触及，则还同时检测到触摸持续。在触及之后，除非检测到触摸停止，否则通常继续检测到触摸持续。如果检测到触摸移动，则还同时检测触摸持续。如果检测到触摸持续并且触摸的位置不移动，则没有检测到触摸移动。如果检测到已经触摸的所有手指和笔的触摸停止，则检测到未触摸。
经由内部总线250向CPU 201通知这种操作和状态以及手指或笔触摸触摸面板206a的位置坐标。CPU 201基于通知的信息来判断对触摸面板206a进行了什么操作(触摸操作)。对于触摸移动，CPU 201可以基于位置坐标的变化，单独在触摸面板206a上的垂直分量和水平分量方面判断触摸面板206a上方移动的手指或笔的移动方向。如果检测到预定距离或更长距离的触摸移动，则判断为进行滑动操作。将与触摸面板206a接触的手指快速移动一段距离并立即释放手指的操作被称为轻拂。换句话说，轻拂是用于快速抚摸触摸面板206a仿佛用手指翻动触摸面板206a那样的操作。如果检测到触摸移动以预定速度或更高速度进行预定距离或更长距离、并且立即检测到触摸停止，则可以判断为进行轻拂(可以判断为在滑动操作之后进行轻拂)。同时触摸多个位置(例如，两个点)并使触摸位置彼此接近的操作被称为捏合(pinch-in)。同时触摸多个位置(例如，两个点)并将触摸位置彼此分开的操作被称为捏放(pinch-out)。捏合和捏放统称为捏分操作(或简称为“捏分”)。包括电阻、电容、表面波、红外、电磁感应、图像识别和光学传感器触摸面板的各种方式的触摸面板中的任何一种触摸面板可以用作触摸面板206a。一些方式在接触触摸面板的情况下检测为进行了触摸。一些方式在手指或笔接近触摸面板的情况下检测为进行了触摸。可以使用任何这样的方式。
图2C示出了可以附接有显示控制设备200的VR护目镜300(头戴式适配器)的外观图。如果附接到VR护目镜300，则显示控制设备200可以用作HMD。插槽311用于将显示控制设备200插入其中。整个显示控制设备200可以插入VR护目镜300中，其中显示器205的显示面指向用于将VR护目镜300固定到用户的头部的头带312(即，朝向用户)。如果用户在头部佩戴附接有显示控制设备200的VR护目镜300，则用户可以在手没有握住显示控制设备200的情况下在视觉上观察显示控制设备200的显示器205。如果用户在这种状态下移动用户的头部或整个身体，则显示控制设备200的姿势也改变。对于VR显示，姿势检测单元213检测显示控制设备200的姿势的改变，并且CPU 201基于姿势的改变执行VR显示处理。姿势检测单元213检测显示控制设备200的姿势等同于姿势检测单元213检测用户头部的姿势(用户的视线指向的方向)。显示控制设备200本身可以是HMD，其可以在没有VR护目镜300的情况下安装在头部上。
显示控制设备200可以显示利用图像处理单元204进行了天顶校正(俯仰角和侧倾角的校正)的VR图像。显示控制设备200可以在进行或没有进行天顶校正的情况下显示VR图像。
将参考图3A-3C来说明显示VR图像时的天顶校正。图3A是示出摄像状况的示意图。在数字照相机100以所示的位置关系安装在作为被摄体的房子301和狗302之间的状态下拍摄全方位图像。在所示的位置关系中，如从数字照相机100看到的，房子301在方向A上(例如，向北)。如从数字照相机100看到的，狗302在相对于方向A向右90°的方向上(例如，向东)。假定数字照相机100以相对于重力方向向右略微倾斜的状态保持，使得重力方向和数字照相机100的垂直轴不平行。在这种状况下，以数字照相机100的正面(屏障102a和摄像单元22a)向着房子301的状态拍摄VR图像(运动图像或静止图像)，并且记录图像A。
图3B是示出在不进行天顶校正的情况下利用显示控制设备200再现并显示图3A所示的状况下拍摄到的图像A的情况的示意图。显示控制设备200从数字照相机100的记录介质90通过无线或有线文件传送或者通过将如存储卡那样的记录介质90加载到显示控制设备200中来获得图像A(图像获取)。图3B示出重放方法是VR显示(VR观看)的示例。在图3B的左半部分，用户在头部佩戴VR护目镜300并且通过VR显示观看图像A。显示控制设备200附接至VR护目镜300。图像A是在数字照相机100倾斜的状态下拍摄到的图像。在不进行天顶校正的情况下，显示向着与数字照相机100的倾斜相反的一侧倾斜的视频图像。也就是说，在不进行天顶校正的情况下，图像A沿房子301倾斜的方向显示。更具体地，在VR显示以外的显示方法的情况下，图像A沿如下方向显示：在相对于重力方向的倾斜状态下摄像期间数字照相机100的垂直方向与作为重放装置的显示控制设备200的显示器205的垂直方向平行。在VR显示的情况下，沿如下方向再现并显示图像A：摄像期间的数字照相机100的垂直方向与作为重放装置的显示控制设备200的姿势检测单元213所检测到的重力方向(穿过天顶的轴方向)平行。图3B的右半部分示出在用户从图3B的左半部分的状态向右转动的情况下的显示器205的显示示例。图像A的显示范围(方向)基于姿势检测单元213所检测到的用户向右转动的姿势的变化而改变，并且图像A沿狗302出现的方向显示。在这种状况下，狗302也以存在倾斜的状态显示。由于显示范围通过摄像期间绕数字照相机100的垂直方向的转动移动而改变，因此实际假定在与房子301的高度相同的高度看见的狗302的视频图像出现在垂直偏移的位置处。
图3C是示出在进行天顶校正的情况下利用显示控制设备200再现并显示在图3A的状况下拍摄到的图像A的情况的示意图。图3C还示出重放方法是VR显示(VR观看)的示例。在图3C的左半部分，用户在头部佩戴VR护目镜300并且通过VR显示观看图像A。显示控制设备200附接至VR护目镜300。图像A是在数字照相机100倾斜的状态下拍摄到的图像。在进行天顶校正的情况下，沿如下的方向校正并显示图像A：在拍摄图像A时数字照相机100所检测到的重力方向与重放期间的垂直方向平行。也就是说，在进行天顶校正的情况下，沿房子301未倾斜的方向显示图像A。更具体地，在VR显示以外的显示方法的情况下，沿如下的方向显示图像A：在拍摄图像A时数字照相机100所检测到的重力方向与作为重放装置的显示控制设备200的显示器205的垂直方向平行。在VR显示的情况下，沿如下的方向再现并显示图像A：摄像期间数字照相机100所检测到的重力方向与作为重放装置的显示控制设备200的姿势检测单元213所检测到的重力方向(穿过天顶的轴方向)平行。在任意情况下，校正显示方向，以抵消在相对于重力方向(穿过天顶的轴方向)的倾斜状态下的摄像期间的数字照相机100的垂直方向和在拍摄图像A时数字照相机100所检测到的重力方向之间的差异量。图3C的右半部分示出在用户从图3C的左半部分的状态向右转动的情况下的显示器205的显示示例。图像A的显示范围(方向)基于姿势检测单元213所检测到的用户向右转动的姿势的变化而改变，并且图像A以狗302出现的方向显示。在这种状况下，狗302也以不存在倾斜的状态显示。与被摄体的实际状况相同，狗302在与房子301的高度相同的高度处出现。
显示控制设备200可以通过利用图像处理单元204进行横摆角校正来显示VR图像。横摆角校正是指对以数字照相机100的垂直方向作为旋转轴的旋转方向的校正。换句话说，横摆角校正是对水平面内的显示方向的校正(在VR图像的垂直方向与重力方向平行的情况下等同于方位校正)。显示控制设备200可以在进行或不进行横摆角校正的情况下显示VR图像。可以组合进行横摆角校正和天顶校正。具体地，关于天顶校正和横摆角校正，显示控制设备200能够进行以下的四个类型的显示：
·第一显示方法：进行天顶校正和横摆角校正这两者
·第二显示方法：进行天顶校正但不进行横摆角校正
·第三显示方法：进行横摆角校正但不进行天顶校正
·第四显示方法：不进行天顶校正和横摆角校正这两者
将参考图4A-4E来说明基于天顶校正和横摆角校正的组合的上述的第一显示方法至第四显示方法。图4A是示出摄像状况的示意图。作为被摄体的房子301和狗302与数字照相机100之间的位置关系、以及数字照相机100相对于重力方向的倾斜与图3A所示的情况相同。将参考图4A来说明利用数字照相机100拍摄全方位运动图像B的示例。在记录运动图像B的中途的时刻T1，数字照相机100的正面指向方向A(向着房子301)。然后，紧挨在记录相同运动图像B的中途的时刻T2之前，摄像方向改变，使得数字照相机100的正面面向方向B(向着狗302)。
图4B是示出在不进行天顶校正和横摆角校正的情况下利用显示控制设备200再现并显示(通过第四显示方法再现并显示)图4A的状况下拍摄到的运动图像B的情况的示意图。在图4B的左半部分，用户正在观看运动图像B中的与时刻T1相对应的重放场所。运动图像B是在数字照相机100倾斜的状态下拍摄到的图像。在不进行天顶校正的情况下，向着与数字照相机100的倾斜相反的一侧倾斜的视频图像如此显示在显示器205上。换句话说，运动图像B沿房子301倾斜的方向显示。图4B的右半部分是示出运动图像B的重放已从图4B的左半部分的状态起进行到与时刻T2相对应的场所为止的情况的示意图。用户没有改变观看方向或者没有通过触摸操作改变显示范围。在不进行横摆角校正的情况下，由于摄像期间数字照相机100的方向的变化而导致出现不同的显示范围。更具体地，随着运动图像B的重放的进行，视频图像改变，使得在与时刻T1相对应的重放场所处看到房子301(看到沿方向A的视频图像)，并且在与时刻T2相对应的重放场所处看到狗302而不是房子301(看到沿方向B的视频图像)。由于要看到的显示范围在观看用户没有进行姿势的改变或者没有进行用以改变观看方向(显示范围)的操作的情况下发生改变，因此有时会损害沉浸感。在不进行天顶校正的情况下，狗302也倾斜地出现。
图4C是示出在不进行天顶校正但进行横摆角校正的情况下利用显示控制设备200再现并显示(通过第三显示方法再现并显示)图4A的状况下拍摄到的运动图像B的情况的示意图。在图4C的左半部分，用户正在观看运动图像B中的与时刻T1相对应的重放场所。运动图像B是在数字照相机100倾斜的状态下拍摄到的图像。在不进行天顶校正的情况下，向着与数字照相机100的倾斜相反的一侧倾斜的视频图像如此显示在显示器205上。换句话说，运动图像B沿房子301倾斜的方向显示。图4C的右半部分是示出运动图像B的重放已从图4C的左半部分的状态起进行到与时刻T2相对应的场所为止的情况的示意图。通过横摆角校正，校正了视频图像的方向，以抵消摄像期间数字照相机100的横摆角的移动(绕数字照相机100的垂直方向的旋转的方向的移动)。由于图4C示出在进行横摆角校正的情况下的显示示例，因此校正了在时刻T1-时刻T2的时间段内发生的摄像期间数字照相机100的横摆角的旋转，使得该旋转被抵消。在图4C的右半部分，如此显示沿看到与图4C的左半部分相同的房子301的方向的视频图像(显示沿方向A的视频图像)。更具体地，尽管随着运动图像B的重放的进行、数字照相机100的方向改变，但在与时刻T1相对应的重放场所处看到房子301(看到沿方向A的视频图像)并且在与时刻T2相对应的重放场所处也看到房子301(看到沿方向A的图像)。这可以避免尽管用户没有改变观看方向或者没有通过触摸操作改变显示范围、但是显示方向发生改变的违和感。在不进行天顶校正的情况下，在时刻T2处房子301也倾斜地出现。
图4D是示出在进行天顶校正但不进行横摆角校正的情况下利用显示控制设备200再现并显示图4A的状况下拍摄到的运动图像B的情况(第二显示方法)的示意图。在图4D的左半部分，用户正在观看运动图像B中的与时刻T1相对应的重放场所。运动图像B是在数字照相机100倾斜的状态下拍摄到的图像。在进行天顶校正的情况下，显示未倾斜的视频图像。换句话说，运动图像B沿房子301未倾斜的方向显示。图4D的右半部分是示出运动图像B的重放已从图4D的左半部分的状态起进行到与时刻T2相对应的场所为止的情况的示意图。在不进行横摆角校正的情况下，尽管用户没有改变观看方向或者没有通过触摸操作改变显示范围，但也看到不同的显示范围。具体地，随着运动图像B的重放的进行，视频图像改变，使得在与时刻T1相对应的重放场所处看到房子301(看到沿方向A的图像)并且在与时刻T2相对应的重放场所处看到狗302而不是房子301(看到沿方向B的图像)。与图4A相同，由于要看到的显示范围在观看用户没有进行姿势的改变、或者没有进行用以改变观看方向(显示范围)的操作的情况下发生改变，因此有时会损害沉浸感。在进行天顶校正的情况下，狗302以未倾斜的状态出现。
图4E是示出在进行天顶校正和横摆角校正这两者的情况下利用显示控制设备200再现并显示图4A的状况下拍摄到的运动图像B的情况(第一显示方法)的示意图。在图4E的左半部分，用户正在观看运动图像B中的与时刻T1相对应的重放场所。运动图像B是在数字照相机100倾斜的状态下拍摄到的图像。在进行天顶校正的情况下，显示未倾斜的视频图像。换句话说，运动图像B沿房子301未倾斜的方向显示。图4E的右半部分是示出运动图像B的重放已从图4E的左半部分的状态起进行到与时刻T2相对应的场所为止的情况的示意图。在进行横摆角校正的情况下，校正了在时刻T1-时刻T2的时间段内发生的摄像期间数字照相机100的横摆角的旋转，使得该旋转被抵消。在图4E的右半部分，如此显示沿看到与图4E的左半部分相同的房子301的方向的视频图像(显示沿方向A的视频图像)。这可以避免尽管用户没有改变观看方向或者没有通过触摸操作改变显示范围、但是显示方向发生改变的违和感。在进行天顶校正的情况下，在时刻T2处房子301也以未倾斜的状态出现。
显示控制设备200基于以下条件来适应性地使用上述的第一显示方法至第四显示方法。
(1)基于与重放方法(显示方法)有关的用户设置而使用不同的显示方法
用户预先对设置项进行设置以设置要使用第一显示方法至第四显示方法中的哪个显示方法(显示方法的手动设置)，并且显示控制设备200通过基于该设置的显示方法来显示VR图像。显示控制设备200如此可以通过用户期望的显示方法来显示VR图像。显示方法是VR观看还是不同的显示方法可以基于用户操作来设置。在VR观看的情况下，使用第一显示方法。原因是VR观看从特性上是基于用户所引起的显示控制设备200的姿势变化来改变显示范围的显示方法、并且特别是适当地使观看用户的沉浸感优先。换句话说，认为重放期间的用户而不是摄像期间的用户在确定VR图像的观看方向方面具有主动权。
(2)基于摄像期间的设置信息而使用不同的显示方法
在摄像期间设置了与数字照相机100的安装位置有关的设置并且将该设置作为属性信息(元数据)与VR图像相关联地进行记录的情况下，显示控制设备200基于该属性信息来判断显示方法。
在没有指定安装位置(自拍杆或者手持位置)的情况下，使用第一显示方法。在将数字照相机100附接至自拍杆的状态下拍摄VR图像的情况下，经常以远离用户身体的状态保持数字照相机100，使得在数字照相机100的摄像范围内适当地拍摄用户。数字照相机100附接至自拍杆的一端，并且用户把持自拍杆的另一端并调整数字照相机100的姿势。因此难以调整数字照相机100的正面指向何处以及数字照相机100相对于重力方向保持于哪个方向。另外，由于数字照相机100是全方位照相机，因此用户认为可以通过仅仅将数字照相机100保持得离他/她自身一定距离远而无需知晓数字照相机100的正面来适当地对他/她进行拍摄。因此，在通过使用自拍杆的全方位照相机的摄像期间，用户有可能并不知晓数字照相机100的正面朝向何处以及数字照相机100相对于重力方向保持于哪个方向。因此，在VR图像以未经校正的状态显示的情况下，可能难以观看该VR图像。由于该原因，通过校正天顶和横摆角这两者的第一显示方法显示VR图像，使得即使VR图像是通过在不知晓数字照相机100的正面方向或数字照相机100的倾斜的状态下的摄像所获得的图像，也可以适当地观看该VR图像。在手持摄像的情况下，由于数字照相机100的正面方向和数字照相机100的倾斜有可能采用非用户意图的方式，因此也通过第一显示方法来显示VR图像。
在将安装位置设置成使得数字照相机100固定到自行车、汽车、滑雪橇、滑雪板或冲浪板的情况下，使用进行天顶校正但不校正横摆角的第二显示方法。在这样的安装位置中，数字照相机100在用户关注前方的状态下行进，并且行进方向在行进期间可能改变。在包括这样的行进中的视频图像的全方位运动图像中，关注行进方向。行进方向在未出现在恒定方向(重放期间在观看用户的正面)的情况下看上去不自然。因此，不进行横摆角校正，使得如果在运动图像的中途行进方向改变，则改变后的行进方向出现在恒定方向(重放期间在观看用户的正面)。这给观看所再现的运动图像的用户带来仿佛他/她在安装有数字照相机100的车辆上的沉浸感。
在安装位置是诸如无人机(无人驾驶飞机)等的飞行物的情况下，使用校正横摆角但不校正天顶的第三显示方法。这使得无论摄像期间数字照相机100的正面方向如何、重放期间的观看者都能够沿任意方向观看VR图像。另一方面，对在转弯期间或者在飞行物因风而摇摆时的侧倾角和俯仰角的倾斜进行再现。因而，观看者可以获得仿佛他/她实际在飞行物上的临场感。在安装位置是船、滑翔机、或者在跳伞或降落伞下降期间所使用的器材的情况下，也可以选择第三显示方法。
在安装位置是头盔或过山车的情况下，使用既不校正天顶也不校正横摆角的第四显示方法。在不进行天顶校正和横摆角校正的情况下，忠实地再现摄像装置的摄像状况并且观看者可以间接体验摄像状况。例如，在通过VR显示来观看在数字照相机100附接至乘坐过山车的用户的头盔的状态下拍摄到的运动图像的情况下，在过山车垂直地循环时可以看到上下颠倒的视频图像。还再现了弯道处的倾斜和行进方向。这给观看者带来仿佛他/她实际乘坐过山车的沉浸感或临场感。在数字照相机100安装在诸如循环的竞技设备等的行驶中的车辆或设备上或者安装在选手的头盔上、并且优先实现选手的间接体验的临场感的情况下，可以使用第四显示方法来代替第二显示方法。这种竞技比赛的示例包括猫跳滑雪、自由式空中滑雪、大跳台滑雪、U池滑雪和自由式摩托车越野赛。
(3)基于摄像期间数字照相机的移动速度而使用不同的显示方法
在摄像期间拍摄VR图像的数字照相机100可以被判断为以特定速度以上移动的情况下，使用第二显示方法。其原因与针对上述条件(2)所述的原因相同。如果数字照相机100正在以比步行快的速度移动，则认为数字照相机100以用户关注前方的状态行进。这在与安装位置的设置有关的信息不可取得的情况下也是适用的。另一方面，在摄像期间拍摄VR图像的数字照相机100的移动速度被判断为低于特定速度的情况下，使用第一显示方法。数字照相机100的移动速度可以是运动传感器(诸如拍摄VR图像的数字照相机100所包括的加速度传感器等)所获得的移动速度、或者诸如全球定位系统(GPS)传感器等的位置测量传感器所获得的移动速度。数字照相机100的移动速度可以是通过分析运动图像根据先前帧和后续帧之间的相关性获得的移动速度。
(4)基于数字照相机的振动大小而使用不同的显示方法
在摄像期间拍摄VR图像的数字照相机100可以被判断为在一定程度上振动(抖动)的情况下，使用第二显示方法。其原因是：在振动大的情况下，数字照相机100可能是移动的而不是静止和固定的。在移动情况下采用第二显示方法的原因如针对条件(2)所述。这种条件在摄像期间数字照相机100的移动速度不可取得的情况下也是适用的。另一方面，在摄像期间数字照相机100的振动小的情况下，使用第一显示方法。
(5)基于视频图像的分析结果而使用不同的显示方法
在分析在摄像待机状态下获得的LV图像或者所记录的运动图像、并且发现该LV图像或者所记录的运动图像包括相对于数字照相机100静止且大于或等于预定面积的被摄体的情况下，使用第二显示方法。大于或等于预定面积的相对静止被摄体(静止被摄体)有可能是摄像期间数字照相机100固定至的设备(诸如车辆把手、汽车引擎盖和滑雪板前端等)。在这种静止被摄体包括在VR运动图像中并且摄像方向在VR运动图像的中途改变的情况下，该静止被摄体对于观看者仍是可见的。然后，观看者发现摄像方向不是由于视频图像的显示范围的变化而是由于摄像期间静止被摄体自身的方向变化而发生改变。因此，这种变化不太可能成为如以上在图4D中所述的沉浸感的障碍。在这些情况下，数字照相机100也有可能安装在行驶中的车辆上。
图5是示出数字照相机100对VR图像进行的摄像处理(摄像处理1)的流程图。该处理通过将记录在非易失性存储器56中的程序加载到系统存储器52中并由系统控制单元50执行该程序来实现。如果数字照相机100切换为摄像模式并且在摄像待机状态下启动，则开始图5所示的处理。
在步骤S501中，系统控制单元50判断是否给出了用以设置安装位置的指令。用户可以通过在观看显示单元28上所显示的设置画面的同时对操作单元70进行操作、或者通过在观看无线连接至数字照相机100的外部设备(例如，显示控制设备200)上所显示的设置画面的同时对该外部设备进行操作，来给出用以设置安装位置的指令。图6A示出摄像待机期间连接至数字照相机100的显示控制设备200的显示器205上所显示的安装位置设置画面的显示示例。所显示的可被设置为安装位置的选项包括：未指定、手持位置、三脚架、自拍杆、头盔、身体佩戴、自行车/滑雪橇/滑雪板、以及汽车。通过向下滚动进一步显示诸如无人机、过山车、摩托车和天花板等的选项。用户可以选择并设置这些选项中的任一选项作为安装位置。这样的安装位置候选仅是示例。可以提供更少或更多的安装位置候选。如果给出了用以设置安装位置的指令(步骤S501中为“是”)，则处理进入步骤S502。如果不是(步骤S501中为“否”)，则处理进入步骤S503。
在步骤S502中，系统控制单元50基于在步骤S501中接收到的指令，将所指示的安装位置设置并存储到非易失性存储器56中，以设置安装位置。
在步骤S503中，系统控制单元50判断是否给出了任何其它指令。系统控制单元50可以接收与摄像条件(快门速度、光圈、白平衡、自拍设置、运动图像记录和静止图像拍摄之间的切换、像素数、压缩率和文件格式)有关的设置指令作为其它指令。如果给出了任何其它指令(步骤S503中为“是”)，则处理进入步骤S504。如果不是(步骤S503中为“否”)，则处理进入步骤S505。在步骤S504中，系统控制单元50进行基于所接收到的指令的处理。
在步骤S505中，系统控制单元50开始通过摄像单元22a和22b拍摄实时图像(LV图像)。如果连接了外部设备(例如，显示控制设备200)，则系统控制单元50开始经由连接I/F25将实时图像输出到外部设备。结果，正在拍摄的VR图像的LV图像被显示在外部设备的显示单元(例如，显示控制设备200的显示器205)上。
在步骤S506中，系统控制单元50使用图像处理单元24开始分析拍摄的实时图像。系统控制单元50基于分析结果将移动信息、振动信息和和静止被摄体信息记录到系统存储器52中。
以下面的方式获得移动信息。系统控制单元50分析实时图像的帧之间的相关性(差异)，并判断数字照相机100是否正在以预定速度或更高速度移动。例如，行进方向上的图像包括从行进方向的延长线上的消失点径向移动的图像特征点。如果分析结果显示出这种移动，则发现数字照相机100正朝向行进方向的延长线上的消失点移动。然后，可以根据特征点的运动矢量来确定移动速度。系统控制单元50将作为分析结果获得的如下移动信息存储到系统存储器52中，该移动信息表示数字照相机100的移动速度或表示数字照相机100是否正在以预定速度或更高速度移动。在之后拍摄并记录静止图像或运动图像的情况下，系统控制单元50将该移动信息存储为与图像文件的每个帧有关的属性信息(元数据)。
按以下方式获得振动信息。系统控制单元50可以分析实时图像的帧之间的相关性(差异)，判断数字照相机100是否正在振动，并且记录表示数字照相机100的振动程度的信息。例如，如果分析结果显示出几乎所有的特征点都正在相同方向上移动，则发现数字照相机100自身正在振动(抖动)。可以根据特征点的运动矢量的大小来确定振动量。
按以下方式获得静止被摄体信息。系统控制单元50分析实时图像的预定持续时间(例如，三秒)的多个帧。如果在预定时间的多个帧中相同特征点继续在相同位置处，则可以假定相对于数字照相机100存在相对于数字照相机100静止的被摄体。如果可被视为与静止被摄体连续的部分的面积相对于整个VR图像的比例高于或等于阈值，则系统控制单元50将表示存在大于或等于预定面积的静止被摄体的静止被摄体信息记录到系统存储器52中。
在步骤S507中，系统控制单元50判断是否给出了开始拍摄运动图像(记录运动图像)的运动图像记录指令。例如，如果在通过模式改变开关60设置了运动图像拍摄模式的状态下按下快门按钮61，则系统控制单元50判断为给出了运动图像记录指令(步骤S507中为“是”)。如果在远程LV显示期间从外部设备侧给出运动图像记录指令，则也判断为“是”。如果给出了运动图像记录指令(步骤S507中为“是”)，则处理进入步骤S508。如果不是(步骤S507中为“否”)，则处理进入步骤S516。
在步骤S508中，系统控制单元50通过姿势检测单元55检测数字照相机100相对于重力方向的姿势。系统控制单元50将该姿势作为与要记录的VR运动图像的下一帧有关的姿势信息存储到系统存储器52中。系统控制单元50基于姿势检测单元55的输出来判断是否存在大于或等于阈值的振动(是否存在满足预定条件的振动)，并且将表示所检测到的振动量的振动信息记录到系统存储器52中。在下面将描述的步骤S513中，系统控制单元50将这些信息作为属性信息(元数据)与VR运动图像的帧相关联地进行记录。
在步骤S509中，系统控制单元50基于姿势检测单元55和/或位置测量传感器(未示出)的输出来检测数字照相机100的移动速度。移动速度不限于在一帧时间段内检测到的移动速度，并且还基于之前从几个帧获得的信息(例如，如果紧接在开始记录之后，则是紧接在开始记录之前的步骤S506中分析的信息)来检测移动速度。系统控制单元50将表示检测到的移动速度的移动信息记录到系统存储器52中。在下面将描述的步骤S513中，系统控制单元50将移动信息作为属性信息(元数据)与VR运动图像的帧相关联地进行记录。
在步骤S510中，系统控制单元50使用摄像单元22a和22b拍摄一帧的图像，并将图像存储到存储器32中。
在步骤S511中，系统控制单元50使用图像处理单元24对存储在存储器32中的拍摄图像应用上述连接图像处理以生成单个VR图像，并将VR图像存储到存储器32中。
在步骤S512中，如步骤S506那样，系统控制单元50分析在步骤S511中获得的VR图像，并根据状况记录移动信息、振动信息和静止被摄体信息。这里的分析不限于在一帧时间段内获得的信息，并且还基于之前从几个帧获得的信息(例如，如果紧接在开始记录之后，则是紧接在开始记录之前的步骤S506中分析的信息)来执行该分析。
在步骤S513中，系统控制单元50将存储在存储器32中的VR图像作为VR运动图像的一帧以运动图像文件的形式记录到记录介质90上。表示运动图像是VR图像并且之后可用于判断VR观看的可用性的属性信息(元数据)也被附加到运动图像文件。还将在系统存储器52中被记录为与这里要记录的帧有关的信息的姿势信息、移动信息、振动信息和静止被摄体信息作为与步骤S513中所记录的帧有关的属性信息(元数据)与运动图像文件相关联地进行记录。还将记录在非易失性存储器56中的与安装位置有关的设置信息(安装位置信息)(在存在的情况下)作为与步骤S513中所记录的帧有关的属性信息(元数据)与运动图像文件相关联地进行记录。安装位置信息可以被记录为以运动图像文件为单位的信息，而不是被记录为逐帧的信息。
在步骤S514中，系统控制单元50判断是否给出了运动图像的记录的停止指令。如果给出了运动图像的记录的停止指令(步骤S514中为“是”)，则处理进入步骤S515。如果没有给出停止指令(步骤S514中为“否”)，则处理返回至步骤S508。在步骤S508中，系统控制单元50执行下一帧的处理。
在步骤S515中，系统控制单元50对记录在记录介质90上的运动图像文件执行关闭处理。
在步骤S516中，系统控制单元50判断是否用以给出了拍摄静止图像的静止图像拍摄指令。例如，如果在通过模式改变开关60设置了静止图像拍摄模式的状态下按下快门按钮61，则系统控制单元50判断为给出了静止图像拍摄指令(步骤S516中为“是”)。如果在远程LV显示期间从外部设备给出静止图像拍摄指令，则也判断为“是”。如果给出了静止图像拍摄指令(步骤S516中为“是”)，则处理进入步骤S517。如果不是(步骤S516中为“否”)，则处理进入步骤S522。
在步骤S517中，系统控制单元50通过姿势检测单元55检测数字照相机100相对于重力方向的姿势。系统控制单元50将该姿势作为与要记录的静止图像有关的姿势信息记录到系统存储器52中。系统控制单元50还基于姿势检测单元55的输出来判断是否存在大于或等于阈值的振动。姿势检测单元55将表示所检测到的振动量的振动信息记录到系统存储器52中。在下面将描述的步骤S521中，将这样的信息作为属性信息与作为静止图像的VR图像相关联地进行记录。
在步骤S518中，系统控制单元50基于姿势检测单元55和/或位置测量传感器(未示出)的输出来检测数字照相机100的移动速度。移动速度不限于在一帧时间段内所检测到的移动速度，并且还基于之前从几个帧获得的信息(例如，如果紧接在开始记录之后，则是紧接在开始记录之前的步骤S506中分析的信息)来检测移动速度。系统控制单元50将表示所检测到的移动速度的移动信息记录到系统存储器52中。在下面将描述的步骤S521中，将移动信息作为属性信息与作为静止图像的VR图像相关联地进行记录。
在步骤S519中，系统控制单元50使用摄像单元22a和22b来拍摄静止图像，并且将这些静止图像存储在存储器32中。
在步骤S520中，系统控制单元50使用图像处理单元24对存储在存储器32中的拍摄图像应用上述连接图像处理以生成单个VR图像，并将VR图像存储到存储器32中。
在步骤S521中，系统控制单元50将存储在存储器32中的VR图像作为用作静止图像的VR图像以静止图像文件的形式记录到记录介质90上。表示静止图像是VR图像并且之后可用于判断VR观看的可用性的属性信息(元数据)也被附加到静止图像文件。将在系统存储器52中被记录为与这里要记录的静止图像有关的属性信息的姿势信息、移动信息和振动信息作为属性信息(元数据)与静止图像文件相关联地进行记录。还将记录在非易失性存储器56中的与安装位置有关的设置信息(安装位置信息)(在存在的情况下)与静止图像文件相关联地进行记录。
在步骤S522中，系统控制单元50判断是否存在诸如断电和向摄像模式之外的操作模式的转移指令等的结束事件。如果不存在结束事件(步骤S522中为“否”)，则处理返回至步骤S501以重复。如果存在结束事件(步骤S522中为“是”)，则摄像处理结束。
以这种方式，记录通过后述的重放处理(显示控制处理)要再现的VR图像。记录在记录介质90上的VR图像可以通过将记录介质90加载到显示控制设备200中或者通过以无线或有线方式将VR图像传送到显示控制设备200而被显示在显示控制设备200上。
图7示出了利用显示控制设备200的VR图像的显示控制处理的流程图。该处理通过CPU 201使用存储器202作为工作存储器加载和执行记录在非易失性存储器203中的程序来实现。如果从显示器205上列出的图像中选择VR图像并且给出用于再现和显示VR图像的指令，则开始图7的处理。
在步骤S701中，CPU 201参考非易失性存储器并且判断校正设置是否被设置为手动。如果校正设置没有被设置为手动、即被设置为自动(步骤S701中为“否”)，则处理进入步骤S702。如果校正设置被设置为手动(步骤S701中为“是”)，则处理进入步骤S703。校正设置是与针对VR图像的天顶校正和横摆角校正有关的基于用户操作预先设置的并且记录在非易失性存储器203中的设置。在进行校正设置时，将诸如图6B所示等的校正设置画面显示在显示器205上。用户可以在校正设置画面上选择自动或手动。如果选择手动，则可以单独选择是开启还是关闭天顶校正和横摆角校正各自。在用户的选择操作之后，CPU 201将这些选择作为校正设置记录到非易失性存储器203中。
在步骤S702中，CPU 201进行自动校正判断处理。该自动校正判断处理是用于基于条件来自动选择第一显示方法至第四显示方法中的任一显示方法并显示VR图像的处理。以下将参考图8来说明自动校正判断处理的详情。
在步骤S703中，CPU 201判断天顶校正是否通过校正设置而被设置为开启。如果天顶校正被设置为开启(步骤S703中为“是”)，则处理进入步骤S704。如果天顶校正被设置为关闭(步骤S703中为“否”)，则处理进入步骤S707。
在步骤S704中，CPU 201判断横摆角校正是否通过校正设置而被设置为开启。如果横摆角校正被设置为开启(步骤S704中为“是”)，则处理进入步骤S705。如果横摆角校正被设置为关闭(步骤S704中为“否”)，则处理进入步骤S706。
在步骤S705中，CPU 201通过前述的第一显示方法将VR图像显示在显示器205上。具体地，CPU 201在进行天顶校正和横摆角校正这两者的情况下显示VR图像。基于作为与要显示的VR图像有关的属性信息附加的姿势信息来进行天顶校正和横摆角校正。在VR观看的情况下，CPU 201基于作为与要显示的VR图像有关的属性信息附加的姿势信息以及姿势检测单元213所检测到的显示控制设备200的当前姿势这两者来进行校正。结果，如图4E所述显示VR图像。
在步骤S706中，CPU 201通过前述的第二显示方法将VR图像显示在显示器205上。具体地，CPU 201在进行天顶校正但不进行横摆角校正的情况下显示VR图像。天顶校正基于作为与要显示的VR图像有关的属性信息附加的姿势信息来进行。在VR观看的情况下，CPU201基于作为与要显示的VR图像有关的属性信息附加的姿势信息和姿势检测单元213所检测到的显示控制设备200的当前姿势这两者来进行天顶校正。结果，如图4D所述显示VR图像。
在步骤S707中，CPU 201判断横摆角校正是否通过校正设置而被设置为开启。如果横摆角校正被设置为开启(步骤S707中为“是”)，则处理进入步骤S708。如果横摆角校正被设置为关闭(步骤S707中为“否”)，则处理进入步骤S709。
在步骤S708中，CPU 201通过上述的第三显示方法将VR图像显示在显示器205上。具体地，CPU 201在不进行天顶校正但进行横摆角校正的情况下显示VR图像。CPU 201基于作为与要显示的VR图像有关的属性信息附加的姿势信息来进行横摆角校正。在VR观看的情况下，CPU 201基于作为与要显示的VR图像有关的属性信息附加的姿势信息和姿势检测单元213所检测到的显示控制设备200的当前姿势这两者来进行横摆角校正。结果，如图4C所述显示VR图像。
在步骤S709中，CPU 201通过前述的第四显示方法将VR图像显示在显示器205上。具体地，CPU 201在不进行天顶校正和横摆角校正的情况下显示VR图像(在无姿势相关校正的情况下显示VR图像)。因而，CPU 201不基于作为与VR图像有关的属性信息附加的姿势信息来显示VR图像。结果，如图4B所述显示VR图像。
图8示出图7的步骤S702中的自动校正判断处理的详细流程图。该处理通过CPU201使用存储器202作为工作存储器加载并执行存储在非易失性存储器203中的程序来实现。在图8中，第一组包括手持、三脚架、自拍杆和天花板等，第二组包括自行车、滑雪橇、滑雪板、冲浪板、汽车和身体佩戴等，第三组包括无人机等，以及第四组包括头盔和过山车等。
在步骤S801中，CPU 201判断VR观看是否被设置为VR图像的显示方法。如果设置了VR观看(步骤S801中为“是”)，则处理进入步骤S802。如果没有设置VR观看(步骤S801中为“否”)，则处理进入步骤S803。
在步骤S802中，CPU 201通过前述的第一显示方法将VR图像显示在显示器205上。具体地，CPU 201在进行天顶校正和横摆角校正这两者的情况下显示VR图像。结果，如图4E所述显示VR图像。该处理与步骤S705的处理相同。
在步骤S803中，CPU 201获得与要显示的VR图像有关的属性信息(元数据)(信息获取或信息读取)。
在步骤S804中，CPU 201基于包括在步骤S803所获得的属性信息中并且表示拍摄VR图像时的安装位置的设置的安装位置信息，来判断是否指定了任何安装位置。如果没有指定安装位置(步骤S804中为“否”)，则处理进入步骤S811。如果指定了任何安装位置(步骤S804中为“是”)，则处理进入步骤S805。
在步骤S805中，CPU 201基于步骤S803中获得的属性信息内所包括的安装位置信息来判断安装位置是否是第一组所包括的安装位置中的任一安装位置。第一组包括手持位置、三脚架、自拍杆和天花板至少之一。如果安装位置是第一组所包括的安装位置中的任一安装位置(步骤S805中为“是”)，则处理进入步骤S802。在步骤S802中，CPU 201通过第一显示方法显示VR图像。如果不是(步骤S805中为“否”)，则处理进入步骤S806。
在步骤S806中，CPU 201基于步骤S803中获得的属性信息内所包括的安装位置信息来判断安装位置是否是第二组所包括的安装位置中的任一安装位置。第二组包括自行车、滑雪橇、滑雪板、冲浪板、汽车和身体佩戴位置至少之一。如果安装位置是第二组所包括的安装位置中的任一安装位置(步骤S806中为“是”)，则处理进入步骤S807。如果不是(步骤S806中为“否”)，则处理进入步骤S808。
在步骤S807中，CPU 201通过前述的第二显示方法将VR图像显示在显示器205上。具体地，CPU 201在进行天顶校正但不进行横摆角校正的情况下显示VR图像。结果，如图4D所述显示VR图像。该处理与步骤S706的处理相同。
在步骤S808中，CPU 201基于步骤S803中获得的属性信息内所包括的安装位置信息来判断安装位置是否是第三组所包括的安装位置中的任一安装位置。例如，第三组包括无人机。还可以包括滑翔机、跳伞器材和降落伞。如果安装位置是第三组所包括的安装位置中的任一安装位置(步骤S808中为“是”)，则处理进入步骤S809。如果不是(第四组)(步骤S808中为“否”)，则处理进入步骤S810。
在步骤S809中，CPU 201通过上述的第三显示方法将VR图像显示在显示器205上。具体地，CPU 201在不进行天顶校正但进行横摆角校正的情况下显示VR图像。结果，如图4C所述显示VR图像。该处理与步骤S708的处理相同。
在步骤S810中，CPU 201通过上述的第四显示方法将VR图像显示在显示器205上。具体地，CPU 201在不进行天顶校正和横摆角校正的情况下显示VR图像(在无姿势相关校正的情况下显示VR图像)。结果，如图4B所述显示VR图像。该处理与步骤S709的处理相同。
在本示例性实施例中，将拍摄VR图像时的安装位置描述为由用户预先设置。然而，这并非限制性的。如果安装位置不是由用户设置而是可以自动确定，则CPU 201可以使用与自动确定的安装位置有关的信息来进行步骤S804、S805、S806和S808的判断。在这种情况下，如果没有指定安装位置或者不能自动确定安装位置，则步骤S804的判断为“否”。例如，如果基于摄像期间数字照相机100的姿势检测单元55的检测结果而发现VR图像是在几乎不存在振动的状态下拍摄到的，则可以判断为VR图像是在将安装位置设置到三脚架的情况下拍摄的。可以通过判断连接至数字照相机100的安装位置特有的配件(附件)的类型来判断安装位置。
在步骤S811中，CPU 201基于步骤S803中获得的属性信息内所包括的移动信息来判断摄像期间数字照相机100的移动速度是否高于阈值。如果摄像期间数字照相机100的移动速度高于阈值(步骤S811中为“是”)，则处理进入步骤S807。在步骤S807中，CPU 201通过第二显示方法来显示VR图像。如果不是(步骤S811中为“否”)，则处理进入步骤S812。
在步骤S812中，如果要显示的VR图像是运动图像，则CPU 201分析要显示的运动图像。该处理与上述的图5所示的流程图的步骤S512中的系统控制单元50的处理相同。通过重放期间的该分析，CPU 201获得振动信息和静止被摄体信息。如果步骤S803中所获得的属性信息包括振动信息和静止被摄体信息(即，在摄像期间已分析了VR图像)，则可以跳过步骤S812。
在步骤S813中，CPU 201判断在要显示的VR图像中是否存在大于或等于预定面积的静止被摄体。如果存在大于或等于预定面积的静止被摄体(步骤S813中为“是”)，则处理进入步骤S807。如果不是(步骤S813中为“否”)，则处理进入步骤S814。如果步骤S803中所获得的属性信息包括静止被摄体信息并且静止被摄体信息表示在要显示的VR图像中存在大于或等于预定面积的静止被摄体，则判断为“是”。如果作为步骤S812中的分析结果而判断为存在大于或等于预定面积的静止被摄体，则判断也为“是”。如果要显示的VR图像是运动图像并且包括大于或等于预定面积的静止被摄体并持续预定时间(持续预定时间以上)，则判断也可以为“是”。如果从所记录的运动图像的开始点起、直到预定时刻为止或者直到结束为止持续存在大于或等于预定面积的静止被摄体，则判断也可以为“是”。其原因是：如果拍摄VR图像的数字照相机100安装在车辆上，则安装有数字照相机100的车辆的一部分作为大于或等于预定面积的静止被摄体从记录一开始就出现在图像中。
在步骤S814中，CPU 201判断拍摄要显示的VR图像时的数字照相机100的振动是否超过阈值。如果数字照相机100的振动超过阈值(步骤S814中为“是”)，则处理进入步骤S807。如果不是(步骤S814中为“否”)，则处理进入步骤S802。如果步骤S803中所获得的属性信息包括振动信息并且该振动信息表示拍摄要显示的VR图像的数字照相机100的振动超过阈值，则判断为“是”。如果作为步骤S812中的分析的结果而判断为数字照相机100的振动超过阈值，则判断也为“是”。
如上所述适应性地判断在显示VR图像时是否进行天顶校正和横摆角校正各自。这使得用户能够以更适当的显示观看VR图像。在上述的图7和8中，已经说明了基于以下的条件(1)-(5)来使用VR图像的不同显示方法的示例：
(1)基于与重放方法(显示方法)有关的用户设置而使用不同的显示方法(步骤S703-S709和S801)，
(2)基于摄像期间的设置信息而使用不同的显示方法(步骤S804-S810)，
(3)基于摄像期间数字照相机100的移动速度而使用不同的显示方法(步骤S811)，
(4)基于数字照相机100的振动的大小而使用不同的显示方法(步骤S814)，以及
(5)基于视频图像的分析结果(图像分析结果)而使用不同的显示方法(步骤S813和S814)。
基于条件(1)-(5)的判断(以下可被称为条件判断(1)-(5))不限于上述图7和8所示的顺序。例如，步骤S804中的安装位置的判断可以在步骤S801中判断显示方法是否是VR观看之前进行。如果已指定了安装位置，则可以基于步骤S805、S806和S808的判断来确定显示方法。换句话说，如果指定了安装位置，则无论是否处于VR观看，都可以基于安装位置来确定显示方法。如果没有指定安装位置，则在步骤S801中，CPU 201判断显示方法是否是VR观看。如果显示方法是VR观看(步骤S801中为“是”)，则处理进入步骤S802。如果不是(步骤S801中为“否”)，则处理进入步骤S811。步骤S813的判断可以在步骤S801、S804、S805、S806和S808的判断之前进行。如果存在大于或等于预定面积的静止被摄体，则无论是否处于VR观看以及无论安装位置如何，都可以通过第二显示方法来显示VR图像。如果不存在大于或等于预定面积的静止被摄体，则基于其它条件来确定显示方法。同样，可以适当修改判断的顺序。
无需进行所有的条件判断(1)-(5)。如果进行这些判断至少之一，则无需进行其它条件判断。例如，如果在显示控制设备200上重放方法的手动设置在一定程度上无效，则可以省略步骤S701和S703-S709的处理并且可以仅进行步骤S702的处理。可以省略步骤S801的处理以从步骤S803开始图8的自动校正判断处理。具体地，无论显示方法是否是VR观看，都可以基于其它条件来确定显示方法。这并非限制性的，并且可以适当省略条件判断(1)-(5)。
<变形例>
在上述示例性实施例中，说明了在重放期间确定显示方法并且在重放期间应用天顶校正和横摆角校正的示例。然而，这并非限制性的。可以根据摄像期间的条件判断来记录应用天顶校正和/或横摆角校正的VR图像。在这种情况下，重放装置(显示控制设备200)可以在无需进行特定判断或校正处理的情况下，通过仅仅再现并显示所记录的VR图像来沿适合用户的方向显示VR图像。
图9示出摄像期间的条件判断的示例。图9是示出数字照相机100所进行的视频图像校正处理的示例的流程图。在前述的图5所述的S512的处理之后并且在S513的处理之前进行该处理。通过将存储在非易失性存储器56中的程序加载到系统存储器52中并利用系统控制单元50执行该程序来实现该处理。
在步骤S901中，系统控制单元50参考记录在非易失性存储器56中的设置，并且判断校正设置是否被设置为手动。在本变形例中，如果校正设置未被设置为手动(被设置为自动)(步骤S901中为“否”)，则处理进入步骤S902。如果校正设置被设置为手动(步骤S901中为“是”)，则处理进入步骤S903。校正设置是数字照相机100针对VR图像的天顶校正和横摆角校正基于用户操作所设置的并且记录在非易失性存储器56中的设置。在进行校正设置时，将诸如图6B所示等的校正设置画面显示在作为连接至数字照相机100的外部装置的显示控制设备200的显示器205上。该校正设置画面可以显示在数字照相机100的显示单元28上。用户可以在该校正设置画面上选择自动或手动。如果选择了手动，则可以单独选择是开启还是关闭天顶校正和横摆角校正各自。在用户的选择操作之后，系统控制单元50将这些选择作为校正设置记录到非易失性存储器56中。
在步骤S902中，系统控制单元50进行记录自动校正处理。以下将参考图10来说明该处理。
步骤S903和S904的处理与在上述的图7的步骤S703和S704中被描述为由CPU 201所要进行的处理相同。因而将省略对该处理的说明。代替非易失性存储器203，对于设置信息，参考非易失性存储器56。
在步骤S905中，系统控制单元50通过使用图像处理单元24向VR图像应用第一校正处理。具体地，系统控制单元50应用天顶校正和横摆角校正这两者。在步骤S905的处理结束之后，处理进入步骤S513。在步骤S513中，系统控制单元50记录在步骤S905中进行了第一校正处理的运动图像(VR图像)。如果在没有校正处理的情况下再现如此记录的运动图像，则可以以与前述的第一显示方法相同的方式观看VR图像。为了防止在重放步骤中对校正后的VR图像冗余地应用校正处理，将以下两个处理至少任一个应用于校正后的VR图像。第一个处理是附加表示校正了天顶和横摆角这两者的属性信息。如果附加了表示这些校正完成的这种属性信息，则无论前述的条件判断(1)-(5)如何，显示控制设备200都通过第四显示方法显示VR图像。第二个处理是记录与校正后的VR图像有关的姿势信息，使得既不存在天顶的倾斜也不存在横摆角的变化。在显示既不存在天顶的倾斜也不存在横摆角的变化的这种VR图像时，无论使用第一显示方法至第四显示方法中的哪一个，显示控制设备200都不校正天顶或横摆角。因而，无论是否进行前述的条件判断(1)-(5)并且无论由此选择了第一显示方法至第四显示方法中的哪个显示方法，都在不改变天顶和横摆角的情况下显示VR图像。
在步骤S906中，系统控制单元50使用图像处理单元24向VR图像应用第二校正处理。具体地，系统控制单元50应用天顶校正而不应用横摆角校正。在步骤S906的处理结束之后，处理进入步骤S513。在步骤S513中，系统控制单元50记录在步骤S906中进行了第二校正处理的运动图像(VR图像)。如果在没有校正处理的情况下再现如此记录的运动图像，则可以以与前述的第二显示方法相同的方式观看VR图像。为了防止在重放步骤中向校正后的VR图像冗余地应用校正处理，向校正后的VR图像应用以下两个处理中的至少任一处理。第一个处理是附加表示校正了天顶和横摆角这两者的属性信息。尽管没有校正横摆角，但属性信息表示校正了横摆角，使得在重放步骤中将不进行校正。如果附加了表示这些校正完成的这种属性信息，则无论上述的条件判断(1)-(5)如何，显示控制设备200都通过第四显示方法显示VR图像。第二个处理是记录与校正后的VR图像有关的姿势信息，使得既不存在天顶的倾斜也不存在横摆角的变化。在显示既不存在天顶的倾斜也不存在横摆角的变化的这种VR图像时，无论使用第一显示方法至第四显示方法中的哪个显示方法，显示控制设备200都不校正天顶或横摆角。因而，无论是否进行前述的条件判断(1)-(5)并且无论由此选择了第一显示方法至第四显示方法中的哪个显示方法，都在不改变天顶和横摆角的情况下显示VR图像。
在步骤S907中，系统控制单元50判断横摆角校正是否通过校正设置而被设置为开启。如果横摆角校正被设置为开启(步骤S907中为“是”)，则处理进入步骤S908。如果横摆角校正被设置为关闭(步骤S907中为“否”)，则处理进入步骤S909。
在步骤S908中，系统控制单元50使用图像处理单元24向VR图像应用第三校正处理。具体地，系统控制单元50应用横摆角校而不应用天顶校正。在步骤S908的处理结束之后，处理进入步骤S513。在步骤S513中，系统控制单元50记录在步骤S908中进行了第三校正处理的处理后的运动图像(VR图像)。如果在没有校正处理的情况下再现如此记录的运动图像，则可以以与前述的第三显示方法相同的方式观看VR图像。为了防止在重放步骤中向校正后的VR图像冗余地应用校正处理，向校正后的VR图像应用以下两个处理中的至少任一处理。第一个处理是附加表示校正了天顶和横摆角这两者的属性信息。尽管没有校正天顶，但属性信息表示校正了天顶，使得在重放步骤中将不进行校正。如果附加了表示这些校正完成的这种属性信息，则无论上述的条件判断(1)-(5)如何，显示控制设备200都通过第四显示方法显示VR图像。第二个处理是记录与校正后的VR图像有关的姿势信息，使得既不存在天顶的倾斜也不存在横摆角的变化。
在步骤S909中，系统控制单元50在不应用天顶校正和横摆角校正的情况下记录VR图像。在步骤S909的处理结束之后，处理进入步骤S513。在步骤S513中，系统控制单元50记录未校正的运动图像(VR图像)。如果在没有校正处理的情况下再现如此记录的运动图像，则可以以与通过上述的第四显示方法相同的方式观看VR图像。为了防止在重放步骤中向被判断为未校正的这种VR图像应用新的校正处理，向该VR图像应用以下两个处理中的至少任一处理。第一个处理是附加表示校正了天顶和横摆角这两者的属性信息。尽管既没有校正天顶也没有校正横摆角，但属性信息表示校正了天顶和横摆角，使得在重放步骤中将不进行新的校正。如果附加了表示这些校正完成的属性信息，则无论前述的条件判断(1)-(5)如何，显示控制设备200都通过第四显示方法显示VR图像。第二个处理是记录与校正后的VR图像有关的姿势信息，使得既不存在天顶的倾斜也不存在横摆角的变化。
图10示出图9的步骤S902中的记录自动校正处理的详细流程图。通过系统控制单元50使用系统存储器52作为工作存储器加载并执行非易失性存储器56中所记录的程序来实现该处理。在图10中，第一组包括手持、三脚架、自拍杆和天花板等，第二组包括自行车、滑雪橇、滑雪板、冲浪板、汽车和身体佩戴等，第三组包括无人机等，以及第四组包括头盔和过山车等。
在步骤S1004中，系统控制单元50参考非易失性存储器56中所存储的安装位置的设置状态，并且判断是否指定了任何安装位置。如果没有指定安装位置(步骤S1004中为“否”)，则处理进入步骤S1011。如果指定了任何安装位置(步骤S1004中为“是”)，则处理进入步骤S1005。
在步骤S1005中，系统控制单元50进行与上述的图8的步骤S805中被描述为由CPU201进行的处理相同的处理。如果安装位置是第一组所包括的安装位置中的任一安装位置(步骤S1005中为“是”)，则处理进入步骤S1002。如果不是(步骤S1005中为“否”)，则处理进入步骤S1006。
在步骤S1006中，系统控制单元50进行与上述的图8的步骤S806中被描述为由CPU201进行的处理相同的处理。如果安装位置是第二组所包括的安装位置中的任一安装位置(步骤S1006中为“是”)，则处理进入步骤S1007。如果不是(步骤S1006中为“否”)，则处理进入步骤S1008。
在步骤S1008中，系统控制单元50进行与上述的图8的步骤S808中被描述为由CPU201进行的处理相同的处理。如果安装位置是第三组所包括的安装位置中的任一安装位置(步骤S1008中为“是”)，则处理进入步骤S1009。如果不是(步骤S1008中为“否”)，则处理进入步骤S1010。
在步骤S1011中，系统控制单元50判断步骤S509中所检测到的数字照相机100的移动速度是否高于阈值。如果数字照相机100正在以高于阈值的移动速度移动(步骤S1011中为“是”)，则处理进入步骤S1007。如果不是(步骤S1011中为“否”)，则处理进入步骤S1013。
在步骤S1013中，系统控制单元50基于步骤S506或S512中的分析结果，判断在要记录的VR图像中是否存在大于或等于预定面积的静止被摄体。如果存在大于或等于预定面积的静止被摄体(步骤S1013中为“是”)，则处理进入步骤S1007。如果不是(步骤S1013中为“否”)，则处理进入步骤S1014。如果在所记录的运动图像中包括大于或等于预定面积的静止被摄体并持续预定时间，则步骤S1013的判断也可以为“是”。如果从所记录的运动图像的开始点起、直到当前时间点为止持续存在大于或等于预定面积的静止被摄体，则判断也可以为“是”。其原因是：如果将拍摄VR图像的数字照相机100安装在车辆上，则安装有数字照相机100的车辆的一部分作为大于或等于预定面积的静止被摄体从记录一开始就出现在所记录的运动图像中。
在步骤S1014中，系统控制单元50基于步骤S508的检测结果来判断数字照相机100的振动是否超过阈值(数字照相机100是否正在进行满足预定条件的振动)。如果数字照相机100的振动超过阈值(步骤S1014中为“是”)，则处理进入步骤S1007。如果不是(步骤S1014中为“否”)，则处理进入步骤S1002。
在步骤S1002中，系统控制单元50向VR图像应用第一校正处理。该处理与前述的步骤S905的处理相同。
在步骤S1007中，系统控制单元50向VR图像应用第二校正处理。该处理与前述的步骤S906的处理相同。
在步骤S1009中，系统控制单元50向VR图像应用第三校正处理。该处理与前述的步骤S908的处理相同。
在步骤S1010中，系统控制单元50不向VR图像应用校正处理。该处理与前述的步骤S909的处理相同。
以上述方式，在记录作为运动图像的VR图像时，系统控制单元50可以进行校正并记录处理后的图像。在图5的步骤S520中，系统控制单元50可以同样地进行校正并记录作为静止图像的VR图像。
除了前述的图8和10的处理外，如果摄像设置是延时摄像(间隔摄像)，则可以通过第一显示方法来显示VR图像或者对VR图像进行第一校正处理。其原因是：认为延时摄像是应用程序专用的，使得将数字照相机100安装在静止物体上并用于记录附近的以非常低的速度移动的移动物体的移动。
要由系统控制单元50执行的前述各种控制和要由CPU 201执行的前述各种控制可以由单个硬件执行。多个硬件可以通过以分布式方式执行处理来控制整个装置。多个硬件的示例包括多个处理器、多个电路、以及处理器和电路这两者。
尽管已经详细描述了本发明的示例性实施例，但是本发明不限于这样的特定示例性实施例，并且不脱离本发明的主旨的各种模式也包含在本发明的范围内。前述示例性实施例仅示出了本发明的一个示例性实施例，并且可以适当地组合各种示例性实施例。
通过使用将本发明的示例性实施例应用于数字照相机100或显示控制设备200的情况作为示例来描述前述示例性实施例。然而，这样的示例不是限制性的。本发明的示例性实施例可应用于能够拍摄或显示VR图像的任何电子装置。更具体地，本发明的示例性实施例可应用于个人计算机、个人数字助理(PDA)、移动电话终端、便携式图像查看器、包括显示器的打印机装置、数字相框、音乐播放器、游戏机和电子书阅读器。
根据本发明的示例性实施例，可以沿更适当的方向显示宽范围图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然针对示例性实施例描述了本发明，但是应该理解，本发明不限于公开的示例性实施例。所附权利要求书的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。
本申请要求于2017年12月28日提交的日本专利申请2017-254237的权益，在此通过引用将其全部并入本文。

Claims (24)

1.一种电子装置，包括：
图像获取单元，其被配置为获得一个或多个摄像单元所拍摄到的宽范围图像；
信息获取单元，其被配置为获得附加至所述宽范围图像的属性信息，所述属性信息包括表示摄像装置在摄像期间的姿势的姿势信息；以及
控制单元，其被配置为进行控制，使得基于条件选择多个处理中的任一处理来显示所述宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理用于提供基于所述姿势信息来校正天顶和横摆角的显示，所述第二处理用于提供基于所述姿势信息校正天顶而没有校正横摆角的显示，所述第三处理用于提供基于所述姿势信息校正横摆角而没有校正天顶的显示，所述第四处理用于提供没有校正所述宽范围图像的天顶和横摆角的显示。
2.根据权利要求1所述的电子装置，其中，所述控制单元被配置为进行控制，使得在显示范围基于所述电子装置的姿势的变化而改变并显示的虚拟现实观看即VR观看中显示所述宽范围图像的情况下，选择所述第一处理并且显示所述宽范围图像。
3.根据权利要求1所述的电子装置，其中，所述条件包括所述摄像装置在拍摄所述宽范围图像期间的设置。
4.根据权利要求1所述的电子装置，其中，所述条件包括与所述摄像装置在拍摄所述宽范围图像期间的安装位置有关的信息。
5.根据权利要求4所述的电子装置，其中，所述控制单元被配置为在所述安装位置是包括未指定、自拍杆和手持位置的位置中的任一位置的情况下，选择所述第一处理。
6.根据权利要求4所述的电子装置，其中，所述控制单元被配置为在所述安装位置是包括汽车、自行车、滑雪橇和滑雪板的位置中的任一位置的情况下，选择所述第二处理。
7.根据权利要求4所述的电子装置，其中，所述控制单元被配置为在所述安装位置是包括无人机的位置的情况下，选择所述第三处理。
8.根据权利要求4所述的电子装置，其中，所述控制单元被配置为在所述安装位置是包括头盔和过山车的位置中的任一位置的情况下，选择所述第四处理。
9.根据权利要求1所述的电子装置，其中，所述条件包括与所述摄像装置在拍摄所述宽范围图像期间的移动速度有关的条件。
10.根据权利要求9所述的电子装置，其中，所述控制单元被配置为进行控制，使得：在所述移动速度超过预定速度的情况下，选择所述第二处理，以及在所述移动速度没有超过所述预定速度的情况下，选择所述第一处理。
11.根据权利要求1所述的电子装置，其中，所述条件包括与所述摄像装置在拍摄所述宽范围图像期间的振动有关的条件。
12.根据权利要求11所述的电子装置，其中，所述控制单元被配置为进行控制，使得：在所述振动超过预定条件的情况下，选择所述第二处理，以及在所述振动没有超过所述预定条件的情况下，选择所述第一处理。
13.根据权利要求1所述的电子装置，其中，所述条件包括所述宽范围图像的视频图像的分析结果。
14.根据权利要求13所述的电子装置，其中，所述控制单元被配置为进行控制，使得在基于所述分析结果、所述宽范围图像包括大于或等于预定面积的静止被摄体并持续预定时间段以上的情况下，选择所述第二处理。
15.根据权利要求3所述的电子装置，其中，所述控制单元被配置为进行控制，使得在延迟摄像或间隔摄像的情况下，选择所述第一处理。
16.根据权利要求1所述的电子装置，其中，所述条件是由用户关于使用所述第一处理至所述第四处理中的哪个处理而预先选择并设置的。
17.一种电子装置，包括：
图像获取单元，其被配置为获得一个或多个摄像单元所拍摄到的宽范围图像；
信息获取单元，其被配置为获得表示摄像装置在拍摄所述宽范围图像时的姿势的姿势信息；以及
控制单元，其被配置为进行控制，使得：基于条件选择多个处理中的任一处理，将所选择的处理应用于所述宽范围图像，并且记录处理后的宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理包括用于基于所述姿势信息来校正天顶和横摆角的处理，所述第二处理包括用于基于所述姿势信息校正天顶而没有校正横摆角的处理，所述第三处理包括用于基于所述姿势信息校正横摆角而没有校正天顶的处理，所述第四处理没有校正所述宽范围图像的天顶和横摆角。
18.根据权利要求17所述的电子装置，其中，所述控制单元被配置为进行控制，使得对应用了所述第一处理至所述第四处理中的任一处理的处理后的宽范围图像进行以下操作中的任一操作，并且记录处理后的宽范围图像：附加并记录表示该处理后的宽范围图像是已经通过应用所述第一处理至所述第四处理中的任一处理进行了处理的属性信息；不记录表示所述摄像装置在摄像期间的姿势的信息；以及记录表示不存在相对于重力方向的倾斜的姿势信息。
19.根据权利要求1至18中任一项所述的电子装置，其中，所述宽范围图像包括VR图像。
20.根据权利要求1至18中任一项所述的电子装置，其中，所述宽范围图像是包括如下图像的图像中的至少任一图像：全方位图像、全天球图像和视场角为180°以上的图像。
21.一种电子装置的控制方法，所述控制方法包括：
获得一个或多个摄像单元所拍摄到的宽范围图像；
获得附加至所述宽范围图像的属性信息，所述属性信息包括表示摄像装置在摄像期间的姿势的姿势信息；以及
进行控制，使得基于条件选择多个处理中的任一处理来显示所述宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理用于提供基于所述姿势信息来校正天顶和横摆角的显示，所述第二处理用于提供基于所述姿势信息校正天顶而没有校正横摆角的显示，所述第三处理用于提供基于所述姿势信息校正横摆角而没有校正天顶的显示，所述第四处理用于提供没有校正所述宽范围图像的天顶和横摆角的显示。
22.一种电子装置的控制方法，所述控制方法包括：
获得一个或多个摄像单元所拍摄到的宽范围图像，所述宽范围图像的视场角为180°以上；
获得姿势信息，所述姿势信息表示摄像装置在拍摄所述宽范围图像期间的姿势；以及
进行控制，使得：基于条件选择多个处理中的任一处理，将所选择的处理应用于所述宽范围图像，并且记录处理后的宽范围图像，所述多个处理包括第一处理、第二处理、第三处理和第四处理中的至少两个处理，所述第一处理包括用于基于所述姿势信息来校正天顶和横摆角的处理，所述第二处理包括用于基于所述姿势信息校正天顶而没有校正横摆角的处理，所述第三处理包括用于基于所述姿势信息校正横摆角而没有校正天顶的处理，所述第四处理没有校正所述宽范围图像的天顶和横摆角。
23.一种计算机可读存储介质，其存储当电子装置执行时，使得电子装置执行根据权利要求21所述的的方法的程序。
24.一种计算机可读存储介质，其存储当电子装置执行时，使得电子装置执行根据权利要求22所述的的方法的程序。
CN201811619228.3A 2017-12-28 2018-12-28 电子装置及其控制方法和计算机可读存储介质 Active CN109981977B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017254237A JP7043255B2 (ja) 2017-12-28 2017-12-28 電子機器及びその制御方法
JP2017-254237 2017-12-28

Publications (2)

Publication Number Publication Date
CN109981977A true CN109981977A (zh) 2019-07-05
CN109981977B CN109981977B (zh) 2021-12-07

Family

ID=65364686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811619228.3A Active CN109981977B (zh) 2017-12-28 2018-12-28 电子装置及其控制方法和计算机可读存储介质

Country Status (6)

Country Link
US (1) US10893216B2 (zh)
JP (1) JP7043255B2 (zh)
KR (1) KR102415637B1 (zh)
CN (1) CN109981977B (zh)
DE (1) DE102018133322A1 (zh)
GB (1) GB2571611B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11285368B2 (en) * 2018-03-13 2022-03-29 Vc Inc. Address direction guiding apparatus and method
WO2020166582A1 (ja) * 2019-02-15 2020-08-20 株式会社Ｊｖｃケンウッド 画像調整システム、画像調整装置、及び画像調整方法
JP7350511B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US11082609B2 (en) * 2019-06-11 2021-08-03 Joseph Garff User device for facilitating the controlled operation of a camera
JP7388084B2 (ja) * 2019-09-20 2023-11-29 株式会社リコー 情報処理装置、方法および記録媒体
CN110611798B (zh) * 2019-09-30 2021-05-07 深圳市大拿科技有限公司 一种视频显示方法及装置
JP2021089382A (ja) 2019-12-05 2021-06-10 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7363454B2 (ja) * 2019-12-19 2023-10-18 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7322692B2 (ja) 2019-12-19 2023-08-08 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443749B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443751B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
US20210349308A1 (en) * 2020-05-05 2021-11-11 Szu Wen FAN System and method for video processing using a virtual reality device
JP2022125529A (ja) * 2021-02-17 2022-08-29 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888646A (zh) * 2012-12-21 2014-06-25 佳能株式会社 摄像设备和摄像设备的控制方法
CN105379244A (zh) * 2013-05-28 2016-03-02 奥林巴斯株式会社 摄像装置和摄像方法
US20160182863A1 (en) * 2014-12-19 2016-06-23 Aisin Seiki Kabushiki Kaisha Vehicle circumference monitoring apparatus
US20170176746A1 (en) * 2015-12-17 2017-06-22 Skully Inc. Situational awareness systems and methods
CN106998413A (zh) * 2015-12-04 2017-08-01 佳能株式会社 图像处理设备、摄像设备和图像处理方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184093B2 (en) 2002-05-20 2007-02-27 Thomson Licensing Video image formatting technique
US20050146631A1 (en) 2004-01-07 2005-07-07 Shelton Michael J. In-camera cropping to standard photo sizes
JP2006059202A (ja) * 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
JP4284288B2 (ja) 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
JP4745077B2 (ja) 2006-02-14 2011-08-10 オリンパスイメージング株式会社 撮像装置
US7817914B2 (en) 2007-05-30 2010-10-19 Eastman Kodak Company Camera configurable for autonomous operation
JPWO2009141951A1 (ja) 2008-05-19 2011-09-29 パナソニック株式会社 映像撮影装置および映像符号化装置
KR101627185B1 (ko) 2009-04-24 2016-06-03 삼성전자 주식회사 영상촬영장치의 제어방법
JP5274388B2 (ja) 2009-06-15 2013-08-28 キヤノン株式会社 撮像装置
US9041806B2 (en) 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
KR101735612B1 (ko) 2010-08-16 2017-05-15 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5853359B2 (ja) 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5613041B2 (ja) 2010-12-24 2014-10-22 パナソニック株式会社 カメラ装置、画像処理システムおよび画像処理方法
US9473702B2 (en) 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
US9143679B2 (en) 2012-01-26 2015-09-22 Canon Kabushiki Kaisha Electronic apparatus, electronic apparatus control method, and storage medium
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
US9300873B2 (en) 2012-06-22 2016-03-29 Apple Inc. Automated tripod detection and handling in video stabilization
US9094540B2 (en) 2012-12-13 2015-07-28 Microsoft Technology Licensing, Llc Displacing image on imager in multi-lens cameras
GB2531439B (en) 2013-08-21 2016-10-26 Canon Kk Image capturing apparatus and control method thereof
JPWO2015049899A1 (ja) 2013-10-01 2017-03-09 オリンパス株式会社 画像表示装置および画像表示方法
JP6079566B2 (ja) 2013-11-01 2017-02-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015100002A (ja) 2013-11-19 2015-05-28 ソニー株式会社 撮像システム、撮像装置、情報処理装置および方法とプログラム
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
JP6452360B2 (ja) 2013-12-19 2019-01-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US9538078B2 (en) 2014-03-02 2017-01-03 Google Inc. User interface for wide angle photography
JP6634432B2 (ja) 2014-03-25 2020-01-22 ６１１５１８７ カナダ・インコーポレイテッド ディ／ビー／エイ インマーヴィジョン・インコーポレイテッド６１１５１８７ Ｃａｎａｄａ Ｉｎｃ． Ｄ／Ｂ／Ａ Ｉｍｍｅｒｖｉｓｉｏｎ， Ｉｎｃ． 広角画像に関連する情報を記録、共有、及び処理することによるシステム挙動又はユーザエクスペリエンスの自動定義
JP2015191358A (ja) 2014-03-27 2015-11-02 富士フイルム株式会社 中心人物判定システム、中心人物判定システムに利用される情報端末、中心人物判定方法、ならびに中心人物判定プログラムおよび記録媒体
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
JP2016019249A (ja) 2014-07-11 2016-02-01 キヤノン株式会社 表示制御装置
WO2016022984A1 (en) 2014-08-08 2016-02-11 Fusar Technologies, Inc. Helmet system and methods
CA2960427A1 (en) 2014-10-07 2016-04-14 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
US9712751B2 (en) 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
JP5846549B1 (ja) 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
JPWO2016207990A1 (ja) 2015-06-24 2018-04-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
JP6627352B2 (ja) 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
FR3044141B1 (fr) * 2015-11-23 2017-12-08 Parrot Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
JP2017146927A (ja) 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
JP6645245B2 (ja) 2016-02-19 2020-02-14 株式会社ザクティ 全天球撮影システム
JP2017169111A (ja) 2016-03-17 2017-09-21 ソニー株式会社 撮像制御装置、および撮像制御方法、ならびに撮像装置
WO2017191978A1 (en) 2016-05-02 2017-11-09 Samsung Electronics Co., Ltd. Method, apparatus, and recording medium for processing image
JP2017204674A (ja) 2016-05-09 2017-11-16 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP2017224981A (ja) 2016-06-15 2017-12-21 キヤノン株式会社 動画再生装置とその制御方法、プログラム及び記憶媒体
CN106161985B (zh) 2016-07-05 2019-08-27 宁波菊风系统软件有限公司 一种浸入式视频会议的实现方法
KR102612988B1 (ko) 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
JP6936930B2 (ja) 2016-10-28 2021-09-22 Ｏｍデジタルソリューションズ株式会社 撮像装置および焦点調節方法
KR20180051288A (ko) 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106791378A (zh) 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
US20190340737A1 (en) * 2016-12-28 2019-11-07 Keiichi Kawaguchi Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
US10560682B2 (en) 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
CN106911902B (zh) 2017-03-15 2020-01-07 微鲸科技有限公司 视频图像传输方法、接收方法及装置
US10218906B2 (en) 2017-03-22 2019-02-26 Htc Corporation Camera device and method for camera device
US10410314B2 (en) 2017-04-27 2019-09-10 Apple Inc. Systems and methods for crossfading image data
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US10645035B2 (en) 2017-11-02 2020-05-05 Google Llc Automated assistants with conference capabilities
US10841558B2 (en) 2017-11-17 2020-11-17 Omnivision Technologies, Inc. Aligning two images by matching their feature points

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888646A (zh) * 2012-12-21 2014-06-25 佳能株式会社 摄像设备和摄像设备的控制方法
CN204206295U (zh) * 2012-12-21 2015-03-11 佳能株式会社 摄像设备
CN105379244A (zh) * 2013-05-28 2016-03-02 奥林巴斯株式会社 摄像装置和摄像方法
US20160182863A1 (en) * 2014-12-19 2016-06-23 Aisin Seiki Kabushiki Kaisha Vehicle circumference monitoring apparatus
CN106998413A (zh) * 2015-12-04 2017-08-01 佳能株式会社 图像处理设备、摄像设备和图像处理方法
US20170176746A1 (en) * 2015-12-17 2017-06-22 Skully Inc. Situational awareness systems and methods

Also Published As

Publication number Publication date
US10893216B2 (en) 2021-01-12
JP7043255B2 (ja) 2022-03-29
GB2571611B (en) 2021-04-21
GB2571611A (en) 2019-09-04
KR102415637B1 (ko) 2022-07-01
KR20190080780A (ko) 2019-07-08
DE102018133322A1 (de) 2019-07-04
GB201821270D0 (en) 2019-02-13
US20190208141A1 (en) 2019-07-04
CN109981977B (zh) 2021-12-07
JP2019121858A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
CN109981977A (zh) 电子装置及其控制方法和计算机可读存储介质
CN109981944A (zh) 电子装置及其控制方法
CN110691187B (zh) 电子装置、电子装置的控制方法和计算机可读介质
CN111385470B (zh) 电子设备、电子设备的控制方法和计算机可读介质
US11295530B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
JP7094815B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム、記憶媒体
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP2010268128A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
US11380075B2 (en) Electronic apparatus for playing back a virtual reality video image and control method therefor
CN111556243B (zh) 控制图像显示的电子设备及其控制方法和计算机可读介质
CN107800956A (zh) 摄像设备、控制方法和存储介质
JP5088051B2 (ja) 電子カメラおよびプログラム
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP7443100B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
JP7086762B2 (ja) 表示制御装置
JP2010268127A (ja) 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム
JP2021132370A (ja) プログラム、画像通信システム、表示方法及び撮影装置
JP2023136245A (ja) 撮像装置およびその制御方法
JP2020043387A (ja) 画像処理装置、画像処理方法、プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant