CN110505375A - 摄像设备、摄像设备的控制方法和计算机可读介质 - Google Patents

摄像设备、摄像设备的控制方法和计算机可读介质 Download PDF

Info

Publication number
CN110505375A
CN110505375A CN201910409846.3A CN201910409846A CN110505375A CN 110505375 A CN110505375 A CN 110505375A CN 201910409846 A CN201910409846 A CN 201910409846A CN 110505375 A CN110505375 A CN 110505375A
Authority
CN
China
Prior art keywords
image
unit
picture pick
composograph
indication range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910409846.3A
Other languages
English (en)
Other versions
CN110505375B (zh
Inventor
桑原康弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kato Corp
Original Assignee
Kato Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019086091A external-priority patent/JP7271296B2/ja
Application filed by Kato Corp filed Critical Kato Corp
Publication of CN110505375A publication Critical patent/CN110505375A/zh
Application granted granted Critical
Publication of CN110505375B publication Critical patent/CN110505375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H04N1/00172—Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种摄像设备、摄像设备的控制方法和计算机可读介质。所述摄像设备包括：多个图像处理单元，用于输出通过沿不同方向分别对被摄体进行摄像所获得的图像；生成单元，用于合成所述多个图像处理单元所输出的图像；记录单元；获取单元，用于获取显示范围信息；控制单元，用于在所述合成图像记录在记录介质中的情况下，控制所述多个图像处理单元按第一模式驱动，以及在所述合成图像未记录在所述记录介质中的情况下，控制(1)用于输出所述合成图像中的与显示范围相对应的图像的第一图像处理单元按所述第一模式驱动，并且控制(2)用于输出所述合成图像中的与非显示范围相对应的图像的第二图像处理单元按第二模式驱动。

Description

摄像设备、摄像设备的控制方法和计算机可读介质
技术领域
本发明涉及摄像设备、摄像设备的控制方法和计算机可读介质。
背景技术
近年来，能够拍摄诸如天球图像(全方位图像)等的与人类视角相比更宽的范围的图像的摄像设备已经普及。这种摄像设备同时驱动多个照相机单元以拍摄被摄体图像。
在日本特开2010-232908中，通过根据操作指示的有无而降低多个照相机单元中的一部分照相机单元中的驱动脉冲的频率，在不会损坏同时拍摄全方位360度的图像的功能的情况下实现省电。
在日本特开2017-139812中，在摄像设备和用于进行摄像设备的操作的远程控制器的状态(加速度传感器所获取到的操作状态或静止状态)在预定时间内不存在变化的情况下，通过断开摄像设备的电源来实现省电。
发明内容
然而，在日本特开2010-232908中，在显示实时取景图像(从照相机基本上实时地获取到的图像)的天球图像的一部分的情况下，除拍摄显示装置上所显示的图像的照相机单元(以下称为有效照相机单元)以外的照相机单元的输出被浪费。在日本特开2017-139812中，在摄像设备或显示装置移动期间维持照相机单元的输出。因此，与日本特开2010-232908相同，除有效照相机单元以外的照相机单元的输出被浪费。
因此，本发明的目的是提供用于在将从多个摄像设备输出的图像合成并显示在显示装置上的情况下、适当地降低这些摄像设备的电力消耗的技术。
本发明在其第一方面中提供一种摄像设备，包括：多个图像处理单元，其被配置为输出通过沿不同方向分别对被摄体进行摄像所获得的图像；生成单元，其被配置为合成所述多个图像处理单元所输出的图像，由此生成合成图像；记录单元，其被配置为将所述合成图像记录在记录介质中；获取单元，其被配置为获取表示所述合成图像中的显示在画面上的显示范围的显示范围信息；以及控制单元，其被配置为：在所述合成图像记录在所述记录介质中的情况下，不论所述显示范围信息如何，都控制所述多个图像处理单元按第一模式驱动；以及在所述合成图像没有记录在所述记录介质中的情况下，基于所述显示范围信息，控制(1)第一图像处理单元按所述第一模式驱动，并且控制(2)第二图像处理单元按与所述第一模式相比节省电力的第二模式驱动，其中所述第一图像处理单元输出所述合成图像中的与显示范围相对应的图像，以及所述第二图像处理单元输出所述合成图像中的与非显示范围相对应的图像。
本发明在其第二方面中提供一种摄像设备的控制方法，所述摄像设备包括多个图像处理单元，所述多个图像处理单元被配置为输出通过沿不同方向分别对被摄体进行摄像所获得的图像，所述控制方法包括：合成所述多个图像处理单元所输出的图像，由此生成合成图像；将所述合成图像记录在记录介质中；获取表示所述合成图像中的显示在画面上的显示范围的显示范围信息；在所述合成图像记录在所述记录介质中的情况下，不论所述显示范围信息如何，都控制所述多个图像处理单元按第一模式驱动；以及在所述合成图像没有记录在所述记录介质中的情况下，基于所述显示范围信息，控制(1)第一图像处理单元按所述第一模式驱动，并且控制(2)第二图像处理单元按与所述第一模式相比节省电力的第二模式驱动，其中所述第一图像处理单元输出所述合成图像中的与显示范围相对应的图像，以及所述第二图像处理单元输出所述合成图像中的与非显示范围相对应的图像。
本发明在其第三方面中提供一种计算机可读介质，用于存储程序，其中所述程序使计算机执行摄像设备的控制方法，所述摄像设备包括多个图像处理单元，所述多个图像处理单元被配置为输出通过沿不同方向分别对被摄体进行摄像所获得的图像，所述控制方法包括：合成所述多个图像处理单元所输出的图像，由此生成合成图像；将所述合成图像记录在记录介质中；获取表示所述合成图像中的显示在画面上的显示范围的显示范围信息；在所述合成图像记录在所述记录介质中的情况下，不论所述显示范围信息如何，都控制所述多个图像处理单元按第一模式驱动；以及在所述合成图像没有记录在所述记录介质中的情况下，基于所述显示范围信息，控制(1)第一图像处理单元按所述第一模式驱动，并且控制(2)第二图像处理单元按与所述第一模式相比节省电力的第二模式驱动，其中所述第一图像处理单元输出所述合成图像中的与显示范围相对应的图像，以及所述第二图像处理单元输出所述合成图像中的与非显示范围相对应的图像。
根据本发明，可以提供用于在将从多个摄像设备输出的图像合成并显示在显示装置上的情况下、适当地降低摄像设备的电力消耗的技术。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1A是示出根据实施例的摄像设备的示例的正面外观图；
图1B是示出根据实施例的摄像设备的示例的背面外观图；
图1C是示出根据实施例的摄像设备的示例的功能框图；
图2A是示出根据实施例的显示控制设备的示例的外观图；
图2B是示出根据实施例的显示控制设备的示例的功能框图；
图2C是示出根据实施例的合成图像的示例的图；
图2D是示出根据实施例的合成图像的一部分的示例的图；
图3A是示出根据实施例的摄像设备的处理的示例的流程图；
图3B是示出与根据实施例的摄像设备的命令相对应的处理的示例的流程图；
图3C是示出根据实施例的摄像设备的拍摄处理的示例的流程图；
图4A是示出根据实施例的显示控制设备的处理的示例的流程图；
图4B是示出根据实施例的显示控制设备的显示结束处理的示例的流程图；
图4C是示出根据实施例的显示控制设备的拍摄处理的示例的流程图；
图4D是示出根据实施例的显示控制设备的显示改变处理的示例的流程图；
图4E是示出根据实施例的显示控制设备的省电处理的示例的流程图；
图4F是示出根据实施例的显示控制设备的边界处理的示例的流程图；
图4G是示出根据实施例的显示控制设备的边界处理的示例的流程图；
图5A是示出根据实施例的启动时间缩短处理的对象范围的示例的流程图；
图5B是示出根据实施例的启动时间缩短处理的示例的流程图；
图6A是示出根据实施例的无操作时间的设置画面的示例的图；
图6B是示出根据实施例的无操作时间的设置处理的示例的流程图；
图7是示出根据实施例的摄像设备的处理的示例的流程图；
图8是示出根据实施例的显示控制设备的处理的示例的流程图；
图9是示出根据实施例的摄像设备的处理的示例的流程图；以及
图10是示出根据实施例的显示控制设备的处理的示例的流程图。
具体实施方式
(第一实施例)
以下说明本发明的实施例。
<概述>
在本实施例中，说明使用包括多个照相机单元的摄像设备来拍摄天球图像、并且使用显示控制设备来显示该天球图像的一部分的示例。本实施例中的天球图像是通过连结摄像设备的多个照相机单元所拍摄到的图像数据(摄像数据)而获得的视野为360度的图像。以下顺次说明根据本实施例的摄像设备100和显示控制设备200的结构和处理内容。
<摄像设备100的结构>
图1A是示出根据本实施例的摄像设备100的示例的正面外观图(立体图)。图1B是摄像设备100的背面外观图(立体图)。摄像设备100是包括运算装置(处理器)、存储器、存储装置以及输入和输出装置的信息处理装置(计算机)。摄像设备100执行存储装置中所存储的程序，由此提供摄像设备100的以下所述的功能。这些功能的一部分或全部可以由诸如ASIC或FPGA等的专用逻辑电路来实现。在本实施例中，说明包括两个照相机单元的摄像设备作为示例。然而，照相机单元的数量可以是三个以上。
根据本实施例的摄像设备100也被掌握为包括两个照相机单元“a”和“b”的天球照相机(全方位照相机)。照相机单元“a”是拍摄范围为摄像设备100的前侧的上下左右方向上的180度以上的宽范围的广角照相机。照相机单元“b”是拍摄范围为摄像设备100的后侧的上下左右方向上的180度以上的宽范围的广角照相机。挡板102a和102b是用于照相机单元“a”和“b”的拍摄镜头103a和103b的保护窗。挡板102a和102b可以是拍摄镜头103a和103b自身的外侧的面。
显示单元28是用于显示各种信息的显示单元。快门按钮61是用于给出拍摄指示的操作单元。模式转换开关60是用于切换各种模式的操作单元。连接I/F 25是用于连接至诸如智能电话、个人计算机和电视等的外部装置的连接线缆所用的连接器以及摄像设备100所用的连接器。操作单元70是用于接收来自用户的各种操作的包括诸如各种开关、按钮、拨盘或触摸传感器等的操作构件的操作单元。电源开关72是用于切换电源的接通/断开(ON/OFF)的推式按钮。
发光单元21是诸如发光二极管(LED)等的发光构件。发光单元21利用发光模式或发光颜色向用户通知摄像设备100的各种状态。固定单元40是例如三脚架螺纹孔，并且是用于将摄像设备100固定到诸如三脚架等的固定仪器并设置摄像设备100的构件。
图1C是示出摄像设备100的示例的功能框图。
挡板102a和102b覆盖摄像设备100的包括拍摄镜头103a和103b的照相机单元“a”和“b”的摄像系统，由此防止包括拍摄镜头103a和103b、快门101a和101b以及摄像单元22a和22b的摄像系统的变污和破损。拍摄镜头103a和103b是包括变焦透镜和调焦透镜的镜头组，并且例如是广角镜头。快门101a和101b是包括用于调整向摄像单元22a和22b上的被摄体光的入射量的光圈功能的快门。摄像单元22a和22b是由用于将光学图像转换成电气信号的CCD或CMOS元件等配置成的摄像元件。A/D转换器23a和23b是用于将从摄像单元22a和22b输出的模拟信号转换成数字信号的功能单元。
在本实施例中，利用摄像单元22a和22b拍摄VR(虚拟现实)图像。VR图像包括由天球照相机(全方位照相机)拍摄到的天球图像(全方位图像)和具有比在显示装置上可以一次显示的显示范围宽的视频范围(有效视频范围)的全景图像(全景图像数据)。VR图像不仅包括静止图像，而且还包括运动图像和实时取景(LV)图像(从照相机基本上实时地获取到的图像)。
VR图像具有在上下方向(垂直角度、从天顶起的角度、仰角、俯角和高度角)上最大为360度并且在左右方向(水平角度和方位角度)上最大为360度的视野的视频范围(有效视频范围)。VR图像包括如下的图像，即使视角或视频范围在上下方向上小于360度且在左右方向上小于360度，该图像也具有比利用通常照相机可拍摄的视角宽的视角(视野范围)、或者具有比在显示装置上可以一次显示的显示范围宽的视频范围(有效视频范围)。例如，能够拍摄左右方向(水平角度和方位角度)为360度且以天顶为中心的垂直角度为210度的视野(视角)的被摄体的天球照相机所拍摄到的图像是一种VR图像。
例如，由如下的照相机所拍摄到的图像是一种VR图像，该照相机能够拍摄左右方向(水平角度和方位角度)为180度且以水平方向为中心的垂直角度为180度的视野(视角)的被摄体。也就是说，如下的图像是一种VR图像，该图像具有在上下方向和左右方向上分别为160度(±80度)的视野的视频范围，并且具有比人类一次从视觉上可识别的范围宽的视频范围。在如以下所述对该VR图像进行VR显示的情况下，可以通过在左右转动方向上改变显示装置的姿势来观看在左右方向(水平转动方向)上无缝的全方位视频。可以观看在上下方向(垂直转动方向)上从正上方(天顶)观看到的±105度的范围内无缝的全方位图像。然而，从正上方观看的超过105度的范围是不存在视频的空白区域。VR图像也可被视为“视频范围在虚拟空间(VR空间)的至少一部分中的图像”。
VR显示是能够改变显示范围的显示方法，其中显示VR图像中的与显示装置的姿势相对应的视野范围内的视频。在用户佩戴例如作为显示装置的头戴式显示器(HMD)并观看VR图像的情况下，显示与用户的面部的方向相对应的视野范围的视频。例如，可以在VR图像中在特定时间点处显示在左右方向上以0度为中心(特定方向；例如北)和在上下方向上以90度(从天顶起的90度、即水平)为中心的视角(视野)的视频。在显示装置的姿势从该状态反转(例如，显示面从向南改变为向北)的情况下，显示范围改变为同一VR图像中的、在左右方向上以180度为中心(相反方向，例如南)和在上下方向上以90度(水平)为中心的视角的视频。
在用户正在观看HMD时，如果用户使面部从北转向南(即，转向背面)，则HMD上所显示的视频从北向的视频改变为南向的视频。利用这种VR显示，可以使用户从视觉上感觉仿佛该用户存在于VR图像(VR空间)内的现场。可以通过将诸如智能电话等的显示装置安装至VR护目镜(头戴式适配器)来进行VR显示。所安装的智能电话被视为一种HMD。VR图像的显示方法不限于上述。例如，可以根据对触摸面板或方向按钮等的用户操作而不是姿势的变化来使显示范围移动(滚动)。
图像处理单元24是用于对从A/D转换器23a和23b接收到的数据或者从存储器控制单元15接收到的数据进行预定的像素插值、诸如缩小等的调整大小处理以及颜色转换处理的功能单元。图像处理单元24使用所拍摄到的图像数据来进行预定的运算处理。系统控制单元50基于图像处理单元24所获得的算术运算结果来进行曝光控制和测距控制。因此，进行了TTL(通过镜头)方式的AF(自动调焦)处理、AE(自动曝光)处理和EF(电子闪光、闪光灯预发光)。此外，图像处理单元24使用所拍摄到的图像数据来进行预定的运算处理，并且基于所获得的算术运算结果来进行TTL方式的AWB(自动白平衡)处理。
图像处理单元24对从A/D转换器23a和23b获得的两个图像(鱼眼图像)应用基本图像处理，之后合成这两个图像(进行这两个图像的图像连结处理)以生成单个VR图像(合成图像)。图2C示出用于将从照相机单元“a”的A/D转换器23a获得的图像221(虚线矩形)的图像处理结果和从照相机单元“b”的A/D转换器23b获得的图像222(虚线矩形)的图像处理结果合成以生成VR图像223的概念图。在这两个图像的图像连结处理中，图像处理单元24在两个图像各自中根据模式匹配处理针对各区域计算基准图像和比较图像之间的偏移量，并且检测连结位置。图像处理单元24考虑到所检测到的连结位置和光学系统镜头特性，根据几何变换来进行两个图像的失真校正处理，并且将这两个图像转换成天球图像格式。图像处理单元24将天球图像格式的两个图像混合以最终生成一个天球图像数据(VR图像)。所生成的天球图像数据是通过使用等距柱状投影所获得的图像。像素的位置可以与球体的表面上的坐标相关联。
来自A/D转换器23a和23b的输出数据经由图像处理单元24和存储器控制单元15或者经由存储器控制单元15被写入存储器32中。存储器32存储由摄像单元22获得的并且由A/D转换器23a和23b转换成数字数据的图像数据、以及从连接I/F 25输出至外部显示器的图像。存储器32具有足以存储预定数量的静止图像以及预定时间的运动图像和声音的存储容量。
存储器32还用作图像显示所用的存储器(视频存储器)。存储器32中所存储的图像显示所用的数据可以从连接I/F 25输出至外部显示器。图像处理单元24使用由摄像单元22a和22b至少之一拍摄到的图像所生成的并且累积在存储器32中的VR图像被顺次传送至外部显示器并显示在外部显示器上。因此，外部显示器可以用作电子取景器并且进行实时取景显示(LV显示)。在以下说明中，实时取景显示的图像被称为LV图像。存储器32中所累积的VR图像可以被传送至经由通信单元54无线连接的外部装置(智能电话等)，并且可以显示在外部装置侧，由此进行实时取景显示(远程LV显示)。
非易失性存储器56是用作电气可擦除可记录的记录介质的存储器。例如，使用EEPROM(电可擦除可编程只读存储器)。系统控制单元50的操作所用的常数和程序等存储在非易失性存储器56中。程序是指用于执行本实施例中的以下所述的各种流程图的计算机程序。
系统控制单元50是包括至少一个处理器或电路的控制单元，并且是控制整个摄像设备100的功能单元。系统控制单元50执行以上所述的非易失性存储器56中所记录的程序，以实现以下所述的本实施例中的各种处理。例如，RAM用作系统存储器52。在系统存储器52中展开系统控制单元50的操作所用的常数和变量、以及从非易失性存储器56读出的程序等。系统控制单元50控制存储器32、图像处理单元24和存储器控制单元15，由此还进行显示控制。系统计时器53是用于测量各种控制所使用的时间和测量内置时钟的时间的计时单元。
模式转换开关60、快门按钮61和操作单元70是用于向系统控制单元50输入各种操作指示的操作单元。模式转换开关60将系统控制单元50的操作模式切换为静止图像记录模式、运动图像拍摄模式、再现模式和通信连接模式等中的任一个。作为静止图像记录模式中所包括的模式，存在自动拍摄模式、自动场景判别模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式。存在作为针对各个拍摄场景的拍摄设置的各种场景模式、以及自定义模式等。用户使用模式转换开关60将操作模式直接切换到上述模式中的任一个。可选地，用户可以利用模式转换开关60一度将显示单元28切换到摄像模式的列表画面，之后选择显示单元28上所显示的多个模式中的任一个，并且使用其它操作构件来切换该操作模式。同样，在运动图像拍摄模式中可以包括多个模式。
电源开关72是用于切换电源的接通/断开的按钮。发光单元21是诸如发光二极管(LED)等的发光构件，并且是用于利用发光模式或发光颜色向用户通知摄像设备100的各种状态的功能单元。记录介质150是诸如存储卡或硬盘等的记录介质。
第一快门开关62在摄像设备100中所设置的快门按钮61的操作的中途(即，通过所谓的半按下(拍摄准备指示))接通，并且生成第一快门开关信号SW1。系统控制单元50根据第一快门开关信号SW1而开始诸如上述的AF处理、AE处理、AWB处理或EF处理等的拍摄准备操作。
第二快门开关64在快门按钮61的操作完成(即，通过所谓的全按下(拍摄指示))时接通，并且生成第二快门开关信号SW2。系统控制单元50开始从来自摄像单元202的信号读出起直到将图像数据写入记录介质150中为止的一系列拍摄处理操作。
快门按钮61不限于能够进行全按下和半按下这两级的操作的操作构件，而且可以是能够进行仅一级的按下的操作构件。在这种情况下，根据一级的按下连续地进行拍摄准备操作和拍摄处理。这是与在全按下能够半按下和全按下的快门按钮的情况下进行的操作相同的操作(在基本上同时生成SW1和SW2的情况下进行的操作)。
通过选择和操作显示单元28上所显示的各种功能图标和选项来针对各场景向操作单元70的操作构件分配功能。操作构件用作各种功能按钮。作为功能按钮，存在例如结束按钮、返回按钮、图像馈送按钮、跳转按钮、缩小按钮和属性改变按钮。例如，在按下菜单按钮时，在显示单元28上显示各种可设置的菜单画面。用户可以通过在观看显示单元28上所显示的菜单画面的同时操作操作单元70来直观地进行各种设置。
电源控制单元80由电池检测电路、DC-DC转换器、以及用于切换要通电的块的开关电路等配置成。电源控制单元80进行电池的安装的有无、电池的类型和电池剩余电力的检测。电源控制单元80基于该检测结果和系统控制单元50的指示来控制DC-DC转换器，并且在所需时间段内向包括记录介质150的单元供给所需电压。电源单元30是由诸如碱性电池或锂电池等的一次电池、诸如NiCd电池、NiMH电池或Li电池等的二次电池、以及AC适配器等配置成的电源。
记录介质I/F 18是与诸如存储卡或硬盘等的记录介质150的接口。记录介质150是用于记录所拍摄到的图像的诸如存储卡等的记录介质。记录介质150由半导体存储器、光盘或磁盘等配置成。记录介质150可以是可拆卸地安装至摄像设备100的可更换记录介质，或者可以是内置的记录介质。
通信单元54通过无线方式或通过有线线缆连接，并且进行视频信号和声音信号等的发送和接收。通信单元54也可连接至无线LAN(局域网)和因特网。通信单元54还能够通过蓝牙(Bluetooth，注册商标)和蓝牙低功耗(Bluetooth Low Energy，注册商标)与外部装置进行通信。通信单元54能够发送摄像单元22a和22b所拍摄到的图像(包括LV图像)以及记录介质150中所记录的图像。通信单元54可以从外部装置接收图像和其它各种信息。
姿势检测单元55检测摄像设备100相对于重力方向的姿势。系统控制单元50能够基于姿势检测单元55所检测到的姿势来判别摄像单元22所拍摄到的图像是通过水平地保持摄像设备100所拍摄到的图像还是通过垂直地保持摄像设备100所拍摄到的图像。系统控制单元50能够判别摄像设备100为了拍摄图像而在横摆、俯仰和侧倾的三轴方向上倾斜到何种程度。系统控制单元50能够将与姿势检测单元55所检测到的姿势相对应的方向信息添加至摄像单元22a和22b所拍摄到的VR图像的图像文件、并且转动图像(调整图像的方向以校正倾斜)并记录图像。作为姿势检测单元55，可以单独地或者以两个以上的组合的方式使用加速度传感器、陀螺仪传感器、地磁传感器、方位(角)传感器和高度传感器等。姿势检测单元55还能够使用上述传感器来检测摄像设备100的运动(平摇、倾斜、抬起和是否静止等)。
麦克风20是用于收集作为VR图像的运动图像的声音所记录的摄像设备100周围的声音的麦克风。连接I/F 25是与用于将摄像设备100连接至外部装置并进行视频的发送和接收的HDMI(注册商标)线缆或USB线缆等的连接插头。
<显示控制设备200的结构>
图2A是示出作为一种电子装置的显示控制设备200的示例的外观图。显示控制设备200是包括运算装置(处理器)、存储器、存储装置以及输入和输出装置的信息处理装置(计算机)。显示控制设备200执行存储装置中所存储的程序，由此提供显示控制设备200的以下所述的功能。这些功能的一部分或全部可以由诸如ASIC或FPGA等的专用逻辑电路实现。
显示单元205是用于显示图像和各种信息的显示单元。在本实施例中，显示单元205与如以下所述的触摸面板206a一体地配置成。显示单元205检测对显示单元205的显示面的触摸操作。显示控制设备200能够将VR图像(VR内容)VR显示在显示单元205上。操作单元206(操作接收单元)包括触摸面板206a以及操作单元206b、206c、206d和206e。操作单元206b是用于接收用于切换显示控制设备200的电源的接通/断开的操作的电源按钮。操作单元206c和206d是用于增大和减小从声音输出单元(例如，以下所述的扬声器212b)输出的声音的音量的按钮。操作单元206e是用于使显示单元205显示主画面的按钮。声音输出端子212a是耳机插孔。声音输出端子212a将声音输出至耳机和外部扬声器等。扬声器212b是用于发出声音的主体内置扬声器。
图2B是示出显示控制设备200的示例的功能框图。显示控制设备200可以使用诸如智能电话等的显示装置配置成。
在图2B中，CPU 201、存储器202、非易失性存储器203、图像处理单元204、显示单元205、操作单元206、存储介质I/F 207、外部I/F 209和通信I/F 210连接至内部总线250。声音输出单元212、姿势检测单元213和系统计时器214也连接至内部总线250。连接至内部总线250的单元经由内部总线250彼此交换数据。
CPU 201是控制整个显示控制设备200的控制单元。CPU 201使用至少一个处理器或电路配置成。存储器202是例如RAM(使用半导体元件的易失性存储器等)。CPU 201根据例如非易失性存储器203中所存储的程序，使用存储器202作为工作存储器来控制显示控制设备200的单元。在非易失性存储器203中存储有图像数据和声音数据、其它数据、以及CPU201工作所用的各种程序等。非易失性存储器203是例如闪速存储器或ROM。
图像处理单元204是用于对非易失性存储器203和记录介质208中所存储的图像、经由外部I/F 209获取到的视频信号和经由通信I/F 210获取到的图像等应用各种图像处理的功能单元。这些图像可以是静止图像或者可以是运动图像。图像处理单元204所进行的图像处理包括A/D转换处理、D/A转换处理、以及针对图像数据的编码处理、压缩处理、解码处理、放大处理/缩小处理(调整大小)、降噪处理和颜色转换处理。图像处理单元204还对全方位图像或非全方位图像进行各种图像处理，诸如作为具有宽范围的数据的宽范围图像的VR图像的全景展开、映射处理和转换等。图像处理单元204可以由用于应用特定图像处理的专用电路块配置成。根据图像处理的类型，CPU 201能够在无需使用图像处理单元204的情况下根据程序来应用图像处理。
在以上说明中，摄像设备100的图像处理单元24合成两个图像(鱼眼图像)(进行这两个图像(鱼眼图像)的图像连结处理)以生成单个VR图像(合成图像)。然而，显示控制设备200可以生成单个VR图像(合成图像)。在这种情况下，将两个图像(鱼眼图像)在没有合成的情况下从摄像设备100发送至显示控制设备200。显示控制设备200合成从摄像设备100接收到的两个图像(鱼眼图像)(进行这两个图像(鱼眼图像)的图像连结处理)以生成单个VR图像(合成图像)。在从记录开始指示起直到记录结束指示为止的时间段中，所生成的VR图像被记录在记录介质208中。
显示单元205基于CPU 201的控制来显示图像或者配置GUI(图形用户界面)的GUI画面等。CPU 201根据程序来生成显示控制信号，并且控制显示控制设备200的单元以生成要显示在显示单元205上的视频信号并将该视频信号输出至显示单元205。显示单元205基于所输出的视频信号来显示视频。显示控制设备200中所包括的组件最多是用于输出要显示在显示单元205上的视频信号的接口。显示单元205可以是外部监视器(电视机等)。
操作单元206(接收单元)是用于接收用户操作的输入装置。操作单元206例如是诸如键盘等的字符信息输入装置、诸如鼠标或触摸面板等的指示装置、按钮、拨盘、操纵杆、触摸传感器或触摸板。触摸面板是平面地配置成叠加在显示单元205上并且被配置为输出与所触摸的位置相对应的坐标信息的输入装置。操作单元206可以是用于接收来自诸如远程控制器等的外部输入装置的信号的接收装置、而不是输入装置。
诸如存储卡、CD或DVD等的记录介质208可以安装至存储介质I/F 207。存储介质I/F 207基于CPU 201的控制来进行从所安装的记录介质208读出数据和向记录介质208写入数据。外部I/F 209是通过有线线缆或通过无线方式连接至外部装置以进行视频信号和声音信号的输入和输出的接口。通信I/F210是用于与外部装置和因特网(NET)211等进行通信并且进行诸如文件和命令等的各种数据的发送和接收的接口。
声音输出单元212是用于输出运动图像和音乐数据的声音、操作声音、铃声以及各种通知声音等的功能单元。声音输出单元212包括耳机等连接至的声音输出端子212a、以及扬声器212b。然而，声音输出单元212可以通过无线通信等进行声音输出。
姿势检测单元213是用于检测显示控制设备200相对于重力方向的姿势、以及姿势相对于横摆、侧倾和俯仰的各轴的倾斜的功能单元。可以基于姿势检测单元213所检测到的姿势来判别显示控制设备200是否水平保持、垂直保持、指向上、指向下以及设置成倾斜姿势等。可以使用加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器等至少之一作为姿势检测单元213。也可以组合地使用加速度传感器、陀螺仪传感器、地磁传感器、方位传感器和高度传感器等的多个传感器。系统计时器214是用于测量各种控制所使用的时间和内置时钟的时间的计时单元。
在本实施例中，操作单元206包括触摸面板206a。CPU 201如以下所述检测触摸面板206a上的操作或者触摸面板206a的状态。
·没有正触摸触摸面板206a的手指或笔新触摸触摸面板206a，即触摸的开始(以下称为触及)。
·手指或笔正触摸触摸面板206a的状态(以下称为触摸持续)。
·手指或笔在保持触摸触摸面板206a的同时正在移动(以下称为触摸移动)。
·触摸触摸面板206a的手指或笔与触摸面板206a分离，即触摸的结束(以下称为触摸停止)。
·没有触摸触摸面板206a的状态(以下称为未触摸)。
在检测到触及时，同时检测到触摸持续。在触及之后，除非检测到触摸停止，否则通常继续检测到触摸持续。在检测到触摸移动时，同时检测到触摸持续。即使检测到触摸持续，如果触摸位置没有移动，则也不会检测到触摸移动。在检测到触摸触摸面板206a的所有手指或笔与触摸面板206a分离的情况下，检测到未触摸。
将这些操作和状态以及手指或笔在触摸面板206a上的触摸的位置坐标通过内部总线通知至CPU 201。CPU 201基于所通知的信息来判断在触摸面板206a上进行了哪种操作(触摸操作)。关于触摸移动，还基于位置坐标的变化针对触摸面板206a上的各个垂直分量和水平分量判断手指或笔在触摸面板206a上移动的移动方向。在检测到预定距离以上的触摸移动的情况下，CPU 201判断为进行了滑动操作。将用于使手指在保持触摸触摸面板206a的同时快速移动一定距离、并且在移动手指的同时使手指与触摸面板206a分离的操作称为轻拂(flick)。换句话说，轻拂是用于在触摸面板206a上快速追踪仿佛用手指拂过触摸面板206a的操作。在检测到按预定速度以上的预定距离以上的触摸移动、并且在该触摸移动期间检测到触摸停止的情况下，CPU 201判断为进行了轻拂(判断为在滑动操作之后进行了轻拂)。此外，将用于同时触摸多个部位(例如，两个点)并使这多个部位的触摸位置彼此靠近的触摸操作称为捏合(pinch-in)。将使这些触摸位置彼此远离的触摸操作称为分开(pinch-out)。将分开和捏合统称为捏分(pinch)操作(或简称为捏分)。作为触摸面板206a，可以使用诸如以下等的各种类型中的任何类型的触摸面板：电阻膜型、电容型、表面声波型、红外型、电磁感应型、图像识别型和光学传感器型等。存在用于根据与触摸面板的接触而检测到触摸了触摸面板的类型、以及用于根据手指或笔向触摸面板的接近而检测到触摸了触摸面板的类型。可以使用这些类型中的任一类型。
<摄像设备100的处理内容>
图3A～3C是示出在摄像设备100中进行的各种处理的示例的流程图。这些各种处理包括通过摄像设备100自身的操作的拍摄处理(摄像处理)和通过从显示控制设备200接收到的命令的装置控制处理。上述的处理通过系统控制单元50在系统存储器52中展开非易失性存储器56中所记录的程序并执行这些程序来实现。图3A所示的控制由系统控制单元50执行。在摄像设备100的电源接通并且通信单元54或连接I/F 25启用的情况下，开始图3A所示的处理。
首先，系统控制单元50利用图像处理单元24处理照相机单元“a”和“b”所拍摄到的图像，并且开始这些图像向存储器32的输出(S301)。系统控制单元50判断摄像设备100是否正经由通信单元54与显示控制设备200进行通信(S302)。在摄像设备100没有正与显示控制设备200进行通信的情况下(S302中为“否”)，系统控制单元50执行步骤S308的处理。
在摄像设备100正与显示控制设备200进行通信的情况下(S302中为“是”)，系统控制单元50开始将存储器32中所累积的实时VR图像作为实时视频从通信单元54发送(S303)。随后，系统控制单元50将摄像设备状况(状态)发送至显示控制设备200(S304)。摄像设备状况包括照相机单元的开启/关闭(ON/OFF)、拍摄的开启/关闭(ON/OFF)、记录的开启/关闭(ON/OFF)和向显示控制设备200的图像发送(视频发送)的开启/关闭(ON/OFF)。摄像设备状况包括诸如向摄像单元22的馈电的有无、向A/D转换器23a和23b的馈电的有无以及图像处理的开启/关闭(ON/OFF)等的信息。照相机单元的开启是至少存在向摄像单元22的馈电并且拍摄开启的状态。图像发送可以是开启或关闭。照相机单元的关闭是至少拍摄为关闭(图像发送也为关闭)的状态。可以存在或不存在向摄像单元22的馈电。随后，系统控制单元50判断在显示控制设备200上是否正在显示实时视频(S305)。在没有正在显示实时视频的情况下(S305中为“否”)，系统控制单元50执行步骤S308的处理。系统控制单元50可以使用无线通信等从显示控制设备200获取信息，以判断是否正在显示实时视频。系统控制单元50可以根据摄像设备100是否正将实时视频发送至显示控制设备200来进行步骤S305的判断。
在正在显示实时视频的情况下(S305中为“是”)，系统控制单元50判断是否从显示控制设备200接收到命令(S306)。在没有接收到命令的情况下(S306中为“否”)，系统控制单元50执行步骤S304的处理。在接收到命令的情况下(S306中为“是”)，系统控制单元50执行与显示控制设备200的命令相对应的处理(S307)。以下说明步骤S307的处理的详情。
随后，在步骤S308中，系统控制单元50判断“摄像设备100是否正将实时视频发送至外部并且没有正与显示控制设备200进行通信”。在摄像设备100正将实时视频发送至外部并且没有正与显示控制设备200进行通信的情况下(S308中为“是”)，系统控制单元50停止实时视频的发送(S309)。
随后，在步骤S310中，系统控制单元50基于摄像设备100的操作来判断是否给出拍摄指示。摄像设备100的操作例如是通过按下快门按钮61的操作。在接收到拍摄指示的情况下(S310中为“是”)，系统控制单元50执行图3B所示的拍摄处理(S311)。以下说明步骤S311中的拍摄处理的详情。
随后，在步骤S312中，系统控制单元50判断是否进行照相机停止操作。在进行了照相机停止操作的情况下(S312中为“是”)，如果摄像设备100正在进行记录(S313中为“是”)，则系统控制单元50停止记录(S314)，并且之后关闭照相机单元(S315)。
<<与命令相对应的处理(S307)>>
图3B是示出步骤S307中的处理的详情的流程图。在本实施例中，说明如下的示例：摄像设备100接收与拍摄处理、照相机单元的开启/关闭的切换处理、以及向显示控制设备200的图像发送的开启/关闭的切换处理有关的命令。摄像设备100所接收到的命令不限于上述，并且可以是例如用于改变照相机单元的方向的命令和用于改变上述的摄像设备状况的状态的命令。
与拍摄处理有关的命令是在以下所述的显示控制设备200的拍摄指示处理(S408)中给出的命令(拍摄指示)。与照相机单元的开启和图像发送的开启有关的命令是在针对以下所述的显示控制设备200的显示范围的改变处理(S410)中给出的命令。此外，与照相机单元的关闭和图像发送的关闭有关的命令是在以下所述的显示控制设备200的省电处理(S413)中给出的命令。
显示控制设备200根据摄像设备100是否正在进行记录来指示摄像设备100切换照相机单元的开启/关闭或者图像发送的开启/关闭。这是因为，在照相机单元开启的情况下，由于在摄像设备100正在进行记录时摄像设备100的电源(向照相机单元的馈电)已开启，因此仅需要开启图像发送。此外，这是因为，在照相机单元关闭(省电处理)的情况下，如果摄像设备100正在进行记录，则通过在维持记录状态的同时仅关闭图像发送来实现照相机单元的省电。同样，根据摄像设备100是否正在进行记录来划分摄像设备100的处理。然而，不论摄像设备100是否正在进行记录，摄像设备100都可以根据上述命令进行处理。以下说明摄像设备100中的与命令相对应的处理(S307)。
系统控制单元50判断所接收到的命令是否是拍摄指示(S3071)。在所接收到的命令不是拍摄指示的情况下(S3071中为“否”)，系统控制单元50根据摄像设备100是否正在进行记录来进行以下处理。在摄像设备100没有正在进行记录的情况下(S3072中为“否”)，系统控制单元50根据显示控制设备200的命令来进行一部分的照相机单元的开启/关闭的切换(S3073)。在摄像设备100正在进行记录的情况下(S3072中为“是”)，系统控制单元50根据来自显示控制设备200的命令，来进行通过将从多个照相机单元中的一部分照相机单元输出的图像合成所获得的VR图像的发送(实时视频的发送)的开启/关闭的切换(S3074)。在所接收到的命令是拍摄指示的情况下(S3071中为“是”)，系统控制单元50根据显示控制设备200的命令来执行拍摄处理(S3075)。本实施例中的拍摄指示包括静止图像拍摄指示或运动图像记录开始指示/停止指示。步骤S3075中的拍摄处理可以与步骤S311中的拍摄处理相同。在步骤S3073～S3075的处理之后，系统控制单元50执行图3A所示的步骤S304的处理。
<<拍摄处理(S311)>>
图3C是示出上述的拍摄处理(S311)的示例的流程图。在该处理中，根据通过摄像设备100自身的操作的静止图像拍摄指示或运动图像拍摄指示来进行静止图像拍摄或运动图像拍摄(记录开始或记录停止)。在接收到静止图像拍摄指示的情况下，系统控制单元50进行静止图像拍摄处理。在接收到运动图像拍摄指示的情况下，系统控制单元50根据摄像设备100是否正在进行记录来进行记录开始处理/记录停止处理。具体地，系统控制单元50在摄像设备100已进行记录的情况下，进行记录停止处理，并且在摄像设备100没有正在进行记录的情况下，进行记录开始处理。在记录期间接收到静止图像拍摄指示的情况下，摄像设备100以与上述相同的方式进行静止图像拍摄处理。以下说明拍摄处理(S311)中的处理的详情。
系统控制单元50判断是否存在关闭的照相机单元(S3111)。在存在关闭的照相机单元的情况下(S3111中为“是”)，系统控制单元50开启关闭的照相机单元(S3112)。
随后，系统控制单元50判断拍摄处理的指示内容是静止图像拍摄指示还是运动图像拍摄指示(S3113)。在静止图像拍摄指示的情况下，系统控制单元50执行静止图像拍摄(S3115)。在运动图像拍摄指示的情况下，系统控制单元50判断摄像设备100是否正在进行记录(S3114)。在摄像设备100没有正在进行记录的情况下(S3114中为“否”)，系统控制单元50开始记录(S3116)。在摄像设备100正在进行记录的情况下(S3114中为“是”)，系统控制单元50执行记录停止(S3117)。通过拍摄处理所获取到的数据被记录在存储器32中。
<显示控制设备200的处理内容>
图4A～4G是示出显示控制设备200中的显示控制处理的示例的流程图。通过CPU201将非易失性存储器203中所记录的程序在存储器202中展开并执行该程序来实现该处理。在显示控制设备200的电源接通并且通信I/F 210或外部I/F 209启用的情况下，开始图4A所示的处理。
首先，CPU 201判断显示控制设备200是否正在与摄像设备100进行通信(S401)。在根据通信I/F 210的数据接收检测到通信的情况下(S401中为“是”)，CPU 201执行以下处理。首先，CPU 201从通信I/F 210接收VR图像数据(VR图像)(S402)。CPU 201利用图像处理单元204从所接收到的VR图像数据进行VR图像(合成图像)的一部分范围的图像的分割，并且将分割图像显示在显示单元205上(S403)。随后，CPU 201接收从摄像设备100发送来的上述的摄像设备状况(S404)，并且将该摄像设备状况存储在存储器32中。
随后，CPU 201检测显示控制设备200的操作指示的有无。具体地，CPU201将操作单元206或触摸面板206a的按钮操作或触摸操作等检测为操作指示。在以下说明中，CPU 201检测视频显示结束操作指示的有无(S405)、拍摄操作指示的有无(S407)、以及显示范围的改变指示的有无(S409)。
首先，在检测到视频显示结束操作指示的情况下(S405中为“是”)，CPU201进行显示控制设备200的实时视频显示的结束处理(S406)。随后，在检测到拍摄操作指示的情况下(S407中为“是”)，CPU 201进行用于将与操作指示相对应的命令发送至摄像设备100的拍摄指示处理(S408)。在本实施例中，CPU 201将包括静止图像拍摄指示和运动图像拍摄开始指示/停止指示中的任一个的命令发送至摄像设备100。此外，在检测到显示控制设备200中的显示范围的改变指示的情况下(S409中为“是”)，CPU 201利用图像处理单元204进行针对分割图像的范围改变处理(S410)。以下说明步骤S406、S408和S410中的处理的详情。
在步骤S411中，在没有进行按钮操作或触摸操作的情况下(在无操作的情况下)，CPU 201使用系统计时器214开始计时器的向上计数。CPU 201判断无操作的时间是否持续了预定阈值T以上(S412)。阈值T可被设置为例如1分钟，但没有特别限制。如以下所述，阈值T可以是可改变的。在无操作的时间小于阈值T的情况下(S412中为“否”)，CPU 201再次执行步骤S402的处理。在无操作的时间等于或大于阈值T(等于或长于预定时间)的情况下(S412中为“是”)，CPU 201进行省电处理(S413)。在本实施例中，作为省电处理，将除拍摄形成VR图像的多个图像中的显示范围内的图像的照相机单元以外的照相机单元切换为关闭状态。可选地，在摄像设备100正在进行记录的情况下，多个照相机单元没有从开启状态改变，并且由除拍摄显示范围内的图像的照相机单元以外的照相机单元所输出的图像未被合成到实时图像的VR图像中。这样，关于拍摄显示范围外的图像的照相机单元，关闭从摄像设备100向显示控制设备200的图像发送。以下说明省电处理的详情。
<<视频显示的结束处理(S406)>
图4B是示出本实施例中的实时视频显示的结束处理(S406)的示例的流程图。具体地，CPU 201将存储器202的计时器计数清零(S4061)，停止显示单元205上的显示(S4062)，停止视频接收，并且暂停与摄像设备100的通信(S4063)以进行实时视频显示的结束处理。如以上所述，由于摄像设备100“正在将实时视频发送至外部并且没有正在与显示控制设备200进行通信”的情况下(S308中为“是”)，因此系统控制单元50停止实时视频向显示控制设备200的发送(S309)。
<<拍摄指示处理(S408)>>
图4C是示出本实施例中的拍摄指示处理(S408)的示例的流程图。在本实施例中，说明如下的示例：显示控制设备200根据静止图像拍摄指示或运动图像拍摄指示来将静止图像拍摄命令或运动图像拍摄开始/停止命令发送至摄像设备100。在本实施例中，显示控制设备200根据运动图像拍摄指示来指示摄像设备100，以在摄像设备正进行记录的情况下进行运动图像拍摄开始，并且在摄像设备100没有正进行记录的情况下进行运动图像拍摄停止。不论摄像设备100是否正进行记录，显示控制设备200都可以给出运动图像拍摄开始/停止命令。以下说明根据本实施例的拍摄指示处理的详情。
首先，CPU 201将存储器202的计时器计数清零(S4081)。CPU 201判断拍摄指示的内容是否是运动图像拍摄指示(S4082)。在拍摄指示的内容是静止图像拍摄指示的情况下，CPU 201将静止图像拍摄命令发送至摄像设备100(S4083)。在拍摄指示的内容是运动图像拍摄指示的情况下，CPU 201判断摄像设备100是否正进行记录(S4084)。在摄像设备100没有正进行记录的情况下(S4084中为“否”)，CPU 201将运动图像拍摄开始命令发送至摄像设备100(S4085)。在摄像设备100正进行记录的情况下(S4084中为“是”)，CPU 201将运动图像拍摄停止命令发送至摄像设备100(S4086)。在步骤S4083、S4085和S4086的处理之后，CPU201再次执行图4A所示的步骤S402的处理。
<<显示范围的改变处理(S410)>>
图4D是示出根据本实施例的显示范围的改变处理的示例的流程图。在该处理中，在显示摄像设备100的发送图像的状态下、通过显示控制设备200的操作使显示范围改变的情况下，显示控制设备200根据需要发送用于开启摄像设备100的照相机单元的命令。具体地，在改变之后的显示范围中包括摄像设备100的照相机单元中的关闭的照相机单元中的摄像范围的情况下，显示控制设备200将用于开启关闭的照相机单元并开始图像发送的命令发送至摄像设备100。此外，在改变之后的显示范围中不包括摄像设备100的照相机单元中的开启的照相机单元中的摄像范围的情况下，显示控制设备200可以将用于关闭开启的照相机单元并停止图像发送的命令发送至摄像设备100。由于在照相机单元正在进行记录时所有的照相机单元都开启，因此显示控制设备200将如下的命令发送至摄像设备100，其中该命令用于开始通过将从摄像范围包括在改变之后的显示范围中的照相机单元输出的图像合成所获得的VR图像的发送。此外，显示控制设备200可以将如下的命令发送至摄像设备100，其中该命令用于通过不将从摄像范围未包括在改变之后的显示范围中的照相机单元输出的图像合成到VR图像中，来停止从摄像范围未包括在改变之后的显示范围中的照相机单元所输出的图像的发送。以下说明根据本实施例的显示范围的改变处理的详情。
首先，CPU 201利用图像处理单元204改变在步骤S303中从摄像设备100发送来的VR图像(合成图像)的显示范围。CPU 201从VR图像分割与对应于操作的显示范围相对应的部分并且将该部分以实时取景方式显示在显示单元205上(S4101)。CPU 201将存储器202的计时器计数清零(S4102)。此外，CPU201判断摄像设备100是否正在进行记录(S4103)。
在步骤S4103中摄像设备100没有正在进行记录的情况下(S4103中为“否”)，CPU201判断关闭的照相机单元的有无(S4104)。在从摄像设备100接收到的VR图像中存在终止端的情况下，CPU 201判断为存在关闭的照相机单元。例如，在摄像设备100中照相机单元“b”关闭的情况下，摄像设备100将仅由从照相机单元“a”输出的图像221所形成的VR图像发送至显示控制设备200。如图2D所示，在仅由图像221形成的VR图像中存在终止端225和终止端226。因此，CPU 201判断为存在关闭的照相机单元。在存在关闭的照相机单元的情况下(S4104中为“是”)，CPU 201判断显示范围是否移动以包括关闭的照相机单元的摄像范围(S4105)。在如图2D所示、显示范围224移动到显示范围227、并且显示范围227没有被从摄像设备100接收到的VR图像填满时，CPU 201判断为显示范围已移动到关闭的照相机单元的摄像范围。在显示范围移动以包括在关闭的照相机单元的拍摄范围中的情况下(S4105中为“是”)，CPU 201将用于开启关闭的照相机单元的命令发送至摄像设备100(S4106)。在本实施例中，照相机单元仅是两个照相机单元“a”和“b”。因此，例如，在照相机单元“a”开启并且照相机单元“a”所输出的图像被发送至显示控制设备200时，照相机“b”被唯一地确定为关闭的照相机。上述命令是经由例如外部I/F 209或通信I/F 210给出的。在显示范围包括在开启的照相机单元的摄像范围中、但预测到如果显示范围已移动到开启的照相机单元的摄像范围的端部附近并且移动继续则显示范围极有可能包括在关闭的照相机单元的摄像范围中的情况下，CPU 201可以将用于开启关闭的照相机单元的命令发送至摄像设备100。可选地，例如，在显示范围的中心位置或整体位置等的坐标与开启的照相机单元的图像的终止端之间的距离等于或小于预定值的情况下，CPU 201可以将用于开启关闭的照相机单元的命令发送至摄像设备100。在S4106中，CPU 201可以将用于在显示范围已移动时关闭用以拍摄根本不包括显示范围的摄像范围的照相机单元的命令发送至摄像设备100。
在步骤S4103中摄像设备100正在进行记录的情况下(S4103中为“是”)，CPU 201判断当前停止图像发送的照相机单元的有无(S4107)。在从摄像设备100接收到的VR图像中存在终止端的情况下，CPU 201判断为存在当前停止图像发送的照相机单元。例如，在摄像设备100中照相机单元“b”当前正停止图像发送时，摄像设备100将仅由从照相机单元“a”输出的图像221所形成的VR图像作为实时视频发送至显示控制设备200。如图2D所示，在仅由图像221形成的VR图像中存在终止端225和终止端226。因此，CPU 201判断为存在当前停止图像发送的照相机单元。在存在当前停止图像发送的照相机单元的情况下(S4107中为“是”)，CPU 201判断显示范围是否移动以包括当前停止图像发送的照相机单元的摄像范围(S4108)。在如图2D所示、显示范围224移动到显示范围227并且显示范围227没有被从摄像设备100接收到的VR图像填满时，CPU 201判断为显示范围移动到当前停止图像发送的照相机单元的摄像范围。在显示范围移动以包括在当前停止图像发送的照相机单元的摄像范围中的情况下(S4108中为“是”)，CPU 201将用于开始从当前停止图像发送的照相机单元输出的图像的发送的命令发送至摄像设备100(S4109)。在显示范围包括在当前执行图像发送的照相机单元的摄像范围中、但预测到如果显示范围移动到当前执行图像发送的照相机单元的摄像范围的端部附近并且移动继续则显示范围极有可能包括在当前正停止图像发送的照相机单元的摄像范围中的情况下，CPU 201可以将用于开始当前停止图像发送的照相机单元的图像发送的命令发送至摄像设备100。在S4109中，CPU 201可以将用于在显示范围已移动时关闭用以拍摄不包括显示范围的摄像范围的照相机单元的图像发送的命令发送至摄像设备100。上述命令是例如经由外部I/F 209或通信I/F 210给出的。在该处理之后，CPU201再次进行图4A所示的步骤S402的处理。
<<省电处理(S413)>>
图4E是示出根据本实施例的省电处理(S413)的示例的流程图。在该处理中，在无操作的时间等于或大于阈值T的情况下，CPU 201进行省电处理。具体地，在VR图像(合成图像)的一部分范围显示在显示单元205上时，显示控制设备200发送用于关闭摄像设备100中的拍摄未显示在显示单元205上的范围的图像的照相机单元的命令。在摄像设备100正在进行记录的情况下，显示控制设备200在不关闭拍摄不包括显示范围的摄像范围的照相机单元的情况下发送用于仅关闭图像发送的命令。在显示范围中包括多个照相机单元所拍摄到的图像的情况下，显示控制设备200根据显示范围来确定要关闭的照相机单元。以下说明根据本实施例的省电处理的详情。
首先，CPU 201判断摄像设备100是否正在进行记录(S4131)。
在步骤S4131中摄像设备100没有正在进行记录的情况下(步骤S4131中为“否”)，CPU 201根据显示单元205上所显示的VR图像的显示范围来确定要执行的处理(S4132)。CPU201将表示连同VR图像一起接收到的照相机单元的摄像范围的坐标信息与显示范围的坐标进行比较。在仅由照相机单元“a”拍摄到的图像显示在显示单元205上的情况下，CPU 201将用于关闭用作除照相机单元“a”以外的照相机单元的照相机单元“b”的命令发送至摄像设备100(S4133)。在仅由照相机单元“b”拍摄到的图像显示在显示单元205上的情况下，CPU201将用于关闭用作除照相机单元“b”以外的照相机单元的照相机单元“a”的命令发送至摄像设备100(S4134)。在照相机单元“a”和“b”这两者的视频(边界)都显示在显示单元205上的情况下，CPU 201进行边界处理(S4135)。以下说明边界处理的详情。
在步骤S4131中摄像设备100正在进行记录的情况下(S4131中为“是”)，CPU 201根据显示单元205上所显示的VR图像的显示范围来确定要执行的处理(S4136)。CPU 201将表示连同VR图像一起接收到的照相机单元的摄像范围的坐标信息与显示范围的坐标进行比较。在仅由照相机单元“a”拍摄到的图像显示在显示单元205上的情况下，CPU 201将用于停止通过合成从用作除照相机单元“a”以外的照相机单元的照相机单元“b”输出的图像所获得的实时视频的发送的命令发送至摄像设备100(S4137)。在仅由照相机单元“b”拍摄到的图像显示在显示单元205上的情况下，CPU 201将用于停止通过合成从用作除照相机单元“b”以外的照相机单元的照相机单元“a”输出的图像所获得的实时视频的发送的命令发送至摄像设备100(S4138)。在照相机单元“a”和“b”这两者的视频都包括在显示单元205中的情况下，CPU 201进行记录期间的边界处理(S4139)。以下说明记录期间的边界处理的详情。在步骤S4133～S4135和S4137～S4139的处理之后，CPU 201再次执行步骤S402。
<<边界处理(S4135)>>
图4F是示出上述的边界处理的示例的流程图(S4135)。在执行边界处理时，CPU201判断在VR图像的显示范围中、照相机单元“a”所拍摄到的图像的显示大小是否等于或大于照相机单元“b”所拍摄到的图像的显示大小(S41351)。
在显示范围中照相机单元“b”的图像与照相机单元“a”的图像相比占据更大面积的情况下(S41351中为“否”)，CPU 201在实时视频中改变显示单元205的显示范围以包括在仅照相机单元“b”所拍摄到的图像中(S41352)，并且将用于关闭照相机单元“a”的命令发送至摄像设备100(S41353)。在显示范围中照相机单元“a”的图像与照相机单元“b”的图像相比占据更大面积的情况下(S41351中为“是”)，CPU 201在实时视频中改变显示单元205的显示范围以包括在仅照相机单元“a”所拍摄到的图像中(S41354)，并且将用于关闭照相机单元“b”的命令发送至摄像设备100(S41355)。
<<记录期间的边界处理(S4139)>>
图4G是示出上述的记录期间的边界处理的示例的流程图(S4139)。在执行记录期间的边界处理时，CPU 201判断在VR图像的显示范围中、照相机单元“a”所拍摄到的图像的显示大小是否等于或大于照相机单元“b”所拍摄到的图像的显示大小(S41391)。
在显示范围中照相机单元“b”的图像与照相机单元“a”的图像相比占据更大面积的情况下(S41391中为“否”)，CPU 201在实时视频中改变显示单元205的显示范围以包括在仅照相机单元“b”所拍摄到的图像中(S41392)。CPU 201将用于停止照相机单元“a”的图像发送的命令发送至摄像设备100(S41393)。在显示范围中照相机单元的“a”的图像与照相机单元“b”的图像相比占据更大面积的情况下(S41391中为“是”)，CPU 201在实时视频中改变显示单元205的显示范围以包括在仅照相机单元“a”所拍摄到的图像中(S41394)。CPU 201将用于停止照相机单元“b”的图像发送的命令发送至摄像设备100(S41395)。
在步骤S41393和S41395的处理之后，CPU 201可以将用于根据预定条件再开始照相机单元“a”和“b”的图像发送的命令发送至摄像设备100。预定条件的示例包括用于使照相机单元“a”和“b”所拍摄到的图像进入显示范围的用户指示输入持续了预定时间段以上的条件、以及在预定时间段内重复了两次以上的指示输入的条件。
<启动时间的缩短处理>
在本实施例中，为了缩短在照相机单元的启动中所涉及的延迟时间，根据显示范围的位置来改变摄像设备100的停止对象功能。具体地，根据显示范围在VR图像中位于何处来进行停止向摄像设备100的摄像单元22的馈电、停止向A/D转换器23的馈电、以及停止图像处理和向显示控制设备200的图像发送处理中的任一个。在本实施例中，说明设置两个矩形范围作为预定范围的示例。然而，没有特别限制范围的数量和形状。根据例如分割显示范围的中心位置或显示范围整体位置等的分割显示范围的坐标来进行与显示范围是否在预定范围内有关的判断。说明在显示控制设备200中进行启动时间的缩短处理的示例。然而，该处理可以在摄像设备100中进行。
图5A示出如下状态：将通过合成照相机单元“a”所拍摄到的拍摄图像504和照相机单元“b”所拍摄到的拍摄图像505所获得的VR图像模拟地在平面上展开。区域501表示显示控制设备200的显示单元205上所显示的分割显示范围。范围502和范围503表示预定范围。在图5A所示的示例中，将照相机单元“a”所拍摄到的拍摄图像504从摄像设备100发送至显示控制设备200，并且将拍摄图像504的一部分作为显示范围显示在显示单元205上。在以下说明中，说明在经过了预定时间(阈值T)的情况下、照相机单元“b”的状态根据显示范围而改变的示例。
图5B是示出启动时间缩短处理的示例的流程图。在整个显示范围包括在范围503的内侧的情况下(S501中为“是”)，CPU 201停止向摄像设备100的照相机摄像单元22b和A/D转换器23b的馈电(S502)。
在与范围503相比更外侧的区域包括在显示范围中并且整个显示范围包括在范围502的内侧的情况下(S501中为“否”并且S503中为“是”)，CPU 201停止向摄像设备100的A/D转换器23b的馈电(S504)。CPU 201进行对照相机摄像单元22b的馈电。
在与范围502相比更外侧的区域包括在显示范围中的情况下(S501中为“否”并且S503中为“否”)，CPU 201进行向照相机摄像单元22b和A/D转换器23b的馈电，但不对从A/D转换器23b输出的图像“b”执行图像处理。CPU 201通过不将图像“b”的图像处理结果合成到VR图像中来停止图像发送(S505)。
<无操作时间的改变处理>
在本实施例中，通过用户进行设置操作来改变上述的无操作时间的阈值T。在以下说明中，说明使用显示控制设备200的显示单元205上所显示的GUI来改变无操作时间的阈值T的示例。然而，可以通过操作摄像设备100来进行无操作时间的改变处理。
图6A示出显示控制设备200的显示单元205上所显示的无操作时间的设置改变的画面的示例。图6A所示的“省电状态”包括照相机单元的关闭或照相机单元的图像发送的停止。
图6B是示出无操作时间改变处理的示例的流程图。在执行无操作时间的改变指示时，CPU 201打开显示控制设备200的设置菜单(S601)。在进行无操作时间的设置时间改变时(S602)，CPU 201进行计时器计数清零(S603)并且将所选择或输入的时间记录在存储器102中(S604)。无操作时间设置适用于固定值的选择和任意时间的输入这两者。在给出用于关闭设置菜单的操作指示的情况下，CPU 201关闭设置菜单(S605)。也可以通过选择图6A的“计时器关闭”来不设置无操作时间。
<本实施例的有利效果>
如以上所述，根据本实施例的显示控制设备可以通过根据显示范围的切换适当地控制摄像设备中的照相机单元的驱动来适当地降低摄像设备的电力消耗。在摄像设备正在记录运动图像的情况下，可以通过在记录多个照相机单元所获得的拍摄图像的同时在实时取景显示中停止不必要的拍摄图像的发送来进行与摄像设备的使用状态相对应的电力消耗的抑制。此外，可以通过改变摄像设备的停止状态来在降低电力消耗的同时抑制照相机启动所需的时间的延迟。
(变形例)
在上述的实施例中，说明了包括两个照相机单元的摄像设备作为示例。然而，可以设置三个以上照相机单元。在这种情况下，要关闭的照相机单元可以是除拍摄显示控制设备上所显示的图像的照相机单元以外的照相机单元。在上述的边界处理中，可以关闭除拍摄显示范围最大的图像的照相机单元以外的照相机单元。可以在包括具有一个以上的照相机单元的多个摄像设备以及显示控制设备的控制系统中设置上述的功能。
在上述的实施例中，不对显示控制设备上所显示的图像进行用于降低电力消耗的处理。然而，可以进行用于例如降低图像质量的省电处理。
在上述实施例中，说明了用于在预定时间以上没有接收到操作的情况下节省电力的处理。然而，可以在从用户接收到预定操作的情况下进行该处理。预定操作的示例包括使用摄像设备或显示控制设备的按钮或GUI所进行的用户操作。其它预定操作的示例包括用于改变显示控制设备的位置和姿势的操作。例如，照相机单元在用户将显示控制设备的显示单元放置成面朝下的状态下可以关闭，并且在其它状态下可以开启。
在上述的实施例中，说明了这样的示例：摄像设备根据显示控制设备的命令来进行摄像单元(的一部分)中的摄像处理的停止或图像发送处理的停止。然而，摄像设备可以根据基于显示控制设备的范围信息的摄像设备的判断来进行上述的处理。具体地，摄像设备从显示控制设备接收VR图像(合成图像)中的显示在显示控制设备上的一部分范围的范围信息。在基于该范围信息将VR图像的一部分范围显示在显示控制设备上时，摄像设备可以进行拍摄未显示在显示控制设备上的范围的图像的摄像单元中的摄像处理的停止、或者该图像的发送处理的停止。
在上述的实施例中，说明了摄像设备和显示控制设备是单独装置的示例。然而，上述的多个摄像设备的功能单元和上述的显示控制设备的功能单元可以设置在一个装置中。
(第二实施例)
参考图7的流程图来说明第二实施例中的摄像设备100的操作。假定：摄像设备100被供给电力，进行启动处理，建立与显示控制设备200的通信，并且预先从显示控制设备200接收实时取景显示的请求。
首先，系统控制单元50进行控制以采用正常模式驱动所有的照相机单元(在本实施例中为照相机单元“a”和照相机单元“b”)(S701)。系统控制单元50对从所有的照相机单元输出的图像应用图像处理，并且合成图像处理结果以生成VR图像(S702)。系统控制单元50将在步骤S702中生成的VR图像作为实时图像发送至显示控制设备200(S703)。
系统控制单元50从显示控制设备200接收表示步骤S703中所发送的VR图像中的显示在显示单元205上的显示范围的坐标信息(S704)。系统控制单元50将表示形成VR图像的从照相机单元输出的图像的合成位置的坐标信息与从显示控制设备200接收到的显示范围的坐标信息进行比较(S705)。
作为比较的结果，在存在输出未包括在显示范围中的图像的照相机单元的情况下(S706中为“是”)，系统控制单元50进行控制以采用省电模式驱动输出未包括在显示范围中的图像的照相机单元(S707)。在省电模式下，系统控制单元50停止照相机单元的所有功能，停止照相机单元的功能的至少一部分(例如，摄像单元22和A/D转换器23至少之一)，或者降低从照相机单元输出的图像的帧频。也就是说，在省电模式下，控制照相机单元，使得与照相机单元以正常模式操作的情况下相比电力消耗降低。系统控制单元50对从以正常模式驱动的照相机单元输出的图像应用图像处理，并且合成图像处理结果以生成VR图像(S708)。系统控制单元50将在步骤S708中生成的VR图像作为实时图像发送至显示控制设备200(S709)。
在S710和S711中，系统控制单元50执行与S704和S705中的处理相同的处理。系统控制单元50基于表示显示范围的坐标信息来判断显示范围是否存在于VR图像的终止端附近(S712)。在VR图像仅由从一部分照相机单元输出的图像生成的情况下，如图2D所示，在VR图像223中存在终止端225和终止端226。在显示范围224的位置存在于从VR图像的终止端起的预定距离内时，系统控制单元50判断为显示范围存在于VR图像的终止端附近。系统控制单元50指定输出与存在于显示范围附近的终止端邻接的摄像范围的图像的照相机单元，并且进行控制以采用正常模式驱动所指定的照相机单元(S713)。在步骤S713中，系统控制单元50进行控制以将所指定的照相机单元从省电模式切换到正常模式并驱动所指定的照相机单元。系统控制单元50对从包括所指定的照相机单元的以正常模式驱动的照相机单元输出的图像应用图像处理，并且合成图像处理结果以生成VR图像(S714)。系统控制单元50将在步骤S712中生成的VR图像作为实时图像发送至显示控制设备200(S715)。
系统控制单元50判断是否接收到记录开始指示(S716)。在存在向摄像设备100中所设置的预定操作构件的输入或者从显示控制设备200接收到记录开始指示的情况下，系统控制单元50判断为接收到记录开始指示。在接收到记录开始指示时(S716中为“是”)，系统控制单元50进行控制以采用正常模式驱动所有的照相机单元(S717)，对从所有的照相机单元输出的图像应用图像处理，并合成图像处理结果以生成记录所用的VR图像(S718)，将VR图像作为实时图像发送至显示控制设备200(S719)，并且将该VR图像记录在记录介质120中(S720)。
系统控制单元50判断是否接收到记录停止指示(S721)。在存在向摄像设备100中所设置的预定构件的输入时或者在从显示控制设备200接收到记录停止指示时，系统控制单元50判断为接收到记录停止指示。在接收到记录停止指示时(S721中为“是”)，系统控制单元50停止记录处理并判断从显示控制设备200是否接收到实时取景显示的结束指示(S722)。在接收到实时取景显示的结束指示时(S722中为“是”)，系统控制单元50结束该处理。在没有接收到实时取景显示的结束指示时(S722中为“否”)，系统控制单元50返回到步骤S704中的处理。在没有接收到记录停止指示时(S721中为“否”)，系统控制单元50返回到步骤S718并继续记录处理。
参考图8的流程图来说明第二实施例中的显示控制设备200的操作。假定：显示控制设备200被供给电力，进行启动处理，建立与摄像设备100的通信，并且预先将实时取景显示的请求发送至摄像设备100。
首先，CPU 201接收在S703中从摄像设备100发送来的VR图像(S801)，并且将该VR图像的一部分作为显示范围显示在显示单元205上(S802)。在步骤S802中，作为初始位置，CPU 201显示例如VR图像的中央作为显示范围。CPU 201判断是否接收到用于改变VR图像的显示范围的指示(S803)。在存在对触摸面板206a的操作或者显示控制设备200的姿势的变化等时，CPU 201判断为接收到显示范围的改变指示。在判断为接收到显示范围的改变指示时(S803中为“是”)，CPU 201将表示改变之后的显示范围的坐标信息发送至摄像设备100(S804)。CPU 201接收到在S709或S715中从摄像设备100发送来的VR图像(S805)，并且将VR图像中的与改变之后的显示范围相对应的部分显示在显示单元205上(S806)。
在接收到记录开始指示时(S807中为“是”)，CPU 201将记录开始指示发送至摄像设备100(S808)。CPU 201接收到在S719中从摄像设备100发送来的VR图像(S809)，并且将该VR图像中的与所选择的显示范围相对应的部分显示在显示单元205上(S810)。在接收到用于改变VR图像的显示范围的指示时(S811中为“是”)，CPU 201将VR图像中的与改变之后的显示范围相对应的部分显示在显示单元205上(S812)。在记录期间，摄像设备100以正常模式驱动所有的照相机单元。因此，不必针对各个照相机单元切换正常模式和省电模式。因此，在摄像设备100正在进行记录时，即使VR图像的显示范围改变，显示控制设备200也不将显示范围的坐标信息发送至摄像设备100。
在接收到记录停止指示时(S813中为“是”)，CPU 201将该记录停止指示发送至摄像设备100(S814)。在没有接收到记录停止指示时(S813中为“否”)，CPU 201返回到步骤S809的处理。
在接收到实时取景显示的结束指示时(S815中为“是”)，CPU 201将实时取景显示的结束指示发送至摄像设备100(S816)。在没有接收到实时取景显示的结束指示时(S815中为“否”)，CPU 201返回到步骤S801的处理。
根据本实施例，摄像设备100的照相机单元根据显示控制设备200的显示单元205上所显示的VR图像的显示范围的改变而切换成以正常模式或省电模式驱动。因此，可以以省电模式驱动拍摄未显示在显示控制设备200的显示单元205上的范围的图像的照相机单元并且抑制摄像设备100的电力消耗。
(第三实施例)
参考图9的流程图来说明第三实施例中的摄像设备100的操作。假定：摄像设备100被供给电力，进行启动处理，建立与显示控制设备200的通信，并且预先从显示控制设备200接收实时取景显示的请求。
首先，系统控制单元50进行控制以采用正常模式驱动所有的照相机单元(在本实施例中为照相机单元“a”和照相机单元“b”)(S901)。系统控制单元50将从所有的照相机单元输出的图像发送至显示控制设备200(S902)。
系统控制单元50从显示控制设备200接收表示步骤S902中所发送的图像中的在显示单元205上显示的图像或隐藏的图像的信息。在判断为存在隐藏图像的情况下(S903中为“是”)，系统控制单元50指定输出隐藏图像的照相机单元并且将照相机单元切换成以省电模式驱动(S904)。系统控制单元50将从除以省电模式驱动的照相机单元以外的以正常模式驱动的照相机单元输出的图像发送至显示控制设备200(S905)。
系统控制单元50接收表示形成显示单元205上所显示的实时图像的图像的位置和实时图像中的显示范围的信息，并且判断该显示范围是否存在于实时图像的终止端附近(S906)。在显示范围存在于实时图像的终止端附近时(S906中为“是”)，系统控制单元50指定输出与包括终止端的图像邻接的图像的照相机单元，并且将这些照相机单元切换成以正常模式驱动(S907)。系统控制单元50将以正常模式驱动的照相机单元的图像发送至显示控制设备200(S908)。
系统控制单元50判断是否接收到记录开始指示(S909)。在接收到记录开始指示时(S909中为“是”)，系统控制单元50进行控制以采用正常模式驱动所有的照相机单元(S910)，对从所有的照相机单元输出的图像应用图像处理，合成图像处理结果以生成记录所用的VR图像(S911)，并且将VR图像记录在记录介质120中(S912)。系统控制单元50将从所有的照相机单元输出的图像输出至显示控制设备200(S913)。
系统控制单元50从显示控制设备200接收表示步骤S913中所发送的图像中的在显示单元205上显示的图像或隐藏的图像的信息。在判断为存在隐藏图像时(S914中为“是”)，系统控制单元50指定输出隐藏图像的照相机单元并且停止将从所指定的照相机单元输出的图像发送至显示控制设备200(S915)。
在从显示控制设备200接收到表示显示单元205的显示范围存在于实时图像的终止端附近的信息时(S916中为“是”)，系统控制单元50指定输出与终止端的附近邻接的图像的照相机单元，并且再开始将从所指定的照相机单元输出的图像发送至显示控制设备200(S917)。
在接收到记录停止指示时(S918中为“是”)，系统控制单元50停止记录处理并且判断是否从显示控制设备200接收到实时取景显示的结束指示(S919)。在接收到实时取景显示的结束指示时(S919中为“是”)，系统控制单元50结束该处理。在没有接收到实时取景显示的结束指示时(S919中为“否”)，系统控制单元50返回到步骤S903的处理。在没有接收到记录停止指示时(S918中为“否”)，系统控制单元50返回到步骤S911并继续记录处理。
参考图10的流程图说明第三实施例中的显示控制设备200的操作。假定：显示控制设备200被供给电力，进行启动处理，建立与摄像设备100的通信，并且预先将实时取景显示的请求发送至摄像设备100。
首先，CPU 201接收在S902中从照相机单元输出并从摄像设备100发送的图像(S1001)，并且合成所接收到的多个图像以生成VR图像(S1002)。CPU 201将VR图像的一部分作为显示范围显示在显示单元205上(S1003)。在步骤S1003中，作为初始位置，CPU 201将例如VR图像的中央显示为显示范围。在接收到用于改变VR图像的显示范围的指示时(S1004中为“是”)，CPU 201将与改变之后的显示范围相对应的部分显示在显示单元205上(S1005)。
CPU 201针对形成VR图像的各个图像生成表示显示或隐藏的信息，并且将该信息发送至摄像设备100(S1006)。响应于该信息的发送，摄像设备100执行S903～S905的处理。CPU 201接收在S905中从摄像设备100发送来的图像(S1007)，合成所接收到的图像以生成VR图像，并且将VR图像中的与当前显示范围相对应的一部分显示在显示单元205上(S1008)。
CPU 201生成表示作为实时图像所生成的VR图像中的显示范围和形成VR图像的图像的位置的信息，并且将该信息发送至摄像设备100(S1009)。响应于该信息的发送，摄像设备100执行S906～S908的处理。CPU 201接收在S908中从摄像设备100发送来的图像(S1010)，合成所接收到的图像以生成VR图像，并且将与当前显示范围相对应的一部分显示在显示单元205上(S1011)。
在接收到记录开始指示时(S1012中为“是”)，CPU 201将该记录开始指示发送至摄像设备100(S1013)。CPU 201接收在S913中从摄像设备100发送来的照相机单元的图像(S1014)，并且合成所接收到的多个图像以生成VR图像(S1015)。CPU 201将VR图像的一部分作为显示范围显示在显示单元205上(S1016)。在接收到用于改变VR图像的显示范围的指示时(S1017中为“是”)，CPU 201将VR图像中的与改变之后的显示范围相对应的一部分显示在显示单元205上(S1018)。
CPU 201针对形成VR图像的各个图像生成表示显示或隐藏的信息，并且将该信息发送至摄像设备100(S1019)。响应于该信息的发送，摄像设备100执行S914和S915的处理。CPU 201接收在S915中从摄像设备100发送来的图像(S1020)，合成所接收到的图像以生成VR图像，并且将VR图像中的与当前显示范围相对应的一部分显示在显示单元205上(S1021)。
CPU 201生成表示作为实时图像所生成的VR图像中的显示范围和形成VR图像的图像的位置的信息，并且将该信息发送至摄像设备100(S1022)。响应于该信息的发送，摄像设备100执行S916和S917的处理。CPU 201接收在S917中从摄像设备100发送来的图像(S1023)，合成所接收到的图像以生成VR图像，并且将VR图像中的与当前显示范围相对应的一部分显示在显示单元205上(S1024)。
在接收到记录停止指示时(S1025中为“是”)，CPU 201将该记录停止指示发送至摄像设备100(S1026)。在没有接收到记录停止指示时(S1025中为“否”)，CPU 201返回到步骤S1019的处理。
在接收到实时取景显示的结束指示时(S1027中为“是”)，CPU 201将实时取景显示的结束指示发送至摄像设备100(S1028)。在没有接收到实时取景显示的结束指示时(S1027中为“否”)，CPU 201返回到步骤S1006的处理。
根据本实施例，摄像设备100的照相机单元根据显示控制设备200的显示单元205上所显示的VR图像的显示范围的改变而切换成以正常模式或省电模式驱动。结果，可以以省电模式驱动拍摄未显示在显示控制设备200的显示单元205上的范围的图像的照相机单元并且抑制摄像设备100的电力消耗。
根据本实施例，即使在摄像设备100在记录处理期间需要以正常模式驱动所有的照相机单元的情况下，也根据显示控制设备200的显示单元205上所显示的VR图像的显示范围的改变来针对摄像设备100的各个照相机单元切换是否发送图像。因此，可以停止拍摄未显示在显示控制设备200的显示单元205上的范围的图像的照相机单元的图像的发送并且抑制摄像设备100的电力消耗。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (7)

1.一种摄像设备，包括：
多个图像处理单元，其被配置为输出通过沿不同方向分别对被摄体进行摄像所获得的图像；
生成单元，其被配置为合成所述多个图像处理单元所输出的图像，由此生成合成图像；
记录单元，其被配置为将所述合成图像记录在记录介质中；
获取单元，其被配置为获取表示所述合成图像中的显示在画面上的显示范围的显示范围信息；以及
控制单元，其被配置为：
在所述合成图像记录在所述记录介质中的情况下，不论所述显示范围信息如何，都控制所述多个图像处理单元按第一模式驱动；以及
在所述合成图像没有记录在所述记录介质中的情况下，基于所述显示范围信息，控制(1)第一图像处理单元按所述第一模式驱动，并且控制(2)第二图像处理单元按与所述第一模式相比节省电力的第二模式驱动，其中所述第一图像处理单元输出所述合成图像中的与显示范围相对应的图像，以及所述第二图像处理单元输出所述合成图像中的与非显示范围相对应的图像。
2.根据权利要求1所述的摄像设备，还包括：
发送单元，其被配置为将所述合成图像发送至外部装置，
其中，所述获取单元还被配置为从所述外部装置获取表示所述外部装置的画面上所显示的显示范围的显示范围信息。
3.根据权利要求1所述的摄像设备，还包括：
发送单元，其被配置为将所述多个图像处理单元所输出的多个图像发送至外部装置，
其中，所述获取单元还被配置为从所述外部装置获取如下的显示范围信息，该显示范围信息表示通过在所述外部装置中合成所述多个图像所生成的合成图像中的显示在所述外部装置的画面上的显示范围。
4.根据权利要求3所述的摄像设备，其中，所述发送单元还被配置为发送所述第一图像处理单元所输出的图像，并且不发送所述第二图像处理单元所输出的图像。
5.根据权利要求1所述的摄像设备，
其中，所述图像处理单元还被配置为包括摄像单元和A/D转换器，所述A/D转换器被配置为将从所述摄像单元所输出的模拟信号转换成数字信号，以及
其中，所述控制单元还被配置为停止所述摄像单元和所述A/D转换器至少之一，由此以所述第二模式驱动所述图像处理单元。
6.一种摄像设备的控制方法，所述摄像设备包括多个图像处理单元，所述多个图像处理单元被配置为输出通过沿不同方向分别对被摄体进行摄像所获得的图像，所述控制方法包括：
合成所述多个图像处理单元所输出的图像，由此生成合成图像；
将所述合成图像记录在记录介质中；
获取表示所述合成图像中的显示在画面上的显示范围的显示范围信息；
在所述合成图像记录在所述记录介质中的情况下，不论所述显示范围信息如何，都控制所述多个图像处理单元按第一模式驱动；以及
在所述合成图像没有记录在所述记录介质中的情况下，基于所述显示范围信息，控制(1)第一图像处理单元按所述第一模式驱动，并且控制(2)第二图像处理单元按与所述第一模式相比节省电力的第二模式驱动，其中所述第一图像处理单元输出所述合成图像中的与显示范围相对应的图像，以及所述第二图像处理单元输出所述合成图像中的与非显示范围相对应的图像。
7.一种计算机可读介质，用于存储程序，其中所述程序使计算机执行摄像设备的控制方法，所述摄像设备包括多个图像处理单元，所述多个图像处理单元被配置为输出通过沿不同方向分别对被摄体进行摄像所获得的图像，所述控制方法包括：
合成所述多个图像处理单元所输出的图像，由此生成合成图像；
将所述合成图像记录在记录介质中；
获取表示所述合成图像中的显示在画面上的显示范围的显示范围信息；
在所述合成图像记录在所述记录介质中的情况下，不论所述显示范围信息如何，都控制所述多个图像处理单元按第一模式驱动；以及
在所述合成图像没有记录在所述记录介质中的情况下，基于所述显示范围信息，控制(1)第一图像处理单元按所述第一模式驱动，并且控制(2)第二图像处理单元按与所述第一模式相比节省电力的第二模式驱动，其中所述第一图像处理单元输出所述合成图像中的与显示范围相对应的图像，以及所述第二图像处理单元输出所述合成图像中的与非显示范围相对应的图像。
CN201910409846.3A 2018-05-17 2019-05-16 摄像设备、摄像设备的控制方法和计算机可读介质 Active CN110505375B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018095205 2018-05-17
JP2018-095205 2018-05-17
JP2019086091A JP7271296B2 (ja) 2018-05-17 2019-04-26 撮像装置、撮像装置の制御方法およびプログラム
JP2019-086091 2019-04-26

Publications (2)

Publication Number Publication Date
CN110505375A true CN110505375A (zh) 2019-11-26
CN110505375B CN110505375B (zh) 2021-07-30

Family

ID=68533266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910409846.3A Active CN110505375B (zh) 2018-05-17 2019-05-16 摄像设备、摄像设备的控制方法和计算机可读介质

Country Status (2)

Country Link
US (1) US11128764B2 (zh)
CN (1) CN110505375B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209181A (zh) * 2022-06-09 2022-10-18 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7280698B2 (ja) 2019-01-11 2023-05-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US10917565B1 (en) 2019-03-08 2021-02-09 Gopro, Inc. Image capture device with a spherical capture mode and a non-spherical capture mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024593A1 (en) * 1999-12-06 2002-02-28 Jean-Yves Bouguet 3D scanning using shadows
CN104104873A (zh) * 2014-07-16 2014-10-15 深圳市中兴移动通信有限公司 星轨拍摄的方法、物体运动轨迹的拍摄方法和移动终端
US20140348231A1 (en) * 2009-09-04 2014-11-27 STMicoelectronics International N.V. System and method for object based parametric video coding
CN104350734A (zh) * 2012-06-11 2015-02-11 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN107454309A (zh) * 2016-04-15 2017-12-08 佳能株式会社 摄像系统、图像处理设备及其控制方法、程序和记录介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005984A (en) * 1991-12-11 1999-12-21 Fujitsu Limited Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images
US6195789B1 (en) * 1998-07-10 2001-02-27 Ball Semiconductor, Inc. Method for circuit design on a spherical semiconductor having critical dimensions
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
JP4066803B2 (ja) * 2002-12-18 2008-03-26 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP4617993B2 (ja) * 2005-04-28 2011-01-26 ソニー株式会社 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
US8184147B2 (en) * 2008-07-24 2012-05-22 Kevin Crucs Apparatus and methods for full-mouth intraoral image acquisition
JP2010232908A (ja) 2009-03-26 2010-10-14 Fujifilm Corp 全方位撮像装置及びその駆動制御方法
JP2013219544A (ja) * 2012-04-09 2013-10-24 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
JP6679856B2 (ja) * 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2018032984A (ja) * 2016-08-24 2018-03-01 ソニー株式会社 画像処理装置、画像撮影装置、および画像処理方法、並びにプログラム
KR102641881B1 (ko) * 2016-10-28 2024-02-29 삼성전자주식회사 전방위 영상을 획득하는 방법 및 장치
JP6805861B2 (ja) * 2017-02-09 2020-12-23 株式会社リコー 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6418274B2 (ja) 2017-05-08 2018-11-07 カシオ計算機株式会社 システム、消費電力制御方法、電子機器、及び、プログラム
JP7000050B2 (ja) * 2017-06-29 2022-01-19 キヤノン株式会社 撮像制御装置及びその制御方法
EP3461124B1 (en) * 2017-09-25 2024-05-01 Ricoh Company, Ltd. Communication terminal, image communication system, display control method, and carrier means
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024593A1 (en) * 1999-12-06 2002-02-28 Jean-Yves Bouguet 3D scanning using shadows
US20140348231A1 (en) * 2009-09-04 2014-11-27 STMicoelectronics International N.V. System and method for object based parametric video coding
CN104350734A (zh) * 2012-06-11 2015-02-11 索尼电脑娱乐公司 图像生成设备以及图像生成方法
CN104104873A (zh) * 2014-07-16 2014-10-15 深圳市中兴移动通信有限公司 星轨拍摄的方法、物体运动轨迹的拍摄方法和移动终端
CN107454309A (zh) * 2016-04-15 2017-12-08 佳能株式会社 摄像系统、图像处理设备及其控制方法、程序和记录介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209181A (zh) * 2022-06-09 2022-10-18 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Also Published As

Publication number Publication date
US11128764B2 (en) 2021-09-21
US20190356792A1 (en) 2019-11-21
CN110505375B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
JP7043255B2 (ja) 電子機器及びその制御方法
CN106664356A (zh) 图像拍摄装置、通过使用多个图像拍摄装置执行拍摄的图像拍摄系统及其图像拍摄方法
CN109644239A (zh) 摄像控制设备、显示控制设备及其控制方法
CN110505375A (zh) 摄像设备、摄像设备的控制方法和计算机可读介质
CN109981944A (zh) 电子装置及其控制方法
CN110691187B (zh) 电子装置、电子装置的控制方法和计算机可读介质
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
US20210287447A1 (en) Electronic apparatus and control method therefor
KR20220102401A (ko) 전자 장치 및 그의 동작 방법
CN110827195A (zh) 虚拟物品添加方法、装置、电子设备及存储介质
KR102477993B1 (ko) 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체
JP2020053720A (ja) 電子機器および領域選択方法
JP2020107952A (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN106371206A (zh) 一种广视角虚拟现实装置
JP2019205161A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US11849100B2 (en) Information processing apparatus, control method, and non-transitory computer readable medium
CN108476290A (zh) 用于提供全景图像的电子装置及其控制方法
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP2021145240A (ja) 撮像装置
CN110662113B (zh) 视频播放方法、装置和计算机可读存储介质
JP7443100B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
US20230281768A1 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
US20230283844A1 (en) Information processing apparatus, control method of information processing apparatus, non-transitory computer readable medium, and system
KR20220129885A (ko) 촬영 제어 방법 및 장치
JP2023184106A (ja) 表示制御装置、表示制御方法、プログラム、および記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant