CN116782014A - 摄像设备及其控制方法和计算机可读介质 - Google Patents

Abstract

本发明提供摄像设备及其控制方法和计算机可读介质。公开了使用摄像镜头来生成全方位图像的摄像设备。该设备检测摄像设备的姿势。在摄像设备处于用于生成与全方位图像相比具有更小视野的第一图像的操作模式中的情况下，该设备基于摄像设备的基准姿势和当前姿势之间的差来识别生成第一图像所需的待拍摄范围。在摄像设备处于该操作模式中的情况下，该设备使得使用摄像镜头中的拍摄待拍摄范围所需的摄像镜头的摄像有效，并且使得使用摄像镜头中的拍摄待拍摄范围所不需要的摄像镜头的摄像无效。

Description

摄像设备及其控制方法和计算机可读介质

技术领域

本发明涉及摄像设备及其控制方法和计算机可读介质，并且尤其涉及可以拍摄全方位图像的摄像设备及其控制方法。

背景技术

已知的摄像设备可以拍摄具有360度视野的全方位图像(参见日本特开2019-205161)。这样的摄像设备被称为360度照相机或全方位照相机。

例如，设置有具有180度视野的两个圆形鱼眼镜头的360度照相机包括从仅使用一个镜头拍摄的图像中裁剪矩形区、并生成如利用具有小于180度的视野的广角镜头所拍摄的图像那样的图像的功能。

在这种情况下，对于照相机绕着光轴的转动(在侧倾方向上的移动)，可以与转动角度无关地进行电子图像稳定。然而，针对照相机绕着与光轴正交的轴的转动(在俯仰和横摆方向上的移动)，存在对可以进行图像稳定的转动角度的限制。

发明内容

根据本发明的实施例，提供了可以使用多个镜头来生成全方位图像的摄像设备及其控制方法，该摄像设备及其控制方法可以增强在生成与全方位图像相比具有更小视野的图像时的图像稳定。

根据本发明的方面，提供了一种用于使用多个摄像镜头来生成全方位图像的摄像设备，所述摄像设备包括：检测部件，用于检测所述摄像设备的姿势；识别部件，用于在所述摄像设备处于用于生成与全方位图像相比具有更小视野的第一图像的操作模式中的情况下，基于所述摄像设备的基准姿势和所述检测部件所检测到的当前姿势之间的差，来识别生成所述第一图像所需的待拍摄范围；以及控制部件，用于在所述摄像设备处于所述操作模式中的情况下，使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所需的摄像镜头的摄像有效，并且使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所不需要的摄像镜头的摄像无效。

根据本发明的方面，提供了一种摄像设备的控制方法，所述摄像设备能够使用多个摄像镜头来生成全方位图像，所述控制方法包括：检测所述摄像设备的姿势；在所述摄像设备处于用于生成与全方位图像相比具有更小视野的第一图像的操作模式中的情况下，基于摄像设备的基准姿势和所述检测中所检测到的当前姿势之间的差，来识别生成所述第一图像所需的待拍摄范围；以及在所述摄像设备处于所述操作模式中的情况下，使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所需的摄像镜头的摄像有效，并且使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所不需要的摄像镜头的摄像无效。

根据本发明的方面，提供了一种存储有程序的计算机可读介质，所述程序用于使能够使用多个摄像镜头生成全方位图像的摄像设备中所包括的计算机执行根据本发明所述的方法。

通过(参考附图)对示例性实施例的以下描述，本发明的进一步特征将变得明显。

附图说明

图1A至图1C是根据实施例的与表示摄像设备的示例的数字照相机相关的图。

图2A和图2B是根据实施例的与表示电子装置的示例的智能电话相关的图。

图3A和图3B是用于描述实施例中的操作控制的示意图。

图4是根据实施例的与数字照相机的操作相关的流程图。

图5是根据实施例的与数字照相机的操作相关的流程图。

图6是示出根据实施例的向导显示的示例的图。

图7是根据实施例的与数字照相机的操作相关的流程图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不限制为需要全部这样的特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或类似的配置，并且省略其冗余描述。

注意，在下面描述的实施例中，本发明被体现为诸如数字照相机等的摄像设备。然而，本发明可以利用具有摄像功能的任何电子装置来实现。这样的电子装置的示例包括摄像机、计算机装置(个人计算机、平板计算机、媒体播放器和PDA等)、移动电话、智能电话、游戏控制台、机器人、无人机和行车记录仪。这些电子装置是示例，并且本发明可以利用其他电子装置来实现。

图1A和图1B是用于示出根据本发明实施例的表示摄像设备的示例的数字照相机100的外观的示例的立体图。在本文中，设置有快门按钮61的一侧与数字照相机100的正面相对应。因此，在图1A中示出示例配置的正面侧，并且在图1B中示出背面侧。此外，图1C是示出数字照相机100的功能配置的示例的框图。

在下文中，将使用图1A至图1C描述数字照相机100的示例性配置。数字照相机100在正面和背面上分别包括作为具有180度视野的圆形鱼眼镜头的摄像镜头103a和103b。摄像镜头103a和103b例如包括相同的光轴，并且被配置为具有彼此相差180度的拍摄方向。在本说明书中，设置在数字照相机100的正面上的摄像镜头103a的拍摄方向被称为前方，并且设置在数字照相机100的背面上的摄像镜头103b的拍摄方向被称为后方。

数字照相机100是可以通过将摄像镜头103a和103b所形成的图像进行合成或拼接在一起来生成具有360度水平视野的全方位图像的全方位照相机或360度照相机。注意，全方位图像可以是360度图像，并且可以如180度图像那样具有小于360度的垂直视野。在本实施例中，两个摄像镜头103a和103b是具有180度以上的水平视野的圆形鱼眼镜头，并且数字照相机100可以生成360度图像。

注意，在该示例中，两个摄像镜头103a和103b覆盖了360度以上的水平视野，但可以使用具有不同拍摄方向的三个或多于三个摄像镜头覆盖了360度以上的水平视野的配置。

数字照相机100包括具有用于拍摄前方的图像的前摄像头110和用于拍摄后方的图像的后摄像头120的多个摄像单元。前摄像头110包括摄像镜头103a以及设置在摄像镜头103a的正面上的挡板102a(保护构件)。例如，挡板102a是具有半球形状的透明构件。摄像镜头103a包括可以在光轴方向上移动的调焦透镜。快门101a也用作光圈。摄像镜头103a在图像传感器22a的摄像面上形成光学图像。

例如，图像传感器22a可以是包括原色拜耳阵列滤色器的已知CCD或CMOS彩色图像传感器。图像传感器22a包括以二维阵列的方式具有多个像素的像素阵列和用于从像素读取信号的外围电路。像素经由光电转换来累积与入射光相对应的电荷。通过从各个像素读取包括与曝光时段中所累积的电荷量相对应的电压的信号，获得用于表示在摄像面上所形成的光学图像的像素信号组(模拟图像信号)。A/D转换器23a将从图像传感器22a读出的模拟图像信号转换成数字图像信号(图像数据)。

此外，前摄像头110包括用于移动调焦透镜的机构、用于检测调焦透镜的位置的机构、以及用于驱动快门101a的机构。注意，前摄像头110可以包括用于实现光学模糊校正功能的图像传感器22a的移动机构和/或摄像镜头103a中所包括的移位透镜的移动机构。

后摄像头120具有与前摄像头110相同的配置，因此省略了组件的描述。注意，在下文中，图像传感器22a和22b被统称为图像传感器22。这也适用于前摄像头110和后摄像头120中所包括的其他组件。在本实施例中，由于使用了一个摄像单元使用一个摄像镜头的配置，因此选择性地使用摄像单元和选择性地使用摄像镜头具有相同的含义。因此，与使摄像单元(摄像头)有效和无效相关的描述可以被阅读成经由摄像镜头使摄像有效和无效。然而，本发明可以适用于一个摄像单元同时使用多个摄像镜头或在使用多个摄像镜头之间切换的配置。

经由图像处理单元24和存储器控制单元15这两者或仅经由存储器控制单元15，在存储器32上写入从A/D转换器23输出的图像数据。

存储器32用作图像数据的缓冲器、图像处理单元24的作业存储器、以及显示单元28的视频存储器等。

图像处理单元24将预定的图像处理应用于A/D转换器23或存储器控制单元15所输出的、或者存储器32中所存储的图像数据，并且获取或生成与用途相对应的信号、图像数据、各种类型的信息。图像处理单元24例如可以是被配置为实现特定功能的诸如专用集成电路(ASIC)等的专用硬件。可替代地，图像处理单元24可以具有用于通过诸如数字信号处理器(DSP)或图形处理单元(GPU)等的处理器执行软件来实现特定功能的配置。

由图像处理单元24应用于图像数据的图像处理例如包括预处理、颜色插值处理、校正处理、检测处理、数据修改处理、评价值计算处理和特殊效果处理等。

预处理可以包括信号放大、基准电平调整和缺陷像素校正等。

颜色插值处理是当图像传感器22设置有滤色器时所执行的、用于对未包括在形成图像数据的像素数据中的颜色分量的值进行插值的处理。颜色插值处理也被称为去马赛克处理。

校正处理可以包括具有白平衡调整、色调校正、由摄像镜头103a和103b的光学像差导致的图像劣化的校正(图像恢复)和颜色校正等的各种处理。校正处理还包括用于对诸如圆形鱼眼镜头等的超广角镜头的周边部的显著失真进行校正的处理。

检测处理可以包括用于检测特征区域(例如，面部区域或人体区域)或其移动的处理、以及用于识别人物的处理等。

数据修改处理可以包括如下处理，该处理包括区裁剪(裁切)、合成、缩放、编码和解码、以及头部信息生成(数据文件生成)等。数据修改处理还包括生成显示用图像数据和记录用图像数据。

评价值计算处理可以包括如下处理，其中该处理包括：生成在自动调焦检测(AF)中使用的信号或评价值；生成在自动曝光控制(AE)中使用的评价值；等等。

特殊效果处理可以包括如下处理，该处理包括添加模糊效果、改变色调和重光照等。

注意，这些是可以由图像处理单元24应用的处理的示例，并非旨在限制由图像处理单元24应用的处理。此外，可以由图像处理单元24应用的图像处理可以由系统控制单元50执行。

在本实施例中，图像处理单元24将前摄像头110和后摄像头120所拍摄的两个圆形鱼眼图像拼接在一起，并且生成360度图像。将所生成的360度图像变换成使用等距圆筒变换的图像，并且可以使像素的位置与360度表面的坐标相关联。

此外，图像处理单元24从圆形鱼眼图像的数据中裁剪区域，应用失真校正等，并且生成适合于显示单元28或外部显示设备的矩形形状的实时取景显示用的图像数据。

系统控制单元50例如是能够执行程序的处理器(CPU、MPU或微处理器等)。系统控制单元50通过将非易失性存储器56中所存储的程序加载到系统存储器52上并执行该程序，来控制数字照相机100的功能块的操作并实现数字照相机100的功能。

非易失性存储器56是电可重写的，并且存储系统控制单元50所执行的程序、数字照相机100的各种设置值、以及GUI数据等。当系统控制单元50执行程序时，系统存储器52用作主存储器。注意，存储器32和系统存储器52可以是连续存储空间内的不同区域。

快门按钮61包括在半按压的状态下接通的开关SW1 62以及在全按压的状态下接通的开关SW2 64。系统控制单元50将开关SW1 62的接通(ON)识别为静止图像拍摄准备指示，并且将开关SW2 64的接通识别为静止图像拍摄开始指示。当检测到开关SW1 62的接通时，系统控制单元50使用由图像处理单元24生成的信号或评价值等，并且执行前摄像头110和/或后摄像头120的自动调焦检测(AF)和自动曝光控制(AE)。此外，当检测到开关SW2 64的接通时，系统控制单元50根据AE处理所确定的曝光条件来控制快门101，拍摄静止图像，并执行记录处理。图像处理单元24所生成的记录用静止图像数据在被系统控制单元50经由I/F 18记录在记录介质90上之前，临时存储在存储器32中。

注意，快门按钮61可以仅包括一个开关。在这种情况下，当检测到开关的接通时，系统控制单元50连续执行图像准备操作和摄像处理。

可以通过用户操作模式改变开关60来改变数字照相机100的操作模式。操作模式例如包括用于拍摄360度图像的模式、用于拍摄具有小于180度的水平视野的一般广角图像的模式(被称为裁剪模式)、回放模式和用于与外部设备协作操作的模式等。注意，用于拍摄广角图像的模式可以包括与水平视野相对应的多个模式(90度模式和150度模式等)。

注意，可以经由模式改变开关60的操作和其他操作构件的操作的组合来选择操作模式。例如，模式改变开关60可以用于选择操作模式的大类别，然后可以从显示单元28上所显示的更具体的类别中选择操作模式。

电源开关72是用于指示接通或断开数字照相机100的电源的开关。电源控制单元80控制这些操作。

电源控制单元80包括电池检测电路、DC-DC转换器以及用于在供给电力的功能块之间切换的开关电路等，并且控制从电源单元30向数字照相机100的组件的电力供给，该电源单元30可以是电池或AC适配器。电源控制单元80检测电源单元30的类型。此外，当电源单元30是电池时，电源控制单元80检测类型和剩余电量。电源控制单元80可以根据电源开关72的状态和系统控制单元50的控制来改变用于供给电力的组件以及所供给的电力。

麦克风20指向数字照相机100外部，并且向系统控制单元50输出音频信号。当正记录运动图像时，记录图像数据和音频数据。

操作单元70是除了模式改变开关60、快门按钮61和电源开关72之外的输入装置装配件(按钮、开关和拨盘等)的总称。该操作单元70包括运动图像记录开关、菜单按钮、方向键和回车键等。当显示单元28是触摸显示器时，操作单元70也可以由触摸可操作的软件按钮或键构成。

例如，显示单元28是液晶显示器(LCD)。显示单元28可以不是触摸显示器。显示单元28显示字符和图像。通过将连续拍摄的运动图像立即显示在显示单元28上，显示单元28可以用作电子取景器(EVF)。利用用作EVF的显示设备所显示的运动图像被称为实时取景图像。注意，通过向连接到通信单元54的外部设备输出实时取景图像，外部设备中所包括的显示设备可以用作EVF。

发光单元21是用于经由所发射的光的图案或颜色向用户通知数字照相机100的状态等的发光二极管(LED)。

设置在数字照相机100的底面上的固定部40(图1B)例如是用于附接三脚架的螺纹孔。

系统计时器53响应于来自系统控制单元50的请求而输出内部时钟的时间并测量时间。

通信单元54是用于与诸如下面描述的电子装置或外部显示设备等的外部设备进行有线或无线通信的接口。通信单元54与一个或多于一个有线或无线通信标准兼容，并且包括适合于该标准的连接器和收发器等。通信单元54可以支持的代表性标准包括但不限于USB、HDMI(注册商标)、Bluetooth(蓝牙)(注册商标)和无线LAN等。

姿势检测单元55例如包括陀螺仪传感器和加速度传感器，并且向系统控制单元50输出表示数字照相机100的姿势和移动的信号。数字照相机100的姿势由绕着角轴的转动角度(侧倾、俯仰和横摆)来表示，其中x轴与光轴平行，y轴在水平方向上延伸，并且z轴在垂直方向上延伸。在拍摄图像时的数字照相机100的姿势可以与图像数据相关联并记录。此外，所检测到的数字照相机100的姿势和移动可以用于图像稳定和倾斜校正。

I/F 18是用于将数据写入作为存储卡或硬盘等的记录介质90、以及读取记录介质90上所记录的数据的接口。记录介质90可以从数字照相机100可拆卸，或可以不从数字照相机100可拆卸。

图2A和图2B是作为可以经由使用通信单元54的通信与数字照相机100协作的外部设备的示例的智能电话200的图。图2A是示出外观的示例的立体图，并且图2B是示出功能配置的示例的框图。注意，外部设备不限于智能电话，并且电子装置能够与数字照相机100进行通信并包括能够执行用于与数字照相机100协作的应用的处理器就足够了。

现在将描述智能电话200的配置。

内部总线250连接各个块，以用于使得数据能够在两个方向上交换。

CPU 201是可以执行程序的处理器，并且通过将非易失性存储器203中所存储的程序加载到存储器202上并执行该程序，来控制智能电话200的功能块的操作并实现智能电话200的功能。

当CPU 201执行程序时，存储器202用作主存储器。存储器202的一部分用作显示器205的视频存储器。

非易失性存储器203是电可重写的，并且存储CPU 201所执行的程序(OS和应用)、智能电话200的设置值、GUI数据和用户数据等。

显示器205例如是LCD，并且是OS和应用显示图像和各种类型的信息的地方。显示器205是包括触摸面板206a的触摸显示器，并且可以检测显示器205的显示面上的触摸操作。显示器205可以是外部设备。

图像处理单元24基于CPU 201的控制，将图像处理应用于非易失性存储器203和记录介质208中所存储的图像数据、经由外部I/F 209而获得的图像数据以及经由通信I/F210而获得的图像数据等。

要由图像处理单元24应用于图像数据的图像处理可以与数字照相机100的图像处理单元24类似。当智能电话200不包括摄像头时，可以不执行在AF和AE中所使用的评价值的生成。此外，图像处理单元24能够执行的图像处理可以由CPU 201执行。

图像处理单元24可以根据CPU 201的控制，从诸如全方位图像等的超广角图像(例如，具有大于180度的水平视野的图像)生成与智能电话200的移动相对应的虚拟现实(Virtual Reality，VR)显示用的图像数据。VR显示是通过从超广角图像中裁剪与智能电话200的姿势变化相对应的待拍摄范围的区域、并在显示器205上显示所生成的裁剪图像数据来实现的。利用VR显示，例如通过使用护目镜等将智能电话200的显示器205固定在用户的眼睛前面，所显示的图像改变，从而追踪用户的头部的移动。以这种方式，用户可以体验在超广角图像所表示的虚拟空间内的感觉。

可替代地，通过控制图像处理单元24与智能电话200的姿势无关地从超广角图像中裁剪相同的待拍摄范围的区域，可以实现电子图像稳定。

操作单元206是用户可以用于向智能电话200给出指示的输入装置装配件的统称。在智能电话200中通常包括的输入装置包括但不限于按钮、开关和触摸面板。此外，操作单元206可以由通信地连接到智能电话200的键盘和鼠标构成。注意，在图2B中，触摸面板206a被示为与显示器205分离。然而，触摸面板206a实际上是内置的或附接到显示器205的显示屏。

电源按钮206b、音量按钮206c和206d、以及主页(home)按钮206e是构成操作单元206的输入装置的示例。电源按钮206b切换智能电话200的电源接通和断开。音量按钮206c和206d是用于增大或减小从音频输出单元212输出的音量的按钮。主页按钮206e是用于在显示器205上显示由OS提供的特定画面的按钮。

介质I/F 207是用于访问记录介质208的接口。例如，当记录介质208是诸如存储卡等的可移除介质时，介质I/F 207包括用于插入/移除记录介质208的槽。CPU 201可以经由介质I/F 207将数据写入记录介质208，并从记录介质208读出数据。

外部I/F 209是用于与诸如数字照相机100或外部显示设备等的外部设备进行有线或无线通信的接口。外部I/F 209与一个或多于一个有线或无线通信标准兼容，并且包括适合于该标准的连接器和收发器等。通信单元54可以支持的代表性标准包括但不限于USB、HDMI(注册商标)、Bluetooth(注册商标)和无线LAN等。

通信I/F 210是用于经由蜂窝网络211进行通信的接口。例如，通信I/F 210可以是诸如3G、4G或5G调制解调器等的符合由3GPP建立的移动通信标准的通信I/F。

音频输出单元212输出音频(基于运动图像或音乐数据的音频、操作声音、铃声和各种类型的通知声音等)。音频输出单元212包括可以连接到耳机等的音频输出端子212a、以及扬声器212b，但是可以经由外部I/F向外部设备输出音频。

姿势检测单元213例如包括陀螺仪传感器和加速度传感器，并且向CPU201输出表示智能电话200的姿势和移动的信号。智能电话200的姿势由绕着角轴的转动角度(侧倾、俯仰和横摆)来表示，其中x轴与显示器205的显示屏垂直，y轴在水平方向上延伸，并且z轴在垂直方向上延伸。姿势检测单元213所检测到的姿势可以用于上述VR显示。

图3A和图3B示意性地示出在数字照相机100正在用于拍摄具有小于180度的水平视野的静止图像的操作模式(裁剪模式)下操作时的与姿势相对应的前摄像头110和后摄像头120的操作控制。

图3A示出在摄像开始时的数字照相机100的姿势(基准姿势)的示例，并且图3B示出在摄像期间的数字照相机100的姿势的示例。在图3A中所示的状态(直立状态)下，侧倾、俯仰和横摆都处于0度。此外，图3B示出从图3A的状态起、在后摄像头120面向下的情况下仅改变了俯仰(绕着y轴的转动角度)的状态。

在裁剪模式下，通过从全方位图像或超广角图像中裁剪部分区域来生成用于记录或显示的图像。当在裁剪模式下所生成的图像的水平视野可能被摄像镜头之一覆盖时，不需要使用其他镜头进行摄像。这使得能够仅使用摄像所需的摄像镜头和相关电路。

例如，如果根据本实施例的数字照相机100在裁剪模式下所生成的图像的水平视野小于180度，则通过仅使前摄像头110和后摄像头120其中之一有效，可以降低功耗。在该示例中，当开始摄像时使用后摄像头120，使得当开始摄像时可以观看显示单元28。此外，生成具有150度的水平视野和90度的垂直视野的图像。

此外，通过改变图像的裁剪位置来执行电子图像稳定，使得即使在摄像期间数字照相机100的姿势从基准姿势(例如，在开始摄像时的姿势)改变时，也维持与在开始摄像时相同的待拍摄范围。在下文中，为了方便起见，在裁剪模式下从可拍摄范围中裁剪的范围被称为记录范围。注意，在裁剪模式下所生成的图像数据的用途不限于记录。

在开始摄像时的数字照相机100的姿势(基准姿势)是直立状态。在这种情况下，箭头306指示拍摄方向(摄像镜头103a和103b的光轴方向)。因此，在后摄像头120的可拍摄范围305(右半圆)中，灰色所示的范围307与垂直记录范围相对应。由于使前摄像头110无效，因此前摄像头110的可拍摄范围303(左半圆)没有被拍摄。前摄像头110的可拍摄范围303和后摄像头120的可拍摄范围305之间的边界线300的方向与重力方向308对齐。

当数字照相机100从图3A中所示的姿势改变为图3B中所示的姿势时，为了实现图像稳定，需要裁剪与在开始摄像时的记录范围307相同的范围。然而，在记录范围307中，图3B中的阴影部不包括在后摄像头120的可拍摄范围305中，而是包括在前摄像头110的可拍摄范围303中。因此，仅利用后摄像头120所获得的图像数据无法实现图像稳定。

以这种方式，当利用一个摄像头的待拍摄范围无法实现图像稳定时，系统控制单元50使具有包括图像稳定所需的范围的待拍摄范围的其他摄像头(在该示例中为前摄像头110)有效，并且利用多个摄像头执行摄像。因此，即使当数字照相机100改变到图3B的姿势时，也可以裁剪记录范围307以使得能够实现图像稳定。

另一方面，当可以利用一个摄像头的待拍摄范围来实现图像稳定时，通过使其他摄像头无效，可以降低功耗。注意，当记录范围接近当前可拍摄范围的边界时，可以使能够拍摄在记录范围超过可拍摄范围的情况下所需的范围的摄像头有效。这可以有助于避免在激活使得附加有效的摄像头并获得图像期间无法执行图像稳定。

注意，在使用图3A和图3B的上述示例中，根据俯仰方向上的姿势的变化来进行控制。然而，这也适用于在横摆方向上的姿势的变化。

将使用图4的流程图进一步描述系统控制单元50在裁剪模式下的操作。当数字照相机100正在裁剪模式下操作、图像稳定被设置为有效、并且开始运动图像拍摄时，执行这些操作。注意，运动图像拍摄可以用于记录或可以用于实时取景显示，但是在下面所描述的示例中，运动图像拍摄用于记录。步骤S400可以在记录用拍摄时通过在待机状态下的运动图像开关的操作来执行，或在实时取景显示用拍摄时通过在待机状态下的图像稳定操作有效化的检测来执行，但不限于此。

注意，当使外部设备的远程操作有效时，可以通过从外部设备经由通信单元54接收到的开始记录指示来执行步骤S400。

在步骤S400中，系统控制单元50从姿势检测单元55获得数字照相机100的姿势(基准姿势)。系统控制单元50基于所获得的姿势，将后摄像头120或前摄像头110的光轴方向确定为拍摄方向。拍摄方向是不受此后的数字照相机100的姿势变化影响的单向方向。例如，系统控制单元50将所获得的姿势和所确定的拍摄方向存储在系统存储器52中。

在步骤S401中，系统控制单元50基于步骤S400中所确定的拍摄方向和数字照相机100的设置来确定记录范围。在该示例中，在裁剪模式中，水平视野是可选择的，并且垂直视野是恒定的或根据水平视野来确定。在该示例中，选择了150度的水平视野，并且确定了90度的垂直视野。

系统控制单元50将根据在开始记录时的数字照相机100的姿势和拍摄方向、以及拍摄视野而确定为记录范围的范围与在开始摄像时的数字照相机100的姿势相关联，并且将这些范围和姿势存储在系统存储器52中。例如，系统控制单元50可以将通过根据数字照相机100的姿势将以拍摄方向为中心且具有基于水平视野和垂直视野的大小的矩形区域映射在全方位图像上而获得的区域设置为记录范围。因此，记录范围与数字照相机100可以生成的全方位图像中的特定区域相对应。

在步骤S402中，系统控制单元50开始运动图像记录操作，并且针对各个帧连续执行步骤S403以后的处理。

在步骤S403中，系统控制单元50从姿势检测单元55获得数字照相机100的姿势。

在步骤S404中，系统控制单元50基于记录范围和从开始摄像时起的姿势变化来确定要有效的摄像头。这将在下面详细描述。

在步骤S405中，系统控制单元50使用有效的摄像头来执行与一帧相当的摄像。由于当开始摄像时仅后摄像头120有效，因此系统控制单元50仅使用后摄像头120来执行一帧的摄像。图像处理单元24生成从有效的摄像头读出的1帧的记录用图像数据和显示用图像数据，并将这些数据存储在存储器32中。注意，与确定摄像条件以及在拍摄图像时驱动调焦透镜和图像传感器相关的操作是已知的，因此不进行描述。

在步骤S406中，系统控制单元50判断是否使多个摄像头有效。该判断与是否需要合成图像的判断相对应。根据本实施例的数字照相机100包括前摄像头110和后摄像头120，并且如果使这两个摄像头都有效，则系统控制单元50执行步骤S407，并且如果仅使一个摄像头有效，则系统控制单元50跳过步骤S407并执行步骤S408。

在步骤S407中，系统控制单元50指示图像处理单元24将有效的摄像头所拍摄的图像数据进行合成(拼接在一起)。响应于该指示，图像处理单元24将存储器32中所存储的当前帧的图像数据进行合成(拼接在一起)，并且生成具有连续的待拍摄范围的合成图像的数据。注意，图像处理单元24已经知道何种位置关系将摄像头所获得的图像拼接在一起。图像处理单元24将合成图像数据存储在存储器32中。当系统控制单元50生成合成图像数据时，执行步骤S408。

在步骤S408中，系统控制单元50指示图像处理单元24裁剪记录范围的图像数据。例如，系统控制单元50从系统存储器52中读出步骤S400中所获得的开始摄像时的姿势、步骤S403中所获得的姿势、以及步骤S401中所确定的记录范围，并且将这些姿势、记录范围和裁剪指示发送到图像处理单元24。注意，代替姿势信息，可以将在步骤S404中确定要使哪个摄像头有效时获得的与开始摄像时的拍摄方向相对应的位置发送到图像处理单元24。

图像处理单元24基于从开始摄像起到现在的数字照相机100的姿势变化，计算以当前姿势获得的图像中的记录范围的位置。然后，通过从图像数据中裁剪记录范围，图像处理单元24获得具有与开始摄像时的记录范围相同的待拍摄范围的图像数据，并将该图像数据存储在存储器32中。注意，已知技术可以用于所需的失真校正等，以使从圆形鱼眼图像中裁剪的区域成为规则的矩形图像。

注意，图像处理单元24针对记录用图像数据和显示用图像数据这两者执行步骤S407的合成处理和步骤S408的裁剪处理。此外，图像处理单元24可以执行所需的失真校正等，以使从圆形鱼眼图像中裁剪的区域成为规则的矩形图像。

在由图像处理单元24通过裁剪所获得的记录范围图像数据中，系统控制单元50将记录用图像数据作为在裁剪模式下生成的广角图像数据存储在记录介质90上。此外，系统控制单元50在将显示用图像数据输出到显示单元28或外部设备之前，在步骤S409中针对该显示用图像数据执行向导显示处理。注意，根据编码方法等，多个帧的数据可以被统一记录在记录介质90上。

在步骤S409中，系统控制单元50执行向导显示处理。这将在下面详细描述。

在步骤S410中，系统控制单元50判断是否已进行摄像结束操作。当判断为已进行摄像结束操作时，与运动图像记录相关的操作结束，并且当未判断为已进行该摄像结束操作时，执行从步骤S403起的对下一帧的处理。摄像结束操作可以是运动图像记录开关的操作、或从外部设备经由通信单元54接收到的结束记录指示。

接下来，将使用图5中所示的流程图来描述步骤S404中的系统控制单元50的操作。

在步骤S500中，系统控制单元50获得在数字照相机100的基准姿势(在该示例中为在开始摄像时的姿势)与步骤S403中所获得的数字照相机100的当前姿势之间的差。然后，系统控制单元50基于姿势的差来计算以当前姿势所获得的图像中的记录范围的位置。

此外，系统控制单元50判断与当前姿势相对应的记录范围是否大于当前有效的摄像头的可拍摄范围。如图3B中的示例所示，系统控制单元50检测记录范围307何时超过有效的后摄像头120的可拍摄范围305(包括未包括在可拍摄范围305中的范围)。当系统控制单元50判断为与当前姿势相对应的记录范围大于当前有效的摄像头的可拍摄范围时，执行步骤S501，并且当未判断为与当前姿势相对应的记录范围大于当前有效的摄像头的可拍摄范围时，执行步骤S503。

在步骤S501中，系统控制单元50使在当前无效的摄像头中的、具有待拍摄范围中所包括的与数字照相机100的当前姿势相对应的记录范围的摄像头有效，并且步骤S404的处理结束。例如，在图3B中所示的示例中，使前摄像头110有效。

步骤S503至S508与系统控制单元50针对数字照相机100的当前有效的摄像头执行的处理相对应。

在步骤S504中，系统控制单元50获得可拍摄范围。

在步骤S505中，系统控制单元50判断步骤S504中所获得的可拍摄范围是否包括步骤S500中所计算出的与数字照相机100的当前姿势相对应的记录范围的至少一部分。当系统控制单元50判断为可拍摄范围包括记录范围的至少一部分时，执行步骤S506，并且当未判断为可拍摄范围包括记录范围的至少一部分时，执行步骤S507。

在步骤S506中，系统控制单元50保持对象摄像头有效，并且步骤S404的处理结束。

在步骤S507中，系统控制单元50使对象摄像头无效，并且步骤S404的处理结束。使其无效是与处于有效状态时相比消耗更少电力的状态，并且可以继续进行向至少一个部分的电力供给。例如，图像传感器和A/D转换器可以被置于省电状态。这也可以说是使得与无效的摄像镜头相关的电路转变到与镜头有效时相比消耗更少电力的状态。

以这种方式，使拍摄与当前姿势相对应的记录范围(换句话说，图像生成所需的待拍摄范围)所需的摄像头有效，并且使拍摄与当前姿势相对应的记录范围所不需要的摄像头无效。因此，响应于数字照相机100的姿势变化而动态地仅使所需的摄像头有效，从而使得功耗能够降低。

接下来，将使用图6和图7详细描述步骤S409的处理。为了方便起见，在该示例中，数字照相机100在与智能电话200的协作模式下操作，并且将实时取景显示用图像数据经由通信单元54发送到智能电话200。此外，利用智能电话200，执行用于与数字照相机100协作的应用，并且在显示器205上进行基于从数字照相机100接收到的实时取景显示用图像数据的显示。此外，用户正在保持数字照相机100并处于他们可以看到智能电话200的显示器205的状态。注意，如果可以经由数字照相机100的显示单元28看到实时取景显示，则可以仅利用数字照相机100来执行下面描述的向导显示操作。

图6是示出步骤S409中所执行的向导显示的具体示例的图。实时取景图像600显示在显示器205上。向导显示是当使多个摄像头有效时叠加在实时取景图像上的诸如指示器或图标等的预定图像。在该示例中，向导显示包括边界线601、使用中的摄像头的数量警告602、以及推荐方向显示603。

由虚线表示的边界线601指示摄像头的可拍摄范围的边界，并且与图3A和图3B中的边界线300相对应。如图3B所示，对于要显示的边界线601，可能需要多个摄像头来拍摄记录范围。当一个摄像头可以拍摄诸如图3A等中的整个记录范围时，不显示边界线601。

使用中的摄像头的数量警告602是指示多个摄像头正用于拍摄记录范围的图标。显示边界线601和使用中的摄像头的数量警告602这两者。注意，可以使用诸如代替图标而使用字符串或线显示等的其他表示方法。

推荐方向显示603是指示如何改变数字照相机100的姿势以减少拍摄记录范围所需的摄像头的数量的图标。参见图3A和图3B中所示的示例，为了将图3B的姿势改变为图3A的姿势，数字照相机100可以改变为几乎直立的姿势。在这种情况下，推荐方向显示603可以是表示直立方向(用于使数字照相机100直立的方向)的图标。更具体地，可以交替显示当前姿势和推荐姿势，或可以在显示中使用动画。

当满足向导显示要求时，数字照相机100(系统控制单元50)使用图像处理单元24生成叠加有向导显示的实时取景显示图像。

接下来，将使用图7中所示的流程图描述步骤S409中的系统控制单元50的操作。

在步骤S700中，系统控制单元50判断是否使多个摄像头有效。当判断为使多个摄像头有效时，执行步骤S704，并且当未判断为使多个摄像头有效时，执行步骤S701。

在步骤S701中，系统控制单元50将使用中的摄像头的数量警告602设置为不显示。

在步骤S702中，系统控制单元50将边界线601设置为不显示。

在步骤S703中，系统控制单元50将推荐方向显示603设置为不显示。系统控制单元50向图像处理单元24通知步骤S701至S703的设置。

注意，所有向导显示(边界线601、使用中的摄像头的数量警告602、以及推荐方向显示603)可以被统一设置为不显示。

在步骤S704中，系统控制单元50将使用中的摄像头的数量警告602设置为显示。

在步骤S705中，系统控制单元50针对各个有效的摄像头计算光轴方向和拍摄方向之间的角度差，并且将具有最小角度差的摄像头设置为主摄像头。

在步骤S706中，系统控制单元50将主摄像头的可拍摄范围的边界线601设置为显示。

在步骤S707中，系统控制单元50计算用于使数字照相机100定向以减小主摄像头的光轴方向和拍摄方向之间的角度差的方向。

在步骤S708中，系统控制单元50将推荐方向显示603设置为显示。系统控制单元50向图像处理单元24通知步骤S704、S706和S708的设置以及步骤S707中所计算出的方向。

在步骤S709中，图像处理单元24基于来自系统控制单元50的通知来生成实时取景显示用图像数据。

当执行步骤S701至S703时，图像处理单元24在无需叠加向导显示的情况下生成正常实时取景显示用图像数据。

另一方面，当执行步骤S704至S708时，图像处理单元24生成叠加有向导显示的实时取景显示用图像数据。注意，对于向导显示，使用中的摄像头的数量警告602和推荐方向显示603的叠加位置、以及与所通知的方向相对应的推荐方向显示603的图像是预定的。此外，关于实时取景显示用图像数据，图像处理单元24将边界线601叠加在与用于在步骤S407中生成合成图像的多个图像的边界相对应的位置处。

然后，图像处理单元24将所生成的实时取景显示用图像数据存储在存储器32中。系统控制单元50经由通信单元54将实时取景显示用图像数据发送到智能电话200。系统控制单元50还可以将实时取景显示用图像数据输出到显示单元28。

如上所述，根据本实施例，利用可以使用多个摄像单元来生成全方位图像的摄像设备，在生成与全方位图像相比具有更小视野的图像时，仅使图像生成所需的摄像单元有效。此外，当以有效的摄像单元的可拍摄范围无法实现图像稳定时，使所需的摄像单元有效。因此，可以减少功耗，并且可以增加能够进行图像稳定的范围。

其他实施例

在上述实施例的配置中，单个摄像单元使用单个摄像镜头。然而，在其他类似实施例的配置中，可以改变由单个摄像单元使用的摄像镜头的数量。在这种情况下，可以在切换镜头的同时顺次进行使用多个镜头的摄像。此外，在上述实施例中与使摄像头有效和无效相关的操作与使镜头有效和无效是同义的。与增加所使用的摄像单元的数量的配置相比，响应于数字照相机的姿势变化而增加所使用的镜头的数量的配置实现了较少的降低功耗的效果，但是实现了与可以进行图像稳定的范围的增加有关的类似效果。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考示例性实施例说明了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (13)

1.一种摄像设备，用于使用多个摄像镜头来生成全方位图像，所述摄像设备包括：

检测部件，用于检测所述摄像设备的姿势；

识别部件，用于在所述摄像设备处于用于生成与全方位图像相比具有更小视野的第一图像的操作模式中的情况下，基于所述摄像设备的基准姿势和所述检测部件所检测到的当前姿势之间的差，来识别生成所述第一图像所需的待拍摄范围；以及

控制部件，用于在所述摄像设备处于所述操作模式中的情况下，使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所需的摄像镜头的摄像有效，并且使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所不需要的摄像镜头的摄像无效。

2.根据权利要求1所述的摄像设备，还包括：

生成部件，用于通过从使用所述多个摄像镜头中的如下摄像镜头所获得的图像中裁剪所述待拍摄范围的区域来生成所述第一图像，其中通过所述控制部件来使使用该摄像镜头的摄像有效。

3.根据权利要求2所述的摄像设备，还包括：

合成部件，用于在所述控制部件使使用所述多个摄像镜头中的各个摄像镜头的摄像有效的情况下，通过将使用所述多个摄像镜头拍摄的图像拼接在一起来生成合成图像，

其中，所述生成部件通过从所述合成图像中裁剪所述待拍摄范围的区域来生成所述第一图像。

4.根据权利要求3所述的摄像设备，其中，

在所述控制部件使使用所述多个摄像镜头中的各个摄像镜头的摄像有效的情况下，所述生成部件生成叠加有预定向导显示的所述第一图像。

5.根据权利要求4所述的摄像设备，其中，

所述向导显示包括以下显示中的一个或多于一个：指示用于生成所述合成图像的多个图像之间的边界的显示；指示使所述多个摄像镜头的摄像有效的显示；以及指示如何改变所述摄像设备的姿势以减少要用于摄像的摄像镜头的数量的显示。

6.根据权利要求2至5中任一项所述的摄像设备，其中，

所述生成部件所生成的第一图像被输出到所述摄像设备中所包括的显示设备或被输出到包括显示设备的外部设备。

7.根据权利要求1至5中任一项所述的摄像设备，其中，

所述识别部件通过将在所述摄像设备处于所述基准姿势时的待拍摄范围的位置转换为与所述摄像设备的当前姿势相对应的位置，来识别所述待拍摄范围。

8.根据权利要求1至5中任一项所述的摄像设备，其中，

所述控制部件使得与无效的摄像所使用的摄像镜头相关的电路转变到与使用该摄像镜头的摄像有效时相比消耗更少电力的状态。

9.根据权利要求8所述的摄像设备，其中，

所述电路包括图像传感器。

10.根据权利要求1至5中任一项所述的摄像设备，其中，

重复执行所述识别部件所进行的识别以及所述控制部件所进行的有效化和无效化。

11.根据权利要求1至5中任一项所述的摄像设备，其中，

所述多个摄像镜头是圆形鱼眼镜头。

12.一种摄像设备的控制方法，所述摄像设备能够使用多个摄像镜头来生成全方位图像，所述控制方法包括：

检测所述摄像设备的姿势；

在所述摄像设备处于用于生成与全方位图像相比具有更小视野的第一图像的操作模式中的情况下，基于摄像设备的基准姿势和所述检测中所检测到的当前姿势之间的差，来识别生成所述第一图像所需的待拍摄范围；以及

在所述摄像设备处于所述操作模式中的情况下，使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所需的摄像镜头的摄像有效，并且使得使用所述多个摄像镜头中的拍摄所述待拍摄范围所不需要的摄像镜头的摄像无效。

13.一种存储有程序的计算机可读介质，所述程序用于使能够使用多个摄像镜头生成全方位图像的摄像设备中所包括的计算机执行根据权利要求12所述的方法。