CN102754423A - 成像设备、方位信息处理方法和程序 - Google Patents

Abstract

公开了一种图像捕获设备，即使在图像捕获设备的朝向改变时，也能够显示从用户观点看处于自然状态的罗盘图像并记录正确的图像捕获方位。图像捕获设备提供有：图像捕获单元，其捕获场景的图像并输出捕获图像；方位计算单元，其基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获单元的图像捕获方向的方位；方位转换单元，其基于加速度信息计算图像捕获设备的滚动方向上的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为用于显示的方位；显示单元，其与捕获图像一起显示指示用于显示的方位的罗盘图像；以及记录单元，其将指示图像捕获方向上的方位的方位信息与捕获图像相关联地记录在记录介质中。

Description

成像设备、方位信息处理方法和程序

技术领域

本发明涉及成像设备、方位信息处理方法和程序。

背景技术

近年来，出现了其上安装电子罗盘的成像设备（如数字相机）的模型。电子罗盘具有基于地磁传感器检测的地磁电计算设备直接面对的方位的功能。通过将电子罗盘安装在数字相机上，可能显示二维罗盘图像，其示出数字相机面对的方位（即，图像捕获方向上的方位），并且使得相机用户识别方位。

同时，除了显示上述罗盘图像的目的，成像设备（如数字相机）中使用的方位信息还用于记录图像捕获方向上的方位（以下，图像捕获方位）作为捕获图像的额外信息的目的。例如，专利文献1中公开的数字相机将通过电子罗盘获得的捕获方位信息叠加并显示在显示单元上显示的捕获图像上，并且将捕获方位信息作为捕获图像的额外信息与捕获图像相关联并记录。此外，专利文献1中公开的数字相机具有这样的机构，其能够关于主体单元旋转图像捕获单元，并且根据图像捕获单元关于主体单元的旋转状态，校正和记录通过电子罗盘获得的图像捕获方位信息。

引用列表

专利文献

专利文献1：日本专利No.3781016

发明内容

技术问题

同时，尽管专利文献1中公开的数字相机根据图像捕获单元关于主体单元的旋转状态校正通过电子罗盘获得的方位，但是该数字相机没有根据数字相机的姿态的改变（例如滚动方向上的旋转）校正用于在显示单元上显示图像的方位（以下，“显示方位”）。然而，如果没有根据相机姿态的改变校正显示方位，则存在以下问题。

在普通数字相机的情况下，镜头布置在显示表面的后表面上，因此图像捕获方向（即，镜头的光轴方向）和显示屏幕的后表面方向（即，相机的面对方向）匹配。将描述这样的情况，其中用户握持数字相机，使得显示屏幕关于地面垂直（90度）竖立，并且捕获将图像捕获方向放在水平方向上的图像。在该情况下，数字相机的电子罗盘计算图像捕获方向的水平方位，并且在显示单元上在水平方位指向朝上的情况下显示罗盘图像。

即使在用户握持相机垂直保持地面和显示屏幕之间的角度（即，执行垂直图像捕获）的同时，通过在滚动方向上旋转数字相机90度来捕获图像时，用户面对的方位（偏航方向）没有改变，并且图像捕获方向不变。结果，不管相机姿态（滚动方向上的旋转）的改变，显示罗盘图像，使得示出图像捕获方向一直指向固定方向的地面的罗盘图像对用户的观点来看是自然的。

为了以此方式显示罗盘图像，只需要将电子罗盘计算的图像捕获方向校正滚动方向上的旋转角并求出显示方位，并且在显示单元上显示示出该显示方位的罗盘图像。以此方式，即使在相机在滚动方向上旋转时，从用户观点来看，显示屏幕上的罗盘图像一直关于地面面向固定方向。因此，示出图像捕获方位的罗盘图像的显示模式对用户变得自然。

然而，如上所述校正的显示方位与实际的图像捕获方位不同。因此，当记录显示方位作为捕获图像的额外信息时，不能记录正确的图像捕获方位信息，并且在捕获图像的回放时不能呈现捕获图像的正确的图像捕获方位。

如上所述，具有传统电子罗盘的数字相机没有根据相机姿态的改变（例如，从水平图像捕获到垂直图像捕获的改变）校正显示方位，并且没有分开地使用显示方位和记录方位（正确的图像捕获方位）作为捕获图像的额外信息。

考虑以上问题，因此本发明的目的是即使在成像设备的姿态改变时，以从用户的观点来看时的自然模式显示罗盘图像，并且记录正确的图像捕获方位。

解决问题的技术方案

根据为了实现上述目的的本发明的一个方面，提供了一种成像设备，包括：图像捕获单元，其捕获被摄体的图像并输出捕获图像；方位计算单元，其基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获方向上图像捕获单元的方位；方位转换单元，其基于加速度信息计算滚动方向上成像设备的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位；显示单元，其显示表示显示方位的罗盘图像和捕获图像；以及记录单元，其将表示图像捕获方向上的方位的方位信息与捕获图像相关联以记录在记录介质中。

优选地，方位计算单元基于加速度信息计算俯仰（pitch）方向上成像设备的旋转角，并且基于俯仰方向上的旋转角检测图像捕获方向是否为实际上垂直方向，当图像捕获方向为实际上垂直方向时，方位计算单元计算垂直于图像捕获方向的方向上的方位，替代图像捕获方向上的方位；显示单元显示替代表示显示方位的罗盘图像的、表示垂直于图像捕获方向的方向上的方位的罗盘图像和捕获图像；以及记录单元替代表示图像捕获方向上的方位的方位信息，将表示垂直于图像捕获方向的方向上的方位的方位信息与捕获图像相关联以记录在记录介质中。

优选地，方位计算单元基于加速度信息计算俯仰方向上成像设备的旋转角，并且基于俯仰方向上的旋转角检测图像捕获方向是否为实际上垂直向下方向，当图像捕获方向为实际上垂直向下方向时，方位计算单元计算上表面方向上的成像设备的方位，替代图像捕获方向上的方位；显示单元显示替代表示显示方位的罗盘图像的、表示上表面方向上的方位的罗盘图像和捕获图像；以及记录单元替代表示图像捕获方向上的方位的方位信息，将表示上表面方向上的方位的方位信息与捕获图像相关联以记录在记录介质中。

优选地，方位计算单元基于加速度信息计算俯仰方向上成像设备的旋转角，并且基于俯仰方向上的旋转角检测图像捕获方向是否为实际上垂直向上方向，当图像捕获方向为实际上垂直向上方向时，方位计算单元计算下表面方向上的成像设备的方位，替代图像捕获方向上的方位；显示单元显示替代表示显示方位的罗盘图像的、表示下表面方向上的方位的罗盘图像和捕获图像；以及记录单元替代表示图像捕获方向上的方位的方位信息，将表示下表面方向上的方位的方位信息与捕获图像相关联以记录在记录介质中。

优选地，所述成像设备还包括回放单元，其回放记录介质中记录的捕获图像和方位信息，并且显示单元显示表示回放单元回放的方位信息的方位的罗盘图像和回放单元回放的捕获图像。

此外，根据为了实现上述目的的本发明的另一个方面，提供了一种方位信息处理方法，包括以下步骤：在利用图像捕获单元捕获被摄体的图像的同时，基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获方向上图像捕获单元的方位；基于加速度信息计算滚动方向上成像设备的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位；显示表示显示方位的罗盘图像和从图像捕获单元输出的捕获图像；以及将表示图像捕获方向上的方位的方位信息与捕获图像相关联以记录在记录介质中。

此外，根据为了实现上述目的的本发明的另一个方面，提供了一种使得计算机执行以下步骤的程序：在利用图像捕获单元捕获被摄体的图像的同时，基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获方向上图像捕获单元的方位；基于加速度信息计算滚动方向上成像设备的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位；显示表示显示方位的罗盘图像和从图像捕获单元输出的捕获图像；以及将表示图像捕获方向上的方位的方位信息与捕获图像相关联以记录在记录介质中。

根据以上配置，在通过图像捕获单元捕获被摄体的图像的同时，基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获单元的图像捕获方向的方位，基于加速度信息计算滚动方向上成像设备的旋转角，基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位，显示表示显示方位的罗盘图像和从图像捕获单元输出的捕获图像，以及将表示图像捕获方向上的方位的方位信息与捕获图像相关联，并记录在记录介质中。结果，在图像捕获时，在根据成像设备的姿态（滚动方向上的旋转角）从图像捕获方向上的方位转换的显示方位用于在显示单元上的显示方位的同时，图像捕获中的方位可以用作作为捕获图像的额外信息记录的方位。

本发明的有利效果

根据上述本发明，即使在成像设备的姿态改变时，也可能以从用户的观点来看时的自然模式显示罗盘图像，并且记录正确的图像捕获方位。

附图说明

图1是图示根据本发明第一实施例的成像设备的硬件配置的方框图。

图2是图示根据第一实施例的成像设备的功能配置的方框图。

图3是图示根据第一实施例的成像设备的图像捕获方向和姿态的透视图。

图4是图示根据第一实施例的在滚动方向上倾斜的成像设备的透视图。

图5是图示根据第一实施例的在滚动方向上旋转90度的成像设备的透视图。

图6是图示在图3所示状态下的成像设备的显示屏幕的后表面视图。

图7是图示在图4所示状态下的成像设备的显示屏幕的后表面视图。

图8是图示在图5所示状态下的成像设备的显示屏幕的后表面视图。

图9是图示根据第一实施例的成像设备的回放屏幕的视图。

图10是图示根据本发明第二实施例的成像设备的功能配置的方框图。

图11是图示根据第二实施例的成像设备的上表面方向和姿态的透视图。

图12是图示根据第二实施例的成像设备的下表面方向和姿态的透视图。

图13是图示根据第二实施例的成像设备的显示屏幕的透视图。

图14是图示在图13状态下捕获的图像的回放屏幕的视图。

图15是图示根据第二实施例的在滚动方向上旋转90度的成像设备的显示屏幕的透视图。

图16是图示在图15状态下捕获的图像的回放屏幕的视图。

图17是图示根据第二实施例的成像设备的方位信息处理方法的流程图。

具体实施方式

以下，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的元件用相同参考标号表示，并且省略重复说明。

此外，将按照以下顺序进行描述。

1．成像设备的硬件配置

2．成像设备的功能配置

2.1．图像捕获方位的计算处理

2.2．罗盘图像的显示处理

2.3．图像捕获方位的记录处理

2.4．图像捕获方位的回放处理

3．第二实施例

3.1．成像设备的功能配置

3.2．图像捕获方位的计算处理

3.3．罗盘图像的显示处理

3.4．方位信息处理方法

4．结论

[1.成像设备的硬件配置]

首先，将参考图1详细描述根据本发明第一实施例的成像设备10的硬件配置。图1是图示根据本实施例的成像设备10的硬件配置的方框图。尽管根据本发明的成像设备例如由数字相机（如图1所示的成像设备10）体现，但是成像设备绝不限于该示例，并且可应用于具有图像捕获功能的任意电子设备。

如图1所示，根据本实施例的成像设备10例如是数字相机（例如，数字照相机或数字摄像机），其能够捕获静态图像或拍摄电影。该成像设备10捕获被摄体的图像，并且将通过该图像捕获获得的捕获图像（静态图像或电影是精细的）记录在记录介质中作为数字图像数据。

如图1所示，根据本实施例的成像设备10示意性地具有图像捕获单元110、信号处理单元120、显示单元130、记录介质140、控制单元150、操作单元160、地磁传感器170和加速度传感器172。

图像捕获单元110捕获被摄体的图像，并且输出模拟图像信号。图像捕获单元110具有图像捕获光学单元111、图像捕获元件112、定时生成器113和光学部件驱动单元114。

图像捕获光学单元111包括各种透镜（如聚焦透镜和变焦透镜）和光学部件（如移除不必要的波长的滤光片和光圈）。从被摄体入射的光学图像（被摄体图像）通过图像捕获光学单元111中的每个光学部件形成在图像捕获元件112的曝光侧。图像捕获元件112（图像传感器）利用固态成像元件（如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体））形成。该图像捕获元件112光电转换从图像捕获光学单元111引导的光学图像，并且输出示出捕获图像的电信号（模拟图像信号）。

图像捕获光学单元111机械连接到用于驱动图像捕获光学单元111的光学部件的光学部件驱动单元114。该光学部件驱动单元114例如是变焦马达、聚焦马达或光圈调节机构，并且移动变焦透镜或聚焦透镜以及调节光圈。光学部件驱动单元114根据下面将描述的控制单元150的命令驱动图像捕获光学单元111的光学部件。此外，TG（定时生成器）113根据控制单元150的命令生成图像捕获元件112所需的操作脉冲。例如，TG 113生成各种脉冲（如用于垂直传送的四相脉冲、馈送偏移脉冲、用于水平传送的两相脉冲和快门脉冲），并且将这些脉冲提供给图像捕获元件112。当图像捕获元件112由该TG 113驱动时，捕获被摄体的图像（电子快门功能）。此外，TG 113通过调节图像捕获元件112的快门速度控制捕获图像的曝光。

从图像捕获元件112输出的图像信号输入到信号处理单元120。信号处理单元120执行从图像捕获元件112输出的图像信号的预定信号处理，并且将该信号处理后的图像信号输出到显示单元130和控制单元150。信号处理单元120具有模拟信号处理单元121、模拟/数字（A/D）转换单元122和数字信号处理单元123。

模拟信号处理单元121是预处理图像信号的所谓模拟前端。模拟信号处理单元121例如关于从图像捕获元件112输出的图像信号执行CDS（相关倍采样）处理和使用可编程增益放大器（PDA）的增益处理。A/D转换单元122将从模拟信号处理单元121输入的模拟图像信号转换为数字图像信号，并且输出数字图像信号到数字信号处理单元123。数字信号处理单元123执行输入的数字图像信号的数字信号处理，如噪声消除、白平衡调节、色彩校正和边缘增强和伽马校正，并且将数字图像信号输出到例如显示单元130和控制单元150。

显示单元130例如由平板显示设备（如液晶显示器（LCD）或有机EL显示器）形成。显示单元130在控制单元150的控制下显示各项输入图像数据。例如，显示单元130在图像捕获期间实时显示从信号处理单元120输入的捕获图像（直通图像）。结果，用户可以在观看成像设备10捕获的直通图像的同时操作成像设备10。此外，当回放记录介质140中记录的捕获图像时，显示单元130显示回放图像。以此方式，用户可以检查记录介质140中记录的捕获图像的内容。

记录介质140存储各项数据，如捕获图像的数据和数据的元数据。对于记录介质140，例如，可以使用半导体存储器（如存储卡）或盘记录介质（如光盘和硬盘）。此外，光盘例如包括蓝光盘、DVD（数字多功能盘）或CD（致密盘）。此外，记录介质140可以内置在成像设备10中或者可以是可从成像设备10拆卸的可移除介质。

控制单元150例如由微控制器形成，并且控制成像设备10的整体操作。控制单元150例如具有CPU 151、EEPROM 152、ROM（只读存储器）153和RAM（随机存取存储器）154。此外，EEPROM是“电可擦除可编程ROM”的简写。

控制单元150中的ROM 153存储用于使得CPU 151执行各种控制处理的程序。CPU 151基于该程序操作，并且使用RAM 154执行每个控制所需的计算/控制处理。该程序可以预先存储在成像设备10中内置的存储设备（例如，EEPROM 152和ROM 153）中。此外，该程序可以存储在可移除记录介质（如盘记录介质或存储卡）中并提供给成像设备10，或者可以通过网络（如LAN或因特网）下载到成像设备10。

以下，将描述通过控制单元150的具体控制示例。控制单元150控制图像捕获单元110的TG 113或光学部件驱动单元114以控制通过图像捕获单元110的图像捕获处理。例如，控制单元150通过调节图像捕获光学单元111的光圈、设置图像捕获元件112的电子快门速度或设置模拟信号处理单元121的AGC的增益，执行自动曝光控制（AE功能）。此外，控制单元150通过移动图像捕获光学单元111的聚焦透镜并改变聚焦位置，执行自动调节图像捕获光学单元111对特定被摄体的聚焦的自动聚焦控制（AE功能）。此外，控制单元150通过移动图像捕获光学单元111的变焦透镜并改变变焦位置，调节捕获图像的视角。此外，控制单元150将捕获图像和各项数据（如元数据）记录在记录介质140中，并且读取和回放记录介质140中记录的数据。此外，控制单元150生成各种显示图像以在显示单元130上显示，并且控制显示单元130显示显示图像。

操作单元160和显示单元130用作用户接口。操作单元160由各种操作键（如按钮和操作杆或触摸面板）形成，并且根据用户的操作输出命令信息到控制单元150。

地磁传感器170和加速度传感器172形成用于检测图像捕获方位的电子传感器（方位传感器）。同时，图像捕获方位是用于使用成像设备10捕获被摄体的图像的图像捕获方向的水平方位。图像捕获方位可以基于例如参考方位（例如北）用方位角θ（θ=0度到360度）表示。此外，图像捕获方向是图像捕获光学单元111的光轴方向。在普通数字相机的情况下，图像捕获方向是成像设备10的面对方向，并且匹配显示单元130的显示屏幕的后表面方向。

地磁传感器170例如由双轴地磁传感器或三轴地磁传感器形成，并且检测成像设备10存在的位置的地磁。双轴地磁传感器检测成像设备10的前后方向和左右方向上的地磁，并且三轴地磁传感器检测成像设备10的前后方向、左右方向和上下方向上的地磁。地磁传感器170输出表示检测的地磁的地磁信息到控制单元150。

加速度传感器172检测成像设备10上工作的加速度。加速度传感器172例如由三轴加速度传感器形成，其检测成像设备10的前后、左右和上下方向上的加速度，并且检测成像设备10上工作的三轴方向加速度。加速度传感器172输出表示检测的三轴加速度的加速度信息到控制单元150。控制单元150使用地磁传感器170的检测值（地磁信息）和加速度传感器172的检测值（加速度信息），计算成像设备10的姿态和图像捕获方位。下面将详细描述该计算方法。

[2．成像设备的功能配置]

接着，将参考图2描述根据本实施例的成像设备10的主要单元的功能配置和功能配置的处理。图2是图示根据本实施例的成像设备10的功能配置的方框图。

如图2所示，成像设备10的控制单元150具有方位计算单元200、方位转换单元202、罗盘图像生成单元204、额外信息管理单元206、记录单元208和回放单元210。在图1所示的CPU 151执行例如ROM 153中存储的程序时，实现这些功能单元，这些功能单元绝不限于该示例，并且可以通过专用硬件实现。

[2.1．图像捕获方位的计算处理]

首先，将描述方位计算单元200执行的用于计算成像设备10的图像捕获方位的处理。方位计算单元200以及地磁传感器170和加速度传感器172（方位传感器）形成测量图像捕获方位的电子罗盘。方位计算单元200基于地磁传感器170和加速度传感器172的检测值计算图像捕获方位。

如上所述，地磁传感器170检测成像设备10存在的位置的地磁，并且输出地磁信息作为检测值。此外，加速度传感器172检测成像设备10上工作的三轴方向加速度。使用该加速度传感器172检测的加速度信息，可能检测成像设备10的姿态（例如，静止姿态）。也就是说，当成像设备10采取静止姿态时，成像设备10上工作的加速度是来自地球的重力加速度。因此，基于加速度传感器172检测的三轴方向加速度信息，通过计算三维空间中成像设备10上工作的重力加速度的朝向，检测成像设备10的姿态。成像设备10的姿态由成像设备10关于地面的倾斜（例如，滚动方向、俯仰方向和偏航方向上的旋转角）表示。

以下，将参考图3详细描述成像设备10的姿态。图3是图示根据本实施例的成像设备10的图像捕获方向和姿态的透视图。

成像设备10例如具有矩形形状外壳100，其具有平行的上表面101和下表面102。图像捕获单元110的图像捕获光学单元111提供在外壳100的前表面103中，并且显示单元130的显示屏幕（未示出）提供在外壳100的后表面104中。滚动轴105是在外壳100的前后方向上延伸的旋转轴，并且成像设备10在滚动方向上围绕滚动轴105旋转，并且关于地面左右倾斜。类似地，俯仰轴106是在外壳100的左右方向上延伸的旋转轴，并且成像设备10在俯仰方向上围绕俯仰轴106旋转，并且关于地面前后倾斜。此外，偏航轴107是在外壳100的上下方向上延伸的旋转轴，并且成像设备10在偏航方向上围绕偏航轴107旋转，并且改变图像捕获方向。

如上所述，成像设备10的姿态可以用成像设备10关于地面在滚动方向、俯仰方向或偏航方向上旋转的旋转角（滚动角α、俯仰角β和偏航角γ）表示。此外，滚动轴105与成像设备10的图像捕获方向为相同方向。此外，当成像设备10在偏航方向上旋转时，成像设备10面对的水平方向也改变，因此图像捕获方位（图像捕获方向上的水平方位）也改变。

此外，当加速度传感器172可以知道滚动方向、俯仰方向或偏航方向上成像设备10的旋转角（关于地面的夹角）时，可能计算水平方向上的地磁，并且通过从地磁传感器170的检测值减去旋转角求出正确的图像捕获方位。此外，尽管即使在使用单轴或双轴加速度传感器时，可以检测成像设备10的一个或两个方向上的旋转角，结果可以计算图像捕获方位，但是通过使用三轴加速度传感器可以更精确地计算图像捕获方位。

回到图2，以下将继续由方位计算单元200执行来计算图像捕获方位的处理的描述。方位计算单元200基于加速度传感器172检测的加速度信息，计算成像设备10关于地面的姿态。该成像设备10的姿态例如由成像设备10的旋转角（滚动角α、俯仰角β和偏航角γ）表示。此外，方位计算单元200从预先存储的地磁传感器布置信息222和计算的成像设备10的姿态的信息计算地磁传感器170的姿态。同时，地磁传感器布置信息222表示成像设备10中布置的地磁传感器170的布置姿态（地磁传感器170关于成像设备10的朝向）。地磁传感器170的布置姿态在成像设备10的制造时已知。方位计算单元200通过将成像设备10关于地面的姿态（滚动角α、俯仰角β和偏航角γ）加到该地磁传感器170的布置姿态（默认旋转角），求出地磁传感器170关于地面的姿态。

此外，方位计算单元200从地磁传感器170测量的地磁信息和计算的地磁传感器170的姿态的信息提取地磁水平矢量，并且计算参考方位（例如北向）。此外，方位计算单元200从预先存储的光学单元布置信息224和预先计算的成像设备10的姿态的信息，计算图像捕获光学单元111的光轴方向（即，图像捕获方向）上的水平矢量。同时，光学单元布置信息224表示成像设备10中布置的图像捕获光学单元111的布置姿态（图像捕获光学单元111的光轴关于成像设备10的朝向）。该光学单元布置信息224在成像设备10的制造时也是已知的。方位计算单元200从参考方位的计算的矢量和图像捕获方向上的水平矢量之间的差求出图像捕获方向上的水平方位（即，图像捕获方位）。例如，方位计算单元200基于参考方位（例如北）求出方位角θ（θ=0度到360度）作为图像捕获方位。

根据方位计算单元200的计算处理，可能精确地检测图像捕获方位。此外，当用户在滚动方向上将成像设备10旋转90度以执行垂直图像捕获（见下面描述的图4）时，方位计算单元200计算图像捕获方向上的水平矢量，使得可能计算正确的图像捕获方位。

[2.2．罗盘图像的显示处理]

接着，将参考图2和3到8描述通过方位转换单元202、罗盘图像生成单元204和显示单元130显示罗盘图像的处理，该罗盘图像表示从图像捕获方位转换的显示方位。

首先，根据需要，图2所示的方位转换单元202将通过方位计算单元200计算的图像捕获方位转换为显示方位。同时，显示方位是用于在显示单元130上显示表示图像捕获方位的信息（例如图6中的罗盘图像302）的方位。显示单元130上显示的罗盘图像302指向预定参考方向（成像设备10的上表面101的方向）上的显示方位。当成像设备10在滚动方向上旋转时，显示方位与实际图像捕获方位不同。

将描述该显示方位的必要性。将描述这样的情况，其中在面北的用户如图3所示在水平方向上保持成像设备10捕获被摄体的图像（即，水平图像捕获）的状态下，用户围绕滚动轴105在滚动方向上旋转成像设备10，如图4所示，并且如图5所示在垂直方向上转换成像设备10（滚动角α=90度），并且捕获相同被摄体的图像（即，垂直图像捕获）。在该情况下，成像设备10不在偏航方向上旋转，并且用户面向的方位（北）不改变，因此成像设备10的图像捕获方位（北）也是不变的。因此，如图6到8所示，表示图像捕获方位的罗盘图像302叠加并显示在成像设备10的显示单元130上显示的捕获图像300（直通图像）上，当从用户的观点来看时，该显示屏幕上的罗盘图像302一直关于地面指向固定方向，而不管成像设备10的姿态的改变（滚动方向上的旋转）是自然的。为了以此方式显示罗盘图像302，通过滚动方向上的旋转角（滚动角α=90度）校正方位计算单元200计算的图像捕获方位（北），以求出显示方位（东）。

因此，方位转换单元202基于加速度传感器172的检测值，计算滚动方向上成像设备10的旋转角（滚动角α），并且基于滚动角α校正方位转换单元202计算的图像捕获方位，以求出显示方位。

更具体地，方位转换单元202首先从加速度传感器172检测的加速度信息，如上所述计算成像设备10关于地面的姿态（滚动角α、俯仰角β和偏航角γ）。接着，方位计算单元200从预先存储的显示单元布置信息226和计算的成像设备10的姿态的信息，计算跟着成像设备10在滚动方向上旋转的显示单元130的旋转角（滚动角α）。同时，显示单元布置信息226表示成像设备10中布置的显示单元130的布置姿态（显示单元130关于成像设备10的朝向）。显示单元130的布置姿态在成像设备10的制造时是已知的。方位转换单元202通过将成像设备10关于地面的姿态（滚动角α、俯仰角β和偏航角γ）加到该显示单元130的布置姿态（默认旋转角），求出显示单元130的滚动角α。

此外，方位转换单元202通过显示单元130的滚动角α校正方位转换单元202计算的图像捕获方位以求出显示方位。例如，当图像捕获方位基于参考方位用方位角θ（θ=0度到360度）表示时，方位转换单元202从图像捕获方位的方位角θ减去（或加上）显示单元130的滚动角α，并且计算显示方位的方位角φ（φ=θ±α）。此外，当成像设备10没有在滚动方向上旋转时，α=0度成立，因此显示方位的方位角φ变为等于图像捕获方位的方位角θ（φ=θ）。

此外，方位转换单元202将如上所述计算的表示显示方位的信息（例如，方位角φ的值）传递给罗盘图像生成单元204。

罗盘图像生成单元204基于方位转换单元202计算的表示显示方位的信息，生成罗盘图像302以显示在显示单元130上。例如，当基于φ=θ-α求出方位角φ时，图像生成单元204生成朝向显示方位（方位角φ）的、罗盘针头指向参考方位（例如北）的罗盘图像302。同时，当基于φ=θ+α求出方位角φ时，罗盘图像生成单元204生成罗盘图像302，以便显示方位（方位角φ）在显示屏幕上朝上。此外，显示单元130基于来自控制单元150的命令，将罗盘图像302叠加并显示在从图像捕获单元110输入的捕获图像300上。

根据上述显示处理，如图6到8所示，示出由方位转换单元202校正的显示方位（方位角φ）的罗盘图像302显示在正在由图像捕获单元110捕获的捕获图像300上。结果，用户可以在视觉检查捕获图像300的图像捕获方位的同时捕获图像。此外，图6、7和8图示成像设备10的显示单元130的滚动角α为0度、30度和90度的显示状态。在所有情况下，显示示出图像捕获方位的罗盘图像302，使得当从用户的观点来看时，作为方位计算单元200计算的图像捕获方位（方位角θ）的北关于地面朝上。

也就是说，即使在用户在滚动方向上将成像设备10旋转90度时，如图3到5所示，尽管罗盘图像302关于显示单元130相对旋转，如图6到8所示，罗盘图像302关于地面不旋转，并且罗盘图像302的针头一直指向固定方向。因此，罗盘图像302不跟着显示单元130在滚动方向上的旋转而旋转，使得只要图像捕获方位不改变，从用户的观点来看显示屏幕上罗盘图像302指向的方位就不改变。结果，当用户利用固定方位捕获被摄体的图像时，如果成像设备10改变姿态（例如，水平图像捕获变为垂直图像捕获），则从用户的观点来看时，可能显示处于自然显示模式的罗盘图像302。

[2.3．图像捕获方位的记录处理]

接着，将再次参考图2描述额外信息管理单元206和记录单元208执行的用于记录计算的图像捕获方位和捕获图像作为额外信息的处理。此外，下面将主要描述用户执行的用于按压成像设备10的快门按钮161（释放操作）并将静态图像的捕获图像（摄影）记录在记录介质140中的处理。

如图2所示，根据释放操作将捕获图像记录在记录介质140中，并且方位计算单元200将表示计算的图像捕获方位（方位角θ）的图像捕获方位信息输出到额外信息管理单元206，如上所述。

额外信息管理单元206具有管理记录介质140中记录的捕获图像的额外信息（例如，Exif信息）的功能。该额外信息一般包括与捕获图像相关的各条信息（例如，图像尺寸、文件格式或压缩编码格式）、图像捕获时间和日期信息以及记录图像的缩略图。除了这些条一般信息外，额外信息管理单元206在额外信息中包括通过方位计算单元200获得的图像捕获方位信息和成像设备10的姿态信息。后者成像设备10的姿态信息例如表示当记录捕获图像时成像设备10的姿态（例如，水平图像捕获、顺时针图像捕获或逆时针图像捕获）。通过方位计算单元200从加速度传感器172的检测值计算姿态信息。额外信息管理单元206输出捕获图像的额外信息到记录单元208。

记录单元208压缩和编码从额外信息管理单元206获得的捕获图像的额外信息、以及根据释放操作从图像捕获单元110获得的捕获图像，并且在记录介质140中关联和记录额外信息和捕获图像。以此方式，成像设备10的图像捕获方位信息（例如，方位角θ）和姿态信息（例如，水平图像捕获、顺时针图像捕获或逆时针图像捕获）与捕获图像相关联作为捕获图像的额外信息，并且记录。这些条信息在捕获图像的回放和显示时是有用的。

如上所述，记录单元208记录由方位计算单元200计算的图像捕获方位（方位角θ），替代方位转换单元202校正的显示方位（方位角φ）作为捕获图像的额外信息。以此方式，不管图像捕获时的成像设备10的姿态（滚动角α），可能记录在通过成像设备10捕获捕获图像时获得的正确的图像捕获方位（方位角θ）。

此外，尽管已经描述了静止图像的记录处理，但是在电影记录处理的情况下，只需要在电影的记录期间常规地或根据需要将图像捕获方位信息和姿态信息与电影相关联作为电影的额外信息，并且记录在记录介质140中。

[2.4．图像捕获方位的回放处理]

接着，将参考图9描述图2所示的回放单元210和显示单元130执行用以回放记录介质140中记录的捕获图像和额外信息、并且在显示单元130上显示捕获图像和额外信息的处理。图9是图示根据本实施例的、在垂直图像捕获时通过回放捕获图像300（见图8）获得的回放图像304的说明图。

根据用户的回放操作，回放单元210读取和回放（伸展和解码）记录介质140中记录的捕获图像300和捕获图像300的额外信息。此外，如图9所示，显示单元130显示回放单元210回放的回放图像304以及示出回放图像304的图像捕获方位的罗盘图像306。

根据该回放和显示处理，回放单元210基于额外信息中包括的成像设备10的姿态信息，根据需要旋转回放图像304，并且在显示单元130上显示回放图像304。例如，当回放单元210回放记录介质140中记录的捕获图像300时，基于添加到捕获图像300的姿态信息，确定捕获图像300是否为垂直捕获的图像以及垂直图像捕获时的旋转方向。当图像为垂直捕获时，回放单元210将回放图像304顺时针或逆时针旋转90度，使得垂直方向是正确的，并且在显示单元130上显示回放图像304。

此外，回放单元210基于添加到捕获图像300的图像捕获方位信息，确定捕获捕获图像300时的图像捕获方位，并且将表示捕获图像300的图像捕获方位的信息（例如，方位角θ））传递给罗盘图像生成单元204。然后，罗盘图像生成单元204基于表示图像捕获方位的信息，生成罗盘图像306以在显示单元130上显示，并且将罗盘图像306输出到显示单元130。结果，如图9所示，显示单元130显示从回放单元210获得的回放图像304和从罗盘图像生成单元204获得的罗盘图像306。此外，图9中的回放图像304是通过回放在图8所示状态下垂直捕获的捕获图像300获得的图像。

在该情况下，与回放图像304一起显示的罗盘图像306示出通过捕获捕获图像300获得的实际图像捕获方位（方位角θ=0度）。这是因为，在图像捕获方位信息的记录时，记录通过方位计算单元200计算的图像捕获方位（方位角θ=0度），替代方位转换单元202校正的显示方位（方位角φ=-90度）。如果记录显示方位（方位角φ=-90度），则罗盘图像306在图9中的回放屏幕上指向西（对应于方位角φ=-90度）。然而，在本实施例的情况下，在图像捕获时方位计算单元200记录计算的图像捕获方位（方位角θ=0度），使得与回放图像304一起显示的罗盘图像306能够指向回放图像304的正确的图像捕获方位（方位角θ=0度）。

此外，在回放图像304的显示时，回放图像304自动旋转和显示，使得根据图像捕获时成像设备10的姿态（垂直图像捕获或水平图像捕获），回放图像304的垂直方向是上下方向。在图9中的示例的情况下，垂直捕获的回放图像304旋转90度，并且显示在显示单元130的水平长显示屏幕上。结果，例如即使在回放垂直捕获的捕获图像300时，表示捕获图像的内容的回放图像304和示出图像捕获方位的罗盘图像306可以在适当方向上显示，而不用旋转显示单元130（见图9）。

如上所述，根据本实施例的成像设备10适当地分开使用方位计算单元200计算的图像捕获方位（方位角θ）以及方位转换单元202校正的显示方位（方位角φ）。例如，即使在图像捕获时通过将图像捕获方位（方位角θ）转换为显示方位（方位角φ）在滚动方向上成像设备10的姿态改变时，在从用户的观点来看时，可能以自然模式显示示出捕获图像300的图像捕获方位的罗盘图像302。同时，在捕获图像300的记录时，记录校正前的正确的图像捕获方位（方位角θ）作为捕获图像300的额外信息。结果，在捕获图像300的回放时，可能在正确方向上与回放图像304一起显示示出捕获图像300的图像捕获方位（方位角θ）的罗盘图像306。此外，当捕获图像300复制到个人计算机（PC）并且使用PC上的应用检查方位时，记录图像捕获方位（方位角θ）作为额外信息，使得应用可以识别捕获图像300的图像捕获方位。

[3．第二实施例]

接着，将描述根据第二实施例的成像设备10和成像设备10的方位信息处理方法。第二实施例与第一实施例的不同在于当图像捕获方向是垂直方向时的处理，并且其他功能配置与第一实施例基本相同，将不详细描述。

当相机用户捕获用户的正上方的被摄体的图像或者捕获用户正下方的被摄体的图像时，成像设备10指向正上或正下，结果，图像捕获方向（图像捕获光学单元111的光轴方向）是实际上垂直方向（实际上垂直向上方向或实际上垂直向下方向）。在该情况下，当如同第一实施例计算图像捕获方向的方位作为图像捕获方位时，即使图像捕获方向稍微改变，也存在图像捕获方位反应过度并显著摆动的问题。例如，尽管当通过将成像设备10指向正下捕获图像时，图像捕获方向是实际上向下方向，如果在该状态下成像设备10在俯仰方向或偏航方向上稍微倾斜，则图像捕获方位摆动到东、西、南和北，并且罗盘图像306在显示屏幕上显著摆动并且改变。

因此，在第二实施例的情况下，当图像捕获方向是实际上垂直方向时，求出垂直于图像捕获方向上的方位（例如，成像设备10的上表面101的方向或下表面102的方向）以显示和记录垂直方向上的方位。以此方式，即使在图像捕获方向在垂直方向附近改变时，要显示和记录的方位也不显著摆动，并且稳定，使得可能适当地呈现图像捕获方位给相机用户。

此外，本说明书中的“实际上垂直方向”是基本上垂直方向，并且不仅包括严格垂直方向（垂直于水平面的方向），而且包括关于垂直方向包括预定角（例如，0<δ≤10度）的方向。当相机用户识别图像捕获方向是正上或正下时，如果不是严格垂直方向，则图像捕获方向是“实际上垂直方向”。类似地，“实际上垂直向下方向”不仅包括严格垂直向下方向，而且包括关于垂直向下方向包括预定角δ的方向，并且“实际上垂直向上方向”不仅包括严格垂直向上方向，而且包括关于垂直向上方向包括预定角δ的方向

[3.1．成像设备的功能配置]

将参考图10描述根据第二实施例的成像设备10的主要单元的功能配置和成像设备10的功能配置的处理。图10是图示根据第二实施例的成像设备10的功能配置的方框图。

如图10所示，根据第二实施例的成像设备10除了根据第一实施例的功能外，还具有以下功能。方位计算单元200基于从加速度传感器172获得的加速度信息计算在俯仰方向上成像设备10的旋转角（俯仰角β），并且基于俯仰角β检测图像捕获方向是否为实际上垂直方向（实际上垂直向上方向或实际上垂直向下方向）。

例如，当计算的俯仰角β是表示垂直向上方向的俯仰角（90度）或该俯仰角附近的角[（90度-δ）<β<（90度+δ）]时，方位计算单元200确定图像捕获方向是实际上垂直向上方向。此外，当计算的俯仰角β是表示垂直向下方向的俯仰角（-90度）或该俯仰角附近的角[（-90度-δ）<β<（-90度+δ）]时，方位计算单元200确定图像捕获方向是实际上垂直向下方向。因此，通过从加速度传感器172的检测值求出成像设备10的俯仰角β并使用该俯仰角β，可能确定图像捕获方向是实际上垂直向上方向或实际上垂直向下方向。

作为这样的确定的结果，当图像捕获方向不是实际上垂直方向时，类似于上述第一实施例，方位计算单元200计算图像捕获方向上的方位（图像捕获方位），并且方位转换单元202将该图像捕获方位转换为显示方位。随后的罗盘图像302的显示处理和图像捕获方位信息的记录和回放处理也与第一实施例相同。

同时，当图像捕获方向是实际上垂直方向时，方位计算单元200计算垂直于图像捕获方向的方向上的方位，替代图像捕获方位。垂直于图像捕获方向的方向例如是成像设备10的上表面方向或成像设备10的下表面方向。同时，成像设备10的上表面方向是如图11所示的成像设备10的上表面101面对的方向，成像设备10的下表面方向是如图12所示的成像设备10的下表面102面对的方向。当图像捕获方向是实际上垂直向下方向时，方位计算单元200计算上表面方向上的成像设备10的方位（以下，上表面方位），并且当图像捕获方向是实际上垂直向上方向时，计算下表面方向上的方位（以下，下表面方位）。此外，除了上表面方向和下表面方向以外，成像设备10的左或右横向表面面对的方向可以用于垂直于图像捕获方向的方向。

因此，当图像捕获方向是实际上垂直方向时，方位计算单元200计算上表面方位或下表面方位（方位角ψ），替代根据第一实施例的图像捕获方位（方位角θ）。该上表面方位或下表面方位是垂直于图像捕获方向的方向上的方位。结果，尽管当指向正上或指向正下的成像设备10在滚动方向或偏航方向上稍微旋转并且图像捕获方向或多或少地改变时，图像捕获方位（方位角θ）显著摆动，上表面或下表面方位（方位角ψ）不显著摆动。结果，当捕获成像成像设备10的实际上垂直向上方向或实际上垂直向下方向上的被摄体的图像时，可能通过计算上表面方位或下表面方位（方位角ψ）稳定地获得方位。

接着，方位计算单元200直接将表示计算的上表面方位或下表面方位的信息输出到罗盘图像生成单元204，而不用方位转换单元202。然后，如图13所示，罗盘图像生成单元204生成表示方位计算单元200计算的上表面方位或下表面方位（方位角ψ）的罗盘图像312，并且显示单元130在捕获图像310上叠加并显示罗盘图像312。因此，根据第二实施例的显示单元130与捕获的捕获图像310一起显示表示上表面方位或下表面方位（方位角ψ）的罗盘图像312，替代如第一实施例中的表示显示方位（方位角φ）的罗盘图像302。

此外，同样当记录捕获图像310时，记录单元208将表示上表面方位或下表面方位（方位角ψ）的方位信息作为捕获图像310的额外信息和捕获图像310关联并记录在记录介质140中，替代根据第一实施例的表示图像捕获方位（方位角θ）的信息。此外，当回放和显示记录介质140中记录的捕获图像310时，回放单元210首先回放记录介质140中记录的捕获图像310，并且罗盘图像生成单元204基于记录介质140中记录的方位信息，生成表示上表面方位或下表面方位（方位角ψ）的罗盘图像316。结果，如图14所示，显示单元130与回放图像314一起显示表示上表面方位或下表面方位（方位角ψ）的罗盘图像316。

此外，根据第一实施例的成像设备10在回放时基于作为捕获图像300的额外信息记录的姿态信息，确定图像捕获（例如，水平图像捕获、顺时针图像捕获或逆时针图像捕获）时在滚动方向上成像设备10的姿态，并且根据滚动方向上的姿态自动将回放图像304旋转90度，并且显示回放图像304（见图9）。通过将成像设备10指向实际上水平方向捕获的捕获图像300具有用作显示参考的朝向（例如，显示捕获图像300，使得上表面方向颠倒），使得通过如图9所示的旋转显示处理改进用户的便利性。

通过与此对比，当记录图像捕获方向的方位信息作为图像捕获时的方位信息时，根据第二实施例的成像设备10在回放时执行类似于第一实施例的姿态确定和旋转显示处理。然而，图像捕获方向是正下（或正上），当记录表示上表面方位（或下表面方位）的信息作为图像捕获时的方位信息时，成像设备10不执行如第一实施例的姿态确定和旋转显示处理。通过将成像设备10朝向实际上垂直方向捕获的捕获图像310不包括用作显示参考的朝向。因此，旋转显示处理对用户不是必要的，并且优选省略。

[3.2．图像捕获方位的计算处理]

接着，将参考图11描述通过将成像设备10指向正下捕获图像时计算上表面方位的处理。

如图11所示，当用户将成像设备10指向正下以捕获脚上的被摄体的图像时，图像捕获方向（图像捕获光学单元111的光轴方向）是实际上垂直向下方向。方位计算单元200可以检测图像捕获方向（图像捕获光学单元111的光轴方向）是实际上垂直向下方向。

更具体地，方位计算单元200首先基于加速度传感器172检测的加速度信息，计算成像设备10关于地面的姿态（滚动角α、俯仰角β和偏航角γ）。接着，当计算的俯仰角β大于上限值（-90度-δ）并且小于下限值（-90度+δ）时，方位计算单元200确定图像捕获方向是实际上垂直向下方向。

当检测到图像捕获方向是实际上垂直向下方向时，方位计算单元200基于地磁传感器170的地磁信息和加速度传感器172的加速度信息，计算成像设备10的上表面方位。

更具体地，方位计算单元200从地磁传感器布置信息222和成像设备10的计算的姿态的信息，计算地磁传感器170的姿态。此外，方位计算单元200从地磁传感器170测量的地磁信息和地磁传感器170的计算姿态的信息提取地磁水平矢量，并且计算参考方位（例如，北方向）。接着，方位计算单元200从光学单元布置信息224和成像设备10的计算的姿态的信息，计算图像捕获方向上的矢量。此外，方位计算单元200求出关于图像捕获方向上的矢量的俯仰方向上的向上90度矢量（即，上表面方向上的矢量）。然后，方位计算单元200从计算的参考方位的矢量和上表面方向上的矢量的差，求出上表面方向上的水平方位（即，上表面方位）。例如，方位计算单元200使用该上表面方位作为参考方位（例如，北），求出方位角ψ（ψ=0度到360度）。

[3.3．罗盘图像的显示处理]

接着，将参考图13到16详细描述当将成像设备10指向正下捕获图像时、显示表示上表面方位的罗盘图像312和316的处理。

如上所述，方位计算单元200计算上表面方位（方位角ψ），并且将表示上表面方位的信息输出到罗盘图像生成单元204，而不用方位转换单元202。然后，罗盘图像生成单元204生成表示上表面方位（方位角ψ）的罗盘图像312，并且显示单元130在捕获图像310上叠加并显示罗盘图像312。

以下，将参考图13到15描述图像捕获时罗盘图像312的显示模式。在图13的示例的情况下，指向正下的成像设备10的上表面101面向北，使得上表面方向为北（ψ=0度），并且罗盘图像312指向北。此外，在图15的示例的情况下，指向正下的成像设备10的上表面101指向东北，使得上表面方向为东（ψ=90度），并且罗盘图像312指向东。

如从图13和15之间的关系清楚的，当指向正下的成像设备10（见图11）关于地面水平旋转（绕滚动轴105旋转）时，显示屏幕上由罗盘图像312指示的方位改变（北→东），如图13和15所示，当用户面向右保持成像设备10指向正下时，可能显示罗盘图像312，使得罗盘的针头的方向不改变，类似于罗盘放在地面上并且旋转到右的情况。通常，当用户水平保持成像设备10并且将成像设备10指向正下时，用户面对的方向和成像设备10的上表面方向匹配。结果，通过如图13和15显示罗盘图像312，当从用户的观点来看时，可能显示自然显示模式下的方位。

接着，将参考图14和16描述在图像回放时的罗盘图像316的显示模式。图14图示当回放在图13的状态下记录的捕获图像310时的显示屏幕，并且图16图示当回放在图15的状态下记录的捕获图像310时的显示屏幕。

第二实施例与第一实施例不同在于使用相同方位（上表面方位）用于显示方位和记录方位，以及上表面方位的记录信息作为捕获图像310的额外信息。结果，在回放和图像捕获时，可能显示相同的捕获图像和罗盘图像。

例如，图14所示的回放图像314和罗盘图像316显示在显示单元130上，类似于图13所示的图像捕获时的捕获图像310和罗盘图像312，并且回放时的罗盘图像316指向北。此外，图16所示的回放图像314和罗盘图像316也显示在显示单元130上，类似于图15所示的图像捕获时的捕获图像310和罗盘图像312，并且回放时的罗盘图像316指向东。同时，如从图15和16之间的关系清楚的，当回放通过将成像设备10指向实际上垂直方向捕获的捕获图像310时，图9所示的回放图像304不旋转。

此外，当通过将成像设备10指向正上捕获图像时，方位计算单元200计算成像设备10的下表面方位，并且显示单元130在图像捕获和回放时显示表示下表面方位的罗盘图像。该计算和显示处理与通过将成像设备10指向正上捕获的图像的情况相同，因此将不详细描述。

[3.4．方位信息处理方法]

接着，将参考图17描述根据第二实施例的成像设备10的方位信息处理方法。图17是图示根据第二实施例的成像设备10的方位信息处理方法的流程图。

如图17所示，使用地磁传感器170，成像设备10首先例如检测成像设备10存在的位置的三轴方向地磁（S100）。此外，成像设备10例如使用加速度传感器172检测成像设备10上工作的三轴方向重力加速度（S102）。接着，成像设备10基于加速度传感器172检测的加速度信息，检测成像设备10的姿态（滚动角α、俯仰角β和偏航角γ）（S104）。

接着，成像设备10基于S104中求出的成像设备10的姿态信息，检测成像单元110的图像捕获方向，并且确定图像捕获方向是否为实际上垂直向下方向、实际上垂直向上方向、以及不同于实际上垂直向下方向和实际上垂直向上方向的方向之一（S106）。更具体地，成像设备10从成像设备10的姿态信息和光学单元布置信息224，计算图像捕获光学单元111的光轴方向（即，图像捕获方向）。接着，成像设备10基于姿态信息的俯仰角β确定图像捕获方向是否为实际上垂直方向。此外，当图像捕获方向是实际上垂直方向时，成像设备10基于俯仰角β，确定图像捕获方向是实际上垂直向上方向或实际上垂直向下方向。当俯仰角β在预先设置的第一角范围（例如，90度-δ<β<90度+δ）内时，确定图像捕获方向是实际上垂直向上方向。此外，当俯仰角β在预先设置的第二角范围（例如，-90度-δ<β<-90度+δ）内时，确定图像捕获方向是实际上垂直向下方向。此外，当俯仰角β在第一和第二角范围外时，确定图像捕获方向不是实际上垂直方向。

当图像捕获方向是实际上垂直向下方向时，成像设备10基于S100中获得的地磁信息和S104中获得的成像设备10的姿态信息，计算上表面方向上成像设备10的方位（即，上表面方位）（S108）。此外，成像设备10利用上表面方位（方位角ψ）来记录和显示方位信息（S112）。例如，成像设备10在显示单元130上与捕获图像310（直通图像）一起显示表示上表面方位的罗盘图像312（见图13）。此外，在捕获图像310的记录时，成像设备10记录表示上表面方位的方位信息作为捕获图像310的额外信息。此外，在捕获图像310的回放时，成像设备10基于方位信息，在显示单元130上与回放图像314一起显示表示上表面方位的罗盘图像316（见图14）。

同时，当图像捕获方向是实际上垂直向上方向时，成像设备10基于S100中获得的地磁信息和S 104中获得的成像设备10的姿态信息，计算下表面方向上成像设备10的方位（即，下表面方位）（S110）。此外，成像设备10利用下表面方位来记录和显示方位信息（S112）。该具体使用示例与上表面方位的情况相同，并且将不具体描述。

此外，当图像捕获方向不是实际上垂直方向时，成像设备10基于S100中获得的地磁信息和S104中获得的成像设备10的姿态信息，计算图像捕获方向上的方位（即，图像捕获方位）（S114）。图像捕获方位（方位角θ）用于记录方位信息（S122）。例如，在捕获图像300的记录时，成像设备10记录表示图像捕获方位的方位信息作为捕获图像300的额外信息。

接着，成像设备10使用S 104中求出的成像设备10的姿态信息，求出滚动方向上显示单元130的旋转角（滚动角α）（S116）。此外，成像设备10基于S116中获得的滚动角α，将S114中计算的图像捕获方位（方位角θ）转换为显示方位（方位角φ）（S118）。例如，通过从图像捕获方位的方位角θ减去滚动角α或将滚动角α加到图像捕获方位的方位角θ，计算显示方位的方位角φ（φ=θ±α）。

显示方位（方位角φ）用于显示方位信息（S120）。例如，成像设备10在显示单元130上与捕获图像300（直通图像）一起显示表示显示方位（方位角φ）的罗盘图像302（见图6到8）。

如上所述，利用根据第二实施例的方位信息处理方法，根据成像设备10的姿态分开地使用要显示和记录的方位。例如，当图像捕获方向是实际上垂直方向时，求出上表面方位或下表面方位（方位角ψ），并且上表面方位或下表面方位（方位角ψ）用于显示和记录方位信息。同时，当图像捕获方向是实际上垂直方向时，求出图像捕获方位（方位角θ），并且通过滚动角α校正图像捕获方位（方位角θ），以同样求出显示方位（方位角φ）。此外，当图像捕获方位（方位角θ）用于记录方位信息时，显示方位（方位角φ）用于显示方位信息。

[4．结论]

上面已经描述根据本发明第一和第二实施例的成像设备10和方位信息处理方法。根据上述实施例，成像设备10计算表示实际图像捕获方向的图像捕获方位（方位角θ），并且根据成像设备10的姿态的改变（滚动方向上显示单元130的滚动角α）校正图像捕获方位（方位角θ），并且还计算显示方位（方位角φ）。此外，当成像设备10使用图像捕获方位（方位角θ）用于要与捕获图像一起记录的方位时，成像设备10使用用于要显示在显示单元130上并由用户视觉检查的罗盘图像302的方位的方位（方位角φ）。

以此方式，当用户在图像捕获时使用成像设备10执行垂直图像捕获时，可能显示从用户的观点来看时正确方位的罗盘图像302。此外，该罗盘图像302不跟随滚动方向上显示单元130的旋转而旋转，并且当从用户的观点来看时一直指向固定方向。结果，不管滚动方向上的旋转，当从用户的观点来看时，可能以自然的显示模式显示罗盘图像302。此外，在捕获图像300的记录时，可能记录表示实际图像捕获方向的正确的图像捕获方位作为捕获图像300的额外信息。结果，在图像回放时，可能呈现回放图像304和回放图像304的正确的图像捕获方位二者给用户。

此外，根据第二实施例，根据成像设备10的图像捕获方向，分开地使用图像捕获方位、上表面方位和下表面方位，并且只有在图像捕获方向不是实际上垂直方向时，使用图像捕获方位和显示方位。同时，当图像捕获方位是实际上垂直向下方向或实际上垂直信息时，使用上表面方位或下表面方位，并且即使在显示单元130在滚动方向上旋转时，根据滚动角α，不转换上表面方位或下表面方位。结果，在用户查看罗盘的情况下，可能以自然显示模式显示表示上表面方位或下表面方位的罗盘图像312，结果，呈现用户可以直观地学习的方位信息。

上面已经参考附图描述了本发明的优选实施例，可是本发明当然不限于上面的示例。本领域技术人员可以在权利要求的范围内找到各种替代和修改，并且应当理解它们将在本发明的技术范围内自然到来。

参考标号列表

10成像设备

100外壳

101上表面

102下表面

105滚动轴

106俯仰轴

107偏航轴

110图像捕获单元

111图像捕获光学单元

112图像捕获元件

120信号处理单元

130显示单元

140记录介质

150控制单元

151CPU

160操作单元

170地磁传感器

172加速度传感器

200方位计算单元

202方位转换单元

204罗盘图像生成单元

206额外信息管理单元

208记录单元

210回放单元

300，301捕获图像

302，306，312，316罗盘图像

304，314回放图像

α滚动角

β俯仰角

γ偏航角

θ图像捕获方位的方位角

φ显示方位的方位角

ψ上表面方位或下表面方位的方位角

Claims (7)

1.一种成像设备，包括：

图像捕获单元，其捕获被摄体的图像并输出捕获图像；

方位计算单元，其基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获方向上图像捕获单元的方位；

方位转换单元，其基于加速度信息计算滚动方向上成像设备的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位；

显示单元，其显示表示显示方位的罗盘图像和捕获图像；以及

记录单元，其将表示图像捕获方向上的方位的方位信息与捕获图像相关联，以记录在记录介质中。

2.根据权利要求1的成像设备，

其中方位计算单元基于加速度信息计算俯仰方向上成像设备的旋转角，并且基于俯仰方向上的旋转角检测图像捕获方向是否为实际上垂直方向，

当图像捕获方向为实际上垂直方向时，

方位计算单元计算垂直于图像捕获方向的方向上的方位，替代图像捕获方向上的方位，

显示单元显示替代表示显示方位的罗盘图像的、表示垂直于图像捕获方向的方向上的方位的罗盘图像和捕获图像，以及

记录单元将替代表示图像捕获方向上的方位的方位信息的、表示垂直于图像捕获方向的方向上的方位的方位信息与捕获图像相关联，以记录在记录介质中。

3.根据权利要求2的成像设备，

其中方位计算单元基于加速度信息计算俯仰方向上成像设备的旋转角，并且基于俯仰方向上的旋转角检测图像捕获方向是否为实际上垂直向下方向，

当图像捕获方向为实际上垂直向下方向时，

方位计算单元计算上表面方向上的成像设备的方位，替代图像捕获方向上的方位，

显示单元显示替代表示显示方位的罗盘图像的、表示上表面方向上的方位的罗盘图像和捕获图像，以及

记录单元替代表示图像捕获方向上的方位的方位信息，将表示上表面方向上的方位的方位信息与捕获图像相关联，以记录在记录介质中。

4.根据权利要求2的成像设备，

其中方位计算单元基于加速度信息计算俯仰方向上成像设备的旋转角，并且基于俯仰方向上的旋转角检测图像捕获方向是否为实际上垂直向上方向，

当图像捕获方向为实际上垂直向上方向时，

方位计算单元计算下表面方向上的成像设备的方位，替代图像捕获方向上的方位，

显示单元显示替代表示显示方位的罗盘图像的、表示下表面方向上的方位的罗盘图像和捕获图像，以及

记录单元替代表示图像捕获方向上的方位的方位信息，将表示下表面方向上的方位的方位信息与捕获图像相关联，以记录在记录介质中。

5.根据权利要求1的成像设备，还包括回放单元，其回放记录介质中记录的捕获图像和方位信息，

其中显示单元显示表示回放单元回放的方位信息的方位的罗盘图像和回放单元回放的捕获图像。

6.一种方位信息处理方法，包括以下步骤：

在利用图像捕获单元捕获被摄体的图像的同时，基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获方向上图像捕获单元的方位；

基于加速度信息计算滚动方向上成像设备的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位；

显示表示显示方位的罗盘图像和从图像捕获单元输出的捕获图像；以及

将表示图像捕获方向上的方位的方位信息与捕获图像相关联，以记录在记录介质中。

7.一种用于使得计算机执行以下步骤地程序，所述步骤包括：

在利用图像捕获单元捕获被摄体的图像的同时，基于地磁传感器检测的地磁信息和加速度传感器检测的加速度信息，计算图像捕获方向上图像捕获单元的方位；

基于加速度信息计算滚动方向上成像设备的旋转角，并且基于滚动方向上的旋转角将图像捕获方向上的方位转换为显示方位；

显示表示显示方位的罗盘图像和从图像捕获单元输出的捕获图像；以及

将表示图像捕获方向上的方位的方位信息与捕获图像相关联，以记录在记录介质中。

Images