CN103002208A

CN103002208A - 电子装置和图像拾取设备

Info

Publication number: CN103002208A
Application number: CN201210319103.5A
Authority: CN
Inventors: 西川徳宏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-09-08
Filing date: 2012-08-31
Publication date: 2013-03-27
Also published as: US8860801B2; JP2013057601A; US20130063647A1

Abstract

本发明涉及电子装置和图像拾取设备。一种电子装置，其包括：地磁检测部分，用于在每隔预定时段获取对应于地磁的磁方向数据；改变量计算部分，用于计算磁方向数据的改变量；存储部分，用于存储磁方向数据；角速度积分部分，用于计算通过对由角速度检测部分获得的角速度进行积分获得的角度数据；以及方向输出部分。

Description

电子装置和图像拾取设备

技术领域

本发明涉及应用于诸如数字相机和移动电话的移动电子装置的电子装置和图像拾取设备。

背景技术

在现有技术中，诸如数字相机和移动电话的移动电子装置已经实现了对装置的用户呈现朝前方向并通过利用该方向对用户提供便利或娱乐的功能。例如，在显示屏上显示图像拾取设备的当前方向的罗盘功能变得普遍。另外，这样的功能变得普遍，即在拍摄照片时将拍摄者位置和拍摄方向与照片的图像数据存储在一起，并且当观看照片时把方向数据与照片一起显示在地图上。为了实现这些功能，通常使用适于嵌入的电磁罗盘，因为其尺寸较小。

然而，由于电磁罗盘使用磁性传感器检测磁性方向，从而电磁罗盘会受到电磁干扰等的影响，从而在检测方向中包括波动。为了除去所述波动，可以使用利用低通滤波器或平均处理以消除高频成分的方法。然而，存在的问题是，低通滤波器或平均处理破坏了响应。尤其是，相比于安装于诸如船只和车辆的大型设备中的方向传感器，由于响应于用户动作的方向的高速改变，响应的退化对于移动电子装置经常变为更重要的问题。

另外，移动电子装置内部具有各种干扰磁性的因素。下文中，可以将这样的干扰称为磁干扰。例如，可能由于嵌入装置中的各个机构的移动造成磁干扰，诸如在变焦时驱动的马达、对闪光灯的充电和放电、快门机构以及自动聚焦机构。为此，当电磁罗盘被嵌入到图像拾取设备中时，需要图像拾取设备不受到装置中出现的磁干扰的影响。

为了补偿电磁罗盘的该缺陷，已经提出结合以陀螺传感器为代表的高响应角速度传感器使用电磁罗盘，通过电磁罗盘检测的磁方向具有这样的特征，即，尽管响应较低并且出现波动，但长期内检测精度较高（当通过低通滤波器或平均处理处理时）。另一方面，通过对角速度传感器的输出进行积分获得的积分方向具有这样的特征，即，尽管短期内响应较高，但是由于出现增加误差的漂移现象，所以长期内检测精度较低。

在日本待审专利NO.11-344339中，通过利用低通滤波器处理磁方向与积分方向之间的差异、将积分方向加到处理的结果，以及输出相加结果，实现了具有高响应的高精度电磁罗盘。在日本待审专利No.2008-281494中，公开了一种可佩戴的位置检测移动终端装置，其中以预定时间间隔从磁传感器获得地磁矢量，并计算地磁改变量，该地磁改变量为预定时间中的地磁矢量的大小的改变量。在计算的地磁改变量在预定阈值的范围内的情况下，基于通过磁传感器获取的地磁矢量确定佩戴人的方向。在计算的地磁改变量在预定阈值范围之外的情况下，通过使用基于指示预定阈值范围内的地磁改变量的最新地磁矢量确定的最新方向确定佩戴者的方向。可选地，在该情况中，将通过把由陀螺传感器获取的旋转量加到最新方向获得的增加旋转量的方向确定为佩戴者的方向。在日本待审专利No.8-114454中，通过使用磁方向指示器和旋转角速度传感器，基于通过旋转角速度传感器检测的角速度数据获得相对旋转角。另外，通过对磁方向指示器的方位角数据进行统计处理获得标准偏差，并且在标准偏差较大的情况下，确定出现磁干扰，并将相对旋转角加到方位角。

发明内容

在上述专利文献中，公开了通过使用磁传感器和角速度传感器改善方向检测的精度。然而，没有采取针对电子装置内部出现的磁干扰的措施。当移动电子装置中包含利用磁传感器的方向检测技术时，例如，需要考虑移动电子装置中出现的各种磁干扰。

例如，日本待审专利No.11-344339中的技术针对船只或车辆的方向检测。相比于移动电子装置，船只和车辆处于具有较少磁干扰的环境中。在日本待审专利No.11-344339中，通过将经过低通滤波器的磁方向看作为长期中的校正方向，而增加通过角速度传感器获得的积分方向。然而，尽管可通过低通滤波器消除磁传感器的输出中包括的短期波动，在装置内部出现磁干扰的情况中的磁传感器的输出干扰具有小频率并通过低通滤波器，存在难于计算作为参考的校正方向的问题。

另外，在日本待审专利No.2008-281494中，由于公开了一种专用于位置检测的终端装置，未采取用于这样的问题的措施，即，由于用户操作或内部移动临时干扰了装置内部的磁条件。另外，在日本待审专利No.2008-281494公开的技术中，通过利用阈值仅确定磁传感器的输出改变量而确定是否使用陀螺传感器，采取了用于部分解决磁传感器的响应延迟的措施。日本待审专利No.8-114454中公开的方法是一种用于在这样的情况中改善精度的方法，在所述情况中，当车辆移动时，由于人造结构的影响产生的磁场导致地磁干扰，从而未采取用于装置内部的磁干扰的措施。

因此，本发明提供了一种电子装置和图像拾取设备，其能够抑制由于装置内部出现的磁干扰导致的精度下降。

根据本发明的实施例，提供了一种电子装置，包括：地磁检测部分，用于在每隔预定时段获取对应于地磁的磁方向数据；改变量计算部分，用于计算磁方向数据的改变量；存储部分，用于存储磁方向数据；角速度积分部分，用于通过对由角速度检测部分获得的角速度进行积分而计算角度数据；以及方向输出部分，用于执行以下处理：在磁方向数据和角速度在阈值范围内的情况中，使用磁方向数据作为输出方向数据；在改变量和角速度中的任一个在所述阈值范围之外时，使用通过将超过所述阈值时的时间点设置为零的时间原点而通过角速度积分部分计算的角度，以及使用将所述角度增加到在改变量和角速度在阈值范围内的情况下存储的最新地磁数据的值作为输出方向。

本发明在与通过地磁传感器等检测的磁方向和通过角速度传感器检测的积分方向相结合时可进行具有高响应的噪声抗性的方向检测。在本发明中，通过恒定地检测每个传感器的输出值和装置的操作状态，动态地切换磁方向优先模式和积分方向优先模式。即，在模式进入积分方向优先模式的情况中，使得稳定时的磁方向作为实际方向，将进入积分方向优先模式时的磁方向存储在寄存器中作为参考值，并且输出从与积分方向相关的参考方向偏移的方向数据。

附图说明

图1A和1B为示出根据本发明实施例的图像拾取设备的外观的立体图；

图2为示出根据本发明实施例的图像拾取设备的实施例的框图；

图3为示出根据本发明实施例的图像拾取设备的实施例的部分结构的框图；

图4为解释由传感器部分进行的方向检测操作的流程图；

图5为解释由传感器部分进行的方向检测中的模式切换的流程图；

图6A至6F是解释显示对象的示意性视图；

图7A示意示出了根据本发明的实施例的图像拾取设备与被摄体之间的位置关系，图7B示意示出了根据本发明实施例的在图像拾取设备的LCD屏上的显示；

图8A示意示出了根据本发明的实施例的图像拾取设备与被摄体之间的位置关系，图8B示意示出了根据本发明实施例的在图像拾取设备的LCD屏上的显示；

图9A示意示出了根据本发明的实施例的图像拾取设备与被摄体之间的位置关系，图9B示意示出了根据本发明实施例的在图像拾取设备的LCD屏上的显示；

图10A示意示出了根据本发明的实施例的图像拾取设备与被摄体之间的位置关系，图10B示意示出了根据本发明实施例的在图像拾取设备的LCD屏上的显示；

图11A示意示出了根据本发明的实施例的图像拾取设备与被摄体之间的位置关系，图11B示意示出了根据本发明实施例的在图像拾取设备的LCD屏上的显示；

图12A示意示出了根据本发明的实施例的图像拾取设备与被摄体之间的位置关系，图12B示意示出了根据本发明实施例的在图像拾取设备的LCD屏上的显示；

图13示意示出了根据本发明实施例的图像拾取设备的LCD屏上的显示的另一个实例；

图14A和14B示意示出了根据本发明实施例的图像拾取设备的LCD屏上的显示的又一个实例；

图15示意示出了解释用于创建根据本发明实施例的图像拾取设备的显示对象的观看流水线处理的流程的图；以及

图16为示出根据本发明实施例的本图像拾取设备中的处理流程的流程图。

具体实施方式

尽管下述实施例为适于本发明的具体实例，并且给出了各种技术上优选的限制，然而本发明的范围并不限于所述实施例，除非在下面的描述中提供限制本发明的陈述。

“图像拾取设备的实例”

将描述本发明的实施例。将参考图1描述可应用本发明的图像拾取设备的实例。图1A示出图像拾取设备20的正面，且图1B示出图像拾取设备20的背面。标号21表示快门按钮，标号22表示模式盘，标号23表示变焦杆，以及标号24表示闪光灯。标号25表示电源按钮，标号26表示连拍按钮，标号27表示麦克风，标号28表示自动定时器按钮，以及标号29表示镜头。模式盘22被旋转以选择希望的操作功能。例如，诸如能够通过自动设置进行拍摄的自动拍摄模式、手动曝光拍摄、编程自动拍摄模式以及视频拍摄模式的功能被相互切换。

在图像拾取设备的背面，设置LCD（液晶显示器）30、绳带系缚部分31、视频按钮32、播放按钮33、删除按钮34、菜单按钮35以及控制按钮36。如放大图所示，控制按钮36具有位于中心位置的输入按钮和位于右、左、上和下侧的选择按钮。例如，当按下上侧的选择按钮时，在LCD 30的屏幕上显示用于屏幕显示设置的显示，当按下观察者右侧的选择按钮时，在LCD 30的屏幕上显示用于闪光灯设置的显示。注意，LCD 30具有EVF（电子取景器）的功能，并且作为具有EVF功能的显示部分可以是使用除LCD以外的有机EL（电致发光）的显示装置。另外，图1所示的图像拾取设备为一个实例，本发明可应用于其它结构实例，诸如智能电话的拍摄功能。

图2所示的图像拾取设备包括：相机部分1、数字信号处理部分2、SDRAM（同步动态随机存取存储器）3、介质接口（下文称为介质I/F.）4、控制部分5、操作部分6以及传感器部分7。另外，图像拾取设备包括LCD控制器8、LCD 30和外部接口（下文称为外部I/F.）9。存储介质10可移动进/出介质I/F4。另外，图像拾取设备包括硬盘驱动器17，其为用于累积图像文件的高容量存储介质。

存储介质10为例如使用半导体存储器的所谓的存储卡。作为存储介质10，除了存储卡以外，还可以使用硬盘装置、诸如可记录DVD（数字通用盘）和可记录CD（压缩盘）的光学存储介质、磁盘等。

相机部分1包括光学块11、成像元件12（诸如CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体））、预处理电路13、光学块驱动器14、CCD驱动器15以及定时生成电路16。这里，光学块11包括透镜、聚焦机构、快门机构、光圈（光阑）机构等。

控制部分5为微型计算机并控制本实施例的图像拾取设备的每个部分，在所述控制部分5中，通过系统总线55连接CPU（中央处理单元）51、RAM（随机存取存储器）52、闪速ROM（只读存储器）53以及时钟电路54。RAM 52主要用作工作区域，例如临时存储在进行处理的过程中获得的结果。在闪速ROM 53中，存储由CPU 51执行的各个程序、用于处理所需的数据等。时钟电路54具有提供当前日期、当前星期几、当前时间、拍摄日期和时间等，并将诸如拍摄日期和时间的日期及时间信息附接到拍摄图像文件的功能。

在拍摄中，光学块驱动器14响应于来自控制部分5的控制产生用于驱动光学块11的驱动信号，并将该驱动信号提供给光学块11以驱动光学块11。在光学块11中，响应于来自驱动器14的驱动信号控制聚焦机构、快门机构和光圈机构，从而捕捉被摄体图像，并将捕捉的被摄体图像提供给成像元件12。另外，光学块11的透镜装置是可更换的。例如，透镜装置内部包括微型计算机，并且诸如透镜装置的类型和当前焦点距离的信息被传输到CPU51。

成像元件12光电地转换来自光学块11的被摄体图像并输出结果。响应于来自成像元件驱动器15的驱动信号驱动成像元件12，捕捉被摄体图像，并将捕捉的被摄体图像提供给预处理电路13作为基于来自由控制部分5控制的定时生成电路16的定时信号的电信号。

注意，定时生成电路16响应于控制部分5的控制形成提供预定定时的定时信号。成像元件驱动器15基于来自定时生成电路16的定时信号形成被提供给成像元件12的驱动信号。

预处理电路13在提供的拍摄图像信号上进行CDS（相关双采样）处理以改善S/N比，进行AGC（自动增益控制）处理以控制增益，以及通过进行A/D（模拟/数字）转换形成数字信号的图像数据。

来自预处理电路13的数字拍摄图像数据被提供给数字信号处理部分2。数字信号处理部分2在拍摄的图像数据上进行诸如AF（自动聚焦）、AE（自动曝光）和AWB（自动白平衡）的相机信号处理。进行了相机信号处理的图像数据是通过预定压缩方法被压缩的数据，并通过系统总线55和介质I/F 4被提供给装载的存储介质10和/或硬盘驱动器17以被存储在存储介质10和/或硬盘驱动器17中作为符合例如DCF（用于相机文件系统的设计规则）标准的图像文件。

从存储在存储介质10中的图像数据中，响应于通过操作部分6接收的用户的操作输入，经介质I/F4从存储介质10读取希望的图像数据并将其提供给数字信号处理部分2。操作部分6包括诸如快门释放按钮、杆、盘等的各种按钮。LCD 30可以为允许用户通过以手指或点击装置按压屏幕进行输入操作的触摸屏。

数字信号处理部分2在从存储介质10读取并通过介质I/F4提供的压缩图像数据上进行解压缩处理（拉长处理），并通过系统总线55将解压缩的图像数据提供给LCD控制器8。LCD控制器8根据图像数据形成将被提供给LCD 30的显示图像信号，并将该显示图像信号提供给LCD 30。从而，在LCD 30的屏幕上显示对应于存储在存储介质10中的图像数据的图像。另外，通过控制部分5和LCD控制器8的控制，允许在LCD 30的屏幕上显示诸如菜单的文本和图形。注意，对图像的显示形式符合存储于ROM中的显示处理程序。

另外，图像拾取设备包括外部I/F9。例如，可通过外部I/F9连接外部个人计算机，当从个人计算机提供图像数据时，可以将提供的图像数据存储在装载到设备的存储介质中，并且可以将存储在装载到设备的存储介质中的图像数据提供给外部个人计算机。

另外，通过把通信模块连接到外部I/F9，可以将图像拾取设备连接到诸如互联网的网络，并且可以通过网络获取各种图像数据或其它信息以将所述图像数据或其它信息存储到装载于设备上的存储介质中，或者可以通过网络将存储在装载到设备上的存储介质中的数据传输到希望的目的地。

另外，可以读取经网络从外部个人计算机获取并存储在存储介质中的诸如图像数据的信息，并在LCD 30上显示而再现所述信息。

注意，外部I/F9可被设置为有线接口，诸如IEEE（电气和电子工程师协会）1394和USB（通用串行总线），也可以被设置为利用光波或电波的无线接口。即，外部I/F9可以是有线接口或无线接口。所述设备可与例如未示出的外部计算机装置连接，并且可以通过外部I/F9从计算机装置提供图像数据，并且所述图像数据可被存储在存储介质10和/或硬盘驱动器17中。存储在存储介质10和/或硬盘驱动器17中的图像数据可被提供给外部计算机装置等。

可通过上述图像拾取设备拍摄被摄体图像（静止图像和移动图像）并将其存储在装载的存储介质10和/或硬盘驱动器17中。另外，可从存储介质10和/或硬盘驱动器17读取存储的图像数据，并且可以显示、主动地观察和编辑所述图像。为了进行图像数据管理，在存储介质10和/或硬盘驱动器17的特定区域中存储索引文件。

这里，将大致描述上述图像拾取设备的操作。通过成像元件12接收光，将经光电转换的信号提供给预处理电路13，并通过执行CDS处理和AGC处理将其转换为数字信号并提供给数字信号处理部分2。在数字信号处理部分2中，在图像数据上进行图像质量校正并将其提供给控制部分5作为通过相机的图像的图像数据。将从控制部分5输入的图像数据提供给LCD控制器8，并在LCD 30上显示通过相机的图像。

用户在观看在LCD 30上显示的通过相机的图像时可调节视角。在本发明中，如下文所述，通过使用AR（增强现实）技术在LCD 30的屏幕上显示虚拟对象，在所述LCD 30上显示正拍摄的被摄体。通过显示虚拟对象，可以实现对于用户的关于拍摄推荐照片的指导。

当按下操作部分6的快门按钮时，CPU 51对相机部分1输出控制信号，以使得光学块11的快门工作。与此一起，通过数字信号处理部分2处理从预处理电路13提供的一帧的图像数据（存储的图像数据）并将其存储在SDRAM 3中。通过数字信号处理部分2压缩和编码存储的图像数据，并通过系统总线55和介质接口4将编码的数据存储在硬盘驱动器17以及存储介质10中。

注意，CPU 51从时钟电路54获取拍摄的日期和时间以将获取的日期和时间附连到静止图像数据，并将该静止图像数据存储到硬盘驱动器17和存储介质10中。另外，还将从传感器部分7获取的位置数据、方向数据和姿态数据附连到获取的图像数据。另外，在静止图像的情况中，创建静止图像的缩小的图像的数据，并关于原始静止图像将该缩小的图像的数据存储到硬盘驱动器17和存储介质10中。

另一方面，当再现存储在硬盘驱动器17和存储介质10中的存储图像数据时，CPU 51使SDRAM 3响应于通过操作部分6输入的操作读取选择的存储图像数据。然后，数字信号处理部分2解码存储图像数据。通过LCD控制器8将解码的图像数据提供给LCD 30，并在LCD30上显示再现图像。

“传感器部分”

传感器部分7包括如图3所示的位置检测部分71。位置检测部分71通过例如GPS（全球定位系统）检测图像拾取设备的当前位置，并获取当前位置的位置数据。位置检测部分71的检测信号被提供给AR（增强现实）显示控制部分77。来自存储装置78的数据被提供给AR显示控制部分77。

AR显示控制部分77是控制部分5的功能的一部分。经屏幕显示控制部分79将来自AR显示控制部分77的输出数据提供给LCD 30。AR是用于在LCD 30上以重叠的方式在实际环境中的图像（拍摄图像）上显示虚拟对象的技术。下面将描述包括AR显示控制部分77的AR的结构。

另外，传感器部分7包括加速度传感器72、地磁传感器73以及陀螺传感器74。加速度传感器72被设置用于检测图像拾取设备的姿态并产生加速数据。地磁传感器73产生对应于地磁的磁方向的数据。陀螺传感器74构成角速度检测部分并产生角速度数据。来自加速度传感器72、地磁传感器73和陀螺传感器74的输出数据（数字信号）被提供给方向计算部分75。方向计算部分75包括诸如微型计算机的数字信号处理部分。注意，方向计算部分75可通过从每个传感器接收模拟信号而进行用于数字化的处理。

将从检测磁干扰的干扰检测部分76输出的数据提供给方向计算部分75。来自相机控制部分80的输出信号被提供给干扰检测部分76，并且从来自相机控制部分80的输出信号获取与设备内部的磁干扰相关的信息。另外，将来自相机控制部分80的输出信号提供给屏幕显示控制部分79，并且屏幕显示控制部分79获取视角信息。

在本发明中，进行干扰识别和干扰预测，所述干扰识别检测在图像拾取设备内部当前出现的磁干扰，所述干扰预测预测图像拾取设备内部可能的磁干扰。干扰检测部分76检测从紧接着将出现磁干扰开始的、出现磁干扰的时段作为干扰时段。干扰检测部分76可通过从相机控制部分80向干扰检测部分76提供相机控制信号而检测干扰时段。

例如，当用户操作图像拾取设备的变焦杆时，板载马达旋转以驱动镜头，而通过马达的驱动导致磁干扰出现。因此，产生对应于变焦杆的操作的控制信号，并且干扰检测部分76检测其中变焦马达旋转的时段。类似地，干扰检测部分76检测由于除变焦操作以外的对闪光灯充电和放电、驱动光阑马达等引起的磁干扰。注意，尽管在难于在马达实际旋转期间获得对应的信号的情况中，在基于用户操作已知马达等旋转的时段的情况下，该已知时段被检测为干扰时段。

来自加速度传感器72、地磁传感器73、陀螺传感器74和干扰检测部分76的输出数据被提供给方向计算部分75，并且方向计算部分75输出方向数据。输出的方向数据被提供给AR显示控制部分77。所述方向数据表示图像拾取设备的目前的拍摄方向（在水平平面中）。另外，来自加速度传感器72的输出信号被提供给AR显示控制部分77。加速度传感器72具有姿态检测部分的功能并获取表示图像拾取设备的当前拍摄方向（在垂直平面中）的姿态数据。通过方向数据和姿态数据表示拍摄角。

“方向检测处理”

通过由地磁传感器73检测的磁方向和由陀螺传感器（角速度传感器）74检测的积分方向的结合获得传感器部分7的方向检测部分，所述方向检测部分具有高响应和噪声抗性。通过恒定地检测每个传感器的输出值和图像拾取设备的操作状态，动态地切换磁方向优先模式和积分方向优先模式。磁方向优先模式是这样的状态，其中使用从地磁传感器73获得的磁方向作为最终输出方向。积分方向优先模式是这样的状态，其中使用通过陀螺传感器74获得的积分方向作为优先的输出。

将参考图4的流程图描述通过方向计算部分75进行的方向检测处理。由传感器对从地磁传感器73输出的信号过滤进行抽取处理和平均处理S1，以消除波动。然后，进行诸如偏差校正和表校正的各种校正处理S2。然后，基于加速度传感器72的输出进行通过姿态的轴变换处理（对传感器姿态的校正处理）S3，并输出磁方向数据θmag。在磁方向优先模式中，将从地磁传感器73获得的磁方向数据θmag用作最终方向输出。

对从陀螺传感器74输出的角速度数据进行漂移校正处理S4以抑制误差的累积，并输出角速度数据θ'gyro。对角速度数据θ'gyro进行角速度积分处理S5，并获得角数据。另外，基于加速度传感器72的输出进行按照一定姿态的轴变换处理（对传感器姿态的校正处理）S6，并输出积分方向（角度）数据θgyro。

加速度传感器72用于检测图像拾取设备的姿态。在图像拾取设备仅围绕垂直轴在水平面旋转的情况中，不需要加速度传感器72。然而，诸如图像拾取设备的移动设备的姿态不是固定的，并且附装到设备的传感器的角度连续变化，从而通过三轴加速度传感器测量姿态以校正方向的输出值。

对磁方向数据θmag进行角度微分处理S7以变为θ'mag，以检测方向的改变。例如，检测一秒内的方向的改变量。通过使用微分的磁方向数据θ'mag、角速度数据θ'gyro和来自干扰检测部分76的磁干扰状态的信息进行模式确定处理S8。即，在模式确定处理S8中，设置两种模式中的任一种，即磁方向优先模式或积分方向优先模式。模式确定处理S8等同于根据情况在两种模式之间动态切换。

干扰检测部分76可检测磁干扰状态。检测包括：预测磁干扰的磁干扰出现预测；以及识别磁干扰正在发生的磁干扰识别。在检测到磁干扰的时段期间，通知方向计算部分75中的模式确定处理S8正处于磁干扰状态下。

模式确定处理S8的确定结果被提供给方向计算处理S9。设置寄存器81，并通过寄存器81保持在将磁方向优先模式切换为积分方向优先模式的时间点T处的磁方向θ^Tmag。如下文所述，在方向改变量低于阈值且角速度低于阈值的情况中，在寄存器81中存储在干扰检测部分76检测到干扰的时间点处的磁方向θ^Tmag。在这里，最接近检测到干扰的时间点的磁方向变为θ^Tmag。可将寄存器81中保持的θ^Tmag用于方向计算处理S9中。作为方向计算处理S9的结果，输入最终方向数据。

将参考图5所示的流程图详细描述模式确定处理S8。假设将预先设置的任意第一阈值描述为ε1并将预先设置的任意第二阈值描述为ε2。另外，假设将通过模式确定处理使得模式变为积分方向优先模式的时间点处的时间描述为T。时间点T变为积分处理中的时间中的基准点。

在第一步骤S11，获取来自每个传感器的数据。在随后的步骤S12，进行比较处理（θ'gyro>ε1）。该比较处理用于确定从陀螺传感器74输出的角速度数据θ'gyro是否大于阈值ε1，在角速度数据θ'gyro大于阈值ε1的情况中，处理前进到步骤S16。步骤S16是在寄存器81中存储时间点T的磁方向数据θ^Tmag的处理。在进行步骤S16之后，设置积分方向优先模式（步骤S17）。

在角速度数据θ'gyro小于或等于阈值ε1的情况中，在步骤S13中进行比较处理（θ'mag>ε2）。在微分的磁方向数据θ'mag（即磁方向数据的改变量）小于或等于阈值ε2的情况中，在步骤S14中确定干扰检测部分76是否检测到干扰。在未检测到干扰的情况中，在步骤S15中设置磁方向优先模式。磁方向优先模式中的最终输出方向数据为通过地磁传感器73检测的磁方向数据θmag。

在未设置磁方向优先模式的情况中，设置积分方向优先模式。在积分方向优先模式中，将最终输出方向表示为如下的公式。即，在寄存器81中存储在当模式从磁方向优先模式切换到积分方向优先模式时的时间点T处的磁方向θ^Tmag作为参考值。将通过在存储参考值的时间点之后的预定时段期间对角速度数据积分获得的角度数据增加到参考值作为偏差。即，将积分方向优先模式中的方向输出数据表示为下面的公式。

输出方向数据θ=θ^Tmag+∫θ'gyro dt

注意，数学符号∫表示当时间点T为零时直到预定时间t为止的积分。

在上述本发明中，可以以高度响应的方式获得方向。因此，当基于方向显示显示对象时，设备的实际方向与显示对象之间表现出高对应性。因此，当尽管设备的方向实际没有改变而磁传感器的输入由于周围环境的变化而改变时，可以限制其影响。例如，当车辆等在设备的用户前横穿而过时，有时观察到临时磁干扰。这是受到从车辆辐射的电磁波或由车辆产生的磁场的影响。磁传感器具有多个误差原因，通常包括磁场和电磁波的影响以及由于钢片的软铁效应（soft ironeffect）。实际上不可能处理全部由误差导致的影响以消除误差，但是本发明的技术可以处理在较短时间内的磁场的大变化，诸如上述处理的车辆实例。特别是，根据本发明，在根据用户操作或移动设备的设备内部状态的改变预测到磁干扰的情况中，可通过使积分方向优先来输出方向而不受磁干扰的影响。

“虚拟对象”

本发明具有指导用户拍摄好的照片的功能。为了指导，通过AR在显示被摄体的LCD 30的屏幕上显示虚拟对象。虚拟对象响应于拍摄位置、拍摄角和视角随着实际被摄体变化。虚拟对象包括第一显示对象和第二显示对象。注意，为了连续跟随通过图像拾取设备获得的实际环境的图像显示虚拟对象，以高响应地方式检测相机的方向。

通过AR显示控制部分56创建第一和第二显示对象的信息。如上所述，来自传感器部分7的输出信号被提供给AR显示控制部分56。另外，从存储装置57向AR显示控制部分56提供构图数据。在存储装置57中存储参考位置数据（例如纬度和经度信息），其指示与旅游点的场景和建筑相关的推荐拍摄地点和推荐构图数据。构图数据包括与拍摄角相关的参考角数据和与视角相关的参考视角数据。

参考位置数据、参考角数据和参考视角数据（下文中，根据需要将这些数据统称为参考数据）预先存储在存储装置78中（参考图3）。可通过例如经互联网获取参考数据将参考数据存储在存储装置78中。例如，当用户将指导模式设置为拍摄模式时，检索图像拾取设备（用户）的当前位置附近的照片的参考数据，从存储装置78读取检索的参考数据并将其提供给AR显示控制部分77。

AR显示控制部分77通过使用从传感器部分7输出的当前数据以及参考数据产生对应于第一和第二显示对象的显示对象。将显示对象提供给屏幕显示控制部分79，并产生用于在LCD 30上进行屏幕显示的显示信号。另外，用户相机操作信号被提供给相机控制部分80，并进行用于拍摄所需的控制。如上所述，干扰检测部分76通过从相机控制部分80产生的控制信号检测预测将在图像拾取设备内部出现的磁干扰和图像拾取设备内部出现的磁干扰。另外，与视角相关的视角信息被提供给屏幕显示控制部分79。

视角是能够通过镜头拍摄的范围，其根据镜头的焦点距离变化。通常，焦点距离越短，视角越大，而焦点距离越长，视角越小。因此，尽管拍摄相同的被摄体，但是当视角不同时，拍摄范围不同，并且拍摄视角的构图变化。另外，由于视角不仅受到焦点距离还受到镜头特征的影响，需要镜头特征的信息作为视角信息。另外，尽管焦点距离相同，成像元件的面积越大，视角越大，而成像元件的面积越小，视角越小。根据图像拾取设备的模型，成像元件的面积是恒定值。注意，视角包括三种信息，水平视角、垂直视角以及对角视角。全部信息可以被使用，以及仅一些信息可以被使用。以度数测量视角。

根据上述内容，从相机控制部分80将根据焦点距离、镜头特征以及其它信息计算的视角信息提供给屏幕显示控制部分79。作为另一种构造，通过从相机控制部分80提供的焦点距离和屏幕显示控制部分79中的诸如镜头特征的必要数据计算视角信息。根据用作拍摄的指导的视角与当前视角之间的关系，产生表示用作拍摄指导的视角的显示对象。

将参考图6大致描述通过AR显示控制部分77产生的显示对象。为了简化，假设成像元件的面积和焦点距离是恒定的。例如，将矩形框形状的被摄体O假设为虚拟对象。如图6A所示，假设在拍摄位置Q1拍摄被摄体O。在拍摄位置Q1和拍摄角分别等于存储装置78中存储的参考位置数据和参考角数据的情况中，产生如图6B所示的方形框F1作为显示对象。在以更远的拍摄地点Q2且保持相同的拍摄角拍摄被摄体O的情况中，产生如图6C所示的较小的方形框F2作为显示对象。当显示框F2时，发现相比于推荐位置，用户站得距离被摄体太远。

如图6D所示，在以不同的角在等于参考位置数据的距离拍摄被摄体O的情况中，产生如图6E所示的失真框F3作为显示对象。在拍摄角朝向相对侧倾斜的情况中，产生如图6F所示倾斜失真的框F4作为显示对象。用户调节拍摄角以校正框的形状的失真。如上所述，将框表示为从三维被摄体转换的在二维显示表面上的显示对象，并且所述框用于通过框的尺寸和形状将用户指导到推荐的拍摄位置和拍摄角。

即，由于以重叠的方式在LCD 30的屏幕上在实际被摄体上显示虚拟显示对象（框），用户通过在设置拍摄位置和拍摄角以使得框具有没有失真的轮廓（诸如在屏幕中具有尺寸最大的方形）或者框消失于屏幕之外之后拍照，可以拍摄与推荐图像类似的照片。因为虚拟显示对象例如被示出为从三维对象转换的二维显示对象，用户可以容易地识别当前拍摄位置和拍摄角。

“显示对象的具体实例”

将进一步描述本发明。当通过如图7A所示的图像拾取设备20拍摄诸如建筑物的实际被摄体时，如图7B所示，在图像拾取设备20的LCD 30上除了被摄体图像R1之外还显示作为第一显示对象的大头针状物P1和作为第二显示对象的框F1。该大头针状物和框表示一组拍摄构图。如图7A所示的大头针状物标记不作为实际场景存在，而是绘出以使得图像拾取设备20的当前位置清楚。显示图像中的大头针状物P1表示拍摄者应实际站立的位置（拍摄地点）。框F1表示图像拾取设备应朝向的方向和视角。通过拍摄位置、图像拾取设备应朝向的方向和视角指定所述构图。在存储装置57中存储的参考数据（拍摄位置和构图）表示拍摄地点，从所述拍摄地点可在例如旅游点拍摄“良好构图”的照片。

如图8A所示，在用户进一步靠近被摄体并超过在如图7A所示的拍摄位置的情况下，如图8B所示在图像拾取设备20的LCD 30上显示被摄体图像R2、大头针状物P2和框F2。当更靠近被摄体时，这些图像变得更大。由于朝向被摄体的拍摄角和视角未改变，所以框F2的形状对应于放大的框F1的形状。每隔预定时段获取图像拾取设备的位置信息、方向信息、姿态信息和视角信息并使用该获取的信息，来重新绘制作为显示对象的框和大头针状物。

如图9A所示，在图像拾取设备20的方向（拍摄方向）在类似于图7A所示的拍摄位置向左倾斜的情况下，在如图9B所示的偏移到右侧的位置在图像拾取设备20的LCD 30上显示被摄体图像R3、大头针状物P3和框F3。如图10A所示，在图像拾取设备20的方向（拍摄方向）在类似于图7A所示的拍摄位置向右倾斜的情况下，在如图10B所示的偏移到左侧的位置在图像拾取设备20的LCD 30上显示被摄体图像R4、大头针状物P4和框F4。

如上所述，在LCD 30的屏幕上显示的大头针状物和框响应于图像拾取设备20的移动与实际环境中的被摄体类似地改变。另外，如图11A所示，当用户靠近推荐的拍摄地点时，在LCD 30上显示如图11B所示的图像。由于拍摄角和视角与参考拍摄角和拍摄视角基本相同，在整个显示屏上显示方形框F5。被摄体图像R5变为与推荐的拍摄图像相当接近的图像，并且显示大头针状物P5也指导用户发现推荐的拍摄地点比当前位置略靠近被摄体。

用户在观察图11B所示的LCD 30的屏幕之后略微地更靠近被摄体。然后，如图12A所示，图像拾取设备20到达与参考拍摄位置相同的位置。在该情况中，LCD 30示出如图12B所示的屏幕。即，框和大头针状物从屏幕消失，在LCD 30的屏幕上仅显示拍摄的被摄体图像R6。如上所述，框和大头针状物从LCD 30的屏幕消失，使得用户发现用户到达了参考拍摄位置，并发现图像拾取设备20的当前方向和姿态与参考拍摄角一致，并进一步发现，当前视角与参考视角一致。当在该条件中按下快门按钮21时，可以拍摄具有推荐构图的照片。

如图13所示，除了被摄体图像R1、框F7和大头针状物P7之外，还可在LCD 30的屏幕上显示在参考拍摄位置、以参考角和参考视角拍摄的推荐图像的缩略图（缩小的图像）Rr。用户可在缩略图的图形上设置拍摄位置、拍摄角和视角。注意，可显示半透明图像作为图形以代替所述缩略图。用户可以从缩略图获得能够从拍摄地点拍摄的照片的构图，尽管未实际到达所述拍摄地点。另外，用户可以通过参考缩略图拍摄照片来更精确地重新创建优选构图。

另外，在本发明中，在与参考拍摄位置、参考角和参考视角一致的情况中，如图12B所示，框F和大头针状物P从LCD 30的屏幕消失，从而用户难于发现用户超过参考拍摄位置而过于靠近。为了避免这样的问题，如图14A和图14B所示，可以以重叠的方式在被摄体图像R8和R9上分别示出指示靠近参考拍摄位置的方向的光标，以在用户在框消失于屏幕之后过于靠近的情况下提醒用户。

如上所述，当用户改变图像拾取设备面对的方向时，来自方向计算部分75和加速度传感器72的输出信号改变。大头针状物和框的显示位置响应于输出信号的值而改变。在如图9A所示的实例中，当用户将图像拾取设备面对的方向向左改变十度时，LCD 30上的显示对象以屏幕中对应于图9B所示的十度的距离向右偏移。另外，当将图像拾取设备面对的方向向上改变时，LCD 30上的全部显示对象向下偏移。图像拾取设备的视角也改变显示。例如，在视角较宽的情况下，将显示对象显示为较小，而在视角较窄的情况下，将显示对象显示为较大。

“显示转换处理的实例”

通过广泛用于三维游戏等中的实时取景流水线处理，连续进行下面的作为实例的显示转换。图15示出通过AR显示控制部分77进行的取景流水线处理的流程。取景流水线处理是一系列坐标转换，其中在二维平面上立体显示由三维数据表示的三维模型。通过该处理，当用户通过图像拾取设备观看场景时，用户会感到虚拟大头针状物和框如同存在于实际空间中。

图15示出取景流水线处理的流程。首先，在本地坐标上创建虚拟对象模型。即，创建指示拍摄位置的大头针状物和指示被摄体的框作为虚拟对象模型。然后，响应于拍摄角对虚拟对象模型进行坐标转换，并在本地坐标上定义虚拟对象。当将虚拟对象模型转换成本地坐标时，使用在构图数据中包括的拍摄角和视角。然后，基于在构图数据中包括的拍摄位置数据（纬度、经度和高度）进行对世界坐标的坐标转换。

世界坐标是由GPS的纬度和经度信息定义的坐标。然后，由于从每个人的视点看到虚拟对象，将世界坐标转换为取景坐标。通过定义图像拾取设备的姿态、位置和方向，将世界坐标转换为取景坐标。基于取景坐标，图像拾取设备20位于坐标原点。

在图像拾取设备20中，由于视角通过变焦等改变，基于视角信息将取景坐标转换为透视坐标。将平行投影和透视投影中的任一个用作坐标转换的方法。将取景坐标转换为透视坐标等同于将3D对象转换为2D对象。

另外，为了适于图像拾取设备20的LCD 30的屏幕，将透视坐标转换为对应于显示屏的例如（480×640）的尺寸的显示器坐标。通过这样，在图像拾取设备20的LCD 30的显示屏上显示包括框和大头针状物的虚拟对象，其对应于图像拾取设备的当前位置、姿态、方向和视角。

注意，不仅可以应用上述取景流水线处理，还可以应用其它处理，其可以响应于图像拾取设备的当前位置、姿态、方向和视角改变3D虚拟对象的形状和位置，并且可以将结果显示在2D显示装置屏幕上。

“处理流程”

在本发明中，进行如图16的流程图所示的处理。通过AR显示控制部分77（参见图3）进行该处理。在步骤S21，位置检测部分71获取图像拾取设备的当前位置数据。然后，在步骤S22，方向计算部分75获取图像拾取设备的当前方向数据。然后，在步骤S23，加速度传感器72获取图像拾取设备的当前姿态数据。在步骤S24，从存储装置78获取参考数据（参考位置数据和参考构图数据）。

在步骤S25，确定是否已经获取了图像拾取设备的当前位置数据、方向数据、姿态数据以及参考数据。当确定已经获取了全部数据时，在步骤S26进行上述取景流水线处理。通过执行取景流水线处理，在步骤S27创建显示对象（框和大头针状物），并进行重叠显示处理。然后，处理步骤返回到步骤S21，并且在预定时段之后，重复进行在上述步骤S21之后的处理步骤。

根据本发明，在移动到拍摄位置、确定图像拾取设备面对的方向、以及通过变焦调节等确定视角以进行拍摄的三个步骤的过程中，可通过一致的用户界面提供任何人都容易理解的指导。图像拾取设备的用户可通过打开图像拾取设备并通过图像拾取设备观察场景而掌握视场内的拍摄地点，并且，同时，所述用户可以直觉地理解，仅需要去往拍摄地点。另外，由于表示拍摄构图的框被三维地显示，从而可以容易地理解朝向拍摄方向的哪个方向允许用户获得优选的拍摄构图，即使用户不善于拍照，用户仍可以拍出优选构图的照片。

在根据上述本发明的增强现实技术中，虚拟显示对象在空间中的一致存在的重要性在于，其对用户提供了虚拟对象好像存在于实际空间中的感觉（虚拟现实）。在本发明中，重要的是，关于图像拾取设备上的用户操作，所述框或大头针状物一致地对应于场景。

在方向检测的输入具有响应延迟的情况中，当用户改变图像拾取设备的朝向时，显示对象的移动导致响应的延迟。因此，推荐使用高响应方向检测方法用于本发明的功能。另外，当用户操作图像拾取设备的变焦杆时，内置马达旋转以驱动镜头，并且在该时段，由于通过马达的驱动，导致磁干扰（干扰）出现。此时，过去的方向检测方法难于如上所述完全校正干扰，从而在输出方向出现波动。如果使用受干扰的方向用于AR显示控制，尽管图像拾取设备的朝向未变，响应于方向中的干扰，屏幕中对大头针状物和框的显示被移动。因此，这对于该功能的用户是不便的，因为场景与显示对象之间的对应性被大大地干扰了。

用户在使用本发明时可以解决这些问题。在上述实例中，预测由于变焦杆的用户操作而导致磁干扰，通过在变焦杆操作之后立即在方向检测方法中将模式切换为积分方向优先模式，可以不受任何磁干扰的影响地输出方向。另外，对于由于对闪光灯充电和放电等导致的磁干扰，通过进行类似的处理而将模式切换到积分方向优先模式，从而类似地输出方向。

另外，还可以如下配置本发明的技术。

（1）一种电子装置，包括：

地磁检测部分，用于在每隔预定时段获取对应于地磁的磁方向数据；

改变量计算部分，用于计算磁方向数据的改变量；

存储部分，用于存储磁方向数据；

角速度积分部分，用于通过对由角速度检测部分获得的角速度进行积分而计算角度数据；以及

方向输出部分，用于执行以下处理：

在磁方向数据和角速度在阈值范围内的情况中，使用磁方向数据作为输出方向数据；

在改变量和角速度中的任一个在所述阈值范围之外时，使用通过将超过所述阈值时的时间点设置为零的时间原点而通过角速度积分部分计算的角度，以及

使用将所述角度增加到在改变量和角速度在阈值范围内的情况下存储的最新地磁数据的值作为输出方向。

（2）根据（1）的电子装置，包括

干扰检测部分，用于检测从紧挨着电子装置内部出现磁干扰之前的出现磁干扰的时段作为干扰，

其中，在通过干扰检测部分检测磁干扰的情况中，所述方向输出部分使用在将在改变量和角速度在阈值内的时段期间的最新时间点设置为时间原点的条件下，将通过角速度积分部分计算的角度加到处于时间原点的地磁矢量而获得的值作为输出方向。

（3）根据（2）的电子装置，其中所述干扰检测部分从用于控制电子装置的控制信号检测出现磁干扰的时段。

（4）一种信息处理设备，包括：

位置检测部分，用于获取当前位置的位置数据；

角度检测部分，包括用于获取当前拍摄方向的方向数据的方向检测部分和用于获取当前拍摄方向的姿态数据的姿态检测部分；

存储部分，用于存储指示关于被摄体的拍摄地点的参考位置数据和拍摄地点处的参考拍摄角数据；

显示对象创建部分，用于响应于位置数据和角度数据形成附加到实际环境并随实际环境变化的虚拟对象；以及

显示控制部分，用于在显示部分上以重叠的方式在获取的图像数据上显示虚拟对象，其中

所述虚拟对象包括：第一显示对象，该第一显示对象的显示位置响应于当前位置数据而改变，以及第二显示对象，该第二显示对象的形状基于角度数据而改变；

所述方向检测部分包括：

地磁检测部分，用于在每隔预定时段获取对应于地磁的磁方向数据，

改变量计算部分，用于计算磁方向数据的改变量，

存储部分，用于存储磁方向数据，

角速度积分部分，用于计算通过对由角速度检测部分获得的角速度进行积分而获得的角度数据，以及

方向输出部分，用于执行以下处理：

在改变量和角速度中的任一个在所述阈值范围之外时，使用通过将超过阈值时的时间点设置为零的时间原点而由角速度积分部分计算的角度，以及

使用将所述角度增加到在改变量和角速度在所述阈值范围内时存储的最新地磁数据的值作为输出方向。

（5）根据（4）所述的图像拾取设备，包括

（6）根据（4）所述的图像拾取设备，包括

视角检测部分，用于获取当前视角数据，

其中所述第二显示对象基于角度数据和视角数据改变形状。

（7）根据（4）的图像拾取设备，其中所述第二显示对象是通过将三维对象转换为在显示部分上的二维显示获得的显示对象。

（8）根据（5）的图像拾取设备，其中所述第二显示对象是框。

（9）根据（4）的图像拾取设备，其中所述参考位置数据表示拍摄的推荐地点，而所述参考拍摄角数据表示拍摄的推荐角。

（10）根据（4）的图像拾取设备，其中以重叠的方式在获取的图像上显示在拍摄地点在过去拍摄的图像的缩小的图像或半透明的显示。

修改

尽管上文详细描述了本发明的实施例，本发明不限于上述实施例，而是，基于本发明技术构思的各种修改都是可以的。例如，在上述实施例中，使用框和表示位置的大头针状物作为显示对象。然而，可以使用其它标记，只要能够指导拍摄构图。例如，可以使用诸如交叉标记和×标记的标记。另外，拍摄目标不限于固定风景，移动被摄体也是适用的。

另外，可以组合上述实施例中的结构、方法、处理、形状、材料、数值等，只要其不偏离本发明的精神。

本公开包含与在于2011年9月8日提交于日本专利局的日本优先权专利申请JP 2011-196386中公开的主题相关的主题，该日本优先权专利申请的全部内容在此引入作为参考。

Claims

1.一种电子装置，包括

改变量计算部分，用于计算磁方向数据的改变量；

存储部分，用于存储磁方向数据；

方向输出部分，用于执行以下处理：

2.根据权利要求1所述的电子装置，包括

3.根据权利要求2所述的电子装置，其中所述干扰检测部分从用于控制电子装置的控制信号检测出现磁干扰的时段。

4.一种图像拾取设备，包括：

位置检测部分，用于获取当前位置的位置数据；

所述方向检测部分包括：

改变量计算部分，用于计算磁方向数据的改变量，

存储部分，用于存储磁方向数据，

方向输出部分，用于执行以下处理：

5.根据权利要求4所述的图像拾取设备，包括

6.根据权利要求4所述的图像拾取设备，包括

视角检测部分，用于获取当前视角数据，

其中所述第二显示对象基于角度数据和视角数据改变形状。

7.根据权利要求4所述的图像拾取设备，其中所述第二显示对象是通过将三维对象转换为在显示部分上的二维显示获得的显示对象。

8.根据权利要求5所述的图像拾取设备，其中所述第二显示对象是框。

9.根据权利要求4所述的图像拾取设备，其中所述参考位置数据表示拍摄的推荐地点，而所述参考拍摄角数据表示拍摄的推荐角。

10.根据权利要求4所述的图像拾取设备，其中以重叠的方式在获取的图像上显示在拍摄地点在过去拍摄的图像的缩小的图像或半透明的显示。