CN101872469A - 电子设备、显示控制方法和程序 - Google Patents

Abstract

本发明公开了电子设备、显示控制方法和程序。该电子设备包括：基于摄取图像的图像摄取期间的图像摄取位置来获取作为摄取图像中包含的对象所在的方向的图像摄取方向的图像摄取方向获取单元；转换包括图像摄取位置的地图、以使地图上的所获取的图像摄取方向与显示地图的显示平面上的特定方向相对应的转换单元；以及使转换后的地图与摄取图像相关联地显示的显示控制单元。

Description

电子设备、显示控制方法和程序

技术领域

本发明涉及电子设备，具体而言涉及显示地图的电子设备和显示控制方法，以及使计算机执行该方法的程序。

背景技术

在相关技术中，存在一种能够利用存储在地图数据库等中的地图数据来显示各个区域的地图的电子设备。另外，已提出了显示地图并在地图上显示与各个位置有关的图像的电子设备。

例如，已提出了这样一种图像处理设备，该设备显示鸟瞰图像，并通过将全景图像的一部分设在鸟瞰图像中的全景图像的拍摄地点上来显示全景图像(例如，参见日本未实审专利申请公布No.2007-110675(图32))。

发明内容

根据上述相关技术，通过将全景图像布置在鸟瞰图像中的全景图像的拍摄地点上可以容易地获知全景图像的地理位置关系。

这里，例如，当用户利用图像摄取设备执行图像摄取操作时，不仅位置关系、而且图像摄取方向也是很重要的因素。例如，即使当在同一位置执行图像摄取操作时，取决于图像摄取方向，对象看起来也可能非常不同，因此，获知图像摄取期间的图像摄取位置和图像摄取方向是很重要的。另外，即使当在同一位置记录的内容被再现时，取决于图像摄取方向，对象看起来也可能非常不同，因此，获知图像摄取期间的图像摄取位置和图像摄取方向是很重要的。

希望容易地获知地图上图像的图像摄取位置和图像摄取方向。

根据本发明的一个实施例，提供了一种电子设备，包括：基于摄取图像的图像摄取期间的图像摄取位置来获取作为摄取图像中包含的对象所在的方向的图像摄取方向的图像摄取方向获取单元；转换包括图像摄取位置的地图，以使地图上的所获取的图像摄取方向与地图被显示的显示平面上的特定方向相对应的转换单元；以及使转换后的地图与摄取图像相关联地显示的显示控制单元，还提供了一种显示控制方法和用于使得计算机执行该方法的程序。因此，实现了以下技术方案：获取图像摄取方向，转换地图以使包括摄取图像的图像摄取期间的图像摄取位置的地图上的图像摄取方向与特定方向相对应，并且与摄取图像相关联地显示转换后的地图。

另外，根据本发明的实施例，该电子设备包括：对于由摄取图像形成的各内容存储指示该内容的代表性图像的代表性图像存储单元；以及接收用于从存储在代表性图像存储单元中的代表性图像当中选择期望的代表性图像的选择操作的操作接收单元，并且转换单元可以对包括从存储在代表性图像存储单元中的代表性图像当中选择的代表性图像的图像摄取期间的图像摄取位置的地图执行转换，并且显示控制单元可以使存储在代表性图像存储单元中的代表性图像的视图被显示，并且使转换后的地图与从所显示的代表性图像当中选择的代表性图像相关联地显示。因此，实现了以下技术方案：关于所选择的代表性图像的地图被转换，并且与代表性图像中的所选代表性图像相关联地显示转换后的图像(它们的视图被显示)。

另外，根据本发明的实施例，当指示与所选择的代表性图像相对应的内容的再现时，转换单元可以针对包括被指示再现的内容的各个摄取图像来执行地图转换，并且对于包括被指示再现的内容的各个摄取图像，显示控制单元可以使转换后的地图与摄取图像相关联地显示。因此，实现了以下技术方案：即使当与所选代表性图像相对应的内容被指示再现时，针对包括被指示再现的内容的各个摄取图像来转换地图，并且对于包括被指示再现的内容的各个摄取图像，与摄取图像相关联地显示转换后的地图。

另外，根据本发明的实施例，电子设备还包括生成摄取图像的图像摄取单元，并且每当生成摄取图像时，转换单元都可以对包括所生成的摄取图像的图像摄取期间的图像摄取位置的地图执行转换，并且每当生成摄取图像时，显示控制单元都可以使转换后的地图与各个所生成的摄取图像相关联地显示。因此，实现了以下技术方案：每当生成摄取图像时，都对所生成的摄取图像转换地图，并且每当生成摄取图像时，都与所生成的摄取图像相关联地显示转换后的地图。

另外，根据本发明的实施例，电子设备还包括存储由摄取图像形成的运动图像内容的内容存储单元，并且当指示运动图像内容的再现时，转换单元可以针对包括被指示再现的运动图像内容的各个摄取图像执行地图转换，并且显示控制单元可以针对包括运动图像内容的各个摄取图像使转换后的地图与摄取图像相关联地显示。因此，实现了以下技术方案：即使当运动图像内容被指示再现时，针对包括被指示再现的运动图像内容的各个摄取图像来转换地图，并且对于包括运动图像内容的各个摄取图像，与摄取图像相关联地显示转换后的地图。

另外，根据本发明的实施例，转换单元可以通过以下方式来转换地图：以图像摄取位置为旋转中心旋转地图，从而使所获取的图像摄取方向和特定方向在地图上彼此对应。因此，实现了以下技术方案：通过以摄取图像位置为旋转中心旋转地图来转换地图，从而使得地图上的图像摄取方向和特定方向彼此对应。

另外，根据本发明的实施例，地图可以是三维地图，其是通过将包括图像摄取位置的地图上的三维空间投影到平面上而由三维摄取图像形成的，转换单元可以转换三维地图以使三维地图上的所获取的图像摄取方向与三维地图被显示的显示平面上的特定方向彼此对应，并且显示控制单元可以使转换后的三维地图与摄取图像相关联地显示。因此，实现了以下技术方案：三维地图被转换以使三维地图上的图像摄取方向和特定方向彼此对应，并且与摄取图像相关联地显示转换后的三维地图。

另外，根据本发明的实施例，显示控制单元可以使地图以被叠加在摄取图像上的方式被显示。因此，实现了以下技术方案：地图以被叠加在摄取图像上的方式被显示。

另外，根据本发明的实施例，图像摄取方向获取单元可以基于图像摄取位置来获取存在于摄取图像的中心位置的对象的方向作为图像摄取方向。因此，实现了以下技术方案：基于图像摄取位置获取存在于摄取图像的中心位置的对象的方向作为图像摄取方向。

另外，根据本发明的实施例，电子设备还包括获取图像摄取期间的视角信息和深度信息的视角和深度信息获取单元，并且显示控制单元可以使图像摄取范围中的摄取图像以被叠加在地图上的图像摄取位置上的方式被显示，该图像摄取范围指示由所获取的视角信息和深度信息指定的图像摄取范围。因此，实现了以下技术方案：获取图像摄取期间的视角信息和深度信息，并且图像摄取范围中的摄取图像能够以被叠加在地图上的图像摄取位置上的方式被显示，该图像摄取范围指示由所获取的视角信息和深度信息指定的图像摄取范围。

根据本发明，可以表现出以下良好效果：可以很容易获知地图上图像的图像摄取位置和图像摄取方向。

附图说明

图1是图示根据本发明第一实施例的图像摄取设备的内部组成例子的框图；

图2是图示根据本发明第一实施例的图像摄取设备的功能组成例子的框图；

图3是示意性地图示根据本发明第一实施例的内容管理信息存储单元的存储内容的示意图；

图4A和4B是示意性地图示根据本发明第一实施例存储在地图数据存储单元中的地图数据的一部分和在与地图数据相对应的区域中的图像摄取操作的示意图；

图5A和5B是示意性地图示根据本发明第一实施例计算用在地图数据转换单元对地图数据的转换处理中的旋转角的方法的示意图；

图6A和6B是示意性地图示根据本发明第一实施例来自存储在地图数据存储单元中的地图数据的显示目标区的示意图；

图7A和7B是示意性地图示根据本发明第一实施例创建叠加在与经地图数据转换单元转换的地图数据相对应的地图上的图像摄取状态确认图像的方法的示意图；

图8A和8B是图示根据本发明第一实施例显示摄取图像和显示在显示单元中的地图的例子的示意图；

图9A和9B是图示根据本发明第一实施例显示存储在地图数据存储单元中的地图数据的一部分以及显示在显示单元中的摄取图像和地图的例子的示意图；

图10是图示根据本发明第一实施例的图像摄取设备的功能组成例子的框图；

图11A和11B是图示根据本发明第一实施例显示在显示单元中示出的内容选择画面的例子的示意图；

图12A和12B是图示根据本发明第一实施例显示在显示单元中示出的内容选择画面的例子的示意图；

图13A和13B是图示根据本发明第一实施例显示单元中的重放内容的例子的示意图；

图14是图示根据本发明第一实施例的图像摄取设备的地图显示控制处理的过程的流程图；

图15是图示根据本发明第一实施例的图像摄取设备的地图显示控制处理的过程中的地图数据转换处理的流程图；

图16是图示根据本发明第一实施例的图像摄取设备的地图显示控制处理的过程的流程图；

图17是图示根据本发明第一实施例的图像摄取设备的地图显示控制处理的过程的流程图；

图18是图示根据本发明第一实施例的图像摄取设备的地图显示控制处理的过程中的内容再现处理的流程图；

图19是图示根据本发明第二实施例的图像摄取设备的内部组成例子的框图；

图20是图示根据本发明第二实施例的图像摄取设备的功能组成例子的框图；

图21A和21B是图示根据本发明第二实施例图像摄取设备的图像摄取操作和在该状态下显示的三维地图的示意图；以及

图22A和22B是图示根据本发明第二实施例图像摄取设备的图像摄取操作和在该状态下显示的三维地图的示意图。

具体实施方式

下文中将描述本发明的实施例。将按照下面示出的顺序提供描述。

1.第一实施例(地图显示控制：显示地图以使图像摄取期间的图像摄取方向与显示平面上的特定方向彼此对应的例子)

2.第二实施例(地图显示控制：显示三维地图以使图像摄取期间的图像摄取方向与显示平面上的特定方向彼此对应的例子)

第一实施例

图像摄取设备的组成例子

图1是图示根据本发明第一实施例的图像摄取设备100的内部组成例子的框图。图像摄取设备100设有相机模块110、全球定位系统(GPS)模块120、方位传感器130和系统控制单元140。另外，图像摄取设备100还设有操作单元150、记录单元160、显示单元170和音频输出单元180。图像摄取设备100例如通过摄取对象的图像来生成图像数据，并且是利用诸如将图像数据记录为内容的数字静态相机或数字视频相机(例如，集成有相机的记录器)之类的图像摄取设备来实现的。

相机模块110通过摄取对象的图像来生成摄取图像(图像数据)，并将所生成的摄取图像输出到系统控制单元140。具体而言，相机模块110设有光学单元、成像器件和信号处理单元。在相机模块110中，经过光学单元入射的对象的光学图像在成像器件的成像平面上形成图像，成像器件在该状态下执行图像摄取操作，信号处理单元对成像信号执行信号处理，从而生成摄取图像。另外，所生成的摄取图像被顺序输出到系统控制单元140。此外，相机模块110计算在生成摄取图像时的视角信息和深度信息，并将视角信息和深度信息输出到系统控制单元140。这里，视角信息是指示所生成的摄取图像的视角的值，并且例如是基于在摄取图像的生成期间在成像器件上的图像摄取范围(区域)和焦长来计算的。另外，深度信息数据(所谓的深度地图数据)指示从图像摄取位置(例如，成像器件的位置)到摄取图像中所包括的对象的距离(对象的距离)。深度信息可以针对形成摄取图像的每个像素计算，并且可以仅仅针对与最接近焦点的对象相对应的每个像素计算。例如，作为计算深度信息的方法，可以使用飞行时间(TOF)法或者诸如模糊(距散焦的深度)量分析之类的方法。这里，TOF法是基于从发射自光源的光在对象上被反射时直至到达传感器的光的延时和光速来计算与目标对象间的距离的方法。

GPS模块120基于由GPS信号接收天线(未示出)接收的GPS信号来计算摄取图像位置信息，并将计算出的图像摄取位置信息输出到系统控制单元140。在计算出的图像摄取位置信息中，包括了与经度、纬度和高度的位置有关的每项数据。另外，在本发明的第一实施例中，示出了使用基于GPS信号计算出的图像摄取位置信息的例子，但是也可以使用在获取图像摄取位置信息的另一方法中获取的图像摄取位置信息。例如，可以通过存在无线局域网(LAN)的环境使用接入点信息来绘制图像摄取位置信息。

方位传感器130是利用地磁学测量地球上的方位的传感器，并将测得的方位输出到系统控制单元140。例如，方位传感器130是由具有彼此正交的2根轴(例如x轴和y轴)的线圈和设在其中心部分中的磁阻(MR)元件形成的磁传感器。MR元件是检测地磁力的元件，并且其阻值根据磁力的大小而改变，并且MR元件的阻值变化被2轴的线圈划分为2个方向的分量(例如，x轴和y轴分量)，然后基于这2个方向的分量中地磁力的比例来计算方位。这里，在本发明的第一实施例中，方位传感器130测量图像摄取设备100的图像摄取方向(例如，图4B中所示的箭头412的方向)的方位。图像摄取方向是从图像摄取位置(例如，图像摄取设备100所在的位置)到相机模块110所生成的摄取图像中包括的对象所在的位置的方向，并且该方向可以例如是物侧上的光轴方向。另外，例如，图像摄取方向可以是基于图像摄取位置的摄取图像内的中心位置处所存在的对象的方向。此外，在本发明的第一实施例中，示出了利用方位传感器130来获取图像摄取方向的例子，但是也可以使用由获取图像摄取方向的另一方法获取的图像摄取方向。例如，可以使用基于GPS信号测得的方位。

系统控制单元140执行图像摄取设备100整体的控制。例如，系统控制单元140根据操作单元150所接收的来自用户的操作输入来执行控制。另外，系统控制单元140控制显示在显示单元170等中的内容选择画面的显示，并且控制向记录单元160记录或者从记录单元160读取摄取图像的操作，等等。此外，系统控制单元140控制显示单元170显示由相机模块110生成的摄取图像和在监视模式被设定时或者运动图像的记录期间与图像摄取位置有关的地图。这里，监视模式是用于例如在图像摄取设备100待命用于图像记录时实时地在显示单元170中显示从相机模块110送来的摄取图像的图像摄取模式。

操作单元150是接收来自用户的操作输入的操作输入单元，并将根据所接收的操作输入的信号输出到系统控制单元140。

记录单元160基于系统控制单元140的控制将由相机模块110生成的摄取图像记录为静止图像内容或运动图像内容。另外，记录单元160基于系统控制单元140的控制将所记录的静止图像内容和运动图像内容提供给系统控制单元140。而且，记录单元160容纳用于在显示单元170中显示地图的地图数据。此外，记录单元160容纳用于管理静止图像内容或运动图像内容的内容管理信息。另外，可以将记录介质(例如闪存等)用作记录单元160。而且，记录单元160可以内置在图像摄取设备100中，并且可以可分离地安装在图像摄取设备100中。

显示单元170是用于基于系统控制单元140的控制显示各种图像的显示单元。例如，显示单元170显示由相机模块110生成的摄取图像、从记录单元160读出的静止图像内容或运动图像内容、要提供给用户的内容选择画面，等等。显示单元170可以使用例如液晶显示器(LCD)或有机电致发光器件(有机EL)。

音频输出单元180基于系统控制单元140的控制输出各种音频信息。音频输出单元180可以例如由扬声器实现。

图2是图示根据本发明第一实施例的图像摄取设备100的功能组成例子的框图。图像摄取设备100设有地图数据存储单元200、图像摄取单元211、图像摄取位置信息获取单元212、图像摄取方向信息获取单元213、相机信息获取单元214和地图数据获取单元220。另外，图像摄取设备100设有地图数据转换单元230、图像摄取范围计算单元240、显示控制单元250、显示单元260、操作接收单元270、记录控制单元280、内容存储单元290和内容管理信息存储单元300。

地图数据存储单元200存储用于在显示单元260中显示地图的地图数据，并将所存储的地图数据提供给地图数据获取单元220。例如，存储在地图数据存储单元200中的地图数据是由经度和纬度标定的数据，并且以预定的经度宽度和纬度宽度为单位被划分为多个区域。另外，地图数据存储单元200对应于图1中所示的记录单元160。

图像摄取单元211通过摄取对象的图像来生成摄取图像，并将所生成的摄取图像输出到显示控制单元250和记录控制单元280。另外，图像摄取单元211对应于图1中所示的相机模块110。

图像摄取位置信息获取单元212获取与图像摄取位置有关的图像摄取位置信息，并将所获取的图像摄取位置信息输出到地图数据获取单元220、地图数据转换单元230和记录控制单元280。另外，图像摄取位置信息获取单元212对应于图1中所示的GPS模块120。

图像摄取方向信息获取单元213获取与图像摄取方向有关的图像摄取方向信息，并将所获取的图像摄取方向信息输出到地图数据转换单元230和记录控制单元280。另外，图像摄取方向信息获取单元213对应于图1中所示的方位传感器130。而且，图像摄取方向信息获取单元213是本发明的权利要求中所述的图像摄取方向获取单元的例子。

相机信息获取单元214获取在生成摄取图像时的视角信息和深度信息，并将所获取的视角信息和深度信息输出到图像摄取范围计算单元240和记录控制单元280。另外，相机信息获取单元214对应于图1中所示的相机模块110。相机信息获取单元214是本发明的权利要求中所述的视角深度信息获取单元的例子。

地图数据获取单元220基于从图像摄取位置信息获取单元212输出的图像摄取位置信息来从地图数据存储单元200获取地图数据，并将所获取的地图数据输出到地图数据转换单元230。另外，地图数据获取单元220对应于图1中所示的系统控制单元140。

地图数据转换单元230基于从图像摄取方向信息获取单元213输出的图像摄取方向信息来转换从地图数据获取单元220输出的地图数据，并将转换后的地图数据输出到显示控制单元250。具体而言，地图数据转换单元230转换地图数据以使得在与从地图数据获取单元220输出的地图数据相对应的地图中的图像摄取方向与显示单元260中的特定方向相对应。例如，地图数据转换单元230以由从图像摄取位置信息获取单元212输出的图像摄取位置信息指定的图像摄取位置作为基准位置，并且对从地图数据获取单元220输出的地图数据执行旋转处理。在这种情况下，地图数据转换单元230对地图数据执行旋转处理，其旋转角由从图像摄取方向信息获取单元213输出的图像摄取方向信息指定。这里，特定方向例如可以是在用于显示与存储在内容存储单元290中的内容相对应的图像的显示平面中、图像的垂直方向上的向上方向。另外，将参考图5A、5B、6A和6B详细描述地图数据的转换。而且，地图数据转换单元230对应于图1中所示的系统控制单元140。另外，地图数据转换单元230是本发明的权利要求中所述的转换单元的例子。

图像摄取范围计算单元240基于从相机信息获取单元214输出的视角信息和深度信息来计算用于创建图像摄取状态确认图像(图7B中所示)的图像摄取范围，并将计算出的图像摄取范围输出到显示控制单元250。将参考图7A和7B详细描述图像摄取范围的计算。另外，图像摄取范围计算单元240对应于图1中所示的系统控制单元140。

显示控制单元250使显示单元260显示从图像摄取单元211输出的摄取图像和与从地图数据转换单元230输出的转换后的地图数据相对应的地图。另外，显示控制单元250使显示单元260以叠加方式在地图上显示与从图像摄取范围计算单元240输出的图像摄取范围相对应的图像摄取状态确认图像。此外，显示控制单元250使显示单元以根据来自操作接收单元270的操作输入而改变的地图大小来显示图像。将参考图8A、8B、9A和9B详细描述这种显示的例子。另外，显示控制单元250对应于图1中所示的系统控制单元140。

显示单元260是用于基于显示控制单元250的控制显示各种图像的显示单元。显示单元260对应于图1中所示的显示单元170。

操作接收单元270是用于接收来自用户的操作输入的操作接收单元，并将根据所接收的操作输入的操作内容输出到显示控制单元250或记录控制单元280。例如，操作接收单元270在接收到指示监视模式设置的操作时将操作内容输出到显示控制单元250。另外，操作接收单元270例如在接收到指示运动图像记录的操作时将操作内容输出到显示控制单元250和记录控制单元280。此外，操作接收单元270例如在接收到指示静止图像记录的操作(换句话说，快门操作)时将操作内容输出到记录控制单元280。另外，操作接收单元270对应于图1中所示的操作单元150。

记录控制单元280使内容存储单元290将从图像摄取单元211输出的摄取图像记录为静止图像内容或运动图像内容。另外，记录控制单元280使内容管理信息存储单元300通过将从图像摄取位置信息获取单元212、图像摄取方向信息获取单元213和相机信息获取单元214输出的各条信息与静止图像内容和运动图像内容相关联来记录这些信息。例如，当操作接收单元270接收到指示运动图像记录的操作时，记录控制单元280使内容存储单元290将从图像摄取单元211输出的摄取图像记录为运动图像内容。在记录时，记录控制单元280使得内容管理信息存储单元300针对包括运动图像内容的每一帧记录各条信息(图像摄取位置信息、图像摄取方向信息、视角信息和深度信息)。当运动图像被记录时，可对于每一帧记录各条信息，并且可以使得内容管理信息存储单元300按每个均匀间隔(例如，针对每个图片组(GOP))记录各条信息。此外，例如当操作接收单元270接收到指示静止图像记录的操作时，记录控制单元280使得内容存储单元290将从图像摄取单元211输出的摄取图像记录为静止图像内容。在记录时，记录控制单元280使得内容管理信息存储单元300针对静止图像内容记录各条信息(图像摄取位置信息、图像摄取方向信息、视角信息和深度信息)。另外，记录控制单元280对应于图1中所示的系统控制单元140。

内容存储单元290基于记录控制单元280的控制将从图像摄取单元211输出的摄取图像记录为静止图像内容或运动图像内容。另外，内容存储单元290对应于图1中所示的记录单元160。

内容管理信息存储单元300基于记录控制单元280的控制通过将从图像摄取位置信息获取单元212、图像摄取方向信息获取单元213和相机信息获取单元214输出的各条信息与摄取图像相关联来记录这些信息。此外，内容管理信息存储单元300对应于图1中所示的记录单元160。另外，内容管理信息存储单元300是本发明的权利要求中所述的代表性图像存储单元的例子。

图3是示意性地图示根据本发明第一实施例的内容管理信息存储单元300的存储内容的示意图。内容管理信息存储单元300通过对内容的类型进行分类(运动图像内容和静止图像内容)来存储元数据340。具体而言，在“运动图像内容”的内容类型310的字段中，彼此关联地存储了内容标识信息320、图像标识信息330和元数据340。另外，在“静止图像内容”的内容类型310的字段中，彼此关联地存储了内容标识信息320和元数据340。

内容标识信息320是用于标识每项内容的信息，例如，其中容纳了“#1”和“#2”作为与运动图像内容有关的内容标识信息。另外，其中容纳了“#100”、“#200”和“#300”作为与静止图像内容有关的内容标识信息。

图像标识信息330是用于标识包括运动图像内容的每个摄取图像(帧)的信息，例如，针对包括与“#1”的内容标识信息320相对应的运动图像内容的每个摄取图像容纳了“#11”、“#12”和“#13”。另外，在图像标识信息330中，仅针对其信息被容纳在元数据340中的摄取图像容纳标识信息。

元数据340是与每个摄取图像有关的元数据，并且图像摄取位置信息341、图像摄取方向信息342、深度信息343、视角信息344、索引图像345和代表性图像信息346被容纳作为元数据。另外，在图3中，在图像摄取位置信息341、图像摄取方向信息342、深度信息343和视角信息344中容纳的信息被省略，并且在索引图像345中容纳的索引图像以矩形形状被简化。

图像摄取位置信息341是包括当相应图像被摄取时的图像摄取位置(例如，纬度和经度)的信息，并且容纳了由图像摄取位置信息获取单元212获取的图像摄取位置信息。

图像摄取方向信息342是包括当相应图像被摄取时的图像摄取方向(例如，当图像摄取位置是基准位置时的方位)的信息，并且容纳了由图像摄取方向信息获取单元213获取的图像摄取方向信息。

深度信息343是为相应的摄取图像计算出的深度信息，并且容纳了由相机信息获取单元214获取的深度信息。

视角信息344是为相应的摄取图像计算出的视角信息，并且容纳了由相机信息获取单元214获取的视角信息。

索引图像345是当选择相应内容时使用的索引图像(代表性图像)，并且例如容纳了相应摄取图像的缩略图像。缩略图像例如是由记录控制单元280生成的。

代表性图像信息346是用于在包括相应运动图像内容的各个摄取图像中指定被确定为代表性图像的摄取图像的信息。在图3中，在包括运动图像内容的各个摄取图像中，被确定为代表性图像的摄取图像的字段被赋予“1”，而其他摄取图像的字段被赋予“0”。这里，在运动图像内容的情况下，仅仅针对被赋予“1”的所确定的代表性图像和多个摄取图像，在索引图像345中容纳有索引图像。作为确定代表性图像的方法，例如可以使用这样一种方法：当在记录运动图像内容的操作开始之后首先接收到GPS信号时的摄取图像被确定为代表性图像。例如，在包括与“#1”的内容标识信息320相对应的运动图像内容的各个摄取图像中，与“#11”的图像标识信息330相对应的摄取图像被确定为代表性图像，并且针对该摄取图像在索引图像345中容纳了索引图像。另外，上述确定代表性图像的方法是一个例子，并且可以使用通过根据某一规则从运动图像内容中选择一个图像来确定代表性图像的方法。例如，可以使用将运动图像内容的开头图像确定为代表性图像的方法。

此外，在该例子中，示出了在内容管理信息存储单元中存储元数据的例子，但是例如，元数据可被存储在每个内容文件中。

地图的显示控制的例子

图4A和4B是示意性地图示根据本发明第一实施例被存储在地图数据存储单元200中的地图数据的一部分和在与地图数据相对应的区域中的图像摄取操作的示意图。图4A中所示的地图400是示出与存储在地图数据存储单元200中的地图数据的一部分相对应的区域的地图。另外，在图4A和4B中，向上的方向假定为北方。而且，假定在对应于地图400的区域中例如有△△车站、○○车站、××车站、

公园、◇◇大学、□□高中和

旅馆。

图4B示意性地示出了当用户利用图像摄取设备100在与图4A所示的地图400相对应的区域410中执行图像摄取操作时的情况。例如，在区域410中的图像摄取位置411上，用户在图像摄取设备100的图像摄取方向412被指示朝向“○○车站”的状态下执行图像摄取操作(换句话说，摄取作为主要对象的“○○车站”的图像)。

图5A和5B是示意性地图示根据本发明的第一实施例计算用在地图数据转换单元230的地图数据的转换处理中的旋转角的方法的示意图。

图5A示出了在图4B所示的区域410中由北方方向413和图像摄取方向412形成的角度θ1。图5B示出了图5A所示的图像摄取设备100、图像摄取位置411、图像摄取方向412和北方方向413，以及在虚线圆圈414内由图像摄取方向412和北方方向413形成的角度θ1。另外，在圆圈414的外周中，示出了在图像摄取位置411被假定为基准位置的情况下的方位(北、南、东和西)。而且，在本发明的第一实施例中，示出了以下例子：地图数据转换单元230利用当北方方向413为0度时由图像摄取方向412和北方方向413形成的角度θ1作为旋转角来执行地图数据的转换处理。角度θ1的值是由地图数据转换单元230基于图像摄取方向信息获取单元213获取的图像摄取方向信息来计算的。

图6A和6B是示意性地图示根据本发明第一实施例来自存储在地图数据存储单元200中的地图数据的作为显示目标的区域(显示目标区)的示意图。图6A示出了地图400中的虚线矩形420，其中图像摄取位置411是虚线矩形420的中心。矩形420的大小假定与显示目标区的大小相同。另外，穿过矩形420的中心位置(图像摄取位置411)并且与南北方向平行的线段是线段415。

图6B示出了粗虚线的矩形421，它是通过以图像摄取位置411为中心、将矩形420旋转角度θ1而形成的。当在图4B所示的状态下利用图像摄取设备100执行图像摄取操作时，矩形421中包括的区域(存在○○车站、□□高中和

旅馆的区域)是地图400中的显示目标区。这里，矩形421的长边与图像摄取方向412正交。另外，在本发明的第一实施例中，矩形421中包括的区域被显示为使得与指示图像摄取方向412的箭头的尖端形成接触的长边位于显示单元260中的显示画面的上侧。图8B中示出了显示的例子。

图7A和7B是示意性地图示根据本发明第一实施例创建被叠加在与经地图数据转换单元230转换的地图数据相对应的地图上的图像摄取状态确认图像的方法的示意图。图7A中所示的区域410与图5A中所示的区域410相同。在该例子中，在图7A所示的图像摄取操作中，图像摄取范围计算单元240假定基于由相机信息获取单元214获取的视角信息和深度信息来计算视角θ11和深度值d11。另外，视角θ11对应于由图像摄取单元211生成的摄取图像的视角，并且深度值d11可以通过将由深度信息指定的值(到对象的距离)乘以某一值来计算得到。

图7B示出了基于由图像摄取范围计算单元240计算出的视角θ11和深度值d11而创建的图像摄取状态确认图像430。图像摄取状态确认图像430是通过以图形形式显示图像摄取范围而表示的操作支持图像，并且被以重叠方式显示在地图上。图像摄取状态确认图像430是由图像摄取位置图像431和图像摄取范围图像432形成的。

图像摄取位置图像431是圆形的图像，其指示地图上图像摄取设备100的图像摄取位置。

图像摄取范围图像432是等腰三角形的图像，其指示地图上图像摄取设备100的图像摄取范围，并且其顶角被包括在图像摄取位置图像431中。另外，在图像摄取范围图像432中，顶角是视角θ11，并且从底边到图像摄取位置图像431的距离是深度值d11。因此，用户可以很容易通过等腰三角形获知与由相机信息获取单元214获取的视角信息和深度信息相对应的图像摄取范围的概况。此外，例如当用户操作地图以放大或缩小时，可以使图像摄取状态确认图像430的图像摄取范围图像432的大小根据放大或缩小的需要而放大或缩小。

图8A和8B是图示根据本发明第一实施例显示摄取图像和显示在显示单元260中的地图的例子的示意图。图8A示出了由图像摄取单元211生成的摄取图像450。摄取图像450是在图4B所示的图像摄取操作的状态下由图像摄取单元211生成的摄取图像。换句话说，在图4B所示的例子中，图像摄取操作是以“○○车站”作为主要对象执行的，并且因此“○○车站”的车站建筑物被包括在摄取图像450中。

图8B示出了在图8A所示的摄取图像450上设有地图显示区460的图像451。例如，在地图显示区460中，显示了与当执行图4B所示的图像摄取操作时指定的显示目标区(包括在图6B所示的矩形421中的区域)相对应的地图。另外，在显示在地图显示区460中的地图上，以重叠方式显示了图像摄取状态确认图像430和地图符号461。

图像摄取状态确认图像430是通过图7B所示的方法创建的图像摄取状态确认图像。图像摄取状态确认图像430被显示为使得例如图像摄取位置图像431被布置在地图显示区460的中心位置处，并且图像摄取范围图像432的底边被放置在显示单元260中垂直方向的上侧。

地图符号461是指示北、南、东和西的地图符号，并且根据北、南、东和西方向被布置在地图显示区460中显示的地图上。在图8B所示的例子中，从“

旅馆”到“○○车站”的方向是北方，从而根据该方向来布置符号。因此，通过根据图像摄取方向旋转所显示的地图，可以很容易识别方向。

此外，在图8B所示的显示例子中，示出了这样的例子：其中地图显示区460被显示在图像451的右下部，但是地图显示区460也可以显示在图像451的其他部分中。另外，地图显示区460的显示位置可以通过用户的手动操作改变。

这里，将描述创建图8B中所示的图像451的方法。例如，摄取图像450是在图4B所示的图像摄取操作的状态下由图像摄取单元211生成的。另外，在该状态下，基于从图像摄取位置信息获取单元212输出的图像摄取位置信息来指定图像摄取设备100所在的图像摄取位置411。此外，地图数据获取单元220基于由图像摄取位置411指定的经度和纬度来从地图数据存储单元200获取地图数据，并将该数据输出到地图数据转换单元230。作为获取目标的地图数据例如是至少包括以矩形形状(例如，图6B中所示的矩形420和421)的显示目标区的对角线为直径的圆形区域的地图数据。

随后，地图数据转换单元230基于从图像摄取位置信息获取单元212输出的图像摄取位置信息和从图像摄取方向信息获取单元213输出的图像摄取方向信息来转换从地图数据获取单元220输出的地图数据。然后，转换后的地图数据被输出到显示控制单元250。作为转换地图数据的方法，例如可以使用仿射变换，该仿射变换利用2维坐标上的3x3矩阵(仿射矩阵)来转换2点的位置。具体而言，地图数据转换单元230以由图像摄取位置411指定的经度和纬度作为旋转基准，并对从地图数据获取单元220输出的地图数据的每个值执行仿射变换。在仿射变换中，执行以下转换：将与从地图数据获取单元220输出的地图数据相对应的地图旋转θ1度。经仿射变换转换的地图数据被输出到显示控制单元250。该例子描述了从地图数据获取单元220输出的地图数据被转换并且与转换后的地图数据相对应的地图被用作显示目标区的情况。然而，例如，可以利用绘图缓冲器来绘制与从地图数据获取单元220输出的地图数据相对应的地图，并且可以从绘制的地图中取出并使用显示目标区。例如，设置在利用绘图缓冲器绘制的地图中的取出框(具有与显示目标区相同大小的框)，将取出框旋转θ1度，从而在旋转后的取出框中包含的地图可以用作显示目标区。

随后，显示控制单元250在摄取图像450中的地图显示区460内绘制与从地图数据转换单元230输出的转换后的地图数据相对应的地图，并在显示单元260中显示绘有地图的图像451。在这种情况下，显示控制单元250显示地图，使得由图像摄取位置411指定的经度和纬度是地图显示区460的中心位置。另外，显示控制单元250使得图像摄取状态确认图像430和地图符号461通过以重叠方式绘制而被显示在地图显示区460中所绘制的地图上。

例如，当监视模式被设定时或者在运动图像记录期间，显示设有地图显示区的摄取图像。另外，摄取图像可以根据来自操作接收单元270的操作指令而被显示。此外，根据来自操作接收单元270的操作指令，显示在地图显示区460中的地图可以被放大或缩小以及在期望方向上移动。

这样，通过显示地图以使得在图像摄取设备100的图像摄取方向上的物侧是显示单元260的显示平面中的上侧，利用图像摄取设备100执行图像摄取操作的用户可以很容易获知地图上的当前图像摄取方向。

上面描述了图像摄取状态确认图像430和地图符号461被以重叠方式显示在摄取图像内的地图显示区中的情况，但是，例如，也可以以重叠方式显示存在于作为显示目标的地图上的指示地标等的图像。

图9A和9B是图示根据本发明第一实施例显示存储在地图数据存储单元200中的地图数据的一部分以及显示在显示单元260中的摄取图像和地图的例子的示意图。图9A示出了地图470，其中向图4A所示的地图400添加了地标471。另外，地标是用作特有标志或象征的建筑物等，例如东京塔、京都塔等等。与地标有关的叠加数据例如与地图数据一同以与位置相关联的方式存储在地图数据存储单元200中。

图9B示出了显示在显示单元260的地图显示区481中与地标图像482重叠的图像480的例子。另外，图像480与图8B所示的图像451相同，除了以重叠方式显示地标图像482以外。为此，相同的部分被赋予相同的标号，并且将不重复其描述。

地标图像482是以图形形式显示地标的特征的图像，例如，当地标471是诸如京都塔之类的建筑物时，地标的外观被以图形形式显示为图9B所示的图像。

例如，显示控制单元250在与从地图数据转换单元230输出的转换后的地图数据相对应的地图上绘制地标图像482，并且绘有地标图像482的图像480被显示在显示单元260中。此外，仅仅与包括在由图像摄取范围计算单元240计算出的图像摄取范围中的地标有关的地标图像可被显示在地图上。另外，包括在图像摄取范围中的地标和不包括在图像摄取范围中的地标可以以不同的显示形式被显示在地图上，从而可以区分各个地标图像。

这样，通过在地图上显示地标图像且其显示位置对应于也以重叠方式显示图像的位置，用户可以很容易识别出在当前图像摄取范围内或者图像摄取范围周边是否有地标。因此，通过在地标附近将地标作为拍摄对象，可以防止丧失最佳的拍摄机会。

上面示出了当监视模式被设定时或者在运动图像记录期间(换句话说，在用户利用图像摄取设备100执行图像摄取操作的状态下)以重叠方式在通过图像摄取操作生成的摄取图像上显示地图的例子。下文中，将示出当通过图像摄取操作记录的内容被再现时、利用存储在内容管理信息存储单元300中的元数据340(图3中所示)以重叠方式在与内容相对应的图像上显示地图的例子。

图像摄取设备的功能组成的例子

图10是图示根据本发明第一实施例的图像摄取设备100的功能组成例子的框图。图10中所示的例子是与图像摄取设备100的再现有关的功能组成的例子，并且是图2中所示的功能组成的修改例。为此，与图2中所示的功能组成共同的部分被赋予相同的标号，并且将不重复其描述，而将主要描述与图2中所示的功能组成不同的部分。图像摄取设备100设有地图数据存储单元200、地图数据获取单元220、地图数据转换单元230和图像摄取范围计算单元240。另外，图像摄取设备100还设有显示控制单元250、显示单元260、操作接收单元270、内容存储单元290、内容管理信息存储单元300和数据获取单元350。

地图数据获取单元220基于从数据获取单元350输出的图像摄取位置信息来从地图数据存储单元200获取地图数据，并将所获取的地图数据输出到地图数据转换单元230。

地图数据转换单元230基于从数据获取单元350输出的图像摄取位置信息和图像摄取方向信息来转换从地图数据获取单元220输出的地图数据，并将转换后的地图数据输出到显示控制单元250。

图像摄取范围计算单元240基于从数据获取单元350输出的视角信息和深度信息来计算图像摄取范围，并将计算出的图像摄取范围输出到显示控制单元250。

数据获取单元350根据从操作接收单元270接收的操作输入来获取存储在内容存储单元290或内容管理信息存储单元300中的数据，并将所获取的数据提供给各个单元。

具体而言，当操作接收单元270接收到指示显示内容选择画面的操作时，数据获取单元350顺序获取内容管理信息存储单元300的索引图像345(图3中所示)并输出到显示控制单元250。然后，显示控制单元250使显示单元260显示包括用于选择内容的索引图像的视图的内容选择画面(图11A、11B、12A和12B中所示)。

另外，当操作接收单元270接收到内容选择画面中的选择操作时，数据获取单元350获取与所选的索引图像相关联地存储在内容管理信息存储单元300中的元数据340(图3中所示)。此外，数据获取单元350将所获取的元数据中的图像摄取位置信息输出到地图数据获取单元220，将图像摄取位置信息和图像摄取方向信息输出到地图数据转换单元230，并将深度信息和视角信息输出到图像摄取范围计算单元240。显示控制单元250基于从地图数据转换单元230输出的地图数据和从图像摄取范围计算单元240输出的图像摄取范围来使得内容选择画面中的地图显示区显示叠加了图像摄取状态确认图像和地图符号的地图。

另外，当操作接收单元270接收到指示再现内容选择画面中所选的内容的操作时，数据获取单元350从内容存储单元290获取与选中状态的索引图像相对应的内容。另外，数据获取单元350获取与所获取的内容相关联地存储在内容管理信息存储单元300中的元数据340。而且，数据获取单元350将所获取的元数据中的图像摄取位置信息输出到地图数据获取单元220，将图像摄取位置信息和图像摄取方向信息输出到地图数据转换单元230，并将深度信息和视角信息输出到图像摄取范围计算单元240。另外，数据获取单元350将所获取的内容输出到显示控制单元250。显示控制单元250使得顺序显示从数据获取单元350输出的内容。另外，显示控制单元250基于从地图数据转换单元230输出的地图数据和从图像摄取范围计算单元240输出的图像摄取范围来使得叠加有图像摄取状态确认图像和地图符号的地图与内容一同显示。此外，将参考图11A至13B详细描述这种显示例子。另外，数据获取单元350对应于图1中所示的系统控制单元140。

地图的显示控制的例子

图11A、11B、12A和12B是图示根据本发明第一实施例被显示在显示单元260中的内容选择画面的显示例子的示意图。

图11A示出了用于当存储在内容存储单元290中的内容被再现时选择作为再现目标的内容的内容选择画面500。内容选择画面500设有用于显示用来选择内容的索引图像的索引图像显示区510。在索引图像显示区510中，显示了存储在内容管理信息存储单元300的索引图像345中的索引图像511和513。另外，基于操作接收单元270的操作输入，通过在上下方向上移动滚动条514，显示在索引图像显示区510中的索引图像被在上下方向上移动，从而可以显示其他索引图像。

图11B示出了当操作接收单元270接收到用于选择图11A所示的内容选择画面500上的索引图像511的选择操作时的显示例(内容选择画面501)。在图11B所示的内容选择画面501中，处于选中状态的索引图像511以粗框示出。这样，与内容选择画面501上处于选中状态的索引图像511相对应的地图被显示在地图显示区520中。显示在地图显示区520中的地图以及叠加在地图上的图像摄取状态确认图像430和地图符号461与图8B中所示的相同，因此将不重复其描述。

这样，在图像摄取期间图像摄取方向上的对象被显示在显示单元260的显示平面的上侧、与内容选择画面上处于选中状态的索引图像相对应的地图上，从而用户可以很容易获知图像摄取期间的图像摄取方向。因此，可以很容易获知内容被记录时的位置和该时刻的图像摄取方向，从而用户可以很容易获取用于在内容被选择时进行地理判断的信息。

图11A和11B示出了在索引图像显示区520中仅显示索引图像的例子。然而，可以假定所存储的内容不与用于显示地图的元数据相关联的情况。因此，下面将示出这样一个例子，其中索引图像被显示以便可以很容易获知与元数据相关联存储的内容。

图12A示出了与关联到用于显示地图的元数据的内容相对应的索引图像被附上指示该事实的字符“地图”的显示例子。例如，在图12A所示的索引图像显示区530中，与索引图像531和533相对应的内容假定与用于显示地图的元数据相关联地存储。另一方面，与索引图像532相对应的内容假定不与用于显示地图的元数据相关联地存储。在这种情况下，如图12A所示，索引图像531和533被显示为重叠有字符“地图”，而索引图像532的显示则没有字符“地图”。因此，可以很容易获知内容是否与用于显示地图的元数据相关联地存储的情况。

另外，图11B示出了其中图像摄取状态确认图像和地图符号彼此叠加的地图被显示在内容选择画面501中的例子。然而，例如，相应内容可以与其中图像摄取状态确认图像和地图符号彼此叠加的地图一同显示。

图12B示出了在图11B所示的地图显示区520的位置处设有内容显示区540的显示例子。内容显示区540显示有与内容相对应的图像(放大的索引图像或者包括内容的图像)，并且在图像上设有地图显示区541。此外，显示在内容显示区540中的图像和地图与图8B中所示的相同，除了图像451的大小以外。利用上述显示，可以很容易获知再现期间的显示形式。

图13A和13B是图示根据本发明第一实施例显示单元260中的重放内容的例子的示意图。图13A和13B示出了当图像摄取设备100在图4B所示的状态下被摇向右侧时记录的运动图像内容被再现时图像的转变。另外，图13A中所示的图像600与图8B中所示的图像451相同。

例如，当图像摄取设备100在图4B所示的状态下被摇向右侧时，摄取图像中包括的“○○车站”的车站建筑物601在摄取图像内向摇动方向相反的一侧移动，如图13A和13B所示。另外，即使当执行这种摇摄操作时，与图像摄取操作的状态相对应的元数据(图像摄取位置信息、图像摄取方向信息、深度信息和视角信息)也可以被顺序记录在内容管理信息存储单元300中。为此，例如，当在执行摇摄操作时再现所记录的运动图像内容时，基于与图像摄取操作的状态相对应的元数据来显示地图。因此，例如，当再现在执行从图13A所示的状态到图13B所示的状态的摇摄操作时所记录的运动图像内容时，根据摇摄操作而经历旋转处理的地图被显示在地图显示区630中。另外，在地图显示区630中的地图上，显示了根据旋转处理而旋转的地图符号632，并且显示了图像摄取状态确认图像631。这样，根据与再现中的内容相对应的图像的图像摄取操作的状态，显示在地图显示区中的地图、图像摄取状态确认图像和地图符号被顺序改变并被显示。

这里，假定例如当一边频繁移动一边记录运动图像内容时，用于显示地图的元数据(图像摄取位置信息、图像摄取方向信息、深度信息和视角信息)被以均匀间隔顺序记录在内容管理信息存储单元300中。当运动图像内容被再现时，假定地图的角度等被频繁改变(如果地图基于元数据被顺序旋转并显示的话)。如果如上所述地图的角度等被频繁改变，则用户可能难以读懂地图。因此，例如，当与元数据相对应的旋转角不超过阈值时，不对地图执行旋转处理，而是仅当旋转角超过阈值时，才可以执行旋转处理。

另外，假定当不与用于转换地图的元数据(图像摄取方向信息)相关联的内容被再现时，其他元数据(图像摄取位置信息、深度信息和视角信息)与该内容相关联。例如，在这种内容的再现期间，可以在地图上显示图像摄取状态确认图像或地标图像。

图像摄取设备的操作例子

接下来，将参考附图描述根据本发明第一实施例的图像摄取设备100的操作。

图14是图示根据本发明第一实施例的图像摄取设备100的地图显示控制处理的过程的流程图。在该例子中，将描述当用于记录静止图像的监视模式被设定时、以重叠方式在摄取图像上显示地图的例子。另外，地图的比例假定是根据用户的操作指定的。

首先，图像摄取单元211生成摄取图像(步骤S901)。随后，图像摄取位置信息获取单元212获取图像摄取位置信息(步骤S902)，并且图像摄取方向信息获取单元213获取图像摄取方向信息(步骤S903)。另外，步骤S903是本发明的权利要求中所述的图像摄取方向获取处理的例子。随后，执行地图数据转换处理(步骤S920)。另外，步骤S920是本发明的权利要求中所述的转换处理的例子。将参考图15详细描述地图数据转换处理。随后，显示控制单元250基于经地图数据转换处理转换后的地图数据来绘制与地图数据相对应的地图(步骤S904)。在这种情况下，地图符号(例如，图8B中所示的地图符号461)被绘制在地图上。

随后，相机信息获取单元214获取视角信息和深度信息(步骤S905)，并且图像摄取范围计算单元240基于所获取的视角信息和深度信息来计算图像摄取范围(步骤S906)。

随后，显示控制单元250基于计算出的图像摄取范围以重叠方式在地图上绘制图像摄取状态确认图像(步骤S907)。接下来，显示控制单元250使显示单元260显示叠加有图像摄取状态确认图像的地图和摄取图像(步骤S908)。另外，步骤S908是本发明的权利要求中所述的显示控制处理的例子。

随后，判断是否执行了按下快门按钮的操作(步骤S909)。当执行了按下快门按钮的操作(步骤S909)时，记录控制单元280使得内容存储单元290将所生成的摄取图像记录为静止图像内容(步骤S910)。接下来，记录控制单元280使得内容管理信息存储单元300将所获取的图像摄取位置信息、图像摄取方向信息、视角信息和深度信息记录为静止图像内容的元数据(步骤S911)。另一方面，当没有执行按下快门按钮的操作(步骤S909)时，处理前进到步骤S912。

随后，判断是否执行了用于指示结束操作(监视模式)的指令的操作(步骤S912)，并且当执行了用于指示结束操作的指令的操作时，地图显示控制处理的操作结束。另一方面，当没有执行用于指示结束操作的指令的操作(步骤S912)时，处理返回到步骤S901。

图15是图示在根据本发明第一实施例的图像摄取设备100的地图显示控制处理的过程中、地图数据转换处理(图14中所示的步骤S920的过程)的流程图。

首先，地图数据获取单元220基于由图像摄取位置信息获取单元212获取的图像摄取位置信息来从地图数据存储单元200获取地图数据(步骤S921)。随后，地图数据转换单元230基于由图像摄取方向信息获取单元213获取的图像摄取方向信息来计算北方方向和图像摄取方向之间的角度(步骤S922)。接下来，地图数据转换单元230通过使从地图数据存储单元200获取的地图数据经受基于计算出的角度的旋转处理来执行地图数据的转换(步骤S923)。

图16是图示根据本发明第一实施例的图像摄取设备100的地图显示控制处理的过程的流程图。该例子是图14中所示的地图显示控制处理的修改例，并且是在运动图像的记录期间以重叠方式在摄取图像上显示地图的例子。为此，与图14所示的过程中相同的部分被赋予相同的标号，并且将不重复其描述。

由于在运动图像的记录期间执行该过程，因此记录控制单元280使得内容存储单元290将所生成的摄取图像(帧)顺序记录为运动图像内容(步骤S910)。另外，记录控制单元280使内容管理信息存储单元300将所获取的图像摄取位置信息、图像摄取方向信息、视角信息和深度信息记录为摄取图像的元数据(步骤S911)。可以为每一帧执行元数据记录，并且是按预定间隔执行的。

另外，当执行了用于指示结束操作(运动图像记录)的指令的操作(步骤S912)时，记录控制单元280从在运动图像记录期间其元数据被记录在内容管理信息存储单元300中的摄取图像中确定代表性图像(步骤S913)。另外，记录控制单元280将代表性图像的确定结果记录在被确定为代表性图像的摄取图像的代表性图像信息346(图3中所示)中(步骤S913)。

图17是图示根据本发明第一实施例的图像摄取设备100的地图显示控制处理的过程的流程图。该例子是图14中所示的地图显示控制处理的修改例，并且是在内容选择画面中显示地图和索引图像的例子(图11A、11B、12A和12B中所示)。为此，与图14所示的过程中相同的部分被赋予相同的标号，并且将不重复其描述。

首先，显示控制单元250获取存储在内容管理信息存储单元300中的索引图像，并在内容选择画面上显示索引图像的视图(步骤S931)。内容选择画面例如是通过用户操作显示的。

随后，判断是否接收到用于选择显示在内容选择画面上的索引图像的选择操作(步骤S932)。当没有接收到用于选择索引图像的选择操作(步骤S932)时，处理前进到步骤S935。另一方面，当接收到用于选择索引图像的选择操作(步骤S932)时，数据获取单元350获取与所选的索引图像相关联地存储在内容管理信息存储单元300中的元数据(步骤S933)。另外，步骤S933是本发明的权利要求中所述的图像摄取方向获取处理的例子。

随后，基于所获取的元数据(图像摄取位置信息和图像摄取方向信息)执行地图数据转换处理(步骤S920)。接下来，利用所获取的元数据(视角信息和深度信息)以重叠方式在地图上绘制图像摄取状态确认图像(步骤S904、906和907)。随后，显示控制单元250使显示单元260显示叠加有图像摄取状态确认图像的地图(步骤S934)。例如，叠加有图像摄取状态确认图像的地图被显示在内容选择画面上的地图显示区520(图11B中所示)中。另外，步骤S934是本发明的权利要求中所述的显示控制处理的例子。

随后，判断是否执行了指示再现内容的操作(步骤S935)，并且当执行了指示再现内容的操作时，对与处于选中状态的索引图像相对应的内容执行内容再现处理(步骤S940)。将参考图18详细描述内容再现处理。另一方面，当没有执行指示再现内容的操作(步骤S935)时，判断是否执行了指示结束内容选择画面的显示的操作(步骤S936)。当执行了指示结束内容选择画面的显示的操作(步骤S936)时，地图显示控制处理的操作结束。另一方面，当没有执行指示结束内容选择画面的显示的操作(步骤S936)时，处理返回到步骤S931。

图18是图示在根据本发明第一实施例的图像摄取设备100的地图显示控制处理的过程中、内容再现处理(图17中所示的步骤S940的过程)的流程图。该例子是图14中所示的地图显示控制处理的修改例，并且是在与被指示再现的内容相对应的图像上以重叠方式显示地图的例子。为此，与图14所示的过程中相同的部分被赋予相同的标号，并且将不重复其描述。

首先，数据获取单元350从内容存储单元290获取被指示再现的内容(步骤S941)，并且获取与该内容相关联地存储在内容管理信息存储单元300中的元数据(步骤S942)。另外，步骤S942是本发明的权利要求中所述的图像摄取方向获取处理的例子。

随后，基于所获取的元数据(图像摄取位置信息和图像摄取方向信息)执行地图数据转换处理(步骤S920)。接下来，利用所获取的元数据(视角信息和深度信息)以重叠方式在地图上绘制图像摄取状态确认图像(步骤S904、906和907)。随后，显示控制单元250使得显示单元260显示叠加有图像摄取状态确认图像的地图以及与所获取的内容相对应的图像(步骤S943)。这里，例如当被指示再现的内容是运动图像内容时，对于包括运动图像内容的每一帧顺序执行地图数据转换处理、地图上图像摄取状态确认图像的绘制处理，等等。另外，例如当被指示再现的内容是静止图像内容时，仅对一项静止图像内容执行一次地图数据转换处理、地图上图像摄取状态确认图像的绘制处理，等等。另外，步骤S943是本发明的权利要求中所述的显示控制处理的例子。

随后，判断是否执行了指示结束内容再现的操作(步骤S944)，并且当执行了指示结束内容再现的操作时，内容再现处理的操作结束。另一方面，当没有执行指示结束内容再现的操作(步骤S944)时，处理返回到步骤S920。

第二实施例

本发明的第一实施例描述了以平面形式显示地图(2维地图)的例子。然而，例如，即使当显示具有三维图像的地图(三维地图)时，本发明的第一实施例也可以适用。三维地图是地图上的三维空间被投影在平面上并被显示的地图。下面将参考附图详细描述显示三维地图的例子。

图像摄取设备的组成的例子

图19是图示根据本发明第二实施例的图像摄取设备700的内部组成例子的框图。这里，图像摄取设备700是图1中所示的图像摄取设备100的修改例，与图像摄取设备100共同的部分被赋予相同的标号并且将不重复其描述，而是主要对与图像摄取设备100的不同部分给出对设备的描述。图像摄取设备700设有陀螺传感器710。

陀螺传感器710是检测围绕彼此正交的3个轴的角速度的角速度传感器，并将检测到的角速度输出到系统控制单元140。

图20是图示根据本发明第二实施例的图像摄取设备700的功能组成例子的框图。这里，图像摄取设备700是图2中所示的图像摄取设备100的修改例，因此，与图像摄取设备100共同的部分被赋予相同的标号并且将不重复其描述，而是主要描述与图像摄取设备100的不同部分。图像摄取设备700设有三维地图数据存储单元720、图像摄取姿态信息获取单元730、地图数据转换单元740和内容管理信息存储单元750。这里，图像摄取设备700与本发明的第一实施例的不同之处在于该设备显示三维地图而不是显示二维地图，并且在三维地图的垂直方向上的显示方位基于图像摄取姿态信息(例如，因倾斜操作在垂直方向上的移动量)而改变。因此，下面将主要描述与本发明第一实施例的不同点并且将不重复与第一实施例的共同点。

三维地图数据存储单元720存储用于在显示单元260中显示三维地图的三维地图数据，并将所存储的三维地图数据提供给地图数据获取单元220。另外，三维地图数据存储单元720对应于图19中所示的记录单元160。

图像摄取姿态信息获取单元730获取与在图像摄取设备700的图像摄取操作的状态下的姿态有关的图像摄取姿态信息，并将所获取的图像摄取姿态信息输出到地图数据转换单元740和记录控制单元280。图像摄取姿态信息是基于陀螺传感器710检测的角速度计算出的旋转角，并且例如是当使用图像摄取设备700执行图像摄取操作的用户处于旋转中心时俯仰轴的旋转角。另外，图像摄取姿态信息获取单元730对应于图19中所示的陀螺传感器710。

地图数据转换单元740基于从图像摄取方向信息获取单元213输出的图像摄取方向信息和从图像摄取姿态信息获取单元730输出的图像摄取姿态信息来转换从地图数据获取单元220输出的三维地图数据。另外，地图数据转换单元740将转换后的三维地图数据输出到显示控制单元250。而且，与三维地图数据相对应的三维地图中的高度是利用由图像摄取位置信息获取单元212获取的图像摄取位置信息中包含的高度来指定的。另外，将参考图21A、21B、22A和22B详细描述三维地图数据的转换。

内容管理信息存储单元750基于记录控制单元280的控制与摄取图像相关联地记录从图像摄取姿态信息获取单元730输出的图像摄取姿态信息。此外，以与本发明第一实施例相同的方式，与摄取图像相关联地记录从图像摄取位置信息获取单元212、图像摄取方向信息获取单元213和相机信息获取单元214输出的各条信息。换句话说，图像摄取姿态信息被额外记录为图3中所示的元数据340。另外，内容管理信息存储单元750对应于图19中所示的记录单元160。

地图的显示控制的例子

图21A、21B、22A和22B是图示根据本发明的第二实施例图像摄取设备700的图像摄取操作的状态以及在该状态下显示的三维地图的示意图。图21A和22A以简化方式示出了由建筑物群810所在的区域800上的图像摄取设备700摄取建筑物群810周围的图像的状态。这里，建筑物群810假定是由在东西方向上成一行的3栋建筑物形成的。另外，在图21A中，假定在以下状态中执行图像摄取操作：图像摄取设备700的图像摄取方向是东北方向并且图像摄取设备700的图像摄取方向是向上仰视区域800上的建筑物群810的屋顶的方向。另外，在图22A中，假定在以下状态中执行图像摄取操作：图像摄取设备700的图像摄取方向是东北方向并且图像摄取设备700的图像摄取方向是向下俯视区域800上的建筑物群810的屋顶的方向。

图21B示出了当在图21A所示的状态下执行图像摄取设备700的图像摄取操作时显示在显示单元260中的三维地图820。图22B示出了当在图22A所示的状态下执行图像摄取设备700的图像摄取操作时显示在显示单元260中的三维地图830。地图数据转换单元740转换三维地图数据以使得与从地图数据获取单元220输出的三维地图数据相对应的三维地图中的图像摄取方向和显示单元260中的特定方向彼此对应。利用该转换，地图数据转换单元740以图像摄取位置作为基准位置、根据由从图像摄取姿态信息获取单元730输出的图像摄取姿态信息指定的旋转角来转换三维地图数据。例如，当在图21A所示的状态下执行图像摄取设备700的图像摄取操作时，数据被转换为以如图21B所示的向上仰视建筑物群810的屋顶的方式显示三维地图。另外，当在图22A所示的状态下执行图像摄取设备700的图像摄取操作时，数据被转换为以如图22B所示的向下俯视建筑物群810的屋顶的方式显示三维地图。另外，以与本发明的第一实施例相同的方式，与图21B和22B中所示的三维地图一同显示与三维地图有关的摄取图像。

这样，根据垂直方向上图像摄取设备700的移动，三维地图被修正并显示。另外，以与本发明的第一实施例相同的方式，摄取图像和三维地图被显示在显示单元260中以使得三维地图中的图像摄取方向和显示单元260中的特定方向彼此对应。另外，图像摄取状态确认图像821和831以及地图符号822和832以与本发明的第一实施例相同的方式被绘制在三维地图上。此外，该例子示出了显示与二维地图相同的图像摄取状态确认图像的情况，但是例如，指示三维图像摄取范围的图像可以被显示为图像摄取状态确认图像。另外，该例子仅描述当内容被记录时的显示控制，但是该显示控制也可以相同方式应用于当记录的内容被再现时的情况。

如上所述，根据本发明的实施例，可以与摄取图像相关联地显示包括在图像摄取期间的图像摄取位置的地图，因此，可以很容易获知所显示的摄取图像的地理位置的关系。当地图被显示时，可以将地图的摄取期间的图像摄取方向设定为垂直方向上显示单元的上侧，因此，可以直观地获知建筑物等相对于用于执行实际图像摄取操作的方向的位置关系。例如，当在图像摄取期间地图的北方被显示为垂直方向上显示单元的上侧时，有必要在知道地图上图像摄取设备的取向的同时检查地图，但是根据本发明的实施例，不需要知道图像摄取设备的取向。

另外，在内容再现期间，可以以相同的方式与包括图像摄取期间的图像摄取位置的地图相关联地显示内容或索引图像，因此，可以很容易获知所显示的图像的地理位置的关系。此外，地图的图像摄取期间的图像摄取方向可以被显示为垂直方向上显示单元的上侧，因此，可以在再现内容的同时直观地获知建筑物等相对于用于执行实际图像摄取操作的方向的位置关系。

另外，由于图像摄取状态确认图像可以被显示在地图上，因此可以很容易在地图上检查图像摄取期间的图像摄取范围。换句话说，不仅可以直观地获知建筑物等相对于用于执行实际图像摄取操作的方向的位置关系，还可以获知图像摄取范围。

另外，当图像和与该图像有关的三维地图被显示时，以相同的方式，三维地图的图像摄取期间的图像摄取方向可以被显示为垂直方向上显示单元的上侧。因此，可以直观地获知三维建筑物等相对于用于执行实际图像摄取操作的方向的位置关系。

另外，本发明的实施例可以应用于能够显示地图的电子设备，例如具有图像摄取功能的移动电话、个人计算机、车载导航系统等等。另外，本发明的实施例还可以应用于能够通过将内容和与之相关的地图输出到其他显示单元来在其他显示单元上显示内容和与之相关的地图的电子设备。

此外，本发明的实施例是用于实现本发明的例子，并且该实施例与上述本发明的权利要求中的各个具体技术方案有对应关系。然而，本发明并不限于上述实施例，并且可以在不脱离本发明的精神的范围内做出各种修改。

另外，在本发明的实施例中描述的过程可以理解为具有该一系列过程的方法，也可理解为用于使计算机执行一系列过程的程序和用于存储该程序的记录介质。作为这种记录介质，例如可以使用致密盘(CD)、迷你盘(MD)、数字多功能盘(DVD)、存储卡、蓝光光盘(Blu-ray Disc，注册商标)等。

本申请包含与2009年4月21日向日本专利局提交的日本在先专利申请JP 2009-102525中公开的内容有关的主题，上述申请的全部内容通过引用而结合于此。

本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。

Claims (12)

1.一种电子设备，包括：

图像摄取方向获取单元，该图像摄取方向获取单元基于摄取图像的图像摄取期间的图像摄取位置来获取图像摄取方向，该图像摄取方向是所述摄取图像中包含的对象所在的方向；

转换单元，该转换单元转换包括所述图像摄取位置的地图，以使所述地图上的所获取的图像摄取方向与显示所述地图的显示平面上的特定方向相对应；以及

显示控制单元，该显示控制单元使转换后的地图与所述摄取图像相关联地显示。

2.如权利要求1所述的电子设备，还包括：

代表性图像存储单元，该代表性图像存储单元对于由所述摄取图像形成的各项内容存储指示该内容的代表性图像；和

操作接收单元，该操作接收单元接收用于从存储在所述代表性图像存储单元中的代表性图像当中选择期望的代表性图像的选择操作；

其中所述转换单元对包括从存储在所述代表性图像存储单元中的代表性图像当中选择的代表性图像的图像摄取期间的图像摄取位置的地图执行转换；并且

其中所述显示控制单元使存储在所述代表性图像存储单元中的代表性图像的视图被显示，并且使转换后的地图与从所显示的代表性图像当中选择的代表性图像相关联地显示。

3.如权利要求2所述的电子设备，其中

当指示与所选择的代表性图像相对应的内容的再现时，所述转换单元针对包括被指示再现的内容的各个摄取图像来执行地图转换；并且

对于包括被指示再现的内容的各个摄取图像，所述显示控制单元使转换后的地图与摄取图像相关联地显示。

4.如权利要求1所述的电子设备，还包括：

图像摄取单元，该图像摄取单元生成所述摄取图像；

其中，每当生成所述摄取图像，所述转换单元都对包括各个所生成的摄取图像的图像摄取期间的图像摄取位置的地图执行转换；并且

其中，每当生成所述摄取图像，所述显示控制单元都使转换后的地图与各个所生成的摄取图像相关联地显示。

5.如权利要求1所述的电子设备，还包括：

内容存储单元，该内容存储单元存储所述摄取图像中包括的运动图像内容；

其中当指示所述运动图像内容的再现时，所述转换单元针对包括被指示再现的运动图像内容的各个摄取图像执行地图转换；并且

其中对于包括所述运动图像内容的各个摄取图像，所述显示控制单元使转换后的地图与摄取图像相关联地显示。

6.如权利要求1所述的电子设备，其中所述转换单元通过以下方式来转换所述地图：取所述图像摄取位置为旋转中心来旋转所述地图，从而使得所获取的图像摄取方向和所述特定方向在所述地图上彼此对应。

7.如权利要求1所述的电子设备，其中

所述地图是三维地图，该三维地图是通过将包括所述图像摄取位置的地图上的三维空间投影到平面上而由三维摄取图像形成的；

所述转换单元转换所述三维地图以使所述三维地图上的所获取的图像摄取方向与显示所述三维地图的显示平面上的特定方向彼此对应；并且

所述显示控制单元使转换后的三维地图与所述摄取图像相关联地显示。

8.如权利要求1所述的电子设备，其中所述显示控制单元使所述地图以叠加在所述摄取图像上的方式被显示。

9.如权利要求1所述的电子设备，其中所述图像摄取方向获取单元基于所述图像摄取位置来获取存在于所述摄取图像的中心位置的对象的方向作为图像摄取方向。

10.如权利要求1所述的电子设备，还包括：

视角和深度信息获取单元，所述视角和深度信息获取单元获取图像摄取期间的视角信息和深度信息；

其中所述显示控制单元使得图像摄取范围内的摄取图像以叠加在所述地图的图像摄取位置上的方式被显示，所述图像摄取范围指示由所获取的视角信息和深度信息指定的图像摄取范围。

11.一种显示控制方法，包括以下步骤：

基于摄取图像的图像摄取期间的图像摄取位置来获取图像摄取方向，该图像摄取方向是所述摄取图像中包含的对象所在的方向；

转换包括所述图像摄取位置的地图，以使所述地图上的所获取的图像摄取方向与显示所述地图的显示平面上的特定方向相对应；以及

使转换后的地图与所述摄取图像相关联地显示。

12.一种使计算机执行包括以下步骤的过程的程序：

基于摄取图像的图像摄取期间的图像摄取位置来获取图像摄取方向，该图像摄取方向是所述摄取图像中包含的对象所在的方向；

转换包括所述图像摄取位置的地图，以使所述地图上所获取的图像摄取方向与显示所述地图的显示平面上的特定方向相对应；以及

使转换后的地图与所述摄取图像相关联地显示。

Images