CN101902571B - 图像拍摄装置、电子设备、全景图像记录方法 - Google Patents

Abstract

本发明涉及图像拍摄装置、电子设备、全景图像记录方法及程序。该图像拍摄装置包括：图像拍摄单元，用于拍摄被摄物的图像并生成多个拍摄图像；方位获得单元，用于把拍摄所生成的多个拍摄图像之中的一个拍摄图像时的图像拍摄位置设定为基准并获得与该拍摄图像有关的方位；图像组合单元，用于组合所生成的多个拍摄图像并生成全景图像；代表性位置计算单元，用于计算所生成的全景图像中的水平方向上的代表性位置；方位计算单元，用于基于图像拍摄单元的特性信息、计算出的代表性位置和所获得的方位，计算所计算出的代表性位置处的方位；以及记录控制单元，用于与所生成的全景图像相关联地记录计算出的方位。

Description

图像拍摄装置、电子设备、全景图像记录方法

技术领域

本发明涉及图像拍摄装置。具体而言，本发明涉及被配置为对全景图像(panoramic image)执行图像处理的图像拍摄装置、电子设备、其处理方法以及用于指示计算机执行该方法的程序。 

背景技术

近年来，广泛地使用着诸如数码相机之类的图像拍摄装置，其被配置为通过拍摄诸如风景之类的被摄物的图像来生成拍摄图像并将所生成的拍摄图像记录为图像文件。另外，提出了一种全景图像生成方法，其通过连接由这种图像拍摄装置连续生成的多个拍摄图像来生成包含相对宽范围中的被摄物的全景图像。例如提出了如下这种全景图像生成方法来作为该全景图像生成方法：检测连续生成的拍摄图像之间的运动向量并且基于该检测到的运动向量来组合各个拍摄图像，以连接各个拍摄图像。 

另外，提出了一种图像拍摄装置，其被配置为获得这样生成的全景图像的方位(orientation)，并且通过使用该方位来对该全景图像执行显示控制等等。例如，提出了一种图像拍摄装置，其被配置为在改变装置主体的方向的同时生成多个拍摄图像，并且向各个相应的拍摄图像添加这些图像拍摄时的方位，以进行记录(例如，参见日本未实审专利申请公布No.2005-26859(图1))。 

发明内容

根据现有技术中的上述技术，可以通过使用为构成全景图像的各个拍摄图像获得的方位来对各个拍摄图像执行显示控制。 

这里，例如，设想一个全景图像被记录为一个图像文件的情况。 例如，在一个图像文件基于Exif(可交换图像文件格式)被记录在记录介质上时，基本上只有一条方位信息被记录在一个图像文件中。由于此原因，例如，同样在一个全景图像的图像文件基于Exif被记录在记录介质上的情况下，只有一条方位信息被记录在一个图像文件中。鉴于此，根据现有技术中的上述技术，设想为构成全景图像的各个图像获得的方位中的任何一个被记录在图像文件中作为该全景图像的方位信息。 

然而，由于全景图像包含相对宽范围中的被摄物，因此预期全景图像中包含的被摄物的方位具有相对宽的范围。由于此原因，在记录全景图像时，记录全景图像中的适当位置的方位是很重要的。另外，当使用全景图像时，根据使用情况适当地使用方位是很重要的。 

本发明是考虑到上述情况而做出的，并且希望适当地使用与全景图像有关的方位。

本发明已被提出来解决上述问题，并且本发明的一个实施例涉及一种图像拍摄装置、一种全景图像记录方法以及一种用于指示计算机执行该方法的程序，该图像拍摄装置包括：图像拍摄单元，被配置为拍摄被摄物的图像并且生成多个拍摄图像；方位获得单元，被配置为把拍摄所生成的多个拍摄图像之中的一个拍摄图像时的图像拍摄位置设定为基准，并且获得与该拍摄图像有关的方位；图像组合单元，被配置为组合所生成的多个拍摄图像并生成全景图像；代表性位置计算单元，被配置为计算所生成的全景图像中的水平方向上的代表性位置；方位计算单元，被配置为基于图像拍摄单元的特性信息、计算出的代表性位置以及所获得的方位，来计算被计算出的代表性位置处的方位；以及记录控制单元，被配置为与所生成的全景图像相关联地记录计算出的方位。利用此配置，获得了这样的效果，即，获得相对于所生成的多个拍摄图像之中的一个拍摄图像的方位，通过组合多个拍摄图像生成全景图像，计算所生成的该全景图像中的水平方向上的代表性位置，基于图像拍摄单元的特性信息、计算出的代表性位置以及所获得的方位来计算全景图像中的代表性位置处的方位，并且与全景 图像相关联地记录这个计算出的方位。 

另外，根据上述实施例，方位获得单元可获得在所生成的多个拍摄图像之中在时间轴上的第一拍摄图像中的中心位置处的方位来作为与该拍摄图像有关的方位，并且代表性位置计算单元可计算所生成的全景图像中的中心位置作为全景图像中的代表性位置。利用此配置，获得了这样的效果，即，获得了在所生成的多个拍摄图像之中在时间轴上的第一拍摄图像中的中心位置处的方位来作为与该拍摄图像有关的方位，并且计算出所生成的全景图像中的中心位置来作为全景图像中的代表性位置 

另外，根据上述实施例，特性信息可包括由图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。利用此配置，获得了这样的效果，即，利用包括由图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距在内的特性信息来计算全景图像中的代表性位置处的方位。 

另外，根据上述实施例，图像拍摄装置还可包括图像拍摄操作判定单元，该图像拍摄操作判定单元被配置为判定在生成多个拍摄图像时的图像拍摄操作状态，并且方位计算单元可在一特定图像拍摄操作状态被判定为图像拍摄操作状态的情况下，把所获得的方位设定为代表性位置处的方位。利用此配置，获得了这样的效果，即，在判定特定的图像拍摄操作状态的情况下，相对于多个拍摄图像之中的一个拍摄图像获得的方位被设定为全景图像中的代表性位置处的方位。 

另外，本发明的另一个实施例涉及一种电子设备、一种用于其的处理方法以及一种用于指示计算机执行该方法的程序，该电子设备包括：操作接受单元，被配置为接受指定全景图像中的一部分的范围的指定操作，该全景图像是通过组合多个拍摄图像生成的；图像提取单元，被配置为从全景图像中提取所指定的范围中包含的图像；方位计算单元，被配置为基于用来生成多个拍摄图像的图像拍摄单元的特性信息、全景图像中的代表性位置、与该代表性位置相对应的方位、以及所提取的图像中的代表性位置，来计算与所提取的图像中的代表性位置相对应的方位；以及记录控制单元，被配置为与所提取的图像相 关联地记录计算出的方位。利用此配置，获得了这样的效果，即，从全景图像中提取出所指定的范围中包含的图像，基于图像拍摄单元的特性信息、全景图像中的代表性位置、与该代表性位置相关联的方位以及所提取的图像中的代表性位置来计算与所提取的图像中的代表性位置相对应的方位，并且与所提取的图像相关联地记录这个计算出的方位。 

另外，本发明的另一个实施例涉及一种电子设备、一种用于其的处理方法以及一种用于指示计算机执行该方法的程序，该电子设备包括：操作接受单元，被配置为接受指定全景图像中的一部分的范围的指定操作，该全景图像是通过组合多个拍摄图像生成的；图像提取单元，被配置为从全景图像中提取所指定的范围中包含的图像；方位计算单元，被配置为基于全景图像中的水平方向上的大小、与全景图像的图像拍摄范围相对应的角度、全景图像中的代表性位置、与该代表性位置相关联的方位、以及所提取的图像中的代表性位置，来计算所提取的图像中的代表性位置处的方位；以及记录控制单元，被配置为与所提取的图像相关联地记录计算出的方位。利用此配置，获得了这样的效果，即，从全景图像中提取出所指定的范围中包括的图像，基于全景图像中的水平方向上的大小、与全景图像的图像拍摄范围相对应的角度、全景图像中的代表性位置、与该代表性位置相关联的方位以及所提取的图像中的代表性位置，来计算所提取的图像中的代表性位置处的方位，并且与所提取的图像相关联地记录该计算出的方位。 

另外，本发明的另一个实施例涉及一种电子设备、一种用于其的处理方法以及一种用于指示计算机执行该方法的程序，该电子设备包括：特定方位位置计算单元，被配置为基于通过组合多个拍摄图像生成的全景图像中的水平方向上的大小、该全景图像中的代表性位置、与该代表性位置相关联的方位、以及用来生成多个拍摄图像的图像拍摄单元的特性信息，来计算该全景图像中的特定方位以及该全景图像中与该特定方位相对应的位置；图像提取单元，被配置为从全景图像中提取出全景图像中包括计算出的位置在内的预定范围中所含的图 像；以及显示控制单元，被配置为使所提取的图像与特定方位相关联地进行显示。利用此配置，获得了这样的效果，即，基于全景图像中的水平方向上的大小、该全景图像中的代表性位置、与该代表性位置相关联的方位以及图像拍摄单元的特性信息，来计算全景图像中的特定方位以及全景图像中与该特定方位相对应的位置，从全景图像中提取出全景图像中包括计算出的位置在内的预定范围中所含的图像，并且与特定方位相关联地显示所提取的图像。 

另外，根据上述实施例，在全景图像中存在多个特定方位的情况下，特定方位位置计算单元可计算多个特定方位，显示控制单元可显示计算出的各个特定方位，电子设备还可包括操作接受单元，该操作接受单元被配置为接受从所显示的特定方位之中选择希望的特定方位的选择操作，图像提取单元可从全景图像中提取包括与所选择的特定方位相对应的位置在内的预定范围中所含的图像，并且显示控制单元可使所提取的图像与所选择的特定方位相关联地进行显示。利用此配置，获得了这样的效果，即，显示计算出的各个特定方位，当接受了从所显示的特定方位之中选择希望的特定方位的选择操作时，从全景图像中提取包括与这个所选择的特定方位相对应的位置在内的预定范围中所含的图像，并且与所选择的特定方位相关联地显示这个提取的图像。 

另外，本发明的另一个实施例涉及一种电子设备、一种用于其的处理方法以及一种用于指示计算机执行该方法的程序，该电子设备包括：特定对象检测单元，被配置为检测通过组合多个拍摄图像生成的全景图像中包含的特定对象；特定对象方位计算单元，被配置为基于检测到的特定对象在全景图像中的位置、用来生成多个拍摄图像的图像拍摄单元的特性信息、全景图像中的代表性位置、以及与该代表性位置相关联的方位，来计算与检测到的特定对象的位置相对应的方位；图像提取单元，被配置为从全景图像中提取出包括检测到的特定对象在内的预定范围中所含的图像；以及显示控制单元，被配置为使所提取的图像与计算出的方位相关联地进行显示。利用此配置，获得 了这样的效果，即，检测全景图像中包含的特定对象，基于这个检测到的特定对象在全景图像中的位置、图像拍摄单元的特性信息、全景图像中的代表性位置以及与该代表性位置相关联的方位，来计算与检测到的特定对象的位置相对应的方位，从全景图像中提取出包括检测到的特定对象在内的预定范围中所含的图像，并且与计算出的方位相关联地显示所提取的图像。 

另外，本发明的另一个实施例涉及一种电子设备、一种用于其的处理方法以及一种用于指示计算机执行该方法的程序，该电子设备包括：图像变换单元，被配置为基于通过组合多个拍摄图像生成的全景图像中的水平方向上的大小、与该全景图像的图像拍摄范围相对应的角度以及该全景图像中的代表性位置，对该全景图像进行变换；以及显示控制单元，被配置为基于生成全景图像时的图像拍摄位置，在地图上布置和显示变换后的全景图像。利用此配置，获得了这样的效果，即，基于全景图像中的水平方向上的大小、与全景图像的图像拍摄范围相对应的角度以及与全景图像中的代表性位置相关联的方位，对该全景图像进行变换，并且基于生成全景图像时的图像拍摄位置，在地图上布置和显示变换后的全景图像。 

另外，根据上述实施例，图像变换单元可以把全景图像变换成扇形形状，以使变换后的全景图像中包含的被摄物的方位与地图上的方位基本一致。利用此配置，获得了这样的效果，即，把全景图像变换成扇形形状，以使变换后的全景图像中包含的被摄物的方位与地图上的方位基本一致。 

另外，根据上述实施例，显示控制单元可以把变换后的全景图像布置和显示在地图上，以使变换后的全景图像的中心角度处的位置与地图上的图像拍摄位置基本一致。利用此配置，获得了这样的效果，即，把变换后的全景图像布置和显示在地图上，以使变换后的全景图像的中心角度处的位置与地图上的图像拍摄位置基本一致。 

另外，根据上述实施例，在全景图像包含特定对象的情况下，图像变换单元可提取包含特定对象的特定对象图像，并且把所提取的特 定对象图像重叠在变换后的全景图像上而进行组合。利用此配置，获得了这样的效果，即，在全景图像中包含特定对象的情况下，提取包含特定对象的特定对象图像，并且把所提取的这个特定对象图像重叠在变换后的全景图像上而进行组合。 

另外，本发明的另一个实施例涉及一种电子设备、一种用于其的处理方法以及一种用于指示计算机执行该方法的程序，该电子设备包括：图像变换单元，被配置为将通过组合多个拍摄图像生成的全景图像中的垂直方向设定为边界，然后把该全景图像分割成预定的数目以生成多个图像，基于用来生成多个拍摄图像的图像拍摄单元的特性信息、全景图像中的代表性位置、与该代表性位置相关联的方位、以及分割后的各个图像中的代表性位置，来计算与分割后的各个图像中的代表性位置相对应的方位，并且基于计算出的方位来旋转分割后的各个图像；以及显示控制单元，被配置为基于生成全景图像时的图像拍摄位置，在地图上布置和显示分割后的各个图像。利用此配置，获得了这样的效果，即，以全景图像中的垂直方向为边界，把该全景图像分割成预定的数目以生成多个图像，基于图像拍摄单元的特性信息、全景图像中的代表性位置、与该代表性位置相关联的方位以及分割后的各个图像中的代表性位置，来计算与分割后的各个图像中的代表性位置相对应的方位，基于计算出的方位来旋转分割后的各个图像，并且基于生成全景图像时的图像拍摄位置，在地图上布置和显示分割后的各个图像。 

另外，根据上述实施例，图像变换单元可旋转分割后的各个图像，以使分割后的各个图像中的代表性位置处的方位与地图中的方位基本一致。利用此配置，获得了这样的效果，即，旋转各个图像中的代表性位置，以使分割后的各个图像中的代表性位置处的方位与地图上的方位基本一致。

另外，根据上述实施例，在全景图像包含特定对象的情况下，图像变换单元可改变边界的位置以使特定对象不与边界重叠，并且可分割全景图像。利用此配置，获得了这样的效果，即，在全景图像中包 含特定对象的情况下，在改变边界的位置以使特定对象不与边界重叠的情况下分割全景图像。 

根据本发明的上述实施例，可以获得能够适当地使用与全景图像有关的方位的卓越效果。 

附图说明

图1是根据本发明第一实施例的图像拍摄装置的内部配置示例的框图； 

图2是根据本发明第一实施例的图像拍摄装置的功能配置示例的框图； 

图3A至3C示出了根据本发明第一实施例的图像存储单元中存储的图像文件的文件结构的示例； 

图4示意性地示出了根据本发明第一实施例的图像存储单元中存储的图像文件； 

图5A和5B示意性地示出了根据本发明第一实施例构成由图像组合单元生成的全景图像的多个拍摄图像和生成这些拍摄图像时图像拍摄装置的图像拍摄操作状态之间的关系； 

图6A至6C示意性地示出了根据本发明第一实施例的图像组合单元对全景图像的生成方法； 

图7示意性地示出了根据本发明第一实施例从上方看图像拍摄单元的设备特性和图像拍摄单元所生成的拍摄图像之间的关系的情况； 

图8A和8B示出了根据本发明第一实施例的全景信息计算单元对全景图像中的代表性位置的方位计算方法的概略； 

图9是根据本发明第一实施例的图像拍摄装置进行的全景图像记录处理的处理过程的流程图； 

图10A和10B示意性地示出了根据本发明第一实施例当图像拍摄装置生成全景图像时的图像拍摄操作； 

图11是根据本发明第一实施例的图像拍摄装置进行的全景图像 记录处理的处理过程的流程图； 

图12是根据本发明第二实施例的图像拍摄装置的功能配置示例的框图； 

图13A和13B示出了根据本发明第二实施例的显示单元中的显示画面的显示示例； 

图14A和14B示出了根据本发明第二实施例的方位计算单元对修剪图像(trimming image)中的代表性位置的方位计算方法的概略； 

图15A至15C示意性地示出了根据本发明第二实施例由图像提取单元生成的修剪图像和存储在图像存储单元中的修剪图像的图像文件之间的关系； 

图16A和16B示出了根据本发明第二实施例的显示单元中的显示画面的显示示例； 

图17A和17B示出了根据本发明第二实施例由特定方位位置计算单元进行的检测各个特定方位及其位置的特定方位和位置检测方法的概略； 

图18A和18B示出了根据本发明第二实施例由特定方位位置计算单元进行的检测各个特定方位及其位置的特定方位和位置检测方法的概略； 

图19A和19B示出了根据本发明第二实施例的显示单元中的显示画面的显示示例； 

图20A和20B示出了根据本发明第二实施例由特定对象方位计算单元进行的检测各个特定对象的方位的特定对象方位检测方法的概略； 

图21是根据本发明第二实施例的图像拍摄装置对全景图像的图像提取处理的处理过程的流程图； 

图22是根据本发明第三实施例的图像拍摄装置的功能配置示例的框图； 

图23A和23B示出了根据本发明第三实施例的图像变换单元对全景图像的变换方法的概略； 

图24A和24B示出了根据本发明第三实施例的图像变换单元所变换的全景图像的转变示例； 

图25A至25C示出了根据本发明第三实施例的图像变换单元所变换的全景图像的转变示例； 

图26A至26C示出了根据本发明第三实施例的图像变换单元所变换的全景图像的转变示例； 

图27A和27B示出了根据本发明第三实施例与存储在地图数据存储单元中的地图数据相对应的区域中的图像拍摄操作和通过该图像拍摄操作生成的全景图像之间的关系的概略； 

图28A和28B示出了根据本发明第三实施例在下述情况下的显示示例：在与地图数据存储单元中存储的地图数据相对应的地图上，重叠了在与该地图相对应的区域中生成的全景图像； 

图29示出了根据本发明第三实施例在下述情况下的显示示例：在与地图数据存储单元中存储的地图数据相对应的地图上，重叠了在与该地图相对应的区域中生成的全景图像； 

图30示出了根据本发明第三实施例在下述情况下的显示示例：在与地图数据存储单元中存储的地图数据相对应的地图上，重叠了在与该地图相对应的区域中生成的全景图像； 

图31A和31B示出了根据本发明第三实施例在下述情况下的显示示例：在与地图数据存储单元中存储的地图数据相对应的地图上，重叠了在与该地图相对应的区域中生成的全景图像； 

图32是根据本发明第三实施例的图像拍摄装置进行的图像显示处理的处理过程的流程图；并且 

图33A和33B示出了根据本发明第三实施例的图像变换单元对全景图像的变换方法的概略。 

具体实施方式

下面，将描述用于实现本发明的实施例(以下将称之为实施例)。描述按以下顺序进行。 

1.第一实施例(对全景图像中的各个位置的方位计算控制：通过使用一个拍摄图像的方位来计算全景图像的方位的示例) 

2.第二实施例(全景图像中的方位计算和使用方位的图像提取控制：当从全景图像中提取图像的一部分时的方位计算以及使用方位从全景图像中提取图像的示例) 

3.第三实施例(对全景图像的转换控制：利用方位的全景图像变换以及地图上的布置的示例) 

4.修改例 

1.第一实施例 

图像拍摄装置的配置示例 

图1是根据本发明第一实施例的图像拍摄装置100的内部配置示例的框图。图像拍摄装置100设有图像拍摄单元111、方位传感器112、GPS(全球定位系统)单元113、网络控制器114、分辨率转换单元120以及图像压缩解压单元130。另外，图像拍摄装置100设有ROM(只读存储器)140、RAM(随机访问存储器)150以及CPU(中央处理单元)160。另外，图像拍摄装置100设有LCD(液晶显示器)控制器171、LCD 172、输入控制单元181、操作单元182、可移动介质控制器191以及可移动介质192。应当注意，构成图像拍摄装置100的各个单元之间的互连是经由总线101实现的。图像拍摄装置100例如可由能够通过拍摄被摄物的图像以生成多个拍摄图像并且组合这些图像来生成全景图像的数码相机实现。 

图像拍摄单元111被配置为通过基于CPU 160的控制转换来自被摄物的入射光来生成图像数据(拍摄图像)并且把所生成的图像数据送至RAM 150。更具体而言，图像拍摄单元111设有光学单元、图像拍摄元件以及信号处理单元。光学单元由用于收集来自被摄物的光的多个透镜(例如变焦透镜和聚焦透镜)构成，并且来自被摄物的光经由这些透镜和光圈被送至图像拍摄元件。另外，经由光学单元入射的被摄物的光学图像被成像在图像拍摄元件的成像平面上。在此状态 中，图像拍摄元件执行图像拍摄操作并把图像拍摄信号输出到信号处理单元。然后，随着信号处理单元对图像拍摄信号执行信号处理，图像数据被生成，并且所生成的该图像数据被依次送至RAM 150以临时存储。应当注意，对于图像拍摄元件，例如可使用CCD(电荷耦合器件)传感器、CMOS(互补金属氧化物半导体)传感器等等。 

方位传感器112是用于通过利用地磁测量地球上的方位并将所测量的方位输出到CPU 160的传感器。例如，方位传感器112是由相互垂直的双轴线圈(例如，x轴和y轴)以及设在其中心部分的MR元件(磁阻元件)构成的磁场传感器。该MR元件是用于感测地磁并且由于磁力大小而改变电阻值的元件。MR元件的电阻变化被线圈的两个轴分割成两个方向上的分量(例如，x轴和y轴上的分量)，并且方位是基于两个方向上的分量的地磁比来计算的。这里，根据本发明的第一实施例，方位传感器112测量图像拍摄装置100的图像拍摄方向的方位。该图像拍摄方向是从图像拍摄位置(例如，图像拍摄装置100所在的位置)到由图像拍摄单元111生成的拍摄图像中包含的被摄物所在的位置的方向。例如，该图像拍摄方向可被设定为被摄物一侧的光轴方向。另外，例如，对于图像拍摄方向，当图像拍摄位置被设定为基准时，在拍摄图像中存在于中心位置的被摄物的方向可被设定为图像拍摄方向。应当注意，根据本发明的第一实施例，说明了利用方位传感器112来获得图像拍摄方向的例子，但是也可使用通过图像拍摄方向的另一种获得方法来获得的图像拍摄方向。例如，可以使用基于GPS信号测量的方位。 

GPS单元113被配置为基于由GPS信号接收天线(未示出)接收的GPS信号来计算图像拍摄位置信息并且把计算出的图像拍摄位置信息输出到CPU 160。该计算出的图像拍摄位置信息包括与纬度、经度、高度等等有关的各条数据。应当注意，根据本发明的第一实施例，说明了使用基于GPS信号计算的图像拍摄位置信息的例子，但是也可使用通过图像拍摄位置信息的另一种获得方法来获得的图像拍摄位置信息。例如，通过存在于周围的无线LAN(局域网)使用接 入点信息来得出图像拍摄位置信息，并且可以获得和使用该图像拍摄位置信息。 

网络控制器114连接到网络115，基于CPU 160的指令执行通过网络115进行的通信控制。网络115例如是诸如无线LAN之类的网络。网络控制器114例如经由网络115把存储在可移动介质192中的图像文件(图像内容)提供给另一装置(例如，个人计算机)。另外，网络控制器114例如经由网络115获得诸如图像文件之类的内容。然后，所获得的该内容被送至可移动介质192存储。 

分辨率转换单元120被配置为基于来自CPU 160的控制信号把输入的各种图像数据转换成适合于相应图像处理的分辨率。 

图像压缩解压单元130被配置为基于来自CPU 160的控制信号，根据相应的图像处理，对输入的各种图像数据进行压缩或解压。图像压缩解压单元130例如把输入的各种图像数据压缩或解压成JPEG(联合图片专家组)格式的图像数据。 

ROM 140是只读存储器，并且被配置为存储各种控制程序等等。 

RAM 150是用作CPU 160的主存储器(主存储装置)的存储器，并且设有用于在CPU 160上执行的程序的工作区等等，其中临时存储了用来供CPU 160执行各种处理的程序和数据。另外，RAM 150设有用于各种图像处理的图像保存区。 

CPU 160被配置为基于存储在ROM 140中的各种控制程序来控制图像拍摄装置100的各个单元。另外，CPU 160基于由操作单元182接受的操作输入等等来控制图像拍摄装置100的各个单元。 

LCD控制器171被配置为基于来自CPU 160的控制信号在LCD172上显示各种图像数据。 

LCD 172是用于显示与从LCD控制器171送来的各条图像数据相对应的图像的显示单元。LCD 172顺次地显示例如与图像拍摄单元111生成的图像数据相对应的拍摄图像。另外，LCD 172显示例如与存储在可移动介质192中的图像文件相对应的图像。应当注意，取代LCD 172，例如可以使用诸如有机EL(电致发光)之类的显示面板。 另外，取代LCD 172，例如可以使用触摸面板，利用该触摸面板，用户可以通过用手指触摸或接近显示表面来进行操作输入。 

输入控制单元181被配置为基于来自CPU 160的指令，对操作单元182接受的操作输入进行控制。 

操作单元182是用于接受用户做出的操作输入的操作单元，并且根据所接受的操作输入向CPU 160输出信号。例如，图像拍摄装置100设有诸如快门按钮之类的操作构件，用于在记录全景图像的全景图像拍摄模式中指示全景图像拍摄操作开始和全景图像拍摄操作结束。另外，操作单元182和LCD 172可以构造成一体。 

可移动介质控制器191连接到可移动介质192，并且被配置为基于来自CPU 160的控制信号从可移动介质192读取数据以及向可移动介质192写入数据。例如，可移动介质控制器191把诸如由图像拍摄单元111生成的图像数据之类的各种图像数据以图像文件(图像内容)的形式记录在可移动介质192中。另外，可移动介质控制器191从可移动介质192读出诸如图像文件之类的内容，以经由总线101输出到RAM 150等等。 

可移动介质192是用于记录从可移动介质控制器191送来的图像数据的记录设备。在可移动介质192中，例如记录了诸如JPEG(联合图片专家组)格式的图像数据之类的各种数据。例如可使用带(例如，磁带)和光盘(例如，可记录DVD(数字多功能盘))作为可移动介质192。另外，例如可使用磁盘(例如，硬盘)、半导体存储器(例如，存储卡)、磁光盘(例如，MD(MiniDisc))作为可移动介质192。 

图2是根据本发明第一实施例的图像拍摄装置100的功能配置示例的框图。图像拍摄装置100设有图像存储单元200、操作接受单元210、图像拍摄单元211、方位获得单元212、图像拍摄位置获得单元213、拍摄图像保存单元220以及运动量检测单元230。另外，图像拍摄装置100设有图像组合单元240、脸部检测单元250、中心位置计算单元260、图像拍摄操作判定单元270、全景信息计算单元280以 及记录控制单元290。这里，根据本发明的各个实施例，在描述术语“图像”的情况下，图像至少包括图像本身和用于显示该图像的图像数据中的任一种含义。 

图像存储单元200被配置为基于记录控制单元290的控制以图像文件的形式记录从图像组合单元240输出的全景图像以及与该全景图像有关的各条信息。应当注意，图像存储单元200对应于图1所示的可移动介质192。 

操作接受单元210是用于接受用户的操作输入并且根据所接受的操作输入把操作内容输出到图像拍摄单元211和图像拍摄操作判定单元270的操作接受单元。例如，在设定了全景图像拍摄模式的情况下，当接受用于指示全景图像拍摄操作开始的开始指示操作时，操作接受单元210把该操作内容输出到图像拍摄单元211和图像拍摄操作判定单元270。另外，在执行全景图像的图像拍摄操作的同时，在接受了用于指示全景图像拍摄操作的结束指示操作的情况下，操作接受单元210把该操作内容输出到图像拍摄单元211和图像拍摄操作判定单元270。这些开始指示操作和结束指示操作例如是通过快门操作来进行的。另外，在设定了全景图像拍摄模式的情况下，当接受用于设定是否改变根据图像拍摄操作状态的方位确定方法的操作输入时，操作接受单元210把该操作内容输出到图像拍摄操作判定单元270。应当注意，操作接受单元210对应于图1所示的输入控制单元181和操作单元182。 

图像拍摄单元211被配置为拍摄被摄物的图像以生成拍摄图像，并顺次地把所生成的拍摄图像送至拍摄图像保存单元220。例如，在设定了全景图像拍摄模式的情况下，当操作接受单元210接受了用于指示全景图像拍摄操作开始的开始指示操作时，图像拍摄单元211开始生成全景图像。另外，在操作接受单元210接受了用于指示全景图像拍摄操作结束的结束指示操作时，图像拍摄单元211结束全景图像的生成。应当注意，图像拍摄单元211对应于图1所示的图像拍摄单元111。 

方位获得单元212被配置为获得与图像拍摄方向有关的方位并把所获得的方位输出到图像拍摄操作判定单元270和全景信息计算单元280。应当注意，方位获得单元212对应于图1所示的方位传感器112。 

图像拍摄位置获得单元213被配置为获得与图像拍摄位置有关的图像拍摄位置信息并把所获得的图像拍摄位置信息输出到图像拍摄操作判定单元270和记录控制单元290。应当注意，图像拍摄位置获得单元213对应于图1所示的GPS单元113。 

拍摄图像保存单元220被配置为保存从图像拍摄单元211输出的各个拍摄图像并把所保存的各个拍摄图像送至运动量检测单元230和图像组合单元240。应当注意，拍摄图像保存单元220对应于图1所示的RAM 150。 

运动量检测单元230被配置为针对从拍摄图像保存单元220送来的各个拍摄图像，检测相邻拍摄图像之间的运动量和运动方向，并把检测到的运动量和运动方向输出到图像组合单元240。应当注意，运动量检测单元230对应于图1所示的CPU 160。 

图像组合单元240被配置为基于从运动量检测单元230输出的运动量和运动方向对由拍摄图像保存单元220保存的各个拍摄图像进行组合，由此生成全景图像。然后，图像组合单元240把所生成的全景图像输出到脸部检测单元250、中心位置计算单元260和记录控制单元290。应当注意，将参考图5A、5B以及图6A至6C来详细描述全景图像的生成。另外，图像组合单元240对应于图1所示的CPU 160。 

脸部检测单元250被配置为检测从图像组合单元240输出的全景图像中包含的脸部，并把与检测到的脸部有关的脸部信息输出到记录控制单元290。例如可以使用通过记录有脸部的亮度分布信息的模板与拍摄图像之间的一致的脸部检测方法(例如，参见日本未实审专利申请公布No.2004-133637)和基于拍摄图像中包含的皮肤颜色的一部分和人类脸部的特性量的脸部检测方法来作为脸部检测方法。另外，脸部信息包括检测到的脸部的位置和大小。这里，检测到的脸部的位 置例如是包含检测到的脸部的至少一部分的矩形的位置(例如，矩形的左上角处的坐标)。另外，检测到的脸部的大小例如是该矩形的大小(例如，该矩形的水平方向和垂直方向上各自的像素数目)。应当注意，作为检测对象，除人脸之外的物体可被设定为对象。另外，脸部检测单元250对应于图1所示的CPU 160。 

中心位置计算单元260被配置为基于从图像组合单元240输出的全景图像的水平方向上的长度来计算全景图像中的中心位置。然后，中心位置计算单元260把计算出的中心位置和被设定为计算对象的全景图像的水平方向上的长度输出到全景信息计算单元280。应当注意，中心位置计算单元260对应于图1所示的CPU 160。另外，中心位置计算单元260是权利要求的范围中记载的代表性位置计算单元的例子。 

图像拍摄操作判定单元270被配置为基于从方位获得单元212输出的方位和从图像拍摄位置获得单元213输出的图像拍摄位置信息，来判定图像拍摄装置100的图像拍摄操作状态。然后，图像拍摄操作判定单元270把判定结果输出到全景信息计算单元280。例如，在设定了全景图像拍摄模式的情况下，当操作接受单元210接受了表示改变根据图像拍摄操作状态的方位确定方法的操作输入时，图像拍摄操作判定单元270判定图像拍摄装置100的图像拍摄操作状态。另一方面，在操作接受单元210接受了表示不改变根据图像拍摄操作状态的方位确定方法的操作输入的情况下，图像拍摄操作判定单元270不判定图像拍摄装置100的图像拍摄操作状态。例如，在设定了全景图像拍摄模式的情况下，基于在操作接受单元210接受开始指示操作和结束指示操作时的方位和图像拍摄位置信息，判定图像拍摄装置100的图像拍摄操作状态。另外，图像拍摄操作判定单元270向全景信息计算单元280输出表示收到了开始指示操作和结束指示操作的状态。应当注意，将参考图10和10B来详细描述对图像拍摄操作状态的判定。另外，图像拍摄操作判定单元270对应于图1所示的图像拍摄单元111。 

全景信息计算单元280被配置为计算与由图像组合单元240生成的全景图像有关的方位和与全景图像的图像拍摄范围相对应的角度(全景角度)，并把计算出的方位和全景角度输出到记录控制单元290。例如，全景信息计算单元280基于从方位获得单元212输出的方位、从中心位置计算单元260输出的全景图像中的中心位置以及图像拍摄单元211的特性信息，计算全景图像中的中心位置处的方位。另外，全景信息计算单元280基于从中心位置计算单元260输出的全景图像的水平方向上的长度和图像拍摄单元211的特性信息，计算全景角度。应当注意，图像拍摄单元211的特性信息可被全景信息计算单元280保存并且也可从图像拍摄单元211顺次提供。应当注意，将参考图7、8A和8B来详细描述全景图像中的中心位置处的方位的计算方法和全景图像的计算方法。应当注意，全景信息计算单元280对应于图1所示的CPU 160。另外，全景信息计算单元280是权利要求的范围中记载的方位计算单元的例子。 

记录控制单元290被配置为以图像文件的形式把从图像组合单元240输出的全景图像和与全景图像有关的各条信息记录在图像存储单元200中。作为与全景图像有关的各条信息，例如，记录控制单元290把从全景信息计算单元280输出的方位和全景角度与相应的图像文件相关联地记录在图像存储单元200中。另外，图像文件例如经过分辨率转换以被压缩和记录为JPEG格式。应当注意，记录控制单元290对应于图1所示的分辨率转换单元120、图像压缩解压单元130、CPU 160和可移动介质控制器191。 

全景图像的图像文件的配置示例 

图3A至3C示出了根据本发明第一实施例的图像存储单元200中存储的图像文件的文件结构的例子。根据图3A至3C中所示的例子，示出了基于DCF(相机文件系统的设计规则)标准记录的静止图像文件的文件结构的概况。DCF是用于实现图像通过记录介质在诸如数码相机和打印机之类的设备之间相互利用的文件系统标准。另外， DCF控制若在记录介质上进行基于Exif(可交换图像文件格式)的记录时设定文件名和文件夹结构的方式。Exif是用于在图像文件中添加图像数据和相机信息的标准，并且控制记录图像文件的格式(文件格式)。图3A示出了图像文件300的配置例，图3B示出了附加信息310的配置例，并且图3C示出了制作者注释312的配置例。 

图像文件300是基于DCF标准记录的静止图像文件，并且如图3A所示是由附加信息310和图像信息320构成的。图像信息320例如是由图像拍摄单元111生成的，并且是经过分辨率转换单元120进行的分辨率转换并且被图像压缩解压单元130以JPEG格式压缩而获得的图像数据。 

附加信息310如图3B所示是由属性信息311和制作者注释312构成的。属性信息311是与图像文件300有关的属性信息等等，其例如包括GPS信息、方位信息、图像拍摄单元的特性信息(例如，设备特性)、图像拍摄更新日期和时间、图像大小、颜色空间信息、制作者(制造者)名称等等。GPS信息例如包括图像拍摄位置信息，例如纬度和经度(例如，TAGID＝1000001至1000004)。另外，方位信息包括表示拍摄图像的方位的方位信息(例如，TAGID＝1000016和1000017)。这里，作为拍摄图像的方位的单位(例如，TAGID＝1000016)，例如记录0.01度。另外，作为拍摄图像的方向(例如，TAGID＝1000017)，例如，当北被设定为0度(或360度)，东被设定为90度，南被设定为180度，并且西被设定为270度时，与方位传感器112获得的方位相对应的数值被记录。应当注意，表示角度的该数值也可被称为方位角度。另外，图像拍摄单元的特性信息例如包括诸如透镜焦距之类的图像拍摄单元的特性信息(例如，TAGID＝37386)。该透镜焦距例如是图7中所示的透镜焦距f。 

制作者注释312是总体上记录用户的独特数据并且各个制作者可自由记录信息的扩展区(TAGID＝37500，MakerNote)。如图3C所示，在制作者注释312中，例如记录了焦平面的宽度313作为图像拍摄单元的特性信息。焦平面的宽度313例如是图7所示的焦平面的 宽度W。另外，在制作者注释312中，记录构成全景图像的第一图像的宽度314、与全景图像的图像拍摄范围相对应的角度315以及脸部信息316。应当注意，在制作者注释312中，可记录图像拍摄位置信息、方位信息以及是否存在全景图像。 

构成全景图像的第一图像的宽度314是表示在构成由图像组合单元240生成的全景图像的多个拍摄图像之中的时间轴上的第一图像的宽度的值。该值例如可由全景图像的水平方向上的像素数目(即，水平分辨率)来表示，这对应于图8A和8B所示的H，等等。 

与全景图像的图像拍摄范围相对应的角度(全景角度)315是在拍摄全景图像时图像拍摄装置100被设定为基准的情况下图像拍摄范围的水平方向上的角度。该角度例如是相当于拍摄图像的水平方向上的视场角度的角度，这对应于图8A和8B所示的θ0，等等。 

脸部信息316是包括由图像组合单元240生成的全景图像中包含的脸部的位置和大小的信息。 

图4示意性地示出了根据本发明第一实施例的图像存储单元200中存储的图像文件。图像文件330是由图像组合单元240生成的全景图像的静止图像文件，其中记录了附加信息331和图像信息332。在附加信息331中，记录了图4所示的各条信息作为元信息。这些信息类似于图3A至3C中描述的那些，因此这次将省略对其的描述。 

以这种方式，在执行对全景图像的图像拍摄操作的情况下，由图像组合单元240生成的全景图像被记录在图像信息332中，与该全景图像有关的附加信息被记录在附加信息331中。应当注意，将参考图5A、5B和6A至6C详细描述构成图像文件330的全景图像的生成方法。 

全景图像的生成示例 

图5A和5B示意性地示出了根据本发明第一实施例构成由图像组合单元240生成的全景图像的多幅拍摄图像和生成这些拍摄图像时图像拍摄装置100的图像拍摄操作状态之间的关系。图5A示出了由 图像拍摄单元211生成的拍摄图像401至404。图5B示出了在生成拍摄图像401至404的情况下图像拍摄装置100的图像拍摄操作状态的转变。 

图5A所示的拍摄图像401至404是在山脉、山前的房屋等等被设定为被摄物时拍摄的图像。拍摄图像401至404例如如图5B所示是通过将图像拍摄装置100的位置设定为基准的同时在水平方向(箭头405的方向)上移动图像拍摄装置100的图像拍摄操作(所谓的摇摄(panning)操作)来生成的。例如，当在摄影者保持按住快门按钮的同时进行图像拍摄装置100的摇摄操作时，执行全景图像的图像拍摄操作(所谓的扫式全景)。另外，对于拍摄图像401至404，可以由方位获得单元212获得方位。在此示例中，拍摄图像401至404中包含的被摄物的中心位置421至424由十字标记表示。另外，拍摄图像401包括人脸411，并且拍摄图像403包括人脸413。 

在图5B中，图5A所示的拍摄图像401至404被虚拟地排列在一圆圈上(在虚线406上)，并且在从上方看拍摄图像401至404的情况下的位置关系由矩形401至404示意性地表示。应当注意，在图5B中，与相应的拍摄图像401至404相同的标号被赋予各个矩形。另外，对于拍摄图像401至404中包含的被摄物的中心位置(水平方向上的位置)，赋予了与图5A所示的中心位置421至424相同的标号。另外，在图5B所示的图像拍摄操作状态中生成的拍摄图像401至404的视场角度由θ表示。应当注意，拍摄图像401至404是在进行图像拍摄操作以使得在水平方向上的至少一部分区域中包含相同被摄物的同时生成的拍摄图像。 

图6A至6C示意性地示出了根据本发明第一实施例的图像组合单元240对全景图像的生成方法。应当注意，图6A所示的拍摄图像401至404与图5A所示的相同。 

如图6A所示，图像拍摄单元211依次生成拍摄图像401至404。这样生成的拍摄图像401至404被依次送至拍摄图像保存单元220，并且拍摄图像保存单元220保存多幅拍摄图像。然后，这样保存的拍 摄图像被送至运动量检测单元230和图像组合单元240。 

然后，运动量检测单元230针对由拍摄图像保存单元220保存的拍摄图像，检测相邻拍摄图像之间的运动量和运动方向(即，相邻拍摄图像之间的相对位移方向)。然后，运动量检测单元230将检测到的运动量和运动方向提供给图像组合单元240。例如，运动量检测单元230依次比较按时间顺序相邻的各帧之间的拍摄图像，以检测拍摄图像保存单元220中的相邻拍摄图像之间的运动量和运动方向。 

然后，如图6B所示，图像组合单元240基于相邻拍摄图像之间的运动量和运动方向，以相互重叠的区域被相互重叠的方式，对由拍摄图像保存单元220保存的拍摄图像401至404进行组合。通过该组合，生成了组合图像430。在此情况下，例如，对于存在于从在图像拍摄元件的成像平面上组合的拍摄图像的一部分起的预定宽度的读取范围中的部分图像，以相互重叠的区域被相互重叠的方式进行连接，可生成组合图像(例如，参见日本未实审专利申请公布No.2005-33396)。另外，例如，通过对于各拍摄图像之间的重叠区域获得像素值相互相关的相对位移并基于该相对位移执行组合处理，可以提高重叠图像时定位处理的精度。应当注意，通过该定位处理，可以利用Lucas-Kanade法、块一致法等来获得相对位移。 

然后，如图6C所示，图像组合单元240对由拍摄图像401至404构成的组合图像430执行修剪处理。该修剪处理是切掉全景图像的一部分的图像区域(例如中心附近的图像区域)的图像处理。例如，基于相邻拍摄图像之间的运动量和运动方向，图像组合单元240检测从全景图像拍摄操作开始到全景图像拍摄操作结束、拍摄图像之间的运动方向(例如，水平方向)。然后，图像组合单元240基于检测到的运动方向对组合图像430执行修剪处理，以生成全景图像431。在图6C中，与拍摄图像401至404相对应的矩形由虚线表示，并且通过修剪处理生成的全景图像431由粗线矩形表示。应当注意，在从全景图像拍摄操作开始到全景图像拍摄操作结束的拍摄图像之间的运动方向有倾斜的情况下，图像组合单元240例如根据运动方向在倾斜方 向上应用修剪处理。以这种方式产生倾斜的情况例如被设想为以下情况：摄影者没有保持图像拍摄装置100水平，图像拍摄操作是在图像拍摄装置100倾斜的同时进行的，等等。 

应当注意，根据本发明的第一实施例，说明了这样一个例子：当图像拍摄装置100的位置被设定为基准时，在摄影者在水平方向上移动图像拍摄装置100的同时，生成了全景图像。然而，例如，可以通过向图像拍摄装置100设置一用于旋转图像拍摄装置100的驱动单元并利用该驱动单元在水平方向上移动图像拍摄装置100，来生成全景图像。例如可以使用步进电机等等来作为该驱动单元的驱动源。另外，例如，可以使用通过提取各幅拍摄图像中的特征点并重叠该特征点来连接各幅拍摄图像的全景图像生成方法。 

另外，在此例子中，说明了这样一个例子：通过图像分析来检测用于生成全景图像的拍摄图像之间的运动量和运动方向。然而，例如，通过使用诸如陀螺仪传感器之类的角加速度传感器检测图像拍摄装置100的姿态的变化量并基于这个检测到的变化量检测拍摄图像之间的运动量和运动方向，从而可以使用该运动量和运动方向。例如可以使用用于实现相机抖动防止功能的传感器来作为角加速度传感器。通过以这种方式使用角加速度传感器，即使在运动量检测单元230没有准确地检测出运动量和运动方向的情况下，也可以检测相邻拍摄图像之间的相对位置。 

这里，例如，设想全景图像431被记录为一个图像文件的情况。例如，在一个图像文件基于Exif被记录在记录介质上的情况下，基本上，一条方位信息被记录在一个图像文件中。因此，例如，类似地，在全景图像431的图像文件基于Exif被记录在记录介质上的情况下，一条方位信息被记录在一个图像文件中。例如，可以设定相对于图像的中心位置获得的方位，来作为以这种方式记录在图像文件中的方位信息。例如，通过把相对于图像的中心位置获得的方位记录在图像文件中作为方位信息，可以在图像的水平方向上的中心位置被设定为基准的同时显示图像。 

鉴于此，根据本发明的第一实施例，说明了这样一个例子：全景图像中的代表性位置被设定为全景图像中包含的被摄物的中心位置，并且相对于该中心位置获得的方位被记录在图像文件中。 

这里，例如设想这样一种情况：相对于构成全景图像431的拍摄图像401至404中的中心位置421至424获得方位，并且将这样获得的方位中的任何一个记录在图像文件中作为全景图像431的方位。在此情况下，如图6C所示，这些方位(中心位置421至424处的方位)之中的任何一个是在与全景图像431中的中心位置432不同的位置处获得的方位。鉴于此，在下文中，将说明这样一个例子：计算全景图像中的代表性位置(例如，中心位置)处的方位。 

全景图像中的代表性位置处的方位的计算例子 

图7示意性地示出了根据本发明第一实施例从上方看图像拍摄单元211的设备特性和图像拍摄单元211所生成的拍摄图像之间的关系的情况。在图7中，图像拍摄单元211所生成的拍摄图像的水平方向上的图像拍摄范围450由一矩形示意性地表示为图像拍摄范围450。另外，图像拍摄单元211设有图像拍摄元件441和透镜442。应当注意，在图7中，图像拍摄元件441由一矩形示意性地表示，透镜442由一椭圆示意性地表示。 

例如，当来自图像拍摄范围450中包含的被摄物的入射光经由透镜442进入图像拍摄元件441时，与图像拍摄范围450中包含的被摄物相对应的拍摄图像被成像在图像拍摄元件441上。在被摄物的拍摄图像以这种方式被成像在图像拍摄元件441上的情况下，在图像拍摄元件441上成像的拍摄图像的水平方向上的长度被设定为焦平面的宽度w，并且焦距被设定为透镜焦距f。在此情况下，焦平面的宽度w、透镜焦距f、图像拍摄范围的宽度Dw、被摄物距离Df以及视场角度θ确立了图7所示的关系。另外，此情况下的视场角度θ可通过利用以下式1来获得。 

θ＝(180/π)×2tan^-1(w/2f)[deg]…式1 

这里，焦平面的宽度w和透镜焦距f是作为图像拍摄单元211的设备特性获得的特性值，并且这些值依据图像拍摄装置的型号而变。在下文中，将说明这样一个例子：利用图像拍摄单元的该设备特性来计算全景图像中的代表性位置处的方位。 

图8A和8B示出了根据本发明第一实施例的全景信息计算单元280对全景图像中的代表性位置的方位计算方法的概况。图8A示出了全景图像431。应当注意，全景图像431类似于图6C所示的全景图像431。在此例子中，将说明这样一个例子：利用相对于在生成全景图像时第一次生成的拍摄图像401所获得的方位，来计算全景图像中的代表性位置处的方位。例如，根据图8A所示的例子，将说明这样一个例子：利用相对于拍摄图像401的中心位置421所获得的方位，来计算全景图像431中的中心位置432处的方位。 

这里，当生成全景图像431时第一次生成的拍摄图像401的水平方向上的长度被设定为H。另外，从相对于拍摄图像401获得方位的位置(拍摄图像401的中心位置421)到全景图像431中的中心位置432的距离被设定为H1。另外，全景图像431的水平方向上的长度被设定为H0。这些长度例如可由水平方向上的像素数目(即，水平分辨率)来表示。 

图8B示出了在构成全景图像431的拍摄图像401至404被生成的情况下图像拍摄装置100的图像拍摄操作状态的转变。应当注意，图8B所示的例子与图5B所示的例子基本相同。因此，共同的部分被赋予相同的标号，并且对其的描述将被省略。 

在图8B中，与图8A所示的H0、H1和H相对应的部分分别被赋予相同的标号。这里，当由相对于拍摄图像401中的中心位置421获得的方位和全景图像431的中心位置432处的方位所限定的角度被设定为θ1时，角度θ1可利用以下式2来获得。 

θ1＝(θ/H)×H1…式2 

这里，可利用上述的式1来获得视场角度θ。另外，可以根据图像拍摄单元211的特性信息来识别H。利用这样计算出的θ1，可以计 算全景图像431的中心位置432处的方位。更具体而言，当图像拍摄装置100的位置被设定为基准时，相对于拍摄图像401的中心位置421所获得的方位被旋转θ1的情况下的值被计算，作为全景图像431的中心位置432处的方位。 

例如，作为在图像拍摄时图像拍摄装置100的位置(图像拍摄位置)被设定为基准的情况下的方位(东、西、南、北)，北被设定为0度(360度)，东被设定为90度，南被设定为180度，并且西被设定为270度。在此情况下，例如，在相对于拍摄图像401的中心位置421所获得的方位为270度，并且利用式2计算出的θ1为40度的情况下，全景图像431的中心位置432处的方位被计算为310度。 

另外，与全景图像431的图像拍摄范围相对应的角度(全景角度)被设定θ0，角度θ0可利用以下式3来获得。 

θ0＝(θ/H)×H0…式3 

这样计算出的全景图像431的中心位置处的方位和角度θ0被记录在全景图像431的图像文件中。 

如上所述，利用用于生成全景图像的一幅拍摄图像的方位，可以计算出代表性位置处的方位。因此，在生成全景图像时，可以抑制在累积拍摄图像时(所谓的摇摄期间)的处理负担。也就是说，在生成全景图像时，各个拍摄图像被临时保存，并且在临时保存的拍摄图像的数目较大的情况下处理负担变得较大。在此情况下，用于生成全景图像的各个拍摄图像的方位也被依次保存，处理负担进一步增大。与之不同，根据本发明的第一实施例，不保存用于生成全景图像的、除第一拍摄图像外的拍摄图像的方位，从而可以抑制在生成全景图像时的处理负担。 

另外，例如，在由于摄影者的手工动作而通过摇摄操作来生成全景图像的情况下(扫式全景)，在从图像拍摄操作开始到图像拍摄操作结束的时段期间，在许多情况下没有确定要生成的全景图像的大小。例如，由于摄影者的图像拍摄操作的停止时机、图像拍摄装置100的抖动等等，在图像拍摄操作期间未识别出全景图像的中心位置。另 外，例如，在摄影者摇摆图像拍摄装置100的方式不令人满意的情况下，被组合为全景图像的被摄区在一些情况下可能变窄。由于此原因，在图像拍摄操作期间，在许多情况下没有确定要生成的全景图像的中心位置是哪个位置。与之不同，根据本发明的第一实施例，在生成全景图像时，在确认了全景图像的水平方向上的长度之后，识别出了中心位置(代表性位置)。于是，在计算中心位置处的方位时，可以减小中心位置处的方位的误差。利用此配置，例如，在全景图像被布置在要显示的地图上的情况下，由于中心位置处的方位和地图上的方位可以基本相互一致地布置，因此可以在适当的方向上布置全景图像。 

应当注意，在此例子中，已经说明了这样一个例子：利用相对于在生成全景图像时第一次拍摄的拍摄图像所获得的方位，来计算全景图像中的代表性位置处的方位。然而，例如，利用相对于在第二次或之后拍摄的拍摄图像所获得的方位，也可计算全景图像中的代表性位置处的方位。另外，在此例子中，为了进行描述，全景图像中的水平方向上的中心位置被例示为全景图像中的代表性位置，但是，例如，该实施例也可类似地应用到其它位置被设定为代表性位置的情况。例如，在全景图像中包含人脸的情况下，脸部的位置可被设定为代表性位置。另外，在包含多个脸部的情况下，在这多个脸部之中具有最高特征量的脸部的位置可被设定为代表性位置。 

图像拍摄装置的操作示例 

图9是根据本发明第一实施例的图像拍摄装置100进行的全景图像记录处理的处理过程的流程图。在此例子中，将说明这样一个例子：在设定全景图像拍摄模式并且建立图像记录待用状态的情况下，通过快门操作开始全景图像的生成。 

首先，判定操作接受单元210是否接受了快门操作(用于指示全景图像拍摄操作开始的开始指示操作)(步骤S901)。在未接受快门操作的情况下，继续监视，直到接受快门操作为止。在接受了快门操作的情况下(步骤S901)，方位获得单元212获得与图像拍摄方向有 关的方位(步骤S902)，并且图像拍摄位置获得单元213获得与图像拍摄位置有关的图像拍摄位置信息(步骤S903)。应当注意，步骤S902是在权利要求的范围中记载的方位获得步骤的例子。 

然后，图像拍摄单元211拍摄被摄物的图像以生成拍摄图像(步骤S904)，并且所生成的拍摄图像被拍摄图像保存单元220保存(步骤S905)。应当注意，步骤S904是在权利要求的范围中记载的图像拍摄步骤的例子。然后，判定操作接受单元210是否接受了快门操作(用于指示全景图像拍摄操作结束的结束指示操作)(步骤S906)。在未接受快门操作的情况下，流程返回到步骤S904。在接受了快门操作的情况下(步骤S906)，图像组合单元240基于与拍摄图像保存单元220保存的各幅拍摄图像有关的运动量和运动方向，组合各幅拍摄图像以生成全景图像(步骤S907)。应当注意，步骤S907是在权利要求的范围中记载的图像组合步骤的例子。 

然后，中心位置计算单元260计算由图像组合单元240生成的全景图像中的中心位置(步骤S908)。应当注意，步骤S908是在权利要求的范围中记载的代表性位置计算步骤的例子。然后，全景信息计算单元280计算由图像组合单元240生成的全景图像的方位和全景角度(步骤S909)。应当注意，步骤S909是在权利要求的范围中记载的方位计算步骤的例子。然后，记录控制单元290把由图像组合单元240生成的全景图像和由全景信息计算单元280计算出的方位和全景角度作为为图像文件记录在图像存储单元200中(步骤S910)。在此情况下，例如，进行分辨率转换并且执行基于JPEG格式的压缩，以记录图像文件。然后，全景图像记录处理的操作结束。应当注意，步骤S910是在权利要求的范围中记载的记录控制步骤的例子。 

全景图像方位计算的修改例 

在上文中，已经描述了在图像拍摄装置100的位置被设定为基准的同时，摄影者执行图像拍摄装置100的摇摄操作以生成全景图像的情况下的方位计算示例。然而，例如也设想了通过在与被摄物基本平 行的直线上移动图像拍摄装置100来生成全景图像的情况。在以这种方式生成全景图像的情况下，在用于生成全景图像的各个拍摄图像的图像拍摄位置中，图像拍摄装置100的光轴上的方位基本彼此相等。由于此原因，不执行上述的方位计算，相对于拍摄图像中的任何一个的方位都可被用作全景图像中的代表性位置处的方位。鉴于此，在下文中，将描述根据全景图像的图像拍摄操作来改变全景图像中的代表性位置处的方位的确定方法的例子。 

图10A和10B示意性地示出了根据本发明第一实施例当图像拍摄装置100生成全景图像时的图像拍摄操作。图10A示意性地示出了从上方看，在图像拍摄装置100的位置被设定为旋转中心的同时，通过在水平方向上旋转图像拍摄装置100来生成全景图像的图像拍摄操作的状态。应当注意，图10A所示的例子与图5B所示的例子相同，因此此次将省略对其的描述。 

图10B示意性地示出了从上方看，通过在与被摄物基本平行的直线460上移动图像拍摄装置100来生成全景图像的图像拍摄操作的状态。图10B所示的图像拍摄操作例如是在与行进方向465垂直的方向被设定为图像拍摄装置100的光轴的同时，通过使用诸如车辆之类的能够以恒定速度移动的移动装置来执行的全景图像的图像拍摄操作。例如，手持图像拍摄装置100的人乘坐于其上的车辆以恒定速度在行进方向465上移动。在此情况下，如图10B所示，图像拍摄装置100的位置被依次改变，但是图像拍摄装置100的光轴为恒定方位。由于此原因，相对于拍摄图像461至464的中心位置471至474获得的方位之中的任何一个都可被用作通过图像拍摄操作生成的多个拍摄图像构成的全景图像中的代表性位置处的方位。 

这里，设想进行俯仰(tilting)操作的情况。例如，俯仰操作是在垂直方向上以图像拍摄装置100的位置为中心旋转图像拍摄装置100的操作。由于此原因，可以生成在垂直方向上拉长的全景图像。另外，在此情况下，如果在垂直方向上以小于90度进行旋转操作，则图像拍摄装置100的姿态被改变，但图像拍摄装置100的光轴为恒 定方位。鉴于此，相对于用于生成全景图像的各拍摄图像获得的方位之中的任何一个都可被用作通过俯仰操作生成的全景图像中的代表性位置处的方位。鉴于此，在此情况下，根据全景图像的图像拍摄操作，改变全景图像中的代表性位置处的方位的确定方法。 

这里，例如，在进行摇摄操作或俯仰操作的情况下，在操作时不改变图像拍摄位置，而只改变图像拍摄装置100的姿态。由于此原因，相对于时间轴上的第一个拍摄图像获得的图像拍摄位置基本上与相对于时间轴上的最后一个拍摄图像获得的图像拍摄位置相同。与之不同，例如，如图10B所示，在通过在直线460上移动图像拍摄装置100来生成全景图像的情况下，移动了图像拍摄装置100。由于此原因，相对于时间轴上的第一个拍摄图像获得的图像拍摄位置和相对于时间轴上的最后一个拍摄图像获得的图像拍摄位置彼此不同。 

另外，例如，在进行摇摄操作的情况下，在操作时改变方位。由于此原因，相对于时间轴上的第一个拍摄图像获得的方位和相对于时间轴上的最后一个拍摄图像获得的方位彼此不同。与之不同，在进行俯仰操作的情况下，在操作时基本上不改变方位。由于此原因，相对于时间轴上的第一个拍摄图像获得的方位与相对于时间轴上的最后一个拍摄图像获得的方位基本相同。 

另外，例如，如图10B所示，在通过移动图像拍摄装置100来生成全景图像的情况下，移动是在图像拍摄装置100的光轴朝着同一方向的状态中进行的，因此相对于各幅拍摄图像获得的方位基本相同。因此，相对于时间轴上的第一个拍摄图像获得的方位与相对于时间轴上的最后一个拍摄图像获得的方位基本相同。与之不同，即使在通过移动图像拍摄装置100来生成拍摄图像的某一情况下，也假定不使用这些拍摄图像来生成全景图像。例如，假定在通过移动图像拍摄装置100朝着各种方位的时候进行图像拍摄操作。在此情况下，预期相对于时间轴上的第一个拍摄图像获得的方位不同于相对于时间轴上的最后一个拍摄图像获得的方位。 

鉴于此，在用于生成全景图像的各幅拍摄图像之中，基于相对于 时间轴上的第一个拍摄图像和最后一个拍摄图像获得的方位和图像拍摄位置，图像拍摄操作判定单元270判定图像拍摄装置100的图像拍摄操作状态。 

例如，图像拍摄操作判定单元270将相对于时间轴上的第一个拍摄图像获得的图像拍摄位置(纬度和经度)与相对于时间轴上的最后一个拍摄图像获得的图像拍摄位置相比较。作为该比较的结果，在两个图像拍摄位置彼此基本相同的情况下，假定为进行摇摄操作或俯仰操作的情况。因此，图像拍摄操作判定单元270比较相对于时间轴上的第一个拍摄图像和最后一个拍摄图像获得的两个方位，并且在这两个方位彼此不同的情况下，判定进行了摇摄操作。另一方面，在这两个方位彼此基本相同的情况下，判定进行了俯仰操作。 

另外，作为比较相对于时间轴上的第一个拍摄图像和最后一个拍摄图像获得的两个图像拍摄位置的结果，在两个图像拍摄位置彼此不同的情况下，假定为通过移动图像拍摄装置100来生成全景图像的情况。鉴于此，图像拍摄操作判定单元270比较相对于时间轴上的第一个拍摄图像和最后一个拍摄图像获得的两个方位，并且在这两个方位彼此基本相同的情况下，判定进行了图10B所示的图像拍摄操作。另一方面，在这两个方位彼此不同的情况下，判定在与生成全景图像的图像拍摄模式不同的图像拍摄模式中进行了图像拍摄操作。 

基于这些判定结果，全景信息计算单元280确定全景图像中的代表性位置处的方位。例如，在判定进行了摇摄操作的情况下，全景信息计算单元280通过上述方位计算方法计算方位，并且将这个计算出的方位确定为全景图像中的代表性位置处的方位。另外，例如，在判定进行了俯仰操作或图10B的图像拍摄操作的情况下，全景信息计算单元280把相对于通过图像拍摄操作生成的各幅拍摄图像获得的方位之中的任何一个确定为全景图像中的代表性位置处的方位。 

以这种方式，图像拍摄操作判定单元270判定图像拍摄装置100的图像拍摄操作状态，并且基于该判定结果，确定全景图像中的代表性位置处的方位。利用此配置，即使在摄影者进行全景图像的各种图 像拍摄操作的情况下，也可以确定要记录在运动图片文件中的、根据图像拍摄操作的适当方位。 

在此例子中，已经说明了这样一个例子：在用于生成全景图像的各幅拍摄图像之中，利用相对于时间轴上的第一个拍摄图像和最后一个拍摄图像获得的方位和图像拍摄位置，来判定图像拍摄装置100的图像拍摄操作。然而，例如，利用诸如陀螺仪传感器之类的姿态检测传感器，也可以判定图像拍摄装置100的图像拍摄操作状态。 

图像拍摄装置的操作示例 

图11是根据本发明第一实施例的图像拍摄装置100进行的全景图像记录处理的处理过程的流程图。此示例是图9所示的全景图像记录处理的修改例，并且是根据图像拍摄装置100的图像拍摄操作状态来确定全景图像中的代表性位置处的方位的例子。由于此原因，与图9所示的处理过程相同的部分被赋予相同的标号，并且对其的描述将被省略。 

在接受了快门操作的情况下(步骤S901)，方位获得单元212获得与图像拍摄方向有关的方位(SD)(步骤S902)，并且图像拍摄位置获得单元213获得与图像拍摄位置(SG)有关的图像拍摄位置信息(步骤S903)。 

然后，在接受了快门操作的情况下(步骤S906)，方位获得单元212获得与图像拍摄方向有关的方位(ED)(步骤S911)，并且图像拍摄位置获得单元213获得与图像拍摄位置(EG)有关的图像拍摄位置信息(步骤S912)。然后，在图像组合单元240生成全景图像之后(步骤S907)，图像拍摄操作判定单元270比较图像拍摄位置(SG)与图像拍摄位置(EG)(步骤S913)。 

在图像拍摄位置(SG)与图像拍摄位置(EG)基本相同的情况下(步骤S913)，图像拍摄操作判定单元270比较方位(SD)与方位(ED)(步骤S914)。在方位(SD)与方位(ED)完全不同的情况下(步骤S914)，图像拍摄操作判定单元270判定进行了摇摄操作， 并且流程前进到步骤S908。另一方面，在方位(SD)与方位(ED)基本相同的情况下(步骤S914)，图像拍摄操作判定单元270判定进行了俯仰操作，并且流程前进到步骤S916。 

另一方面，在图像拍摄位置(SG)与图像拍摄位置(EG)有很大不同的情况下(步骤S913)，图像拍摄操作判定单元270比较方位(SD)与方位(ED)(步骤S915)。在方位(SD)与方位(ED)完全不同的情况下(步骤S914)，图像拍摄操作判定单元270判定在与生成全景图像的图像拍摄模式不同的图像拍摄模式中进行了图像拍摄操作，并且流程前进到步骤S910。另一方面，在方位(SD)与方位(ED)基本相同的情况下(步骤S915)，图像拍摄操作判定单元270判定进行了图10B所示的图像拍摄操作。然后，全景信息计算单元280把相对于构成全景图像的各幅拍摄图像获得的方位之中的任何一个确定为全景图像中的代表性位置处的方位(步骤S916)。 

然后，记录控制单元290把由图像组合单元240生成的全景图像和由全景信息计算单元280输出的元信息作为图像文件记录在图像存储单元200中(步骤S910)，并且全景图像记录处理的操作结束。 

2.第二实施例 

根据本发明的第一实施例，已经说明了在生成全景图像时计算全景图像中的代表性位置处的方位的例子。这里，全景图像在许多情况下成为了在水平方向上或在垂直方向上拉长的图像，因此预计不适合于特定的应用(例如，打印等等)。因此，在图像拍摄装置所记录的全景图像被用于特定应用的情况下，例如，修剪处理在一些情况下被执行，以用于提取全景图像的一部分并把所提取的这部分图像设定为图像文件。例如，假定这样一种情况：其中，对在水平方向上拉长的全景图像执行修剪处理。例如，在提取在水平方向上拉长的全景图像的水平方向上的一端部附近的图像的情况下，与这个提取的图像中包含的被摄物有关的方位预计与全景图像中的中心位置处的方位有很大不同。也就是说，由于从全景图像中提取的图像的位置偏离了中心 位置，因此预计在被摄物的方位中将会产生很大的误差。 

鉴于此，根据本发明的第二实施例，为了避免以这种方式在方位中产生误差，说明这样一个例子：基于通过修剪处理提取的图像(修剪图像)的中心位置以及与全景图像的中心位置的差异，来计算修剪处理的方位。 

另外，例如，由于可通过这种方式的计算来获得全景图像中的任意位置处的方位，因此可以从全景图像中提取出中心位置处的方位变成特定方位的图像。该特定方位例如可被设定为以90度为单位的方位，比如东、西、南、北，或者以45度为单位的方位，比如西南，东北等等。 

另外，例如，在方位被设定为基准的同时，可以从全景图像中提取出特定对象(例如，人脸)所在位置处的周围图像。 

应当注意，根据本发明第二实施例的内部配置与根据本发明第一实施例的图像拍摄装置100基本相同，因此这里将省略对其的描述。另外，在下文中，与图像拍摄装置100共同的部分被赋予相同的标号，并且对其的描述将被省略。将主要描述与图像拍摄装置100不同之处。 

图像拍摄装置的功能配置例 

图12是根据本发明第二实施例的图像拍摄装置500的功能配置示例的框图。图像拍摄装置500设有图像存储单元200、操作接受单元210、图像文件获得单元510、元信息获得单元520、特定方位位置计算单元530以及特定对象方位计算单元540。另外，图像拍摄装置500设有图像提取单元550、方位计算单元560、显示控制单元570、显示单元580以及记录控制单元590。 

图像存储单元200被配置为存储图像文件并把所存储的图像文件提供给图像文件获得单元510。另外，基于记录控制单元590的控制，图像存储单元200以图像文件的形式存储从图像提取单元550输出的图像以及与该图像有关的各条信息。应当注意，图像存储单元200对应于图2所示的图像存储单元200。 

操作接受单元210是用于接受来自用户的操作输入并且根据所接受的操作输入把操作内容输出到各个单元的操作接受单元。例如，在设定了全景图像显示模式的情况下，当接受了显示全景图像的显示指示操作时，操作接受单元210把该操作内容输出到图像文件获得单元510。另外，例如，在显示诸如全景图像之类的图像的情况下，当接受了指示对所显示图像的诸如放大或缩小之类的显示改变的指示操作时，操作接受单元210把该操作内容输出到显示控制单元570。另外，例如，在显示全景图像的情况下，当接受了用于方位指示显示的指示操作时，操作接受单元210把该操作内容输出到特定方位位置计算单元530或特定对象方位计算单元540。另外，例如，在显示特定方位的情况下，当接受了选择特定方位之中的任何一个的选择操作时，操作接受单元210把该操作内容输出到图像提取单元550。另外，例如，在显示从全景图像中提取出的图像的情况下，当接受了把该图像记录为新图像文件的记录指示操作时，操作接受单元210把该操作内容输出到记录控制单元590。例如，在显示从全景图像中提取出的图像的情况下，当接受了用于修剪处理的指示操作时，操作接受单元210把该操作内容输出到图像提取单元550。应当注意，操作接受单元210对应于图2所示的操作接受单元210。 

根据操作接受单元210所接受的操作输入，图像文件获得单元510获得存储在图像存储单元200中的图像文件并把所获得的图像文件的内容提供给各个单元。例如，图像文件获得单元510把所获得的图像文件的全景图像输出到图像提取单元550和显示控制单元570。该全景图像被解码并经过分辨率转换，然后输出。另外，图像文件获得单元510把所获得的图像文件的元信息输出到元信息获得单元520。应当注意，图像文件获得单元510对应于图1所示的分辨率转换单元120、图像压缩解压单元130、CPU 160以及可移动介质控制器191。 

元信息获得单元520被配置为获得从图像文件获得单元510输出的元信息并把所获得的元信息的内容输出到各个单元。例如，元信息获得单元520把所获得的元信息的内容输出到特定方位位置计算单元 530、特定对象方位计算单元540、方位计算单元560以及记录控制单元590。应当注意，元信息获得单元520对应于图1所示的CPU 160。 

根据操作接受单元210所接受的操作输入，基于从元信息获得单元520输出的元信息，特定方位位置计算单元530检测全景图像中的特定方位以及该特定方位在全景图像中的位置。然后，特定方位位置计算单元530把检测到的全景图像中的特定方位输出到显示控制单元570。另外，特定方位位置计算单元530把检测到的全景图像中的特定方位以及该位置输出到图像提取单元550。将参考图17A、17B、18A和18B详细描述全景图像中的该特定方位以及该位置的检测方法。应当注意，特定方位位置计算单元530对应于图1所示的CPU 160。 

根据操作接受单元210所接受的操作输入，基于从元信息获得单元520输出的元信息，特定对象方位计算单元540被配置为检测全景图像中包含的特定对象的位置和方位。然后，特定对象方位计算单元540把检测到的特定对象的方位输出到显示控制单元570。另外，特定对象方位计算单元540把全景图像中包含的特定对象的位置和方位输出到图像提取单元550。应当注意，在此例子中，说明了基于在生成全景图像时记录的元信息来检测特定对象的例子，但是，例如，也可以通过图像分析(例如，图2所示的脸部检测单元250进行的脸部处理)从全景图像中检测特定对象。应当注意，特定对象方位计算单元540对应于图1所示的CPU 160。另外，特定对象方位计算单元540是在权利要求的范围中记载的特定对象检测单元的一部分。 

根据操作接受单元210所接受的操作输入，图像提取单元550被配置为提取从图像文件获得单元510输出的全景图像中的一部分图像，并把所提取的图像输出到显示控制单元570和记录控制单元590。另外，例如，根据操作接受单元210所接受的操作输入，图像提取单元550把所提取的图像在全景图像中的位置输出到方位计算单元560。另外，根据操作接受单元210所接受的操作输入，图像提取单元550提取从特定方位位置计算单元530输出的、全景图像中的特定方位的位置处的周围图像，并把该周围图像和特定方位输出到记录控制单元 590。另外，根据操作接受单元210所接受的操作输入，图像提取单元550提取从特定对象方位计算单元540输出的、全景图像中包含的特定被摄物的位置处的周围图像，并把该周围图像和特定方位输出到记录控制单元590。将参考图13A和13B至图20A和20B等等来详细描述这些图像提取方法。应当注意，图像提取单元550对应于图1所示的CPU 160。 

方位计算单元560被配置为基于从元信息获得单元520输出的元信息以及由图像提取单元550提取的图像在全景图像中的位置，来计算所提取图像中的代表性位置处的方位。然后，方位计算单元560把计算出的方位输出到记录控制单元590。应当注意，将参考图14A和14B等等来详细描述所提取图像中的代表性位置处的方位的计算方法。应当注意，方位计算单元560对应于图1所示的CPU 160。 

根据操作接受单元210所接受的操作输入，显示控制单元570在显示单元580上显示各种图像。例如，根据操作接受单元210所接受的操作输入，显示控制单元570在显示单元580上显示从图像文件获得单元510输出的全景图像。另外，根据操作接受单元210所接受的操作输入，显示控制单元570在显示单元580上显示从图像提取单元550输出的图像。另外，根据操作接受单元210所接受的操作输入，显示控制单元570在显示单元580上显示从特定方位位置计算单元530输出的全景图像中的特定方位或者从特定对象方位计算单元540输出的特定对象的方位。将参考图13A、13B、16A、16B、19A、19B等等来详细描述这些显示例子。应当注意，显示控制单元570对应于图1所示的CPU 160和LCD控制器171。 

显示单元580是用于基于显示控制单元570的控制来显示各种图像的显示单元。显示单元580对应于图1所示的LCD 172。 

根据操作接受单元210所接受的操作输入，记录控制单元590把从图像提取单元550输出的图像和从方位计算单元560输出的该图像中的代表性位置处的方位作为图像文件记录在图像存储单元200中。应当注意，在该图像文件中，还记录了从元信息获得单元520输 出的元信息的一部分(与所提取图像有关的元信息)。另外，图像文件例如经过分辨率转换并基于JPEG格式被压缩，以便被记录。应当注意，记录控制单元590对应于图1所示的分辨率转换单元120、图像压缩解压单元130、CPU 160以及可移动介质控制器191。 

通过修剪处理提取图像 

图13A和13B示出了根据本发明第二实施例的显示单元580中的显示画面的显示例子。 

图13A示出了用于对全景图像431执行各种处理的主画面600。在主画面600上，例如，在全景图像的索引画面(未示出)上，显示了通过用户操作选择的全景图像431。应当注意，全景图像431与图6C等等所示的全景图像431相同。另外，在主画面600上，主按钮601、修剪按钮602、方位指定显示按钮603以及索引显示按钮604与全景图像431一起被显示。应当注意，对于各幅图中所示的按钮而言，添加有对角线的按钮处于选中状态。另外，在下文中，在进行描述时把选择各个按钮的操作称为按压。 

主按钮601是在显示用于对全景图像431执行各个处理的各个项目时要按压的按钮。例如，在主画面600上，当主按钮601被按压时，在主按钮601的右侧，显示出修剪按钮602、方位指定显示按钮603和索引显示按钮604。 

修剪按钮602是在对全景图像431执行修剪处理时要按压的按钮。将参考图14A、14B以及15A至15C来详细描述该修剪处理。 

方位指定显示按钮603是在通过相对于全景图像431指定方位来显示与处于指定方位的位置相对应的被摄物时要按压的按钮。将参考图16A和16B至图20A和20B来详细描述该方位指定显示。 

索引显示按钮604是在显示用于选择要显示在主画面600上的全景图像的索引画面时要按压的按钮。 

例如，在主画面600被显示在显示单元580上的状态中，当按压主按钮601，然后按压修剪按钮602时，图13B所示的修剪处理画面 610被显示。修剪处理画面610是用于对显示在图13A所示的主画面600上的全景图像431进行修剪处理的画面。在修剪处理画面610上，与全景图像431一起显示了确定按钮605和返回按钮606。 

确定按钮605是在确定通过修剪处理要提取的图像的范围时要按压的按钮。返回按钮606是在画面返回到图13A所示的主画面600时要按压的按钮。 

这里，将描述在图13B所示的修剪处理画面610上指定通过修剪处理要提取的图像的范围的指定操作。例如，如图13B所示，将描述矩形611中的图像被指定为通过修剪处理要提取的图像的情况。例如，在触摸面板被用作显示单元580的情况下，随着用户用手指描绘与矩形611相当的范围，可以指定矩形611。另外，随着用户用手指按压矩形611中的区域的中心位置并根据按压次数依次放大矩形的范围，可以指定矩形611。另外，随着用户用手指按压形成矩形611的对角的两点，可以用两个手指指定矩形611。 

以这种方式，在指定了作为提取对象的图像的范围并且对这个指定的图像执行修剪处理的情况下，用户按压确定按钮605以确定作为提取对象的图像的范围。以这种方式，当执行了确定作为提取对象的图像的范围的操作输入时，图像提取单元550提取所确定的范围中包含的图像。然后，记录控制单元590把所提取的图像(修剪图像)作为新的图像文件记录在图像存储单元200中。这里，与作为新图像文件记录的修剪图像有关的方位在许多情况下不同于全景图像中的代表性位置处的方位。鉴于此，在下文中，将描述要被记录在这样提取的修剪图像的图像文件中的方位的计算方法。 

修剪图像的方位计算例子 

图14A和14B示出了根据本发明第二实施例的方位计算单元560对修剪图像中的代表性位置的方位计算方法的概况。图14A示出了全景图像431。应当注意，全景图像431是与图8A所示的全景图像431相同的全景图像，并且共同的部分被赋予相同的标号。在此例子中， 说明这样一个例子：利用在生成全景图像时第一次生成的拍摄图像的水平方向上的宽度来计算修剪图像中的代表性位置处的方位。例如，根据图16A所示的例子，说明这样一个例子：利用相对于拍摄图像401中的中心位置421获得的方位来计算矩形611中的图像的中心位置433的方位。这里，从全景图像431的中心位置432到矩形611中的图像的中心位置433的距离被设定为距离H2。 

图14B示出了在生成构成全景图像431的拍摄图像401至404的情况下图像拍摄装置100的图像拍摄操作状态的转变。应当注意，图14B所示的例子与图8B所示的例子基本相同。因此，共同的部分被赋予相同的标号，并且对其的描述将被省略。 

在图14B中，与图14A所示的H、H0、H1和H2相对应的部分分别被赋予相同的标号。这里，由全景图像431中的中心位置432和矩形611中的图像的中心位置433所限定的角度被设定为θ2，角度θ2可利用以下式4来获得。 

θ2＝(θ/H)×H2…式4 

这里，可利用上述的式1来获得视场角度θ。利用这样计算出的θ2，可计算出矩形611中的图像的中心位置433处的方位。更具体而言，在图像拍摄装置500的位置被设定为基准并且全景图像431中的中心位置432处的方位被旋转θ2的情况下的值被计算为矩形611中的图像的中心位置433处的方位。应当注意，用于识别方位的数值的计算方法与图8A和8B所示的例子类似，因此这里将省略对其的描述。以这种方式，基于图像拍摄单元的特性信息、全景图像中的代表性位置、该代表性位置处的方位以及修剪图像中的代表性位置，可以计算出修剪图像中的代表性位置处的方位。 

图15A至15C示意性地示出了根据本发明第二实施例由图像提取单元550生成的修剪图像和存储在图像存储单元200中的修剪图像的图像文件之间的关系。图15A示出了成为修剪处理的对象的全景图像431，图15B示出了从全景图像431中提取出的修剪图像620。 

图15C示出了修剪图像620的图像文件630。图像文件630是由 图像提取单元550生成的修剪图像的图像文件，并且记录了附加信息631和图像信息632。应当注意，图像文件630的配置类似于图4所示的图像文件330，这里将省略对其的详细描述。例如，由方位计算单元560计算出的修剪图像中的中心位置处的方位被记录作为附加信息331中记录的元信息。应当注意，与图3A至3C中描述的信息类似的信息可被记录作为附加信息331中记录的元信息。 

如上所述，可以通过使用全景图像中的代表性位置处的方位来计算修剪图像中的代表性位置处的方位。利用此配置，可以减小修剪图像中的代表性位置处的方位的误差。 

应当注意，在此例子中，说明了通过利用在生成全景图像时第一次生成的拍摄图像的水平方向上的宽度来计算修剪图像中的代表性位置处的方位的例子，但是也可利用全景角度来计算该方位。例如，如图14B所示，全景图像431的水平方向上的长度被设定为H0，并且全景图像431的全景角度被设定为θ0。另外，当由全景图像431中的中心位置432和矩形611中的图像的中心位置433所限定的角度被设定为θ2时，可利用以下式5来获得角度θ2。 

θ2＝(θ0/H0)×H2…式5 

这里，全景角度θ0可利用上述的式3来获得，并被记录在图4所示的全景图像431的图像文件中。以这种方式，基于全景图像的水平方向上的大小、全景角度、全景图像中的代表性位置、该代表性位置处的方位以及修剪图像中的代表性位置，可以计算修剪图像中的代表性位置处的方位。 

通过方位指定提取图像 

在上文中，已经说明了基于用户的手工操作来指定通过修剪处理提取的图像的范围的例子。这里，在全景图像的图像文件中，记录了全景角度中的中心位置处的方位，因此可以通过计算来获得全景图像中的特定方位(例如，东、西、南、北)。因此，例如，可以基于特定方位来指定全景图像中的提取对象范围。鉴于此，在下文中，将描 述这样一个例子：提取出包含在全景图像中所含的被摄物之中位于特定方位的被摄物的图像。 

图16A和16B示出了根据本发明第二实施例的显示单元580中的显示画面的显示例子。图16A示出了用于指定特定方位的主画面600。应当注意，主画面600上的主按钮601、修剪按钮602、方位指定显示按钮603以及索引显示按钮604与图13A所示的例子类似并且被赋予相同的标号，因此这里将省略对其的描述。另外，在此例子中，将说明这样一个例子：诸如东、西、南、北、西南、东北之类的以45度为单位的方位被设定为特定方位。 

例如，在主画面600被显示在显示单元580上的状态中，用户按压主按钮601，然后按压方位指定显示按钮603。通过对方位指定显示按钮603的这个按压，主画面600上显示的全景图像431中包含的被摄物的特定方位被检测到，并且检测到的特定方位被显示在特定方位显示区域607上。根据图16A所示的例子，例如，将说明“北”和“西北”被检测为全景图像431的特定方位的情况。另外，根据图16A所示的显示例子，中心位置位于被检测为全景图像431的特定方位的“西北”处的图像的范围在全景图像431上由虚线矩形641表示，并且中心位置位于“北”处的图像的范围在全景图像431上由虚线矩形642表示。将参考图17A、17B、18A和18B来详细描述特定方位的该检测方法。 

例如，用户按压当在主画面600上按压方位指定显示按钮603之后显示的特定方位显示区域607中的特定方位“北”和“西北”之中的“西北”的部分。以这种方式，当特定方位显示区域607中的特定方位“西北”的部分被按压时，如图16B所示，与被按压的特定方位“西北”相对应的图像651被显示在指定方位图像显示画面650上。也就是说，图16A所示的全景图像431中的虚线矩形641中包含的图像被显示在指定方位图像显示画面650上。在此情况下，例如，与对应于被按压的特定方位“西北”的图像651一起，与特定方位“西北”有关的消息(例如，这是西北方向上的被摄物)被显示在指定方位图像显示画面650 上。另外，与图像651一起，修剪按钮652和返回按钮653被显示在指定方位图像显示画面650上。 

修剪按钮652是在对显示在指定方位图像显示画面650上的图像651执行修剪处理时要按压的按钮。也就是说，通过按压修剪按钮652，对按压时显示在指定方位图像显示画面650上的图像执行修剪处理，记录该图像的图像文件。在此情况下，与该图像相对应的特定方位被记录作为该图像的方位。应当注意，该修剪处理类似于以上提及的处理，因此这里将省略对其的描述。返回按钮653是在画面返回到图16A所示的主画面600时要按压的按钮。 

图17A和17B示出了根据本发明第二实施例由特定方位位置计算单元530进行的检测各个特定方位及其位置的特定方位和位置检测方法的概况。在此例子中，将说明这样一个例子：利用在生成全景图像时第一次生成的拍摄图像的水平方向上的宽度来检测处于特定方位的位置。 

图17A在圆圈661上示出了在图像拍摄时图像拍摄位置660被设定为基准的情况下的方位(东、西、南、北)。根据图17A和17B所示的例子，将说明这样一个例子：其中，北被设定为0度(360度)、东被设定为90度、南被设定为180度并且西被设定为270度的情况下，诸如东、西、南、北、相南和东北之类的以45度为单位的方位被检测为特定方位。这些特定方位由圆圈661上的白圈表示(特定方位662至669)。 

图17B示意性地示出了全景图像670与特定方位662至669之间的关系。全景图像670例如是中心位置处的方位是北662和西北669之间的方位的全景图像。根据图17B所示的例子，示意性地表示了在将全景图像670虚拟地布置在圆圈661上并且从上方查看全景图像670的情况下的位置关系。应当注意，在图17B所示的圆圈661上，与全景图像670相对应的范围由粗线表示。另外，与全景图像670相对应的粗线上的中心位置671和特定方位是空心的粗圈。这里，全景图像670中包含的特定方位的数目如图17B所示为四个(特定方位 662、663、668和669)。如上所述，可以基于全景图像670中的中心位置671处的方位计算任意方位，因此，例如，可以计算全景图像670中的两端部分672和673的方位。鉴于此，例如，通过计算全景图像670中的两端部分672和673的方位，可以计算存在于两端部分672和673的方位之间的特定方位。然后，计算这样检测到的特定方位在全景图像670中的位置。例如，全景图像670的水平方向上的长度被设定为H0，并且全景图像670中的中心位置671与处于特定方位(北)的位置662之间的水平方向上的距离被设定为H3。另外，在图像拍摄位置660被设定为基准的情况下中心位置671的方位和北所限定的角度被设定为角度θ3。另外，当生成全景图像670时第一次生成的拍摄图像的水平方向上的长度被设定为H。然后，利用下式6计算中心位置671与北的位置622之间的水平方向上的距离H3。 

H3＝θ3/(θ/H)…式6 

这里，可以利用上述的式1来获得视场角度θ。基于这样计算出的距离H3和全景图像670中的中心位置671，检测出全景图像670中处于特定方位(北)的位置662。利用这样检测到的处于特定方位(北)的位置662，在全景图像670中包含的被摄物之中，图像拍摄装置500可以显示在朝着北向的状态中拍摄的被摄物。例如，在图像拍摄装置500显示在朝着北方向的状态中拍摄的被摄物的情况下，图像提取单元550提取出全景图像670中包括处于特定方位(北)的位置662在内的一定范围中包含的被摄物。然后，这个提取出的图像被显示在显示单元580上。另外，也可类似地检测存在于全景图像670上的其他特定方位。 

应当注意，在此例子中，已经说明这样一个例子：其中，检测存在于全景图像670中的两端部分672和673之间的特定方位，并且检测与这个检测到的特定方位相对应的位置。然而，例如，检测所有特定方位的位置，并且在检测到的位置之中，只检测全景图像中包含的位置作为处于特定方向的位置。另外，在此例子中，已经说明了以45度为单位的方位被检测为特定方位的例子，但是，例如，诸如东、西、 南、北之类的以90度为单位的方位也可被检测为特定方位。另外，可以检测比45度单位的方位更小单位的方位。 

图18A和18B示出了根据本发明第二实施例由特定方位位置计算单元530进行的检测各个特定方位及其位置的特定方位和位置检测方法的概况。此例子是对于图16A所示的全景图像431检测特定方位和位置的例子。应当注意，特定方位和位置的检测方法类似于图17A和17B所示的例子，并且这里将省略对其的详细描述。应当注意，图18B所示的地图符号680是表示东、西、南、北的地图符号。 

图18A示出了全景图像431。应当注意，全景图像431是与图8A所示的全景图像431相同的全景图像，并且共同的部分被赋予相同的标号。这里，全景图像431中包含的特定方位的数目如图18B所示是两个(特定方位(西北)681和特定方位(北)682)。例如，全景图像431的水平方向上的长度被设定为H0，并且全景图像431中的中心位置432与处于特定方位(西北)的位置681之间的水平方向上的距离被设定为H4。另外，在图像拍摄装置500的图像拍摄位置被设定为基准的情况下中心位置432处的方位和西北所限定的角度被设定为角度θ4。另外，在生成全景图像431时第一次生成的拍摄图像的水平方向上的长度被设定为H。在此情况下，利用上述的式6计算出中心位置432与处于西北的位置681之间的水平方向的距离H4。类似地，还可计算出全景图像431中的中心位置432与处于特定方位(北)的位置682之间的水平方向上的距离H5。基于这样计算出的距离H4和H5以及全景图像431中的中心位置432，可以检测出全景图像431中处于特定方位(北和西北)的位置681和682。 

另外，这样检测到的特定方位(北和西北)被显示在图16A所示的特定方位显示区域607中。这里，例如，如图16A所示，设想这样一种情况：在特定方位显示区域607中显示的特定方位(北和西北)之中，指定特定方位(西北)。在此情况下，从图像提取单元550中提取出全景图像431中包括特定方位(西北)的位置683在内的一定范围(矩形642)中所含的图像。然后，如图16B所示，所提取的图 像651被显示在指定方位图像显示画面650上。 

如上所述，利用全景图像中的代表性位置处的方位，可以检测处于特定方位的位置。利用此配置，可以基于特定方位来指定用户偏好的图像。 

应当注意，在此例子中，说明了通过使用在生成全景图像时第一次生成的拍摄图像的水平方向上的宽度来检测处于特定方位的位置的例子，但是也可利用全景角度来计算该位置。例如，如图18B所示，全景图像431的水平方向上的长度被设定为H0，并且全景图像431的全景角度被设定为θ0。另外，全景图像431中的中心位置432与处于特定方位(西北)的位置681之间的水平方向上的距离被设定为H4。另外，当在图像拍摄装置500的图像拍摄位置被设定为基准的情况下中心位置432处的方位和西北所限定的角度被设定为角度θ4时，可利用以下式7来获得距离H4。 

H4＝θ4/(θ0/H0)…式7 

这里，全景角度θ0可以利用上述的式3来获得，并且如图4所示被记录在全景图像431的图像文件中。 

通过指定包含特定对象的方位来提取图像 

在上文中，已经说明了这样一个例子：其中，通过指定全景图像中的特定方位，提取包含与所指定的特定方位相对应的被摄物的图像。这里，在提取全景图像中包含的一部分图像的情况下，假定通过设定全景图像中包含的被摄物的类型作为基准，而不是设定全景图像中的方位作为基准，也可以反映用户的偏好。例如，可以想到，通过指定诸如人脸之类的特定对象，可以提取包含该特定对象的图像。鉴于此，在下文中，将描述这样一个例子：其中，检测与在全景图像中所含的被摄物之中包含特定对象的被摄物相对应的方位。 

图19A和19B示出了根据本发明第二实施例的显示单元580中的显示画面的显示例子。图19A示出了用于指定与包含特定对象的被摄物相对应的方位的主画面600。应当注意，主画面600上的主按钮 601、修剪按钮602和索引显示按钮604与图16A所示的例子相类似并且被赋予相同的标号，因此这里将省略对其的描述。 

例如，在主画面600被显示在显示单元580上的状态中，用户按压主按钮601，然后按压方位指定显示按钮603。通过对方位指定显示按钮603的这个按压，主画面600上显示的全景图像431中所含的被摄物之中的特定对象(例如，人脸)被检测到，并且包含检测到的特定对象的被摄物的方位被显示在特定对象方位显示区域609上。 

根据图19A所示的例子，例如，将说明检测全景图像431中包含的人脸411和413的例子。另外，根据图19A所示的显示例子，包含人脸411的图像的范围在全景图像431上由虚线矩形643表示，并且包含人脸413的图像的范围在全景图像431上由虚线矩形644表示。 

例如，假定在特定对象方位显示区域609(该区域是当在主画面600上按压方位指定显示按钮603之后被显示的)上的包含特定对象的方位“西北偏北”和“西北偏西”之中，用户按压了“西北偏北”部分。以这种方式，当作为特定对象方位显示区域609上的包含特定对象的方位的“西北偏北”的部分被按压时，如图19B所示，与被按压的方位“西北偏北”相对应的图像655被显示在特定对象图像显示画面654上。也就是说，图19A所示的全景图像431中的虚线矩形644中包含的图像被显示在特定对象图像显示画面654上。在此情况下，例如，与对应于被按压的方位“西北偏北”相对应的图像655一起，方位“西北偏北”和与该特定对象有关的消息(例如，该人处于西北偏北方向上)被显示在特定对象图像显示画面654上。另外，在特定对象图像显示画面654上，与图像655一起，显示了修剪按钮652和返回按钮653。应当注意，修剪按钮652和返回按钮653与图16B所示的相同，因此这里将省略对其的描述。 

图20A和20B示出了根据本发明第二实施例由特定对象方位计算单元540进行的检测各个特定对象的方位的特定对象方位检测方法的概况。此例子是对于图19A所示的全景图像431检测包括特定对象的位置处的方位的例子。应当注意，全景图像中的位置的方位计算方 法类似于上述的方位计算方法，并且这里将省略对其的详细描述。 

图20A示出了全景图像431。应当注意，全景图像431是与图8A所示的全景图像431相同的全景图像，并且共同的部分被赋予相同的标号。这里，全景图像431中包含的特定对象的数目如图20A所示是两个(人脸411和413)。例如，基于全景图像431的图像文件中记录的脸部信息，特定对象方位计算单元540检测全景图像431中包含的人脸411和413，并且识别其位置和大小。基于这样识别出的人脸411的位置683，特定对象方位计算单元540计算从全景图像431中的中心位置432到人脸411的位置683的距离H6。类似地，特定对象方位计算单元540计算从全景图像431中的中心位置432到人脸413的位置684的距离H7。基于这样计算出的距离H6，特定对象方位计算单元540使用式4或式5来计算全景图像431中人脸411的位置683处的方位。类似地，特定对象方位计算单元540使用式4或式5来计算全景图像431中人脸413的位置684处的方位。这里，作为这样计算出的特定对象的位置处的方位，例如，该方位可被分类为诸如东、西、南、北之类的以90度为单位的方位，以及诸如西南和东北之类的以45度为单位的方位。在此例子中，将说明分类成诸如西南偏南和东北偏北之类的以30度为单位的方位的例子。例如，人脸411的位置683处的方位被分类为“西北偏西”，而人脸413的位置684处的方位被分类为“西北偏北”。 

这样分类的方位(西北偏北和西北偏西)被显示在图19A所示的特定对象方位显示区域609上。这里，例如，如图19A所示，设想这样一种情况：其中，在特定对象方位显示区域609上显示的方位(西北偏北和西北偏西)之中，指定方位(西北偏北)。在此情况下，图像提取单元550提取出全景图像431中包括处于该方位(西北偏北)的位置684在内的一定范围(矩形644)中所含的图像。然后，如图19B所示，所提取的该图像655被显示在特定对象图像显示画面654上。 

如上所述，利用全景图像中的代表性位置处的方位，可以检测到 特定对象的位置处的方位。利用此配置，可以基于方位来指定包含用户偏好的特定对象的图像。应当注意，作为方位指定显示，可以通过用户的手工操作来设定是指定特定方位还是基于方位来指定包含特定方位的图像。另外，通过用户的手工操作可以选择多个特定对象(例如，人的正常脸部、人的笑脸以及宠物(狗和猫))，并且可以检测所选特定对象的位置处的方位。 

以这种方式，根据本发明的第二实施例，利用全景图像中的代表性位置处的方位来计算所提取图像中的代表性位置处的方位，并且可以将这个计算出的方位和所提取图像记录在图像文件中。因此，例如，对于通过提取全景图像的一部分而获得的图像可以记录精确的方位。利用此配置，例如，当利用所提取图像的图像文件将图像重叠在地图上并显示时，可以基于在对该图像中包含的被摄物进行图像拍摄时的图像拍摄方向来将该图像布置在地图上。在此情况下，可以减小图像拍摄方向的误差。 

图像拍摄装置的操作示例 

图21是根据本发明第二实施例的图像拍摄装置500对全景图像的图像提取处理的处理过程的流程图。在此例子中，将说明这样一个例子：其中，在设定全景图像显示模式的情况下，对在索引画面上指定的全景图像执行图像提取处理。另外，将说明特定方位作为方位指定显示而被显示的例子。 

首先，判定操作接受单元210是否接受了显示全景图像的显示指示操作(步骤S921)。例如，在全景图像的索引画面上，用户通过选择希望的全景图像来进行显示指定操作。在未接受显示指示操作的情况下，继续监视，直到接受了显示指示操作为止。在收到显示指示操作的情况下(步骤S921)，图像文件获得单元510根据该显示指示操作获得存储在图像存储单元200中的图像文件(步骤S922)。在此情况下，图像文件获得单元510对所获得的图像文件的全景图像进行解码，并且进行分辨率转换，以便输出到显示控制单元570。然后，显 示控制单元570在显示单元580上显示所获得的图像文件的全景图像(步骤S923)。 

然后，判定操作接受单元210是否接受了显示除在显示单元580上显示的全景图像以外的全景图像的显示指示操作(所谓的文件馈送操作)(步骤S924)。在未接受该显示指示操作的情况下，流程前进到步骤S925，而在接受了该显示指示操作的情况下，流程返回到步骤S922。 

然后，判定操作接受单元210是否接受了用于对在显示单元580上显示的图像进行放大或缩小(所谓的缩放比例因子改变)或显示位置改变的指定操作(步骤S925)。在接受了该指定操作的情况下(步骤S925)，根据该指定操作，显示控制单元570对在显示单元580上显示的图像执行显示改变处理(步骤S926)，并且流程前进到步骤S940。 

在未接受该指示操作的情况下(步骤S925)，判定操作接受单元210是否接受了方位指示显示的指示操作(步骤S927)。例如，若图13A和13B所示的方位指定显示按钮603被按压，则进行了方位指示显示的指示操作。在接受了方位指示显示的指示操作的情况下(步骤S927)，特定方位位置计算单元530检测在显示单元580上显示的全景图像中的特定方位(步骤S928)。然后，特定方位位置计算单元530检测全景图像中处于检测到的特定方位的位置(步骤S929)。然后，显示控制单元570在显示单元580上显示检测到的特定方位(步骤S930)。例如，在图16A所示的特定方位显示区域607中，显示检测到的特定方位。 

然后，判定操作接受单元210是否接受了用于选择在显示单元580上显示的特定方位的选择操作(步骤S931)。在接受了该选择操作的情况下(步骤S931)，图像提取单元550提取全景图像中包括处于所选特定方位的位置在内的一定范围中包含的图像。然后，显示控制单元570在显示单元580上显示所提取的图像(步骤S932)。然后，判定操作接受单元210是否接受了把显示单元580上显示的图像记录 为新图像文件的记录指定操作(步骤S933)。例如，若图16B所示的修剪按钮652被按压，则记录在指定方位图像显示画面650上显示的图像651的记录指定操作被进行。在接受了记录指定操作的情况下(步骤S933)，记录控制单元590把由图像提取单元550提取出的图像和此图像中的代表性位置处的方位(特定方位)作为图像文件记录在图像存储单元200中(步骤S934)。在此情况下，例如，进行分辨率转换，并且执行JPEG格式的压缩，以记录该图像文件。然后，流程前进到步骤S940。应当注意，在未接受选择操作的情况下(步骤S931)，或者在未接受记录指定操作的情况下(步骤S933)，流程前进到步骤S940。 

另一方面，在未接受方位指示显示的指示操作的情况下(步骤S927)，判定特定方位是否被显示在显示单元580上(步骤S935)。在特定方位被显示在显示单元580上的情况下，流程前进到步骤S931。另一方面，在特定方位不被显示在显示单元580上的情况下(步骤S935)，判定从全景图像中提取的图像(处于特定方位的图像)是否被显示在显示单元580上(步骤S936)。在所提取图像被显示的情况下(步骤S936)，流程前进到步骤S933。另一方面，在所提取图像不被显示的情况下(步骤S936)，判定操作接受单元210是否接受了修剪处理的指示操作(步骤S937)。例如，修剪处理的指示操作是随着在图13B所示的修剪处理画面610上指定图像的范围并且按压确定按钮605而进行的。在接受了修剪处理的指示操作的情况下(步骤S937)，图像提取单元550提取所指定的范围中包含的图像，并且显示控制单元570在显示单元580上显示所提取的图像(步骤S938)。然后，方位计算单元560计算所提取图像中的代表性位置处的方位(步骤S939)，并且流程前进到步骤S933。然后，在接受了记录指定操作的情况下(步骤S933)，记录控制单元590把由图像提取单元550提取的图像和此图像中的代表性位置处的方位作为图像文件记录在图像存储单元200中(步骤S934)。 

另一方面，在未接受修剪处理的指示操作的情况下(步骤S937)， 判定操作接受单元210是否接受了全景图像的显示结束指示操作(步骤S937)。在未接受全景图像的显示结束指示操作的情况下，流程返回到步骤S924，而在接受了全景图像的显示结束指示操作的情况下，对全景图像的图像提取处理的操作结束。 

3.第三实施例 

根据本发明的第二实施例，已经说明了这样一个例子：其中，全景图像中包含的一部分图像被提取，以被显示或经受修剪处理等等。这里，如上所述，全景图像是包含相对宽范围中的被摄物的图像，并且假定在图像拍摄位置被设定为基准的同时包括相对宽范围中的方位。为此，在显示全景图像的情况下，例如可以想到，由于是在考虑到全景图像中的方位同时执行显示的，因此可以执行利用了全景图像的特性的显示。另外，例如，在全景图像被显示在地图上的情况下，可以想到，在图像拍摄时的图像拍摄位置被设定为基准的同时，全景图像的上侧可被布置在朝着图像拍摄方向的状态中。同样，在此情况下，例如可以想到，由于是在考虑到全景图像中的方位同时执行显示的，因此可以执行利用了全景图像的特性的显示。 

鉴于此，在下文中，将说明这样一个例子：其中，在显示全景图像的情况下，基于全景图像中的各个方位来执行利用了全景图像的特性的显示。 

图像拍摄装置的配置示例 

图22是根据本发明第三实施例的图像拍摄装置700的功能配置示例的框图。图像拍摄装置700设有图像存储单元200、地图数据存储单元710、图像文件获得单元720、图像拍摄位置获得单元730、特定对象检测单元740以及方位获得单元750。另外，图像拍摄装置700设有图像变换单元760、地图数据获得单元770、显示控制单元780以及显示单元790。 

图像存储单元200被配置为存储图像文件并把所存储的图像文 件提供给图像文件获得单元720。应当注意，图像存储单元200对应于图2所示的图像存储单元200。 

操作接受单元210是用于接受用户的操作输入并把根据所接受的操作输入的操作内容输出到图像文件获得单元720、图像变换单元760和显示控制单元780的操作接受单元。例如，在设定了图像显示模式的情况下，当接受了指示图像显示的显示指定操作时，操作接受单元210把该操作内容输出到图像文件获得单元720。另外，在设定了图像显示模式的情况下，当接受了指示对显示单元790上显示的全景图像的变换方法的显示指定操作时，操作接受单元210把该操作内容输出到图像变换单元760。另外，在设定了图像显示模式的情况下，当接受了用于改变显示单元790上显示的图像的比例因子的操作输入等时，操作接受单元210把该操作内容输出到显示控制单元780。应当注意，操作接受单元210对应于图2所示的操作接受单元210。 

地图数据存储单元710被配置为存储用于在显示单元790上显示地图的地图数据，并把所存储的地图数据提供给地图数据获得单元770。例如，存储在地图数据存储单元710中的地图数据是可通过纬度和经度来标识的数据，并且以一定的纬度宽度和一定的经度宽度为单位被分割成多个区域。应当注意，地图数据存储单元710对应于图1所示的可移动介质192。 

图像文件获得单元720被配置为根据由操作接受单元210接受的显示指定操作，获得存储在图像存储单元200中的图像文件。然后，根据所获得的图像文件的图像的类型，图像文件获得单元720把该图像输出到图像变换单元760或显示控制单元780。例如，在所获得的图像文件的图像是全景图像的情况下，图像文件获得单元720把该全景图像输出到图像变换单元760。另一方面，在所获得的图像文件的图像是除全景图像以外的图像的情况下，该图像被输出到显示控制单元780。这些图像文件的图像被解码并经历分辨率转换，以便被输出。另外，图像文件获得单元720把所获得的图像文件的元信息输出到图像拍摄位置获得单元730、特定对象检测单元740以及方位获得单元 750。应当注意，图像文件获得单元720对应于图1所示的分辨率转换单元120、图像压缩解压单元130、CPU 160以及可移动介质控制器191。 

图像拍摄位置获得单元730被配置为基于从图像文件获得单元720输出的元信息，获得与对应于该元信息的图像有关的图像拍摄位置，并把所获得的图像拍摄位置输出到地图数据获得单元770。应当注意，图像拍摄位置获得单元730对应于图1所示的CPU 160。 

特定对象检测单元740被配置为基于从图像文件获得单元720输出的元信息，检测与该元信息对应的图像中包含的特定对象，并把与检测到的特定对象有关的特定对象信息输出到图像变换单元760。应当注意，在此例子中，将说明基于在生成全景图像时记录的元信息来检测特定对象的例子，但是，例如，也可以通过图像分析从全景图像中检测特定对象。应当注意，特定对象检测单元740对应于图1所示的CPU 160。 

方位获得单元750被配置为基于从图像文件获得单元720输出的元信息，获得与该元信息相对应的图像中的代表性位置处的方位，并把所获得的方位输出到图像变换单元760。应当注意，方位获得单元750对应于图1所示的CPU 160。 

图像变换单元760被配置为根据由操作接受单元210接受的指定操作，对从图像文件获得单元720输出的全景图像进行变换，并把变换后的全景图像输出到显示控制单元780。例如，图像变换单元760把从图像文件获得单元720输出的全景图像变换成扇形等形状或者通过分割变换成多个图像。在此情况下，例如，图像变换单元760对全景图像进行变换，以使得与从地图数据获得单元770输出的地图数据相对应的地图上的方位与从方位获得单元750输出的全景图像中的代表性位置处的方位相一致。另外，例如，图像变换单元760基于从特定对象检测单元740输出的特定对象信息对全景图像进行变换，以避免扭曲或分离从方位获得单元750输出的全景图像中所含的特定对象。应当注意，将参考图23A和23B至图31A和31B等等来详细描 述全景图像的变换。另外，图像变换单元760对应于图1所示的CPU160。 

地图数据获得单元770被配置为基于从图像拍摄位置获得单元730输出的图像拍摄位置从地图数据存储单元710获得地图数据，并把所获得的地图数据输出到显示控制单元780。应当注意，地图数据获得单元770对应于图1所示的CPU 160和可移动介质控制器191。另外，例如，可以通过诸如无线LAN之类的网络获得并使用存储在另一装置中的地图数据。 

显示控制单元780被配置为在显示单元790上显示从图像文件获得单元720或图像变换单元760输出的图像以及与从地图数据获得单元770输出的地图数据相对应的地图。显示控制单元780例如基于与从图像变换单元760输出的全景图像相关联的图像拍摄位置，在与从地图数据获得单元770输出的地图数据相对应的地图上布置全景图像。另外，显示控制单元780根据来自操作接受单元210的操作输入，对地图执行诸如大小改变之类的显示控制。将参考图27A和27B至31A和31B等来详细描述这些显示例子。应当注意，显示控制单元780对应于图1所示的CPU 160和LCD控制器171。 

显示单元790是被配置为基于显示控制单元780的控制来显示各种图像的显示单元。显示单元790对应于图1所示的LCD 172。 

全景图像的变换示例 

图23A和23B示出了根据本发明第三实施例的图像变换单元760对全景图像的变换方法的概况。图23A利用矩形示意性地示出了变换前的全景图像800。根据图23A所示的例子，将描述这样一种情况来作为例子：其中，在成为变换对象的全景图像800被设定为矩形形状的情况下，全景图像800被变换成xy坐标上的扇形形状，在该xy坐标中，左下角被设定为原点(0，0)，水平轴被设定为x轴，并且垂直轴被设定为y轴。另外，在图23A所示的xy坐标上，矩形形状的全景图像800的顶点被设定为点801至804，连接点801和802的线 段的中点被设定为点805，并且连接点803和804的线段的中点被设定为点806。应当注意，图23A所示的全景图像800中的各个点是以相互不同的样式示出的(涂白或涂黑的圆、三角形和矩形)。另外，与全景图像800的图像拍摄范围相对应的角度(全景角度)被设定为α，全景图像800的水平方向上的长度被设定为U，并且全景图像800的垂直方向上的长度被设定为V。 

全景图像800例如是包含在水平方向上具有某一宽度范围的被摄物的图像。鉴于此，在此例子中，考虑到与全景图像800的图像拍摄操作时摄影者所看到的被摄物之间的位置关系，全景图像800被变换成扇形形状。这里，扇形形状例如是扇子的形状或者通过切掉扇子上靠近中心角的部分而获得的形状(即，利用两个弧形和两条直线获得的形状)。 

图23B示出了在大致变换成扇形后的全景图像810。应当注意，在图23B所示的xy坐标上，与图23A所示的点801至806相对应的各个点的位置被赋予与图23A所示的样式相同的样式。 

例如，如图23B所示，在全景图像800被转换成扇形形状以生成全景图像810的情况下，通过使用以下的式8和式9，全景图像800中包含的坐标P1(x，y)被变换成坐标P1′(x′，y′)。 

x′＝(U/2)+m·(y+a)·cos([90+α{(U/2-x)/U}](π/180))…式8 

y′＝m·(y+a)·sin([90+α{(U/2-x)/U}](π/180))…式9 

这里，m是表示在中心位置818被设定为基准的同时全景图像810被放射状放大的情况下的比例因子的值，a是表示在中心位置818被设定为基准的同时全景图像810在垂直方向上被放大的情况下的距离的值。另外，α是变换后全景图像810的中心角度。通过使用上述的式8和式9，如图23B所示，可以生成具有扇形形状的全景图像810。应当注意，在图23A和23B所示的xy坐标上，全景图像800和810的框由粗线表示。另外，使用上述的式8和式9的变换方法是基于全景图像中水平方向上的大小和全景角度将全景图像变换成扇形形状以使得变换后全景图像中包含的被摄物的方位与地图上的方位基本 一致的变换方法的例子。 

图24A和24B示出了根据本发明第三实施例的图像变换单元760所变换的全景图像的转变示例。图24A示出了变换前的全景图像820。全景图像820与图6C等等所示的全景图像类似。 

图24B示出了在利用式8和式9将全景图像820变换成扇形形状后的全景图像821。例如，利用式8和式9变换出的全景图像821是中心角度被设定为根据全景角度而不同的方式来变换的。由于此原因，例如，在水平方向上具有相同长度的全景图像被转换的情况下，具有较大全景角度的全景图像具有这样的曲线：构成变换后的扇形形状的两个弧形相对较深。相反，具有较小全景角度的全景图像具有这样的曲线：构成变换后的扇形形状的两个弧形相对较浅。以这种方式，由于全景图像被变换成扇形形状，因此可以显示这样的全景图像：其中在图像拍摄操作时摄影者所看到的被摄物的状态容易被直观地掌握。另外，不是显示图24A所示的全景图像820，通过显示图24B所示的被变换成扇形形状的全景图像821，可以以新的样式向用户提供全景图像。利用此配置，可以增强用户对全景图像820的兴趣。另外，用户可以改变比例因子m、距离a以及总角度α。由于用户通过手工操作改变这些值，可以显示更多种具有扇形形状的全景图像。 

应当注意，例如，在成为显示对象的全景图像包含不希望扭曲的特定对象(例如，人脸)的情况下，该特定对象可在不被变换成扇形形状的情况下被显示。例如，如图25A至25C所示，全景图像被分割，使得特定对象与边界重叠，并且分割后的全景图像可被显示。另外，例如，为了不扭曲特定对象，如图26A至26C所示，该特定对象可被提取出并被重叠在被变换成扇形形状的全景图像上的某一位置处，以进行组合。 

全景图像的另一种变换示例 

在上文中，已经说明了全景图像被变换成扇形形状的例子。然而，例如，在包含诸如人脸之类的在被扭曲时会带来不适之感的被摄物的 情况下，重要的是在不扭曲这些被摄物的情况下执行利用全景图像的特性的显示。鉴于此，在下文中，将说明这样一个例子：其中，在不把全景图像变换成扇形形状的情况下，分割全景图像，并且基于方位显示分割后的各个图像。 

图25A至25C示出了根据本发明第三实施例的图像变换单元760所变换的全景图像的转变示例。图25A示出了变换前的全景图像830。全景图像830类似于图24A所示的全景图像。 

图25B示出了这样一个例子：其中，在全景图像830被图像变换单元760分割成五个图像之后的图像831至835被布置为要显示的全景图像836。这里，对全景图像的分割数目可以通过用户的手工操作来设定或者可以遵循一定的规则来设定。对于图25B所示的分割图像831至835，如根据本发明的第二实施例所示的，可以计算各个图像的方位。鉴于此，例如，在布置在最中间的图像833的方位被设定为基准的同时，图像变换单元760计算其他图像831、832、834和835的方位的差异。然后，按照计算出的差值对各个图像执行旋转处理，并且布置旋转处理后的图像831、832、834和835。在此情况下，例如，如图25B所示，可以通过进行布置以使得图像831至835的下角相接触来获得全景图像836。另外，如图25C所示，可以通过进行布置以使得图像831至835的中间部分相接触来获得全景图像837。这里，作为图像的旋转方法，例如，可以使用一种用于利用二维坐标上的3×3矩阵(仿射矩阵)对两个点处的位置进行变换的仿射变换。例如，图像变换单元760在各个图像的中心位置被设定为旋转基准的同时，对各个图像的各个值执行仿射变换。然后，在该仿射变换被执行之后，各个图像可被布置在预定的位置处。 

这里，例如，在包含不应当被分割成全景图像的特定对象(例如，人脸)的情况下，也可以执行全景图像的分割而不分离该特定对象。例如，在特定对象被设定为人脸的情况下，基于全景图像的图像文件中记录的脸部信息，可以识别全景图像中水平方向上的脸部位置。鉴于此，例如，当执行分割处理时，判定在该分割时的边界上是否存在 脸部。如果在分割时的边界上存在脸部，则脸部被移动到左侧或右侧，以使得边界不与脸部重叠。例如，在脸部被移动以使得边界不与脸部重叠的情况下，脸部可被移动到左侧或右侧之中距离较短的那一侧。 

另外，如果在分割时的边界上存在脸部，为了使得边界不与脸部重叠，可以改变要分割的图像的数目。例如，在设定了全景图像被分割成五个图像的情况下，当在分割成五个图像时的任何一个边界上存在脸部时，全景图像可被分割成四个图像或六个图像。另外，在以这种方式改变了分割的图像的数目之后，如果在分割时的任何一个边界上存在脸部，则可以进一步改变要分割的图像的数目。 

图26A至26C示出了根据本发明第三实施例的图像变换单元760所变换的全景图像的转变示例。该变换示例是图24A和24B的修改例，并且是执行变换以避免扭曲特定对象的例子。图26A示出了变换前的全景图像840。全景图像840类似于图24A所示的全景图像。应当注意，在此例子中，将说明这样一个例子：其中，特定对象被设定为人脸，全景图像840中包含的包含人脸841和842的脸部图像843和844被提取，并且所提取的脸部图像843和844与全景图像840相重叠，以便被组合。应当注意，对全景图像840的变换方法类似于图24A和24B所示的示例，因此此次将省略对其的描述。 

例如，特定对象检测单元740基于全景图像840的图像文件中记录的脸部信息，检测全景图像840中包含的人脸841和842。然后，如图26B所示，基于与检测到的人脸841和842有关的检测信息，图像变换单元760从全景图像840中提取包含人脸841和842的脸部图像843和844。在进行该提取时，图像变换单元760通过上述的方位计算方法来计算脸部图像843和844的方位。然后，如图26C所示，图像变换单元760对全景图像840进行变换以生成具有扇形形状的全景图像845，并且把所提取的脸部图像843和844重叠并组合在全景图像845上。在此情况下，例如，图像变换单元760以脸部图像843和844的中心为旋转中心，基于关于脸部图像843和844计算出的方位，旋转脸部图像843和844。然后，旋转后的脸部图像843和844 被组合在提取位置处。应当注意，在图26C中，与旋转后的脸部图像843和844相对应的矩形由虚线表示。应当注意，对于图24A和24B至图26A至26C所示的变换后的全景图像，例如，可以在各个全景图像中的上下方向与显示单元790中的上下方向一致的情况下进行显示。 

全景图像在地图上的布置例子 

在上文中，已经说明了显示被图像变换单元760变换的全景图像的例子。在下文中，将说明全景图像被布置在包括图像拍摄位置的地图上以被显示的例子。 

图27A和27B示出了根据本发明第三实施例与存储在地图数据存储单元710中的地图数据相对应的区域中的图像拍摄操作和通过该图像拍摄操作生成的全景图像之间的关系的概况。 

图27A所示的局部区域850是与地图数据存储单元710中存储的地图数据的一部分相对应的区域。应当注意，在图27中，上侧的方位被设定为北。另外，在局部区域850中，例如，存在A建筑物851、B建筑物852以及C建筑物853，并且以这些建筑物为背景，一个人854站立着。在此状态中，例如，图像拍摄装置700执行全景图像的图像拍摄操作。通过图像拍摄操作得到的全景图像的角度被设定为α1，并且与全景图像中的中心位置相对应的图像拍摄方向由箭头855表示。应当注意，根据本发明的第三实施例，虽然与全景图像的生成有关的配置作为功能配置示例被省略，但是提供了与本发明的第一实施例类似的功能配置。另外，在此例子中，将说明通过图像拍摄装置700的图像拍摄操作生成全景图像的例子，但是，例如，通过另一图像拍摄装置的图像拍摄操作生成的全景图像被存储在图像存储单元200中，并且可以利用该全景图像来执行显示。 

图27B示出了在图27A所示的局部区域850中生成的全景图像860。以这种方式，全景图像860包括A建筑物851、B建筑物852、C建筑物853以及以这些建筑物为背景站立着的人854。另外，全景 图像860中的中心位置861由十字标记表示。 

图28A和28B至图31A和31B示出了根据本发明第三实施例在下述情况下的显示例子：在与地图数据存储单元710中存储的地图数据相对应的地图上，重叠了在与该地图相对应的区域中生成的全景图像。应当注意，与全景图像相对应的图像拍摄范围和与中心位置相对应的方向由虚线表示。应当注意，这些虚线对应于图27A中所示的那些。 

图28A示出了通过把全景图像860重叠在与图27A所示的局部区域850相对应的地图857上而显示的显示例子。例如，全景图像860被布置成使得全景图像860的中心位置861成为地图857上的图像拍摄位置。 

图28B示出了通过把全景图像860重叠在地图857上以使得全景图像860的上下方向与全景图像860的中心位置861的方位相一致而显示的显示例子。在此情况下，例如，全景图像860被布置成使得全景图像860中的中心位置861成为地图857上的图像拍摄位置。在以这种方式布置全景图像的情况下，例如，全景图像860以中心位置861为旋转中心旋转。例如，上述的仿射变换可被用作此旋转转换方法。更具体而言，在中心位置861被设定为旋转基准的情况下，图像变换单元760对全景图像860的各个值进行仿射变换。例如，计算由全景图像860中的中心位置861的方位和地图857上的北的方位所限定的角度α2。然后，进行仿射变换，以使得全景图像860被旋转α2度。以这种方式，通过使全景图像860中的中心位置861的方位与地图857上的方位相一致，可以很容易地直观掌握全景图像860和地图857之间的对应关系。 

这里，如上所述，在显示全景图像以便能够直观地掌握全景图像的图像拍摄操作的状态的情况下，可以通过将全景图像变换成扇形形状来对其进行显示。另外，如上所述，全景图像可被分割并显示。在下文中，将描述这些显示例子。 

图29示出了通过利用式8和式9变换全景图像860并将全景图 像862重叠在地图857上以使得变换后的全景图像862的各个方位与地图857上的方位相一致而显示的显示例子。在此情况下，例如，全景图像862被布置成使得变换后的全景图像862的中心点处的位置与地图857上的图像拍摄位置858相一致。这里，例如，地图857上的图像拍摄位置858如图29所示例如可被显示为涂白的圆。应当注意，对全景图像的变换方法和旋转方法类似于上述例子，因此这里将省略对其的描述。 

以这种方式，通过显示全景图像862和图像拍摄位置858，可以很容易地直观掌握与地图857相对应的局部区域850中的图像拍摄操作的状态。另外，通过以这种方式进行显示，可以增强全景图像的吸引力。利用此配置，可以增强显示全景图像时用户的兴趣。 

图30示出了图25B的修改例。例如，将说明这样一个显示例子：其中，全景图像860被分割成三个图像，构成分割后的全景图像863的中间图像867的方位与地图857上的方位相一致，并且全景图像863被重叠在地图857上以进行显示。在此情况下，例如，全景图像863被布置成使得分割后的全景图像863所标识的中间点的位置与地图857上的图像拍摄位置858相一致。这里，分割后的全景图像863所标识的中间点的位置例如可被设定为这样一个位置：在该位置处，构成分割后的全景图像863的三个图像867至869的中心位置处的各个方位相互交叉。另外，地图857上的图像拍摄位置858例如可以与图29中类似地被显示为涂白的圆。另外，在此例子中，在执行分割时的特定对象被设定为人脸和建筑物以避免分割这些特定对象，在这种情况下设定分割的数目和边界。如上所述可以基于在生成全景图像时记录的元信息来检测这些特定对象，也可以通过显示时的图像分析来检测这些特定对象。应当注意，对全景图像的分割方法和旋转方法类似于上述例子，因此这里将省略对其的描述。 

以这种方式，通过显示全景图像863和图像拍摄位置858，可以很容易地直观掌握与地图857相对应的局部区域850中的图像拍摄操作的状态。另外，可以在不扭曲的情况下显示特定对象。通过以这种 方式进行显示，可以在不同于扇形形状的显示模式中显示全景图像，因此可以增强吸引力。利用此配置，可以增强显示全景图像时用户的兴趣。 

图31A和31B示出了这样一个显示例子：其中，与图26A至26C所示的例子类似，在特定对象被设定为人脸的情况下，全景图像860中包含的、包含人854的脸部的脸部图像864被提取，并且所提取的脸部图像864被重叠在全景图像865上，以便被组合。图31A示出了全景图像860和包含人854的脸部的脸部图像864之间的关系，图31B示出了通过对全景图像860进行变换而生成的具有扇形形状的全景图像865与提取出的脸部图像866相重叠以进行组合的例子。应当注意，在图31B中，与所提取的脸部图像866相对应的矩形由虚线表示。另外，对全景图像的变换方法和旋转方法类似于上述例子，因此这里将省略对其的描述。另外，对脸部图像的组合方法也类似于上述的组合方法，只不过组合是在根据成为组合对象的全景图像的旋转进行旋转之后执行的，因此这里将省略对其的描述。 

以这种方式，根据本发明的第三实施例，根据与全景图像中所含的被摄物相对应的方位，全景图像可被变换并显示。利用此配置，可以显示反映出与全景图像中包含的被摄物相对应的方位的全景图像。利用此配置，可以很容易直观地掌握全景图像与被摄物之间的关系。另外，例如，根据与全景图像中包含的被摄物相对应的方位，由于全景图像被变换成扇形形状或者分割图像被显示，因此可以很容易直观地掌握全景图像与被摄物之间的相关性。另外，在变换后的全景图像被重叠在地图上并被显示的情况下，通过根据与全景图像中包含的被摄物相对应的方位来布置全景图像，可以很容易地掌握全景图像中包含的被摄物与图像拍摄方向之间的关系。通过以这种方式显示全景图像，可以增强吸引力，并且可以增强用户的兴趣。应当注意，在上文中，已经说明了全景图像被布置成使得变换后的全景图像所标识的中心点的位置与地图上的图像拍摄位置相一致的例子，但是，例如，也可以根据用户的偏好来改变布置位置。例如，全景图像可被布置成使 得转换后的全景图像中的中心位置处的方位与地图上的图像拍摄位置相一致。 

图像拍摄装置的操作示例 

图32是根据本发明第三实施例的图像拍摄装置700进行的图像显示处理的处理过程的流程图。在此例子中，将说明全景图像被重叠在地图上以进行显示的例子。另外，在全景图像不包含特定对象的情况下，如图29所示，执行变换成扇形形状的处理，而在全景图像包含特定对象的情况下，则说明执行如图30所示的分割变换处理的例子。 

首先，判定操作接受单元210是否接受了在地图上显示图像的显示指定操作(步骤S941)。在未接受显示指示操作的情况下，继续监视，直到接受显示指示操作为止。在接受了显示指示操作的情况下(步骤S941)，根据显示指示操作，图像文件获得单元720获得图像存储单元200中存储的图像文件(步骤S942)。在此情况下，图像文件获得单元720分析所获得的图像文件的元信息，以判定所获得的图像文件的图像的类型(全景图像的存在与否)。该判定例如是基于元数据中包括的图像大小等来执行的。另外，例如，全景图像的存在与否被记录在制作者注释中，并且该判定可基于该制作者注释来执行。 

然后，判定所获得的图像文件的图像是否为全景图像(步骤S943)。在所获得的图像文件的图像不是全景图像的情况下(步骤S943)，在地图上的图像拍摄位置被设定为基准的情况下，显示控制单元780布置所获得的图像文件的图像以便显示在显示单元790上(步骤S944)。另一方面，在所获得的图像文件的图像是全景图像的情况下(步骤S943)，判定全景图像中是否包含特定对象(步骤S945)。 

在全景图像中不包含特定对象的情况下(步骤S945)，图像变换单元760把全景图像变换成扇形形状(步骤S946)。然后，图像变换单元760对全景图像执行旋转处理，以使得变换后的全景图像的方位与地图上的方位相一致(步骤S947)。然后，显示控制单元780 将全景图像布置在地图上，以便显示在显示单元790上，使得变换后的全景图像的中心点的位置与地图上的图像拍摄位置相一致(步骤S948)。 

另一方面，在全景图像中包含特定对象的情况下(步骤S945)，图像变换单元760分割全景图像，以使特定对象不与分割时的边界相重叠(步骤S949)。然后，图像变换单元760对各个图像执行旋转处理，以使变换后的各个图像的方位与地图上的方位相一致(步骤S950)。然后，显示控制单元780使全景图像显示在地图上，以便显示在显示单元790上，使得变换后的各个图像所标识的中心点的位置与地图上的图像拍摄位置相一致(步骤S951)。 

全景图像的另一种变换例 

在上文中，已经说明了这样一个例子：其中，在全景图像被变换成扇形形状之后，基于全景图像中的中心位置处的方位，变换后的全景图像被旋转并布置在地图上。这里，例如，当全景图像被变换成扇形形状时，如果执行根据全景图像中的中心位置处的方位的旋转处理，则预期可以迅速地执行变换处理。鉴于此，在下文中，将说明这样一个例子：其中，利用从式8和式9修改得到的式子对全景图像进行变换。 

图33A和33B示出了根据本发明第三实施例的图像变换单元760对全景图像的变换方法的概况。这里，图33A和33B所示的变换方法是图23所示的变换方法的修改例，并且除了以下这点之外是相同的：旋转处理是按照由地图上的方位和全景图像中的代表性位置处的方位所限定的角度ω来执行的。由于此原因，在下文中，将主要描述与图23所示的变换方法的不同之处。共同的部分被赋予相同的标号，并且对其的描述将被省略。图33A与图23A类似地利用矩形示意性地示出了变换前的全景图像800。 

图33B示出了在变换成扇形形状后的全景图像870。应当注意，在图33B所示的xy坐标中，与图33A所示的点801至806相对应的 各个点的位置被赋予与图23A所示相同的样式。 

例如，如图33B所示，在图像拍摄装置100被变换成扇形形状以生成全景图像870的情况下，通过使用以下的式10和式11，全景图像800中包含的坐标P1(x，y)被变换成坐标P1′(x′，y′)。 

x′＝(U/2)+m·(y+a)·cos([90+α{(U/2-x)/U}+ω](π/180))…式10

y′＝m·(y+a)·sin([90+α{(U/2-x)/U}+ω](π/180))…式11

这里，ω是表示旋转角度的值，并且代表由地图上的方位和全景图像中的代表性位置处的方位限定的角度。通过利用上述的式10和式11，不执行在利用式8和式9生成扇形形状之后执行根据方位的旋转处理的两级变换处理。也就是说，可以通过一级变换处理来执行使地图上的方位与全景图像中的代表性位置处的方位相一致的变换处理，可以快速地生成考虑了方位的、具有扇形形状的全景图像。 

以这种方式，根据本发明的实施例，在记录全景图像时，可以记录全景图像中的代表性位置处的方位。另外，在从全景图像中提取出一部分图像的情况下，可以计算所提取图像中的代表性位置处的方位，并且可将该方位用于所提取的图像。另外，利用全景图像中包含的被摄物的方位，可以从全景图像中提取出所需的图像。另外，当显示全景图像时，通过使用全景图像中包含的被摄物的方位，可以变换和显示全景图像。也就是说，根据本发明的实施例，可以适当地使用与全景图像有关的方位。 

4.修改例 

应当注意，根据本发明的实施例，已经描述了图像拍摄装置作为例子，但是本发明的实施例也可应用到能够处理全景图像的、诸如图像处理装置之类的电子设备，比如设有图像拍摄功能的移动电话设备、个人计算机、车辆导航系统等等。另外，本发明的实施例可应用到能够把从全景图像中提取出的图像或者变换后的全景图像输出到另一显示装置并在该显示装置上显示这些图像的诸如图像处理装置 之类的电子设备。 

应当注意，本发明的实施例已被描述为实现本发明的例子，并且如本发明的实施例中所指出的，根据本发明实施例的项目分别与权利要求的范围中的发明技术特征具有对应关系。类似地，权利要求的范围中的发明技术特征与根据本发明实施例的与发明技术特征具有相同名称的项目具有对应关系。然而，应当注意，本发明并不限于这些实施例，可以对这些实施例应用各种修改以在不脱离本发明的主旨的范围内实现本发明。 

另外，根据本发明实施例描述的处理过程可被视为包括这一系列步骤的方法。另外，这一系列处理可被视为用于指示计算机执行这些处理的程序或者存储该程序的记录介质。例如，CD(致密盘)、MD(袖珍盘)、DVD(数字多功能盘)、存储卡、蓝光盘(注册商标)等等可被用作该记录介质。 

本申请包含与2009年5月27日向日本专利局提交的日本在先专利申请JP 2009-127127中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。 

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。 

Claims (16)

1.一种图像拍摄装置，包括：

图像拍摄单元，被配置为拍摄被摄物的图像并生成多个拍摄图像；

方位获得单元，被配置为把拍摄所生成的多个拍摄图像之中的一个拍摄图像时的图像拍摄位置设定为基准，并且获得与该拍摄图像有关的方位；

图像组合单元，被配置为组合所生成的多个拍摄图像以生成全景图像；

代表性位置计算单元，被配置为计算所生成的全景图像中的水平方向上的代表性位置；

方位计算单元，被配置为基于所述图像拍摄单元的特性信息、计算出的代表性位置以及所获得的方位，计算被计算出的代表性位置处的方位；以及

记录控制单元，被配置为与所生成的全景图像相关联地记录计算出的方位，

其中，所述特性信息包括由所述图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。

2.根据权利要求1所述的图像拍摄装置，

其中，所述方位获得单元获得在所生成的多个拍摄图像之中在时间轴上的第一拍摄图像的中心位置处的方位作为与该拍摄图像有关的方位，并且

其中，所述代表性位置计算单元计算所生成的全景图像的中心位置作为所述全景图像中的代表性位置。

3.根据权利要求1所述的图像拍摄装置，还包括：

图像拍摄操作判定单元，被配置为判定在生成所述多个拍摄图像时的图像拍摄操作状态，

其中，所述方位计算单元在一特定图像拍摄操作状态被判定为图像拍摄操作状态的情况下，把所获得的方位设定为所述代表性位置处的方位。

4.一种电子设备，包括：

操作接受单元，被配置为接受指定全景图像中的一部分的范围的指定操作，该全景图像是通过组合多个拍摄图像生成的；

图像提取单元，被配置为从所述全景图像中提取所指定的范围中包含的图像；

方位计算单元，被配置为基于用来生成所述多个拍摄图像的图像拍摄单元的特性信息、所述全景图像中的代表性位置、与该代表性位置相对应的方位、以及所提取的图像中的代表性位置，来计算与所提取的图像中的代表性位置相对应的方位；以及

记录控制单元，被配置为与所提取的图像相关联地记录计算出的方位，

其中，所述特性信息包括由所述图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。

5.一种电子设备，包括：

操作接受单元，被配置为接受指定全景图像中的一部分的范围的指定操作，该全景图像是通过组合多个拍摄图像生成的；

图像提取单元，被配置为从所述全景图像中提取所指定的范围中包含的图像；

方位计算单元，被配置为基于所述全景图像中的水平方向上的大小、与所述全景图像的图像拍摄范围相对应的角度、所述全景图像中的代表性位置、与该代表性位置相关联的方位、以及所提取的图像中的代表性位置，来计算所提取的图像中的代表性位置处的方位；以及

记录控制单元，被配置为与所提取的图像相关联地记录计算出的方位。

6.一种电子设备，包括：

特定方位位置计算单元，被配置为基于通过组合多个拍摄图像生成的全景图像中的水平方向上的大小、该全景图像中的代表性位置、与该代表性位置相关联的方位、以及用来生成所述多个拍摄图像的图像拍摄单元的特性信息，来计算该全景图像中的特定方位以及该全景图像中与该特定方位相对应的位置；

图像提取单元，被配置为从所述全景图像中提取出所述全景图像中包括计算出的位置在内的预定范围中所包含的图像；以及

显示控制单元，被配置为使所提取的图像与所述特定方位相关联地进行显示，

其中，所述特性信息包括由所述图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。

7.根据权利要求6所述的电子设备，

其中，在所述全景图像中存在多个特定方位的情况下，所述特定方位位置计算单元计算所述多个特定方位，

其中，所述显示控制单元显示计算出的各个特定方位，

所述电子设备还包括：

操作接受单元，被配置为接受从所显示的特定方位之中选择希望的特定方位的选择操作，

其中，所述图像提取单元从所述全景图像中提取包括与所选择的特定方位相对应的位置在内的预定范围中所包含的图像，并且

其中，所述显示控制单元使所提取的图像与所选择的特定方位相关联地进行显示。

8.一种电子设备，包括：

特定对象检测单元，被配置为检测通过组合多个拍摄图像生成的全景图像中包含的特定对象；

特定对象方位计算单元，被配置为基于检测到的特定对象在所述全景图像中的位置、用来生成所述多个拍摄图像的图像拍摄单元的特性信息、所述全景图像中的代表性位置、以及与该代表性位置相关联的方位，来计算与检测到的特定对象的位置相对应的方位；

图像提取单元，被配置为从所述全景图像中提取出包括检测到的特定对象在内的预定范围中所包含的图像；以及

显示控制单元，被配置为使所提取的图像与计算出的方位相关联地进行显示，

其中，所述特性信息包括由所述图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。

9.一种电子设备，包括：

图像变换单元，被配置为基于通过组合多个拍摄图像生成的全景图像中的水平方向上的大小、与该全景图像的图像拍摄范围相对应的角度、以及该全景图像中的代表性位置，来对该全景图像进行变换；以及

显示控制单元，被配置为基于生成所述全景图像时的图像拍摄位置，在地图上布置和显示变换后的全景图像。

10.根据权利要求9所述的电子设备，

其中，所述图像变换单元把所述全景图像变换成扇形形状，以使变换后的全景图像中包含的被摄物的方位与所述地图上的方位基本一致。

11.根据权利要求10所述的电子设备，

其中，所述显示控制单元把变换后的全景图像布置和显示在所述地图上，以使变换后的全景图像的中心角度处的位置与所述地图上的图像拍摄位置基本一致。

12.根据权利要求9所述的电子设备，

其中，在所述全景图像包含特定对象的情况下，所述图像变换单元提取包含所述特定对象的特定对象图像，并且把所提取的特定对象图像重叠在变换后的全景图像上而进行组合。

13.一种电子设备，包括：

图像变换单元，被配置为以通过组合多个拍摄图像所生成的全景图像中的垂直方向为边界，把该全景图像分割成预定的数目以生成多个图像，基于用来生成所述多个拍摄图像的图像拍摄单元的特性信息、该全景图像中的代表性位置、与该代表性位置相关联的方位、以及分割后的各个图像中的代表性位置，来计算与分割后的各个图像中的代表性位置相对应的方位，并且基于计算出的方位来旋转分割后的各个图像；以及

显示控制单元，被配置为基于生成所述全景图像时的图像拍摄位置，在地图上布置和显示分割后的各个图像，

其中，所述特性信息包括由所述图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。

14.根据权利要求13所述的电子设备，

其中，所述图像变换单元旋转分割后的各个图像，以使分割后的各个图像中的代表性位置的方位与所述地图上的方位基本一致。

15.根据权利要求13所述的电子设备，

其中，在所述全景图像包含特定对象的情况下，所述图像变换单元改变边界的位置以使所述特定对象不与边界重叠，并且分割所述全景图像。

16.一种全景图像记录方法，包括以下步骤：

拍摄被摄物的图像并且生成多个拍摄图像；

把拍摄所生成的多个拍摄图像之中的一个拍摄图像时的图像拍摄位置设定为基准，并且获得与该拍摄图像有关的方位；

组合所生成的多个拍摄图像以生成全景图像；

计算所生成的全景图像中的水平方向上的代表性位置；

基于用来生成所生成的多个拍摄图像的图像拍摄单元的特性信息、计算出的代表性位置以及所获得的方位，来计算被计算出的代表性位置处的方位；以及

与所生成的全景图像相关联地记录计算出的方位，

其中，所述特性信息包括由所述图像拍摄单元生成的拍摄图像的焦平面的宽度和焦距。

Images