CN102469242B - 成像设备和成像方法 - Google Patents

Abstract

本公开涉及成像设备，成像方法和程序。所述图像处理设备包括：接收识别被摄物体的输入的接口，和根据捕捉的图像数据生成全景图像，以致使被摄物体位于全景图像中的基准位置的处理器。

Description

成像设备和成像方法

相关申请的交叉参考

本申请根据35U.S.C§119要求2010年11月11日在日本专利局提交的日本专利申请JP2010-252612的优先权，其全部内容在此结合作为参考。

技术领域

本公开涉及成像设备，具体地说，涉及生成全景图像的成像设备和成像方法，和使计算机执行该方法的程序。

背景技术

近年来，拍摄诸如风景之类的被摄物体从而生成图像(图像数据)，和把生成的图像记录为图像文件的成像设备，比如数字静态照相机已得到广泛使用。另外，提出了一种按照时间先后顺序连续生成多个图像，并利用这些生成的多个图像生成包括具有较宽范围的被摄物体的全景图像的成像设备。

例如，提出了一种成像设备，其中在以成像设备的后方(例如，摄影者的位置)作为轴移动成像设备，以致画出圆弧的时候，生成多个图像，并利用这些多个图像生成全景图像(例如，参见未经审查的日本专利申请公报No.2009-268037)。

发明内容

按照上述现有技术，在用户把成像设备握在手中的状态下，通过移动成像设备，以致画出弧线，可以进行全景图像的成像操作，从而，用户可按照相对容易的方式进行所述成像操作。

这样，在利用上述现有技术进行全景图像的成像操作的情况下， 全景图像的构图是按照依据用户操作的成像操作的开始指令决定的。因而，如果进行全景图像的成像操作，那么在环顾四周之后，用户必须确认充当全景图像的成像对象的被摄物体，并例如识别成像操作的开始位置和终止位置。随后，在成像操作的开始位置，执行成像操作开始指令之后，用户通过把成像设备移动到成像操作的终止位置，进行全景图像的成像操作。

不过，在按照这种方式根据用户的确认进行全景图像的成像操作的情况下，构图可能不同于用户预期的构图。例如，可能存在用户意图位于全景图像中的中心位置的对象未能位于全景图像中的中心位置的情况。这种情况下，例如，用户通过试错过程进行多次成像操作，或者妥协于具有非预期构图的全景图像。

发现理想的是能够容易地生成用户中意的全景图像。

按照第一例证实施例，本公开目的在于一种图像处理设备，包括接收识别被摄物体的输入的接口，和根据捕捉的图像数据生成全景图像，以致使被摄物体位于全景图像中的基准位置的处理器。

按照另一个例证实施例，本公开目的在于一种图像处理设备，所述图像处理设备包括接收识别被摄物体的输入的接口，捕捉用于生成全景图像的图像数据的成像单元，和根据捕捉的图像数据生成全景图像，以致使被摄物体位于全景图像中的基准位置的处理器。

按照另一个例证实施例，本公开目的在于一种由图像处理设备执行的图像处理方法。所述方法包括在图像处理设备的接口，接收识别被摄物体的输入，在图像处理设备的处理器，根据捕捉的图像数据生成全景图像，以致使被摄物体位于全景图像中的基准位置。

按照上述结构，能够获得突出的优点，因为能够容易地生成用户中意的全景图像。

附图说明

图1是图解说明按照本公开的第一实施例的成像设备的内部结构例子的方框图；

图2是是图解说明按照本公开的第一实施例的成像设备的功能结构例子的方框图；

图3A和3B是图解说明按照本公开的第一实施例的成像设备的外观的透视图；

图4是图解说明按照本公开的第一实施例，显示在输入/输出面板上的显示屏幕例子的示图；

图5A和5B图解说明按照本公开的第一实施例，显示在输入/输出面板上的设定屏幕例子的示图；

图6A和6B是图解说明在利用按照本公开的第一实施例生成全景图像的情况下的成像操作，和利用该成像操作生成的全景图像之间的关系的示图；

图7A和7B是图解说明按照本公开的第一实施例，显示在输入/输出面板上的设定屏幕例子的示图；

图8A和8B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图9A和9B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图10A和10B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图11A和11B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图12A和12B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图13A和13B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图14A和14B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图15是图解说明按照本公开的第一实施例，显示在输入/输出面板上的摆动操作帮助屏幕的例子的示图；

图16A和16B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图17A和17B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图18A和18B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图19A和19B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图20A和20B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图21A和21B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图22A和22B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图23A和23B是示意图解说明按照本公开的第一实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的转变例子的示图；

图24是图解说明按照本公开的第一实施例的成像设备的成像控制处理的例子的流程图；

图25是图解说明按照本公开的第一实施例的成像设备的成像控制处理的例子的流程图；

图26是图解说明按照本公开的第一实施例的成像设备的成像控制处理的例子的流程图；

图27A和27B是图解说明按照本公开的第二实施例，显示在输入/输出面板上的显示屏幕例子的示图；

图28A和28B是示意图解说明按照本公开的第二实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的例子的示图；

图29A、29B和29C是示意图解说明按照本公开的第二实施例的成像设备的取向，显示在输入/输出面板上的显示屏幕，和全景图像中的基准被摄物体之间的关系例子的示图；

图30A、30B和30C是示意图解说明按照本公开的第二实施例的成像设备的取向，显示在输入/输出面板上的显示屏幕，和全景图像中的基准被摄物体之间的关系例子的示图；

图31A、31B和31C是示意图解说明按照本公开的第二实施例的成像设备的取向，显示在输入/输出面板上的显示屏幕，和全景图像中的基准被摄物体之间的关系例子的示图；

图32A、32B和32C是示意图解说明按照本公开的第二实施例的成像设备的取向，显示在输入/输出面板上的显示屏幕，和全景图像中的基准被摄物体之间的关系例子的示图；

图33A和33B是示意图解说明按照本公开的第二实施例的成像设备的取向，和显示在输入/输出面板上的显示屏幕的例子的示图；

图34A和34B是图解说明按照本公开的第二实施例，显示在输入/输出面板上的显示屏幕例子的示图；

图35是图解说明按照本公开的第二实施例的成像设备的成像控制处理的例子的流程图；

图36A和36B是图解说明按照本公开的第二实施例，显示在输 入/输出面板上的显示屏幕例子的示图；

图37A和37B是示意图解说明在利用按照本公开的第一实施例和第二实施例的成像设备，生成全景图像时的成像操作的示图。

具体实施方式

下面说明实现本公开的方式(下面称为实施例)。将按照下述顺序进行说明。

1.第一实施例(成像控制：其中控制全景图像的成像操作，以致使用户期望的被摄物体位于全景图像中的基准位置的例子)

2.第二实施例(成像控制：其中控制全景图像的成像操作，以致通过在构图帮助图像上设置代表基准被摄物体的标识，获得用户期望的构思的例子)

3.变形

1.第一实施例

成像设备的结构例子

图1是图解说明按照本公开的第一实施例的成像设备100的内部结构例子的方框图。成像设备100包括镜头单元111，成像单元112，成像控制单元113，临时存储单元114，取向检测单元121，图像设备取向控制单元122，图像处理单元130，输出控制单元140，显示单元141和外部输出单元142。另外，成像设备100包括操作接收单元151，输入控制单元152，UI(用户接口)控制单元160，重放控制单元170和记录介质180。注意构成成像设备100的各个单元之间的交换是借助总线101进行的。另外，成像设备100可用能够拍摄被摄物体从而生成多个图像(图像数据)，和关于这些多个图像进行各种成像处理的数字静态照相机实现。

镜头单元111由聚集来自被摄物体的光的多个镜头(变焦镜头，聚焦镜头等)构成，经这些镜头和光圈从被摄物体输入的光被提供给成像单元112。

成像单元112在成像控制单元113的控制下，转换来自被摄物体的入射光，从而生成图像(图像数据)，并把生成的图像提供给成像控制单元113。具体地说，在成像装置的成像面上形成经镜头单元111输入的被摄物体的光学图像，成像装置在这种状态下进行成像操作，从而生成图像(图像数据)。注意，例如CCD(电荷耦合器件)传感器，CMOS(互补金属氧化物半导体)传感器等可用作成像装置。

成像控制单元113控制成像单元112的成像操作，并把成像单元112生成的图像(图像数据)经临时存储单元114，提供给图像处理单元130。

临时存储单元114是临时保存成像单元112生成的图像(图像数据)，或者在用图像处理单元130进行图像处理时的图像(图像数据)的图像存储器。例如，临时存储单元114由DRAM(动态随机存取存储器)构成。

取向检测单元121通过检测成像设备100的加速度、运动、倾斜等等，检测成像设备100的取向的变化，并把与检测的取向变化相关的取向变化信息输出给成像设备取向控制单元122。取向检测单元121可利用作为现成组件的抖动校正用陀螺传感器廉价地实现。另一方面，也可以采用专用陀螺传感器。用这些陀螺传感器检测成像设备100的角速度，从而检测成像设备100的取向的变化。注意可以做出其中利用除陀螺传感器(例如，加速度传感器)外的另一个传感器，检测成像设备100的加速度、运动、倾斜等，并根据该检测结果检测成像设备100的取向及其变化的安排。

成像设备取向控制单元122控制取向检测单元121，并把从取向检测单元121输出的取向信息输出给图像处理单元130和UI控制单元160等等。

图像处理单元130对成像单元112生成的图像(图像数据)进行诸如编码之类的图像处理，并把经过图像处理的图像(图像数据)作为图像文件，保存在记录介质180中。例如，图像处理单元130进行关于成像单元112生成的图像(图像数据)的显示用图像处理，并把经过图 像处理的图像输出给输出控制单元140，以显示在显示单元141上。另外，在设定了全景图像成像模式的情况下，图像处理单元130合成用成像单元112生成的多个图像(图像数据)，从而生成全景图像，并把该生成的全景图像作为图像文件保存在记录介质180中。另外，在重放保存在记录介质180中的图像文件时，图像处理单元130进行经临时存储单元114从重放控制单元170供给的图像的图像处理，比如解码处理等等。

输出控制单元140进行与显示单元141和外部输出单元142相关的输出控制。例如，输出控制单元140把从图像处理单元130输出的图像(例如，预览图像)显示在显示单元141上。另外，输出控制单元140在UI控制单元160的控制下，把每个图像(例如，菜单屏幕)显示在显示单元141上。另外，输出控制单元140关于从图像处理单元130输出的图像(例如，预览图像)，合成在UI控制单元160控制之下的每个图像(例如，操作帮助图像)，以便显示在显示单元141上。另外，输出控制单元140在重放控制单元170的控制下，把保存在记录介质180中的图像文件显示在显示单元141上。

显示单元141是显示从输出控制单元140供给的各种图像的显示单元。显示单元141顺序显示成像单元112生成的图像(所谓的监视显示)。另外，显示单元141显示与保存在记录介质180中的图像文件对应的图像。注意，诸如有机EL(电致发光)面板之类的显示面板可用作显示单元141。另一方面，可以采用用户能够通过使他/她的手指接触或接近显示面而输入操作的触摸面板，如图3A和3B中所示。

外部输出单元142把从输出控制单元140供给的各种信息输出给外部装置。

操作接收单元151是接收用户操作的操作输入的操作接收单元，并把与接收的操作输入相应的信号输出给输入控制单元152。例如，就全景图像成像模式来说，在成像设备100上设置操作部件，比如用于指令生成全景图像的成像操作的开始的快门按钮210(示于图3A和3B中)等等。另外，操作接收单元151和显示单元141可以与输 入/输出面板200一体构成，如图3A和3B中所示。

输入控制单元152进行关于操作接收单元151接收的操作输入的控制。

UI控制单元160控制显示单元141显示用于执行用户预期的功能的各种图像。例如，UI控制单元160控制显示单元141显示用于帮助各种菜单屏幕或全景图像的成像操作的操作帮助图像。

重放控制单元170进行在播放保存在记录介质180中的图像文件时的重放控制。例如，重放控制单元170把保存在记录介质180中的图像文件经临时存储单元114，提供给图像处理单元130，以进行诸如图像解码处理之类的图像处理，并把经过图像处理的图像显示在显示单元141上。另外，重放控制单元170控制所述显示时的图像重放顺序或显示方法。

记录介质180是把从图像处理单元130供给的图像保存为图像文件的记录装置。另外，记录介质180在重放控制单元170的控制下，把保存的图像文件提供给图像处理单元130。例如，各种数据，比如JPEG格式的图像数据等被保存在记录介质180中。注意，记录介质180可内置于成像设备100中，或者可安装在成像设备100上/从成像设备100上取下。另外，各种记录介质可用作记录介质180，比如，半导体存储器，光学记录介质，磁盘，HDD(硬盘驱动器)等等。注意，可记录DVD(数字通用光盘)，可记录CD(光盘)，蓝光光盘(注册商标)等可用作光学记录介质。

成像设备的功能结构例子

图2是图解说明按照本公开的第一实施例的成像设备100的功能结构例子的方框图。成像设备100包括成像单元112，临时存储单元114，取向检测单元121，移动量检测单元131和全景图像生成单元132。另外，成像设备100包括显示单元141，操作接收单元151，记录介质180，控制单元190，显示控制单元191和记录控制单元192。注意，在图2中，在图1中所示的各个单元中，只图解说明了主要与全景图像的成像时的图像处理和显示处理相关的部分，其它部分被省略。

成像单元112在控制单元190的控制下，对被摄物体成像，从而生成图像，并把生成的图像提供给临时存储单元114。另外，在设定了全景图像成像模式的情况下，成像单元112按照时间先后顺序，连续拍摄被摄物体，从而生成多个图像，并把生成的图像提供给临时存储单元114。

临时存储单元114是保持成像单元112生成的图像的图像存储器，并把保持的图像提供给移动量检测单元131和全景图像生成单元132。

取向检测单元121检测成像设备100的取向的变化，把与检测的取向变化相关的取向变化信息输出给控制单元190。例如，取向检测单元121检测成像设备100的取向的变化，成像设备100的取向随着以成像设备100的近旁位置(例如，后方位置)为轴，成像设备100沿着特定方向的转动而变化。

移动量检测单元131关于保持在临时存储单元114中的图像，检测时间轴的相邻图像之间的移动量和移动方向，并把检测的移动量和移动方向输出给全景图像生成单元132。例如，移动量检测单元131进行构成相邻两个图像的像素之间的匹配处理(即，区分相同被摄物体的成像区域的匹配处理)，以计算在图像之间移动的像素的数目。借助该匹配处理，进行假定被摄物体基本保持静止的处理。注意，在被摄物体中包含对象的情况下，检测出与整个图像的运动向量不同的运动向量，不过，利用与被视为检出对象之外的这种对象对应的运动向量进行处理。即，只检测与随同成像设备100的移动一起发生的整个图像的移动对应的运动向量(全局运动向量(GMV))。注意，移动量检测单元131对应于图1中所示的图像处理单元130。

全景图像生成单元132在控制单元190的控制下，利用保持在临时存储单元114中的多个图像，生成全景图像，并把生成的全景图像提供给显示控制单元191和记录控制单元192。例如，全景图像生成单元132根据从控制单元190输出的分析结果(成像设备100的取向的变化量的分析结果)，计算保存在临时存储单元114中的多个图像中的 每个图像之中的待合成区域。全景图像生成单元132从多个图像中的每个图像的待合成区域提取图像，并合成提取的图像，从而生成全景图像。这种情况下，全景图像生成单元132根据从移动量检测单元131输出的移动量和移动方向，重叠地合成所述提取的图像，从而生成全景图像。另外，全景图像生成单元132顺序把用于显示由显示成像单元112生成并保存在临时存储单元114中的图像的图像作为预览图像提供给显示控制单元191。注意，全景图像生成单元132对应于图1中所示的图像处理单元130。

操作接收单元151是接收用户操作的操作输入的操作单元，把与接收的操作输入对应的操作信号输出给控制单元190。

控制单元190根据来自操作接收单元151的操作信号，和来自取向检测单元121的取向变化信息，控制成像设备100的各个单元。例如，在操作接收单元151收到成像模式设定操作的情况下，控制单元190设定对应于所述设定操作的成像模式。注意，就本公开的第一实施例来说，将举例说明第一成像模式到第三成像模式(示于图7A中)被设定为生成全景图像的全景图像成像模式的情况。另外，在操作接收单元151收到基准位置(示于图7B中)的设定操作的情况下，控制单元190设定与所述设定操作对应的基准位置。

另外，控制单元190根据来自操作接收单元151的操作信号，确定将位于全景图像中的基准位置的被摄物体。具体地说，控制单元190把收到用户的确定指令操作(例如，快门按钮210的按下操作)时，已成为成像单元112的成像对象的被摄物体确定为将位于所述基准位置的被摄物体。例如，在设定了第一成像模式或第二成像模式的情况下，控制单元190根据在开始全景图像成像操作之前的用户操作，确定将位于所述基准位置的被摄物体。另外，在设定了第三成像模式的情况下，控制单元190根据在全景图像成像操作期间的用户操作，确定将位于所述基准位置的被摄物体。例如，在设定了第一成像模式的情况下，控制单元190把在以当收到将位于基准位置的被摄物体的确定指令操作时的成像设备100的取向作为基准开始成像操作的时候，成像 设备100的旋转角度确定为开始位置。另外，在设定了第一成像模式到第三成像模式之一的情况下，控制单元190把当收到所述确定指令操作时的成像设备100的取向作为基准结束成像操作的时候，成像设备100的旋转角度作为终止位置。

另外，控制单元190根据从取向检测单元121输出的取向变化信息，进行成像单元112的成像控制，以致使确定为将位于全景图像中的基准位置的被摄物体位于所述基准位置。具体地说，在设定了第一成像模式的情况下，控制单元190确定全景图像成像操作的开始位置和终止位置，以致使确定的被摄物体位于所述基准位置。控制单元190随后根据取向变化信息，判定成像设备100是否已到达开始位置或终止位置，在成像设备100到达开始位置时开始成像操作，而在成像设备100到达终止位置时结束成像操作。

另外，在设定了第二成像模式的情况下，控制单元190根据用户的指令开始全景图像成像操作的操作，开始成像操作，并确定成像操作的终止位置，以致使确定的被摄物体位于所述基准位置。控制单元190随后根据取向变化信息，判定成像设备100是否已到达终止位置，并在成像设备100到达终止位置时，结束成像操作。

另外，在设定了第三成像模式的情况下，控制单元190根据全景图像成像操作的开始位置，和当确定将位于全景图像中的基准位置的被摄物体时的成像设备100的取向，确定全景图像成像操作的终止位置。在这种情况下，确定成像操作的终止位置，以致使确定的被摄物体位于所述基准位置。控制单元190随后根据取向变化信息，判定成像设备100是否已到达终止位置，并在成像设备100到达终止位置时，结束成像操作。

另外，在收到确定将位于全景图像中的基准位置的被摄物体的用户操作的情况下，控制单元190进行在显示单元141上显示把成像设备100的取向改变成全景图像成像操作的开始位置的操作帮助图像的控制。另外，在成像设备100的取向变成所述开始位置之后，控制单元190进行在显示单元141上显示把成像设备100的取向改变成全景 图像成像操作的终止位置的操作帮助图像的控制。

另外，例如，控制单元190根据从取向检测单元121输出的取向变化信息，分析成像设备100的取向的变化量(移动方向，移动量等等)，并把其分析结果输出给全景图像生成单元132和显示控制单元191。另外，例如，在结束成像单元112的多个图像的生成处理之后，控制单元190进行在显示单元141上显示全景图像生成单元132生成的全景图像的控制。注意，控制单元190是在发明内容中说明的判定单元和控制单元的例子。

显示控制单元191在控制单元190的控制下，把全景图像生成单元132生成的全景图像显示在显示单元141上。例如，在收到确定将位于全景图像中的基准位置的被摄物体的用户操作的情况下，显示控制单元191在显示单元141上显示把成像设备100的取向改变成全景图像成像操作的开始位置的操作帮助图像。另外，在成像设备100的取向被变成所述开始位置之后，显示控制单元191在显示单元141上显示把成像设备100的取向改变成全景图像成像操作的终止位置的操作帮助图像。

显示单元141是显示从显示控制单元191供给的图像的显示单元。另外，各种菜单屏幕和各种图像被显示在显示单元141上。

记录控制单元192在控制单元190的控制下，进行把全景图像生成单元132生成的全景图像记录在记录介质180中的控制。

记录介质180把全景图像生成单元132生成的全景图像保存为图像文件(图像内容)。

成像设备的外观结构例子

图3A和3B是图解说明按照本公开的第一实施例的成像设备100的外观的透视图。图3A是图解说明成像设备100的正面(即，设置有对着被摄物体的镜头的一面)的外观的透视图。另外，图3B是图解说明成像设备100的背面(即，设置有对着摄影者的输入/输出面板200的一面)的外观的透视图。

成像设备100包括镜头单元111，快门按钮210和输入/输出面板 200。成像设备100是能够拍摄被摄物体，从而生成图像(图像数据)，并且所述生成的图像能够作为图像内容(静止图像内容或运动图像内容)被记录在记录介质180(示于图1中)的成像设备。注意成像设备100设置有诸如电源开关，模式切换开关，变焦按钮之类的其它操作部件，不过这些其它操作部件的图示和说明将被省略。

快门按钮210是在把通过拍摄被摄物体而生成的图像(图像数据)记录成图像内容时，由用户按下的按钮。例如，在设定了记录静止图像的静止图像成像模式的情况下，当半按下快门按钮210时，进行实现自动聚焦的聚焦控制。另外，当全按下快门按钮210时，进行所述聚焦控制，并且关联地把在全按下快门按钮210时成像单元112拍摄的图像记录在记录介质180中。另外，将参考图8A-23B和其它附图详细说明在设定全景图像成像模式的情况下，快门按钮210的按下操作。

输入/输出面板200显示各种图像，还通过检测输入/输出面板200上的接触操作，接收来自用户的操作输入。输入/输出面板200例如用触摸面板实现。注意，输入/输出面板200对应于图1和2中所示的显示单元141和操作接收单元151。

当设定全景图像成像模式时的显示屏幕例子

图4是图解说明按照本公开的第一实施例，显示在输入/输出面板200上的显示屏幕例子的示图。就图4中所示的显示屏幕300来说，显示在左侧的图标(301-305)是主要在进行设定操作时使用的图标，显示在右侧的图标(306-309)是主要代表当前状态等的图标。

菜单屏幕用转变按钮301是在转变到菜单屏幕时按下的按钮。具体地说，当按下菜单屏幕用转变按钮301时，在输入/输出面板200上显示菜单屏幕。

运动图像成像模式用转变按钮302是在设定运动图像成像模式时按压的图标。具体地说，当按压运动图像成像模式用转变按钮302时，设定运动图像成像模式，从而可以进行运动图像的成像操作(运动图像的摄影)。

摆动方向设定按钮303是当在设定了全景图像成像模式的情况下，设定摆动方向时按下的按钮。另外，作为摆动方向设定按钮303，显示与设定的摆动方向对应的标识。图4图解说明设定了从左向右进行摆动操作的设置的情况。注意，在按下摆动方向设定按钮303的情况下，将显示的摆动方向设定屏幕320将参考图5A详细说明。注意，就本公开的第一实施例来说，将说明以成像设备100的当前位置(成像设备100的近旁位置(例如，后方位置))作为轴，成像设备100沿着特定方向(例如，水平方向)的旋转操作，作为摆动操作。另外，所述操作方向将被称为摆动方向。

图像大小设定按钮304是当在设定了全景图像成像模式的情况下，设定摆动方向的图像大小时按下的按钮。就本公开的第一实施例来说，表示了其中设定标准(180°)和宽(240°)作为图像大小的例子。另外，显示作为图像大小设定按钮304，与设定的图像大小对应的标识。图4图解说明设定了标准(STD)的情况。另外，在设定了全景图像成像模式的情况下，只显示摆动方向设定按钮303和图像大小设定按钮304。注意在按下图像大小设定按钮时显示的图像大小设定屏幕330将参考图5B详细说明。

曝光值设定按钮305是在设定曝光值(EV值)时按下的按钮。具体地说，当按下曝光值设定按钮305时，显示用于设定曝光值的设定屏幕。

全景图像可记录数通知图标306是代表置于成像设备100中的存储器(例如，记录介质180)能够记录的全景图像的数目的图标。例如，作为全景图像可记录数通知图标306，显示代表存储器的标识，和指示可记录的全景图像的数目的数字“10”(位于代表存储器的标记的右下部)。

全景图像大小通知图标307是代表在设定全景图像成像模式的情况下，沿着摆动方向的图像大小的图标。具体地说，显示代表在按下图像大小设定按钮304之后设定的图像大小的标识。

设定模式通知图标308是代表当前设定的模式的图标。例如，显 示代表重放模式，成像模式(静止图像成像模式，全景图像成像模式和运动图像成像模式)之一的标识。注意，图4图解说明在设定全景图像成像模式情况下的标识，作为设定模式通知图标308。

重放模式用转变按钮309是在改变成重放模式时按下的按钮。具体地说，当按下重放模式用转变按钮309时，设定重放模式。

聚焦框310是用于指定显示在输入/输出面板200上的被摄物体中的要被聚焦的对象(聚焦对象)的边框，以四个白色括弧的形式位于显示屏幕300的中心附近。具体地说，在包含在聚焦框310的框内的多个被摄物体中，一个或多个被摄物体被聚焦。

全景成像动作操作帮助图像311是向用户通知摆动方向的操作帮助图像。具体地说，在设定了全景图像成像模式的情况下，显示全景成像动作操作帮助图像311，它由虚拟地位于全景图像的摄影位置的5部照相机构成。另外，全景成像动作操作帮助图像311利用所述5倍照相机的显示切换，通知在全景图像成像模式下设定的摆动方向(在按下摆动方向设定按钮303之后设定的摆动方向)。例如，设想设定了从左向右摆动成像设备100的设置的情况。在这种情况下，构成全景成像动作操作帮助图像311的5部照相机之一从左向右地被顺序切换成特定的颜色。在5部照相机中的右端照相机被切换成特定颜色之后，左端的照相机被切换成特定的颜色。之后，按照相同的方式继续进行照相机变成特定颜色的切换显示。图4图解说明中间的照相机被设定成特定颜色的状态。注意，当执行开始全景图像成像操作的开始指令操作(快门按下操作)时，全景成像动作操作帮助图像311消失。

消息显示区312是对于用户显示用于帮助操作的消息的区域。

通知信息313是向用户通知在设定全景图像成像模式的情况下，可能未包含在全景图像中的被摄物体部分的区域。具体地说，通知信息313被设定成整体浅黑，从而能够把未包含在全景图像中的被摄物体部分通知用户。例如，在全景图像成像模式下的摆动操作的初始状态下，就与显示屏幕300的左端相当的被摄物体来说，其图像未被生成，从而未包含在全景图像中。于是，如图4中所示，在全景图像成 像模式下的摆动操作的初始状态下，在显示屏幕300的左端显示通知信息313。另外，按照全景图像成像模式下的摆动操作，通知信息313从左端移动到右端。这种情况下，通知信息313的宽度的大小随所述移动而变化。

当设定摆动方向和图像大小时的设定屏幕例子

图5A和5B是图解说明按照本公开的第一实施例，显示在输入/输出面板200上的设定屏幕例子的示图。图5A图解说明摆动方向设定屏幕320。就图4中所示的显示屏幕300来说，摆动方向设定屏幕320是在按下摆动方向设定按钮303之后，与显示屏幕300重叠显示的屏幕。

对于摆动方向设定屏幕320，设置摆动方向选择按钮321-324，“×”按钮325和“？”按钮326。

摆动方向选择按钮321-324是在用附加在每个标识内的箭头指定的方向被选为摆动方向时按下的按钮。例如，在设定从左向右进行摆动操作的情况下，按下摆动方向设定按钮321。另外，在进行了用户的选择操作的情况下，附加表示这种意思的边框327。

“×”按钮325是在消除摆动方向设定屏幕320时按下的按钮，“？”按钮326是在利用帮助功能时按下的按钮。

图5B图解说明图像大小设定屏幕330。图像大小设定屏幕330是就图4中所示的显示屏幕300来说，在按下图像大小设定按钮304之后，与显示屏幕300重叠显示的屏幕。

对于图像设定屏幕330，设置图像大小选择按钮331和332，“×”按钮333和“？”按钮334。

图像大小选择按钮331和332是在选择用附加在各个标识中的字母指定的图像大小时按下的按钮。例如，在选择标准(180°)的情况下，按下图像大小选择按钮331，在选择宽(240°)的情况下，按下图像大小选择按钮332。另外，在进行了用户的选择操作的情况下，附加表示这种意思的边框335。注意在本例中，图解说明用户选择两种图像大小之中的期望图像大小的例子，不过用户可选择三种以上的图像大小 之中的期望图像大小。另一方面，可用用户的输入操作(例如，图像大小(角度.)的数值的输入操作)设定图像大小。

“×”按钮333是在消除图像大小设定屏幕330时按下的按钮，“？”按钮334是在使用帮助功能时按下的按钮。

全景图像的成像操作例子

下面，说明利用成像设备100进行成像操作的情况。

图6A和6B是图解说明当利用按照本公开的第一实施例的成像设备100生成全景图像时的成像操作，和用所述成像操作生成的全景图像之间的关系的示图。

图6A图解说明在利用成像设备100生成全景图像的情况下，从上方观察充当被摄物体的场所400时的顶视图。场所400是包括山、建筑物、树木、湖、牛的塑像401等的场所，在图6A中，为了简化说明，简略地图示所述山、建筑物、树木、湖、牛的塑像401等。另外，图6A图解说明其中从左向右的摆动操作被设定为摆动方向，标准(180°)被设定为图像大小的例子。另外，图6A图解说明其中用户操作成像设备100生成全景图像，以致牛的塑像401的位置变成全景图像的中心位置的例子。

图6B图解说明用图6A中所示的成像操作生成的全景图像410。具体地说，全景图像410是牛的塑像401位于中心位置的全景图像。这样，这设想在湖边漫步的用户404想要牛的塑像401位于中心位置的全景图像的情况。在这种情况下，例如，用户404必须在成像操作的开始位置402开始全景图像成像操作，并在成像操作的终止位置403结束全景图像成像操作。

为了按照这种方式进行成像操作，用户404必须环顾场所400的四周，识别开始位置402和终止位置403，然后开始成像操作。不过，假定用户400难以环顾场所400的四周，从而难以利用目视准确地识别开始位置402和终止位置403。另外，在难以准确地识别开始位置402和终止位置403的情况下，难以生成用户404想要的全景图像(牛的塑像401位于中心位置的全景图像)。在这种情况下，用户404必须 选择是在再次确认开始位置402和终止位置403之后，再次进行成像操作，还是用户404满意用户未预期的全景图像(即，牛的塑像401没有位于中心位置的全景图像)。

于是，就本公开的第一实施例来说，将表示其中进行成像单元112的成像控制，以致使确定为将位于全景图像中的基准位置的被摄物体的被摄物体位于所述基准位置的例子。

成像条件的设定屏幕例子

图7A和7B是图解说明按照本公开的第一实施例，显示在输入/输出面板200上的设定屏幕例子的示图。图7A图解说明全景图像成像模式设定屏幕340。全景图像成像模式设定屏幕340是在设定全景图像成像模式的种类时，显示在输入/输出面板200上的屏幕。例如，在进行记录全景图像的全景图像成像模式的设定操作之后，立即显示全景图像成像模式设定屏幕340。对于全景图像成像模式设定屏幕340，设置第一到第四成像模式设定按钮341-344，确定按钮345和返回按钮346。

第一到第四成像模式设定按钮341-344是当设定全景图像成像模式的种类时按下的按钮。第一成像模式设定按钮341是当设定第一成像模式时按下的按钮。注意，第一成像模式将参考图8A-14B详细说明。第二成像模式设定按钮342是当设定第二成像模式时按下的按钮。注意，第二成像模式将参考图16A-19B详细说明。第三成像模式设定按钮343是当设定第三成像模式时按下的按钮。注意，第三成像模式将参考图20A-23B详细说明。第四成像模式设定按钮344是当设定第四成像模式时按下的按钮。注意，第四成像模式将在本公开的第二实施例中详细说明。

确定按钮345是在进行选择第一到第四成像模式之一的按下操作时按下的按钮，从而确定所述选择。另外，与利用确定按钮345的按下操作确定的成像模式相关的信息(成像模式信息)被输出给控制单元190，以便保存。返回按钮346是在返回当前屏幕之前的显示屏幕的情况下按下的按钮。

图7B图解说明基准位置设定屏幕350。基准位置设定屏幕350是当设定全景图像中的基准位置时，显示在输入/输出面板200上的屏幕。例如，对于图7A中所示的全景图像成像模式设定屏幕340，在按下确定按钮350之后，立即显示基准位置设定屏幕350。对于基准位置设定屏幕350，设置基准位置指定条351，指定位置352，确定按钮353和返回按钮354。

基准位置指定条351是用于设定全景图像中的基准位置，并与指定位置352重叠显示的条。例如，利用基准位置指定条351，用户把基准位置指定条351移动到期望的基准位置，从而能够指定全景图像中的基准位置。例如，在标准(180°)被设定成图像大小的情况下，在基准位置指定条351的两端之一显示“-90°”，在另一端显示“90°”。另外对于基准位置指定条351，按一定的间隔显示“-60°”、“-30°”、“0°”、“30°”和“60°”。这里，基准位置意味全景图像中，用户意图使期望的被摄物体位于的位置。例如，在水平方向被设定为摆动方向的情况下，全景图像中的水平方向中的位置变成基准位置。

另外，本例表示利用用户的操作设定全景图像中的基准位置的例子，不过，可以预先设定所述基准位置。例如，中心位置(即，0°的位置)可被设定为基准位置。

确定按钮353是在进行指定全景图像中的基准位置的指定操作，然后确定所述指定时按下的按钮。另外，与利用确定按钮353的按下操作确定的基准位置相关的信息(基准位置信息)被输出给控制单元190，以便保存。返回按钮354是在返回当前屏幕之前的显示屏幕的情况下按下的按钮。

第一成像模式下的成像控制例子

图8A-14B是示意地图解说明按照本公开的第一实施例的成像设备100的取向，和显示在输入/输出面板200上的显示屏幕的转变例子的示图。具体地说，在图8A，9A，10A，11A，12A，13A和14A中图解说明了成像设备100的取向的转变例子，在图8B，9B，10B，11B，12B，13B和14B中图解说明了随着成像设备100的取向的变化，显示在输入/ 输出面板200上的显示屏幕的转变例子。另外，图8A-14B图解说明在设定了第一成像模式，从左向右的摆动操作被设定为摆动方向，并且标准(180°)被设定为图像大小的情况下的成像操作例子。另外，图8A-14B图解说明在中心位置(即，基准位置指定条351上的“0°”位置)被设定为全景图像中的基准位置的情况下的成像操作例子。

图8A简化地图解说明从上方观察成像设备100和用双手拿着成像设备100的用户415的情况。在这种情况下，假定用户415在查看显示在输入/输出面板200上的被摄物体的时候，确认全景图像中的基准位置(中心位置)。

图8B图解说明在进行确定将位于全景图像中的基准位置的被摄物体的确定操作之前，显示的显示屏幕300。显示屏幕300和图4中所示的显示屏幕300相同，其中在消息显示区312中显示“在使镜头对准全景图像中的基准位置时按下快门按钮”。另外，就显示屏幕300来说，以预览图像的形式显示作为当前成像对象的被摄物体。另外，就本公开的第一实施例来说，表示其中利用快门按钮210的按下操作，执行全景图像的成像操作的开始指令操作，和第一成像模式下的将位于基准位置的被摄物体的确定操作的例子。

具体地说，在设定了第一成像模式的情况下，用户415可通过确定将位于全景图像中的基准位置的被摄物体，开始成像操作，而不必准确地识别全景图像中的开始位置和终止位置。

图9A简略地图解说明在图8A中所示状态下，用户415按下快门按钮210的情况。另外在这个例子中，假定设定的图像大小为θ3(＝180°)，从基准位置421到成像操作的开始位置422的角度为θ1(＝90°)，从基准位置421到成像操作的终止位置423的角度为θ2(＝90°)。注意θ1和θ2是按照基准位置确定的。例如，在中心位置被设定为基准位置的情况下，θ1＝θ3/2和θ2＝θ3/2。另外，设想标准(180°)已被设定为图像大小，并且除中心位置外的位置被设定为基准位置(例如，基准位置指定条351中的“30°”位置)的情况。在这种情况下，θ1＝θ3×(2/3)和θ2＝θ3×(1/3)。

例如，设想在图8A中所示的状态下，用户按下了快门按钮210的情况。在这种情况下，在把从所述按压时的位置420起的光轴方向(基准位置421的方向)作为基准的情况下，根据设定的图像大小θ3，确定成像操作的开始位置422和终止位置423。具体地说，如图9A中所示，按下快门按钮210时的位置420被视为旋转轴，沿着与摆动方向相反的方向旋转角度θ1的位置被确定为成像操作的开始位置422。类似地，按下快门按钮210时的位置420被视为旋转轴，沿着摆动方向旋转角度θ2的位置被确定为成像操作的终止位置423。注意在图9A中，用虚线指示用户415和成像设备100。

图9B图解说明在进行确定全景图像中的基准位置的确定操作时显示的显示屏幕360。显示屏幕360是其中就图4中所示的显示屏幕来说，消除了聚焦框310和全景成像动作操作帮助图像311，另外显示箭头361的显示屏幕。另外，在消息区362中显示“沿着箭头方向摆动成像设备到开始位置”。这样，在按下快门按钮210之后，显示屏幕360显示在输入/输出面板200上，从而用户415能够按照显示屏幕360，容易地把成像设备100移动到开始位置422。另外，在用户415开始摆动操作之后，显示在输入/输出面板200上的显示屏幕例子将在图10B等中图解说明。

图10A简略地图解说明在图9A中所示的状态下，用户415沿着与摆动方向424相反的方向，移动成像设备100的情况。

图10B图解说明在用户415沿着箭头425方向移动成像设备100之后，显示在输入/输出面板200上的摆动操作帮助屏幕370。注意在按下快门按钮210之后，成像设备100的移动由控制单元190根据来自取向检测单元121的取向变化信息确定。

对于摆动操作帮助屏幕370，设置摆动操作帮助图像显示区371，箭头373，和消息显示区374。另外，对于摆动操作帮助屏幕370，设置聚焦通知图标375，快门速度通知图标376，F值通知图标377和闪光禁止图标378。

摆动操作帮助图像显示区371是向用户通知与全景图像成像操作 相关的用户操作(成像设备100的摆动操作)的条形图。具体地说，借助摆动操作帮助图像显示区371，显示对于全景图像成像模式的整个操作量的当前操作位置372。例如，对于摆动操作帮助图像显示区371，根据时间轴上的相邻图像之间的移动量和移动方向的检测结果，控制单元190计算当前操作量，从而根据该当前操作量改变其显示状态。作为移动量和移动方向，检测与随同成像设备100的移动一起发生的整个图像的运动对应的运动向量(全局运动向量(GMV))。另外，根据取向检测单元121检测的角速度，控制单元190计算当前操作量。另一方面，控制单元190可利用移动量和移动方向的检测结果，和取向检测单元121检测的角速度，计算当前操作量。这样，通过按照这种方式显示摆动操作帮助图像显示区371，用户能够容易地认识到他必须进行摆动操作多长时间。

另外，在用户415开始摆动操作之后，立即在摆动操作帮助图像显示区371中的中心位置闪烁地显示操作位置372。另外，闪烁地显示的操作位置372随着用户进行的成像设备100的摆动操作(沿着箭头425方向的摆动操作)而沿着向左的方向前进。在成像设备100借助用户415的摆动操作到达开始位置422之前，闪烁地显示操作位置372。按照这种方式闪烁地显示操作位置372，从而通知用户，该移动不是全景图像成像操作期间的移动，而是用于全景图像成像操作的准备的移动。另外，在成像设备100到达开始位置422，并且执行了用户415的全景图像成像操作的开始指令操作的情况下，操作位置372的显示模式从闪烁显示变成正常显示(常亮)。按照这种方式改变操作位置372的显示模式，从而，用户能够容易地识别当前状态是在全景图像成像操作的准备期间，还是在全景图像成像操作期间。

另外，对于摆动操作帮助图像显示区371中的中心位置，显示代表基准位置的基准位置标志379。就本例来说，在摆动操作帮助图像显示区371上附加虚线，作为基准位置标志379。另外，就本例来说，设定的图像大小为180°，中心位置被设定为基准位置，从而，基准位置标志379被附加到摆动操作帮助图像显示区371中的中心位置。例 如，设想设定了除中心位置之外的位置(例如，基准位置指定条351中的“30°”位置)的情况。在这种情况下，在摆动操作帮助图像显示区371中向右的位置(在纵向方向的长度被视为1的情况下，离左端4/6(＝(90°+30°)/180°)的位置)，附加基准位置标志379。

箭头373是用于帮助与全景图像成像操作(成像设备100的摆动操作)相关的用户操作的箭头。即，用户沿着箭头373指定的方向摆动成像设备100，从而能够执行全景图像成像操作及其准备。

消息显示区374是显示帮助与全景图像成像操作相关的用户操作(成像设备100的摆动操作)的消息的区域。

聚焦信息图标375是向用户通知位于聚焦框中的被摄物体是否清晰的图标。具体地说，如果被摄物体清晰，那么使聚焦信息图标375变成绿色，如果被摄物体不清晰，那么使所述绿色闪烁。

快门速度通知图标376是向用户通知当前设定的快门速度的图标。例如，如图10B中所示，在显示“20”作为快门速度通知图标376的情况下，这意味目前设定的快门速度为“1/20”。

F值通知图标377是把当前设定的F值通知用户的图标。例如，如图10B中所示，在显示“F3.5”作为F值通知图标377的情况下，这意味目前设定的F值为“F3.5”。

闪光禁止图标378是向用户通知在当前设定的成像模式中，禁止使用闪光的图标。具体地说，只有在当前设定的成像模式中，禁止使用闪光的情况下，才显示闪光禁止图标378，在当前设定的成像模式中，未禁止使用闪光的情况下，不显示闪光禁止图标378。例如，在设定了全景图像成像模式的情况下，禁止使用闪光，因而显示闪光禁止图标378。

图11A简略地图解说明用户415把成像设备100移动到成像操作的开始位置422的情况。

图11B图解说明在用户415把成像设备100移动到成像操作的开始位置422的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕380。注意，控制单元190根据来自取向检测单元121的取向变化 信息，判定成像设备100是否已到达开始位置422。

摆动操作帮助屏幕380和图10B中所示的摆动操作帮助屏幕370的不同之处在于摆动操作帮助图像显示区371中的操作位置372闪烁地显示在左端，同时箭头373面向相反的方向。另外，在消息显示区374中显示“按下快门按钮，然后沿着箭头方向摆动成像设备”，通知信息313显示在摆动操作帮助屏幕380的左端。

这样，在成像设备100移动到成像操作的开始位置422的情况下，显示大意是通过沿着至今的摆动方向的相反方向，摆动成像设备100，开始成像操作的消息。

注意，就本例来说，作为向用户通知成像设备100已到达开始位置433的方法，表示了利用摆动操作帮助屏幕380中的消息，箭头等，通知用户的例子，不过可以采用另一种通知方法。例如，可以采用在摆动操作帮助屏幕380上显示弹出消息的通知方法，和在摆动操作帮助屏幕380上显示成像设备100的相对位置(例如，图11A中所示的示意图)的通知方法。另外，例如，可以采用按照音频的通知方法(例如，按照系统声音的通知)。就按照音频的通知方法来说，例如，当成像设备100逼近开始位置422时，可以缩短音频“哔，哔，哔”的间隔(例如，“哔-哔-哔”)。在这种情况下，当到达开始位置422时，可以采用通过输出另一音频(例如“到达开始位置！”)的通知方法。

这样，在成像设备100被移动到成像操作的开始位置422，并且摆动操作帮助屏幕380被显示在输入/输出面板200上之后，当用户415按下快门按钮210时，开始全景图像成像操作。另外，当开始全景图像成像操作时，操作位置372从闪烁显示变成常亮状态。另外，操作位置372随成像设备100的移动而移动。

注意，就本例来说，用户415对快门按钮210的按压操作被当作全景图像成像操作的开始条件，不过可以采用另一个开始条件。例如，检测成像设备100沿着相反方向的移动可被当作所述开始条件。

按照，当开始全景图像成像操作时，操作位置372随成像设备100的移动而移动。该例子示于图12A-13B中。

图12A和13A图解说明在成像操作的开始位置422和成像操作的终止位置423之间移动的成像设备100的转变。

图12B和13B图解说明当成像设备100在成像操作的开始位置422和成像操作的终止位置423之间移动时，显示的摆动操作帮助图像381和382。这样，在成像设备100从成像操作的开始位置422开始成像操作之后，按照成像设备100的移动，显示摆动操作帮助图像381和382，直到成像设备100到达成像操作的终止位置423为止。另外，如果在所述移动的时候，成像设备100到达了相当于基准位置421的位置，那么在消息显示区374中显示诸如“当前被摄物体位于全景图像的中心”之类的消息。

图14A简略地图解说明用户415把成像设备100移动到成像操作的终止位置423的情况。

图14B图解说明在用户415把成像设备100移动到成像操作的终止位置423时，显示在输入/输出面板200上的摆动操作帮助屏幕383。如图14B中所示，在成像设备100已移动到成像操作的终止位置的情况下，在消息显示区374中显示大意是成像操作已完成的消息。

摆动操作帮助屏幕383与图12B和13B中所示的摆动操作帮助屏幕381和382的不同之处在于摆动操作帮助图像显示区371中的操作位置372被显示在右端，并且消除了箭头373。另外，在消息显示区374中显示“全景图像成像操作已完成”，并且通知信息313被显示在摆动操作帮助屏幕370中的右端。

这样，在成像设备100移动到成像操作的终止位置423的情况下，显示大意是全景图像成像操作已完成的消息。另外，全景图像生成单元132利用所述成像操作生成的多个图像，生成全景图像。在完成全景图像成像操作之后，记录控制单元192把生成的全景图像记录在记录介质180中。另外，例如，在结束全景图像成像操作以来过去一段时期之后，生成的全景图像可被预览显示在输入/输出面板200上。

这样，在位于基准位置的被摄物体被作为基准的情况下，进行成像控制，从而能够容易地生成用户中意的全景图像。

注意在成像设备100从成像操作的开始位置422移动到成像操作的终止位置423的时候，可能不能正确地进行用户的摆动操作。这种情况下，可以做出显示图15中所示的摆动操作帮助屏幕385，从而提示用户正确地进行摆动操作的安排。

图15是图解说明按照本公开的第一实施例，显示在输入/输出面板200上的摆动操作帮助屏幕的例子的示图。图15中所示的摆动操作帮助屏幕385是在当成像设备100从成像操作的开始位置422移动到成像操作的终止位置423的时候，未正确地进行用户的摆动操作的情况下，显示在输入/输出面板200上的显示屏幕。

摆动操作帮助屏幕385与图12A和13A中所示的摆动操作帮助屏幕381和382的不同之处在于显示警告显示386，和在消息显示区374中显示“正确并直进地进行摆动操作”。注意在用户未正确进行摆动操作的情况下，可提示用户在再次返回成像操作的开始位置422之后，开始全景图像成像操作。在这种情况下，例如，在输入/输出面板200上显示图10B和11B中所示的摆动操作帮助屏幕370和380，从而使得能够开始全景图像成像操作。

第二成像模式下的成像控制例子

至此表示了其中预先设定图像大小，根据将位于基准位置的被摄物体的确定操作计算成像操作的开始位置和终止位置，根据这些开始位置和终止位置进行全景图像成像操作的例子。下面，将表示其中根据成像设备100从基准位置到成像操作的开始位置的移动范围，计算成像操作的终止位置(图像大小)，并根据该终止位置进行全景图像成像操作的例子。

图16A-19B是示意地图解说明按照本公开的第一实施例的成像设备100的取向和显示在输入/输出面板200上的显示屏幕的转变例子的示图。具体地说，图16A，17A，18A和19A图解说明成像设备100的取向的转变例子，图16B，17B，18B和19B图解说明将随着成像设备100的取向的变化而显示在输入/输出面板200上的显示屏幕的转变例子。另外，就图16A-19B来说，将表示其中设定了第二成像模式， 进行了从左向右执行摆动操作作为摆动方向的设定，并且把标准(180°)设定为图像大小的成像操作例子。注意在设定了第二成像模式的情况下，根据成像设备100从基准位置到成像操作的开始位置的移动范围，确定图像大小，从而未预先设定图像大小。

另外，就图16A-19B来说，将表示在中心位置(即，基准位置指定条351上的“0°”位置)被设定为全景图像中的基准位置的情况下的成像操作例子。注意，图16A-19B中所示的例子是已被部分修改的图8A-14B中的例子，因而，将用相同的附图标记表示与图8A-14B共有的部分，这些说明的一部分将被省略。

首先，如图8A中所示，双手拿着成像设备100的用户415在查看显示在输入/输出面板200上的被摄物体的时候，确认将位于全景图像中的基准位置(中心位置)的被摄物体。在这种情况下，如图8B中所示，显示屏幕300被显示在输入/输出面板200上。另外，就本公开的第一实施例来说，将表示其中利用快门按钮210的按下操作，执行全景图像成像操作的开始指令操作，和在第二成像模式下，将位于基准位置的被摄物体的确定操作的例子。

图16A简略地图解说明在图8A中所示的状态下，用户415按下快门按钮210的情况。在这种情况下，从所述按下时的位置430沿着光轴方向的位置被确定为基准位置431。另外，在设定了图像大小的情况下，按照和第一成像模式相同的方式，根据所述图像大小确定成像操作的开始位置和终止位置，不过为了便于描述，这里将省略它们的说明。

图16B图解说明在进行确定将位于全景图像中的基准位置的被摄物体的确定操作时，显示的显示屏幕390。显示屏幕390大体上和图9B中所示的显示屏幕360相同，不过区别在于在消息显示区362中显示“沿着箭头方向摆动成像设备，和在充当全景图像的左端的位置按下快门按钮”。这样，在按下快门按钮210之后，显示屏幕390被显示在输入/输出面板200上，从而用户415能够按照显示屏幕390，容易地把成像设备100移动到充当全景图像的左端的位置。另外，在用 户415开始摆动操作之后，显示在输入/输出面板200上的显示屏幕将示于图17B等中。

图17A简略地图解说明从图16A中所示的状态，用户415沿着摆动方向432的相反方向(箭头433方向)移动成像设备100的情况。

图17B图解说明在用户415沿着箭头433方向移动成像设备100之后，显示在输入/输出面板200上的摆动操作帮助屏幕39L。动操作帮助屏幕391大体上和图10B中所示的摆动操作帮助屏幕370相同，不过区别在于在消息显示区374中显示“沿着箭头方向摆动成像设备，和在充当全景图像的左端的位置按下快门按钮”。另外，在没有设定图像大小的情况下，根据虚拟的图像大小(例如，180°)，确定成像操作的开始位置和终止位置。根据所述开始位置和终止位置，在摆动操作帮助图像显示区371中显示当前的操作位置372。

图18A简略地图解说明用户415把成像设备100移动到充当全景图像的左端的位置(开始位置434)的情况。现在，设想在图18A中所示的状态下，用户415按下快门按钮210。在这种情况下，根据所述按下时的位置(开始位置434)，确定成像操作的终止位置435。具体地说，从基准位置431到成像操作的开始位置434的角度将被作为θ4。另外，例如，在从基准位置431到成像操作的终止位置435的角度被作为θ5，中心位置已被设定为基准位置的情况下，θ4＝θ5，因而，角度θ6(＝2×θ4)被确定为图像大小。另外，设想除中心位置之外的位置(例如，基准位置指定条351中的“30°”位置)已被设定为基准位置。在这种情况下，角度θ6(＝θ4×2-30°×2)被确定为图像大小。

这样，在图18A中所示的状态下用户415按下快门按钮210的情况下，根据所述按下时的位置(开始位置434)，确定成像操作的终止位置435。注意在图18A中用虚线图解说明用户415和成像设备100。

图18B图解说明在用户415把成像设备100移动到充当全景图像的左端的位置(开始位置434)，并且按下快门按钮210的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕392。摆动操作帮助屏幕392大体上与图11B中所示的摆动操作帮助屏幕380相同，不过区别 在于在消息显示区374中显示“已开始全景图像成像操作，从而沿箭头方向摆动成像设备”。

这样，在成像设备100已被移动到成像操作的开始位置，并且按下了快门按钮210的情况下，确定成像操作的终止位置。显示大意是通过沿着至今的摆动方向的相反方向，摆动成像设备100，开始成像操作的消息。

这样，当成像设备100被移动到成像操作的开始位置434，并且用户415按下快门按钮210时，在输入/输出面板200上显示摆动操作帮助屏幕392，并开始全景图像成像操作。另外，当开始全景图像成像操作时，操作位置372从闪烁显示变成常亮状态。另外，操作位置372随成像设备100的移动而移动。

注意，就本例来说，用户415的快门按钮210的按下操作将被作为全景图像成像操作的开始条件，不过可以采用另一种开始条件。例如，可以采用检测成像设备100沿着相反方向的移动作为开始条件。注意，成像设备100沿着相反方向的移动的检测，由控制单元190根据来自取向检测单元121的取向变化信息确定。

另外，在开始全景图像成像操作之后的成像操作大体上与图12A-14B中所示的例子相同，因而，这里将省略对它们的说明。

注意，就图18A和18B中所示的例子来说，表示了确定小于180°的图像大小的例子，不过可按照用户的操作，确定另一个图像大小。在图19A和19B中，表示其中确定等于或大于180°的图像大小的例子。

图19A简略地图解说明用户415把成像设备100移动到充当全景图像的左端的位置(开始位置436)的情况。注意，图像大小θ9的计算方法，终止位置437的确定方法等与图18A相同。

图19B图解说明在用户415把成像设备100移动到充当全景图像的左端的位置(开始位置436)的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕393。

这样，利用在确定将位于基准位置的被摄物体之后，成像设备100的摆动操作能够容易地生成具有用户中意的图像大小的全景图像。

注意，就第一成像模式和第二成像模式来说，在成像设备100到达成像操作的开始位置之前，确定将位于基准位置的被摄物体。不过，在从开始位置到终止位置的摆动操作内的成像操作期间，可利用图像处理调整将位于基准位置的被摄物体。例如，全景图像生成单元132获得并保存在确定将位于基准位置的被摄物体时的图像(或其一部分)，并进行在从开始位置到终止位置的摆动操作期间的每个图像和所述保存图像之间的匹配处理。根据保存图像和摆动操作期间相当于基准位置和与基准位置邻近的位置的图像之间的匹配处理的结果，可以调整终止位置，以使确定的被摄物体位于基准位置。

第三成像模式下的成像控制例子

至此说明了其中在全景图像成像操作之前，确定将位于基准位置的被摄物体的例子。下面，表示其中在开始成像操作之后，确定要位于基准位置的被摄物体，根据该确定操作计算成像操作的终止位置(图像大小)，并根据该终止位置进行全景图像成像操作的例子。

图20A-23B是示意图解说明按照本公开的第一实施例的成像设备100的取向和显示在输入/输出面板200上的显示屏幕的转变例子的示图。具体地说，图20A，21A，22A和23A图解说明成像设备100的取向的转变例子，图20B，21B，22B和23B图解说明随着成像设备100的取向的变化，显示在输入/输出面板200上的显示屏幕的转变例子。另外，图20A-23B图解说明在设定了第三成像模式，设定了从左向右进行摆动操作，作为摆动方向的设定，和设定标准(180°)作为图像大小的情况下的成像操作例子。注意，在设定了第三成像模式的情况下，根据在开始成像操作之后确定的基准位置，确定图像大小，从而，不必预先设定图像大小。

另外，图20A-23B图解说明在中心位置(即，基准位置指定条351上的“0°”位置)被设定为全景图像中的基准位置的情况下的成像操作例子。注意，图20A-23B中所示的例子是部分被修改的图8A-14B中的例子，从而，将用相同的附图标记表示与图8A-14B共有的部分，这些说明的一部分将被省略。

图20A简略地图解说明从上方观察成像设备100和用双手拿着成像设备100的用户415的情况。在这种情况下，假定用户415在查看显示在输入/输出面板200上的被摄物体时，确认全景图像的左端的位置。

图20B图解说明在全景图像成像操作的开始指令操作之前显示的显示屏幕450。显示屏幕450与图4中所示的显示屏幕300相同，在消息显示区312中显示“在把镜头对准全景图像中的左端位置时按下快门按钮”。另外，充当成像对象的被摄物体由成像单元112以预览图像的形式，显示在显示屏幕450上。另外，就本公开的第一实施例来说，表示其中利用快门按钮210的按下操作，执行全景图像成像操作的开始指令操作，将位于第三成像模式下的基准位置的被摄物体的确定操作的例子。

具体地说，在设定了第三成像模式的情况下，在开始全景图像的成像操作之后，用户415确定将位于全景图像中的基准位置的被摄物体。从而，即使没有准确地识别全景图像中的终止位置，用户也能够进行成像操作。

图21A图解说明在图20A中所示的状态下，用户415按下快门按钮210的情况。在这种情况下，从所述处理时的位置440沿着光轴方向的位置被确定为全景图像成像操作的开始位置441。另外，在设定了图像大小(例如，角度θ10)的情况下，按照和第一成像模式的情况相同的方式，根据所述图像大小确定成像操作的终止位置442。另外，在未设定图像大小的情况下，根据虚拟的图像大小(例如，180°)，确定成像操作的终止位置。

图21B图解说明在用户415按下快门按钮210的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕451。摆动操作帮助屏幕451一般与图11B中所示的摆动操作帮助屏幕380相同，不过具体的不同之处在于在消息显示区374中显示“已开始全景图像成像操作，从而沿箭头方向摆动成像设备，随后在基准位置按下快门按钮”。随后根据开始位置441和终止位置442，显示摆动操作帮助显示区371中的当前 操作位置372。

图22A简略地图解说明利用快门按钮210的按下，用户确定了将位于基准位置的被摄物体的情况。这样，当用户415在图22A中所示的状态下，按下快门按钮210时，根据所述按下时的位置(基准位置444)，确定成像操作的终止位置445。具体地说，从开始位置441到基准位置444.的角度被视为θ11。另外，例如，在从基准位置444到终止位置445的角度被视为θ12，并且中心位置已被设定为基准位置的情况下，θ11＝θ12，因而，角度θ13(＝2×θ11)被确定为图像大小。另外，设想除中心位置外的位置(例如，基准位置指定条351中的“30°”位置)被设定为基准位置的情况。在这种情况下，角度θ13(＝θ11×2-30°×2)被确定为图像大小。

这样，在图22A中所示状态下，用户415按下快门按钮210的情况下，根据在所述按下时的位置(基准位置444)，确定成像操作的终止位置445。注意，图22A中用虚线图解说明用户415和成像设备100。

图22B图解说明在用户415通过按下快门按钮210，确定将位于基准位置的被摄物体的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕452。摆动操作帮助屏幕452大体上与图11B中所示的摆动操作帮助屏幕380相同，不过区别在于在消息显示区374中显示“已确定全景图像中的基准位置。沿着箭头方向摆动成像设备，直到发出成像操作结束指令为止”。

这样，在利用用户415的按压操作，确定要位于基准位置的被摄物体的情况下，成像操作的终止位置被确定，并显示大意是通过摆动成像设备100一直到成像操作的终止位置，继续成像操作的消息。

注意，就本例来说，用户415对快门按钮210的按下操作被作为要位于基准位置的被摄物体的确定方法，不过可以采用另一种确定方法(例如，采用另一个操作部件的确定方法)。

到结束全景图像成像操作之前的成像操作大体上与图12A-14B中所示的例子相同，因而，这里将省略其说明。

注意，就图22A中所示的例子来说，表示了其中确定较小的图像 大小(小于180°)的例子，不过可以按照用户的操作，确定另一个图像大小。在图23A和23B中，表示了其中确定较大的图像大小(等于或大于180°)的例子。

图23A简略地图解说明用户415通过按下快门按钮210，确定了将位于基准位置的被摄物体的情况。注意，图像大小θ16的计算方法，终止位置447的确定方法等与图22A相同。

图23B图解说明在用户415通过按下快门按钮210，确定了将位于基准位置的被摄物体的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕453。

这样，利用在确定要位于基准位置的被摄物体之后的成像设备100的摆动操作，能够容易地生成具有用户中意的图像大小的全景图像。

如上所述，按照本公开的第一实施例，在生成一定范围内的全景图像的情况下，可以消除利用用户的目视估计的构图决定。例如，通过确定要位于基准位置的被摄物体，可以进行全景图像的生成，从而能够防止为获得期望的构图而试错地重复摄影。即，按照本公开的第一实施例，能够容易地生成用户中意的全景图像。

注意，就本公开的第一实施例来说，表示了其中通过确定全景图像成像操作的开始位置或终止位置进行成像操作的例子，不过可通过关于设定的基准位置动态地剪裁图像数据，进行成像控制。例如，就其中预先确定图像大小的系统，和其中成像范围存在上限的系统来说，可通过对于设定的基准位置动态地剪裁图像数据进行成像控制，以致生成全景图像。在这种情况下，例如，在从全景图像成像操作的开始位置起的累积图像数据中，不使用在关于基准位置的成像范围外的图像数据。另外，设想其中在设定了第三成像操作的情况下，在用户进行要位于基准位置的被摄物体的确定操作之前，图像大小或成像范围已达到上限的情况。在这种情况下，例如，可以选择在此时结束成像操作，或者一边丢弃超出成像范围一半的图像数据，一边继续成像操作。

成像设备的操作例子

下面参考附图，说明按照本公开的第一实施例的成像设备100的操作。

第一成像模式下的操作例子

图24是图解说明按照本公开的第一实施例的成像设备100的成像控制处理的处理过程的例子的流程图。本例将说明在设定第一成像模式情况下的处理过程的例子。

首先，控制单元190判定是否存在将位于基准位置的被摄物体的确定操作(步骤S901)，在未进行所述确定操作的情况下，继续进行监视。另一方面，在进行了所述确定操作的情况下(步骤S901)，控制单元190根据所述确定操作时的位置(基准位置)，确定全景图像成像操作的开始位置和终止位置(步骤S902)。注意，步骤S901是确定过程的例子。

随后，显示控制单元191在控制单元190的控制下，控制显示单元141显示指导屏幕(例如，图9B中所示的显示屏幕360，图10B中所示的摆动操作帮助屏幕370)，一直到确定的所述开始位置(步骤S903)。注意，该指导屏幕将随着成像设备100的取向的变化而被顺序改变。

随后，取向检测单元121检测成像设备100的取向的变化(步骤S904)，控制单元190根据检测的取向变化，判定是否正确地进行了摆动操作。如果未进行正确的摆动操作(步骤S905)，那么显示控制单元191在控制单元190的控制下，显示出错屏幕(步骤S916)，并结束成像控制处理的操作。另一方面，在进行了正确的摆动操作的情况下(步骤S905)，控制单元190判定成像设备100是否已到达开始位置(步骤S906)。如果成像设备100未到达开始位置(步骤S906)，那么处理返回步骤S903。

另一方面，在成像设备100到达开始位置的情况下(步骤S906)，显示控制单元191在控制单元190的控制下，控制显示单元141显示指示成像设备100已到达开始位置的显示屏幕(步骤S907)。例如，该 显示屏幕是图11B中所示的摆动操作帮助屏幕380。

之后，判定是否执行了成像操作的开始指令操作(步骤S908)，在未执行成像操作的开始指令操作的情况下，显示控制单元191继续进行监视。另一方面，在进行了成像操作的开始指令操作的情况下(步骤S908)，显示控制单元191在控制单元190的控制下，控制显示单元141显示一直到终止位置的指导屏幕(步骤S909)。注意，该指导屏幕例如是图12B中所示的摆动操作帮助屏幕381，将随着成像设备100的取向的变化而被顺序改变。

之后，取向检测单元121检测成像设备100的取向的变化(步骤S910)，然后控制单元190根据检测的取向变化，判定是否进行了正确的摆动操作(步骤S911)。在未进行正确的摆动操作的情况下(步骤S911)，处理进入步骤S916。另一方面，在进行了正确的摆动操作的情况下(步骤S911)，成像单元112在控制单元190的控制下，进行生成全景图像的图像成像处理(步骤S912)。注意，步骤S904和S910是取向检测过程的例子。另外，步骤S912是控制过程的例子。

之后，控制单元190判定成像设备100是否到达终止位置(步骤S913)。如果成像设备100未到达终止位置(步骤S913)，那么处理返回步骤S909。

另一方面，在成像设备100到达终止位置的情况下(步骤S913)，显示控制单元191在控制单元190的控制下，显示大意是成像操作已完成的显示屏幕(步骤S914)。该显示屏幕例如是图14B中所示的摆动操作帮助屏幕383。之后，全景图像生成单元132利用成像操作生成的多个图像生成全景图像，记录控制单元192把生成的全景图像记录在记录介质180中(步骤S915)。

第二成像模式下的操作例子

图25是图解说明按照本公开的第一实施例的成像设备100的成像控制处理的处理过程的例子的流程图。本例图解说明在设定第二成像模式情况下的处理过程的例子。另外，该处理过程是图24的变形，因此，用相同的附图标记表示与图24共有的部分，并省略其说明。

在进行了要位于基准位置的被摄物体的确定操作的情况下(步骤S901)，控制单元190根据所述确定操作时的位置(基准位置)，确定全景图像成像操作的开始位置(步骤S921)。

另外，在进行了正确的摆动操作的情况下(步骤S905)，控制单元190判定是否进行了全景图像成像操作的开始指令操作(步骤S922)。如果未进行全景图像成像操作的开始指令操作(步骤S922)，那么处理返回步骤S903。

另一方面，如果进行了全景图像成像操作的开始指令操作(步骤S922)，那么控制单元190判定根据所述开始指令操作时的位置，确定全景图像成像操作的终止位置(步骤S923)。

第三成像模式下的操作例子

图26是图解说明按照本公开的第一实施例的成像设备100的成像控制处理的处理过程的例子的流程图。本例图解说明在设定第三成像模式情况下的处理过程的例子。另外，该处理过程是图24的的变形，因而，用相同的附图标记表示与图24共有的部分，并省略其说明。

首先，控制单元190判定是否进行了全景图像成像操作的开始指令操作(步骤S931)，如果未进行景图像成像操作的开始指令操作，那么不断进行监视。另一方面，如果进行了全景图像成像操作的开始指令操作(步骤S931)，那么控制单元190根据在所述开始指令操作时的位置，确定全景图像成像操作的终止位置(步骤S932)。

另外，控制单元190判定是否进行了要位于基准位置的被摄物体的确定操作(步骤S933)，如果未进行所述确定操作，那么处理进入步骤S911。另一方面，如果进行了所述确定操作(步骤S933)，那么控制单元190根据在所述确定操作时的位置(基准位置)，重新确定全景图像成像操作的终止位置，然后处理进入步骤S911。

2.第二实施例

本公开的第一实施例表示了其中根据利用用户操作确定要位于全景图像中的基准位置的被摄物体的确定操作，进行成像控制的例子。不过，就整个全景图像中的被摄物体的布局来说，可以假定用户在查 看整个全景图像和被摄物体之间的相互关系的时候，确定所述布局。于是，本公开的第二实施例将表示其中在构图帮助图像中设置代表基准被摄物体的标识，然后控制全景图像成像操作，以致获得用户期望的构图的例子。注意，按照本公开的第二实施例的成像设备的结构大体上与图1和2中所示的例子相同。因而，用相同的附图标记表示与本公开的第一实施例共有的部分，并省略其一部分的说明。

图2中所示的控制单元190根据来自操作接收单元151的操作信号，和来自取向检测单元121的取向变化信息，控制成像设备100的各个单元。例如，在收到显示构图帮助图像(例如，图27B中所示的构图帮助图像显示区601)的显示指令操作的情况下，控制单元190控制显示单元141显示构图帮助图像。所述构图帮助图像是用于确定全景图像的构图的图像。另外，所述构图帮助图像以进行全景图像成像操作时成像设备100的移动方向(摆动方向)和构图帮助图像中的纵向方向大体匹配的状态，被显示在显示单元141上。另外，控制单元190在构图帮助图像的纵向方向的移动方向的开始位置，设置人型图标(例如，图27B中所示的人型图标602)，并控制显示单元141显示所述人型图标。所述人型图标是代表在收到其显示指令操作时，充当成像单元112的成像对象的被摄物体(基准被摄物体)在全景图像中的位置的基准被摄物体标识。另外，控制单元190进行根据朝着移动方向(摆动方向)的相反方向前进的成像设备100的取向的变化，把构图帮助图像中的人型图标从开始位置移动到另一端部的控制。另外，例如，构图帮助图像大体为矩形，其纵向方向的尺寸与在拍摄全景图像时成像设备100沿着移动方向的移动范围匹配。

另外，控制单元190在与全景图像的纵向方向的基准位置对应的构图帮助图像的位置，附加代表基准位置的基准位置标识(例如，图27B中所示的基准位置标志604)，并显示构图帮助图像。

另外，在收到指令开始全景图像成像操作的开始指令操作的情况下，控制单元190以收到所述开始指令操作的位置作为全景图像成像操作的开始位置，开始全景图像成像操作。另外，控制单元190根据 所述开始位置，确定全景图像成像操作的终止位置。另外，在收到所述开始指令操作的情况下，控制单元190消除构图帮助图像，并且一直到所述终止位置显示用于改变成像设备100的取向的操作帮助图像。

显示控制单元191在控制单元190的控制下，控制显示单元141显示图像。

当设定全景图像成像模式时的显示屏幕例子

图27A和27B是图解说明按照本公开的第二实施例，显示在输入/输出面板200上的显示屏幕例子的示图。

图27A图解说明在全景图像成像操作的开始指令操作之前显示的显示屏幕315。显示屏幕315和图4中所示的显示屏幕300相同，在消息显示区316中显示“在面对基准被摄物体的时候半按下快门按钮，以锁定AF”。另外，充当成像单元112的成像对象的被摄物体显示在显示屏幕315上。

图27B图解说明摆动操作帮助屏幕600。摆动操作帮助屏幕600是当在显示图27A中所示的显示屏幕315的状态下，半按下快门按钮210时显示的显示屏幕，并且一直显示到开始全景图像成像操作为止。注意，本公开的第二实施例将表示其中利用快门按钮210的半按下操作，执行摆动操作帮助屏幕600的显示指令操作，和利用快门按钮210的全按下操作，执行全景图像成像操作的开始指令操作的例子。

具体地说，就摆动操作帮助屏幕600来说，设置有构图帮助图像显示区601和消息显示区605。注意，聚焦通知图像375，快门速度通知图像376，F值通知图标377和闪光禁止图标378与图10B等中所示的相同，因而用相同的附图标记表示，并且这里省略其说明。

构图帮助图像显示区601是在确定全景图像中的基准被摄物体的位置时使用的条形显示区。在成像设备100进行全景图像成像操作时的移动方向(摆动方向)大体与构图帮助图像的纵向方向匹配的状态下，显示构图帮助图像显示区601。这里，基准被摄物体是当在呈现显示屏幕315的状态下，半按下快门按钮210时，显示在显示屏幕的 中央的被摄物体，基准被摄物体的一个例子是图28A中所示的牛的塑像401。

另外，在构图帮助图像显示区601中显示虚拟代表基准被摄物体所位于的全景图像的位置的人型图标602，所述基准被摄物体是利用开始成像操作前的用户操作确定的。人型图标602随着成像设备100的取向的变化而在构图帮助图像显示区601中移动。

具体地说，在设定了从左向右进行摆动操作的设置的情况下，当在呈现显示屏幕315的状态下，半按下快门按钮210时，人型图标602位于构图帮助图像显示区601中的左端。人型图标602然后随着成像设备100的取向的变化(从右向左变化)，在构图帮助图像显示区601中从左向右移动。另外，在构图帮助图像显示区601中显示代表该移动方向的虚线箭头603。

在构图帮助图像显示区601中显示代表全景图像中的基准位置的基准位置标志604。本例表示其中在构图帮助图像显示区601上附加虚线，作为基准位置标志604的例子。注意，构图帮助图像显示区601中的基准位置标志604的布局与按照本公开的第一实施例的基准位置标志379(示于图10B等中)相同，因而，这里将省略其说明。

现在，说明构图帮助图像显示区601和人型图标602之间的相对关系。构图帮助图像显示区601虚拟代表全景图像的轮廓，人型图标602虚拟代表位于所述全景图像中的基准被摄物体的位置。具体地说，构图帮助图像显示区601对应于全景图像，人型图标602对应于包括在全景图像中的被摄物体。

注意，除了移动方向不同之外，人型图标602在构图帮助图像显示区601中的移动(与成像设备100的取向的变化相应的移动)和按照本公开的第一实施例的操作位置372相同。因而，这里将省略其说明。

消息显示区605是显示为与全景图像成像操作(成像设备100的摆动操作)相关的用户操作提供帮助的消息的区域。

第四成像模式下的成像控制例子

图28A和28B是示意地图解说明按照本公开的第二实施例的成 像设备100的取向和显示在输入/输出面板200上的显示屏幕的例子的示图。另外，本公开的第二实施例将表示在设定了第四成像模式，设定了从左向右进行摆动操作作为摆动方向的设置的情况下的成像操作例子。另外，本公开的第二实施例将表示在中心位置(例如，基准位置指定条351中的“0°”位置)被设定为全景图像中的基准位置情况下的成像操作例子。

图28A简略地图解说明从上方观察成像设备100和用双手拿着成像设备100的用户415的情况。在这种情况下，假定用户415在查看显示在输入/输出面板200上的被摄物体的时候，确认全景图像中的基准被摄物体(牛的塑像401)。

图28B图解说明在执行确定全景图像中的基准被摄物体的位置(基准位置)的确定操作之前，显示的显示屏幕315。显示屏幕315与图27A中所示的显示屏幕315相同。另外，充当成像单元112的成像对象的被摄物体(牛的塑像401)被显示成预览图像。另外，就在图28A中所示状态下，用户415执行了快门按钮210的半按下操作的情况来说，显示图27B中所示的摆动操作帮助屏幕600。另外，关于成像设备100的取向的变化的转变例子，和在显示摆动操作帮助屏幕600之后的显示屏幕将将参考图29A-32C详细说明。

图29A-32C是示意地图解说明按照本公开的第二实施例的成像设备100的取向，显示在输入/输出面板200上的显示屏幕，和全景图像中的基准被摄物体的关系例子的示图。具体地说，图29A，30A，31A和32A图解说明在快门按钮210的全按下操作时的成像设备100的取向例子。注意，在图29A，30A，31A和32A中，用户415和成像设备100用虚线表示。另外，图29B，30B，31B和32B图解说明紧接在快门按钮210的全按下操作之前，按照成像设备100的取向显示在输入/输出面板200上的摆动操作帮助屏幕600的例子。另外，图29C，30C，31C和32C图解说明当在图29A，30A，31A和32A中所示状态下，进行快门按钮210的全按下操作时生成的全景图像的例子。注意，图29A-32C中所示的例子是其中修改了图8A-14B的一部分的例子，因 而，将用相同的附图标记表示与图8A-14B共有的部分，并省略其部分说明。

图29A-29C图解说明在快门按钮210的半按下操作之后，立即进行快门按钮210的全按下操作的情况(或者在不执行快门按钮210的半按下操作的情况下，进行全按下操作的情况)。

例如，如图28A中所示，双手拿着成像设备100的用户415在查看显示在输入/输出面板200上的被摄物体的时候，确认全景图像中的基准被摄物体(牛的塑像401)。这种情况下，如图28B中所示，在输入/输出面板200上呈现显示屏幕315。

图29A简略地图解说明在28A中所示的状态下，用户415执行快门按钮210的全按下操作的情况。这种情况下，从所述按下时的位置620沿着光轴方向的位置被确定为开始位置621。随后根据开始位置621确定成像操作的终止位置622。具体地说，根据设定的图像大小θ21(＝180°)，从成像操作的开始位置621确定终止位置622。

这样，当用户415进行了快门按钮210的全按下操作的情况下，从所述按下时的位置(开始位置621)，开始成像操作。因而，当用户415在图29A中所示状态下，执行了快门按钮210的全按下操作时，生成其中基准被摄物体(牛的塑像401)位于左端的全景图像611(图29C)。

图29B图解说明紧接在用户415在图29A中所示状态下，执行快门按钮210的全按下操作之前，显示在输入/输出面板200上的摆动操作帮助屏幕600。这种情况下，在快门按钮210的半按下操作之后，立即进行所述全按下操作，因而，人型图标602位于构图帮助图像显示区601的左端。

另外，图29C中所示的全景图像611中的基准被摄物体(牛的塑像401)的布局大体上与构图帮助图像显示区601中的基准被摄物体(牛的塑像401)的布局匹配。

注意，图29A-29C图解说明其中在快门按钮210的半按下操作之后，立即进行快门按钮210的全按下操作的情况下的例子，不过，这 种情况也适用于在改变成像设备100的取向之后，进行全按下操作的情况。这些例子示于图30A-30C中。

图30A-30C图解说明在快门按钮210的半按下操作之后，当成像设备100的取向的变化量较小时，进行全按下操作的情况。

图30A简略地图解说明在相对于图28A中所示的状态，成像设备100的取向的变化量较小时，用户415执行快门按钮210的全按下的情况。在这种情况下，从所述按下时的位置620沿着光轴方向的位置被确定为开始位置625。随后根据开始位置625，确定成像操作的终止位置626。具体地说，根据设定的图像大小θ21(＝180°)，从成像操作的开始位置625，确定终止位置626。

这样，在用户415执行了快门按钮210的全按下操作的情况下，从所述按下时的位置(开始位置625)，开始成像操作。因而，当用户415在图30A中所示状态下，执行快门按钮210的全按下操作时，生成其中基准被摄物体(牛的塑像401)位于从构图帮助图像显示区601中的中心位置向左的位置的全景图像612(示于图30C)。

图30B图解说明紧接在用户415在图30A中所示状态下，执行快门按钮210的全按下操作之前，显示在输入/输出面板200上的摆动操作帮助屏幕600。这种情况下，在快门按钮210的半按下操作之后，成像设备100的取向的变化量较小时，进行全按下操作，因而，人型图标602位于从构图帮助图像显示区601中的中心位置向左的位置。

另外，图30C中所示的全景图像612中的基准被摄物体(牛的塑像401)的布局大体上与构图帮助图像显示区601中的基准被摄物体(牛的塑像401)的布局匹配。

另外，图31A-32C图解说明在快门按钮210的半按下操作之后，当成像设备100的取向的变化量较大时，进行全按下操作的情况。注意，开始位置631和635及终止位置632和636的确定方法，和在构图帮助图像显示区601中设置人型图标602的方法与图29A-30C中的方法相同，因而，这里省略其说明。

另外，图31C中所示的全景图像613中的基准被摄物体(牛的塑 像401)的布局大体上与构图帮助图像显示区601中的基准被摄物体(牛的塑像401)的布局匹配。类似地，图32C中所示的全景图像614中的基准被摄物体(牛的塑像401)的布局大体上与构图帮助图像显示区601中的基准被摄物体(牛的塑像401)的布局匹配。

这里，如图31B中所示，图31A-31C中所示的例子图解说明当人型图标602位于构图帮助图像显示区601中的基准位置标志604时，执行全按下操作的情况。这种情况下，如图31C中所示，基准被摄物体(牛的塑像401)位于全景图像613中的中心位置(基准位置)。从而，能够容易地生成基准被摄物体(牛的塑像401)位于全景图像613中的中心位置(基准位置)的全景图像。注意可以做出其中当人型图标602位于基准位置标志604时，使人型图标602闪烁，从而向用户通知基准被摄物体位于全景图像中的基准位置的时刻的安排。

这样，用户415可在确认构图帮助图像显示区601中的基准被摄物体(牛的塑像401)的位置的时候，在期望的时刻进行快门按钮210的全按下操作。从而，可以使全景图像中的基准被摄物体位于期望的位置，从而可以容易地生成用户中意的全景图像。

注意，本例把用户415进行的快门按钮210的半按下操作作为摆动操作帮助屏幕600的显示条件，和把快门按钮210的全按下操作作为成像操作的开始位置的确定条件，不过，可以采用另一种条件。例如，快门按钮210的全按下操作可被用作摆动操作帮助屏幕600的显示条件，和成像操作的开始位置的确定条件。另外，例如，两次按下快门按钮210的操作(我们可称为双击)，或者专用按钮的按下操作可被当作摆动操作帮助屏幕600的显示条件。

另外，在开始全景图像成像操作之后的成像操作大体上与图12A-14B中所示的例子相同，因而，这里省略其说明。

使用基准被摄物体作为图标的例子

至此说明了其中在构图帮助图像显示区601中设置人型图标602的例子，不过，代替人型图标602，可以设置基准被摄物体的图像。因而，图33A-34B将表示其中在构图帮助图像显示区601中，设置基 准被摄物体的图像的例子。

具体地说，图2中所示的控制单元190执行使在收到显示构图帮助图像的显示指令操作时，充当成像单元112的成像对象的被摄物体的至少一部分的图像，作为基准被摄物体标识位于构图帮助图像中，并显示所述至少一部分的图像的控制。另外，控制单元190执行使在收到所述显示指令操作时，充当成像单元112的成像对象的被摄物体的至少一部分的图像，作为基准位置标识位于构图帮助图像中，并显示所述至少一部分的图像的控制。这种情况下，控制单元190执行控制，以致把构图帮助图像中的基准被摄物体标识(例如，图34B中所示的基准被摄物体图像651)，和基准位置标识(例如，图34B中所示的基准被摄物体图像652)显示成不同的显示模式。

图33A和33B是示意图解说明按照本公开的第二实施例的成像设备100的取向，和显示在输入/输出面板200上的显示屏幕的例子的示图。注意，除了在图28B中所示的显示屏幕315上附加基准被摄物体图像的提取框317之外，图33B与图28B相同。

提取框317是在提取位于构图帮助图像显示区601中的基准被摄物体的图像时使用的边框。例如，设想其中在显示图33B中所示的显示屏幕315的情况下，执行快门按钮210的半按下操作的情况。这种情况下，全景图像生成单元132从成像单元112生成的图像中，提取包含在提取框317中的图像(基准被摄物体图像)。显示控制单元191随后控制输入/输出面板200显示摆动操作帮助屏幕600，使提取的图像(基准被摄物体图像)位于摆动操作帮助屏幕600中的构图帮助图像显示区601，并显示所述提取的图像。这种情况下，按照构图帮助图像显示区601的大小，缩小并显示提取的图像(基准被摄物体图像)。图34A和34B中表示了该基准被摄物体图像的显示例子。注意，在构图帮助图像显示区601中设置和移动基准被摄物体图像的方法和人型图标602相同，因而，这里省略其说明。

图34A和34B是图解说明按照本公开的第二实施例，显示在输入/输出面板200上的显示屏幕例子的示图。

图34A图解说明其中就图27B中所示的摆动操作帮助屏幕600来说，在构图帮助图像显示区601中设置和显示基准被摄物体图像651，代替人型图标602的例子。这样，使基准被摄物体图像651位于构图帮助图像显示区601中，并被显示，从而能够容易地设想全景图像上的实际基准被摄物体(牛的塑像401)，因而能够容易地进行构图的决定。

图34B图解说明其中就图34A中所示的摆动操作帮助屏幕600来说，在构图帮助图像显示区601中设置和显示基准被摄物体图像652，代替基准位置标志604的例子。注意，理想的是把基准被摄物体图像652和基准被摄物体图像651显示成不同的显示模式。例如，理想的是与基准被摄物体图像651相比不太显眼地显示基准被摄物体652。例如，改变值α(代表透明度的数值)，从而能够低于基准被摄物体图像651地显示基准被摄物体图像652的透明度。注意图34B利用虚线图解说明基准被摄物体图像652，作为与基准被摄物体图像651相比不太显眼地显示的例子。

从而，基准被摄物体图像651与构图帮助图像显示区601中的基准被摄物体图像652重叠的时刻变成使基准被摄物体位于全景图像中的基准位置的时刻。因而，能够以相对易于查看的方式进行使基准被摄物体位于全景图像中的基准位置的操作。

注意，本例表示了其中提取包含在具有特定大小的提取框317中的图像，作为基准被摄物体图像，并使该基准被摄物体图像位于构图帮助图像显示区601中的例子。不过，例如，可以做出其中对成像设备100设置面部检测单元，单独检测和提取包含在具有特定大小的提取框317中的图像的面部部分，并使该面部作为基准被摄物体图像，位于构图帮助图像显示区601中的安排。注意，如果在具有特定大小的提取框317中包含有多个面部，那么可以采用评价值较高的面部(例如，笑脸、尺寸较大的面部)。另一方面，可以做出其中对成像设备100设置检测除面部之外的特定对象的检测单元，并使利用所述检测单元检测和提取的特定对象(提取框317内的特定对象)作为基准被摄 物体图像，位于构图帮助图像显示区601中的安排。

成像设备的操作例子

下面参考附图，说明按照本公开的第二实施例的成像设备100的操作。

第四成像模式下的操作例子

图35是图解说明按照本公开的第二实施例的成像设备100的成像控制处理的处理过程的例子的流程图。本例表示在设定第四成像模式情况下的处理过程的例子。另外，该处理过程是图24的变形，从而，用相同的附图标记表示与图24共有的部分，其说明被省略。

首先，控制单元190判定是否执行了构图帮助图像的显示指令操作(步骤S951)，如果未进行所述显示指令操作，那么继续进行监视。另一方面，如果进行了所述显示指令操作(步骤S51)，那么控制单元190根据显示指令操作时的位置，确定全景图像成像操作的开始位置和终止位置(步骤S952)。注意，所述开始位置和终止位置是用于显示构图帮助图像的假想位置。

之后，显示控制单元191在控制单元190的控制下，控制显示单元141显示构图帮助图像(例如，图27B中所示的摆动操作帮助屏幕600(构图帮助图像显示区601))(步骤S953)。

之后，取向检测单元121检测成像设备100的取向的变化(步骤S954)。之后，控制单元190根据检测的取向变化，移动构图帮助图像中的基准被摄物体标识(例如，图27B中所示的人型图标602)(步骤S955)。之后，控制单元190根据检测的取向变化，判定是否执行了正确的摆动操作(步骤S956)。如果未执行正确的摆动操作(步骤S956)，那么处理进入步骤S916)。

另外，如果执行了正确的摆动操作(步骤S956)，那么判定是否执行了成像操作的开始指令操作(步骤S957)，如果未执行成像操作的开始指令操作，那么处理返回步骤S954。另一方面，如果执行了成像操作的开始指令操作(步骤S957)，那么控制单元190根据所述开始指令操作时的位置，确定全景图像成像操作的终止位置(步骤S958)。

当把垂直方向作为摆动方向时的显示例子

本公开的第一和第二实施例表示了其中通过沿着水平方向进行摆动操作生成全景图像的例子。不过，如上所述，可通过沿着垂直方向进行摆动操作，生成全景图像。于是，图36A和36B图解说明在沿着垂直方向进行摆动操作的情况下，显示在输入/输出面板200上的显示屏幕例子。

图36A和36B是图解说明按照本公开的第一和第二实施例，显示在输入/输出面板200上的显示屏幕例子的示图。

图36A图解说明在设定了第一到第三成像模式之一的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕700。就摆动操作帮助屏幕700来说，设置有摆动操作帮助图像显示区701，箭头703和消息显示区704。注意除了各个单元的方向等不同之外，摆动操作帮助屏幕700和图10B中所示的摆动操作帮助屏幕370相同，因此，这里省略其说明。

图36B图解说明在设定第四成像模式的情况下，显示在输入/输出面板200上的摆动操作帮助屏幕710。就摆动操作帮助屏幕710来说，设置有摆动操作帮助图像显示区711，和消息显示区715。注意，除了各个单元的方向等不同之外，摆动操作帮助屏幕710和图27B中所示的摆动操作帮助屏幕600相同，因此，这里省略其说明。

3.变形

全景图像的成像操作的变形

本公开的第一和第二实施例表示了其中通过用户以成像设备100的位置为基准，进行成像设备100的摆动操作，执行全景图像成像操作的例子。不过，例如，可设想通过在大体平行于被摄物体的直线上移动成像设备100，执行全景图像成像操作。于是，下面将说明其中通过在大体平行于被摄物体的直线上移动成像设备100，执行全景图像成像操作的例子。

图37A和37B是示意地图解说明在利用按照本公开的第一实施例和第二实施例的成像设备100，生成全景图像时的成像操作的示图。 图37A示意地图解说明关于通过以成像设备100的位置(用户800的位置)作为旋转中心，沿着水平方向(摆动方向801)旋转成像设备100，生成全景图像的成像操作，从上方观察的状态。另外，图37A利用粗线示意地图解说明作为全景图像成像范围802，由所述成像操作生成的全景图像的成像范围。注意图10A中所示的例子与在本公开的第一和第二实施例中所示的例子相同，因而，这里将省略其说明。

图37B示意地图解说明关于通过在大体平行于被摄物体的直线815上，移动成像设备100，生成全景图像的成像操作，从上方观察的状态。图37B中所示的成像操作是利用能够匀速移动的诸如车辆之类的移动装置，以与行进方向811正交的方向作为成像设备100的光轴方向进行的全景图像成像操作。例如，假设双手拿着成像设备100的用户810乘坐的车辆沿着行进方向811匀速或变速移动。另外，图37B用粗线示意地图解说明作为全景图像成像范围812，用所述成像操作生成的全景图像的成像范围。

这样，就图37B中所示的例子来说，在直线815上顺序改变成像设备100的位置，因而，代替旋转角度，采用直线上的移动距离作为成像设备100的取向的变化。另外，就全景图像成像操作的开始位置和终止位置，同样采用直线上的位置。

另外，本公开的实施例表示了其中通过合成静止图像，生成全景图像的例子，不过本公开的实施例适用于利用运动图像成像操作生成的运动图像，生成全景图像的情况。另外，就生成多视点全景图像的情况来说，同样可以应用本公开的实施例。

另外，本公开的实施例可适用于诸如具有成像功能的蜂窝电话机，具有成像功能的便携式终端装置之类的成像设备。

注意，本公开的实施例举例说明了实现本公开的例子，按照本公开的实施例的事项对应于权利要求范围中的本公开特有的事项。类似地，权利要求中的本公开特有的事项对应于用相同名称表示的按照本公开的实施例的事项。不过，本公开并不局限于这些实施例，可通过对实施例进行各种修改，实现本公开，而不脱离本公开的本质。

另外，在本公开的实施例中说明的处理步骤可被看作具有一系列步骤的方法，或者可被看作使计算机执行所述一系列步骤的程序，乃至保存所述程序的记录介质。这种记录介质的例子包括CD(光盘)，MD(小型光盘)，DVD(数字通用光盘)，存储卡和蓝光光盘(注册商标)等等。

本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

Claims (26)

1.一种图像处理设备，包括：

被配置成接收识别被摄物体的输入的接口；

被配置成捕捉用于生成全景图像的图像数据的成像单元；和

被配置成根据捕捉的图像数据生成全景图像，以致使被摄物体位于全景图像中的基准位置的处理器，

其中，处理器被配置成根据所述输入计算用于捕捉图像数据的开始位置和终止位置。

2.按照权利要求1所述的图像处理设备，其中接口被配置成在捕捉图像数据之前，接收选择基准位置的输入。

3.按照权利要求2所述的图像处理设备，其中处理器被配置成根据基准位置和被摄物体，计算用于捕捉图像数据的开始位置和终止位置。

4.按照权利要求3所述的图像处理设备，还包括：

显示器，其中处理器被配置成控制显示器显示指示处理器确定的开始位置的通知。

5.按照权利要求4所述的图像处理设备，其中处理器被配置成控制显示器显示图像处理设备的到达开始位置的摆动方向。

6.按照权利要求4所述的图像处理设备，其中处理器被配置成控制显示器显示指示朝着开始位置移动的进展的状态条。

7.按照权利要求4所述的图像处理设备，其中处理器被配置成判定图像处理设备是否已到达开始位置，当已到达开始位置时，控制显示器显示图像处理设备已到达开始位置的通知。

8.按照权利要求3所述的图像处理设备，还包括：

显示器，其中在成像单元开始捕捉图像数据之后，处理器控制显示器显示通知，所述通知指示图像处理设备的到达终止位置的摆动方向。

9.按照权利要求8所述的图像处理设备，其中处理器被配置成控制显示器显示状态条，所述状态条指示朝着终止位置移动的进展。

10.按照权利要求8所述的图像处理设备，其中处理器被配置成判定图像处理设备是否已到达终止位置，当已到达终止位置时，控制显示器显示图像处理设备已到达终止位置的通知。

11.按照权利要求2所述的图像处理设备，其中处理器被配置成根据选择的基准位置和识别的被摄物体，计算用于捕捉图像数据的开始位置。

12.按照权利要求11所述的图像处理设备，其中在计算开始位置之后，接口接收指令成像单元捕捉图像数据的输入。

13.按照权利要求12所述的图像处理设备，其中在收到指令成像单元捕捉图像数据的输入之后，处理器被配置成确定用于捕捉图像数据的终止位置。

14.按照权利要求13所述的图像处理设备，还包括：

显示器，其中在成像单元开始捕捉图像数据之后，处理器控制显示器显示通知，所述通知指示图像处理设备的到达终止位置的摆动方向。

15.按照权利要求14所述的图像处理设备，其中处理器被配置成控制显示器显示状态条，所述状态条指示朝着终止位置移动的进展。

16.按照权利要求14所述的图像处理设备，其中处理器被配置成判定图像处理设备是否已到达终止位置，当已到达终止位置时，控制显示器显示图像处理设备已到达终止位置的通知。

17.按照权利要求1所述的图像处理设备，其中接口被配置成接收指令成像单元捕捉图像数据的输入。

18.按照权利要求17所述的图像处理设备，其中在接收到指令成像单元捕捉图像数据的输入之后，处理器被配置成确定用于捕捉图像数据的终止位置。

19.按照权利要求18所述的图像处理设备，其中接口被配置成在成像单元已经开始捕捉图像数据之后，接收选择全景图像中的基准位置的输入。

20.按照权利要求19所述的图像处理设备，其中处理器被配置成根据选择基准位置的输入，确定用于捕捉图像数据的新的终止位置。

21.按照权利要求20所述的图像处理设备，还包括：

显示器，其中处理器被配置成判定图像处理设备是否已到达终止位置，当已到达终止位置时，控制显示器显示图像处理设备已到达终止位置的通知。

22.按照权利要求17所述的图像处理设备，还包括：

显示器，其中处理器被配置成控制显示器显示构图帮助图像，在所述构图帮助图像中，候选被摄物体被显示在全景图像的虚拟表示上。

23.按照权利要求22所述的图像处理设备，其中处理器被配置成检测图像处理设备的取向的变化，并根据检测的取向变化改变构图帮助图像。

24.按照权利要求6-23中任一项所述的图像处理设备，其中显示指示朝着开始位置移动的进展的状态条包括显示操作位置并通过改变操作位置的显示模式来指示全景图像成像操作的阶段。

25.按照权利要求4-10、14-16和21中任一项所述的图像处理设备，其中所述通知具有下列形式至少之一：文本、图形和音频。

26.一种由图像处理设备执行的图像处理方法，所述方法包括：

在图像处理设备的接口，接收识别被摄物体的输入；

在图像处理设备的成像单元，捕捉用于生成全景图像的图像数据；和

在图像处理设备的处理器，根据捕捉的图像数据生成全景图像，以致使被摄物体位于全景图像中的基准位置，

其中，所述方法还包括根据所述输入，计算用于捕捉图像数据的开始位置和终止位置。