CN102215342A - 成像设备、显示控制方法和程序 - Google Patents

Abstract

一种成像设备，包括：成像单元，其捕获被摄体并且以时间序列生成多个连续捕获图像；合成单元，其使用多个生成的捕获图像的每个的至少一部分执行合成，并且生成具有基于预定规则的顺序关系的多个合成图像；以及控制单元，在完成通过所述成像单元生成多个捕获图像的处理之后，所述控制单元执行用于将关于通过所述合成单元的合成图像的生成的进度的信息在显示单元上显示为进度信息的控制。

Description

成像设备、显示控制方法和程序

技术领域

本发明涉及成像设备，并且更具体地，涉及用于显示图像的成像设备、显示控制方法、以及用于在计算机上执行该方法的程序。

背景技术

近来，已经广泛使用用于捕获被摄体(如，人物或动物)以便生成图像数据并且将图像数据记录为图像内容的成像设备，如数字相机或数字摄像机(例如，可携式摄像机)。提出了用于在完成成像动作时在显示单元上显示要记录的图像的成像设备(所谓回看显示)。

存在用于通过一系列成像动作生成多个图像并且相互关联地记录多个生成的图像的成像设备。例如，存在用于相互关联记录通过连续拍摄生成的多个图像的成像设备。例如，在再现多个记录图像的情况下，显示在连续拍摄单元中设置的代表图像的列表，并且从代表图像的列表选择希望的代表图像。可以显示对应于选择的代表图像的多个图像。

例如，提出了用于根据要作为图像列表显示的连续图像的数目调整每个连续图像的显示大小，并且通过调整的显示大小显示多个连续图像的列表的图像显示设备(例如，见日本未审专利申请公开No.2009-296380(图6))。

发明内容

根据上述现有技术，为了通过调整的显示大小显示多个连续图像的列表，可能同时显示连续图像的列表。

这里，考虑这样的情况，其中使用用于相互关联地记录通过一系列成像动作生成的多个图像的成像设备执行成像动作。在使用该成像设备执行一系列成像动作的情况下，如果在完成成像动作之后确认通过成像动作生成的多个图像，则至少回看显示一部分图像。

例如，在旅行目的地的旅游点执行拍摄的情况下，因为每个人物可能移动，所以拍摄时机变得重要。为此，即时在完成一系列成像动作之后，重要的是迅速确认构图和希望的被摄体。例如，如上所述，在完成一系列成像动作之后，至少回看显示通过成像动作生成的多个图像的一部分。

尽管可以通过在完成一系列成像动作之后执行显示确认通过成像动作生成的多个图像，但是如果要生成的图像的数目大，则其处理时间相对长。如果当与多个图像的生成相关联的处理时间增加时不检查进度情况，则不可能充分执行下一个成像动作的准备。

希望当通过一系列成像处理生成多个合成图像时能够容易地检查图像生成的进度情况。

根据本发明的实施例，提供了一种成像设备、该成像设备的显示控制方法、以及用于在计算机上执行该方法的程序，所述成像设备包括：成像单元，其捕获被摄体并且以时间序列生成多个连续捕获图像；合成单元，其使用多个生成的捕获图像的每个的至少一部分执行合成，并且生成具有基于预定规则的顺序关系的多个合成图像；以及控制单元，在完成通过所述成像单元生成多个捕获图像的处理之后，所述控制单元执行用于将关于通过所述合成单元的合成图像的生成的进度的信息在显示单元上显示为进度信息的控制。因此，捕获被摄体并且以时间序列生成多个连续捕获图像，使用多个生成的捕获图像的每个的至少一部分执行合成，并且生成具有基于预定规则的顺序关系的多个合成图像，并且在完成生成多个捕获图像的处理之后，将关于合成图像的生成的进度的信息显示为进度信息。

所述合成单元可以生成多视点图像作为多个合成图像，并且紧接在完成通过所述成像单元生成多个捕获图像的处理之后，所述控制单元可以执行用于将所述多视点图像的中心图像或接近所述中心图像的图像作为代表图像与所述进度信息一起显示在显示单元上的控制。因此，紧接在完成生成多个捕获图像的处理之后，将所述多视点图像的中心图像或接近所述中心图像的图像作为代表图像与所述进度信息一起显示。

所述控制单元可以执行用于显示基于通过所述合成单元生成的合成图像的数目比作为要由所述合成单元生成的对象的多个合成图像的总数的控制的进度信息。因此，基于通过所述合成单元生成的合成图像的数目比作为要由所述合成单元生成的对象的多个合成图像的总数，显示进度信息。

所述控制单元可以执行用于使用条形图将指示已经通过所述合成单元生成合成图像到什么程度的进度条显示为所述进度信息的控制。因此，显示使用条形图指示已经通过所述合成单元生成合成图像到什么程度的进度条。

所述控制单元可以紧接在完成通过所述成像单元生成多个捕获图像的处理之后，执行用于在显示单元上显示所述进度信息的控制。因此，紧接在完成通过所述成像单元生成多个捕获图像的处理之后，显示所述进度信息。

所述控制单元可以执行用于连同所述进度信息在显示单元上顺序显示生成的合成图像的至少一部分的控制。因此，连同所述进度信息顺序显示生成的合成图像的至少一部分。

所述控制单元可以执行用于在显示单元上初始显示以生成的合成图像的预定顺序排列的合成图像作为代表图像的控制。因此，将以生成的合成图像的预定顺序排列的合成图像初始显示为代表图像。

所述成像设备还可以包括记录控制单元，其将指示代表图像的代表图像信息和顺序关系与多个生成的合成图像相关联，并且将多个生成的合成图像记录在记录介质上。因此，将指示代表图像的代表图像信息和顺序关系与多个生成的合成图像相关联，并且将多个合成图像记录在记录介质上。

所述记录控制单元可以在所述记录介质上将与代表图像信息和顺序关系相关联的多个生成的合成图像记录为MP文件。因此，将与代表图像信息和顺序关系相关联的多个合成图像记录在所述记录介质上作为MP文件。

根据本发明的实施例，可能容易地识别通过一系列成像动作生成多个合成图像的进度情况。

附图说明

图1是示出根据本发明的第一实施例的成像设备的内部配置示例的框图；

图2A到2C是示出根据本发明的第一实施例的可移除介质中存储的图像文件的示意图；

图3A和3B是示出用于设置通过根据本发明的第一实施例的成像设备的多视点图像的拍摄模式的设置屏幕的显示示例的图；

图4A和4B是示出当使用根据本发明的第一实施例的成像设备生成多视点图像时的成像动作示例和成像动作的进度情况的通知示例的示意图；

图5A和5B是示出当使用根据本发明的第一实施例的成像设备生成多视点图像时的成像动作示例和通过成像动作生成多个捕获图像的流程的示例的示意图；

图6A和6B是示出当通过根据本发明的第一实施例的成像设备生成多视点图像时的生成方法的示意图；

图7是示出当通过根据本发明的第一实施例的成像设备生成多视点图像时的生成方法的示意图；

图8A到8C是示出当通过根据本发明的第一实施例的成像设备生成多视点图像时的生成方法的示意图；

图9是示出直到将通过根据本发明的第一实施例的成像设备生成的多视点图像记录在可移除介质中的流程的示意图；

图10是示出直到显示通过根据本发明的第一实施例的成像设备生成的多视点图像的代表图像的流程的示意图；

图11是示出根据本发明的第一实施例的成像设备的功能配置示例的框图；

图12A到12C是示出在根据本发明的第一实施例的显示单元上显示的代表图像的显示示例的图；

图13A到13C是示出在根据本发明的第一实施例的显示单元上显示的多视点图像的显示转换示例的图；

图14A到14C是示出在根据本发明的第一实施例的显示单元上显示的多视点图像的显示转换示例的图；

图15A到15C是示出在根据本发明的第一实施例的显示单元上显示的多视点图像的显示转换示例的图；

图16A到16C是示出在根据本发明的第一实施例的显示单元上显示的多视点图像的显示转换示例的图；

图17A到17C是示出在根据本发明的第一实施例的显示单元上显示的多视点图像的合成处理的进度情况通知信息的图；

图18A和18B是示出在根据本发明的第一实施例的显示单元上显示的进度情况通知屏幕的显示转换示例的图；

图19A到19D是示出在根据本发明的第一实施例的显示单元上显示的进度情况通知屏幕的显示转换示例的图；

图20A到20D是示出在根据本发明的第一实施例的显示单元上显示的进度情况通知屏幕的显示转换示例的图；

图21A到21D是示出在根据本发明的第一实施例的显示单元上显示的进度情况通知屏幕的显示转换示例的图；

图22是图示通过根据本发明的第一实施例的成像设备的多视点图像记录处理的过程的示例的流程图；

图23是图示通过根据本发明的第一实施例的成像设备的多视点图像记录处理的过程的捕获图像记录处理的示例的流程图；

图24是图示通过根据本发明的第一实施例的成像设备的多视点图像记录处理的过程的代表图像决定处理的示例的流程图；

图25是图示通过根据本发明的第一实施例的成像设备的多视点图像记录处理的过程的进度条计算处理的示例的流程图；

图26是图示通过根据本发明的第一实施例的成像设备的多视点图像记录处理的过程的代表图像生成处理的示例的流程图；

图27是图示通过根据本发明的第一实施例的成像设备的多视点图像记录处理的过程的视点j图像生成处理的示例的流程图；

图28A和28B是示出根据本发明的第二实施例的成像设备的外观配置示例的示例和当使用该成像设备时它的姿态的示例的图；

图29A和29B是示出使用根据本发明的第二实施例的成像设备生成的多个多视点图像和当回看显示图像时成像设备的倾斜角度之间关系的示意图；

图30A和30B是示出在根据本发明的第二实施例的输入/输出面板上显示的图像的显示转换示例的图；

图31A和31B是示出在根据本发明的第二实施例的输入/输出面板上显示的图像的显示转换示例的图；

图32是图示通过根据本发明的第二实施例的成像设备的多视点图像记录处理的过程的示例的流程图；

图33是图示通过根据本发明的第二实施例的成像设备的多视点图像记录处理的过程的示例的流程图；

图34是图示通过根据本发明的第二实施例的成像设备的多视点图像记录处理的过程的示例的流程图；以及

图35是图示通过根据本发明的第二实施例的成像设备的多视点图像记录处理的过程的示例的流程图。

具体实施方式

下文中，将描述用于执行本发明的模式(下文中，称为实施例)。按照以下顺序给出描述。

1.第一实施例(显示控制：在完成多视点图像的成像动作之后显示代表图像和进度情况通知信息的示例)

2.第二实施例(显示控制：根据设备姿态的改变顺序地回看显示多视点图像的代表图像候选者并对代表图像作出决定的示例)

1.第一实施例

成像设备的配置示例

图1是示出根据本发明的第一实施例的成像设备100的内部配置示例的框图。成像设备100包括成像单元110、陀螺传感器115、分辨率转换单元120、以及图像压缩/解压单元130。成像设备100包括只读存储器(ROM)140、随机存取存储器(RAM)150、以及中央处理单元(CPU)160。成像设备100包括液晶显示器(LCD)控制器171、LCD 172、输入控制单元181、操作单元182、可移除介质控制器191、以及可移除介质192。通过总线101执行在配置成像设备100的各单元之间执行的交换。成像设备100例如可以通过用于捕获被摄体、生成多块图像数据(捕获图像)、以及对于多块图像数据执行各种图像处理的数字相机实现。

成像单元110基于CPU 160的控制转换来自被摄体的入射光，生成图像数据(捕获图像)，并且将生成的图像数据提供到RAM 150。具体地，成像单元110包括光学单元112(图7中示出)、成像元件111(图7中示出)和信号处理单元(未示出)。光学单元包括用于聚焦来自被摄体的光的多个透镜(变焦透镜、聚焦透镜等)，并且将通过透镜和光圈入射的来自被摄体的光提供到成像元件。在成像元件的成像表面上形成通过光学单元入射的被摄体的光学图像，并且在此状态下通过成像元件将其捕获，并且捕获图像输出到信号处理单元。信号处理单元执行针对于捕获信号的信号处理，以便生成图像数据，并且将生成的图像数据顺序提供到RAM 150，以便被临时保持。作为成像元件，例如可以使用电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等。

陀螺传感器115检测成像设备100的角速度，并且将检测到的角速度输出到CPU 160。可以使用不同于陀螺传感器的传感器(例如，加速度传感器)检测成像设备100的加速度、运动、倾斜等，并且CPU 160可以基于检测到的结果检测成像设备100的姿态的改变。

分辨率转换单元120基于来自CPU 160的控制信号将多种输入图像数据的分辨率转换为适于图像处理的分辨率。

图像压缩/解压单元130基于来自CPU 160的控制信号，根据图像处理压缩或者解压多种输入图像数据。图像压缩/解压单元130例如压缩或者解压多种输入图像数据为联合图像专家组(JPEG)格式。

ROM 140是只读存储器，并且存储各种控制程序等。

RAM 150是在CPU 160的主存储器(主存储设备)中使用的存储器，包括用于在CPU 160中运行的程序的工作区域等，并且临时保持由CPU 160执行各种处理所需的程序或者数据。RAM 150包括用于各种图像处理的图像存储区域。

CPU 160基于ROM 140中存储的各种控制程序控制成像设备100的各单元。CPU 160基于由操作单元182接收的操作输入等控制成像设备100的各单元。

LCD控制器171基于来自CPU 160的控制信号在LCD 172上显示多种图像数据。

LCD 172是用于显示对应于从LCD控制器171提供的多种图像数据的图像的显示单元。例如，LCD 172顺序显示对应于由成像单元110生成的图像数据的捕获图像(所谓的监视显示)。例如，LCD 172显示对应于可移除介质192中存储的图像文件的图像。替代LCD 172，例如可以使用如有机电致发光(EL)面板的显示面板。作为显示面板，可以使用通过将用户的手指接触或接近显示表面来执行操作输入的触摸面板。

输入控制单元181基于来自CPU 160的指令执行由操作单元182接收的操作输入的控制。

操作单元182接收通过用户操纵的操作输入，并且将对应于接收的操作输入的信号输出到CPU 160。例如，在用于记录多视点图像的多视点拍摄模式中，在成像设备100中包括如快门按钮183(图4A中示出)的操作部件，其用于指令用于生成多视点图像的捕获图像的成像动作开始和成像动作结束。在本发明的第一实施例中生成的多视点图像是多视点立体图像(例如，全景立体图像)。可以使用触摸面板整体配置操作单元182和LCD 172。

可移除介质控制器191连接到可移除介质192，并且基于来自CPU 160的控制信号读取和记录可移除介质192中的数据。例如，可移除介质控制器191将如由成像单元110生成的图像数据的多种图像数据作为图像文件(图像内容)记录在可移除介质192中。可移除介质控制器191从可移除介质192读取如图像文件的内容，并且通过总线101将内容输出到RAM 150等。

可移除介质192是用于记录从可移除介质控制器191提供的图像数据的记录设备(记录介质)。在可移除介质192中，例如，记录如JPEG格式图像数据的多种数据。作为可移除介质192，例如，可以使用带(例如，磁带)或光盘(例如，可记录数字多功能盘(DVD))。作为可移除介质192，例如，可以使用磁盘(例如，硬盘)、半导体存储器(例如，存储卡)或者磁光盘(例如，迷你盘(MD))。

图像文件的配置示例

图2A到2C是示出根据本发明的第一实施例的可移除介质192中存储的图像文件的示意图。在图2A到2C中，示出基于用于将多个静态图像记录为一个文件(扩展：MPO)的多画面(MP)格式的静态图像文件的文件结构的示例。也就是说，MP文件(见“CIPA DC-007-2009Multi Picture format”)是其中可以在先导图像之后记录一个或多个图像的文件。

图2A示出2视点图像(用于显示立体图像的左眼图像和右眼图像)的文件结构的示例，并且图2B示出与用于监视显示的图像(所谓的屏幕钉图像(screen nail image))相关联的2视点图像的文件结构的示例。图2C示出多视点图像的文件结构的示例(3视点或更多的多视点图像)。

在图2A到2C所示的文件结构中，图像的开始(SOI)是指示图像的开始的段，其安排在JPEG图像或用于监视显示的图像的最前部。图像的结束(EOI)是指示图像的结束的段，其安排在JPEG图像或用于监视显示的图像的末端。

在SOI和EOI之间，安排应用段(APP)1、APP2和JPEG图像数据。APP1和APP2是用于存储JPEG图像数据的辅助信息的应用标记段。DQT、DHF、SOF和扫描的开始(SOS)的标记段插入在压缩图像数据的前面，并且未示出。定义量化表(DQT)、定义Huffman表(DHF)和帧的开始(SOF)的记录顺序是任意的。在图2B所示的用于监视显示的图像304和305中，可以不记录包括MP格式辅助信息的APP2。然而，记录隶属于主图像(原始图像)的APP2的用于监视显示的图像。此外，用于监视显示的图像在纵横比方面与主图像相等，并且例如在水平方向具有1920像素，并且在垂直方向上适于主图像的纵横比。

位于文件结构的最上侧的APP2(301到303)具有代表文件结构的重要角色，其中记录每个视点的图像位置(偏移地址)、比特大小、或者指示是否是代表图像的信息。

现在，将通过参照“CIPA DC-007-2009Multi Picture format”的“6.2.2.2stereoscopic image”和“A.2.1.2.3 selection of representative image”简要描述多视点图像的记录。在“6.2.2.2 stereoscopic image”中描述以下(1)，并且在“A.2.1.2.3 selection of representative image”中描述以下(2)。

(1)在立体图像中，以从左视点到右视点的升序将视点号应用到被摄体。

(2)在记录立体图像的情况下，建议如果视点的数目是偶数，则用作代表图像的图像使用具有由(视点的数目/2)或者((视点的数目/2)+1)代表的视点号的图像，如果视点的数目是奇数，则用作代表图像的图像使用具有由(视点的数目/2+0.5)代表的视点号的图像(接近所有视点的中心的图像)。

在遵守该规则的情况下，因为左视点图像封装到较高级别地址，所以左视点图像首先经历合成处理或编码处理。在此情况下，例如，如果回看显示作为中心图像的代表图像，则不执行代表图像的回看显示，直到完成中心图像的合成处理等。在本发明的第一实施例中，描述了在完成成像动作之后迅速显示代表图像的示例。然而，可以根据用户的体验或爱好适当地改变代表图像的显示定时。回看显示是这样的显示操作，其用于在通过记录指令操作设置静态图像的拍摄模式的状态下执行静态图像的记录指令操作时，在完成通过记录指令操作的捕获图像的成像处理之后，自动显示通过成像处理生成的捕获图像预定时间段。

要记录的图像的选择示例

图3A和3B是示出用于设置通过根据本发明的第一实施例的成像设备100的多视点图像的拍摄模式的设置屏幕的显示示例的图。设置屏幕例如根据来自操作单元182的用户操作显示在LCD 172上。

图3A示出用于设置2视点图像拍摄模式和多视点图像拍摄模式的任一个作为拍摄模式的设置屏幕350的显示示例。在设置屏幕350中，提供2视点图像拍摄模式选择按钮351、多视点图像拍摄模式选择按钮352、确认按钮353和返回按钮354。

当将2视点图像拍摄模式设为多视点图像的拍摄模式时，按压2视点图像拍摄模式选择按钮351。2视点图像拍摄模式是用于拍摄2视点图像的拍摄模式。当通过2视点图像拍摄模式选择按钮351的按压操作设置2视点图像拍摄模式时，将通过成像单元110生成的图像记录为如2A或2B所示的2视点图像的图像文件。

当将多视点图像拍摄模式设为多视点图像的拍摄模式时，按压多视点图像拍摄模式选择按钮352。多视点图像拍摄模式是用于拍摄3视点或更多视点的多视点图像的拍摄模式，要记录的视点的数目可以预先设置，或者要记录的视点的数目可以通过用户操作改变。在图3B中示出该改变示例。如果通过多视点图像拍摄模式选择按钮352的按压操作设置多视点图像拍摄模式，则将通过成像单元110生成的图像记录为如2C所示的多视点图像的图像文件。

当在用于选择2视点图像拍摄模式或多视点图像拍摄模式的按压操作之后对于选择作出决定时，按压确认按钮353。例如，当返回到紧接在前显示的显示屏幕时按压返回按钮354。

图3B示出如果设置多视点图像拍摄模式则用于通过用户操作设置要记录的视点的数目的设置屏幕360的显示示例。在图3B所示的设置屏幕360中，提供视点数目轴361、减显示区362、加显示区363、指定位置标记364、确认按钮365和返回按钮366。

视点数目轴361代表要通过用户操作指定的视点的数目，并且视点数目轴361上的每个刻度标记对应于视点的值。例如，在视点数目轴361上的刻度标记中，最接近减显示区362的刻度标记对应于3视点。在视点数目轴361上的刻度标记中，最接近加显示区363的刻度标记对应于视点的最大数目(例如，15视点)。

指定位置标记364指示通过用户操作指定的视点的数目。例如，通过使用光标367的操作或者触摸操作(在包括触摸面板的情况下)，指定位置标记364移动到由用户希望的视点数目轴361上的位置，以便指定要记录的视点的数目。

当指定位置标记364移动到由用户希望的视点数目轴361上的位置之后，当对于指定作出决定时按压确认按钮365。例如，当返回到紧接在前显示的显示屏幕时按压返回按钮366。

多视点图像的成像动作示例和进度情况的通知示例

图4A和4B是示出当使用根据本发明的第一实施例的成像设备100生成多视点图像时的成像动作示例和成像动作的进度情况的通知示例的示意图。

图4A示意性地示出当使用成像设备100生成多视点图像时从上表面观看的成像动作的情况。也就是说，图4A示出当用户基于成像设备100的成像位置，执行用于在水平方向(由箭头370表示的方向)上移动成像设备100的操作(所谓的摇镜头操作(摆动操作))时，生成多视点图像的示例。在此情况下，成像设备100的视角(水平方向的视角)是α，并且作为要通过一系列摇镜头操作捕获的对象的范围(成像范围)通过粗虚线371示意性地示出。

图4B示出当设置多视点图像拍摄模式(3视点或更多)时在LCD 172上显示的进度情况通知屏幕380的显示示例。在进度情况通知屏幕380中，提供通知多视点图像的成像动作的进度情况的进度条381和操作辅助信息382和383。

进度条381是用于在设置多视点图像拍摄模式时将用户操作(成像设备100的摇镜头操作)的进度情况通知用户的条图形。具体地，进度条381指示多视点图像拍摄模式所需的整体操作量(例如，摇镜头操作的旋转角)的当前操作量(灰色部分384)已经进展到什么程度。此外，在进度条381中，基于检测在时间轴上的相邻捕获图像的移动量和移动方向的结果，CPU 160计算当前操作量以便基于该当前操作量改变显示状态。作为移动量和移动方向，例如，检测对应于通过成像设备100的移动生成的整体捕获图像的移动的运动矢量(全局运动矢量(GMV))。此外，基于通过陀螺传感器115检测到的角速度，CPU 160可以计算当前操作量。使用检测移动量和移动方向的结果和通过陀螺传感器115检测到的角速度，CPU 160可以计算当前操作量。通过在拍摄多视点图像的同时显示进度条381，用户可以容易地检查摇镜头操作需要执行到什么程度。

操作辅助信息382和383用于在设置多视点图像拍摄模式时辅助用户操作(成像设备100的摇镜头操作)。作为操作辅助信息382，例如，显示辅助用户操作的消息。作为操作辅助信息383，例如，显示辅助用户操作的箭头(指示操作方向的箭头)。

多视点图像的成像动作示例和通过成像动作生成的捕获图像的记录示例

图5A和5B是示出当使用根据本发明的第一实施例的成像设备100生成多视点图像时的成像动作示例和通过成像动作生成多个捕获图像的流程的示例的示意图。

图5A示意性示出当使用成像设备100生成多视点图像时从上表面观看的情况。图5A等价于图4A所示的示例，除了添加了矩形372到374。也就是说，在图5A中，图5B所示的捕获图像(图像(#1)401、(#i)404、(#M)405)实际上安排在圆周上(在虚线371上)，并且通过矩形372到374示意性地表示从上表面观看成像范围时的位置关系。在矩形372到374中，给出与其对应的符号#1、#i、#M。以此方式生成的多个捕获图像是通过执行成像动作生成的捕获图像，使得同一被摄体至少包括在水平方向的部分区域中。

图5B示意性示出通过图5A所示的摇镜头操作生成的捕获图像(图像(#1)401到(#M)405)保持在RAM 150中的状态。也就是说，如图5A所示，在通过用户的成像设备100的摇镜头操作期间，成像设备100顺序生成图像(#1)401到(#M)405。这里，图像(#1)401到(#M)405是具有在水平方向的偏移的多个捕获图像，并且例如其上限数目可以是大约70到100。以时间序列将号码给予图像(#1)401到(#M)405。如果在成像设备100中执行用于多视点成像的记录指令操作，则将在成像动作期间生成的多个捕获图像顺序记录在RAM 150中。例如，可以通过将按压快门按钮183的状态保持在设置多视点图像记录模式的状态下，执行用于多视点成像的记录指令操作。

多视点图像的生成示例

图6A、6B、7和8A到8C是示出当通过根据本发明的第一实施例的成像设备100生成多视点图像时的生成方法的示意图。在该示例中，示出生成由15视点配置的图像作为多视点图像的示例。

图6A通过矩形示意性示出由成像单元110生成的图像(#i)404。在图6A中，在图像(#i)404中，当生成多视点图像时使用的图像的提取区域(要合成的每个视点的图像区域)由与其对应的多视点图像的视点号(视点1到15)代表。这里，图像(#i)404的水平方向的长度是W1，并且用于中心图像(视点8的多视点图像)的合成的提取区域(条形区域)的水平方向的长度是w。在此情况下，对于中心图像的提取区域作出决定作为图像(#i)404的水平方向的中心(也就是说，W1＝W2×2)。图像(#i)404的视点的提取区域的水平方向的长度是相同的(也就是说，w)。这里，每个视点的提取区域的水平方向的长度w大大地依赖于由成像单元110生成的图像(#1)401到(#M)405的图像之间的移动量。将参照图7和8A到8C详细描述计算图像(#1)401到(#M)405中每个视点的提取区域的水平方向的长度w和每个视点的提取区域的位置的方法。

图6B示意性示出使用RAM 150中保持的图像(#1)401到(#M)405生成多视点图像的生成方法。在图6B中，示出使用RAM 150中保持的图像(#1)401到(#M)405生成多视点图像的示例。在图6B中，在RAM 150中保持的图像(#1)401到(#M)405中作为多视点j图像的要合成的对象的图像区域用灰色表示。关于RAM 150中保持的图像(#1)401到(#M)405的每个，至少使用一部分图像区域生成多视点图像。

接下来，将描述设置用于在RAM 150中保持的图像(#1)401到(#M)405的提取区域的设置方法。

图7是示出根据本发明的第一实施例的成像元件111和焦距和视角之间的关系的示意图。成像元件111和光学单元112包括在成像单元110中。这里，成像元件111的宽度设为成像元件的宽度IE1[mm]。在此情况下，可以通过以下等式1获得成像元件的宽度IE1。

IE1＝p×h…(1)

此外，p[μm]表示指示成像元件111的像素间距的值，并且h[像素]指示成像元件111的水平像素的数目的值。

图7所示的示例的成像设备100的视角设为α[度]。在此情况下，视角α可以通过以下等式2获得。

α＝(180/π)×2×tan-1((p×h×10-3)/(2×f))…(2)

此外，f[mm]表示指示成像设备100的焦距的值。

通过使用计算的视角α，可以通过以下等式3获得配置成像元件111的每个像素(像素密度)的视角μ[度/像素]。

μ＝α/h  …(3)

这里，如果在成像设备100中设置多视点图像拍摄模式，则多视点图像拍摄模式中图像的连续速度(也就是说，每秒的帧数)设为s[fps]。在此情况下，可以通过以下等式4获得一个捕获图像的一个视点的提取区域(最大提取区域)的水平方向(提取区域的宽度)的长度w[像素]。

w＝(d/s)×(1×μ)…(4)

此外，d[度/秒]表示指示操作成像设备100的用户的摇动角速度。通过使用操作成像设备100的用户的摇动角速度d，可以获得提取区域的宽度w(最大提取区域的宽度)。

图8A到8C示出计算作为RAM 150中保持的捕获图像(图像(#i)404)的多视点图像的要合成的对象的提取区域的偏移量的方法。图8A示出中心图像(视点8的多视点图像)的提取区域，图8B示出最左边视点图像(视点1的多视点图像)的提取区域，并且图8C示出最右边视点图像(视点15的多视点图像)的提取区域。

如上所述，如果执行多视点图像的合成处理，则从由成像单元110生成并且保持在RAM 150中的捕获图像(图像(#1)401到(#M)405)的每一个提取作为多视点图像的要合成的对象的图像(条形图像)。也就是说，在偏移在RAM 150中保持的一个捕获图像的提取区域(条形区域)的位置的同时，顺序提取作为要合成的对象的图像(条形图像)。在此情况下，合成提取的图像，以便基于图像之间的相关性重叠。具体地，检测时间轴上两个相邻捕获图像的移动量和移动方向(也就是说，相邻捕获图像之间的相对位移)。基于检测到的移动量和移动方向(相邻图像之间的移动量和移动方向)，合成提取的图像，使得重叠的区域相互叠加，以便生成多视点图像。

现在，将描述计算在RAM 150中保持的一个捕获图像的提取区域(条形区域)的大小和位置以及视点j的偏移量的方法。

在完成通过成像单元110的成像处理和RAM 150中的记录处理之后，在RAM 150中保持的多个捕获图像的每个中计算哪个区域是提取区域。具体地，如等式4所示，计算提取区域的宽度，并且将用于中心图像(视点8的多视点图像)的合成提取区域的水平方向的位置设为RAM 150中保持的捕获图像的中心位置。

这里，基于用于中心图像(视点8的多视点图像)的合成的提取区域的水平方向的位置，计算用于不同于中心图像(视点8的多视点图像)的多视点图像的合成的提取区域的水平方向的位置。具体地，根据中心视点(视点8)和视点j之间视点号的差计算从第一位置(中心位置)偏移的位置。也就是说，可以通过以下等式5获得视点j的偏移量MQj。

MQj＝(CV-OVj)×β…(5)

此外，CV表示指示多视点图像的中心视点的值，并且OVj表示指示不同于多视点图像的中心视点的视点(视点j)的值。此外，β表示指示每个视点的提取区域的位置的偏移量(条形位置偏移量)的值。此外，不改变提取区域的大小(条形大小)。

现在，将描述计算条形位置偏移量β的方法。可以通过以下等式6获得条形位置偏移量β。

β＝(W1-w×2)/VN    …(6)

此外，W1表示指示RAM 150中保持的每个捕获图像的水平大小的值，w表示指示提取区域的宽度(最大提取区域的宽度)的值，并且VN表示指示多视点图像的视点的数目的值。也就是说，将通过将图8A所示的W3(＝W1-w×2)除以视点的数目(15)获得值计算为条形位置偏移量β。

以此方式，计算条形位置偏移量β，使得当最左边视点图像或最右边视点图像的合成处理时提取的图像(条形图像)安排在RAM 150中保持的捕获图像的至少左端或者右端的位置。

此外，如果执行全景平面图像(二维图像)的合成处理，则顺序提取和合成对应于提取区域的宽度w(最大提取区域的宽度)的中心条形图像(对应于视点8的图像)。如果执行2视点图像的合成处理，则设置两个提取区域，使得距中心条形图像的偏移量(偏置量)OF在左边视点和右边视点处相同。在此情况下，可以通过以下等式7获得操作成像设备100的用户的摇动角速度d的可允许偏置量(最小条形偏置量)OFmin[像素]。

OFmin＝w/2…(7)

此外，最小条形偏置量OFmin是其中左眼条形图像和右眼条形图像不叠加(重叠)的最小可允许条形偏置量。

可以通过以下等式8获得最大可允许条形偏置量(最大条形偏置量)OFmax，该最大条形偏置量OFmax不将用于2视点图像的合成图像的提取区域突出到RAM 150中保持的捕获图像的图像区域的外部。

OFmax＝(t-OFmin)/2…(8)

这里，t[像素]表示通过成像单元110生成的一个图像的水平有效大小。水平有效大小t对应于作为RAM 150中保持的捕获图像的水平宽度的水平像素的数目。

多视点图像的记录处理示例

图9是示出直到通过根据本发明的第一实施例的成像设备100生成的多视点图像记录在可移除介质192中的流程的示意图。在图9中，示出了在将使用RAM 150中保持的图像(#1)401到(#M)405生成的视点j图像411记录为MP文件420(扩展：MPO)的情况下、在RAM 150上数据的流程的示例。此外，图9中示出的图像(#1)401到(#M)405与图6A的那些相同。

如上所述，将通过成像单元110生成的图像(#1)401到(#M)405顺序记录在RAM 150中。随后，在RAM 150中保持的图像(#1)401到(#M)405的每个中，CPU 160计算视点j的提取区域，并且获取提取区域中包括的图像。随后，通过使用从图像(#1)401到(#M)405的每个的提取区域获取的图像，CPU 160生成视点j的合成图像(视点j图像411)。尽管在该示例中描述其中CPU 160生成多视点图像的合成图像的示例，但是可以分开提供图像合成硬件或软件(加速器)，并且可以生成多视点图像的合成图像。

随后，分辨率转换单元120针对视点j图像411执行分辨率转换，并且设置视点j的最终图像(视点j图像420)。随后，图像压缩/解压单元130将视点j图像420压缩为JPEG格式图像数据。随后，CPU 160执行JPEG的视点j图像420到MP文件430的封装处理(如报头添加的封装处理)。针对其他多视点图像的生成类似地执行相同处理。如果完成所有多视点图像的合成处理，则可移除介质控制器191基于CPU 160的控制将MP文件430记录在可移除介质192中。

图9示意性地示出完成MP文件430的视点j的多视点图像的记录的状态。也就是说，在MP文件430中，通过实线表示完成记录的多视点图像的区域，并且通过虚线表示没有完成记录的多视点图像的区域。

多视点图像的代表图像的显示处理示例

图10是示出直到显示通过根据本发明的第一实施例的成像设备100生成的多视点图像的代表图像的流程的示意图。图10示出在使用RAM 150中保持的图像(#1)401到(#M)405生成的视点8显示在LCD 172上作为代表图像的情况下、在RAM 150上数据的流程的示例。图10所示的图像(#1)401到(#M)405与图6A的那些相同。

因为视点8的合成图像(代表图像441)和视点8的最终图像(代表图像442)的生成与图9所示的示例相同，所以在此将省略描述。

在生成代表图像442之后，分辨率转换单元120对于代表图像442执行分辨率转换，以便变为用于显示的最佳屏幕大小，并且设置视点8的显示图像(代表图像443)。随后，LCD控制器172基于CPU 160的控制在LCD 172上显示代表图像443。也就是说，回看显示代表图像443。即使在回看显示之后，也将生成的代表图像442保持在RAM 150中，直到执行图9所示的道MP文件430的封装处理。因此，不需要对于代表图像442再次执行合成处理，并且可能减少合成处理时间的开销。

以此方式，使用通过成像单元110生成的多个图像生成多视点图像。最初在LCD 172上显示生成的多视点图像的代表图像。

成像设备的功能配置示例

图11是示出根据本发明的第一实施例的成像设备100的功能配置示例的框图。成像设备100包括操作接收单元210、姿态检测单元220、控制单元230、成像单元240、捕获图像保持单元250、移动量检测单元260、合成单元270、显示控制单元280、显示单元285、记录控制单元290、以及内容存储单元300。

操作接收单元210接收通过用户操作的操作内容，并且将对应于接收的操作内容的操作信号提供到控制单元230。操作接收单元210例如对应于图1所示的输入控制单元181和操作单元182。

姿态检测单元220通过检测成像设备100的加速度、运动、倾斜等检测成像设备100的姿态的改变，并且输出检测到的姿态的改变的姿态改变信息到控制单元230。此外，姿态检测单元220对应于图1所示的陀螺传感器115。

控制单元230基于来自操作接收单元210的操作内容控制成像单元100的各单元。例如，当通过操作接收单元210接收拍摄模式的设置操作时，控制单元230设置对应于设置操作的拍摄模式。例如，控制单元230基于从姿态检测单元220输出的姿态改变信息分析成像设备100的姿态的改变量(移动方向、移动量等)，并且将分析结果输出到合成单元270和显示控制单元280。例如，在通过成像单元240生成多个捕获图像的处理完成之后，控制单元230执行用于将作为要通过合成单元270生成的对象的多个多视点图像中、位于预定顺序(例如，中心视点)的多视点图像显示在显示单元285上作为代表图像的控制。在显示代表图像之后，控制单元230例如执行用于根据预定规则(例如，每个视点)在显示单元285上顺序显示生成的多视点图像的至少一部分的控制。例如，在通过成像单元240生成多个捕获图像的处理完成之后，控制单元230执行用于在显示单元285上显示关于通过合成单元270生成多视点图像的进度的信息(例如，图19A到21D所示的进度条521)。在此情况下，紧接在通过成像单元240生成多个捕获图像的处理完成之后，控制单元230例如执行用于在显示单元285上显示进度信息的控制。此外，控制单元230对应于图1所示的CPU 160。

成像单元240基于控制单元230的控制捕获被摄体并且生成捕获图像，并且将生成的捕获图像提供到捕获图像保持单元250。此外，如果设置2视点图像拍摄模式或多视点图像拍摄模式，则成像单元240捕获被摄体，以时间序列生成多个连续捕获图像，并且将生成的捕获图像提供到捕获图像保持单元250。此外，成像单元240对应于图1所示的成像单元110。

捕获图像保持单元250是用于保持由成像单元240生成的捕获图像的图像存储器，并且将保持的捕获图像提供到合成单元270。捕获图像保持单元250对应于图1所示的RAM 150。

移动量检测单元260针对于捕获图像保持单元250中保持的捕获图像检测时间轴上相邻的捕获图像之间的移动量和移动方向，并且将检测到的移动量和移动方向输出到合成单元270。例如，移动量检测单元260执行配置两个相邻捕获图像的像素之间的匹配处理(也就是说，区分同一被摄体的拍摄区域的匹配处理)，并且计算捕获图像之间移动的像素数目。在该匹配处理中，根本上，执行假设被摄体停止的处理。如果可移动体包括在被摄体中，则检测与整个捕获图像的运动矢量不同的运动矢量，并且将对应于可移动体的运动矢量处理为与检测对象分开。也就是说，仅仅检测对应于通过成像设备100的移动生成的整个捕获图像的运动的运动矢量(GMV：全局运动矢量)。此外，移动量检测单元260对应于图1所示的CPU 160。

合成单元270基于控制单元230的控制，使用捕获图像保持单元250中保持的多个捕获图像生成多视点图像，并且将生成的多视点图像提供到显示控制单元280和记录控制单元290。也就是说，合成单元270基于从控制单元230输出的分析结果(成像设备100的姿态的改变量的分析结果)计算捕获图像保持单元250中保持的多个捕获图像的提取区域。合成单元270从多个捕获图像的提取区域提取图像(条形图像)，并且合成提取的图像以便生成多视点图像。在此情况下，合成单元270基于从移动量检测单元260输出的移动量和移动方向合成提取的图像以便重叠，以便生成多视点图像。生成的多视点图像是具有基于预定规则的顺序关系(每个视点)的多个合成图像。例如，合成单元270紧接在通过成像单元240生成多个捕获图像的处理完成之后最初生成代表图像。此外，可以通过用户操作或设置内容改变最初生成的图像。此外，合成单元270对应于图1所示的分辨率转换单元120、RAM 150和CPU 160。

显示控制单元280基于控制单元230的控制显示通过合成单元270生成的多视点图像。例如，在完成通过成像单元240生成多个捕获图像的处理之后，显示控制单元280将作为要通过合成单元270生成的对象的多个多视点图像中、位于预定顺序(例如，中心视点)的多视点图像显示在显示单元285上作为代表图像。在显示代表图像之后，显示控制单元280例如根据预定规则(例如，每个视点)在显示单元285上顺序显示生成的多视点图像的至少一部分。例如，在通过成像单元240生成多个捕获图像的处理完成之后，显示控制单元280在显示单元285上显示关于通过合成单元270生成多视点图像的进度的信息(例如，图19A到21D所示的进度条521)。将参照图12A到21D详细描述该显示示例。此外，显示控制单元280对应于图1所示的分辨率转换单元120和LCD控制器171。

显示单元285显示从显示控制单元280提供的图像。在显示单元285上显示各种菜单屏幕或各种图像。此外，显示单元285对应于图1所示的LCD172。

记录控制单元290基于控制单元230的控制执行用于记录通过合成单元270生成的多视点图像的控制。也就是说，记录控制单元290在指示多视点图像的代表图像和多视点图像的顺序关系(例如，视点号)的代表图像信息与生成的多视点图像相关联的状态下，将多视点图像记录在记录介质上作为MP文件。此外，记录控制单元290对应于图1所示的图像压缩/解压单元130和可移除介质控制器191。

内容存储单元300将通过合成单元270生成的多视点图像存储为图像文件(图像内容)。内容存储单元300对应于图1所示的可移除介质192。

代表图像的显示示例

图12A到12C是示出在根据本发明的第一实施例的显示单元285上显示的代表图像的显示示例的图。图12A到12C示出生成7视点的多视点图像并且相互关联地将图像记录在内容存储单元300的示例。在图12A到12C中，在7视点的多视点图像中，从左视点(视点1)到右视点(视点7)以升序向被摄体分配视点号，并且在指示图像的矩形中描述视点号。在图12A到12C中，示出设置7视点的多视点图像中的中心图像(视点4的多视点图像)作为代表图像的示例。例如，可以使用邻近或接近中心图像的图像作为代表图像。

图12A示出作为要在内容存储单元300中记录的对象的多视点图像的示例。在图12A中，通过视点号按顺序排列图像。

在图12B中，在完成用于生成图12A所示的视点1到7的多视点图像的成像动作之后，以其生成顺序排列通过合成处理生成的视点1到7的多视点图像。也就是说，最初在显示单元285上显示的代表图像(视点4的多视点图像)变为最初要合成的对象。在完成代表图像(视点4的多视点图像)的合成处理之后，针对于其它多视点图像执行合成处理。例如，以视点号的顺序执行合成处理(以视点1到3和5到7的顺序)。

图12C示出在图12B所示的合成处理期间、显示代表图像作为最初在显示单元285上显示的图像的示例。通过最初显示代表图像，可能迅速和容易地确认多视点图像的代表图像。

在上面的描述中，描述了如果记录3视点或更多视点的多视点图像，则仅回看显示代表图像的示例。然而，可以根据用户的体验顺序显示不同于代表图像的多视点图像。下文中，将描述顺序回看显示不同于代表图像的多视点图像的示例。

图13A到16C是示出在根据本发明的第一实施例的显示单元285上显示的多视点图像的显示转换示例的图。在图13A到16C中，类似于图12A到12C所示的示例，如果相互关联地在内容存储单元300中记录7视点的多视点图像，则示出设置中心图像(视点4的多视点图像)作为代表图像的示例。在图13A到16C中，类似于图12A到12C所示的示例，在7视点的多视点图像中，从左视点(视点1)到右视点(视点7)以升序向被摄体分配视点号，并且在指示图像的矩形中描述视点号。

在图13A、14A、15A和16A中，示出作为要在内容存储单元300中记录的对象的多视点图像的示例。图13A、14A、15A和16A等价于图12A所示的示例。

在图13B和14B中，在完成用于生成图12A所示的视点1到7的多视点图像的成像动作之后，以其生成顺序排列通过合成处理生成的视点1到7的多视点图像。图13B和14B等价于图12B所示的示例。

图13C示出在图13B所示的合成处理期间在显示单元285上显示的多视点图像的显示转换示例。也就是说，图13C示出在完成用于生成多视点图像的成像动作之后、以其生成顺序顺序地回看显示通过合成处理生成的多视点图像的示例。

图14C示出在图14B所示的合成处理期间在显示单元285上显示的多视点图像的显示转换示例。也就是说，图14C示出了这样的示例，在完成用于生成多视点图像的成像动作之后，从代表图像起通过视点号以降序顺序地回看显示通过合成处理生成的多视点图像，并且在上面的显示之后通过视点号以升序顺序地回看显示多视点图像。

可以最初回看显示代表图像，并且可以在代表图像的显示之后根据预定规则顺序地回看显示通过合成处理生成的多视点图像。因此，可能最初并且迅速地确认多视点图像的代表图像，并且容易地在确认之后确认其它多视点图像。

例如，如果在用于选择希望的多视点图像的选择屏幕上再现多视点图像，则可以列表显示多视点图像的代表图像。紧接在通过成像单元240的成像处理完成之后，回看显示多视点图像的代表图像。例如，紧接在通过成像单元240的成像处理完成之后，最初回看显示代表图像。为此，在回看显示期间，可能容易地确认与再现期间代表图像列表显示相同的图像。因此，可能减少再现期间的不适感。

通过紧接在通过成像单元240的成像处理完成之后最初合成并且回看显示多视点图像的代表图像，不需要用户等待从左视点图像合成代表图像所花费的时间。为此，可以使用户确认作为要记录的对象的多视点图像的定时加速。因此，可能解决在确认作为要记录的对象的多视点图像之后拍摄取消定时延迟的问题。可以根据用户的体验改变多视点图像的显示顺序。下文中，将描述其显示转换示例。

在图15B和16B中，在完成用于生成图12A所示的视点1到7的多视点图像的成像动作之后，以其生成顺序排列通过合成处理生成的视点1到7的多视点图像。在该示例中，示出了从左视点(视点1)到右视点(视点7)以升序向被摄体执行多视点图像的合成处理的示例。

图15C示出在图15B所示的合成处理期间在显示单元285上显示的多视点图像的显示转换示例。也就是说，图15C示出在完成用于生成多视点图像的成像动作之后、以其生成顺序顺序地回看显示通过合成处理生成的多视点图像的示例。

图16C示出在图16B所示的合成处理期间在显示单元285上显示的多视点图像的显示转换示例。也就是说，图16C示出通过视点号以升序顺序地回看显示多视点图像、然后通过视点号以升序顺序地回看显示多视点图像的示例。也就是说，在图16C所示的示例中，重复执行用于通过视点号以升序顺序地回看显示多视点图像的显示操作，直到完成将生成的多视点图像记录在内容存储单元300中的处理。尽管在图15A和16C所示的示例中示出通过视点号以升序顺序地回看显示多视点图像的示例，但是可以通过视点号以降序顺序地回看显示多视点图像。

可以通过视点号以升序执行多视点图像的合成处理，并且可以顺序地回看显示通过该合成处理生成的多视点图像。因此，可能连同多视点图像的代表图像一起，通过多视点图像的视点号以升序或降序容易地确认其它多视点图像。通过由视点号以升序或降序执行回看显示，可能容易地根据多视点图像的再现顺序确认多视点图像。

尽管在图15A到16C中通过视点号以升序或降序执行回看显示，但是当完成多视点图像的合成处理时，优选地回看显示代表图像。也就是说，优选地将最后回看显示的图像设为代表图像。

多视点图像的合成处理的进度情况通知示例

图17A到17C是示出在根据本发明的第一实施例的显示单元285上显示的多视点图像的合成处理的进度情况通知信息的图。在图17A到17C中，示出了将进度条显示为多视点图像的合成处理的进度情况通知信息(进度信息)的示例。该进度条使用条图形指示多视点图像的合成处理已经进展到什么程度。在图17A到17C所示的示例中，示出生成7视点图像作为多视点图像的示例。

图17A示意性示出当显示进度条500时的显示方法。例如，在执行多视点图像的合成处理的同时，在显示单元285上显示其中提供进度条500的进度情况通知屏幕(例如，图19A到19D所示的进度情况通知屏幕520)。进度条500具有水平长度L1。

如果生成7视点图像作为多视点图像，则显示控制单元280计算通过将进度条500的水平长度除以7所获得的值，并且通过计算的值在进度条500中设置7个矩形区域。也就是说，计算长度L11(＝L12到L17)作为通过将进度条500的水平长度除以7所获得的值，并且设置对应于长度L11到L17的7个矩形区域。这些矩形区域变为当完成一个多视点图像的合成处理时用于顺序改变显示状态的单元。

图17B示出多视点图像的合成处理的转换。在图17B中，垂直轴是时间轴，并且沿着时间轴示意性地排列合成的多视点图像。在图17C中，示出根据图17B所示的合成处理改变的进度条500的显示转换。在图17B和17C所示的示例中，根据图17B所示的多视点图像的合成处理的转换和根据图17C所示的合成处理改变的进度条500的显示转换，水平安排对应关系。

例如，紧接在完成多视点图像的成像动作之后，在显示单元285上显示进度情况通知屏幕(例如，图19A到19D所示的进度情况通知屏幕520)。紧接在显示进度情况通知屏幕之后，通过单色(例如，白色)显示进度条500。随后，多视点图像的合成处理开始，并且当完成一个多视点图像的合成处理时，如图17C所示，显示控制单元280改变左端的矩形区域(对应于长度L11的矩形区域)的显示状态(例如，改变为灰色)。

如图17C所示，只要完成多视点图像的合成处理，显示控制单元280就通过合成的多视点图像的数目从左端顺序地改变矩形区域(对应于长度L12到L16的矩形区域)的显示状态。如果完成多视点图像的所有合成处理，则改变每个矩形区域(也就是说，整个进度条500)的显示状态。

只要完成多视点图像的合成处理，就改变进度条500的显示状态，并且指示多视点图像的合成处理的进度情况，使得用户可以容易地识别合成处理的情况。

在该示例中，描述了只要完成多视点图像的合成处理就改变进度条500的显示状态的示例。例如，如果作为要合成的对象的多视点图像的数目大，则多个多视点图像可以设为一个单元，并且只要完成各多视点图像的合成处理就可以改变进度条500的显示状态。例如，如果5个多视点图像设为一个单元，则只要完成第五个多视点图像的合成处理就改变进度条500的显示状态。因此，可能避免频繁更新进度条500的显示状态，并且使得用户能够容易地查看进度条。

2视点图像的合成处理的进度情况通知屏幕的显示示例

图18A和18B是示出在根据本发明的第一实施例的显示单元285上显示的进度情况通知屏幕的显示转换示例的图。在图18中，示出了在将2视点图像记录为多视点图像的情况下进度情况通知屏幕的示例。

图18A示出紧接在完成2视点图像的成像动作之后在显示单元285上显示的进度情况通知屏幕510。在进度情况通知屏幕510上，显示2视点图像的代表图像(例如，左视点图像)513，并且显示处理期间消息511，以便重叠在代表图像513上。在图18A和18B所示的代表图像513中，附加代表图像(左视图图像)的字符，并且在相应的矩形中简要示出。即使在图19A到21D所示的显示图像中，类似地，也附加指示每个图像的字符，并且在与其相应的矩形中示意性示出。

处理期间消息511是指示正在执行2视图图像的合成处理的字符。此外，在进度情况通知屏幕510中，仅显示处理期间消息511，直到完成2视图图像的代表图像的合成处理。

图18B示出紧接在完成2视点图像的记录处理之后在显示单元285上显示的进度情况通知屏幕510。在进度情况通知屏幕510上，显示2视点图像的代表图像(例如，左视点图像)513，并且显示处理结束消息512，以便重叠在代表图像513上。处理结束消息512是指示完成2视点图像的记录处理的字符。

如果如上所述执行2视点图像的记录处理，则因为要合成的图像的数目小，所以可以相对快速地完成合成处理。为此，在执行2视点图像的记录处理的情况下显示的进度情况通知屏幕上，可以不显示通知进度情况的进度条。此外，可以根据用户的体验显示进度条。

多视点图像(3视点或更多视点)的合成处理的进度情况通知屏幕的显示示例

图19A到19D是示出在根据本发明的第一实施例的显示单元285上显示的进度情况通知屏幕的显示转换示例的图。在图19中，示出记录3视点或更多视点图像的情况下进度情况通知屏幕的示例。

图19A示出紧接在完成多视点图像的成像动作之后在显示单元285上显示的进度情况通知屏幕520。在进度情况通知屏幕520上，显示多视点图像的代表图像524，并且显示进度条521和处理期间消息522，以便重叠在代表图像524上。进度条521等价于图17A到17C所示的进度条500。处理期间消息522是指示正在执行多视图图像的合成处理的字符。在进度情况通知屏幕520中，仅显示进度条521和处理期间消息522，直到完成多视图图像的代表图像的合成处理。

图19B和19C示出在执行多视点图像的合成处理的同时在显示单元285上显示的进度情况通知屏幕520。在进度情况通知屏幕520上，类似于图19A，显示代表图像524、进度条521和处理期间消息522。根据合成的多视点图像的数目改变进度条521的显示状态，如图17C所示。图19C示出紧接在完成所有的多视点图像的合成处理之后在显示单元285上显示的进度情况通知屏幕520。

图19D示出紧接在完成多视点图像的记录处理之后在显示单元285上显示的进度情况通知屏幕520。在进度情况通知屏幕520上，显示多视点图像的代表图像524，并且显示处理结束消息523，以便重叠在代表图像524上。处理结束消息523是指示完成多视点图像的记录处理的字符。

在上面的描述中，描述了在执行多视点图像的合成处理的同时显示多视点图像的代表图像和进度条的示例。如图13A到16C所示，在执行多视点图像的合成处理的同时，可以顺序地显示不同于多视点图像的代表图像的图像。除了进度条之外，可以通过另一显示模式显示多视点图像的合成处理的进度情况通知信息。下文中，将描述其显示示例。

图20A到20D是示出在根据本发明的第一实施例的显示单元285上显示的进度情况通知屏幕的显示转换示例的图。图20A到20D示出在记录3视点或更多视点图像的情况下进度情况通知屏幕的示例。图20A到20D所示的示例是图19A到19D的修改示例，并且通过相同的参考标号表示与图19A到19D公共的部分，并且部分省略其描述。

图20A示出紧接在完成多视点图像的成像动作之后在显示单元285上显示的进度情况通知屏幕530。在进度情况通知屏幕530上，类似于图20A，显示代表图像531、进度条521和处理期间消息522。

图20B和20C示出在执行多视点图像的合成处理的同时在显示单元285上显示的进度情况通知屏幕530。在进度情况通知屏幕530上，类似于图19B和19C，显示进度条521和处理期间消息522。然而，图20B和20C与图19B和19C不同在于显示合成的多视点图像532和533作为背景。合成的多视点图像532和533是不同于多视点图像的代表图像的多视点图像，并且可以例如以图13或14所示的顺序显示。

图20D示出紧接在完成多视点图像的记录处理之后在显示单元285上显示的进度情况通知屏幕530。在进度情况通知屏幕530上，类似于图19D，显示代表图像531和处理结束消息523。以此方式，优选地紧接在完成多视点图像的记录处理之后显示代表图像。

图21A到21D是示出在根据本发明的第一实施例的显示单元285上显示的进度情况通知屏幕的显示转换示例的图。图21A到21D示出在记录3视点或更多视点图像的情况下进度情况通知屏幕的示例。图21A到21D所示的示例是图19A到19D的修改示例，并且通过相同的参考标号表示与图19A到19D公共的部分，并且部分省略其描述。

图21A示出紧接在完成多视点图像的成像动作之后在显示单元285上显示的进度情况通知屏幕540。在进度情况通知屏幕540上，类似于图19A，显示代表图像524、进度条521和处理期间消息522。然而，图21A不同于图19A在于显示其它进度情况通知信息(进度情况通知信息541)，以便重叠在代表图像524上。进度情况通知信息541是指示多视点图像的合成处理的进度情况的信息，并且使用数值指示多视点图像的合成处理已经进展到什么程度。在图21所示的示例中，使用分数表示指示进度情况的进度情况通知信息541，在分数中作为要合成的对象的多视点图像的总数设为分母，并且合成的多视点图像的数目设为分子。

因为紧接在多视点图像的成像动作完成之后显示图21A所示的进度情况通知屏幕540，所以没有完成多视点图像的合成处理。为此，显示“进度水平(0/7)”作为进度情况通知信息541。

图21B和21C示出在执行多视点图像的合成处理的同时在显示单元285上显示的进度情况通知屏幕540。在进度情况通知屏幕540上，类似于图19B和19C，显示进度条521和处理期间消息522。然而，图21B和21C不同于图19B和19C在于显示进度情况通知信息541。在执行多视点图像的合成处理的同时显示的进度条521和进度情况通知信息541相互对应。

图21D示出紧接在完成多视点图像的记录处理之后在显示单元285上显示的进度情况通知屏幕540。在进度情况通知屏幕540上，类似于图19D，显示代表图像531和处理结束消息523。

以此方式，可以通过在执行多视点图像的合成处理的同时显示进度条521和进度情况通知信息541更容易地识别进度情况。尽管在该示例中描述了同时显示进度条521和进度情况通知信息541的示例，但是可以仅显示进度情况通知信息541。可以显示指示多视点图像的合成处理已经进展到什么程度的其它进度情况通知信息(多视点图像的合成处理的进度情况通知信息)。例如，作为其它进度情况通知信息，比率可以是数值(％)或圆形图形。

尽管在图21中描述了设置作为要合成的对象的多视点图像的总数为分母的示例，但是如果分母大则可以执行减小并且可以通过使用稀释(thinning)之后的数值作为分母来显示进度情况通知信息。例如，如果分母是100，则可以通过执行稀释将分母表示为10。在此情况下，根据稀释改变分子的值。

成像设备的动作示例

图22是图示通过根据本发明的第一实施例的成像设备100的多视点图像记录处理的过程的示例的流程图。在该过程中，将描述仅回看显示代表图像的示例。

首先，进行关于是否执行多视点图像的记录指令操作的确定(步骤S901)，并且如果没有执行记录指令操作则执行连续监视。如果执行记录指令操作(步骤S901)，则执行捕获图像记录处理(步骤S910)。将参照图23详细描述捕获图像记录处理。步骤S910是权利要求中描述的成像步骤的示例。

随后，执行代表图像决定处理(步骤S920)。将参照图24详细描述代表图像决定处理。随后，执行进度条计算处理(步骤S930)。将参照图25详细描述进度条计算处理。

随后，进行关于是否在显示单元285上显示多视点图像的确定(步骤S902)，并且如果在显示单元285上显示多视点图像，则执行视点j图像生成处理(步骤S950)。将参照图27详细描述视点j图像生成处理。相反，如果不在显示单元285上显示多视点图像(步骤S902)，则执行代表图像生成处理(步骤S940)。将参照图26详细描述代表图像生成处理。步骤S940和S950是在权利要求中描述的合成处理的示例。

随后，显示控制单元280将通过合成单元270生成的代表图像的分辨率转换为用于显示的分辨率(步骤S903)，并且在显示单元285上用转换的分辨率显示用于显示的代表图像(步骤S904)。

在视点j图像生成处理之后(步骤S950)，记录控制单元290将通过视点j图像生成处理生成的多个多视点图像记录在内容存储单元300中作为MP文件(步骤S905)。

图23是图示通过根据本发明的第一实施例的成像设备100的多视点图像记录处理的过程的捕获图像记录处理(图22所示的步骤S910的过程)的示例的流程图。

首先，成像单元240生成捕获图像(步骤S911)并且将生成的捕获图像顺序记录在捕获图像保持单元250中(步骤S912)。随后，进行关于是否执行成像动作结束指令操作的确定(步骤S913)，并且如果执行成像动作结束指令操作，则完成捕获图像记录处理的动作。如果不执行成像动作结束指令操作(步骤S913)，则处理返回步骤S911。

图24是图示通过根据本发明的第一实施例的成像设备100的多视点图像记录处理的过程的代表图像决定处理(图22所示的步骤S920的过程)的示例的流程图。

首先，获取通过用户操作设置的拍摄模式(步骤S921)。进行关于是否设置2视点图像成像模式的确定(步骤S922)，并且如果设置2视点图像拍摄模式，则控制单元230决定左视点图像作为代表图像(步骤S923)。

相反，如果不设置2视点图像拍摄模式(也就是说，设置3视点或更多视点的多视点图像拍摄模式)(步骤S922)，则控制单元230获取设置的多视点图像拍摄模式的视点的数目(步骤S924)。随后，进行关于获取的视点的数目是否是奇数的确定(步骤S925)，并且如果获取的视点的数目是奇数，则控制单元230决定中心图像作为代表图像(步骤S926)。

相反，如果获取的视点的数目是偶数(步骤S925)，则控制单元230决定中心附近的两个图像中的左图像为代表图像(步骤S927)。

图25是图示通过根据本发明的第一实施例的成像设备100的多视点图像记录处理的过程的进度条计算处理(图22所示的步骤S930的过程)的示例的流程图。

首先，控制单元230获取设置的多视点图像拍摄模式的视点的数目(步骤S931)，并且获取每个视点的记录时间(步骤S932)。随后，控制单元230基于获取的视点的数目和每一个视点的记录时间计算视点的总数的记录时间(步骤S933)。

随后，进行关于计算的视点的总数的记录时间是否等于或大于预定值的确定(步骤S934)。如果计算的视点的总数的记录时间等于或大于预定值(步骤S934)，则控制单元230基于获取的视点的总数计算进度条的显示区域(步骤S935)。在此情况下，例如，如果作为要合成的对象的多视点图像的数目大，则将多个多视点图像设为一个单元，并且只要完成对应于每个单元的每个多视点图像的合成处理，就将进度条的显示状态设为要改变。随后，显示控制单元280在显示单元285上显示进度条(步骤S936)。步骤S936是权利要求的控制步骤的示例。

如果计算的视点的总数的记录时间小于预定值(步骤S934)，则控制单元230决定不显示进度条(步骤S937)。在此情况下，不在显示单元285上显示进度条。

图26是图示通过根据本发明的第一实施例的成像设备100的多视点图像记录处理的过程的代表图像生成处理(图22所示的步骤S940的过程)的示例的流程图。

首先，合成单元270基于从控制单元230输出的分析结果，计算捕获图像保持单元250中保持的捕获图像的提取区域(条形区域)的位置和大小(步骤S941)。随后，合成单元270基于计算的提取区域的位置和大小从捕获图像保持单元250中保持的捕获图像获取条形图像(步骤S942)。

随后，合成单元270合成从捕获图像获取的条形图像，并且生成代表图像(步骤S943)。在此情况下，合成单元270基于从移动量检测单元260输出的移动量和移动方向合成获取的图像以便重叠，并且生成代表图像。

随后，合成单元270将生成的代表图像的分辨率转换为用于记录的分辨率(步骤S944)，并且获取合成的代表图像的视点数(步骤S945)。随后，进行对于是否需要更新进度条的确定(步骤S946)。例如，如果使用多个多视点图像作为一个单元的进度条的显示状态设为要改变，则确定不需要更新进度条，直到完成对应于每个单元的每个多视点图像的合成处理。如果需要更新进度条(步骤S946)，则显示控制单元280改变进度条的显示状态(步骤S947)，并且完成代表图像生成处理的动作。如果不需要更新进度条(步骤S946)，则完成代表图像生成处理的动作。

图27是图示通过根据本发明的第一实施例的成像设备100的多视点图像记录处理的过程的视点j图像生成处理(图22所示的步骤S950的过程)的示例的流程图。

首先，j＝1(步骤S951)。随后，合成单元270使用在步骤S941计算的提取区域(条形区域)的大小计算条形位置偏移量β(步骤S952)。随后，合成单元270使用计算的条形位置偏移量β计算视点j的偏移量(例如，等式5所示的MQj)(步骤S953)。

随后，合成单元270基于计算的视点j的偏移量和提取区域的位置和大小从捕获图像保持单元250中保持的每个捕获图像获取条形图像(步骤S954)。

随后，合成单元270合成从每个捕获图像获取的条形图像，并且生成视点j图像(多视点图像)(步骤S955)。此时，合成单元270基于从移动量检测单元260输出的移动量和移动方向合成获取的图像以便重叠，以便生成视点j图像。

随后，合成单元270将生成的视点j图像的分辨率转换为用于记录的分辨率(步骤S956)，并且获取合成的视点j图像的视点号(步骤S957)。随后，进行关于是否需要更新进度条的确定(步骤S958)，并且如果需要更新进度条，则显示控制单元280改变进度条的显示状态(步骤S959)。相反，如果不需要更新进度条(步骤S958)，则处理进到步骤S960。

随后，记录控制单元290用转换的分辨率编码视点j图像(步骤S960)，并且将编码的视点j图像记录在MP文件中(步骤S961)。随后，进行关于视点j是否是最后视点的确定(步骤S962)，并且如果视点j是最后视点，则执行视点j图像生成处理的动作。相反，如果视点j不是最后视点(步骤S962)，则增加j(步骤S963)并且进行关于视点j图像是否是代表图像的确定(步骤S964)。如果视点j图像是代表图像(步骤S964)，则处理返回到步骤S960，并且如果视点j图像不是代表图像，则处理返回步骤S953。

2.第二实施例

在本发明的第一实施例中，描述了基于预定规则显示通过一系列成像动作生成的多个图像的示例。在完成多视点图像拍摄模式的多视点图像的成像动作之后确认通过成像动作生成的多视点图像的情况下，用户可能希望显示特定视点的多视点图像。因此，在本发明的第二实施例中，将描述在完成多视点图像的成像动作之后，根据成像设备的姿态改变和显示作为要显示的对象的图像的示例。本发明的第二实施例的成像设备的配置基本等价于图1和11所示的示例的配置，除了替代LCD 172提供输入/输出面板710。因此，与本发明的第一实施例公共的部分通过相同的参考标号表示，并且将部分省略其描述。

成像设备的外观配置及其使用示例

图28A和28B是示出根据本发明的第二实施例的成像设备700的外观配置示例的示例和当使用该成像设备时它的姿态的示例的图。成像设备700包括输入/输出面板710。

输入/输出面板710显示各种图像，并且检测输入/输出面板710的触摸动作，以便接收来自用户的操作输入。也就是说，输入/输出面板710包括触摸面板。例如，提供触摸面板以便重叠在显示面板上，用于通过显示面板的屏幕传输，并且检测触摸显示面板的对象，以便接收来自用户的操作输入。

成像设备700包括其它操作部件，如电源开关或模式开关、镜头单元等，为了描述的方便它们没有描述和示出。光学单元112部分安装在成像设备700中。

图28A示出在使用成像设备700执行多视点图像的回看显示的情况下成像设备700的姿态的示例。例如，人物800可以在完成多视点图像的成像动作之后使用成像设备700执行多视点图像的显示的情况下，在双手手持成像设备700的状态下观看在输入/输出面板710上的图像显示。

图28B示出改变成像设备700的姿态的情况的转换示例。图28B简要示出在从上表面观看图28A所示状态的情况的示例。

现在，将描述成像设备700的姿态的改变。例如，在用户双手手持成像设备700的状态下，围绕正交的3个轴的旋转角(也就是说，侧滑角、俯仰角和倾侧角)可以改变。例如，在图28B所示的成像设备700的状态下，可以使用在垂直方向作为轴的由箭头701表示的方向上改变成像设备700的姿态(侧滑角的改变)。例如，在图28B所示的成像设备700的状态下，可以在使用水平方向作为轴的旋转方向上改变成像设备700的姿态(俯仰角的改变)。例如，在图28B所示的成像设备700的状态下，可以在使用人物800的前后方向作为轴的旋转箭头方向上改变成像设备700的姿态(倾侧角的改变)。

在本发明的第二实施例中，如图28B所示，将描述通过改变成像设备700的姿态顺序改变在输入/输出面板710上回看显示的图像的示例。也就是说，将描述通过用户的姿势操作顺序改变通过输入/输出面板710回看显示的图像的示例。

与旋转角的关联示例

图29A和29B是示出使用根据本发明的第二实施例的成像设备700生成的多个多视点图像和当回看显示图像时成像设备700的倾斜角度之间关系的示意图。在该示例中，将描述生成5视点的多视点图像的情况。

图29A简要示出使用成像设备700生成的多个多视点图像(视点1到视点5)。

图29B示出在完成图29A所示的多个多视点图像(视点1到视点5)的成像动作之后、回看显示多视点图像的情况下成像设备700的转换示例。图29B示出成像设备700的底部(也就是说，与在其上提供快门按钮183的表面相对的表面)侧的外观。

图29B示意性示出对应于成像设备700的转换的成像设备700的操作范围(旋转角的整个范围(角度V))。此外，角度V优选地是用户可以观看显示屏幕的角度，并且例如可以是180度。

图29B示出在由图28B所示的箭头701表示的方向上旋转成像设备700以便改变其姿态并且改变多视点图像的显示状态的示例。在此情况下，当改变多视点图像的显示状态时作为参考基准的倾斜角(基准角)设为γ。可以根据多视点图像的数目适当地设置倾斜角γ，或者可以根据用户的体验通过用户操作设置倾斜角γ。例如，倾斜角γ可以设为45度。

通过箭头将图29A所示的多视点图像(视点1到5)与图29B所示的成像设备700(以倾斜角γ为单位倾斜的状态731到735的成像设备700)相关联。在以倾斜角γ为单位倾斜的状态中适当地分配生成的多视点图像(视点1到5)。将参照图30详细描述用于倾斜成像设备700以便改变多视点图像的显示状态的操作。

图30A和30B是示出在根据本发明的第二实施例的输入/输出面板710上显示的图像的显示转换示例的图。图30A示出紧接在完成图29A所示的多视点图像(视点1到5)的成像动作之后输入/输出面板710的显示示例。例如，如在本发明的第一实施例中所述，紧接在完成多视点图像(视点1到5)的成像动作之后，在输入/输出面板710上显示视点3的多视点图像作为代表图像。

在图30A所示的显示屏幕上，显示视点3的多视点图像，并且显示确认按钮751、重新拍摄按钮752、操作辅助信息753和754、以及消息755，用于重叠在多视点图像上。通过将与其对应的字符附加在括号中简要示出在图30A和30B所示的显示屏幕上显示的多视点图像。

当最新将在输入/输出面板710上显示的多视点图像(代表图像候选)决定为代表图像时，按压确认按钮751。也就是说，如果按压确认按钮751，则将按压操作时在输入/输出面板710上显示的多视点图像决定为新代表图像。记录控制单元290将指示决定的新代表图像的代表图像信息和多视点图像的顺序关系(例如，视点号)与生成的多视点图像相关联，并且将多视点图像记录在记录介质上作为MP文件。

例如，当再次执行多视点图像的成像动作时，按压重新拍摄按钮752。也就是说，在确认在输入/输出面板710上显示的多视点图像之后，如果用户确定需要再次拍摄多视点图像，则可能通过按压重新拍摄按钮752迅速再次拍摄多视点图像。

操作辅助信息753和754是用于辅助改变在输入/输出面板710上显示的多视点图像的操作的操作指南。消息755是用于辅助操作和代表图像的决定操作的操作指南。

图30B示出在人物800将成像设备700从图30A所示的状态向右侧倾斜γ度或更多的情况下输入/输出面板710的显示示例。

例如，如图30A所示，在输入/输出面板710上回看显示视点3的多视点图像的状态下，人物800可能希望显示另一多视点图像。例如，如果在输入/输出面板710上回看显示视点3的多视点图像的状态下、人物800将成像设备700向右侧倾斜γ度或更多，如图30B所示，则在输入/输出面板710上回看显示视点4的多视点图像。例如，如果在输入/输出面板710上回看显示视点4的多视点图像的状态下人物800将成像设备700向右侧倾斜γ度或更多，则在输入/输出面板710上回看显示视点5的多视点图像。

此外，例如，如果在输入/输出面板710上回看显示视点3的多视点图像的状态下、人物800将成像设备700向左侧倾斜γ度或更多，则在输入/输出面板710上回看显示视点2的多视点图像。此外，例如，如果在输入/输出面板710上回看显示视点2的多视点图像的状态下、人物800将成像设备700向左侧倾斜γ度或更多，则在输入/输出面板710上回看显示视点1的多视点图像。以此方式，通过用于倾斜成像设备700的操作，可以在输入/输出面板710上回看显示不同于代表图像的多视点图像作为代表图像候选。

如果在通过用于倾斜成像设备700的操作在输入/输出面板710上回看显示代表图像候选的状态下按压确认按钮751，则将代表图像候选决定为新代表图像。例如，如果在通过用于倾斜成像设备700的操作在输入/输出面板710上回看显示视点2的多视点图像的状态下按压确认按钮751，则将视点2的多视点图像决定为新代表图像替代视点3的多视点图像。

例如，如果在输入/输出面板710上回看显示视点3的多视点图像的状态下，人物800在任一方向将成像设备700倾斜γ度或更多，则回看显示另一多视点图像。在此情况下，合成单元270可能没有完成作为要显示的对象的多视点图像的合成处理。因此，在通过用于倾斜成像设备700的操作改变作为要显示的对象的图像的情况下，如果没有完成作为要显示的对象的多视点图像的合成处理，则优选地执行作为要显示的对象的多视点图像而不是其它多视点图像的合成处理。也就是说，在没有执行通过用于倾斜成像设备700的操作的作为要显示的对象的图像的改变情况下，以与本发明的第一实施例相同的顺序顺序地执行合成处理。相反，在执行通过用于倾斜成像设备700的操作改变作为要显示的对象的图像，并且没有完成作为要显示的对象的多视点图像的合成处理的情况下，合成单元270优选地执行作为要显示的对象的多视点图像的合成处理。

因此，可能根据成像设备700的倾斜容易和迅速地回看显示用户希望的多视点图像。为此，在用户确认多视点图像的情况下，可能容易地执行确认。通过按压确认按压751，可能决定希望的多视点图像作为代表图像。

在图30A和30B所示的示例中，尽管示出了其中省略进度条的显示示例，但是可以与多视点图像一起显示进度条。在图31A和31B中示出与多视点图像一起显示进度条的示例。

图31A和31B是示出在根据本发明的第二实施例的输入/输出面板710上显示的图像的显示转换示例的图。图31A和31B输出其中在图30A和30B所示的每个屏幕上提供进度条756的示例，图31A和31B与图30A和30B所示的示例相同，除了提供另一进度条756。进度条756的显示状态的改变等与本发明的第一实施例的显示状态的改变等相同。

也就是说，当在输入/输出面板710上显示代表图像作为基准时，姿态检测单元220基于成像设备700的姿态检测成像设备700的姿态的改变。在输入/输出面板710上显示代表图像之后，控制单元230基于检测到的姿态的改变和预定规则执行用于在输入/输出面板710上顺序显示多视点图像(代表图像候选)的控制。例如，预定规则指示图29A中所示的多视点图像(视点1到5)和图29B中所示的状态731到735(以倾斜角γ为单元倾斜的状态731到735)之间的关联。

在本发明的第二实施例中，尽管描述了最初在输入/输出面板710上显示代表图像的示例，但是可以紧接在完成通过成像单元240生成多个捕获图像的处理之后，基于姿态的改变决定最初显示的多视点图像。也就是说，姿态检测单元220基于紧接在完成通过成像单元240生成多个捕获图像的处理之后成像设备700的姿态作为基准，检测成像设备700的姿态的改变。控制单元230可以根据检测到的输入/输出面板710上姿态的改变显示对应于顺序(视点)的多视点图像作为最初显示的代表图像。在此情况下，如果没有完成作为要显示的对象的多视点图像的合成处理，则合成单元270优选地执行作为要显示的对象的多视点图像的合成处理。

在本发明的第二实施例中，尽管描述了使用用于倾斜成像设备700的操作方法作为用于显示代表图像候选的操作方法的示例，但是可以使用如按钮的操作部件显示代表图像候选。

在本发明的第二实施例中，描述了通过用户操作显示代表图像候选并且决定代表图像的示例。如在本发明的第一实施例中所述，如果自动和顺序显示多视点图像，则可以通过用户操作从显示的多视点图像决定代表图像。在此情况下，例如，如果显示希望的多视点图像，则可以通过使用如确认按钮的操作部件的决定操作决定代表图像。

成像设备的操作示例

图32和33是图示通过根据本发明的第二实施例的成像设备700的多视点图像记录处理的过程的示例的流程图。该过程是图27(图22所示的步骤S950的过程)的修改示例。为此，与图27所示过程相同的部分由相同的参考标号表示，并且将省略公共部分的描述。在该过程中，描述了从自动和顺序显示的多视点图像通过用户操作决定代表图像的示例。

在将编码的视点j图像记录在MP文件之后(步骤S961)，显示控制单元280将由合成单元270生成的视点j图像的分辨率转换为用于显示的分辨率(步骤S971)。随后，显示控制单元280在显示单元285上用转换的分辨率显示用于显示的视点j图像(步骤S972)。

随后，进行关于是否执行代表图像的决定操作的确定(步骤S973)，并且如果执行代表图像的决定操作，则控制单元230决定在显示单元285显示的视点j图像为新代表图像(步骤S974)。相反，如果不执行代表图像的决定操作(步骤S973)，则处理进度步骤S962。

图34和35是图示通过根据本发明的第二实施例的成像设备700的多视点图像记录处理的过程的示例的流程图。该过程是图32和33(图22所示的步骤S950的过程)的修改示例。为此，与图32和33所示过程相同的部分由相同的参考标号表示，并且将省略公共部分的描述。在该过程中，描述通过用户操作显示代表图像候选和决定代表图像的示例。

在计算条形位置偏移量β之后(步骤S952)，进行关于成像设备700的姿态是否改变预定水平或更大的确定(步骤S981)，并且如果成像设备700的姿态没有改变预定水平或更大，则处理进到步骤S985。相反，如果成像设备700的姿态改变预定水平或更大(步骤S981)，则设置对应于改变的视点j(步骤S982)。随后，进行关于是否完成视点j的多视点图像的合成处理的确定(步骤S983)，并且如果完成视点j的多视点图像的合成处理，则进行是否完成视点j的多视点图像的记录处理的确定(步骤S984)。这里，完成视点j的多视点图像的合成处理的情况对应于例如针对于通过条形图像的合成生成的视点j图像(多视点图像)(例如，图9所示的视点j图像(最终图像)420)执行用于记录的分辨率的转换的情况。此外，完成视点j的多视点图像的记录处理的情况对应于例如将编码的视点j图像(多视点图像)记录在MP文件中的情况(例如，在记录在图9所示的MP文件中的情况)。

如果没有完成视点j的多视点图像的合成处理(步骤S983)，则处理进到步骤S953。如果完成视点j的多视点图像的记录处理(步骤S984)，则进程里进到步骤S971，并且如果没有完成视点j的多视点图像的记录处理，则处理进到步骤S985。

在步骤S985中，确定关于是否完成视点(j-1)图像的记录处理的确定，并且如果完成视点(j-1)图像的记录处理，则处理进到步骤S960。相反，如果没有完成视点(j-1)图像的记录处理(步骤S985)，则处理进到步骤S971。

如果成像设备700的姿态没有改变预定水平或更大(步骤S981)，则j＝0(步骤S986)并且增加j(步骤S987)。随后，确定关于是否完成视点j的多视点图像的合成处理的确定(步骤S988)，并且如果完成视点j的多视点图像的合成处理，则进行关于是否完成视点j的多视点图像的记录处理的确定(步骤S989)。如果完成视点j的多视点图像的记录处理(步骤S989)，则处理返回到步骤S987，并且如果没有完成视点j的多视点图像的记录处理，则处理返回到步骤S985。如果没有完成视点j的多视点图像的合成处理(步骤S988)，则处理返回步骤S953。

如果完成所有多视点图像的记录处理(步骤S990)，则完成视点j图像生成处理的动作。相反，如果没有完成所有多视点图像的记录处理(步骤S990)，则处理返回步骤S981。

在本发明的实施例中，描述了在使用多个时间序列的连续捕获图像生成多视点图像的情况下回看显示的显示示例。在使用多个时间序列的连续捕获图像生成连续图像的情况下，本发明的实施例可应用于对于连续图像执行回看显示的情况。例如，如果设置连续模式，则生成单元240以时间序列生成多个(例如，15)连续捕获图像。记录控制单元290基于预定规则将顺序关系分配到多个生成的捕获图像的至少部分(或者全部)，并且将捕获图像相互关联地记录在内容存储单元300中。也就是说，根据生成顺序的顺序关系分配到以时间序列的多个连续捕获图像，并且多个捕获图像相互关联地记录为连续图像的图像文件。在此情况下，在完成通过成像单元240生成多个捕获图像的处理之后，控制单元230执行用于在显示单元285上显示作为要记录的多个捕获图像的预定顺序排列的捕获图像(例如，中心图像(第七图像))为代表图像的控制。

本发明的实施例可应用于具有成像功能的移动电话的成像设备或者具有成像功能的移动终端设备。

此外，本发明的实施例是用于实现本发明的示例，并且如在本发明的实施例中所述，本发明的实施例的主题分别对应于权利要求的特定主题。类似地，权利要求的特定主题对应于具有相同名称的本发明的实施例的主题。本发明不限于这些实施例，并且可以进行修改而不背离本发明的范围。

在本发明的实施例中描述的过程可以是具有一系列过程的方法或者用于在计算机上执行一系列过程的程序或者用于存储程序的记录介质。例如，作为记录介质可以使用致密盘(CD)、迷你盘(MD)、数字多功能盘(DVD)、存储卡、蓝光盘(注册商标)等。

本申请包含涉及于2010年4月9日向日本专利局提交的日本优先权专利申请JP 2010-090118中公开的主题，在此通过引用并入其全部内容。

本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

Claims (11)

1.一种成像设备，包括：

成像单元，其捕获被摄体并且以时间序列生成多个连续捕获图像；

合成单元，其使用多个生成的捕获图像的每个的至少一部分执行合成，并且生成具有基于预定规则的顺序关系的多个合成图像；以及

控制单元，在完成通过所述成像单元生成多个捕获图像的处理之后，所述控制单元执行用于将关于通过所述合成单元的合成图像的生成的进度的信息在显示单元上显示为进度信息的控制。

2.如权利要求1所述的成像设备，其中所述合成单元生成多视点图像作为多个合成图像，并且

其中，紧接在完成通过所述成像单元生成多个捕获图像的处理之后，所述控制单元执行用于将所述多视点图像的中心图像或接近所述中心图像的图像作为代表图像与所述进度信息一起显示在显示单元上的控制。

3.如权利要求1所述的成像设备，其中所述控制单元执行用于显示基于通过所述合成单元生成的合成图像的数目比作为要由所述合成单元生成的对象的多个合成图像的总数的控制的进度信息。

4.如权利要求1所述的成像设备，其中所述控制单元执行用于使用条形图将指示已经通过所述合成单元生成合成图像到什么程度的进度条显示为所述进度信息的控制。

5.如权利要求1所述的成像设备，其中所述控制单元紧接在完成通过所述成像单元生成多个捕获图像的处理之后，执行用于在显示单元上显示所述进度信息的控制。

6.如权利要求1所述的成像设备，其中所述控制单元执行用于连同所述进度信息在显示单元上顺序显示生成的合成图像的至少一部分的控制。

7.如权利要求6所述的成像设备，其中所述控制单元执行用于在显示单元上初始显示以生成的合成图像的预定顺序排列的合成图像作为代表图像的控制。

8.如权利要求7所述的成像设备，还包括记录控制单元，其将指示代表图像的代表图像信息和顺序关系与多个生成的合成图像相关联，并且将多个生成的合成图像记录在记录介质上。

9.如权利要求8所述的成像设备，其中所述记录控制单元在所述记录介质上将与代表图像信息和顺序关系相关联的多个生成的合成图像记录为MP文件。

10.一种显示控制方法，包括以下步骤：

捕获被摄体并且以时间序列生成多个连续捕获图像；

使用多个生成的捕获图像的每个的至少一部分执行合成，并且生成具有基于预定规则的顺序关系的多个合成图像；以及

在完成成像步骤中生成多个捕获图像的处理之后，执行用于将关于在合成步骤中合成图像的生成的进度的信息在显示单元上显示为进度信息的控制。

11.一种程序，用于在计算机上执行包括以下步骤的方法：

捕获被摄体并且以时间序列生成多个连续捕获图像；

使用多个生成的捕获图像的每个的至少一部分执行合成，并且生成具有基于预定规则的顺序关系的多个合成图像；以及

在完成成像步骤中生成多个捕获图像的处理之后，执行用于将关于在合成步骤中合成图像的生成的进度的信息在显示单元上显示为进度信息的控制。

Images