CN103856715B - 成像装置和方法 - Google Patents

Abstract

提供一种成像装置和方法。提供一种用于产生全景图像的成像装置和方法。所述成像装置包括：成像单元，被构造为在特定方向上捕捉多个连续帧图像，以产生全景图像；输入单元，被构造为在经由成像单元连续拍摄帧图像期间从用户接收命令；参考图像设置单元，被构造为当从用户接收到命令时，将由成像单元捕捉的帧图像设置为参考图像；图像合成器，被构造为通过将由参考图像设置单元设置的参考图像周围的其它帧图像进行合成来产生全景图像。

Description

成像装置和方法

本申请要求于2012年12月5日提交到日本专利局的第2012-266506号日本专利申请以及2013年11月20日提交到韩国知识产权局的第10-2013-0141638号韩国专利申请的权益，每个申请的全部公开通过引用包含于此。

技术领域

本公开涉及一种用于产生全景图像的成像装置和方法。更具体地讲，本公开涉及一种用于在全景图像内清晰地显示用户期望的对象的成像装置和设备。

背景技术

已开发出提供用于捕捉全景图像的特征的技术先进的相机，其中，捕捉比一般图像更宽的图像。例如，在捕捉全景照片的处理期间，合成在相机沿水平方向或垂直方向缓慢地移动时捕捉的图像，以获得具有在移动方向上比一般图像更宽的宽度的全景图像。已经以各种方式进行了关于全景图像的研究。在拍摄全景图像期间，难以在宽度方向上在全景图像的任意位置内显示用户期望的对象。例如，关于全景图像，为了在图像的中心部分内显示用户期望的对象，有必要在相应对象的横向方向上开始移动相机，使得对象图像进入视场，并且将相机移动得与从相机的移动开始时的程度相同的程度一样多。

因此，已提出了指示用于在全景图像的任意位置内显示期望对象的移动程度的相机。例如，可确定用于显示用户期望的对象的全景图像的位置。当用户开始移动用于捕捉全景图像的相机并从用户期望的对象进入视场的时间点按下按钮时，相机可检测出从执行按钮按下的时间点拍摄对象。相机可考虑用户期望的对象的位置和从开始移动的时间点到按下按钮的时间点捕捉的图像的宽度，来计算移动的剩余程度并在显示单元上向用户显示移动的剩余程度。

然而，虽然对象被显示在全景图像中的用户期望的位置处，但是用户期望的对象不总是被清晰地显示。这是因为在形成全景图像时在相机移动期间捕捉的多个帧图像被合成。不用说，由于多个帧图像被合成以形成用户期望的对象的图像，因此由于帧图像之间的连接而产生的失真也被反映在用户期望的对象的图像上。因此，即使用户期望的对象在期望的位置被拍摄，用户期望的重要对象也不被拍摄。

因此，需要存在一种用于在全景图像内清晰地显示用户期望的对象的成像装置和设备。

上述信息仅被呈现为有助于本公开的理解的背景信息。对于上述内容中的任何内容是否可适用于关于本公开的现有技术，未做出确定，也未做出断言。

发明内容

本公开的多个方面在于至少解决上述问题和/或缺点，并在于至少提供下述优点。因此，本公开的一方面在于提供一种用于在全景图像内清晰地显示用户期望的对象的成像装置和设备。

根据本公开的一方面，提供一种成像装置。所述成像装置包括：成像单元，被构造为在特定方向上捕捉多个连续帧图像，以产生全景图像；输入单元，被构造为从用户接收用于经由成像单元捕捉全景图像的命令；参考图像设置单元，被构造为当命令从用户被输入到输入单元时，将由成像单元捕捉的帧图像设置为参考图像；图像合成器，被构造为通过将由参考图像设置单元设置的参考图像周围的其它帧图像进行合成来产生全景图像。

根据本公开的另一方面，提供一种成像方法。所述成像方法包括：在特定方向上捕捉多个连续帧图像，以产生全景图像；在捕捉所述多个连续帧图像期间从用户接收命令；当在所述接收期间命令从用户被输入到输入单元时，将帧图像设置为参考图像；通过将在所述设置期间设置的参考图像周围的其它帧图像进行合成来产生全景图像。

本公开的其它方面、优点和显著特征将从结合附图公开本公开的各种实施例的以下详细描述中对本领域技术人员变得清楚。

附图说明

从以下结合附图的描述，本公开的特定实施例的上述以及其它方面、特征和优点将更加清楚，在附图中：

图1是根据本公开的实施例的相机的结构的框图；

图2是示出根据本公开的第一实施例的产生和处理全景图像的过程的流程图；

图3A、图3B、图3C和图3D是示出根据本公开的实施例的用于产生和处理全景图像的过程的示意图；

图4A、图4B、图4C和图4D是示出根据本公开的实施例的用于产生和处理全景图像的过程的示意图；

图5A和图5B示出根据本公开的实施例的由成像单元捕捉的帧图像和在显示单元上显示的显示图像；

图6A、图6B和图6C是示出根据本公开的实施例的基于参考图像的显示区域合成全景图像的情况的模拟图；

图7是根据本公开的第二实施例的由相机执行的处理的流程图；

图8A和图8B是示出根据本公开的实施例的基于距离测量的位置确定显示图像的显示区域的情况的模拟图；

图9A、图9B和图9C是示出根据本公开的实施例的全景图像的合成失败的情况的示图；

图10A、图10B、图10C、图10D和图10E是示出根据本公开的第三实施例的全景图像的合成范围和参考图像被改变的情况的示图。

贯穿附图，相同的标号用于表示相同的元件。

具体实施方式

提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括各种特定细节以帮助理解，但是这些特定细节将仅被认为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下可对在此描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可省略对公知功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于字面含义，而是仅被发明人使用，以使本公开能够得到清楚和一致的理解。因此，对于本领域技术人员应该清楚的是，对本公开的各种实施例的以下描述仅被提供用于说明目的，而不是用于限制由权利要求及其等同物限定的本公开的目的。

将理解，除非上下文另外明确地指示，否则单数形式包括复数指代。因此，例如，参照“组件表面”包括参照这样的表面中的一个或多个。

术语“基本上”表示不需要精确实现叙述的特征、参数或值，而是可在不排除期望特征提供的效果的量上发生偏差或变化，包括例如容差、测量误差、测量精确度限制和本领域技术人员公知的其它因素。

第一实施例

图1是根据本公开的实施例的相机的结构的框图。

参照图1，相机1包括成像单元10、显示单元20、操纵器30、姿势检测器40、记录介质50和控制器60。

成像单元10捕捉对象的图像并产生图像（即，图像数据）。成像单元10产生多个连续图像（即，帧图像）以产生全景图像。成像单元10包括用于对象的图像形成的光学系统11和用于捕捉由光学系统11形成的对象的图像的互补金属氧化物半导体（CMOS）传感器12。光学系统11包括分别经由驱动器13、14和15被控制器60控制的用于变焦的光学装置、光圈和用于聚焦的光学装置。CMOS传感器12经由时序控制器（TG）16被控制器60控制。

例如，显示单元20为液晶显示器（LCD）或有机电致发光显示器，并显示图像或各种信息。显示单元20被布置在相机1的主体（未示出）的后表面上，并基于从成像单元10拍摄的对象获得的图像数据来显示图像。显示单元20经由显示器驱动器68被控制器60控制。

操纵器30包括快门按钮、上/下和右/左键、电源开关、模式转盘等，并从用户接收各种命令。此外，操纵器30可以以触摸面板方式被实现在显示单元20的显示器上。

姿势检测器40检测位置改变，诸如相机1的运动和倾斜。例如，姿势检测器40可以是角速度传感器，诸如陀螺仪传感器等。此外，姿势检测器40可以是角度传感器或地磁传感器。姿势检测器40将指示相机1的位置改变的检测结果的信号施加到控制器60。

记录介质50记录图像数据。记录介质50可被配置为可从相机1分离，并记录通过在成像单元10中拍摄对象所获得的图像数据。在记录介质50中记录图像数据以及从记录介质50移除图像数据经由介质控制器69被控制器60控制。

控制器60包括中央处理单元（CPU）61、视频随机存取存储器（VRAM）62、同步动态随机存取存储器（SDRAM）63、电可擦除可编程只读存储器（EEPROM）64、图像输入控制器65、图像信号处理电路66、压缩处理电路67、显示器驱动器68和介质控制器69。这些组件经由总线连接以彼此通信。

CPU61根据程序控制前述组件并处理各种计算。VRAM62和SDRAM63将程序或数据暂时记录为操作区域。EEPROM64存储各种程序或各种数据。

图像输入控制器65从CMOS传感器12调用输出信号，并将输出信号写入SDRAM63中。图像信号处理电路66执行用于在图像捕捉期间从帧图像数据产生显示图像数据的各种显示图像处理。

压缩处理电路67执行图像数据的压缩处理。显示器驱动器68控制显示单元20。介质控制器69控制在记录介质50中记录图像数据以及从记录介质50移除图像数据。

此外，CPU61执行在EEPROM64中记录的程序以作为输入单元、参考图像设置单元、图像合成器和比率记录器进行工作。这里，输入单元在拍摄帧图像期间从用户接收用于确定参考图像的命令。当经由操纵器30从用户接收到该命令时，参考图像设置单元将由成像单元10捕捉的帧图像设置为参考图像。图像合成器将参考图像周围的其它帧图像进行合成以产生全景图像。比率记录器记录从在产生显示图像时捕捉的帧图像去除的比率，将针对本公开的实施例对此进行描述。

此外，相机1可包括除了前述组件之外的其它组件，或可不包括前述组件中的一些组件。

以下，将针对本公开的实施例描述相机1的操作。

相机1将通过在捕捉用于产生全景图像的多个连续帧图像期间从用户输入用于参考图像的命令而确定的参考图像周围的其它帧图像进行合成，并处理全景图像产生。

图2是示出根据本公开的第一实施例的产生和处理全景图像的过程的流程图。在本公开的实施例中，图2的流程图中示出的算法在相机1的EEPROM64中被记录为程序并由CPU61执行。

参照图2，在操作S101，相机1根据来自用户的对操纵器30的快门按钮的输入来启动全景图像的产生。

在操作S102，相机1在通过控制成像单元10连续产生多个帧图像时，基于由成像单元10捕捉的图像数据在显示单元20上显示显示图像。这里，用户可沿水平方向或垂直方向移动相机1，使得相机1可在移动方向上捕捉多个连续帧图像。相机1可在显示单元20上显示指示移动方向的引导，使得用户可适当地移动相机1。例如，相机1以用于连续拍摄帧图像的每个间隔，按照顺时针格式捕捉帧图像。可选择地，每当相机1的姿势或位置基于从姿势检测器40获得的信号而被移动特定程度时，相机1可执行多个连续帧图像的图像捕捉。此外，相机1可阐释捕捉的帧图像以检测相机1的姿势或位置的改变，并且每当相机1的姿势或位置被改变特定程度时，相机1可执行多个连续帧图像的图像捕捉。相机1将捕捉的帧图像记录在SDRAM63中。以下将描述连续图像处理。

在操作S103，相机1确定输入单元是否从用户接收到用于确定参考图像的命令。例如，经由与用于对图像进行聚焦的操纵或在触摸面板上的触摸对应的快门按钮的半按来输入用户的命令。可选择地，只要将被拍摄的图像不被阻止，就可在拍摄期间通过经由使用语音识别的操纵将振动施加到相机1来输入用户的命令。

当在操作S103未输入来自用户的命令（否）时，相机1进行到操作S105。当在操作S103输入来自用户的命令（是）时，在操作S104，相机1将从用户命令被输入到参考图像设置单元中的时间点由成像单元10捕捉的帧图像设置为参考图像。这里，在操作S104，相机1可经由成像单元10重新捕捉帧图像，并将重新捕捉的帧图像设置为参考图像。相机1将设置的参考图像存储在SDRAM63中。以下将描述参考图像设置的处理。

在操作S105，相机1确定帧图像的连续拍摄是否完成。可通过由用户按下操纵器30的快门按钮来确定帧图像的连续拍摄是否完成。可选择地，当从帧图像的连续拍摄的开始时间点过去特定时间段时，可确定帧图像的连续拍摄完成。当相机1的姿势或位置的改变程度达到特定程度时，可确定帧图像的连续拍摄完成。当在操作S105帧图像的连续拍摄未完成（否）时，相机1返回到操作S102以继续捕捉帧图像。当在操作S105帧图像的连续拍摄完成（是）时，相机1进行到操作S106的处理。

在操作S106，相机1基于在操作S102由成像单元10捕捉的多个帧图像和在操作S104设置的参考图像来产生全景图像。相机1将参考图像周围的多个帧图像进行合成，以产生从参考图像产生的时间点开始的全景图像。以下将描述全景图像产生。

在操作S107，相机1在显示单元20的显示器上显示在操作S106中产生的全景图像。在操作S108，相机1将产生的全景图像存储在SDRAM63或记录介质50中，并完成处理。

以下，将描述图2的流程图中示出的过程的操作。

图3A、图3B、图3C、图3D、图4A、图4B、图4C和图4D是示出根据本公开的实施例的用于产生和处理全景图像的过程的示意图。

参照图3A和图4A，示出了启动帧图像的连续拍摄的情况。参照图3B和图4B，示出了在捕捉用于产生全景图像的多个连续帧图像期间设置参考图像的情况。参照图3C和图4C，示出了帧图像的连续拍摄完成的情况。参照图3D和图4D，示出了参考图像周围的其它帧图像被合成以产生全景图像的情况。

连续拍摄处理和参考图像设置处理

首先，将描述图2的操作S102和操作S104中示出的连续拍摄处理和参考图像设置处理。

如图3A中所示，用户U1输入相机1的快门按钮以启动帧图像的拍摄，从而产生全景图像。当帧图像的拍摄被启动时，相机1捕捉帧图像F1，并将帧图像F1存储在SDRAM63中。

如图3B中所示，用户U1在沿箭头方向移动相机1的同时执行帧图像的连续拍摄，并在期望拍摄的对象的图像（诸如，图形等）进入帧图像的时间点输入对快门按钮的半按。相机1捕捉继帧图像F1之后的帧图像F2和F3，并将帧图像F2和F3存储在SDRAM63中。此外，相机1从帧图像F3被捕捉的时间点从用户接收命令，并且因此帧图像F3被设置为参考图像KF。相机1将设置的作为参考图像KF的帧图像F3存储在SDRAM63中。

如图3C中所示，用户U1沿箭头方向移动相机1，并在帧图像的拍摄期望完成的位置处输入快门按钮以完成帧图像的连续拍摄。相机1将在帧图像的拍摄完成之前捕捉的帧图像F4和F5存储在SDRAM63中。

全景图像合成的处理

以下，将描述在图2的操作S106中示出的全景图像合成的处理。

如图3D中所示，相机1基于在图3A、图3B和图3C的处理中存储在SDRAM63中的参考图像KF（F3）和帧图像F1、F2、F4和F5来执行全景图像P1的合成。

首先，在操作1，相机1将参考图像KF（F3）设置为作为全景图像的基础的原始图像。之后，在操作2，相机1将紧接捕捉参考图像KF的帧图像F2合成在被设置为原始图像的参考图像KF的左侧。参考图像KF被合成以在参考图像KF和帧图像F2重叠的部分上显示参考图像KF。在操作3，相机1将帧图像F1合成在在操作2合成的图像的左侧。这里，也存在参考图像KF和帧图像F1重叠的部分，并且参考图像KF被合成以在参考图像KF和帧图像F1重叠的部分上显示参考图像KF。

当在捕捉参考图像KF之前捕捉的帧图像的合成完成时，在操作4，相机1将紧接捕捉参考图像KF所捕捉的帧图像F4合成在在操作3合成的图像的右侧（参考图像KF的右侧）。参考图像KF被合成以在参考图像KF和帧图像F4重叠的部分上显示参考图像KF。之后，在操作5，相机1将帧图像F5合成在在操作4合成的图像的右侧。这里，也存在参考图像KF和帧图像F5重叠的部分，并且参考图像KF被合成以在参考图像KF和帧图像F5重叠的部分上显示参考图像KF。当操作5的处理完成时，形成全景图像P1。相机1在显示单元20上显示全景图像P1，并将全景图像P1存储在SDRAM63或记录介质50中。

在设置的参考图像KF的位置方面，图4A、图4B、图4C和图4D中示出的全景图像的处理和产生与图3A、图3B、图3C和图3D中示出的全景图像的处理和产生不同。

尽管在图3A、图3B、图3C和图3D中，与拍摄范围的中心对应的帧图像F3被设置为参考图像KF，但是在图4A、图4B、图4C和图4D中，不在拍摄范围的中心的帧图像F4被设置为参考图像KF。在这种情况下，如在图3A、图3B、图3C和图3D中，相机1基于被设置为参考图像KF的帧图像F4执行全景图像的合成。更具体地讲，如图4D中所示，在操作1，相机1将参考图像KF（F4）设置为作为全景图像的基础的原始图像。之后，在操作2至操作5，如在图3A、图3B、图3C和图3D中，对帧图像F3、F2、F1和F5依次执行合成处理。因此，全景图像P2完成。相机1在显示单元20上显示全景图像P2，并将全景图像P2存储在SDRAM63或记录介质50中。

显示图像

例如，如上所述，当用户U1沿水平方向移动手持的相机1以执行帧图像的连续拍摄时，捕捉的帧图像可能在纵向方向上失真。结果，为了在经由图3D中示出的处理显示参考图像时在特定方向上产生连续全景图像，针对帧图像失真的部分不捕捉任何图像，从而产生没有相应失真部分的全景图像。在这种情况下，虽然用户期望捕捉的对象被显示在全景图像中，但是在特定方向上未产生连续清晰的图像，这是不恰当的。

因此，根据本公开的实施例，通过以在与特定方向交叉的高度方向上的比率去除在所述特定方向上连续捕捉的帧图像的上部和下部所形成的图像在显示单元20上被显示为显示图像。由于该显示图像，在用户期望的对象被显示时，可在特定方向上产生连续清晰的全景图像，这将在下面被描述。

首先，将描述显示图像。

图5A和图5B示出根据本公开的实施例的由成像单元捕捉的帧图像和在显示单元上显示的显示图像。图5A示出由成像单元10捕捉的帧图像100，图5B示出捕捉的帧图像100与显示区域110之间的关系。

参照图5A和图5B，在特定方向上连续捕捉的帧图像100包括通过在与所述特定方向交叉的高度方向上去除帧图像100的上部和下部所形成的显示区域110以及不包括在显示区域110中并被去除的非显示区域120。显示区域110与显示图像对应，并被显示在显示单元20上。非显示区域120不被显示在显示单元20上，而被存储在SDRAM63中作为帧图像100的一部分。

以下，将描述显示图像与产生的全景图像之间的关系。

图6A、图6B和图6C是示出根据本公开的实施例的基于参考图像的显示区域合成全景图像的情况的模拟图。

图6A示出连续捕捉的帧图像F61至F65以及每个帧图像的显示区域110，图6B示出基于参考图像KF（F63）的显示区域110确定全景图像的合成范围130的情况。此外，图6C示出根据合成范围130产生的全景图像P3。

参照图6A，连续捕捉的帧图像F61至F65的拍摄范围的上部和下部失真。此外，帧图像F63被设置为参考图像KF。可使用一般全景合成方法确定拍摄范围的失真，诸如经由图像分析或经由对关于执行多个连续帧图像的拍摄的相机1的姿势的改变的信息的分析所获得的各个帧图像的特征点之间的位置比较。这里，从姿势检测器40获得所述信息。

这里，帧图像的显示区域110被显示为由用户U1观看的显示单元20上的显示图像，以在捕捉用于产生全景图像的多个连续帧图像期间检查捕捉的图像。为了设置参考图像KF，用户U1还可在观看显示在显示单元20上的显示区域110时设置参考图像KF。例如，用户期望从全景图像显示的图像是显示在参考图像KF的显示区域110上的图像。因此，当显示了参考图像KF的显示区域110并且在特定方向上产生了连续全景图像时，在用户期望的对象被显示时，可在所述特定方向上产生连续清晰的全景图像。

如图6A中所示，相机1可根据参考图像KF的高度来确定全景图像的合成范围130，以在显示参考图像KF的显示区域110的同时在特定方向上产生连续清晰的全景图像。这里，虽然帧图像F62的上部或帧图像F64的下部被包括在全景图像的合成范围130中，但是显示区域110的上部和下部由于拍摄范围的失真而断开。

然而，参照图6B，帧图像100存储非显示区域120以及显示区域110，因此包括在全景图像的合成范围130中的整个图像被存储为帧图像100的一部分。因此，可将参考图像KF的显示区域110设置为局部参考图像KFa，并且在帧图像100中的全景图像的合成范围130中所包括的合成部分以与图3D同样的方式被合成。

如上所述，根据本公开的第一实施例的相机1可通过在沿特定方向捕捉多个连续帧图像时从用户接收对参考图像KF的确定并将确定的参考图像KF周围的其它帧图像进行合成，来处理全景图像产生。

此外，相机1通过将显示在显示单元20上的图像确定为局部参考图像KFa并将局部参考图像KFa周围的调整了高度的其它帧图像的部分进行合成来产生全景图像，其中，所述显示在显示单元20上的图像是通过在与特定方向交叉的高度方向上去除参考图像KF的上部和下部而形成的。

参照图6C，当用户期望的对象被完全显示（参照图6C的点线区域）时，可在特定方向上产生连续清晰的全景图像。由用户经由显示单元20检查的局部参考图像KFa被完全显示，因此，对用户最显而易见的部分与在帧图像的拍摄期间由用户检查的部分对应，使得用户获得满意的全景图像。

此外，根据本公开的实施例，当参考图像KF周围的帧图像被合成时，参考图像KF被合成，以在参考图像KF和帧图像重叠的部分上显示参考图像KF，本公开的实施例不限于此。可选择地，参考图像KF可被合成，以在参考图像KF的中心部分显示参考图像KF，并且其它帧图像可经由全景图像的一般合成方法被合成，以在参考图像KF的边缘部分显示平滑的全景图像。可选择地，可基于经由图像分析的面部识别从参考图像KF提取主要部分，并且其它帧图像可被合成，以显示与该主要部分对应的图像。

此外，根据本公开的实施例，所有捕捉的帧图像被合成为全景图像，本公开的实施例不限于此。例如，相机1可基于各种条件（诸如拍摄时间、拍摄姿势等）从所有捕捉的帧图像中选择用于产生全景图像的帧图像。在这种情况下，在用户输入对参考图像的设置的时间点捕捉的帧图像可被选择为作为参考图像的帧图像。此外，当帧图像的连续拍摄的间隔大时，如果不存在在用户输入用于确定参考图像的命令的时间点捕捉的帧图像，则相机1可在接收到该命令的时间捕捉帧图像。相机1可在识别出该命令的时间捕捉帧图像。相机1可将捕捉的帧图像确定为参考图像KF。

此外，根据本公开的实施例，用户移动相机1以在特定方向上捕捉连续帧图像，本公开的实施例不限于此。相机1可使用安装在相机1中的用于移动相机1的装置在特定方向上捕捉连续帧图像。可选择地，相机1可在被安装到沿特定方向移动的车辆上时在特定方向上捕捉连续帧图像。

此外，根据本公开的实施例，从左向右执行连续帧图像的拍摄，本公开的实施例不限于此。可在任何恒定方向（诸如，从右向左的方向、从下部向上的方向、倾斜的方向等）上执行连续帧图像的拍摄。

第二实施例

以下，将针对本公开的第二实施例描述相机1。

根据本公开的第一实施例，通过以高度方向上的比率去除在特定方向上连续捕捉的帧图像的上部和下部所形成的图像在显示单元20上被显示为显示图像，从而产生用户期望的且消除了相机抖动的全景图像。然而，相机抖动的影响程度取决于距目标对象的距离或变焦比率的设置。例如，在短距离处拍摄人期间，由于人相对于显示图像占据的部分大，因此目标对象容易由于相机抖动而偏离显示图像的范围，并且相机抖动的影响程度增大。在长距离处拍摄人期间，由于人相对于显示图像占据的部分小，因此目标对象不可能偏离显示图像的范围，并且相机抖动的影响程度减小。相似地，相机抖动的影响程度根据距对象的距离而变化，作为在显示图像的产生期间在高度方向上去除帧图像的上部和下部的比率的适当值可变化。因此，根据本公开的第二实施例，相机1根据各种条件（诸如拍摄时间、拍摄姿势等）改变在显示图像的产生期间去除帧图像的上部和下部的比率。

以下，未给出对本公开的第一实施例的重复描述，将在与本公开的第一实施例不同的方面描述本公开的第二实施例。

根据本公开的第二实施例的相机1的构造与本公开的第一实施例中的相机1的构造相同。

以下，将针对本公开的第二实施例描述相机1的操作。

图7是根据本公开的第二实施例的由相机1执行的处理的流程图。图8A和图8B是示出基于距离测量的位置确定显示图像的显示区域的情况的模拟图。图9A、图9B和图9C是示出全景图像的合成失败的情况的示图。

图7的流程图中示出的算法被记录为相机1的EEPROM64中的程序并由CPU61执行。图8A示出根据本公开的实施例的当距离测量的位置远时的显示区域110。图8B示出根据本公开的实施例的当距离测量的位置近时的显示区域110。图9A示出连续拍摄的帧图像F91至F95以及每个帧图像的显示区域110，图9B示出根据本公开的实施例的基于参考图像KF（F93）的显示区域110确定全景图像的合成范围130的情况。此外，图9C示出根据合成范围130产生的全景图像P4。

参照图7，在操作S201，相机1控制成像单元10获得在经由自动聚焦功能进行聚焦调整期间获得的指示相机1与对象之间的距离的距离测量信息以及指示变焦比率的变焦比率信息。

之后，在操作S202，相机1基于在操作S201获得的距离测量信息和变焦比率信息，确定在显示图像的产生期间在高度方向上去除帧图像的上部和下部的比率。

参照图8A，相机1随着由距离测量信息指示的距对象的距离的增大而减小所述比率。

参照图8B，所述比率随着由距离测量信息指示的距对象的距离的减小而增大。相似地，由于认为相机抖动的影响随着由变焦比率信息指示的变焦比率的减小而减小，因此相机1减小所述比率。此外，由于认为相机抖动的影响随着由变焦比率信息指示的变焦比率的增大而增大，因此相机1增大所述比率。基于距离测量信息和变焦比率信息的比率可被确定为例如5％至40％的范围中的适当值。相机1根据确定的比率产生显示图像，在显示单元20上显示显示图像，并进行到操作S203。

之后，操作S203至S208与图2的操作S102至S106相同。因此，这里不给出它们的描述。

在操作S208全景图像被合成之后，在操作S209，相机1确定全景图像合成是否成功。当在帧图像的上部和下部发生减小的相机抖动并且如图6A、图6B和图6C中所示，在显示用户期望的对象的局部参考图像KFa时可在特定方向上产生连续清晰的全景图像P3时，相机1确定全景图像合成成功。

参照图9A，当在帧图像的上部和下部发生相机抖动时，相机1确定全景图像合成失败。

参照图9B和图9C，产生了在全景图像的产生期间未被拍摄的区域E1。

当在操作S209相机1确定全景图像合成失败（否）时，在操作S210，相机1经由比率记录器将在操作S202确定的比率校正为较高的比率。相机1根据校正的比率产生显示图像，在显示单元20上显示显示图像，并返回到操作S203。当在操作S209相机1确定全景图像合成成功（是）时，在操作S211，相机1在显示单元20的显示器上显示在操作S208产生的全景图像。在操作S212，相机1将产生的全景图像存储在SDRAM63或记录介质50中以完成处理。

如上所述，根据本公开的第二实施例的相机1随着距对象的距离的减小而增大在显示图像的产生期间在高度方向上去除帧图像的上部和下部的比率。因此，当距对象的距离短并且相机抖动对全景图像的影响非常低时，被显示为显示图像的窄范围与被拍摄作为帧图像的宽范围之间的差增大。因此，即使目标对象由于相机抖动而偏离显示图像，也可拍摄相应对象作为帧图像，并可防止全景图像合成的失败。

此外，当相机1将除了参考图像KF之外的帧图像限制到局部参考图像KFa的高度时，如果相机1不能在特定方向上产生连续清晰的全景图像，则在显示图像的产生期间在高度方向上去除帧图像的上部和下部的比率可经由比率记录器被校正为较高的比率。因此，即使目标对象由于相机抖动而偏离显示图像，相应对象也可被更清晰地拍摄作为帧图像，并且全景图像合成可被重复以防止全景图像合成的失败。

第三实施例

以下，将针对本公开的第三实施例描述相机1。

根据本公开的第一实施例和第二实施例，可通过将经由帧图像的连续拍摄一次捕捉的特定方向上的一系列连续帧图像进行合成来产生全景图像。然而，经由帧图像的一次连续拍摄获得的宽度受到相机的类型的限制，并且可不产生用户期望的全景图像。因此，根据本公开的实施例，相机1还捕捉与特定方向上的一系列连续帧图像不同的特定方向上的另一系列连续帧图像，并从所述一系列帧图像和所述另一系列帧图像产生全景图像。

以下，不给出本公开的第一实施例和第二实施例的重复描述，并且将在与本公开的第一实施例不同的方面描述本公开的第三实施例。

根据本公开的第三实施例的相机1的构造与本公开的第一实施例和第二实施例中的相机1的构造相同。

以下，将针对本公开的第三实施例描述相机1的操作。

图10A、图10B、图10C、图10D和图10E是示出根据本公开的第三实施例的全景图像的合成范围和参考图像被改变的情况的示图。

图10A示出将帧图像F4设置为参考图像KF以及完全捕捉一系列帧图像F1至F5的情况。图10B示出完全捕捉另一系列帧图像F6至F8的情况。图10C示出从一系列帧图像F1至F5产生全景图像P5并记录另一系列帧图像F6至F8的情况。图10D示出另一系列帧图像F6至F8与全景图像P5合成并产生新的全景图像P6的情况。图10E示出将帧图像F7设置为参考图像KF并从帧图像F3至F8产生新的全景图像P7的情况。

参照图10A、图10B和图10C，当一系列帧图像F1至F5以及另一系列帧图像F6至F8被完全捕捉时，相机1从一系列帧图像F1至F5产生全景图像P5，并将全景图像P5存储在SDRAM63中。在这种情况下，另一系列帧图像F6至F8与一系列帧图像F1至F5以及全景图像P5一起被存储在SDRAM63中。

参照图10D，相机1基于来自用户的命令，将另一系列帧图像F6至F8与从一系列帧图像F1至F5产生的全景图像P5进行合成，以产生新的全景图像P6。

参照图10E，在产生全景图像P6之后，基于来自用户的附加命令，从一系列帧图像F1至F5中的帧图像F3至F5以及另一系列帧图像F6至F8产生新的全景图像P7。在这种情况下，帧图像F7被设置为参考图像KF，以如图3D中基于被设置为参考图像KF的帧图像F7执行全景图像合成。更具体地讲，如图10E中所示，在操作1，相机1将参考图像KF（F7）设置为作为全景图像的基础的原始图像。之后，在操作2至操作6，按照如图3D中的顺序对帧图像F6、F5、F4、F3和F8依次执行合成。因此，完成全景图像P7。相机1在显示单元20上显示全景图像P7，并将全景图像P7存储在SDRAM63或记录介质50中。

如上所述，根据本公开的第三实施例的相机1进一步捕捉与包括参考图像的一系列连续帧图像不同的另一系列连续帧图像，并将参考图像与一系列帧图像和另一系列帧图像进行合成。因此，即使在经由帧图像的一次连续拍摄获得的宽度受限的环境中，也可产生具有用户期望的范围的全景图像。

此外，相机1从一系列帧图像和另一系列帧图像设置新的参考图像KF，并将参考图像KF与一系列帧图像和另一系列帧图像进行合成。因此，相机1可将任意帧图像用作参考图像KF来产生包含具有任意范围的帧图像的全景图像。因此，用户可在拍摄帧图像之后在期望的范围中重新产生清晰地显示用户期望的对象的清晰显示的全景图像。

根据本公开的前述各种实施例，当在沿恒定方向拍摄多个帧图像期间从用户输入对参考图像的确定时，确定的参考图像周围的其它帧图像被合成以产生全景图像。因此，可在用户期望的对象被清晰地显示的同时产生全景图像。

虽然已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由权利要求及它们的等同物限定的本公开的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (12)

1.一种成像装置，包括：

成像单元，被构造为在特定方向上捕捉多个连续帧图像，以产生全景图像；

输入单元，被构造为从用户接收命令；

参考图像设置单元，被构造为在成像单元捕捉所述多个连续帧图像的包括期望拍摄的对象的帧图像时，响应于通过输入单元从用户接收到命令，将由成像单元在从用户接收到命令的时间点捕捉的帧图像设置为参考图像，其中，所述命令在期望拍摄的对象进入帧图像时接收到；

图像合成器，被构造为通过将由参考图像设置单元设置的参考图像周围的其它帧图像进行合成来获得全景图像。

2.如权利要求1所述的成像装置，还包括：显示单元，被构造为将通过以与所述特定方向交叉的高度方向上的比率去除由成像单元捕捉的帧图像的上部和下部所形成的图像显示为显示图像，

其中，图像合成器将在显示单元上显示的参考图像的一部分设置为局部参考图像，并将局部参考图像周围的被限制到局部参考图像的高度的其它帧图像中的一些进行合成，以产生全景图像。

3.如权利要求2所述的成像装置，其中，显示单元被构造为随着距对象的距离的减小而增大所述比率。

4.如权利要求2所述的成像装置，还包括：比率记录器，被构造为如果除了参考图像之外的帧图像被设置到局部参考图像的高度，则在局部参考图像不能被合成时增大所述比率并存储相应比率。

5.如权利要求1所述的成像装置，其中，成像单元还被构造为在一定方向上捕捉与包含参考图像的一系列连续帧图像不同的另一系列连续帧图像，

其中，图像合成器还被构造为将参考图像与所述一系列帧图像和所述另一系列帧图像进行合成。

6.如权利要求5所述的成像装置，其中，参考图像设置单元还被构造为当接收到对由图像合成器合成的所述一系列帧图像和所述另一系列帧图像中的一个帧图像的选择时，将选择的帧图像设置为新的参考图像，

其中，图像合成器还被构造为将所述新的参考图像与所述一系列帧图像和所述另一系列帧图像进行合成。

7.一种成像方法，包括：

在特定方向上捕捉多个连续帧图像以产生全景图像；

从用户接收命令；

在捕捉所述多个连续帧图像的包括期望拍摄的对象的帧图像时，响应于从用户接收到命令，将在所述捕捉期间在从用户接收到命令的时间点捕捉的帧图像设置为参考图像，其中，所述命令在期望拍摄的对象进入帧图像时接收到；

通过将在所述设置期间设置的参考图像周围的其它帧图像进行合成来获得全景图像。

8.如权利要求7所述的成像方法，还包括：将通过以与所述特定方向交叉的高度方向上的比率去除在所述捕捉期间捕捉的帧图像的上部和下部所形成的图像显示为显示图像，

其中，将参考图像周围的其它帧图像进行合成的步骤包括：将在显示单元上显示的参考图像的一部分设置为局部参考图像，并将局部参考图像周围的被限制到局部参考图像的高度的其它帧图像中的一些进行合成，以产生全景图像。

9.如权利要求8所述的成像方法，其中，显示图像的步骤包括：随着距对象的距离的减小而增大所述比率。

10.如权利要求8所述的成像方法，还包括：如果除了参考图像之外的帧图像被设置到局部参考图像的高度，则在局部参考图像不能被合成时增大所述比率并存储相应比率。

11.如权利要求7所述的成像方法，其中，捕捉多个连续帧图像的步骤包括：在一个方向上进一步捕捉与包含参考图像的一系列连续帧图像不同的另一系列连续帧图像，

其中，合成的步骤包括：将参考图像与所述一系列帧图像和所述另一系列帧图像进行合成。

12.如权利要求11所述的成像方法，其中，设置帧图像的步骤包括：当接收到对在所述合成期间合成的所述一系列帧图像和所述另一系列帧图像中的一个帧图像的选择时，将选择的帧图像设置为新的参考图像，

其中，合成的步骤包括：将所述新的参考图像与所述一系列帧图像和所述另一系列帧图像进行合成。