CN103139464B - 提供全景图像的方法及其成像设备 - Google Patents

Abstract

一种提供全景图像的方法及其成像设备。所述方法可以包括：从运动图片数据中提取产生全景图像的至少一个全景片段；在显示屏幕上显示分别与至少一个全景片段相对应的至少一个缩略图像；以及如果选择了至少一个缩略图像，则产生与所选择的缩略图像相对应的全景片段作为全景图像。因此，即使用户在捕获时没有以获得全景图像为目的而执行捕获，用户以后也能够通过使用运动图片数据来获得全景图像。

Description

提供全景图像的方法及其成像设备

对相关申请的交叉引用

本申请主张于2011年11月29日向韩国知识产权局提交的韩国专利申请No.10-2011-0125738的优先权，其公开在这里通过参考以整体被并入。

技术领域

本发明一般构思通常涉及一种提供全景图像的方法及其成像设备，更特定地，涉及一种通过使用运动图片数据来提供全景图像的方法及其成像设备。

背景技术

成像设备和图像处理方法的最近进展使得用户能够使用成像设备来获得各种类型的图像。特别地，用户通过使用能够捕获较宽范围的超广角镜头或者全景拍摄模式来获得全景图像。

然而，由于超广角镜头非常昂贵并且并非对于所有类型的成像设备都支持全景拍摄模式，所以用户无法容易地获得全景图像。

此外，为了获得全景图像，用户自捕获图像的开始时以捕获全景为目的在预定条件（例如，方向、曝光、等等）中捕获图像，然后综合所捕获的图像以产生全景图像。

因此，如果用户在捕获时没有以捕获全景图像为目的来执行捕获，则用户以后难以获得全景图像。

发明内容

示例实施例应对至少以上问题和/或缺点以及以上没有被描述的其他缺点。此外，示例实施例并不限于克服以上所描述的缺点，并且示例实施例可以不限于应对和/或克服以上所描述的任何问题。

示例实施例提供一种用于提供全景图像的方法及其成像设备，通过其从所捕获的运动图片数据中提取用于产生全景图像的全景片段以产生全景图像。

本发明一般构思的其他特点和效用将在下面的描述中被部分阐述，并且其部分从描述中将是显而易见的，或者可以通过对本发明一般构思的练习而掌握。

本发明一般构思的实施例提供了一种产生成像设备的全景图像的方法。所述方法可以包括：从运动图片数据中提取产生全景图像的至少一个全景片段；在显示屏幕上显示分别与至少一个全景片段相对应的至少一个缩略图像；以及如果选择了至少一个缩略图像中的一个，则产生与所选择的缩略图像相对应的全景片段作为全景图像。

可以分析组成运动图片数据的图像帧的运动矢量信息，并且可以通过所分析的运动矢量信息来确定图像的移动方向以提取至少一个全景片段。

可以从组成运动图片数据的图像帧中提取特征点，并且可以根据特征点的移动方向来确定图像的运动以提取至少一个全景片段。

所述缩略图像可以是全景片段的第一图像帧。

在全景片段中所包含的多个图像帧可以互相叠加，并且可以内插叠加边界界面以产生全景图像。

如果在全景片段中所包含的多个图像帧的拍摄设置条件被改变，则可以计算在多个图像帧的叠加区域中所包含的像素的平均值，并且可以通过使用具有所计算的平均值的像素来产生全景图像。

所述方法可以进一步包括：如果产生全景图像，则与运动图片数据一起存储全景图像和全景图像的元数据。

所述方法可以进一步包括：如果产生全景图像，则与运动图片数据分开存储全景图像和全景图像的元数据。

所述方法可以进一步包括显示包含所产生的全景图像的全景图像列表。

所述方法可以进一步包括：如果从全景图像列表中选择全景图像，则播放从与所选择的全景图像相对应的全景片段开始的运动图片数据。

根据示例实施例的另一方面，提供一种成像设备。所述成像设备可以包括：显示单元；以及控制器，从运动图片数据中提取产生全景图像的至少一个全景片段，在显示单元上显示分别与至少一个全景片段相对应的至少一个缩略图像，以及如果选择了至少一个缩略图像中的一个，则产生与所选择的缩略图像相对应的全景片段作为全景图像。

所述控制器可以分析组成运动图片数据的图像帧的运动矢量信息，并且通过所分析的运动矢量信息来确定图像的移动方向以提取至少一个全景片段。

所述控制器可以从组成运动图片数据的图像帧中提取特征点，并且根据特征点的移动方向来确定图像的运动以提取至少一个全景片段。

所述缩略图像可以是全景片段的第一图像帧。

所述控制器可以叠加在全景片段中所包含的多个图像帧，并且内插叠加边界界面以产生全景图像。

如果在全景片段中所包含的多个图像帧的拍摄设置条件被改变，则控制器可以计算在多个图像帧的叠加区域中所包含的像素的平均值，并且通过使用具有所计算平均值的像素来产生全景图像。

所述成像设备可以进一步包括存储单元。如果产生了全景图像，则控制器可以控制存储单元与运动图片数据一起存储全景图像和全景图像的元数据。

所述成像设备可以进一步包括存储单元。如果产生了全景图像，则控制器可以控制存储单元与运动图片数据分开存储全景图像和全景图像的元数据。

所述控制器可以控制显示单元显示包含所产生全景图像的全景图像列表。

如果从全景图像列表中选择了全景图像，则控制器可以播放从与所选择的全景图像相对应的全景片段开始的运动图片数据。

根据示例实施例的另一方面，提供一种产生成像设备的全景图像的方法，所述方法包括：从所捕获的按预定方向运动的图像中提取至少一个全景片段；在显示器上显示分别与所提取的至少一个全景片段相对应的至少一个缩略图像；以及产生与所选择的缩略图像相对应的全景片段作为全景图像。

在一个实施例中，通过使用来自运动图片数据的运动矢量信息来提取全景片段。

在一个实施例中，所述缩略图像是全景片段的第一图像帧。

在一个实施例中，通过叠加在全景片段中所包含的多个图像帧并且在多个图像帧当中内插叠加边界界面来产生所述全景图像。

在一个实施例中，如果在全景片段中所包含的多个图像帧的拍摄设置条件被改变，则计算在多个图像帧的叠加区域中所包含的像素的平均值并且通过使用具有所计算的平均值的像素来产生全景图像。

根据示例实施例的另一方面，提供一种成像设备，包括：显示单元；以及控制器，从所捕获的按预定方向运动的图像中提取至少一个全景片段，在显示器上显示分别与所提取的至少一个全景片段相对应的至少一个缩略图像，以及产生与所选择的缩略图像相对应的全景片段作为全景图像。

根据示例实施例的另一方面，提供非瞬时计算机可读存储介质，包含用于执行产生成像设备的全景图像的方法的代码，所述方法包括：从所捕获的按预定方向运动的图像中提取至少一个全景片段；在显示器上显示分别与所提取的至少一个全景片段相对应的至少一个缩略图像；以及产生与所选择的缩略图像相对应的全景片段作为全景图像。

根据示例实施例的另一方面，提供一种非瞬时计算机可读记录介质，包含用于执行产生成像设备的全景图像的方法的代码，所述方法包括：从运动图片数据中提取产生全景图像的至少一个全景片段；在显示屏幕上显示分别与至少一个全景片段相对应的至少一个缩略图像；以及如果选择了至少一个缩略图像中的一个，则产生与所选择的缩略图像相对应的全景片段作为全景图像。

附图说明

通过参照附图描述某些示例实施例，本发明一般构思的以上和/或其他特点和功效将是更加显而易见的，其中：

图1是示出根据本发明一般构思的示例实施例的成像设备的结构的框图；

图2到图7是示出根据本发明一般构思的示例实施例的，通过使用运动图片数据来产生全景图像的方法以及通过使用所产生的全景图像来播放运动图片数据的方法的图示；以及

图8是示出根据本发明一般构思的示例实施例的，通过使用运动图片数据来产生全景图像的方法的流程图。

具体实施方式

现在将对本发明一般构思的实施例做出参照，在附图中示出其示例，其中通篇中类似的参考数字表示类似的元素。下面将参照附图来描述实施例，以解释本发明一般构思。

在以下说明中，即使在不同附图中，对相同的元素也使用相同的附图参考数字。在说明中所限定的诸如详细构造和元件的主题被提供来帮助全面理解示例实施例。因而，显然的是，无需那些特别限定的主题也可以执行示例实施例。此外，没有详细描述公知的功能或构造，因为它们会在不必要的细节上模糊示例实施例。

图1是示出根据本发明一般构思的示例实施例的成像设备100的结构的框图。参照图1，成像设备100包括拍摄单元110、图像处理器120、显示单元130、用户界面（UI）产生器140、存储单元150、用户输入单元160、以及控制器170。成像设备100可以是数码相机，但不限于此。例如，成像设备100可以被实现为包含拍摄单元的便携式电话机、个人数字助手（PDA）、平板PC、电子板、摄像录像机、TV、等等。

拍摄单元110包括快门（未示出）、镜头单元（未示出）、光圈（未示出）、电荷耦合器件（CCD）图像传感器（未示出）、以及模数转换器（ADC）（未示出）。快门是与光圈一起调节曝光量的装置。镜头单元从外部光源接收光以处理图像。这里，光圈根据其打开和关闭程度来调节入射光的量。CCD图像传感器积累通过镜头单元输入的光量并且根据垂直同步信号输出由镜头单元捕获的图像。通过CCD图像传感器来实现成像设备100的图像获取，CCD图像传感器将从目标反射的光转换为电信号的。需要滤色器以便通过使用CCD图像传感器来获得彩色图像，并且大都使用滤色器阵列（CFA）。CFA具有阵列结构，其中每个单个像素仅仅发送示出一种色彩的光并且像素被规则排列。CFA也可以具有根据阵列结构的各种形式。ADC将从CCD图像传感器输出的模拟图像信号转换为数字信号。

拍摄单元110如上所述捕获图像，但这仅仅是示例实施例。因此，拍摄单元110可以通过使用另一种方法来捕获图像。例如，拍摄单元110可以通过使用互补金属氧化半导体（CMOS）图像传感器来代替上述CCD图像传感器而捕获图像。

图像处理器120在控制器170的控制下对经数字转换的原始数据进行信号处理，以使得所述原始数据是可显示的。图像处理器120去除由于从对温度敏感的CCD图像传感器和CFA产生的黑电流所形成的黑电平。图像处理器120根据人类视觉的非线性来执行用于编码信息的伽马校正。图像处理器120执行CFA内插，用于内插利用已经被伽马校正的预定数据的RGRG行和GBGB行所实现的Bayer图案。图像处理器120执行边缘校正，用于将内插后的RGB信号转换为YUV信号并且通过高通滤波器（HPF）来滤波Y信号以使图像清晰。图像处理器120也执行色彩校正，用于通过使用标准色彩坐标系统来校正U和V信号的色彩值并且从U和V信号中去除噪声。图像处理器120压缩和信号处理已经从中去除了噪声的Y、U和V信号以产生JPEG文件。所产生的JPEG文件被显示在显示单元130上并且被存储在存储单元150中。

如上所述的图像处理器120如何处理图像的方法仅仅是示例实施例，因而图像处理器120可以通过使用另一种方法来处理图像。

显示单元130显示由图像处理器120处理的图像数据或者被存储在存储单元150中的图像数据。显示单元130可以显示由UI产生器140所产生的用户界面（UI）。特别地，显示单元130可以被控制器170控制以显示包含分别与多个图像数据相对应的多个缩略图像的缩略图像列表。

UI产生器140在控制器170的控制下产生屏上显示（OSD）类型UI。

存储单元150存储驱动成像设备100所需要的程序和数据以及由图像处理器120处理的图像数据。

用户输入单元160接收用户命令。这里，用户输入单元160可以被实现为被提供为相对于成像设备100而曝露的转盘（shutter）、按钮、触摸屏等等。

控制器170根据通过用户输入单元160输入的用户命令来控制成像设备100的所有操作。特别地，控制器170从运动图片数据中提取用于产生全景图像的至少一个全景片段。控制器170在显示单元130上显示分别与所提取至少一个全景片段相对应的至少一个缩略图像。如果通过用户输入单元160选择至少一个缩略图像中的一个，则控制器170产生与所选择的缩略图像相对应的全景片段作为全景图像。

具体来说，控制器170根据通过用户输入单元160输入的用户命令来播放运动图片数据。

如果经由用户输入单元160向成像设备100输入提取用于产生全景图像的图像片段（此后被称为全景片段）的用户命令，则控制器170从运动图片数据中提取至少一个全景片段。这里，全景片段指的是其中所捕获的图像按预定方向移动以便产生全景图像的片段。

这里，控制器170可以通过使用运动图片数据的运动矢量信息来提取所述全景片段。例如，控制器170从运动图片数据中分析如图2中所示的运动矢量信息。控制器170也通过使用运动矢量信息来分析图像的运动。这里，图像的运动可以是在特定方向上的图像运动、图像的放大、或者图像的缩小，如图3中所示。图像的运动可以包括不运动的静止图像。

如果根据通过使用运动矢量信息分析图像运动的结果，在运动图片的预定片段中图像按预定方向移动（例如，向左右、上下、等等），则控制器170提取相应的片段作为全景片段。

如上所述，控制器170可以通过使用运动图片数据的运动矢量信息来提取全景片段，但这仅仅是示例实施例。因此，控制器170可以分析特征点的运动以提取全景片段。例如，控制器170可以解压缩运动图片数据，提取每个图像的特征点，并且分析相应特征点的移动方向以提取全景片段。在这种情形中，控制器170可以将图像划分为多个块并且提取多个块的特征点，或者提取图像的整个区域的特征点。此外，控制器170可以通过使用所提取的特征点与邻近像素之间的差值来分析图像帧的运动。

如果如上所述提取全景片段，则控制器170在显示单元130上显示与所提取的至少一个全景片段相对应的至少一个缩略图像。这里，缩略图像可以是全景片段的第一图像帧。例如，如图4中所示，控制器170在位于运动图片屏幕的底部的缩略图像列表410中显示与所提取的全景片段相对应的缩略图像。这里，缩略图像列表410包括分别与第一、第二和第三全景片段相对应的第一、第二和第三全景图像411、412和413。

如果通过用户输入单元160从缩略图像列表中选择了缩略图像，则控制器170产生与所选择缩略图像相对应的全景片段作为全景图像。例如，如果通过用户输入单元160从缩略图像列表410中选择第三缩略图像413，则控制器170显示询问关于是否产生全景图像的UI 510，并且高亮和显示第三缩略图像，如图5中所示。如果通过UI 510输入产生全景图像的用户命令，则控制器170产生与第三缩略图像413相对应的全景片段作为全景图像，如图6中所示。

具体来说，控制器170可以叠加在全景片段中所包含的多个图像帧，并且内插多个图像帧当中的叠加边界界面以产生全景图像。特别地，如果在全景片段中所包含的多个图像帧的拍摄设置条件（自动对焦（AF）、自动曝光（AE）、等等）被改变，则控制器170可以计算在多个图像帧的叠加区域中所包含的像素的平均值，并且通过使用具有所计算的平均值的像素来产生全景图像。

控制器170可以将所产生的全景图像存储在存储单元150中，或者存储在外部数据库（DB）中。例如，控制器170可以将所产生的全景图像和关于该全景图像的信息存储在存储运动图片数据的元数据的存储单元150中。控制单元170可以将所产生的全景图像和关于该全景图像的信息与运动图片数据的元数据分开存储。控制器170可以将全景图像存储为额外图像，并且与运动图片数据分开存储或者在存储单元150中存储关于全景图像的信息。这里，关于全景图像的信息可以包括如下：运动图片数据的全景片段的开始时间和结束时间；全景图像的宽度、面积和数据尺寸；以及图像数据。

如果在产生全景图像之后经由用户输入单元160输入全景图像列表产生命令，则控制器170产生并显示包含已经被产生的多个全景图像的全景图像列表。例如，如果经由用户输入单元160输入全景图像列表产生命令，则控制器170可以显示包含第一到第四全景图像710到740的全景图像列表，如图7中所示。

如果从全景图像列表中选择一个全景图像，则控制器170播放从与所选择的全景图像相对应的全景片段开始的运动图片。例如，如果经由用户输入单元160选择第三全景图像730，如图7中所示，则控制器170播放从与第三全景图像730相对应的第三全景片段开始的运动图片。

如上所述，虽然在捕获时用户没有以获得全景图像为目的执行捕获，但是用户可以通过使用运动图片数据在以后获得全景图像。此外，用户可以通过使用所产生的全景图像来播放运动图片数据。

现在将参照图8描述通过使用运动图片数据来产生全景图像的方法。

在操作S810中，成像设备100从运动图片数据中提取全景片段。这里，全景片段指的是其中所捕获的图像按预定方向移动以便产生全景图像的片段。成像设备100检测运动图片数据的运动矢量图像或者特征点的移动方向以提取全景片段。

在操作S820中，成像设备100显示与所提取全的景图像相对应的缩略图像。这里，成像设备100可以在正显示的运动图片屏幕的底部显示与所提取的全景片段相对应的缩略图像，如图4中所示。

在操作S830中，成像设备100确定是否已经选择了缩略图像。

如果在操作S830中确定缩略图像已经被选择，则成像设备100在操作S840中产生与所选择的缩略图像相对应的全景片段作为全景图像。具体来说，成像设备100可以叠加被包含在全景片段中的多个图像帧并且内插叠加边界界面以产生全景图像。特别地，如果包含在全景片段中的多个图像帧的拍摄片段条件（例如，AF、AE、等等）被改变，则成像设备100可以计算在多个图像帧的叠加区域中包含的像素的平均值，并且通过使用具有所计算的平均值的像素来产生全景图像。成像设备100也可以将所产生的全景图像存储在存储单元150中。

在操作S850中，成像设备100确定是否已经输入全景图像列表产生命令。

如果在操作S850中已经确定输入了全景图像列表产生命令，则在操作S860中成像设备100显示全景图像列表。这里，全景图像列表包括已经产生的多个全景图像。

在操作S870中，成像设备100确定是否已经从全景图像列表中选择了全景图像。

如果在操作S870中确定已经从全景图像列表中选择了全景图像，则在操作S880中成像设备100播放从与所选择的全景图像相对应的全景片段开始的运动图片数据。

根据上述方法，即使在捕获时用户并非以获得全景图像为目的而执行捕获，用户以后也可以通过使用运动图片数据来获得全景图像。此外，用户可以通过使用所产生的全景图像来播放运动图片数据。

可以在各种类型的非瞬时记录介质上存储执行根据上述各种示例实施例产生全景图像的方法的程序代码。具体来说，所述程序代码可以被存储在各种类型的终端可读取记录介质上，例如，随机存取存储器（RAM）、快闪存储器、只读存储器（ROM）、可擦除可编程ROM（EPROM）、电子可擦除可编程ROM（EEPROM）、寄存器、硬盘、可移动磁盘、存储卡、通用串行总线（USB）存储器、CD-ROM、等等。

虽然已经示出和描述了本发明一般构思的几个实施例，但是本领域技术人员将理解，在不脱离本发明一般构思的原则和精神的情况下，可以在这些实施例中进行改变，由所附权利要求及其等价物来限定本发明一般构思的范围。

Claims (9)

1.一种产生成像设备的全景图像的方法，所述方法包括：

从运动图片数据中提取其中捕获的图像按预定方向移动的至少一个全景片段,其中所述至少一个全景片段将产生全景图像，其中捕获的图像对应于非全景拍摄模式中捕获的图像；

在显示屏幕上一起显示分别与至少一个全景片段相对应的至少一个缩略图像和当前播放的运动图片数据；

如果选择至少一个缩略图像中的一个，则产生与所选择的缩略图像相对应的全景片段作为全景图像；以及

通过使用所产生的全景图像来播放运动图片数据，

其中，所述缩略图像是全景片段的第一图像帧，

其中，在全景片段中所包含的多个图像帧互相叠加，并且内插叠加边界界面以产生所述全景图像,

其中，如果在全景片段中所包含的多个图像帧的拍摄设置条件被改变，则计算在多个图像帧的叠加区域中所包含的像素的平均值，并且通过使用具有所计算的平均值的像素来产生全景图像。

2.如权利要求1所述的方法，其中，分析组成运动图片数据的图像帧的运动矢量信息，并且通过所分析的运动矢量信息来确定图像的移动方向以提取至少一个全景片段。

3.如权利要求2所述的方法，其中，从组成运动图片数据的图像帧中提取特征点，并且根据特征点的移动方向来确定图像的运动以提取至少一个全景片段。

4.如权利要求1到3中的任何一个所述的方法，进一步包括：

如果产生全景图像，则与运动图片数据一起或者分开存储全景图像和全景图像的元数据。

5.如权利要求4所述的方法，进一步包括：

显示包含所产生的全景图像的全景图像列表。

6.如权利要求5所述的方法，进一步包括：

如果从全景图像列表中选择全景图像，则播放从与所选择的全景图像相对应的全景片段开始的运动图片数据。

7.一种成像设备，包括：

显示单元；以及

控制器，从运动图片数据中提取其中捕获的图像按预定方向移动的至少一个全景片段，其中所述至少一个全景片段将产生全景图像,在显示单元上一起显示分别与至少一个全景片段相对应的至少一个缩略图像和当前播放的运动图片数据，以及如果选择了至少一个缩略图像中的一个，则产生与所选择的缩略图像相对应的全景片段作为全景图像，以及该控制器通过使用所产生的全景图像来播放运动图片数据,其中捕获的图像对应于非全景拍摄模式中捕获的图像，

其中，所述缩略图像是全景片段的第一图像帧，

其中，在全景片段中所包含的多个图像帧互相叠加，并且内插叠加边界界面以产生所述全景图像,

其中，如果在全景片段中所包含的多个图像帧的拍摄设置条件被改变，则计算在多个图像帧的叠加区域中所包含的像素的平均值，并且通过使用具有所计算的平均值的像素来产生全景图像。

8.如权利要求7所述的成像设备，其中，控制器分析组成运动图片数据的图像帧的运动矢量信息，并且通过所分析的运动矢量信息来确定图像的移动方向以提取至少一个全景片段。

9.如权利要求8所述的成像设备，其中，控制器从组成运动图片数据的图像帧中提取特征点，并且根据特征点的移动方向来确定图像的运动以提取至少一个全景片段。