CN103051916B - 产生三维（3d）全景图像的设备和方法 - Google Patents

Abstract

一种使用单个相机产生三维(3D)全景图像的设备和方法。所述设备可包括：帧缝捕捉单元，用于在第N视频帧中捕捉第一帧缝，在第(N+2)视频帧中捕捉第二帧缝；3D图像产生单元，用于使用捕捉的第一帧缝和捕捉的第二帧缝来产生左图像。这里，帧缝捕捉单元可在第(N+1)视频帧中捕捉第三帧缝，并在第(N+3)视频帧中捕捉第四帧缝，3D图像产生单元可使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像。

Description

产生三维（3D）全景图像的设备和方法

本申请要求于2011年10月12日在韩国知识产权局提交的第10-2011-0104135号韩国专利申请的优先权益，该申请的公开通过引用合并于此。

技术领域

示例实施例涉及一种使用单个相机产生三维(3D)全景图像的设备和方法，更具体地说，涉及一种用于在不改换针对3D拍摄的硬件(诸如3D镜头或立体系统)的情况下使用传统二维(2D)相机来产生3D全景图像的技术精神。

背景技术

随着数字技术的快速发展，对于3D显示装置(例如，3DTV)的需求正在增大。

3D显示装置提供3D图像内容，即，图像具有处于3D空间中的外观。

重现真实的3D图像的方法正被用于产生3D图像内容。然而，被广泛研究和应用的方法相应于这样的技术：通过分别将与从左方向和右方向观看的场景相同的图像呈现给左眼和右眼，在双眼之间产生视差，并且合成并提供所述图像，以使得看上去好像所述图像是单个3D图像。

可通过将立体视法应用于双眼来从二维(2D)图像产生3D图像内容。此外，通常，需要使用至少两个相机拍摄的图像来创建3D图像内容。

为了便于参考，立体视法是指这样的技术：在2D图像中创建可额外获得的信息，通过创建的附加信息，使得人们能够体验到动感，并感受到真实感，就好像人们处于图像产生的地方。

发明内容

通过提供一种用于产生三维(3D)全景图像的设备来完成上述和/或其它方面，所述设备包括：帧缝捕捉单元，用于在第N视频帧中捕捉第一帧缝，在第(N+2)视频帧中捕捉第二帧缝；3D图像产生单元，用于使用捕捉的第一帧缝和捕捉的第二帧缝来产生左图像。这里，帧缝捕捉单元可在第(N+1)视频帧中捕捉第三帧缝，并可在第(N+3)视频帧中捕捉第四帧缝。3D图像产生单元可使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像。

帧缝捕捉单元可通过使用球面坐标系对多个拍摄的视频帧进行投射来捕捉第一帧缝、第二帧缝、第三帧缝和第四帧缝。

帧缝捕捉单元可计算第一帧缝和第三帧缝之间的间隙，并可将第二帧缝和第四帧缝之间的间隙确定为与在第一帧缝和第三帧缝之间计算的间隙相同。

帧缝捕捉单元可确定用于捕捉第二帧缝的视点，使得第二帧缝可与第一帧缝相连，帧缝捕捉单元可确定用于捕捉第四帧缝的视点，使得第四帧缝可与第三帧缝相连。

还通过提供一种用于产生3D全景图像的设备来完成上述和/或其它方面，所述设备包括：左图像产生单元，用于通过在第2N视频帧中捕捉至少一个左帧缝来产生左图像；右图像产生单元，通过在第(2N-1)视频帧中捕捉至少一个右帧缝来产生右图像；3D图像产生单元，用于基于产生的左图像和产生的右图像来产生3D全景图像。

左图像产生单元可计算所述至少一个左帧缝之间的间隙，右图像产生单元可将所述至少一个右帧缝之间的间隙确定为与在所述至少一个左帧缝之间计算的间隙相同。

左图像产生单元可确定用于捕捉所述至少一个左帧缝的视点，使得所述至少一个左帧缝在左图像中可以是连续的，右图像产生单元可确定用于捕捉所述至少一个右帧缝的视点，使得所述至少一个右帧缝在右图像中可以是连续的。

还通过提供一种产生3D全景图像的方法来完成上述和/或其它方面，所述方法包括：由帧缝捕捉单元在第N视频帧中捕捉第一帧缝，由帧缝捕捉单元在第(N+1)视频帧中捕捉第三帧缝，由帧缝捕捉单元在第(N+2)视频帧中捕捉第二帧缝，由帧缝捕捉单元在第(N+3)视频帧中捕捉第四帧缝，由3D图像产生单元使用捕捉的第一帧缝和捕捉的第二帧缝来产生左图像，由3D图像产生单元使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像。

所述方法还可包括：由帧缝捕捉单元计算第一帧缝和第三帧缝之间的间隙，并将第二帧缝和第四帧缝之间的间隙确定为与在第一帧缝和第三帧缝之间计算的间隙相同。这里，可由帧缝捕捉单元基于在第二帧缝和第四帧缝之间确定的间隙，来捕捉第二帧缝和第四帧缝。

捕捉第二帧缝的步骤可包括：由帧缝捕捉单元确定用于捕捉第二帧缝的视点，使得第二帧缝可与第一帧缝相连，捕捉第四帧缝的步骤可包括：由帧缝捕捉单元确定用于捕捉第四帧缝的视点，使得第四帧缝可与第三帧缝相连。

根据示例实施例，可使用包括单个镜头和单个传感器的单个相机来产生与3D全景图像相应的左3D图像和右3D图像。

根据示例实施例，可使用利用包括在移动电话中的具有低帧率的特性的相机采集的图像，来快速并精确地产生3D全景图像。

根据示例实施例，由于可使用与传统的缝相比相对较大的左缝和右缝来产生帧缝，因此可在低帧率下容易地应用帧缝。

根据示例实施例，可使用任何商品化的图像传感器来产生3D全景图像。

根据示例实施例，与传统技术相比较，由于当对图像进行匹配时使用较大的缝宽度，因此可更容易地处理对图像进行匹配或拼接时产生的鬼像(ghostimage)。

根据示例实施例，由于对于相同视图(即，相同大小)的图像，在图像之间将被匹配的部分的数量可被减少，并且混合的次数也可被减少，因此计算量可被减少。

实施例的另外方面将在下面的描述中部分地阐明，并且从描述中将部分地变清楚，或者可通过本公开的实施被获知。

附图说明

通过以下结合附图对实施例进行的描述，这些和/或其它方面将变得清楚，并更易于理解，其中：

图1示出根据示例实施例的用于产生三维(3D)全景图像的设备；

图2示出根据示例实施例的从多个视点对对象的拍摄；

图3示出使用球面坐标系对在图2中拍摄的图像进行投射的情况；

图4示出根据示例实施例的顶视图形式的每个时间的帧序列；

图5示出根据另一示例实施例的用于产生3D全景图像的设备；

图6示出根据示例实施例的产生3D全景图像的方法。

具体实施方式

现在将详细参考实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参照附图来描述实施例以解释本公开。

当确定详细描述涉及已知功能或配置，这可能在描述中使本公开的目的不必要地模糊时，将省略这样的详细描述。另外，这里使用的术语被定义为适当地描述示例性实施例，因此，所述术语可根据用户、操作者的意图、或惯例而被改变。因此，必须基于本说明书的以下整体描述来定义术语。

图1示出根据示例实施例的用于产生三维(3D)全景图像的设备。

用于产生3D全景图像的设备100可通过在时间轴上选择时间图像来使用左视点图像和右视点图像。

也就是说，设备100可使用在时间轴上从空间的观点看来彼此相距预定距离的不同图像，而不使用单个图像中的左全景图像和右全景图像，来产生左全景图像和右全景图像，从而使得能够使用3D显示装置(诸如3DTV)来观看3D图像。

设备100主要可被用于使用具有连续和重叠的部分的多个帧来产生全景图像。

例如，设备100可被应用于诸如数码静止相机(DSC)、数码视频相机(DVC)、监视相机、移动相机和智能电话的装置。另外，设备100可被用作相机传感器图像信号处理器。

根据示例实施例，设备100可包括帧缝(frameslit)捕捉单元110和3D图像产生单元120。

帧缝表示帧的特定分区。例如，如果帧的大小是“1920×1080”，则帧缝是作为分区的“300×1080”。

帧缝捕捉单元110可在第N视频帧中捕捉第一帧缝，并可在第(N+2)视频帧中捕捉第二帧缝。这里，N是整数。

3D图像产生单元120可使用捕捉的第一帧缝和捕捉的第二帧缝来产生左图像。

帧缝捕捉单元110可在第(N+1)视频帧中捕捉第三帧缝，并可在第(N+3)视频帧中捕捉第四帧缝。3D图像产生单元120可使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像。

也就是说，设备100可使用包括单个镜头和单个传感器的单个相机来产生与3D全景图像相应的左3D图像和右3D图像。

根据示例实施例，可使用利用包括在移动电话中的具有低帧率的特性的相机采集的图像，来快速并精确地产生3D全景图像。

根据示例实施例，由于可使用与传统的缝相比相对较大的左缝和右缝来产生帧缝，因此可在低帧率下容易地应用帧缝。

根据示例实施例，可使用任何商品化的图像传感器来产生3D全景图像。

根据示例实施例，与传统技术相比较，由于当对图像进行匹配时使用较大的缝宽度，因此可更容易地处理对图像进行匹配或拼接(stitch)时产生的鬼像(ghostimage)。

根据示例实施例，由于对于相同视图(即，相同大小)的图像，在图像之间将被匹配的部分的数量可被减少，并且混合的次数也可被减少，因此计算量可被减少。

图2示出根据示例实施例的从多个视点拍摄对象。

图1的设备100可以以模块化的形式被应用在包括相机模块的便携式终端装置(例如，移动终端等)中。

将参照图2和图3描述可使用便携式终端装置来拍摄输入到设备100中的视频帧的示例实施例。

便携式终端装置可使用从多个视点拍摄对象201的相机202来产生多个视频帧。

位于固定位置的相机202可旋转并产生对象201的具有重叠部分的多个图像。

也就是说，相机202可从基于在固定位置的旋转产生的多个视点来拍摄对象201。

这里，旋转可被解释为当用户移动时产生的操作，而不被解释为通过用于移动相机202的预定硬件产生的操作。

因此，用于相机202的旋转的附加硬件可以是不必要的。

用于捕捉的多个视点中的用于捕捉的连续视点可相应于当相机202旋转了角203(θ)时产生的视点，并且从用于捕捉的连续视点捕捉的多个视频帧中的一些视频帧会重叠。

便携式终端装置可通过将相机202旋转了角203(θ)的情形确定为用于捕捉对象的视点，来控制相机202捕捉对象201。

可基于预定大小的旋转角(即，“θ”)来划分用于捕捉的视点中的每一视点。

也就是说，从彼此相差“θ”角的不同视点捕捉的多个视频帧可被处理为用于产生左图像和右图像的帧缝，从而所述多个视频帧被处理为3D全景图像。

例如，在第一视频帧中捕捉的帧缝可被包括在左图像中，在第二视频帧中捕捉的帧缝可被包括在右图像中。

图3示出使用球面坐标系对在图2中拍摄的图像进行投射的情况。

根据示例实施例，帧缝捕捉单元可通过使用球面坐标系对多个拍摄的视频帧进行投射来捕捉第一帧缝、第二帧缝、第三帧缝和第四帧缝。

如图2所示的通过基于作为中心的固定位置将相机202旋转了预定角203而拍摄的图像可在球面坐标系中被表示为当相机移动预定距离时被拍摄的。

换句话说，由于当相机202旋转角203时从多个视点捕捉的视频帧与当相机202在水平方向上移动时捕捉的视频帧之间的差别可能很小，因此，将描述当相机202旋转时捕捉的视频帧和当相机202水平移动时捕捉的视频帧可被确定为相同。

也就是说，相机202可将移动了“ΔI”的视点302识别为用于捕捉对象的视点，并可拍摄对象301。按照上述方式捕捉的视频帧可能除了边缘的部分之外几乎相同。

因此，可如图2所示使用单个相机202，仅通过相机202的旋转运动，在不改变相机202的位置的情况下，来产生3D全景图像。

图4示出根据示例实施例的顶视图形式的每个时间的帧序列。

针对每个时间，捕捉的视频帧可被分为第一视频帧410、第二视频帧420、第三视频帧430和第四视频帧440。

在传统的方法中，可从捕捉的视频帧中的每一帧提取左视点图像和右视点图像。然而，根据示例实施例，可在第一视频帧410和第三视频帧430中捕捉将用于左图像450的帧缝411和431，可在第二视频帧420和第四视频帧440中捕捉将用于右图像460的帧缝421和441。

捕捉的帧缝411和431可被用于左图像450，捕捉的帧缝421和441可被用于右图像460。

根据示例实施例，帧缝捕捉单元可计算第一帧缝411和第三帧缝431之间的间隙(gap)，并可将第二帧缝421和第四帧缝441之间的间隙确定为与在第一帧缝411和第三帧缝431之间计算的间隙相同。

另外，帧缝捕捉单元可确定用于捕捉第二帧缝421的视点，使得第二帧缝421可与第一帧缝411相连，帧缝捕捉单元可确定用于捕捉第四帧缝441的视点，使得第四帧缝441可与第三帧缝431相连。

在传统的技术中，可在单个视频帧中使用左视点图像和右视点图像。然而，根据示例实施例，可通过在时间轴上选择时间图像来使用左视点视频帧和右视点视频帧。

也就是说，根据传统的技术，可基于与在单个视频帧中捕捉的左图像和右图像相应的图像缝之间的间隙，来确定立体图像的基线长度。然而，根据示例实施例，可根据用于获得左图像和右图像的时间间隙，使用左图像和右图像之间的距离来确定基线长度。

当通过在低帧率下应用传统的技术使用较小大小的缝宽图像来产生3D全景图像时，可能无法很好地执行图像匹配，因此，应该缓慢地拍摄图像以产生3D全景图像。

根据示例实施例，由于对于相同视图(即，相同大小)的图像，将在图像之间进行匹配的部分的数量可被减少，并且用于混合的次数也可被减少，因此必要的计算量可被减少。

图5示出根据另一示例实施例的用于产生3D全景图像的设备。

根据另一示例实施例，用于产生3D全景图像的设备500可包括左图像产生单元510、右图像产生单元520和3D图像产生单元530。

左图像产生单元510可通过在第2N视频帧中捕捉至少一个左帧缝来产生左图像。

左图像产生单元510可计算所述至少一个左帧缝之间的间隙。

右图像产生单元520可通过在第(2N-1)视频帧中捕捉至少一个右帧缝来产生右图像。

右图像产生单元520可将所述至少一个右帧缝之间的间隙确定为与在所述至少一个左帧缝之间计算的间隙相同。

例如，当左图像产生单元510按照第二视频帧、第四视频帧和第六视频帧的顺序来捕捉帧缝时，右图像产生单元520可按照第一视频帧、第三视频帧和第五视频帧的顺序来捕捉帧缝。

也就是说，设备500可在单个视频帧中捕捉用于左图像的帧缝和用于右图像的帧缝之一。

3D图像产生单元530可基于产生的左图像和产生的右图像来产生3D全景图像。

设备500可使用在时间轴上从空间的观点看来彼此相距预定距离的不同图像，而不使用单个图像中的左全景图像和右全景图像，来产生左全景图像和右全景图像。

两个视点的左图像和右图像可被用于最近被广泛使用的普通3DTV的输入图像。可使用与大多数相机用户拥有的普通类型的相机相应的包括单个相机镜头和单个相机传感器的单个相机，而不使用具有两个相机镜头的相机，来产生两个视点的左图像和右图像以使用3DTV来观看所述两个视点的左图像和右图像。

图6示出根据示例实施例的产生3D全景图像的方法。

在根据示例实施例的方法中，在操作601，可由帧缝捕捉单元在第N视频帧中捕捉第一帧缝，在操作602，可由帧缝捕捉单元在相连的第(N+1)视频帧中捕捉第三帧缝。

在操作603，可由帧缝捕捉单元在第(N+2)视频帧中捕捉第二帧缝，在操作604，可由帧缝捕捉单元在相连的第(N+3)视频帧中捕捉第四帧缝。

在操作605，可由3D图像产生单元使用捕捉的第一帧缝和第二帧缝来产生左图像。

在操作606，可由3D图像产生单元使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像。

当使用根据示例实施例的产生3D全景图像的方法时，由于可使用与传统的缝相比相对较大的左缝和右缝来产生帧缝，因此可在低帧率下容易地应用帧缝。因此，可使用任何商品化的图像传感器来产生3D全景图像。

根据上述实施例的产生3D全景图像的方法可被记录在非瞬时性计算机可读介质中，所述非瞬时性计算机可读介质包括用于执行由计算机实现的各种操作的程序指令。所述介质还可单独包括数据文件、数据结构等或包括数据文件、数据结构等与程序指令的组合。非瞬时性计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)、光学介质(诸如CD-ROM盘和DVD)、磁光介质(诸如光盘)和专门配置以存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(如由编译器所产生的)和包含可由计算机使用翻译器执行的更高级代码的文件。磁记录设备的示例包括硬盘装置(HDD)、软磁盘(FD)和磁带(MT)。光盘的示例包括DVD(数字通用盘)、DVD-RAM、CD-ROM(光盘-只读存储器)和CD-R(可记录)/RW。上述的硬件装置可被配置为用作一个或多个软件模块以执行上述实施例的操作，反之亦然。

此外，根据实施例的一方面，可提供所描述的特征、功能和/或操作的任何组合。

此外，例如如图1所示的用于产生3D全景图像的设备可包括至少一个处理器以执行上述单元和方法中的至少一个。

根据示例实施例，由于可使用与传统的缝相比相对较大的左缝和右缝来产生帧缝，因此可在低帧率下容易地应用帧缝。

根据示例实施例，可使用任何商品化的图像传感器来产生3D全景图像。

根据示例实施例，与传统技术相比较，由于当对图像进行匹配时使用较大的缝宽度，因此可更容易地处理对图像进行匹配或拼接时产生的鬼像(ghostimage)。

根据示例实施例，由于对于相同视图(即，相同大小)的图像，在图像之间将被匹配的部分的数量可被减少，并且混合的次数也可被减少，因此计算量可被减少。

虽然已示出并描述了实施例，但是本领域技术人员将理解可在不脱离本公开的原理和精神的情况下，在这些实施例中进行改变，本公开的范围由权利要求及其等同物限定。

Claims (12)

1.一种用于产生三维(3D)全景图像的设备，所述设备包括：

帧缝捕捉单元，用于在第N视频帧中捕捉第一帧缝，在第(N+2)视频帧中捕捉第二帧缝；

3D图像产生单元，使用捕捉的第一帧缝和捕捉的第二帧缝来产生左图像，

其中，帧缝捕捉单元在第(N+1)视频帧中捕捉第三帧缝，并在第(N+3)视频帧中捕捉第四帧缝，3D图像产生单元使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像，

其中，帧缝捕捉单元以相同大小交替地捕捉用于左图像的左帧缝和用于右图像的右帧缝，

其中，帧缝捕捉单元确定用于捕捉第二帧缝的视点，使得第二帧缝与第一帧缝相连，帧缝捕捉单元确定用于捕捉第四帧缝的视点，使得第四帧缝与第三帧缝相连。

2.如权利要求1所述的设备，其中，帧缝捕捉单元通过使用球面坐标系对多个拍摄的视频帧进行投射来捕捉第一帧缝、第二帧缝、第三帧缝和第四帧缝。

3.如权利要求1所述的设备，其中，帧缝捕捉单元计算第一帧缝和第三帧缝之间的间隙，并将第二帧缝和第四帧缝之间的间隙确定为与在第一帧缝和第三帧缝之间计算的间隙相同。

4.如权利要求1所述的设备，其中，使用单个相机镜头和单个相机传感器来产生左图像和右图像以使用3D电视来观看所述左图像和右图像。

5.一种用于产生三维(3D)全景图像的设备，所述设备包括：

左图像产生单元，用于通过在第2N视频帧中捕捉至少一个左帧缝来产生左图像；

右图像产生单元，用于通过在第(2N-1)视频帧中捕捉至少一个右帧缝来产生右图像；

3D图像产生单元，用于基于产生的左图像和产生的右图像来产生3D全景图像，

其中，用于左图像的左帧缝和用于右图像的右帧缝被以相同大小交替地捕捉，

其中，左图像产生单元确定用于捕捉所述至少一个左帧缝的视点，使得所述至少一个左帧缝在左图像中是连续的，

右图像产生单元确定用于捕捉所述至少一个右帧缝的视点，使得所述至少一个右帧缝在右图像中是连续的。

6.如权利要求5所述的设备，其中，左图像产生单元和右图像产生单元通过使用球面坐标系对多个拍摄的视频帧进行投射来捕捉左帧缝和右帧缝。

7.如权利要求5所述的设备，其中，

左图像产生单元计算所述至少一个左帧缝之间的间隙，

右图像产生单元将所述至少一个右帧缝之间的间隙确定为与在所述至少一个左帧缝之间计算的间隙相同。

8.如权利要求5所述的设备，其中，使用单个相机镜头和单个相机传感器来产生左图像和右图像以使用3D电视来观看所述左图像和右图像。

9.一种产生三维(3D)全景图像的方法，所述方法包括：

由帧缝捕捉单元在第N视频帧中捕捉第一帧缝；

由帧缝捕捉单元在第(N+1)视频帧中捕捉第三帧缝；

由帧缝捕捉单元在第(N+2)视频帧中捕捉第二帧缝；

由帧缝捕捉单元在第(N+3)视频帧中捕捉第四帧缝；

由3D图像产生单元使用捕捉的第一帧缝和捕捉的第二帧缝来产生左图像；

由3D图像产生单元使用捕捉的第三帧缝和捕捉的第四帧缝来产生右图像，

其中，捕捉的步骤包括：以相同大小交替地捕捉用于左图像的左帧缝和用于右图像的右帧缝，

其中，捕捉第二帧缝的步骤包括：确定用于捕捉第二帧缝的视点，使得第二帧缝与第一帧缝相连，

捕捉第四帧缝的步骤包括：确定用于捕捉第四帧缝的视点，使得第四帧缝与第三帧缝相连。

10.如权利要求9所述的方法，其中，帧缝捕捉单元通过使用球面坐标系对多个拍摄的视频帧进行投射来捕捉第一帧缝、第二帧缝、第三帧缝和第四帧缝。

11.如权利要求9所述的方法，还包括：

由帧缝捕捉单元计算第一帧缝和第三帧缝之间的间隙，并将第二帧缝和第四帧缝之间的间隙确定为与在第一帧缝和第三帧缝之间计算的间隙相同，

其中，由帧缝捕捉单元基于在第二帧缝和第四帧缝之间确定的间隙，来捕捉第二帧缝和第四帧缝。

12.如权利要求9所述的方法，其中，使用单个相机镜头和单个相机传感器来产生左图像和右图像以使用3D电视来观看所述左图像和右图像。