CN110140148B - 在从多个相机得到的图像中对接缝进行多频带混合的方法和装置 - Google Patents

Abstract

提供了一种用于以使得能够减少图像之间的接缝处或附近的图像缺陷和其他伪像的方式来将由多个相机捕获的图像组合成全景图像(诸如360°全景)的方法、装置和计算机程序产品。在示例实施例的一些实现中，两个图像的交叠部分被分解为预定的频带的数目。对于大多数频带，当混合与相关频带相关联的图像时，应用高斯型拉普拉斯混合掩模。对于最后频带，应用线性混合掩模，并且将频带组合成图像，该图像可以与以由相机阵列捕获的多个图像的各部分为特征的全景图像结合使用。在一些示例实现中，可以部分地基于所选择的锐度因子来确定最后频带的带宽。

Description

在从多个相机得到的图像中对接缝进行多频带混合的方法和 装置

技术领域

示例实施例总体上涉及提供图像处理的系统。示例实现特别地涉及用于以使得能够减少图像之间的接缝处或附近的图像缺陷和其他伪像的方式来将由多个相机捕获的图像组合成全景图像(诸如360°全景)的系统、方法和装置。

背景技术

随着视觉媒体和其他内容的观众继续寻求改进的媒体体验，诸如广角视图以及360°图像和视频等全景视图的使用已经变得越来越流行。在内容查看器寻求沉浸式观看体验的环境中，全景视图的创建和使用变得越来越流行，诸如通过使用虚拟现实系统、使用头戴式显示器的系统以及被配置为在比由传统图像查看系统提供的视野更宽广的视野上呈现内容的其他系统。

例如，全景视图(诸如，360°图像或视频)可以使用多个相机来捕获，这些相机可以捕获部分地交叠图像，这些部分地交叠图像可以组合以形成组合图像，该组合图像呈现比单相机系统可获取的视野更宽的视野。然而，多个图像的组合提出了很多技术挑战，特别是在相机和相机取向之间的差异以及其他技术挑战导致两个图像之间的接缝处或附近的不协调和其他图像伪像的情况下。本文中公开的本发明的发明人已经标识出这些和其他技术挑战，并且已经开发了本文中描述和以其他方式引用的解决方案。

发明内容

因此，根据示例实施例提供了用于以使得能够减少图像之间的接缝处或附近的图像缺陷和其他伪像的方式来将由多个相机捕获的图像组合成全景图像的方法、装置和计算机程序产品。在这些方面，示例实施例的方法、装置和计算机程序产品提供将高斯型拉普拉斯掩模和线性混合掩模用于与两个图像的交叠部分相关联的所选择的频带。

在示例实施例中，提供了一种方法，该方法包括：接收与第一图像的区域相关联的图像数据集合和与第二图像的区域相关联的图像数据集合，其中第一图像的区域和第二图像的区域包括第一图像和第二图像的交叠部分；接收与第一图像和第二图像的交叠部分相关联的多个频带的指示；确定与多个频带内的最后频带相关联的带宽；针对多个频带内的每个频带计算拉普拉斯图像；将线性混合掩模应用于与多个频带内的最后频带相关联的拉普拉斯图像以形成与最后频带相关联的经混合的图像；将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉斯图像以形成与多个频带相关联的多个经混合的图像；以及将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合。

在该方法的一些示例实现中，确定最后频带的带宽包括至少部分基于预定的锐度因子来计算带宽。在一些这样的示例实现中，以及在其他示例实现中，将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉图像以形成多个经混合的图像包括利用高斯内核使二元掩模模糊，其中高斯内核与预定的参数的集合相关联。在一些这样的示例实现中，预定的参数的集合包括平均参数和方差参数。在一些这样的示例实现中，以及在其他示例实现中，该方法还包括将经模糊的二元掩模划分为第一分辨率和第二分辨率。

在这种方法的一些示例实现中，多个频带的指示是是预定数目的频带。在一些这样的示例实现中，以及在其他示例实现中，将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合包括对经混合的图像进行放大和求和。

在另一示例实施例中，提供了一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少：接收与第一图像和第二图像的交叠部分相关联的多个频带的指示；确定与多个频带内的最后频带相关联的带宽；针对多个频带内的每个频带计算拉普拉斯图像；将线性混合掩模应用于与多个频带内的最后频带相关联的拉普拉斯图像以形成与最后频带相关联的经混合的图像；将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉斯图像以形成与多个频带相关联的多个经混合的图像；以及将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合。

在这种装置的一些示例实现中，使得该装置确定最后频带的带宽包括使得该装置至少部分基于预定的锐度因子来计算带宽。在一些这样的示例实现中，以及在其他示例实现中，使得该装置将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉斯图像以形成多个经混合的图像包括使得该装置利用高斯内核使二元掩模模糊，其中高斯内核与预定的参数的集合相关联。在一些这样的示例实现中，以及在其他示例实现中，预定的参数的集合包括平均参数和方差参数。在一些这样的示例实现中，至少一个存储器和计算机程序代码被配置为与处理器一起进一步使得该装置将模糊二元掩模划分为第一分辨率和第二分辨率。

在这种装置的一些示例实现中，多个频带的指示是是预定数目的频带。在一些这样的示例实现中，以及在其他示例实现中，使得该装置将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合包括使得该装置对经混合的图像进行放大和求和。

在另一示例实施例中，提供了一种计算机程序产品，其包括存储有计算机可执行程序代码指令的至少一个非瞬态计算机可读存储介质，计算机可执行程序代码指令包括被配置为进行以下操作的程序代码指令：接收与第一图像和第二图像的交叠部分相关联的多个频带的指示；确定与多个频带内的最后频带相关联的带宽；针对多个频带内的每个频带计算拉普拉斯图像；将线性混合掩模应用于与多个频带内的最后频带相关联的拉普拉斯图像以形成与最后频带相关联的经混合的图像；将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉斯图像以形成与多个频带相关联的多个经混合的图像；以及将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合。

在这种计算机程序产品的一些示例实现中，确定最后频带的带宽包括至少部分基于预定的锐度因子来计算带宽。在一些这样的示例实现中，以及在其他示例实现中，将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉图像以形成多个经混合的图像包括利用高斯内核使二元掩模模糊，其中高斯内核与预定的参数的集合相关联，其中预定的参数的集合包括平均参数和方差参数。在一些这样的示例实现中，计算机可执行程序代码指令还包括被配置为将经模糊的二元掩模划分为第一分辨率和第二分辨率的程序代码指令。

在这种计算机程序产品的一些示例实现中，多个频带的指示是是预定数目的频带。在一些这样的示例实现中，以及在其他示例实现中，将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合包括对经混合的图像进行放大和求和。在又一示例实施例中，提供了一种装置，该装置包括用于接收与第一图像的区域相关联的图像数据集合和与第二图像的区域相关联的图像数据集合的装置，其中第一图像的区域和第二图像的区域包括第一图像和第二图像的交叠部分；用于接收与第一图像和第二图像的交叠部分相关联的多个频带的指示的装置；用于确定与多个频带内的最后频带相关联的带宽的装置；用于针对多个频带内的每个频带计算拉普拉斯图像的装置；用于将线性混合掩模应用于与多个频带内的最后频带相关联的拉普拉斯图像以形成与最后频带相关联的经混合的图像的装置；用于将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉斯图像以形成与多个频带相关联的多个经混合的图像的装置；以及用于将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合的装置。

在这种装置的一些示例实现中，确定最后频带的带宽包括至少部分基于预定的锐度因子来计算带宽。在一些这样的示例实现中，以及在其他示例实现中，将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉图像以形成多个经混合的图像包括利用高斯内核使二元掩模模糊，其中高斯内核与预定的参数的集合相关联。在一些这样的示例实现中，预定的参数的集合包括平均参数和方差参数。在一些这样的示例实现中，该装置还包括用于将经模糊的二元掩模划分为第一分辨率和第二分辨率的部件。

在一些这样的示例实现中，以及在其他示例实现中，多个频带的指示是是预定数目的频带。在一些这样的示例实现中，以及在其他示例实现中，将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合包括对经混合的图像进行放大和求和。

附图说明

已经概括地描述了本公开的某些示例实施例，以下将参考附图，附图不一定按比例绘制，并且其中：

图1描绘了被配置为捕获根据本发明的示例实施例处理的图像的第一相机和第二相机的相应的视野；

图2是可以根据本发明的示例实施例具体配置的装置的框图；

图3是示出示例相邻图像和这样的相邻图像之间的交叠部分的框图；

图4A描绘了可以根据本发明的示例实施例使用的高斯型拉普拉斯掩模的示例轮廓的图形化表示；

图4B描绘了可以根据本发明的示例实施例使用的示例线性掩模的轮廓的图形化表示；以及

图5是示出根据本发明的示例实施例的诸如通过图2的装置执行的操作的流程图。

具体实施方式

现在将在下文中参考附图更全面地描述一些实施例，附图中示出了本发明的一些但非全部实施例。事实上，本发明的各种实施例可以以很多不同的形式实现，并且不应当被解释为限于本文中阐述的实施例；相反，提供这些实施例是为了使得本公开满足适用的法律要求。相同的附图标记始终指代相同的元素。如本文中使用的，术语“数据”、“内容”、“信息”和类似术语可以互换使用以指代能够根据本发明的实施例来传输、接收和/或存储的数据。因此，任何这样的术语的使用不应当被用来限制本发明的实施例的精神和范围。

附加地，如本文中使用的，术语“电路”是指(a)仅硬件电路实现(例如，使用模拟电路和/或数字电路的实现)；(b)电路和计算机程序产品的组合，包括存储在一个或多个计算机可读存储器上的软件和/或固件指令，它们一起工作以使得装置执行本文中描述的一个或多个功能；(c)即使软件或固件实际上不存在也需要软件或固件来进行操作的电路，例如，微处理器或微处理器的一部分。“电路”的这种定义适用于该术语在本文中的所有用途，包括在任何权利要求中。作为进一步的示例，如本文中使用的，术语“电路”还包括：包括一个或多个处理器和/或其一部分以及附带的软件和/或固件的实现。作为另一示例，本文中使用的术语“电路”还包括例如用于移动电话的基带集成电路或应用处理器集成电路，或服务器、蜂窝网络设备、其他网络设备、和/或其他计算设备中的类似集成电路。

如本文中定义的，“计算机可读存储介质”(其是指非瞬态物理存储介质(例如，易失性或非易失性存储器设备))，可以被与“计算机可读传输介质”(其是指电磁信号)区分开。

根据示例实施例提供了一种用于例如以使得能够减少相邻图像之间的接缝处或附近的图像缺陷和其他伪像的方式来将由多个相机捕获的图像组合成单个图像(诸如360°全景图或其他全景图像)的方法、装置和计算机程序产品。在这方面，可以至少部分地通过以下方式来生成全景图像：应用多频带方法以通过确定要在混合中使用的频带的数目来混合要缝合在一起的两个图像的接缝区域，计算要在最后频带中使用的带宽，将高斯型拉普拉斯(“LOG”)掩模应用于除了最后频带之外的所有频带，并且将线性掩模应用于最后频带。然后可以对混合的带进行放大和求和以创建接缝区域的最后图像部分，该最后图像部分又可以与用于形成合成全景图像的下层图像的非接缝部分组合。

通过由多个相机捕获的图像的组合形成的全景图像的使用已经变得越来越流行，特别是在寻求创建沉浸式观看体验的内容创建者和寻求这种沉浸式观看体验的观看者中。例如，在一些场景中，全景图像用于向使用专用观看设备(诸如虚拟现实耳机和/或其他头戴式显示器、或能够向观看者呈现宽视野的另一种观看装置)的观看者呈现非常宽的视野，诸如360°视图或其他宽视野，。

因此，一些示例实现考虑使用适合于捕获在虚拟现实和其他沉浸式内容环境中使用的图像的设备，诸如诺基亚的OZO系统，其中多个相机被放置成阵列使得每个相机瞄准特定的方向以捕获特定的视野。无论本文中描述的示例实施例的示例实现中使用的特定的相机布置如何，根据本发明的示例实施例生成的全景视图通常基于由至少两个相机捕获的图像。在图1中描绘的示例相机阵列100中，存在两个相机101a(为了清楚起见其被标记为C1)和101b(为了清楚起见其被标记为C2)。虽然在图1中的相机阵列100中仅描绘了两个相机，但是应当理解，在其他示例相机阵列中，图像可以由多于两个相机捕获，诸如三个或更多个相机，并且然后组合以生成全景图像。例如，相机C1和C2可以作为多个相机C1、C2、C3、C4、......、Cn的部分被包括。此外，多个相机可以被布置为使得由C1和C2捕获的图像具有相互交叠的部分、由C2和C3捕获的图像具有相互交叠的部分、由C3和C4捕获的图像具有相互交叠的部分、并且由Cn和C1捕获的图像具有相互交叠的部分，使得当组合图像时，360°视图被创建。可以使用具有不同视野的各种不同类型的相机以便捕获可以组合以生成一个或多个全景视图的图像。然而，在本文中关于图1描述的示例阵列中，相机101a和101b中的每个是具有180°视野的鱼眼相机。此外，虽然相机101a和101b中的每个可以是相同类型的相机并且可以具有在相同的角度范围(诸如180°)上延伸的视野，但是在其他实施例中，在阵列100的示例实现和/或其他阵列中使用的相机可以彼此不同并且可以具有不同的视野。例如，示例阵列中的一个或多个相机可以具有大于180°的视野，诸如195°的视野，或小于180°的视野。

如图1所示，相机101a和101b被定位以便具有不同的视野。然而，至少两个相机的视野具有相互交叠的部分。如图1所示，例如，第一相机101a(或C1)具有180°的视野，如线102a所示。类似地，第二相机101b(或C2)具有180°的视野，如线102b所示。如图1中的示例布置所示，每个相机101a和101b的视野彼此不同，但是共享相互交叠的部分。在这方面，第一相机和第二相机的视野在图1中标记为104的区域中交叠。虽然图1中描绘的示例阵列100将相机101a和101b示出为以对称关系布置，使得第一相机101a和第二相机101b以相同的角度设置并且与它们各自的视野的交叠部分隔开相同的距离，但是在其他实施例中，相机可以不同地定位和定向。

为了形成全景图像，通常需要将从每个相机接收的图像缝合在一起，使得可以向观看者呈现连续的组合的图像，该图像呈现由多个相机捕获的图像元素。为了允许创建这样的组合全景图像，相机阵列内的相邻相机通常被配置和定向为使得它们各自视野的部分交叠。虽然交叠的视野确保了来自相邻相机的图像通常允许创建反映多个相机的整个组合视野的连续的全景图像，但是当试图以使得能够限制在接缝处和/或附近的图像部分中可见的伪像和/或其他缺陷的方式在两个相邻图像之间建立接缝时，这种布置也带来很多技术挑战。

一些这样的技术挑战是多相机阵列内的相机的定向和/或校准所固有的。在很多典型的情况和场景中，通常以使得能够有利于无限场景定位的方式执行相机校准。因此，相对位于相机附近的物体可能受到视差效应。在一些这样的情况下，以及在两个或更多个相机具有交叠视野的其他情况下，在接缝区域处或附近的对象和/或其他图像元素(诸如，出现在多个图像的部分图像中的那些)可能呈现为幻影和/或模糊的图像伪像，这取决于用于组合相邻图像的方法。无论接缝区域处的图像伪像和/或其他缺陷的来源如何，这些伪像和缺陷都可能导致观看体验的中断，导致组合的全景图像偏离内容创建者或内容管理者的意图，和/或可能否则不受欢迎。

图3描绘了示例图像对300，其反映了可以缝合在一起以形成全景图像并且可能受到本文中描述的至少一些技术挑战的相邻图像的潜在布置。如图3所示，示例图像对300包括第一图像302和第二图像304。在图像对300的一些示例实现中，例如，第一图像302可以由阵列中的一个相机捕获(诸如，图1所示的相机101a)，以及例如，第二图像可以由同一阵列中的第二相机捕获(诸如，图1所示的相机101b)。图像302和304在图3中示出为具有交叠部分306，其中图像元素出现在第一图像302和第二图像304两者中。例如，如图3所示，图像302的右边缘308包含图像元素，该图像元素在图像304的左边缘310处或附近的图像元素的右侧，使得交叠区域306在图3中呈现的示例中被定义为边缘310和308之间的区域。如图3所示，图像304被示出为部分地覆盖在图像302上，使得为了清楚起见，边缘308被示出为虚线。然而，应当理解，图3不一定按比例绘制，并且在一些情况下，图像302可以覆盖在图像304上。在图像对300的一些示例实现中，交叠部分306可以是与图像302相关联的相机的产物，该相机的视野与第二图像304相关联的相机的视野相交和/或以其他方式交叠。例如，并且参考图1，图3中的交叠图像部分306可以对应于由图1中的交叉视野102a和102b建立的区域104的至少一部分。

虽然示例图像对300的交叠区域306通常可以对应于描绘相同图像元素的图像302和304的部分，但是本文中解决的很多技术挑战出现在特定图像元素的外观因图像而异的情景下。例如，视差效应、相机之间的视角差异、从每个相机到图像元素的距离的差异、两个相机之间的焦距的差异、和/或每个相机的图像捕获元件的差异可能导致出现在一个图像中的图像元素具有不同的取向、大小、着色和/或其在相邻图像中的外观的阴影、焦点和/或其他方面。

在一些示例实现中，OZO相机和/或另一相机阵列被用于捕获多个图像。在这样的示例情景中，大多数图像内容被复制到输出全景，而图像的交叠区域被单独处理以创建混合接缝区域。在传统过程中，可以使用金字塔和/或多频带混合方法或双频带混合方法来计算图像的经混合的部分，经混合的部分然后可以复制到输出全景图上。

在传统的多频带混合方法中，交叠区域通常以不同的分辨率分解成多个子频带。然后可以通过以不同比例应用高斯函数来模糊二元掩模，并且将其作为模糊掩模应用于各个子频带。在传统的双频带混合中，通常在混合交叠图像时应用线性斜坡。这两种传统方法经常导致最后输出全景中的可见的伪像和/或缺陷，包括幻影图像元素、模糊图像元素和其他伪像和/或缺陷。

为了解决至少这些技术挑战，本文中描述、设想和以其他方式公开的本发明的示例实施例提供了用于图像拼接的多频带图像混合，其为任何可配置的频带的数目提供了改进的结果以及减少的伪像和其他缺陷。这样的实施例的一些示例实现提供了可配置的频带的数目的使用以用于混合两个图像的交叠部分。在一些这样的示例实现中，可配置的频带的数目可以由用户选择和/或标识。在一些其他示例实现中，可配置的频带的数目可以至少部分基于一个或多个频带的带宽来设置。

无论频带的数目是如何被选择和/或以其他方式配置的，一些示例实现涉及标识所选择的频带的数目内的最后频带，以及计算与该频带相关联的带宽。在一些示例情形中，与最后频带相关联的带宽可以被认为是最佳带宽。这种最佳带宽的计算可以至少部分地基于预定的锐度因子和/或可以由用户设置的另一可配置的调谐参数。通常，高锐度因子的选择将倾向于减小最后频带的宽度，并且将倾向于保留接缝区域中的高频信息，但是可能导致跨越拼接图像的交叠区域的潜在可见频带。相反，低锐度因子的选择通常会导致最后频带的宽度增加，并且将倾向于在交叠区域中提供平滑的颜色过渡并且降低交叠部分中可见条带的可能性，同时可能导致接缝周围的区域的整体锐度降低。

在一些情况下，最后频带的带宽可以基于由用户选择的锐度因子来确定。在这种情况下的一些示例实现中，带宽可以与锐度因子成反比。在一些这样的示例实现中，频带的宽度可以被设置为18个像素(这可以被视为针对给定锐度因子的最佳设置)。根据示例等式，如果锐度因子减小，则该宽度可以增加，而如果锐度因子增加，则该宽度可以减小：

(Width_of_Final_Band)＝18/(Sharpness_Factor)

应当理解，为了清楚起见，上面的示例等式以简化形式示出，并且本发明的实施例的一些示例实现考虑将最后频带的宽度与锐度因子相关联的更复杂的等式(例如，诸如可以考虑附加的因素、设置和/或用户偏好的那些等式)。

还应当理解，在一些示例实现中，在针对最后频带而计算的频带宽度(例如，其可以基于由用户选择的M个频带来计算之间可能存在依赖性和/或相关性，其在给定情况下，小于最后频带的最佳带宽。在这种情况下，可能有利的是将频带的数目从M减少到M-1(尽管用户提供M个频带的选择)并且将第M-1^th频带设置为最后频带。

一些示例实现考虑到，在为最后频带选择带宽之后，将要组合的两个相邻图像的交叠区域划分为用于每个频带的多个拉普拉斯图像。在一些这样的示例实现中，利用高斯内核使二元掩模模糊。这种经模糊的掩模(其可以称为高斯型拉普拉斯(“LOG”)掩模)可以进一步划分为低分辨率，以确保对于除了最后频带之外的每个频带，都有掩模可以用于模糊拉普拉斯图像。在创建多个模糊掩模之后，可以应用掩模来模糊与除了最后频带之外的每个频带相关联的拉普拉斯图像。

在本发明的实施例的示例实现中，最后频带的处理方式与其他频带不同，至少在不是将LOG掩模应用于最后频带而是使用线性掩模的意义上。例如，从1到0的线性斜坡下降掩模可以与第一图像的一部分一起使用，诸如图3中的图像302，第一图像与第二图像(诸如图3中的图像304)交叠，然而从0到1的线性斜坡上升掩模可以与第二图像的相应的交叠部分一起使用。换言之，并且参考图3，在位于交叠区域306内的图像302的带上可以使用线性斜坡下降掩模，并且在位于交叠区域306内的图像304的带上可以使用线性斜坡上升掩模。

LOG掩模和线性掩模的示例图形化表示分别在图4A和4B中示出。如图4A所示，图形区域400由y轴402(其在图4A中呈现的示例中示出为具有从原点处的零值到值1的标度)和x轴404(其在图4A中呈现的示例中示出为表示特定的频带内的多个像素)定义。应当理解，尽管图4A和4B中呈现的示例使用18像素的带宽，但是可以使用其他带宽，例如，基于本文中公开和以其他方式考虑的带宽的计算和/或其他设置。如图4A所示，曲线406描绘了与LOG掩模相关联的轮廓，其可以根据本发明的实施例的示例实现，应用于与接缝区域相关联的多个频带(除了最后带之外)中的任何一个。

在图4B中，具有相同轴402和404的相同图形区域400用于示出线性掩模的轮廓408，线性掩模可以根据本发明的实施例的示例实现应用于与接缝区域相关联的最后频带。应当理解，与要用于混合多个图像的接缝区域的频带相关联的不同带宽和/或其他参数的选择可能导致图4A和4B中描绘的轮廓406和408的斜率和/或曲率的变化，仍然实现本文中公开和以其他方式考虑的本发明的实施例

在一些示例实现中，在已经将适当的掩模应用于各种频带以创建经混合的频带之后，可以对经混合的频带进行放大和求和以提供可以被添加到全景图像和/或以其他方式与创建组合全景图像相结合使用的最后接缝区域。

如本文中全文所讨论的，本文中公开和以其他方式考虑的本发明的示例实施例涉及提供可以通过组合多个图像来形成的改进的全景图像。例如，基于由相机101a和101b捕获的图像，根据本文中描述的技术、方法和其他发展生成并且组合全景视图。在这方面，全景视图可以由如图2所示的装置200生成。该装置可以由(多个)相机中的一个相机实现，或者可以分布在相机之间。备选地，装置200可以由在相机外部的另一计算设备实现。例如，该装置可以由个人计算机、计算机工作站、服务器、或类似的实现，或者由各种移动计算设备(诸如移动终端，例如智能手机、平板电脑、视频游戏等)实现。备选地，该装置可以由虚拟现实系统(诸如头戴式显示器)实现。

不管装置200的实现方式如何，示例实施例的装置被配置为包括处理器202和存储器设备204以及可选的用户接口206和/或通信接口208，或者与处理器202和存储器设备204以及可选的用户接口206和/或通信接口208进行通信。在一些实施例中，处理器(和/或协处理器，或辅助处理器的任何其他处理电，或以其他方式与处理器相关联的任何其他处理电路)可以经由总线与存储器设备通信以用于在装置的组件之间传递信息。存储器设备可以是非瞬态的，并且可以包括例如一个或多个易失性和/或非易失性存储器。换言之，例如，存储器设备可以是电子存储设备(例如，计算机可读存储介质)，其包括被配置为存储可以由机器(例如，诸如处理器等计算设备)检索的数据(例如，比特)的门。存储器设备可以被配置为存储信息、数据、内容、应用、指令、或类似的，以使得装置能够执行根据本发明示例实施例的各种功能。例如，存储器设备可以被配置为缓冲输入数据以供处理器处理。附加地或备选地，存储器装置可以被配置为存储供处理器执行的指令。

如上所述，装置200可以由计算设备实现。然而，在一些实施例中，该装置可以实现为芯片或芯片组。换言之，该装置可以包括一个或多个物理封装件(例如，芯片)，该封装件包括结构组件(例如，基板)上的材料、组件和/或电线。结构组件可以为其上包括的组件电路提供物理强度、尺寸守恒和/或电性的相互作用的限制。因此，在一些情况下，该装置可以被配置为在单个芯片上或作为单个“片上系统”实现本发明的实施例。因此，在一些情况下，芯片或芯片组可以构成用于执行用于提供本文中描述的功能的一个或多个操作的部件。

处理器202可以以多种不同方式实现。例如，处理器可以实现为各种硬件处理部件中的一个或多个，诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理元件、或各种其他处理电路，包括集成电路，诸如例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。这样，在一些实施例中，处理器可以包括被配置为独立执行的一个或多个处理核。多核处理器可以在单个物理封装件内实现多处理。附加地或备选地，处理器可以包括经由总线以串联配置以实现指令、流水线和/或多线程的独立执行的一个或多个处理器。

在示例实施例中，处理器202可以被配置为执行存储在存储器设备204中或者否则处理器可访问的指令。附加地或备选地，处理器可以被配置为执行硬编码功能。这样，无论是通过硬件方法还是软件方法或通过硬件方法和软件方法的组合来配置，处理器可以表示能够在被相应地配置时执行根据本发明的实施例的操作的实体(例如，在电路中物理地实现)。因此，例如，当处理器实现为ASIC、FPGA、或类似的时，处理器可以是用于进行本文中描述的操作的专门配置的硬件。备选地，作为另一示例，当处理器实现为软件指令的执行器时，指令可以具体地将处理器配置为在指令被执行时执行本文中描述的算法和/或操作。然而，在一些情况下，处理器可以是特定的设备(例如，直通显示器或移动终端)的处理器，该特定的设备被配置为通过用于执行本文中描述的算法和/或操作的指令来进一步配置处理器来采用本发明的实施例。处理器尤其可以包括被配置为支持处理器的操作的时钟、算术逻辑单元(ALU)和逻辑门。

在一些实施例中，装置200可以可选地包括用户接口206，反过来，用户接口206又可以与处理器202通信以向用户提供输出并且在一些实施例中接收用户输入的指示。这样，用户界面可以包括显示器，并且在一些实施例中，还可以包括键盘、鼠标、操纵杆、触摸屏、触摸区域、软键、麦克风、扬声器或其他输入/输出机制。附加地或备选地，在一些实施例中处理器可以包括被配置为控制一个或多个用户界面元件(诸如显示器，控制扬声器、振铃器、麦克风、或类似的)的至少一些功能的用户接口电路。处理器和/或包括处理器的用户接口电路可以被配置为通过存储在处理器可访问的存储器(例如，存储器设备204、和/或类似的)上的计算机程序指令(例如，软件和/或固件)来控制一个或多个用户接口元件的一个或多个功能。

装置200还可以可选地包括通信接口208。通信接口可以是任何部件，诸如以硬件或硬件和软件的组合实现的设备或电路，其被配置为从/向网络和/或与装置通信的任何其他设备或模块接收和/或传输数据。在这方面，通信接口可以包括例如天线(或多个天线)和用于实现与无线通信网络的通信的支持硬件和/或软件。附加地或备选地，通信接口可以包括用于与天线交互以使得经由天线传输信号或处理经由天线接收的信号的接收的电路。在一些环境中，通信接口可以备选地或也可以支持有线通信。这样，例如，通信接口可以包括通信调制解调器和/或用于支持经由电缆、数字用户线(DSL)、通用串行总线(USB)或其他机制的通信的其他硬件/软件。

现在参考图5，由根据本发明的示例实施例的图2的装置200执行的操作被描绘为处理流程500。在这方面，该装置包括用于以使得能够减少图像之间的接缝处或附近的图像缺陷和其他伪像的方式将由多个相机捕获的图像组合成全景图像的装置，诸如处理器202、存储器204、用户接口206、通信接口208、或者类似的。

如图5所示，该装置包括用于接收与第一图像的区域相关联的图像数据集合和与第二图像的区域相关联的图像数据集合的部件，诸如处理器202、存储器204、用户接口206、通信接口208、或类似的，其中第一图像的区域和第二图像的区域包括第一图像和第二图像的交叠部分。例如，并且参考图5的框502，示例实施例的装置200可以接收与两个图像的交叠部分相关联的图像数据集合。如本文中讨论的，本发明的实施例的示例实现经常出现在多个相机(例如，图1所示的OZO系统的相机和/或相机阵列的其他实现)用于捕获图像的情况下，这些图像可以缝合在一起以形成全景视图。可以结合框502的示例实现来使用接收各组图像数据的任何方法。在框502的一些示例实现中，由多个相机捕获的图像具有至少一些交叠部分。在一些这样的示例实现中，将不与其他图像交叠的捕获图像的部分直接传递到输出图像可能在计算上有效，而与图像的交叠部分相关联的图像数据可以根据本文中公开和以其他方式考虑的过程、方法和/或其他技术以使得能够带来很少可见的伪像或其他缺陷(如果有的话)的方式来处理以混合交叠图像的接缝区域。

该装置还包括用于接收与第一图像和第二图像的交叠部分相关联的多个频带的指示的部件，诸如处理器202、存储器204、用户接口206、通信接口208、或类似的。例如，并且参考图5的框504，示例实施例的装置200可以接收与图像的交叠部分相关联的多个频带的指示。如本文所述，本发明的实施例的示例实现设想使用图像的交叠部分的高级多频带混合来建立在全景视图中从一个图像到相邻图像的接缝和/或其他过渡。在一些示例实现中，多个频带的指示是是预定数目的频带，在一些情况下，是预定数目的频带可以由用户输入。然而，在框504的示例实现中可以使用任何设置与两个图像的交叠部分相关联的频带的方法，并且在一些示例实现中，可以预设频带的数目，诸如用软件、硬件和/或固件，或者以其他方式建立而无需来自用户的输入。

该装置还包括用于确定与多个频带内的最后频带相关联的带宽的部件，诸如处理器202、存储器204、用户接口206、通信接口208、或类似的。例如，并且参考图5的框506，示例实施例的装置200可以确定最后频带的带宽。如本文中描述和另外预期的，本发明的实施例的示例实现设想使用多个频带并且对于最后频带使用与用于与两个图像的交叠部分相关联的其他频带的处理不同的处理。本文中描述或以其他方式预期的用于确定与最后频带相关联的带宽的任何方法可以结合框506的示例实现使用。在一些示例实现中，确定最后频带的带宽包括至少部分基于预定的锐度因子来计算带宽。如本文中讨论的，在一些场景中，锐度因子可以由用户设置和/或由装置200以其他方式获取并且用于设置最后频带的宽度。在这样的示例情况下，锐度因子可以与确定最后频带的最佳带宽一起使用，并且在一些场景中可以表现出与最后频带的宽度成反比关系。

该装置还包括用于针对多个频带内的每个频带计算拉普拉图像的部件，诸如处理器202、存储器204、用户接口206、通信接口208、或类似的。例如，并且参考图5的框508，示例实施例的装置200可以计算多个频带内的每个频带的拉普拉图像。计算拉普拉斯图像和/或将图像变换为拉普拉斯图像的任何方法可以与框508的示例实现相结合使用。例如，在一些示例实现中，两个相邻图像的交叠区域在与图像相关联的每个频带相关联的级别上被划分为多个拉普拉斯图像。在一些情况下，计算和/或变换两个图像的交叠部分的多个频带实现了本文中考虑的两个图像的改进的混合和组合。在一些这样的情况下，可能有利的是，在应用一个或多个混合掩模之前，以不同的分辨率将图像分解成多个子频带。

该装置还包括用于将线性混合掩模应用于与多个频带内的最后频带相关联的拉普拉图像以形成与最后频带相关联的经混合的图像的部件，诸如处理器202、存储器204、用户接口206、通信接口208等。例如，并且参考图5的框510，示例实施例的装置200可以将线性混合掩模应用于与最后频带相关联的拉普拉图像。如本文中讨论的，本文中公开和以其他方式预期的本发明的示例实施例涉及使用线性混合掩模用于与两个图像的交叠部分相关联的最后频带，以及针对剩余频带使用LOG混合掩模。开发线性混合掩模和将这样的掩模应用于图像的任何方法可以与框510的示例实现相结合使用，包括但不限于本文中关于图4A讨论的那些。在一些情况下，可能有利的是，当在最后频带上操作时，将线性斜降掩模应用于与两个图像的交叠部分相关联的一个图像，并且将线性斜升掩模应用于相应的图像。

该装置还包括用于将高斯型拉普拉斯混合掩模应用于与除了最后频带之外的多个频带内的每个频带相关联的每个拉普拉斯图像以形成与多个频带相关联的多个经混合的图像的部件，诸如处理器202、存储器204、用户接口206、通信接口208、或类似的。例如，并且参考图5的框512，示例实施例的装置200可以将高斯型拉普拉斯掩模应用于剩余频带。用于开发一个或多个LOG混合掩模并且将这样的掩模应用于图像的任何方法可以与框512的示例实现相结合使用，包括但不限于本文中关于图4A讨论的那些。在框514的一些示例实现中，应用LOG混合掩模包括利用高斯内核使二元掩模模糊。在一些这样的实例实现中，高斯内核可以与预定的参数的集合相关联，诸如均值、方差或与高斯内核的一方面相关的另一参数。在一些示例实现中，将经模糊的二元掩模进一步划分为第一分辨率和第二分辨率可能是有利的。在一些这样的示例实现中，例如，将模糊掩模划分为多个分辨率(诸如低分辨率)可以在每个频带中提供可以用于模糊与这样的频带相关联的图像的可用的掩模。

该装置还包括用于将与多个频带相关联的多个经混合的图像和与最后频带相关联的经混合的图像进行组合的部件，诸如处理器202、存储器204、用户接口206、通信接口208、或类似的。例如，并且参考图5的框514，示例实施例的装置200可以组合经混合的图像。例如，用于组合图像的任何方法(诸如，适用于与一个或多个频带相关联的拉普拉斯图像的技术)可以与框514的示例实现相结合使用。在一些示例实现中，可能有利的是，对经混合的图像进行放大和求和，使得多个经混合的图像(即，与使用LOG掩模模糊的每个频带相关联的图像和与使用线性掩模模糊的最后频带相关联的任何图像)可以组合以形成可以与全景图像相结合使用的经混合的图像区域。在一些示例实现中，执行在流程500中标识的操作通常导致输出图像呈现比使用传统技术获取的输出图像更少的可见的伪像和/或缺陷，特别是关于输出图像中的图像之间的颜色过渡、重影和模糊。

如上所述，图5示出了根据本发明示例实施例的装置200、方法和计算机程序产品的流程图。应当理解，流程图的每个框以及流程图中的框的组合可以通过各种方式来实现，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，上述过程中的一个或多个可以由计算机程序指令实现。在这方面，实现上述过程的计算机程序指令可以由采用本发明的实施例的装置的存储器设备204存储，并且由装置的处理器202执行。可以理解，可以将任何这样的计算机程序指令加载到计算机或其他可编程装置(例如，硬件)上以产生机器，使得所得到的计算机或其他可编程装置实现流程图框中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程装置以特定的方式起作用，使得存储在计算机可读存储器中的指令产生制品，该制品的执行实现流程图框中指定的功能。计算机程序指令也可以加载到计算机或其他可编程装置上以使得在计算机或其他可编程装置上执行一系列操作以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图框中指定的功能的操作。

因此，流程图的框支持用于执行指定功能的部件的组合和用于执行指定功能的操作的组合。还应当理解，流程图的一个或多个框以及流程图中的框的组合可以由执行指定功能的专用的基于硬件的计算机系统或专用硬件和计算机指令的组合来实现。

在一些实施例中，上述操作中的某些操作可以被修改或被进一步放大。此外，在一些实施例中，可以包括附加的可选操作。对上述操作的修改、添加或放大可以以任何顺序和任何组合执行。

受益于前述描述和相关附图中呈现的教导，本发明所属领域的技术人员将想到本文中阐述的本发明的很多修改和其他实施例。因此，应当理解，本发明不限于所公开的特定的实施例，并且修改和其他实施例旨在被包括在所附权利要求的范围内。此外，尽管前面的描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实施例，但是应当理解，可以通过备选的实施例提供元件和/或功能的不同组合而不脱离所附权利要求的范围。在这方面，例如，也可以预期与上面明确描述的元件和/或功能的组合不同的元件和/或功能的组合，如可以在一些所附权利要求中阐述的。尽管本文中采用特定术语，但它们仅以一般性和描述性意义使用，而不是出于限制的目的。

Claims (21)

1.一种用于接缝的多频带混合的方法，所述方法包括：

接收与第一图像和第二图像的交叠部分相关联的多个频带的指示；

确定与所述多个频带内的最后频带相关联的带宽；

针对所述多个频带内的每个频带计算拉普拉斯图像；

将线性混合掩模应用于与所述多个频带内的所述最后频带相关联的拉普拉斯图像，以形成与所述最后频带相关联的经混合的图像；

将高斯型拉普拉斯混合掩模应用于与除了所述最后频带之外的所述多个频带内的每个频带相关联的每个拉普拉斯图像，以形成与所述多个频带相关联的多个经混合的图像；以及

将与所述多个频带相关联的所述多个经混合的图像和与所述最后频带相关联的所述经混合的图像进行组合。

2.根据权利要求1所述的方法，其中确定所述最后频带的所述带宽包括：至少部分基于预定的锐度因子来计算所述带宽。

3.根据权利要求1所述的方法，其中将所述高斯型拉普拉斯混合掩模应用于与除了所述最后频带之外的所述多个频带内的每个频带相关联的每个拉普拉斯图像，以形成多个经混合的图像包括：利用高斯内核使二元掩模模糊，其中所述高斯内核与预定的参数集合相关联。

4.根据权利要求3所述的方法，其中所述预定的参数集合包括平均参数和方差参数。

5.根据权利要求3所述的方法，还包括：将经模糊的所述二元掩模划分为第一分辨率和第二分辨率。

6.根据前述权利要求中任一项权利要求所述的方法，其中所述多个频带的所述指示是预定数目的频带。

7.根据前述权利要求1至5中任一项所述的方法，其中将与所述多个频带相关联的所述多个经混合的图像和与所述最后频带相关联的所述经混合的图像进行组合包括：对所述经混合的图像进行放大和求和。

8.一种用于接缝的多频带混合的装置，所述装置包括：至少一个处理器和包括计算机程序代码的至少一个存储器，所述计算机程序代码当由所述至少一个处理器执行时，使得所述装置：

接收与第一图像和第二图像的交叠部分相关联的多个频带的指示；

确定与所述多个频带内的最后频带相关联的带宽；

针对所述多个频带内的每个频带计算拉普拉斯图像；

将线性混合掩模应用于与所述多个频带内的所述最后频带相关联的拉普拉斯图像，以形成与所述最后频带相关联的经混合的图像；

将高斯型拉普拉斯混合掩模应用于与除了所述最后频带之外的所述多个频带内的每个频带相关联的每个拉普拉斯图像，以形成与所述多个频带相关联的多个经混合的图像；以及

将与所述多个频带相关联的所述多个经混合的图像和与所述最后频带相关联的所述经混合的图像进行组合。

9.根据权利要求8所述的装置，其中使得所述装置确定所述最后频带的所述带宽包括：使得所述装置至少部分基于预定的锐度因子来计算所述带宽。

10.根据权利要求8所述的装置，其中使得所述装置将所述高斯型拉普拉斯混合掩模应用于与除了所述最后频带之外的所述多个频带内的每个频带相关联的每个拉普拉图像，以形成所述多个经混合的图像包括：使得所述装置利用高斯内核使二元掩模模糊，其中所述高斯内核与预定的参数集合相关联。

11.根据权利要求10所述的装置，其中所述预定的参数集合包括平均参数和方差参数。

12.根据权利要求10所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述处理器一起进一步使得所述装置将经模糊的所述二元掩模划分为第一分辨率和第二分辨率。

13.根据前述权利要求8至12中任一项所述的装置，其中所述多个频带的所述指示是预定数目的频带。

14.根据前述权利要求8至12中任一项所述的装置，其中使得所述装置将与所述多个频带相关联的所述多个经混合的图像和与所述最后频带相关联的所述经混合的图像进行组合包括：使得所述装置对所述经混合的图像进行放大和求和。

15.根据权利要求8所述的装置，还包括用于接收与所述第一图像的区域相关联的图像数据集合和与所述第二图像的区域相关联的图像数据集合的部件，其中所述第一图像的所述区域和所述第二图像的所述区域包括所述第一图像和所述第二图像的交叠部分。

16.一种非瞬态计算机可读存储介质，在其上存储有用于接缝的多频带混合的计算机程序，所述计算机程序包括程序代码指令，所述程序代码指令当由装置执行时，使得所述装置至少执行：

接收与第一图像和第二图像的交叠部分相关联的多个频带的指示；

确定与所述多个频带内的最后频带相关联的带宽；

针对所述多个频带内的每个频带计算拉普拉斯图像；

将线性混合掩模应用于与所述多个频带内的所述最后频带相关联的拉普拉斯图像，以形成与所述最后频带相关联的经混合的图像；

将高斯型拉普拉斯混合掩模应用于与除了所述最后频带之外的所述多个频带内的每个频带相关联的每个拉普拉斯图像，以形成与所述多个频带相关联的多个经混合的图像；以及

将与所述多个频带相关联的所述多个经混合的图像和与所述最后频带相关联的所述经混合的图像进行组合。

17.根据权利要求16所述的非瞬态计算机可读存储介质，其中确定所述最后频带的所述带宽包括：至少部分基于预定的锐度因子来计算所述带宽。

18.根据权利要求16所述的非瞬态计算机可读存储介质，其中将所述高斯型拉普拉斯混合掩模应用于与除了所述最后频带之外的所述多个频带内的每个频带相关联的每个拉普拉斯图像，以形成多个经混合的图像包括：利用高斯内核使二元掩模模糊，其中所述高斯内核与预定的参数集合相关联，其中所述预定的参数集合包括平均参数和方差参数。

19.根据权利要求18所述的非瞬态计算机可读存储介质，其中所述计算机可执行程序代码指令还包括被配置为将经模糊的所述二元掩模划分为第一分辨率和第二分辨率的程序代码指令。

20.根据前述权利要求16至19中任一项所述的非瞬态计算机可读存储介质，其中所述多个频带的所述指示是预定数目的频带。

21.根据前述权利要求16至19中任一项所述的非瞬态计算机可读存储介质，其中将与所述多个频带相关联的所述多个经混合的图像和与所述最后频带相关联的所述经混合的图像进行组合包括：对所述经混合的图像进行放大和求和。

Images