CN109803086B - 混合具有重叠视场的第一及第二图像的方法、设备和相机 - Google Patents

Abstract

本发明提供了用于混合具有重叠视场的第一及第二图像的方法、设备和相机。第一图像和第二图像在混合区域中混合。混合区域的宽度基于在捕获第一图像时使用的第一组相机参数与在捕获第二图像时使用的第二组相机参数之间的相似性来选择，使得宽度随着相似性的增加而减小。

Description

混合具有重叠视场的第一及第二图像的方法、设备和相机

技术领域

本发明涉及图像混合领域。特别地，本发明涉及用于混合具有重叠视场的第一图像和第二图像的方法、设备和相机。

背景技术

如今，通常捕获具有重叠视场的若干图像并将它们拼接在一起，以便生成具有与各个图像的组合视场相对应的视场的全景图像。例如，多传感器相机可用于同时捕获若干图像并将图像拼接在一起以提供全景图像。

图像拼接通常是组合具有重叠视场的多个图像的过程。拼接过程可以分成几个过程阶段。首先，对齐图像，使它们被变换为具有匹配的视点。例如，如果要拼接两个图像，则可以变换其中一个图像以匹配另一个图像的视点。然后，在对齐阶段之后可以是混合阶段，在混合阶段中多个图像的图像数据在图像的重叠中被组合，例如，通过形成图像数据的线性组合。混合的目的是使图像之间的过渡更平滑，以便用户将经拼接的图像体验为单个图像。

拼接过程的混合阶段通常在计算上存在要求，特别是如果待混合的图像之间存在大的重叠。因此存在改进的空间。

发明内容

鉴于上述情况，因此本发明的目的是提供一种混合具有重叠视场的第一图像和第二图像的计算上有效的方式。

根据本发明的第一方面，上述目的通过一种用于混合具有重叠视场的第一图像和第二图像的方法来实现，该方法包括：接收第一图像和在捕获第一图像时使用的第一组相机参数以及第二图像和在捕获第二图像时使用的第二组相机参数，其中第一图像和第二图像具有在第一图像和第二图像的重叠区域中重叠并且在第一图像和第二图像中的每一个图像的非重叠区域中不重叠的视场，并且其中重叠区域具有第一部分和第二部分，第一部分与第一图像的非重叠区域相邻但不与第二图像的非重叠区域相邻，第二部分与第二图像的非重叠区域相邻但不与第一图像的非重叠区域相邻；将混合区域选择为重叠区域中的距第一部分和第二部分之间的边界小于一定距离的那些像素，其中该距离基于第一组相机参数和第二组相机参数之间的相似性来选择，使得该距离随着相似性的增加而减小；以及在混合区域中混合第一图像和第二图像。

所提出的方法依赖于以下认识：当两个重叠图像差异很大时，图像需要在重叠的大部分或整体中混合以实现平滑过渡，而如果两个图像相似，则尽管图像在重叠的较小部分或根本没有部分中混合，也可以实现平滑过渡。通过基于相似性改变图像被混合的重叠部分的尺寸，因此图像仅在需要给出平滑过渡的重叠部分中混合。通过这种方式，混合保持最小并且节省了计算资源。例如，当在重叠区域的较小部分中的混合足以在图像之间提供平滑过渡时，处理能力不耗费于在整个重叠区域中的混合。

进一步认识到，测量图像之间的相似性的计算上有效的方式是比较捕获图像时使用的相机参数。例如，假设窗口在第一图像的视场中，而不在第二图像的视场中，导致图像中的光量不同。图像之间的这种差异可以从相机参数中(例如从增益和快门速度的值)发现。例如，捕获第一图像的图像传感器将感测与捕获第二图像的图像传感器不同的光水平，从而不同地选择相机参数。通过基于相机参数的相似性判断图像之间的相似性而不是评估图像数据本身，可以进一步节省计算资源。例如，比较相机参数仅涉及比较几个给定数字，例如计算一个或几个差异，而基于图像数据评估相似性将总计更多的有关计算，例如评估强度数据的平均值或直方图。

混合第一图像和第二图像通常是指组合第一图像和第二图像的图像数据。

第一图像和第二图像具有重叠视场是指在第一图像和第二图像中存在描绘了场景的相同部分的像素，即重叠区域中的像素。

第一组相机参数与第二组相机参数之间的相似性是指第一组相机参数的值与相应的第二组相机参数的值之间的相似性。例如，可以通过计算这些值之间的差异来测量相似性。

通常，在处理相机中的图像期间，已知为图像提供各种类型的元数据。然而，图像通常在处理开始时(即，当它们离开图像传感器时)尚未被提供有元数据。为了本发明的目的，已经发现将相机参数提供为元数据可能是有效的。更确切地说，可以接收第一组相机参数作为与第一图像相关联的元数据，并且可以接收第二组相机参数作为与第二图像相关联的元数据。以这种方式，与图像相关联的相机参数可与图像一起容易地获得，并且不需要单独接收。

第一组相机参数和第二组相机参数可以各自包括一个或多个相机参数。尽管一个相机参数(例如快门速度，增益和白平衡中的一个)对于本发明的目的而言可能是足够的，但是已经发现，如果使用多于一个相机参数，则结果会进一步改善。

一个或多个相机参数可以与第一图像和第二图像中的亮度水平相关。使用这样的相机参数作为图像相似性的度量是有利的，这是因为人眼对图像中的亮度水平特别敏感。如果亮度水平相似，则人类观察者将感知图像相似。作为示例，第一组相机参数和第二组相机参数可以包括快门速度和增益中的至少一个。因此，快门速度或增益可以单独使用，也可以组合使用。众所周知，快门速度控制图像中的曝光，从而影响图像中的亮度水平，但也影响运动模糊。此外，增益调整图像中的光水平，但也会影响图像中的噪声。因此，快门速度和增益都与图像中的亮度水平相关。

一个或多个相机参数还可以与图像中的色彩平衡相关。特别地，第一组相机参数和第二组相机参数可以包括白平衡。尽管可以单独使用相机参数白平衡，但是优选地将其用作与图像中的光水平相关的相机参数的补充。

在重叠区域中，在重叠区域的第一部分与重叠区域的第二部分之间限定边界，第一部分与第一图像的非重叠区域相邻但不与第二图像的非重叠区域相邻，并且第二部分与第二图像的非重叠区域相邻但不与第一图像的非重叠区域相邻。因此，边界将重叠区域分成第一部分和第二部分。如上所述，混合仅在边界周围的区域(所谓的混合区域)中进行。边界周围的区域可以被定义为重叠区域中的距边界小于一定距离的那些像素。

边界可以采用不同的形状。例如，边界可以是直线。因此，直线可以将重叠区域分成两部分。这导致将重叠区域分成两部分的简单而有效的方式。然而，也可以设想边界改为具有弯曲形状的实施例。

在一些实施例中，边界是预定义的，并且因此在重叠区域中具有给定位置。例如，可以将边界预定义为位于重叠区域的中间。因此，重叠区域的第一部分和第二部分可以具有相同的尺寸。以这种方式，混合在重叠区域的中间进行，这是合理的并且对于大多数应用提供了良好的结果。

然而，可能存在这样的情况：其被优选为不仅能够动态地调整混合区域的尺寸，而且还能够动态地调整重叠区域内的混合区域的位置。为了实现该目的，该方法还可以包括选择重叠区域中的边界的位置。

感兴趣的情况的示例涉及数字缩放，并且特别是当第一图像和第二图像的一部分在组合时要被数字地放大时。更详细地，该方法还可以包括：接收指示与第一图像和第二图像的待被数字放大的部分相对应的缩放窗口的数据，其中，选择混合区域的步骤还包括基于缩放窗口相对于第一图像和第二图像的尺寸和位置中的至少一个来选择边界在重叠区域中的位置。

以这种方式，一种方式可以例如避免使混合区域在组合图像的中间，或者在缩放窗口的中间，在此处可能存在被放大的感兴趣的项。

因此，边界的位置可以根据缩放窗口相对于第一图像和第二图像的尺寸(即，缩放的水平)以及缩放窗口相对于第一图像和第二图像的位置(例如，如果它主要覆盖第一图像或第二图像)来选择。因此，可以根据缩放窗口相对于第一图像和第二图像的相对重叠来选择边界的位置。更具体地，该方法还可以包括：计算缩放窗口与第一图像的非重叠部分的第一重合面积，以及缩放窗口与第二图像的非重叠部分的第二重合面积，其中边界的位置被选择，使得如果第一重合面积大于第二重合面积，则重叠区域的第一部分大于重叠区域的第二部分，并且如果第一重合面积小于第二重合面积，则重叠区域的第一部分小于重叠区域的第二部分。

利用这种布置，混合区域朝向图像的、在缩放窗口中具有较少部分的非重叠区域移位。这在其中缩放窗口在第一图像和第二图像的重叠区域上平移的应用中可能是有利的。随着缩放窗口例如在从第一图像的非重叠部分朝向第二图像的非重叠部分的方向上在重叠区域上方平移，边界在相反方向上平滑地移动，从而给出缩放窗口平移的平滑过渡。例如，可以选择重叠区域中的边界的位置，使得重叠区域的第一部分的面积与重叠区域的第二部分的面积之间的关系等于第一重合面积和第二重合面积之间的关系。

根据以上所述，以距边界的距离表示的混合区域的尺寸是基于相机参数的相似性来选择的。当进一步组合放大第一图像和第二图像的一部分时，当组合时，可能必须进行混合区域的进一步调整。由于缩放还将导致混合区域的放大，因此混合区域的尺寸优选地随着缩放水平的增加而减小。更详细地，可以进一步基于缩放窗口相对于第一图像和第二图像的尺寸和位置中的至少一个来选择距离。

该方法还可以包括通过以下方式从第一图像和第二图像生成全景图像：在全景图像的与第一图像的非重叠部分相对应的部分以及与重叠区域的位于混合区域外部的第一部分相对应的部分中使用来自第一图像的图像数据，在全景图像的与第二图像的非重叠部分相对应的部分以及与重叠区域的位于混合区域外部的第二部分相对应的部分中使用来自第二图像的图像数据，以及在全景图像的与混合区域相对应的部分中使用混合图像数据。

以这种方式，生成其中仅在混合区域中使用混合图像数据的全景图像。

可以通过使用不同的图像传感器同时捕获第一图像和第二图像。因此，所提出的方法可以有利地用于多传感器相机。

根据本发明的第二方面，上述目的通过一种用于混合具有重叠视场的第一图像和第二图像的设备来实现，该设备包括：接收器，被配置为接收第一图像和在捕获第一图像时使用的第一组相机参数以及第二图像和在捕获第二图像时使用的第二组相机参数，其中第一图像和第二图像具有在第一图像和第二图像的重叠区域中重叠并且在第一图像和第二图像中的每一个图像的非重叠区域中不重叠的视场，并且其中重叠区域具有第一部分和第二部分，第一部分与第一图像的非重叠区域相邻但不与第二图像的非重叠区域相邻，第二部分与第二图像的非重叠区域相邻但不与第一图像的非重叠区域相邻；选择组件，被配置为将混合区域选择为重叠区域中的距第一部分和第二部分之间的边界小于一定距离的那些像素，其中该距离基于第一组相机参数和第二组相机参数之间的相似性来选择，使得该距离随着相似性的增加而减小；以及混合组件，被配置为在混合区域中混合第一图像和第二图像。

根据第三方面，上述目的通过包括第二方面的设备的相机来实现，其中相机被布置为使用第一组相机参数来捕获第一图像，并且使用第二组相机参数来捕获第二图像。

根据第四方面，上述目的通过一种包括(非暂时性)计算机可读介质的计算机程序产品来实现，该计算机可读介质上存储有计算机代码指令，该计算机代码指令适于在由具有处理能力的设备执行时执行第一方面的方法。

第二方面、第三方面和第四方面通常可以具有与第一方面相同的特征和优点。还应注意，除非另外明确说明，否则本发明涉及特征的所有可能组合。

附图说明

通过以下参照附图对本发明的实施例的说明性和非限制性详细描述，将更好地理解本发明的上述以及附加目的、特征和优点，其中相同的附图标记将用于类似的元件，其中：

图1示出了可以实现实施例的系统。

图2示出了根据实施例的混合设备的内部组件。

图3是根据实施例的用于混合具有重叠视场的第一图像和第二图像的方法的流程图。

图4a和图4b示出了根据实施例的具有重叠视场的第一图像和第二图像。

图5a和图5b示出了根据实施例的具有重叠视场的第一图像和第二图像。

图6a和图6b示出了根据实施例的具有重叠视场的第一图像和第二图像以及缩放窗口。

图7a和图7b示出了根据实施例的具有重叠视场的第一图像和第二图像以及缩放窗口。

具体实施方式

现在将在下文中参考附图更全面地描述本发明，附图中示出了本发明的实施例。将在操作期间描述本文公开的系统和设备。

图1示出了可以实现实施例的系统100。系统100包括一个或多个图像传感器102和拼接模块104。拼接模块104进而包括对齐设备106和混合设备108。系统100可以包括在相机中。可替代地，一个或多个图像传感器102可以包括在相机中，而拼接模块104可以位于远离相机的位置，例如在通过网络与相机通信的客户端设备中。实施例还可以用于模块化相机系统中，其中一个或多个图像传感器通过导线连接到控制单元。在这样的系统中，拼接模块可以包括在控制单元中。

一个或多个图像传感器102(这里示出为第一图像传感器102a和第二图像传感器102b)被布置为捕获第一图像110a和第二图像110b。例如，第一图像传感器102a和第二图像传感器102b可以被布置为同时分别捕获第一图像110a和第二图像110b。可替代地，第一图像110a和第二图像110b可以由一个或多个图像传感器102依次捕获。第一图像110a和第二图像110b具有重叠但不完全相同的视场。

当捕获第一图像110a和第二图像110b时，一个或多个图像传感器102使用相机参数。相机参数可以例如包括快门速度、增益和白平衡。所使用的相机参数通常由相机自动设置，例如，应用自动曝光算法。

一个或多个图像传感器102被配置为将第一图像110a和第二图像110b转发到拼接模块104。另外，一个或多个图像传感器102被配置为转发与第一图像110a相关联的第一组相机参数112a，和与第二图像110b相关联的第二组相机参数112b。第一组相机参数112a和第二组相机参数112b分别包括一个或多个图像传感器102在捕获第一图像110a和捕获第二图像110b时使用的一个或多个相机参数。通过示例的方式，第一组相机参数112a和第二组相机参数112b可以各自包括快门速度、增益和白平衡中的一个或多个。优选地，第一组相机参数112a和第二组相机参数112b各自至少包括快门速度和增益。

第一组相机参数112a和第二组相机参数112b可以与第一图像110a和第二图像110b分开转发。然而，根据示例实施例，第一组相机参数112a和第二组相机参数112b可以以元数据的形式分别与第一图像110a和第二图像110b一起转发。

对齐设备106被布置成对齐第一图像110a和第二图像110b。该对齐尤其可以包括执行桶形校正、旋转图像以及执行第一图像110a和第二图像110b的投影，例如投影到球体或圆柱体上。后者用于补偿第一图像传感器102a和第二图像传感器102b未安装在相同位置的事实，这意味着从不同的视点描绘场景。这可以通过执行投影来校正，从而给观看者提供从相同视点捕获的帧的印象。在图像传感器102的初始校准之后，对于由图像传感器102捕获的每个图像，待应用的特定对齐通常是相同的。因此，可以基于来自相机的图像传感器102的校准的参数来进行对齐。对齐后的第一图像和第二图像分别显示为项目114a和114b。

在对齐之后，第一图像114a和第二图像114b以及第一组相机参数112a和第二组相机参数112b被转发到混合设备108，混合设备108被布置成混合第一图像114a和第二图像114b。最后，混合设备108可以输出全景图像116，全景图像116是第一图像114a和第二图像114b的组合。

混合设备108在图2中更详细地示出。混合设备108包括接收器202、选择组件204和混合组件206。

通常，混合设备108可以包括被配置为实现组件202、204、206并且更具体地，实现它们的功能的电路。

在硬件实施方式中，组件202、204、206中的每一个可以对应于专用且专门设计用于提供组件的功能的电路。电路可以是一个或多个集成电路的形式，例如一个或多个专用集成电路。通过示例的方式，混合组件206因此可以包括在使用时混合第一图像114a和第二图像114b的电路。

在软件实施方式中，电路可以替代地是与存储在(非暂时性)计算机可读介质(例如非-易失性存储器)上的计算机代码指令相关联的一个或多个处理器的形式，例如一个或多个微处理器，使混合设备108执行本文公开的任何方法。在这种情况下，组件202、204、206因此可以各自对应于存储在计算机可读介质上的计算机代码指令的一部分，该计算机代码指令在由处理器执行时，使得混合设备108执行组件的功能。

应当理解，还可以具有硬件和软件实施方式的组合，这意味着组件202、204、206中的一些的功能以硬件实现，而其他组件的功能以软件实现。

以上关于混合设备108在电路(硬件和/或软件)方面的实施方式所述的内容加以必要的变更适用于对齐设备106。

现在将参考图3的流程图以及图2、图4a-图4b、图5a-图5b、图6a-图6b和图7a-图7b描述混合设备的操作。

在步骤S02中，接收器202接收第一图像114a、第二图像114b、第一组相机参数112a和第二组相机参数112b。可以将第一组相机参数112a提供为第一图像114a的元数据，并且可以将第二组相机参数112b提供为第二图像114b的元数据。如上所述，由接收器202接收的第一图像114a和第二图像114b彼此对齐。

图4a示出了第一图像114a和第二图像114b。第一图像114a和第二图像114b具有重叠视场。特别地，第一图像114a和第二图像114b具有在重叠区域402中重叠并且在第一图像114a的非重叠区域404a和第二图像114b的非重叠区域404b中不重叠的视场。重叠区域402还具有第一部分402a和第二部分402b，第一部分402a与第一图像114a的非重叠区域404a相邻但不与第二图像114b的非重叠区域404b相邻，第二部分402b与第二图像114b的非重叠部分404b相邻，但不与第一图像114a的非重叠区域404a相邻。第一部分402a和第二部分402b也彼此相邻。特别地，存在限定于第一部分402a和第二部分402b之间的边界406。如图4a所示，边界406可以是直线，但是在其他实施例中，它可以具有其他形状，例如曲线。此外，如图4a所示，边界406可以将重叠区域402分成相等面积的两部分，即，第一部分402a和第二部分402b可以具有相同的尺寸。

图5a示出了第一图像114a和第二图像114b未水平对齐的另一实施例。然而，同样在该实施例中，存在图像在其中重叠的重叠区域502，并且第一图像114a和第二图像114b中的每一个具有不与第一图像114a和第二图像114b中的另一个重叠的非重叠区域504a、504b。同样，重叠区域502具有第一部分502a和第二部分502b，第一部分502a与第一图像114a的非重叠区域504a相邻但不与第二图像114b的非重叠区域相邻，第二部分502b与第二图像114b的非重叠区域504b相邻，但不与第一图像114a的非重叠区域相邻。重叠区域502中的边界506(这里是直线的形式)将重叠区域502分成第一部分502a和第二部分502b。

在步骤S04中，选择组件204继续选择混合区域408、508，如图4b和图5b中进一步所示。混合区域408、508是重叠区域402、502的子集。更具体地，选择组件204选择混合区域408、508，使得他们包括重叠区域402、502中距边界406、506小于距离d的那些像素。因此，混合区域408、508沿边界406、506延伸，并且具有对应于距离d的两倍的宽度。选择组件204基于第一组相机参数112a和第二组相机参数112b之间的相似性来设置混合区域408、508的尺寸，即面积。相机参数112a、112b之间的相似性越高，混合区域408、508的尺寸越小。为了设置混合区域408、508的尺寸，选择组件204可以设置混合区域408、508的宽度，例如，通过设置距边界406、506的距离d使得距离d随着相似性的增加而减小。

选择组件204可以通过比较第一组相机参数112a和第二组相机参数112b的相应参数来评估第一组相机参数112a和第二组相机参数112b之间的相似性。例如，选择组件204可以计算第一组相机参数112a和第二组相机参数112b的相应参数之间的差异。在仅使用一个相机参数的情况下，如此计算的差异可以用作相似性的度量。如果使用多于一个相机参数，则可以将计算的差异组合成单个值，例如，通过计算差异的绝对值的加权和、平方差的加权和，或者通过对差异应用适合于将差异组合成单个值的任何其他函数。然后，选择组件204可以将如此计算的相似性度量映射到混合区域408的宽度(或距离d)的合适值，例如，通过使用由选择组件204为此目的而存储的预定义函数或表格。例如，预定义函数可以将相似性度量映射到距离d，使得当相似性度量低于第一阈值(距离d的两倍等于重叠区域402的宽度)时，混合区域408覆盖整个重叠区域402，当相似性度量高于第二阈值时，混合区域408为空(距离d为零)，并且随着相似性度量增加，距离d根据这两个极值之间的单调和递减函数(例如线性地)变化。

在图4a-图4b和图5a-图5b的示例中，假设边界406、506是预定义的并且位于重叠区域402、502的中间，使得其将重叠区域402、502分成相同尺寸的两部分402a、402b、502a、502b。然而，在一些实施例中，当选择混合区域408、508时，选择组件204还可以选择重叠区域中的边界406、506的位置。

图6a-图6b和图7a-图7b示出了这样的实施例的示例，其中选择组件204基于缩放窗口610、710相对于第一图像114a和第二图像114b的尺寸和位置中的至少一个，来选择重叠区域402、502中的边界406、506的位置。

选择组件204可以接收指示与第一图像114a和第二图像114b的待放大的部分相对应的缩放窗口610、710的数据。根据所接收的数据，选择组件204可以将缩放窗口610、710的尺寸和位置中的至少一个与第一图像114a和第二图像114b相关联，即，与第一图像114a和第二图像114b的组合视场相关联。例如，选择组件204可以计算第一重合面积和第二重合面积，该第一重合面积是缩放窗口610、710与第一图像114a的非重叠部分404a、504a重合(即，重叠)的面积，并且第二重合面积是缩放窗口610与第二图像114b的非重叠部分404b、504b重合(即重叠)的面积。然后可以基于缩放窗口610、710的尺寸和形状中的至少一个之间的关系来选择边界406、506的位置。更具体地，可以选择边界406的位置使得如果第一重合面积大于第二重合面积，则重叠区域402的第一部分402a大于重叠区域402的第二部分402b，如图6a和图7a所示，并且反之亦然，如图6b和图7b所示。特别地，可以选择边界406、506的位置，使得重叠区域402、502的第一部分402a、502a的面积与第二部分402b、502b的面积之间的关系等于第一重合面积和第二重合面积之间的关系。因此，当缩放窗口610如图6a所示向右移动时，例如移动到图6b所示的缩放窗口的位置时，第二重合面积相对于第一重合面积增加，从而导致第二部分402b相对于第一部分402a增加，意味着边界406向左移动，例如移动到图6b中所示的边界406的位置。此外，当缩放窗口710如图7a所示斜向下移动，例如移动到图7b所示的缩放窗口710的位置时，第二重合面积相对于第一重合面积增加，从而导致第二部分502b相对于第一部分502a增加，意味着边界506斜向上移动，例如移动到图7b中所示的边界506的位置。

如上所述，因此基于相似性来选择混合区域408、508的尺寸。另外，可以例如基于缩放窗口的尺寸和/或位置来选择重叠区域402中的混合区域408、508的位置。在涉及缩放的实施例中，可以基于缩放窗口610、710相对于第一图像114a和第二图像114b的尺寸和位置中的至少一个来进一步选择或调整混合区域408、508的尺寸。例如，由于缩放还将导致混合区域408、508的放大，因此混合区域408、508的尺寸优选地随着缩放水平的增加(即，随着缩放窗口的尺寸相对于第一图像114a和第二图像114b的组合视场的尺寸减小)而减小。

此外，在缩放窗口610、710与第一图像的重叠大于与第二图像的重叠(或反之亦然)的情况下，即，例如在图6a和图7a中，减小混合区域408、508的尺寸可能是合理的，尽管两个图像具有不同的相机参数。在极端情况下，在缩放窗口不与非重叠部分404a、404b中的一个重叠的情况下，可以将混合区域设置为空(d等于零)，并且在这种情况下，仅一个图像(该图像具有与缩放窗口重叠的非重叠部分404a、404b)的图像数据可以用于创建全景图像。

在步骤S06中，混合组件206继续仅在混合区域408、508中混合第一图像114a和第二图像114b。“混合”通常意味着组合第一图像114a和第二图像114b的图像数据，例如通过形成第一图像114a和第二图像114b的对应像素中的图像数据的线性组合。例如，可以使用本领域已知的所谓的α混合在混合区域408、508中混合第一图像114a和第二图像114b。

如前所述，混合通常是将第一图像114a和第二图像114b拼接在一起以便生成全景图像116的过程的一部分。全景图像116对应于第一图像114a和第二图像114b的组合视场。因此，全景图像116具有与非重叠部分404a、404b、504a、504b、重叠部分402、502和混合区域408、508相对应的部分。当生成全景图像116时，混合组件206在全景图像116的对应于混合区域408、508的部分中使用混合图像数据。在全景图像116的所有其他部分中，使用来自第一图像114a或第二图像114b的图像数据。更具体地，混合组件206可以通过在全景图像的与第一图像114a的非重叠部分404a、504a相对应的部分中、以及在全景图像116的与重叠区域的位于混合区域408、508外部的第一部分402a、502a相对应的部分中使用来自第一图像114a的图像数据，来生成全景图像116。同样，混合组件206可以在全景图像116的与第二图像114b的非重叠部分404b、504b相对应的部分中、以及在全景图像116的与重叠区域的位于混合区域408、508外部的第二部分402b、502b相对应的部分中使用来自第二图像114b的图像数据。

应当理解，本领域技术人员可以以许多方式修改上述实施例，并仍然使用如上述实施例中所示的本发明的优点。例如，尽管上述公开涉及具有重叠视场的两个图像的混合，但是可以使用相同的方法来混合具有重叠视场的两个以上图像。因此，本发明不应限于所示实施例，而应仅由所附权利要求限定。另外，如技术人员所理解的，可以组合所示实施例。

Claims (13)

1.一种用于混合具有重叠视场的第一图像和第二图像的方法，包括：

接收第一图像和在捕获所述第一图像时使用的第一组相机参数、以及第二图像和在捕获所述第二图像时使用的第二组相机参数，所述第一组相机参数和所述第二组相机参数均包括快门速度、增益和白平衡中的至少一个，

其中所述第一图像和所述第二图像彼此对齐，

其中所述第一图像和所述第二图像具有在所述第一图像和所述第二图像的重叠区域中重叠并且在所述第一图像和所述第二图像中的每个图像的非重叠区域中不重叠的视场，并且

其中所述重叠区域具有彼此相邻的第一部分和第二部分，使得边界限定在所述第一部分与所述第二部分之间，所述第一部分进一步与所述第一图像的非重叠区域相邻，但不与所述第二图像的非重叠区域相邻，并且所述第二部分进一步与所述第二图像的非重叠区域相邻，但不与所述第一图像的非重叠区域相邻；

在混合区域中混合所述第一图像和所述第二图像；以及

将所述混合区域选择为所述重叠区域中的距所述第一部分与所述第二部分之间的所述边界小于一距离的那些像素，其中所述距离基于所述第一组相机参数与所述第二组相机参数之间的相似性来选择，使得所述距离随着相似性的增加而减小。

2.根据权利要求1所述的方法，其中所述第一组相机参数被接收为与所述第一图像相关联的元数据，并且所述第二组相机参数被接收为与所述第二图像相关联的元数据。

3.根据权利要求1所述的方法，其中所述边界是直线。

4.根据权利要求1所述的方法，其中所述重叠区域的所述第一部分和所述第二部分具有相同的尺寸。

5.根据权利要求1所述的方法，进一步包括：

接收指示与所述第一图像和所述第二图像中的待被数字放大的一部分相对应的缩放窗口的数据，

其中选择混合区域的步骤进一步包括：基于所述缩放窗口相对于所述第一图像和所述第二图像的尺寸和位置中的至少一个，来选择所述重叠区域中的边界的位置。

6.根据权利要求5所述的方法，进一步包括：

计算所述缩放窗口与所述第一图像的非重叠部分的第一重合面积、以及所述缩放窗口与所述第二图像的非重叠部分的第二重合面积，

其中所述边界的位置被选择，使得如果所述第一重合面积大于所述第二重合面积，则所述重叠区域的所述第一部分大于所述重叠区域的所述第二部分，并且如果所述第一重合面积小于所述第二重合面积，则所述重叠区域的所述第一部分小于所述重叠区域的所述第二部分。

7.根据权利要求6所述的方法，其中所述重叠区域中的所述边界的位置被选择，使得所述重叠区域的所述第一部分的面积与所述重叠区域的所述第二部分的面积之间的关系等于所述第一重合面积与所述第二重合面积之间的关系。

8.根据权利要求5所述的方法，其中所述距离进一步基于所述缩放窗口相对于所述第一图像和所述第二图像的所述尺寸和所述位置中的至少一个来选择。

9.根据权利要求1所述的方法，进一步包括：

通过以下方式从所述第一图像和所述第二图像生成全景图像：

在所述全景图像的与所述第一图像的非重叠部分相对应的部分以及与所述重叠区域的位于所述混合区域之外的所述第一部分相对应的部分中，使用来自所述第一图像的图像数据，

在所述全景图像的与所述第二图像的非重叠部分相对应的部分以及与所述重叠区域的位于所述混合区域之外的所述第二部分相对应的部分中，使用来自所述第二图像的图像数据，以及

在所述全景图像的与所述混合区域相对应的部分中使用混合图像数据。

10.根据权利要求1所述的方法，其中所述第一图像和所述第二图像通过使用不同的图像传感器同时被捕获。

11.一种用于混合具有重叠视场的第一图像和第二图像的设备，包括：

接收器，被配置为接收第一图像和在捕获所述第一图像时使用的第一组相机参数、以及第二图像和在捕获所述第二图像时使用的第二组相机参数，所述第一组相机参数和所述第二组相机参数均包括快门速度、增益和白平衡中的至少一个，

其中所述第一图像和所述第二图像彼此对齐，

其中所述第一图像和所述第二图像具有在所述第一图像和所述第二图像的重叠区域中重叠并且在所述第一图像和所述第二图像中的每个图像的非重叠区域中不重叠的视场，并且

其中所述重叠区域具有彼此相邻的第一部分和第二部分，使得边界限定在所述第一部分与所述第二部分之间，所述第一部分进一步与所述第一图像的非重叠区域相邻，但不与所述第二图像的非重叠区域相邻，并且所述第二部分进一步与所述第二图像的非重叠区域相邻，但不与所述第一图像的非重叠区域相邻；

混合组件，被配置为在混合区域中混合所述第一图像和所述第二图像；以及

选择组件，被配置为将所述混合区域选择为所述重叠区域中的距所述第一部分与所述第二部分之间的边界小于一距离的那些像素，其中所述距离基于所述第一组相机参数与所述第二组相机参数之间的相似性来选择，使得所述距离随着相似性的增加而减小。

12.一种相机，包括：

一个或多个传感器，被配置为捕获第一图像和第二图像，其中所述第一图像使用第一组相机参数来捕获，并且所述第二图像使用第二组相机参数来捕获，所述第一组相机参数和所述第二组相机参数均包括快门速度、增益和白平衡中的至少一个；

接收器，被配置为接收所述第一图像和在捕获所述第一图像时使用的所述第一组相机参数、以及所述第二图像和在捕获所述第二图像时使用的所述第二组相机参数，

其中所述第一图像和所述第二图像彼此对齐，

其中所述第一图像和所述第二图像具有在所述第一图像和所述第二图像的重叠区域中重叠并且在所述第一图像和所述第二图像中的每个图像的非重叠区域中不重叠的视场，并且

其中所述重叠区域具有彼此相邻的第一部分和第二部分，使得边界限定在所述第一部分与所述第二部分之间，所述第一部分进一步与所述第一图像的非重叠区域相邻，但不与所述第二图像的非重叠区域相邻，并且所述第二部分进一步与所述第二图像的非重叠区域相邻，但不与所述第一图像的非重叠区域相邻；

混合组件，被配置为在混合区域中混合所述第一图像和所述第二图像；以及

选择组件，被配置为将所述混合区域选择为所述重叠区域中的距所述第一部分与所述第二部分之间的边界小于一距离的那些像素，其中所述距离基于所述第一组相机参数与所述第二组相机参数之间的相似性来选择，使得所述距离随着相似性的增加而减小。

13.一种非暂时性计算机可读存储介质，包括计算机程序，所述计算机程序在由处理器执行时执行用于混合具有重叠视场的第一图像和第二图像的操作，所述操作包括：

接收第一图像和在捕获所述第一图像时使用的第一组相机参数、以及第二图像和在捕获所述第二图像时使用的第二组相机参数，所述第一组相机参数和所述第二组相机参数均包括快门速度、增益和白平衡中的至少一个，

其中所述第一图像和所述第二图像彼此对齐，

其中所述第一图像和所述第二图像具有在所述第一图像和所述第二图像的重叠区域中重叠并且在所述第一图像和所述第二图像中的每个图像的非重叠区域中不重叠的视场，并且

其中所述重叠区域具有彼此相邻的第一部分和第二部分，使得边界限定在所述第一部分与所述第二部分之间，所述第一部分进一步与所述第一图像的非重叠区域相邻，但不与所述第二图像的非重叠区域相邻，并且所述第二部分进一步与所述第二图像的非重叠区域相邻，但不与所述第一图像的非重叠区域相邻；

在混合区域中混合所述第一图像和所述第二图像；以及

将所述混合区域选择为所述重叠区域中的距所述第一部分与所述第二部分之间的所述边界小于一距离的那些像素，其中所述距离基于所述第一组相机参数与所述第二组相机参数之间的相似性来选择，使得所述距离随着相似性的增加而减小。

Images