CN110622497B - 具备具有不同焦距的相机的设备及实现相机的方法 - Google Patents

Abstract

描述了一种从具有不同焦距的多个相机生成图像的方法。该方法包括：接收广角图像和长焦图像；使广角图像和长焦图像对准以重叠共同的视场；对所述广角图像与所述长焦图像之间的光度差异进行校正；为广角图像和长焦图像选择拼接接缝；以及接合广角图像和长焦图像以生成合成图像，其中，合成图像的位于拼接接缝的一侧上的第一部分来自广角图像，合成图像的位于拼接接缝的另一侧上的第二部分来自长焦图像。还描述了一种用于生成图像的电子设备。

Description

具备具有不同焦距的相机的设备及实现相机的方法

技术领域

本发明的实施例总体涉及具有多个相机的设备，具体涉及具备具有不同焦距的相机的设备以及实现具有不同焦距的相机的方法。

背景技术

数码相机是捕获以数字格式存储的图像的电子设备。诸如智能手机、平板电脑或其他便携式设备的其他电子设备通常配备有能够捕获图像的相机。随着对相机或具有相机的电子设备的改进功能的需求增加，在电子设备中已经实现了具有不同功能的多个相机。根据一些实施方式，电子设备中的双相机模块可以包含两个不同的镜头/传感器。例如，广角(广)镜头可以与长焦(长)镜头一起使用，以近似光学变焦效果。同时操作两个传感器以捕获同一场景的图像，分别称为广角图像和长焦图像。由于广镜头和长镜头具有不同的焦距，因此每一个镜头都会提供不同的视场(FOV)。广角图像反映了较广的FOV，而长焦图像的FOV例如可能约为广角图像的一半，尽管长焦图像与广角图像的比率可以是一些其他值。虽然两个图像分别有用，但是将两个图像的部分组合在一起可能很困难。

因此，使用两个图像来生成单个图像的方法是有益的。

发明内容

附图说明

图1是具有多个相机的示例性电子设备的框图；

图2是示出用于进行广角图像和长焦图像的拼接的处理阶段的框图；

图3是示出广角图像和长焦图像的拼接的示例的图；

图4是示出场景的缩放的广角图像和长焦图像的图像缩放和拼接的示例的图；

图5是示例性几何对准块的框图；

图6是示出结构引导的网格变形的图；

图7是示出结构引导的网格变形的性能的图；

图8是示出不具有线对准项和具有线对准项的结构引导的网格变形的性能的图；

图9是示例性光度对准块的框图；

图10是示出光度对准块的性能的图；

图11是示出接缝搜索过程的图；

图12是示出为了良好的拼接而在重叠区域中搜索接缝的图；

图13是用于进行自适应混合的示例性块的框图；

图14是比较金字塔混合和自适应α混合的图像；

图15是比较α混合和自适应α混合的图像；以及

图16是示出实现具有不同焦距的相机的方法的流程图。

具体实施方式

描述了一种从具有不同焦距的多个相机生成图像的方法。该方法包括接收广角图像和长焦图像；使广角图像和长焦图像对准以重叠共同的视场；对广角图像和长焦图像之间的光度差异进行校正；为广角图像和长焦图像选择拼接接缝；以及接合广角图像和长焦图像以生成合成图像，其中，合成图像的位于拼接接缝的一侧上的第一部分来自广角图像，合成图像的位于拼接接缝的另一侧上的第二部分来自长焦图像。

还描述了一种电子设备。该电子设备包括：第一相机，其具有第一焦距；第二相机，其具有不同于第一焦距的第二焦距；处理器，被耦接以接收第一相机和第二相机捕获的图像，其中，处理器：接收广角图像和长焦图像；使广角图像和长焦图像对准以重叠共同的视场；对广角图像和长焦图像之间的光度差异进行校正；为广角图像和长焦图像选择拼接接缝；以及接合广角图像和长焦图像以生成合成图像，其中，合成图像的位于拼接接缝的一侧上的第一部分来自广角图像，合成图像的位于拼接接缝的另一侧上的第二部分来自长焦图像

一种非暂时性计算机可读存储介质，其中存储有数据，该数据表示由处理器可执行以进行如下方法的指令，该方法包括：接收广角图像和长焦图像；使广角图像和长焦图像对准以重叠共同的视场；校正广角图像和长焦图像之间的光度差异；为广角图像和长焦图像选择拼接接缝；以及接合广角图像和长焦图像以生成合成图像，其中，合成图像在接缝的一侧上的第一部分来自广角图像，合成图像在接缝的另一侧上的第二部分来自长焦图像。

根据使用来自多个相机的图像的部分的电子设备的不同实现方式，描述了用于融合和拼接以不同设置捕获的广角图像和长焦图像以产生期望的缩放图像(即，响应于电子设备的用户的选择或响应于自动缩放操作，而由电子设备的用户所选择的缩放图像)的技术。该技术利用了广角图像的FOV和长焦图像的高质量。如果用户将相机缩放到广镜头和长镜头之间的视场，则可以将广角图像和长焦图像融合/拼接以产生合成图像，从而可以在广视场的中心部分提供更好的分辨率和细节，并且还提供长镜头视场之外的场景视图。由于广角图像和长焦图像来自不同的镜头、可以通过不同的图像信号处理器(ISP)并在稍有不同的视点处被捕获，所以图像可能会出现几何失准(例如，视差效应或光学畸变)、光度失准和分辨率不匹配。因此，长焦图像与广角图像中的重叠区域被一起登记、光度差异被校正，并在两个图像混合在一起之前找到了所需的拼接接缝。如将在下面更详细地描述的，可以实现各种技术以生成具有减少的可见伪像的期望的缩放图像。

尽管说明书包括限定被认为是新颖的本发明的一个或更多个实施方式的特征的权利要求，但是据信，结合附图的描述将更好地理解电路和方法。尽管公开了各种电路和方法，但是应当理解，这些电路和方法仅仅是本发明布置的示例，其可以以各种形式体现。因此，在本说明书中公开的特定结构和功能细节不应被解释为限制性的，而仅仅是作为权利要求的基础以及作为教导本领域技术人员以实际上任何适当的细节不同地采用本发明的布置的代表基础。此外，在此使用的术语和短语不旨在限制，而是提供电路和方法的可理解的描述。

首先转到图1，示出了具有多个相机的电子设备的框图。示例性电子设备100可以是具有多个相机的任何类型的设备。移动设备100可以包括耦接到多个相机104和105的处理器电路102。移动设备100可以是适于发送和接收信息的任何类型的设备，诸如智能手机、平板电脑或接收或提供信息的其他电子设备，诸如可穿戴设备。处理器电路102可以是ARM处理器、X86处理器、MIPS处理器、图形处理单元(GPU)、通用GPU或被配置为执行存储在存储器中的指令的任何其他处理器。处理器电路102可以在一个或更多个处理设备中实现，其中，处理器可以不同。例如，电子设备可以包括中央处理单元(CPU)以及例如GPU。

处理器电路102可以耦接到显示器106，以向用户显示信息。处理器电路102还可以耦接到存储器108，该存储器108使得能够存储与数据有关的信息或与实现目标有关的信息。众所周知，存储器108可以被实现为处理器电路102的一部分，或者除了处理器的任何高速缓冲存储器之外，还可以实现存储器108。存储器108可以包括任何类型的存储器，诸如固态驱动器(SSD)、闪存、只读存储器(ROM)或提供长期存储器的任何其他存储器元件，其中，存储器可以是任何类型的电子设备的内部存储器或电子设备可访问的外部存储器。通过提供本地存储器，不会损害用户可能希望保持私密性的用户偏好和其他信息。

还提供了用户界面110，以使用户能够输入数据和接收数据。某些活动跟踪可能需要用户手动输入。用户界面可以包括通常在诸如智能电话、智能手表或平板计算机的便携式通信设备上使用的触摸屏用户界面，以及诸如扬声器和麦克风的其他输入/输出(I/O)元件。用户界面还可以包括用于输入或输出数据的设备，该设备可以通过电连接器或通过无线连接(例如，蓝牙或近场通信(NFC)连接)连接到移动设备。用户还可以登录与应用相关联的帐户，该帐户跟踪用户实现目标的进度。

处理器电路102还可以耦接到接收输入数据或提供数据的其他元件，包括各种传感器111、惯性测量单元(IMU)112和用于活动跟踪的全球定位系统(GPS)设备113。例如，惯性测量单元(IMU)112可以提供与设备的运动或取向有关的各种信息，而GPS 113提供与设备有关的位置信息。可以是移动设备的一部分或耦接到移动设备的传感器可以包括例如光强度(例如，环境光或UV光)传感器、接近传感器、环境温度传感器、湿度传感器、心率检测传感器、皮肤电反应传感器、皮肤温度传感器、气压计、速度计、高度计、磁力计、霍尔传感器、陀螺仪、WiFi收发器或可以提供与实现目标有关的信息的任何其他传感器。处理器电路102可以通过输入/输出(I/O)端口114或耦接到天线118的收发器116来接收输入数据。

现在转到图2，框图示出了用于进行广角图像和缩放图像的拼接以生成具有放置在广角图像中的长焦图像的合成图像的处理阶段。根据一种实施方式，广角图像和长焦图像被同步地捕获以避免移动物体的失真。广角图像(IW)和长焦图像(IT)被提供给缩放和重定位块202，缩放和重定位块202将广角图像(IW)和长焦图像(IT)插值到用户请求的缩放等级(例如，通过使用具有相机的设备上的用户界面)，并且将长焦图像重定位在画布的中心(即，由广角图像覆盖以进行粗对准的视场(FOV))。缩放和重定位块202的输出被提供给几何对准块204，该几何对准块204将长焦图像与广角图像对准以与公共视场重叠。光度对准块206接收几何对准块的输出以校正广角图像与长焦图像之间的光度差异。拼接接缝搜索块208确定适当的接缝，沿着该接缝将广角图像和长焦图像拼接在一起。最后，在阿尔法混合块210中进行自适应阿尔法混合，以在拼接接缝附近混合广角图像和长焦图像。在最终的合成图像中，中心部分可以是变形的长焦图像，其中，外围部分是从广角图像的外围获取的，如图3和图4所示。也就是说，合成图像在拼接接缝的一侧上的第一部分来自广角图像，合成图像在拼接接缝的另一侧上的第二部分来自长焦图像。由于图像的结合会导致像差，例如，模糊、方格、锯齿状边缘或其他可能令观看者注意到的瑕疵，因此将广角图像和长焦图像以最小化或消除任何像差的方式接合在一起。

可以使用图1的一个或更多个元件(例如，图1的处理器电路102结合图1的其他元件)来执行图2的处理阶段。当在图2中各个处理阶段接收来自前一阶段的输出并针对下一阶段生成输出时，应当理解，用于从多个图像(例如，广角图像和长焦图像)生成图像的各种方法可以使用比图2中的阶段更少的阶段，或附加阶段。此外，尽管以特定顺序示出并且顺序地进行了阶段，但是应当理解，在某些阶段中的处理可以同时进行，或者在某些情况下可以以不同的顺序进行。

广角图像和长焦图像需要在重叠或公共区域上对准以进行拼接。图5中示出了几何对准块(诸如几何对准块204)的框图。几何对准可以采用混合对准模型，其在图像(IW Y，IT Y)的亮度(Y)通道上结合了全局单应性对准和结构引导的局部对准。全局对准可以将投影模型H拟合到广角图像与长焦图像之间的匹配特征点。这种整体单应性可以保留图像结构，但可能无法解决可以通过结构引导的局部对准进行校正的视差效应或其他未对准情况(例如，光学畸变或小运动)。

缩小块502适于在第一输入和第二输入处接收广亮度图像IWY和长亮度图像ITY，其中，具有较少像素的图像的缩小版本耦合到特征点检测和匹配块504和线段检测和匹配块506。缩小块502可以被实现为通过减少被处理的像素的数量来减少要由几何对准块204的其余元素处理的数据的复杂性。特征点检测和匹配块504能够实现大多数区域的对准，而线段检测和匹配块506能够实现物体的特定线或边缘的对准。特征点检测和匹配块的输出包括匹配特征对，以及适合于匹配特征点的投影模型H，该投影模型H能够实现全局对齐。特征点检测和匹配块504以及线段检测和匹配块506的输出都提供给结构引导的网格变形(SGMW)块508，其输出耦合到插值和放大块510。变形块512被配置为接收插值和放大块510的输出和IT图像以生成

图像，该图像是变形的长焦图像，这将在下面更详细地描述。

顺序地采用结构引导的网格变形(SGMW)框508来细化通过全局单应性实现的粗对准，如参考图5至图8所示和所述。如参考图6更详细地描述的，可以在长焦图像上施加均匀的网格以将其划分为网格单元。SGMW块508最小化能量函数以找到可以在不产生明显的失真的情况下使长焦图像与广角图像对准的期望局部变形的网格顶点位置。如果Vi表示长焦图像中网格的顶点，并且

表示全局变形后的顶点，则SGMW可以通过求解以下能量函数，在局部变形的长焦图像中找到未知的顶点

E_SGMW＝E_p+λ₁E_g+λ₂E_s+λ₃E_l (2)

其中包括数据项(E_p)、全局一致性项(E_q)、平滑度项(E_s)和线对准项(E₁)。

数据项测量在局部变形的长焦图像中的特征点与在广角图像中的相应特征点之间的误差。

表示长焦图像和广角图像中的特征点匹配对。在全局单应性(即，每个像素以相同的变换移动)下，特征点P_j变换为

并在局部网格变形后变为

(即，以不同的变换矩阵移动不同的单元，而矩阵在该单元上是局部的，而不在整个图像)。由于特征点通常可能不是网格的任何顶点，因此将使用包含特征点的网格单元的四个顶点的双线性插值来表示该特征点。更具体地，对于每个特征点

使用逆双线性插值法确定单元的顶点{

m＝1；2；3；4}的四个线性组合系数{α_j，m，m＝1；2；3；4}。这些系数用于组合目标顶点

以生成最终特征点位置

因此，数据项被定义为：

其中，N是匹配特征对的数量。

对于没有匹配特征点的图像区域，仅最小化数据项可能会使它们失真。因此，全局一致性项强加了如下约束：当在这些区域的邻域中没有匹配对时，局部变形的图像区域应当与全局变形的结果一致。具体来说，全局一致性项Eg鼓励目标顶点

与没有匹配特征对的网格单元的全局变形的顶点

相同，

其中，W_i＝1表示Vi在附近具有特征点；否则，W_i＝0。

平滑度项促进网格单元在局部变形期间经历相似性变换以尽可能多地保留物体形状和图像结构。此约束应用于由网格顶点形成的三角形。考虑定义了具有如图6所示的顶点

的三角形的三元组

该顶点

可以用

和

表示，如下：

其中，R将向量旋转90度

值u_t和v_t对三个顶点的相对关系进行编码，并且在相似度变换下保持不变。因此，平滑度项公式如下：

其中，T是使用的三角形的数量。举例来说，可以为每个顶点建立四个三角形。显著图M_t由每个网格单元中的颜色变化计算得出，与非显著区域相比，显著区域更能促进形状不变。

具有以上定义项的结构引导的网格变形的性能在图7中示出。在左侧示出了覆盖全局变形的长焦图像和广角图像，并且在右侧示出了覆盖局部变形的长焦图像和广角图像。

以上项用于确保具有特征点的图像区域中的良好对准，同时避免严重的局部失真。但是，如果线穿过没有足够匹配对的拼接边界，则可能会发生线不连续。人眼非常容易受到这些断线的影响。因此，合并了线对准项以确保相应的线段对准良好。

表示在拼接边界附近的长焦图像和广角图像的线段对。线对准项要求从长焦图像的线l_k上的点P_k,s到广角图像的对应线

的距离之和最小。点P_k,s是线段l_k穿过网格时的交点，类似地，其全局变形的结果

可以表示为包围该点的四个顶点的双线性组合。如果线对应关系可以完美对准，则

线对准项是所有匹配线段的式(8)的累加，

其中，

是线方程

的系数、正规化子

用于确保每个线段的贡献均等。定义了所有能量项后，我们可以使用稀疏线性求解器将其最小化，因为它是二次方程式。参数λ₁,λ₂,λ₃调整每个项的权重。一旦获得了未知的顶点

就可以对Vi和

之间的位移进行插值，以使整个长焦图像变形。

图8中的图像示出了结构引导的网格变形，其中，左侧没有线对准项，右侧有线对准项。

现在转到图9，示出了光度对准块的框图。光度对准块包括被配置为接收

的全局亮度(亮度)色调校正块902、局部亮度色调校正块904和全局色度校正块906。全局亮度色调校正块902、局部亮度色调校正块904和全局色度校正块906中的每个适于接收IW信号。全局色度校正块906生成光度对准的输出

信号。

广角图像和长焦图像由不同的相机使用可能不同的捕获设置捕获，并且可能会经历不同的图像处理操作。这可能会在两个图像之间产生亮度和色度再现方面的可见差异。光度对准块206分别在亮度和色度通道中校正这种差异。亮度校正分为两个阶段：全局校正以解决广角图像与长焦图像之间的全局亮度不匹配，然后进行局部校正以解决跨越两个图像的空间上变化的亮度不匹配。在第一阶段(即，全局亮度色调校正块902)，可以使用直方图匹配技术来将长焦图像的全局亮度分布与广角图像的全局亮度分布进行匹配。在第二阶段(即，局部亮度色调校正块904)中，可以通过以逐块方式获取广角图像和长焦图像的降采样平均版本的对数比来应用空间变化的伽马校正。图10中的一系列图像示出了光度对准块的性能，并且更具体地，示出了在第二图像中的全局亮度校正之后以及在第三图像中的局部亮度和全局色度校正之后在第一图像中没有光度对准的情况下的光度对准块的性能。

光度对准模块的第一有益方面是在全局亮度色调校正块中。由于人眼最有可能识别图像的平滑区域中的光度不匹配，因此可以先通过空间频率滤波器处理图像，然后根据滤波后的结果(通常是平滑变化的区域)计算直方图。根据特殊滤波器的一种实现方式，将诸如平均或高斯滤波器的低通滤波器应用于图像并从原始图像中减去。差异图像表示图像中的高频分量。将该差异与阈值进行比较，在直方图计算中仅考虑阈值以下的区域(即，高频分量少的区域)。光度对准模块的第二有益方面在于：在全局和局部校正中，将更多重点放在广角图像和长焦图像之间的拼接边界附近的匹配像素上。在全局阶段，在直方图计算中，边界附近的像素将获得更大的权重。在局部亮度色调校正阶段，可以优先在边界附近而不是在整个长焦图像内应用伽马校正。

通常，难以使长焦图像与广角图像中的重叠区域完美对准，因此在拼接接缝搜索块208中开发出接缝发现方法，从而以长焦图像和广角图像沿接缝在局部区域中完美拼接的方式搜索用于最佳拼接的接缝。根据一个实施例，对接缝的搜索可以被转换成图形切割问题。构造的图形如图11所示，其中，重叠的像素位置作为节点，W/T作为标签(在图切割问题中，分别称为汇和源)。重叠区域被限制为靠近拼接边界的宽边界。有几种原理进一步限制了可以搜索接缝的空间。例如，如果在该区域中存在人脸，则我们不应将这些像素视为搜索候选对象，以免接缝切过脸。

在该图形中，该边界周围的所有像素都被约束为来自长焦图像或广角图像，指示从这些像素到其最接近标签的无限边缘权重。重叠区域中两个图形节点之间的边缘权重旨在促进接缝穿过纹理区域，而不是平滑区域和大规模边缘，

其中，s和t是相邻像素，并且

和

是沿d方向(d取决于s和t的空间关系)的广角图像和长焦图像中的纹理图。该边缘权重在纹理区域上的损失较少。最大流量削减(max-flow cut)用于寻求将重叠区域分成不同标签的图形的最低成本削减，从而避免穿越具有可识别视觉重要性的对象；避免穿越几何上未对准的物体的边界；并避免穿越无法进行光度学对准的边界。图12示出了所得接缝如何避免较大的未对准区域以实现更好的拼接。

混合作为后处理步骤旨在使从一个图像变换为另一更自然和平滑的图像，从而在存在颜色和分辨率差异的情况下实现边缘和纹理的均匀性。如下面将更详细描述的，混合过程可以自适应地混合接缝两侧的像素，以便宽过渡带用于平滑区域和纹理区域，而窄带甚至未混合用于边缘，以避免可见的伪像。

现在转到图13，示出了用于进行自适应混合的块的框图。在拼接接缝搜索块中生成掩模M，其中，属于长焦图像的像素由M＝1标记。例如，将模糊图与高斯模糊内核表结合使用，以实现自适应混合。模糊图的值指示将从表中挑出哪个高斯模糊内核，以便与掩码M进行像素卷积。模糊图的值越高，所选高斯模糊内核的大小越大。首先，通过获取模糊的广角图像IW的梯度来计算边缘图，如下：

其中，G_g是固定大小的高斯模糊内核，用于掩盖区域其缩放比例小于内核的大小的纹理区域，而G_k表示一组滤波器，用于在两个方向上近似一阶导数。为了确保在显著边缘上不混合，边缘图使用阈值T进行了二值化，其中，

如果l_k存在，则E＝0.5；如果E>T，则E＝1.0；或，除此之外E＝0.0(11)

第一种情况(即，E＝0.5)的目的是在线段的区域上混合更多一点，以在将两个线段拼接到邻域时分配像素级误差。通过从掩模M中减去边缘图E得出最终的模糊图B，

B＝M-E (12)

通过进行空间变量卷积，可以通过以下方式表示用于混合的自适应阿尔法图：

其中，x表示像素位置，G(g，B(x))是高斯模糊内核，其大小与B(x)成正比。拼接结果是

IS＝α*IT+(1-α)*IW (14)

其中，乘法符号*表示逐像素乘法。

首先，对广角图像进行模糊处理的目的是掩盖其缩放比例小于模糊内核大小的纹理区域，最后增加对这些纹理区域的混合。为了避免在显著边缘上没有混合，边缘图使用阈值进行二值化。另外，将检测到的线段区域上的边缘图设置为较低的值以进行更多混合，以便在将两个线段拼接到附近时分配像素级误差。最终的模糊图是通过从掩码中减去边缘图得出的。通过进行空间变量卷积，获得自适应阿尔法图，用于将变形的长焦图像和广角图像混合在一起。图14比较了所提出的自适应阿尔法混合与金字塔混合的性能，金字塔混合在图像拼接问题中广泛使用。可以看出，混合图在纹理区域上产生了更自然的变换。如图15所示，在根据图13的混合过程与阿尔法混合之间进行了另一个比较。通过新的混合图成功地抑制了伪影。

现在转到图16，流程图示出了实现具有不同焦距的相机的方法。可以使用所述的图1-15的任何实施例或其他合适的实施例来实现该方法。在框1602处接收广角图像和长焦图像。在框1603处进行几何对准以将长焦图像与广角图像对准。在框1604处校正广角图像和长焦图像之间的光度差异。在框1606处选择用于广角图像和长焦图像的拼接接缝。在框1608处，将广角图像和长焦图像接合以生成合成图像，其中，合成图像在接缝的一侧上的第一部分来自广角图像，而合成图像在接缝的另一侧上的第二部分来自长焦图像。

该方法可以进一步包括使用对准项来提供广角图像和长焦图像的几何对准，以将广角图像和长焦图像的对应线段对准。提供几何对准可以包括建立全局一致性项，以在没有匹配特征点的区域中使局部变形与全局变形一致。校正光度差异可以包括仅使用平滑区域来提供全局亮度校正，以及通过匹配广角图像和长焦图像之间的拼接边界附近的像素来提供光度对准。混合广角图像和长焦图像可以包括提供自适应阿尔法混合，并且更具体地，进行空间变量卷积以获得自适应阿尔法图。

尽管描述了该方法的特定元素，但是应当理解，可以根据图1至图15的公开内容来实现该方法的附加元素或与这些元素有关的附加细节。

因此，可以理解，已经描述了用于实现具备具有焦距的相机的设备的新电路和方法。本领域技术人员将理解，可以看到存在包含所公开的发明的许多替代方案和等同方案。因此，本发明不受前述实施方式的限制，而仅受所附权利要求的限制。

Claims (17)

1.一种从具有不同焦距的多个相机生成图像的方法，所述方法包括：

接收广角图像和长焦图像；

使所述广角图像和所述长焦图像对准以重叠共同的视场；

对所述广角图像与所述长焦图像之间的光度差异进行校正；

为所述广角图像和所述长焦图像选择拼接接缝；以及

接合所述广角图像和所述长焦图像以生成合成图像，

其中，所述合成图像的位于所述拼接接缝的一侧的第一部分来自所述广角图像，所述合成图像的位于所述拼接接缝的另一侧的第二部分来自所述长焦图像，

其中，对所述光度差异进行校正包括在所述广角图像与所述长焦图像之间的拼接边界中执行全局亮度色调校正和局部亮度色调校正。

2.根据权利要求1所述的方法，所述方法还包括使用对准项来提供所述广角图像和所述长焦图像的几何对准，以对准图像区域，所述图像区域包含：

匹配特征点；或

匹配线段。

3.根据权利要求2所述的方法，其中，使所述广角图像和所述长焦图像对准包括：建立全局一致性项，以在没有匹配特征点且没有匹配线段的区域中使局部变形与全局变形一致。

4.根据权利要求1所述的方法，其中，对所述广角图像与所述长焦图像之间的光度差异进行校正是在生成合成图像之前进行的。

5.根据权利要求4所述的方法，其中，对光度差异进行校正包括：使用平滑图像区域提供全局亮度或全局色度校正。

6.根据权利要求4所述的方法，其中，对光度差异进行校正包括：通过匹配位于所述广角图像与所述长焦图像之间的所述拼接边界附近的像素来提供光度对准。

7.根据权利要求1所述的方法，其中，选择拼接接缝包括：选择用于搜索所述拼接接缝的共同的视场的预定子集。

8.根据权利要求1所述的方法，其中，选择拼接接缝包括通过以下中至少一种来选择拼接接缝以减小所述合成图像中的像差：

避免穿越大范围的边缘；

避免穿越平滑区域；

穿越纹理区域；

避免穿越具有可识别的视觉重要性的物体；

避免穿越几何上未对准的物体的边界；以及

避免穿越无法被光度对准的边界。

9.根据权利要求1所述的方法，其中，接合所述广角图像和所述长焦图像包括提供自适应阿尔法混合。

10.根据权利要求1所述的方法，其中，接合所述广角图像和所述长焦图像包括执行空间变量卷积以获得自适应阿尔法图。

11.根据权利要求1所述的方法，所述方法还包括：同时捕获所述广角图像和所述长焦图像以避免移动物体的失真。

12.一种电子设备，所述电子设备包括：

第一相机，其具有第一焦距；

第二相机，其具有不同于所述第一焦距的第二焦距；以及

处理器，其用于接收所述第一相机和所述第二相机捕获的图像，其中，所述处理器：

接收广角图像和长焦图像；

使所述广角图像和所述长焦图像对准以重叠共同的视场；

对所述广角图像与所述长焦图像之间的光度差异进行校正；

为所述广角图像和所述长焦图像选择拼接接缝；以及

接合所述广角图像和所述长焦图像以生成合成图像，其中，所述合成图像的位于所述拼接接缝的一侧上的第一部分来自所述广角图像，所述合成图像的位于所述拼接接缝的另一侧上的第二部分来自所述长焦图像，

其中，对所述光度差异进行校正包括在所述广角图像与所述长焦图像之间的拼接边界中执行全局亮度色调校正和局部亮度色调校正。

13.根据权利要求12所述的电子设备，所述电子设备还包括使用对准项来提供所述广角图像和所述长焦图像的几何对准，以对准图像区域，所述区域包含：

匹配特征点；或

匹配线段。

14.根据权利要求13所述的电子设备，其中，使所述广角图像和所述长焦图像对准包括：建立全局一致性项，以在没有匹配特征点且没有匹配线段的区域中使局部变形与全局变形一致。

15.根据权利要求12所述的电子设备，其中，选择拼接接缝包括通过以下至少一种来选择拼接接缝，以减小所述合成图像中的像差：

避免穿越大范围的边缘；

避免穿越平滑区域；

穿越纹理区域；

避免穿越具有可识别的视觉重要性的物体；

避免穿越几何上未对准的物体的边界；以及

避免穿越无法被光度对准的边界。

16.根据权利要求12所述的电子设备，其中，接合所述广角图像和所述长焦图像包括提供自适应阿尔法混合。

17.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读程序，其中，所述计算机可读程序在计算设备上执行时使得所述计算设备执行权利要求1-11中任一项所述的方法。

Images