CN112368710B - 对来自多个帧的内容进行组合的方法及其电子装置 - Google Patents

Abstract

描述了一种对来自具有重叠视场的多个帧的内容进行组合的方法。所述方法包括：识别图像的具有重叠视场的第一帧与第二帧之间的对应块，基于与对应块相关联的误差确定是否用第二帧的对应部分替换第一帧的至少一部分，并且基于所述确定对第一帧和第二帧进行组合。

Description

对来自多个帧的内容进行组合的方法及其电子装置

技术领域

本公开总体上涉及一种具有多个相机的电子装置，并且具体地涉及一种用于对来自多个帧的内容进行组合的方法及其电子装置。

背景技术

数字相机是捕获以数字格式存储的图像的电子装置。诸如智能电话、平板电脑或其它便携式装置的其它电子装置通常配备有相机以能够实现图像的捕获。随着对相机或具有相机的电子装置的改善功能的需求增加，已经在电子装置中实现了具有不同功能的多个相机。根据一些实施方式，电子装置中的双相机模块可包含两个不同的镜头/传感器。例如，广角(短焦)镜头可与远摄(长焦)镜头一起使用以近似光学缩放效果。两个传感器同时操作以捕获同一场景的分别被称为短焦图像和长焦图像的图像。因为短焦镜头和长焦镜头具有不同的焦距，所以每个透镜将提供不同的视场(FOV)。短焦图像反映更宽的FOV，而长焦图像具有例如可以是短焦图像的大约一半的FOV，尽管长焦图像与短焦图像的比率可以是一些其它值。尽管两个图像是单独有用的，但将两个图像的部分组合在一起可能是困难的。

因此，使用两个图像生成单个图像的方法是有益的。

发明内容

技术问题

本公开的一方面在于使用多个图像生成单个图像。

技术方案

描述了一种对来自具有重叠视场的多个帧的内容进行组合的方法。所述方法包括：识别图像的第一帧与第二帧之间的对应块；并且基于第一帧与第二帧之间是否存在匹配来确定是否用第二帧的对应部分替换第一帧的至少一部分。

还描述了一种电子装置。所述电子装置包括：至少一个相机；以及处理器，被配置为接收由所述至少一个相机捕获的图像，其中，处理器识别图像的第一帧与第二帧之间的对应块，并且基于第一帧与第二帧之间是否存在匹配来确定是否用第二帧的对应部分替换第一帧的至少一部分。

描述了一种存储有数据的非暂时性计算机可读存储介质，其中，所述数据表示可由处理器运行以执行方法的指令，所述方法包括：识别图像的第一帧与第二帧之间的对应块；并且基于第一帧与第二帧之间是否存在匹配来确定是否用第二帧的对应部分替换第一帧的至少一部分。

有益效果

本公开的实施例提供了一种用于改善图像质量的方案。

附图说明

图1示出具有多个相机的示例性电子装置的框图；

图2示出显示短焦图像和长焦图像的组合的示例的示图；

图3示出显示用于对两个图像的部分进行组合的电路的示例的框图；

图4示出显示用于对两个图像的部分进行组合的电路的示例的另一框图；

图5示出显示短焦图像和长焦图像中的边缘的过渡的变化的示图；

图6示出显示使用局部边缘强度对误差校正进行归一化的示图；

图7示出显示两个相邻像素阵列的像素数据的处理的示图；以及

图8示出显示对两个图像的部分进行组合的方法的流程图。

具体实施方式

下面阐述的电路和方法描述了将内容从至少一个帧传送到另一帧以改善另一帧的图像质量。内容可包括可以是像素数据的图像细节。对于两个帧的情况，它们可从以相同设置或不同设置连续捕获的同一相机模块被获得。对于由同一相机捕获的帧的情况，帧之间将存在时间差，这将向场景引入对象运动。

可选地，可从同一装置上的同时捕获场景的两个不同的相机模块获得多个图像。相机可以是相同的，或者它们可被配置有不同的光学元件以能够实现系统的光学缩放。对于由不同的相机捕获的帧的情况，可通过同步使帧之间的时间差最小化。然而，图像属性将是不同的，这将使得找到帧之间的对应关系更加困难。此外，相机之间的基线(即，间隔)将导致视差问题，其中，所述视差问题将随着场景中的对象更靠近装置而增加。

例如，在具有广角相机和长焦相机两者的配置中，短焦帧将具有比长焦帧更大的视场，但纹理细节和边缘清晰度将弱于长焦帧的纹理细节和边缘清晰度。另一方面，长焦帧将具有较小的视场。因此，根据期望的缩放级别，将存在在长焦帧中不可用的短焦帧区域。为了改善图像质量，对于长焦帧所在的区域，可用长焦帧替换短焦帧的一部分。然而，由于两个相机之间的基线差异以及色调和曝光差异，从长焦帧到仅短焦区域的过渡提出挑战。

根据本公开的一些方面，代替将整个长焦帧引入短焦帧，下面阐述的电路和方法用来自长焦图像的图像数据替换短焦图像的部分。此外，仅使用与长焦图像的像素相关联的像素数据的亮度数据来替换短焦图像的一些像素的亮度数据。例如，短焦高频亮度内容可用长焦高频亮度内容替换，其中，所述替换将产生改善的图像质量。通过仅替换亮度内容，不需要沿着相机过渡区域来校正视差或颜色改变。如果用RGB相机捕获图像，则可将图像变换为具有亮度的格式，诸如YUV，其中，Y表示图像的像素中的亮度部分，并且UV表示图像的像素中的颜色部分。根据其它实施例，还可替换与图像相关联的颜色内容。

尽管下面阐述的具体示例可涉及短焦/长焦双相机布置，但应理解，用于对来自不同图像的信息进行组合的电路和方法可涉及捕获两个帧的相机元件的任何布置，其中，两个帧的部分可被组合以创建具有改善的图像的帧。

此外，尽管本说明书包括限定被认为新颖的本公开的一个或更多个实施例的特征的权利要求，但相信通过结合附图考虑描述将更好地理解电路和方法。尽管公开了各种电路和方法，但将理解，这些电路和方法对可以以各种形式实现的本发明布置仅仅是示例性的。因此，本说明书中公开的具体结构和功能细节将不被解释为限制性的，而仅作为权利要求的基础，并且作为用于教导本领域技术人员以实际上任何适当的详细结构不同地采用本发明布置的代表性基础。此外，本文使用的术语和短语不旨在是限制性的，而是提供对电路和方法的可理解的描述。

图1示出具有多个相机的示例性电子装置的框图。参照图1，电子装置100可以是具有一个或更多个相机的任何类型的装置。电子装置100可包括被连接到多个相机104和相机105的处理器102。电子装置100可以是被适配为发送和接收信息的任何类型的装置，诸如智能电话、平板电脑、或者接收或提供信息的其它电子装置(诸如可穿戴装置)。处理器102可以是ARM处理器、X86处理器、MIPS处理器、图形处理单元(GPU)、通用GPU或被配置为运行存储在存储器中的指令的任何其它处理器。处理器102可在一个或更多个处理装置中被实现，其中，处理器可以是不同的。例如，电子装置除了可包括例如GPU之外，还可包括中央处理器(CPU)。处理电路的操作可依赖于软件和硬件两者以实现下面阐述的电路和方法的各种特征。

处理器102可被连接到用于向用户显示信息的显示器106和电池122。处理器102还可被连接到存储器108，其中，存储器108能够存储与数据相关的信息或与图像数据相关联的信息。如众所周知的，存储器108可被实现为处理器102的一部分，或者可被实现为除了处理器的任何高速缓存存储器之外的存储器。存储器108可包括任何类型的存储器，诸如固态驱动器(SSD)、闪存、只读存储器(ROM)或提供长期存储器的任何其它存储器元件，其中，存储器可以是电子驱动器的任何类型的内部存储器或可由电子装置访问的外部存储器。

还提供用户接口110以使得用户能够输入数据和接收数据。记录图像的一些方面可能需要用户的手动输入。用户接口110可包括通常在便携式通信装置(诸如智能电话、智能手表或平板计算机)上使用的触摸屏用户接口、以及其它输入/输出(I/O)元件，诸如扬声器和麦克风。用户接口110还可包括用于输入或输出数据的装置，其中，所述装置可通过电连接器或通过无线连接(诸如蓝牙或近场通信(NFC)连接)的方式被附接到移动装置。

处理器102还可被连接到接收输入数据或提供数据的其它元件，其中，所述其它元件包括各种传感器120、惯性测量单元(IMU)112和用于活动跟踪的全球定位系统(GPS)装置113。例如，惯性测量单元(IMU)112可提供与装置的运动或朝向相关的各种信息，而GPS 113提供与装置相关联的位置信息。作为示例，可以是移动装置的一部分或被连接到移动装置的传感器可包括光强度(例如，环境光或UV光)传感器、接近传感器、环境温度传感器、湿度传感器、心率检测传感器、皮肤电反应传感器、皮肤温度传感器、气压计、速度计、高度计、磁力计、霍尔传感器、陀螺仪、WiFi收发器或可提供与实现目标相关的信息的任何其它传感器。处理器102可通过输入/输出(I/O)端口114或被连接到天线118的收发器116来接收输入数据。尽管通过示例的方式示出电子装置的元件，但应理解，可在图1的电子装置中实现其它元件，或者可在不同地布置以实现下面阐述的方法的电子装置中实现其它元件。

在一个实施例中，电子装置从长焦帧和短焦帧提取低频信号和高频信号中的至少一个。电子装置利用局部块搜索来识别帧之间的局部对应关系，并确定对应块之间的误差。然后，电子装置根据局部误差替换、部分替换或保持短焦细节信号。

图2示出显示短焦图像和长焦图像的组合的示例的示图。参照图2，采样的缩放级别的示例与短焦相机FOV 210和长焦相机FOV 220相关。对于短焦/长焦双相机对，可通过选择性地对帧进行组合来改善图像质量，其中，可基于短焦图像的部分和长焦图像的部分的比较来做出判定以传送长焦图像的全部或部分。短焦相机具有更宽的视场，因此，在特定缩放比率下作为参考帧是自然的选择。帧将由于相机之间的基线而具有透视失配，并且由于图像信号处理器(ISP)模块差异而具有测光失配。

尽管在图2中通过示例的方式示出的对图像进行组合的示例涉及短焦图像和长焦图像，但应理解，电路和方法可用于对与场景相关联的具有不同属性的任何图像进行组合。尽管由短焦相机和长焦相机生成的图像将基于相机的镜头的焦距而具有不同的属性，但来自不同相机的不同图像也可基于在相机中实现的用于检测光的传感器的类型而具有不同的属性。例如，可通过红-绿-蓝(RGB)相机生成第一图像，并且可通过单色(黑白)相机生成第二图像。可通过具有相同相机属性的两个相机(例如，广角相机或长焦相机两者，或两个RGB相机)生成两个图像，但由于例如在两个相机之间捕获图像的不同定时、相机在电子装置上的不同位置、或两个相机进行处理的不同ISP，所得到的图像可能是不同的。也就是说，尽管两个相机可具有相同的图像传感器和光学组件，但所得到的图像可能是不同的，并且一个图像的一部分可与另一图像组合以生成改善的图像。还应注意，可使用单个相机，其中，可使用单个相机的两个或更多个图像来生成组合图像，其中，将在不同时间拍摄不同的图像。

图3示出显示用于对两个图像的部分进行组合的电路的示例的框图。图3的电路包括被适配为接收和处理第一图像和第二图像以生成组合图像的第一路径和第二路径，其中，分别与第一图像和第二图像相比，组合图像具有改善的图像质量。第一滤波器302(可以是例如低通滤波器)被配置为接收第一图像，并且生成第一滤波信号。根据使用的滤波器，第一滤波信号可表示图像的特定频率分量。例如，如果使用低通滤波器，则第一滤波信号表示与第一图像相关联的低通信号。减法电路304被配置为接收第一图像和第一滤波信号，其中，减法电路304生成表示从第一图像减去第一滤波信号的第二滤波信号。第二滤波器306(也可以是例如低通滤波器)被配置为接收第二图像，并生成第三滤波信号。第二图像和第三滤波信号被提供给减法电路308以生成第四滤波信号。

控制器310被配置为接收第一滤波器302和第二滤波器306的输出，并生成被连接到加法器312的控制信号。根据另一实施例，可将第一图像和第二图像而不是滤波图像提供到控制器310。如下面将更详细地描述的，控制信号使得加法器312能够对第一图像和第二图像的选择的部分进行组合，以生成与第一图像和第二图像单独相比具有改善的图像质量的组合图像。也就是说，如下面将更详细地描述的，代替将整个图像组合成另一图像(即，基础图像)(诸如将长焦图像组合成短焦图像的对应部分)，控制信号可使得能够将图像的任何部分都不传送到基础图像中、将图像的特定部分传送到基础图像中或将整个图像传送到基础图像中。通过在基础图像的对应部分中选择性地使用图像的部分，可避免引入可能降低所得到的图像的质量的像差。

图4示出显示用于对两个图像的部分进行组合的电路的示例的另一框图。参照图4，图4的电路包括用于接收广角图像的第一路径，其中，广角图像的中心部分(短焦中心)被连接到低通滤波器402和减法电路404，其中，低通滤波器402的输出被配置到下采样电路406。低通滤波器402的输出包括针对广角图像的低通信号(短焦低通信号)。减法电路404被配置为接收短焦图像和低通滤波器402的输出，以生成与短焦图像相关联的高通信号(短焦高通信号)。

图4的电路还包括用于接收长焦图像的第二路径，其中，长焦图像被连接到低通滤波器408和减法电路410，其中，低通滤波器的输出被配置到下采样电路412。低通滤波器408的输出包括针对长焦图像的低通信号(长焦低通信号)。根据一个实施方式，低通滤波器用局部相邻像素的平均值替换每个像素。该滤波倾向于平滑高频内容，诸如图像中的边缘和纹理。减法电路被配置为接收长焦图像和低通滤波器408的输出，以生成与长焦图像相关联的高通信号(长焦高通信号)。也就是说，通过获取原始图像帧与经滤波版本之间的差，可获得短焦图像和长焦图像两者的高通信号。

下采样电路406和下采样电路412是控制电路413的一部分，其中，控制电路413确定一个图像(诸如长焦图像)的哪些部分与另一图像(诸如短焦图像)组合以生成具有改善的图像质量的组合图像。更具体地，提供如下面将更详细地描述的局部搜索和匹配操作的比较电路414被配置为接收下采样电路406和下采样电路412的下采样输出。比较电路414执行图像的搜索以确定例如短焦图像中心部分的部分与长焦图像的部分之间是否存在匹配。因为短焦图像和长焦图像的部分被组合，所以有必要确定图像的部分是否匹配，这将使得能够将一个图像的一部分组合在另一图像中。

融合判定电路416还用于融合用于替换另一图像的对应部分的图像的部分，以确保在组合图像中不存在像差。例如，如将参照图7更详细地描述的，当使用短焦图像作为基础图像并且用长焦图像的对应部分替换短焦图像的部分时，如果组合图像的部分被处理以提供被添加到短焦图像的长焦图像的部分的边缘之间的融合，则所得到的组合图像将具有更好的外观。因此，比较电路414确定将组合图像的哪些部分，而融合判定电路416通过在组合图像时避免异常或像差来改善生成的图像的质量。由融合判定电路416生成的控制信号被提供给加法器418，以控制短焦低通信号、短焦高通信号和长焦高通信号的哪些部分用于生成输出信号输出短焦中心Y，其中，输出短焦中心Y可以是例如用长焦图像的部分修改的短焦图像的部分。

可选择下采样电路406和下采样电路412的下采样级别来减少所需的处理量，同时仍然能够将长焦图像的部分与短焦图像进行比较。根据一个实施方式，可执行4X下采样，其中例如，仅每四个像素用于将长焦图像与短焦图像的部分进行比较的目的。尽管如下面将更详细地描述的，下采样信号用于减少处理量，但应理解，低通滤波器402和低通滤波器408的输出可被连接到比较电路414。此外，尽管根据如图4所示的一个实施例，仅将短焦图像和长焦图像的亮度部分提供给低通滤波器402和低通滤波器408以减少图像的处理要求，但应理解，可将整个短焦图像和长焦图像提供给低通滤波器402和低通滤波器408。

图4的电路使得能够进行与长焦图像和短焦图像或短焦图像的一部分在空间域中的组合相关的软判定。图4的电路通常从长焦帧和短焦帧两者提取低频信号和高频信号，找到帧的块之间的局部对应关系，估计对应块之间的误差，并且根据对应块之间的误差，确定是用整个长焦图像替换短焦图像的一部分、用整个长焦图像部分地替换短焦图像的一部分、还是保持短焦细节信号。图4的电路在单个步骤中为帧的每个块提供低复杂度的图像细节传送，而不依赖于帧的其余部分。通过确定是否传送每个块的细节而不是将整个长焦图像传送到短焦图像的一部分中，可生成改善的输出图像，其中，改善的输出图像具有减少的或没有直线弯曲、减少的或没有颜色过渡伪像、以及减少的或没有动态范围的抑制。

如下面还将更详细地描述的，图4的电路提供了正则化短焦块和长焦块之间的运动矢量的简单方式。可生成预处理误差信号以使电路对曝光差异具有弹性，并对由遮挡、不准确的运动估计等引起的实际失配与短焦块和长焦块之间的纹理差异进行区分。此外，局部边缘强度可用于对误差计算进行归一化，这有助于消除重影伪像。

电路和方法还使得能够调制像素或一组像素的传送级别以避免创建伪像。例如，可通过以下等式1来控制可被认为是用于图像的高频分量的短焦图像与长焦图像之间的加权的传送级别。

[等式1]

OutHighFreq＝TeleHighFreq*α+WideHighFreq*(1-α)

这里，OutHighFreq表示输出图像的高频分量，TeleHighFreq表示长焦图像的高频分量，α表示加权值，并且WideHighFreq表示短焦图像的高频分量。

随着由比较电路414确定的误差级别增加，加权值α减小。当α为零时，短焦图像被用作默认。此外，基于块的处理的实施方式提供平滑过渡。也就是说，如将参照图7更详细地描述的，为了平滑从一个块到下一个块的过渡，可使用重叠块，其中，来自相邻块的贡献在多个像素上平滑地斜降。

现在提供与比较电路414相关的附加细节。基于滤波器402和滤波器408的输出的下采样帧被划分为块，并且对于短焦图像的每个块，在长焦帧中搜索对应块。例如，当前短焦块可以是固定的，并且将在该块周围的小区域中针对其在长焦图像中的匹配执行搜索。执行误差计算以确定短焦块与长焦块之间是否存在匹配。为了使误差计算对曝光差异具有鲁棒性，可通过取出块的平均值来对块进行归一化。然后使差异通过最小值滤波器(诸如2D最小值滤波器)，并使用局部边缘度量进行归一化。如果差异信号沿一个方向快速消失，则执行该归一化操作以改善边缘和纹理周围的融合。例如，如果差异信号没有快速消失，则块可能包含部分失配，其中，在融合时可能需要考虑该部分失配。例如，当对图像的部分进行组合时，可能需要关闭融合以避免重影伪像。

根据一个实施方式，归一化互相关为每个运动矢量提供相关测量。具有最高相关性的运动矢量可被认为是正确的运动矢量。然而，相关值可彼此非常接近。在这种情况下，如果帧被正确配准，则选择接近零的运动矢量可能是有益的，其中，接近零的运动矢量通常对应于无运动情况。通过将相关映射与以(0,0)为中心的高斯曲线相乘，给出接近零的运动矢量的优点。

将选择最大分数，其中，其位置的偏移将提供选择的运动矢量。以有效的方式对运动矢量进行正则化以使不连续性最小化，其中，进行关于零运动矢量比其它运动矢量更可能的观察。由于误差度量是相关性，因此较高的分数对应于较少的误差，并且将运动矢量分数与这样的曲线相乘提供朝向零运动矢量的运动矢量正则化。

可在单个步骤中以下采样分辨率估计运动矢量，但可使用对误差信号的曲线拟合来保持像素级精度。应注意，每个帧下采样4X将运动矢量搜索计算减少大约16X。可针对水平方向和垂直方向中的每个方向分别执行曲线拟合，或者可在2D误差图上同时进行曲线拟合。

然后可选择具有最大相关性的长焦块作为匹配，并且其与短焦块的相对位置成为估计的运动矢量。然而，由于下采样，运动矢量估计的分辨率可用于多个像素。也就是说，由于输入图像的4X下采样，运动矢量仅具有4像素分辨率，其中，电路可按原始分辨率一次增加4个像素。为了估计单像素级运动矢量，可将二阶多项式拟合到在两个方向上的最大值附近的相关分数，其中，将与这些多项式的最高值最近的像素位置作为改善的估计。

为了实现单像素精度，生成选择的运动矢量的分数及其每一侧上的邻居的分数(其中，所述邻居的分数将小于中心分数)。然后将二阶多项式拟合到这三个点。该多项式的参数指示实际最大值在何处，其中，该多项式的参数可以是非整数，并且可以是将提供改善的运动矢量位置的与其最接近的整数。针对垂直朝向和水平朝向两者执行该多项式拟合操作。根据一个实施方式，多项式可被拟合如下：

[等式2]

a*x2+b*x+c＝0，

那么给出我们最大值的位置是：x＝-b/(2*a)。

在基于运动矢量的计算确定存在匹配之后，然后确定是否存在充分的匹配。通过从每个像素减去块平均值来对短焦块和长焦块进行归一化，然后在预处理步骤中用3×3最小滤波器和边缘强度滤波器(ESF)作为分母计算块误差。基于该误差的值，确定融合级别，并且由融合判定电路416执行融合判定。

确定匹配是否充分的预处理步骤包括生成预处理误差信号以使其对曝光差异和纹理误分类具有弹性。在计算短焦块与长焦块之间的差异之前，从每个像素值减去它们的平均值，以防止曝光差异不利地影响误差计算。对误差信号计算3×3最小值滤波器，其中，在每个3×3邻域中取最小值。该3×3最小值滤波减少了正确配准的纹理区域的误差覆盖区，而不是减少了不正确配准的区域的误差，因此有助于保留将用长焦图像细节增强的纹理区域。

误差信号的预处理可被执行如下：

[等式3]

对于N个块，并且其中

[等式4]

归一化短焦块＝短焦块–短焦块平均值。

还对(从使用归一化互相关度量来搜索运动矢量返回的)匹配的长焦块执行计算，其中：

[等式5]

然后归一化的长焦块被计算为：

[等式6]

归一化的长焦块＝长焦块–长焦块平均值

然后块误差被计算为：

[等式7]

其中，NWB是归一化的短焦块，NTB是归一化的长焦块，除法符号/是逐元素除法，abs是绝对值，min3x3是3乘3最小值滤波器，ESF是如参照图6所述的边缘强度滤波器，并且c是确保对于任何元素分母不为零的正常数。

在基于块误差确定长焦块是否充分匹配之后，最终步骤是将短焦高频信号和长焦高频信号的组合添加到短焦低频信号。根据最终误差分数，使用仅长焦信号、仅短焦信号或它们的加权平均值。从一个块到下一个块的过渡被平滑以避免细节级别的急剧改变，如参照图7所述。

应注意，图4和图5的电路可以以硬件或软件或硬件和软件的组合被实现，诸如通过使用图1的处理器被实现。尽管图4的电路已经被描述为生成改善的图像，但图4的电路也可用于实现图像处理技术。例如，代替被应用于长焦相机与短焦相机之间的整个公共视场，可基于估计的深度将细节传送选择性地应用于特定区域以有助于创建背景虚化效果，其中，背景虚化效果是照片的背景被模糊的图像处理技术。

图5示出显示短焦图像和长焦图像中的边缘的过渡的变化的图。如例如图6中所述，局部边缘强度可用于对误差计算进行归一化并有助于消除重影伪像。如图5所示，块差异误差倾向于在边缘周围变高，即使它们被正确地配准。块差异可能部分是因为帧之间的子像素失配是不可避免的。使用边缘强度滤波器(ESF)对该块差异误差进行归一化可能是有益的，使得具有大量边缘结构的块不会被不必要地否决。

图6示出显示使用局部边缘强度来对误差校正进行归一化的示图。预处理误差信号可通过在每个方向上添加绝对梯度被计算，并且其中，预处理误差信号提供局部边缘强度的测量。可将边缘强度滤波器应用于短焦图像。如果长焦块被正确地配准，则其边缘将与短焦块相一致，并且它们将获得使用边缘强度滤波器的归一化处理的益处。然而，如果长焦图像未被正确地配准，则它们的边缘将出现在其它地方，并且可能结束在短焦图像的平滑区域上，其中，平滑区域支配大多数自然图像中的边缘。因此，它们将不会获得归一化益处。正确配准的边缘周围的误差的归一化能够实现更准确的长焦帧否决，这反过来减少了重影伪像。

图7示出显示两个相邻像素阵列的像素数据的处理的示图。参照图7，像素阵列702和像素阵列704包括2个相邻像素阵列，其中，过渡像素706包括阵列的相邻列中的像素。根据图7的示例，像素阵列702和像素阵列704中的每一个可包括32×32阵列，其中，阵列702和阵列704中的每一个的8个列用于融合。可在像素阵列之间逐渐执行融合，其中例如，像素阵列702的像素(可包括短焦图像的像素)可靠近短焦图像像素被更多地加权，并且像素阵列704的像素(可以是长焦图像)可靠近长焦图像像素被更多地加权，并且过渡像素706中间的像素可被更均匀地加权。尽管图7的实施方式示出两个像素阵列的相邻侧的逐渐融合，但应理解，可融合单个阵列的所有像素，而不仅仅融合过渡像素706。

图8示出显示对两个图像的部分进行组合的方法的流程图。参照图8，在步骤802，电子装置从图像的第一帧和第二帧提取低频信号和高频信号中的至少一个。这里，图像的第一帧和第二帧可具有不同的属性。在步骤804，电子装置识别第一帧与第二帧之间的对应块。也就是说，电子装置找到对应块。在步骤806，电子装置确定第一帧与第二帧之间的对应块中的误差。也就是说，电子装置估计误差。在步骤808，电子装置基于帧之间是否存在匹配(可基于例如第一帧与第二帧之间的对应块中的误差)来确定是否用第二帧的对应部分替换第一帧的至少一部分。

尽管描述了方法的具体元素，但应理解，可根据图1至图7的公开来实现方法的附加元素或与元素相关的附加细节。

因此，可理解，已经描述了用于实现具有带有焦距的相机的装置的新电路和方法。本领域技术人员将理解，将看到存在包含本公开的许多替代物和等同物。因此，本公开不受前述实施方式的限制，而是仅受所附权利要求的限制。

Claims (15)

1.一种用于操作电子装置的方法，所述方法包括：

识别图像的具有重叠视场的第一帧与第二帧之间的对应块；

基于与对应块相关联的块差异误差确定是否用第二帧的对应部分替换第一帧的至少一部分；并且

基于所述确定对第一帧和第二帧进行组合，

其中，所述方法包括：

选择第二帧的与第一帧的块具有最大相关性的块；并且

基于第二帧的选择的所述块与第一帧的所述块的相对位置，建立估计的运动矢量，

其中，确定是否用第二帧的对应部分替换第一帧的至少一部分的步骤包括：

使用第一帧的所述块的像素的平均值来对第一帧的所述块进行归一化，使用第二帧的所述块的像素的平均值来对第二帧的所述块进行归一化；

基于第一帧的归一化的块和第二帧的归一化的块来产生块差异误差。

2.如权利要求1所述的方法，还包括：

从图像的第一帧和第二帧提取低频信号和高频信号中的至少一个，其中，图像的第一帧和第二帧具有不同的属性，

其中，对第一帧和第二帧进行组合的步骤进一步基于低频信号和高频信号中的提取的所述至少一个，

其中，所述不同的属性包括基于相机的镜头的焦距的属性、基于相机中实施的用于检测光的传感器的类型的属性、基于帧捕获的定时的属性、基于相机在电子装置上的位置的属性、或者基于相机的图像信号处理的属性。

3.如权利要求2所述的方法，其中，提取低频信号和高频信号中的所述至少一个的步骤包括：

利用低通滤波器对第一帧和第二帧中的每一个进行滤波，以生成经滤波版本的帧；并且

确定帧与经滤波版本的帧之间的差以生成帧的高通信号。

4.如权利要求1所述的方法，其中，识别对应块的步骤包括：

将第一帧和第二帧划分为块，并且

在第二帧中的块中搜索至少一个对应块。

5.如权利要求1所述的方法，还包括：

使用局部边缘强度对所述块差异误差进行归一化。

6.如权利要求1所述的方法，还包括：

生成与第一帧和第二帧相关联的下采样图像数据，

其中，估计的运动矢量使用下采样图像数据被建立。

7.如权利要求1所述的方法，还包括：

对估计的运动矢量进行正则化。

8.如权利要求1所述的方法，还包括：

对第一帧的被替换为第二帧的对应部分的所述至少一部分进行融合。

9.如权利要求1所述的方法，其中，第一帧包括短焦帧，并且

其中，第二帧包括长焦帧。

10.一种电子装置，包括：

至少一个相机；以及

至少一个处理器，被连接到所述至少一个相机并且被配置为：

获得由所述至少一个相机捕获的图像；

识别图像的具有重叠视场的第一帧与第二帧之间的对应块；

基于与对应块相关联的块差异误差确定是否用第二帧的对应部分替换第一帧的至少一部分；并且

基于所述确定对第一帧和第二帧进行组合，

其中，所述至少一个处理器还被配置为：

选择第二帧的与第一帧的块具有最大相关性的块；并且

基于第二帧的选择的所述块与第一帧的所述块的相对位置，建立估计的运动矢量，

其中，确定是否用第二帧的对应部分替换第一帧的至少一部分的步骤包括：

使用第一帧的所述块的像素的平均值来对第一帧的所述块进行归一化，使用第二帧的所述块的像素的平均值来对第二帧的所述块进行归一化；

基于第一帧的归一化的块和第二帧的归一化的块来产生块差异误差。

11.如权利要求10所述的电子装置，其中，所述至少一个处理器还被配置为：

利用低通滤波器对第一帧和第二帧中的每一个进行滤波，以生成经滤波版本的帧，并且

确定帧与经滤波版本的帧之间的差以生成帧的高通信号。

12.如权利要求10所述的电子装置，其中，所述至少一个处理器还被配置为：

将第一帧和第二帧划分为块，并且

在第二帧中的块中搜索至少一个对应块。

13.如权利要求10所述的电子装置，其中，所述至少一个处理器还被配置为：使用局部边缘强度对所述块差异误差进行归一化。

14.如权利要求10所述的电子装置，其中，所述至少一个处理器还被配置为：

生成与第一帧和第二帧相关联的下采样图像数据，

其中，估计的运动矢量使用下采样图像数据被建立。

15.如权利要求10所述的电子装置，其中，所述至少一个处理器还被配置为：对估计的运动矢量进行正则化。