CN110365894A - 摄像机装置中图像融合的方法及相关装置 - Google Patents

Abstract

提供了一种摄像机装置。所述摄像机装置包括：第一成像部分、第二成像部分、第三成像部分以及处理器。所述第一成像部分、第二成像部分以及第三成像部分分别捕获具有第一视场、第二视场以及第三视场的第一图像、第二图像以及第三图像。所述处理器配置为响应于所述摄像机装置的变焦因子在第一变焦因子与第二变焦因子之间，通过在所述第一图像、所述第二图像以及所述第三图像上执行第一图像融合处理来生成第一输出图像，其中所述第一视场比所述第二视场更宽，以及所述第二视场比所述第三视场更宽，以及所述第二变焦因子大于所述第一变焦因子。

Description

摄像机装置中图像融合的方法及相关装置

相关引用

本发明要求提交于2018年3月26日，号码为62/647,915的美国临时申请的优先权，其整体通过引用纳入其中。

技术领域

本发明涉及摄像机，更具体地，涉及摄像装置以及在摄像装置中图像融合的方法。

背景技术

光学变焦(optical zoom)是目前吸引用户的最重要的智能手机摄像机特征之一。不幸的是，镜头的物理特性使得设计包括光学变焦而不牺牲手机整体性能或者不增加其厚度的单摄像机智能手机设置变得困难。

最近几年开发了一种广角加长焦的双摄像机模块并为业界提供了一种解决方案。由于图像变焦可以在双摄像机模块中的广角成像部分与长焦成像部分之间切换，用户可以使用配备有广角加长焦的双摄像机模块的智能电话来获得具有平滑的光学变焦功能的更好体验。广角镜头以及长焦镜头通常称为“宽”镜头以及“长”镜头，以及广角成像部分中广角镜头的焦距小于长焦成像部分中长焦镜头的焦距。例如，广角镜头可以具有较短的焦距，以及长焦镜头可以具有较长的焦距。此外，广角镜头以及长焦镜头可以具有不同的FOV(视场)。

此外，随着技术的发展，市场上一些传统的便携式电子装置已经在单个摄像机模块(例如，背面的摄模机模块)中配备有多于2个摄像机，其中摄像机模块中每一摄像机可以具有各自的焦距以及FOV。假定在一个摄像机模块中有三个摄像机，如第一摄像机、第二摄像机以及第三摄像机，第一摄像机可以具有最短的焦距以及最宽的FOV，以及第二摄像机可以具有第二短的焦距以及第二宽的FOV，以及第三摄像机可以具有最长的焦距以及最窄的FOV。然而，在执行数位变焦时，这些传统的便携式电子装置不能有效地使用由第一、第二以及第三摄像机捕获的图像，导致较差的图像质量。

因此，需要一种摄像机装置以及摄像机装置中图像融合的方法来解决上述提到的问题。

发明内容

参考附图在后续的实施例中给出了细节描述。

在示例性实施例中，提供了摄像机装置。所述摄像机装置包括：第一成像部分、第二成像部分、第三成像部分以及处理器。所述第一成像部分配置于捕获具有第一视场的第一图像，所述第二成像部分配置于捕获具有第二视场的第二图像，以及所述第三成像部分配置于捕获具有第三视场的第三图像。所述处理器耦合到所述第一处理器、所述第二处理器以及所述第三处理器，以及配置于响应所述摄像机装置的变焦因子在第一变焦因子与第二变焦因子之间，在所述第一图像、所述第二图像以及所述第三图像上执行第一图像融合处理来生成第一输出图像。所述第一视场比所述第二视场更宽，以及所述第二视场比所述第三视场更宽，以及所述第二变焦因子大于所述第一变焦因子。

在另一个示例性实施例中，提供了一种摄像机装置中图像融合的方法。所述摄像机装置配备有第一成像部分、第二成像部分以及第三成像部分。所述方法包括以下步骤：利用所述第一成像部分、所述第二成像部分以及所述第三成像部分来分别捕获具有第一视场、第二视场以及第三视场的第一图像、第二图像以及第三图像，并且响应于所述摄像机装置的变焦因子在第一变焦因子与第二变焦因子之间，通过在所述第一图像、所述第二图像以及所述第三图像上执行第一图像融合处理来生成第一输出图像，其中所述第一视场比所述第二视场更宽，以及所述第二视场比所述第三视场更宽，以及所述第二变焦因子大于所述第一变焦因子。

本发明公开了一种图像融合方法，依据变焦因子、视场因素来确定对不同区域的图像进行图像融合的程度，实现更好的图像质量，提供用户更好的拍照体验。

附图说明

通过阅读后续的细节描述以及参考附图所给的示例可以完全理解本发明，其中：

图1示出了根据本发明实施例的摄像机装置的框图。

图2A示出了根据本发明实施里的摄像机装置中成像部分的变焦因子与FOV之间的关系。

图2B示出了根据图2A的实施例的使用由三个成像部分所捕获的图像的图像融合处理。

图2C示出了根据图2B的实施例的相对于变焦因子的输出图像的整体PPA值。

图3示出了根据本发明另一个实施例的使用由三个成像部分所捕获的图像的图像融合处理。

图4示出了根据图3的实施例的相对于变焦因子的成像部分的PPA值。

图5A示出了根据本发明实施例的由摄像机装置的成像部分所捕获的图像的高频分量以及低频分量。

图5B示出了根据本发明实施例的由摄像机装置的成像部分所捕获的图像的多个分解级中的高频分量以及低频分量。

图5C示出了根据本发明实施例的由摄像机装置的成像部分所捕获的第一图像以及第二图像的多个分解级中的高频分量。

图6示出了根据本发明实施例的摄像机装置中图像融合方法的流程图。

具体实施方式

下文的描述是实施本发明的最佳实施方式。所作之描述是出于说明本发明一般原理的目的，不应对此作限制性理解。本发明的范围由参考所附权利要求而最佳确定。本文使用了如“宽镜头”、“宽图像”以及“宽图像数据”的术语。在包括广角镜头以及长焦镜头的摄像机装置的上下文中使用这些术语。应当理解，如本领域技术人员所理解的，诸如“宽镜头”、“宽图像”以及“宽图像数据”分别指“广角镜头”、“广角图像”、“广角图像数据”，以及“远镜头”、“远图像”以及“远图像数据”分别指“长焦镜头”、“长焦图像”以及“长焦图像数据”。

图1示出了根据本发明实施例的摄像机装置的框图。如图1所示，摄像机装置100包括至少三个成像部分以及处理器140。出于描述的目的，摄像机装置100中成像部分的数目是3，即，成像部分110、120以及130。

例如，成像部分110包括镜头111以及图像传感器112，以及成像部分120包括镜头121以及图像传感器122，以及成像部分130包括镜头131以及图像传感器132。图像传感器112、122以及132可以是物理上分开的或者可以是单个较大图像传感器的一部分，以及图像传感器112、122以及132的分辨率可以彼此相等或者不同。此外，镜头111、121以及131的视场(FOV)以及焦距可以彼此相等或者不同。

处理器140可以耦合到成像部分110、120以及130，以及配置为接收由成像部分110捕获的第一图像、由成像部分120捕获的第二图像以及由成像部分130捕获的第三图像。处理器140可以配置为在图像变焦期间，在第一图像、第二图像以及第三图像上执行对应的图像处理来实现平滑的变焦功能。具体地，处理器140可以生成预览图像，其从由成像部分110、120以及130获得的信号在所有变焦等级融合而得。

在一个实施例中，摄像机装置100可以进一步包括用于显示预览图像的显示面板150。例如，显示面板150可以是触控面板，以及处理器140可以在显示面板150上呈现用于变焦功能的用户界面。因此，用户可以按压显示面板150来调整预览图像的变焦因子。

图2A示出了根据本发明实施例的摄像机装置中成像部分的变焦因子与视场之间的关系。

在一个实施例中，摄像机装置100可以包括N个成像部分，如，成像部分211、212、213……以及21N。出于描述的目的，假定成像部分211～21N中图像传感器的分辨率是相同的，以及每一成像部分211～21N的镜头具有各自的FOV，即，FOV₁、FOV₂、FOV₃……以及FOV_N，如图2A中的块221～22N所示，其中FOV₁>FOV₂>FOV₃……>FOV_N。在一些实施例中，每一成像部分211～21N的镜头的焦距可以是FL₁～FL_N，其中FL₁<FL₂<FL₃<……<FL_N。

例如，假定成像部分211具有等于1的变焦因子k₁，可以使用等式(1)计算其他成像部分212～21N的变焦因子：

其中k_N表示成像部分21N的变焦因子，FOV₁表示成像部分211的FOV，FOV_N表示成像部分21N的FOV。例如，成像部分212的变焦因子k₂可以计算为：

具体地，变焦因子可以是等于或大于1的正数，后缀为“x”。例如，当变焦因子从k₁(如，等于1)变到k₂时，FOV₁的范围(即，块221)将收缩到是FOV₂的范围(块222)。

因此，由每一成像部分211～21N捕获的图像的分辨率可以用角度单位的像素的“密度”表示，如每角度像素(pixel per angle，PPA)。例如，PPA的定义可以使用等式(3)表示：

其中PPA_i表示第i个成像部分的PPA；#pixel_i表示第i个成像部分中图像传感器的像素数；FOV_i表示第i个成像部分的FOV。

因此，每一成像部分中图像传感器的像素数(即，分辨率)与每一成像部分的PPA成比例。此外，每一成像部分中图像传感器的分辨率可能受到光圈(aperture)以及一些其他因素(如，传感器尺寸、像素尺寸等)的影响。

成像部分211～21N的PPA值可以分类为PPA_N>…>PPA₂>PPA₁。需要注意的是，可以在水平、垂直以及对角线方向定义每一成像部分的FOV。就这一点而言，变量PPA_i以及FOV_i可以分别替代为以及其中j表示水平、垂直或对角线方向。

图2B示出了图像融合处理的示意图，图像融合处理使用根据图2A的实施例三个成像部分捕获的图像。图2C示出了根据图2B的实施例的相对于变焦因子的输出图像的总PPA值。

在一个实施例中，出于描述的目的，摄像机装置100中的成像部分的数目是3，即，成像部分211、212以及213。成像部分211、212、213分别具有PPA值PPA₁、PPA₂以及PPA₃。成像部分211、212以及213的FOV如图2A所示，其中成像部分211的FOV₁对应于1x变焦因子，成像部分212的FOV₂对应于k₂x变焦因子，以及成像部分213的FOV₃对应于k₃x变焦因子。成像部分211、212以及213的PPA值PPA₁、PPA₂、PPA₃相对于K_x变焦因子的关系如图2C所示。此外，在一个实施例中，成像部分211、212以及213的FOV₁、FOV₂以及FOV₃分别示为图2A中的块211、212以及213。

特别地，成像部分211、212以及213可以被设计为用于不同的焦距以及FOV。例如，参考图2A，块222示出了在块221(即，FOV₁)内部的FOV₂的范围，以及块223示出了在块221(即，FOV₁)内部的FOV₃的范围。此外，FOV₃的范围比FOV₂的范围更窄。需要注意的是，因为成像部分211～213中的图像传感器可以具有相同的分辨率(即，相同的像素数)以及成像部分213具有最窄的视场FOV₃，成像部分213可以具有三个成像部分211～213中最高的PPA值。

因此，如图2B所示，可以在FOV₁的范围内的不同区域执行不同的图像融合处理。例如，FOV₁(即，块221)可以被分成第一区域、第二区域以及第三区域。第一区域可以是FOV₃，以及第二区域(即，231)可以是在FOV₂内部且在FOV₃外部的区域，以及第三区域(即，块232)可以是在FOV₁内部且在FOV₂外部的区域。此外，由处理器140生成的输出图像可以分别由第一区域、第二区域以及第三区域的图像融合结果形成，即，第一输出图像、第二输出图像以及第三输出图像。

相对于第一区域R1(即，块223)，可以使用第一图像I1、第二图像I2以及第三图像I3计算第一输出图像X1。例如，可以使用等式(4)计算第一输出图像X1：

X1＝W1×I1_R1+W2×I2_R1+W3×I3 (4)

其中I1_R1以及I2_R1分别表示在FOV₃(即，块223)的范围内部的第一图像I1以及第二图像I2。W1、W2以及W3表示在FOV₃内部的第一图像I1、第二图像I2以及第三图像I3的权重因子。权重因子W1、W2以及W3是在0与1之间的值，以及可以使用等式(5)表示权重因子W1、W2以及W3之间的关系：

W1+W2+W3＝1 (5)

具体地，响应于变焦因子是1x，第一图像I1的权重因子W1是基本上等于1的P_1a，以及第二图像I2以及第三图像I3的权重因子W2(如，等于Q_1a)以及W3(如，等于R_1a)基本上等于0。即，响应于变焦因子是1x，由成像部分211捕获的整个第一图像I1被用作为第一输出图像X1。

在第一阶段，摄像机装置100的变焦因子K_x逐渐地从1x调整到k₂x。第一图像I1的权重因子W1从1逐渐地减少到0或预定的比率P_1b，第二图像I2以及第三图像I3的权重因子W2以及W3分别逐渐地增加到预定比率Q_1b以及R_1b。此外，权重因子W2的增加率大于权重因子W3的增加率。需要注意的是，预定比率P_1b、Q_1b以及R_1b的和也等于1。在一些实施例中，权重因子W1、W2与W3相对于摄像机装置100的变焦因子之间的关系可以被记录在摄像机装置100的非易失性存储器(未在图1中示出)中存储的查找表中。或者，处理器140可以使用线性函数或幂函数来确定相对于摄像机装置100的变焦因子的权重因子W1、W2以及W3。

在一些实施例中，当摄像机装置100的变焦因子K_x逐渐地从1x调整到k_px时，其中k_px是大于k₂的变焦因子，第一图像I1的权重因子W1逐渐地从P_1a减少到0(即，变焦因子k_p)，第二图像I2以及第三图像I3的权重因子W2以及W3也相应地增加。

在第二阶段，摄像机装置100的变焦因子Kx逐渐地从k₂x调整到k₃x。第一图像I1的权重因子被保持在P_1b(如，0)，以及第二图像I2的权重因子W2可以逐渐地从Q_1b减少到Q_1c(如，0)，以及第三图像I3的权重因子可以逐渐地从R_1b增加到R_1c(如，1)。在一些实施例中，权重因子W1、W2与W3相对于摄像机装置100的变焦因子之间的关系可以记录在摄像机装置100的非易失性存储器(未在图1中示出)中存储的查找表中。或者，处理器140可以使用线性函数或幂函数来确定相对于摄像机装置100的变焦因子的权重因子W1、W2以及W3。

在第三阶段，当摄像机100的变焦因子Kx逐渐地从k₃x调整到较大的变焦因子时，权重因子W1以及W2被保持在0，以及权重因子W3被保持在R_1c(如，1)。

关于第二区域R2(即，区域231)，因为成像部分213的FOV仅覆盖小于成像部分211以及212的FOV的块223，可以使用第一图像I1以及第二图像I2计算第二输出图像X2。例如，可以使用等式(6)计算第二输出图像X2：

X2＝W1×I1_R2+W2×I2_R2 (6)

其中I1_R2以及I2_R2分别表示在第二区域231内部的第一图像I1以及第二图像I2，第二区域231是在FOV₂(即，块222)内部且在FOV₃(即，块223)外部的区域。W1以及W2分别表示在FOV₃内部的第一图像I1以及第二图像I2的权重因子。

在第一阶段，摄像机装置100的变焦因子Kx逐渐地从1x调整到k₂x。第一图像I1的权重因子W1可以逐渐地从预定比率P_2a(如，1)减少到P_2b(如，0)，以及第二图像I2的权重因子W2可以逐渐地从预定比率Q_2a(如，0)增加到Q_2b(如，1)。需要注意的是，预定比率P_2b以及Q_1b的和也等于1。在一些实施例中，权重因子W1、W2与W3之间的关系可以记录在存储于摄像机装置100的非易失性存储器(未在图1中示出)的查找表中。或者，处理器140可以使用线性函数或幂函数来确定相对于摄像机装置100的变焦因子的权重因子W1、W2以及W3。

在第二阶段中，摄像机装置100的变焦因子Kx逐渐地从k₂x调整到k₃x。第一图像I1的权重因子W1保持在P_2b(如，0)，以及第二图像的权重因子W2保持在Q_2b(如，1)。需要注意的是，因为摄像机装置100正变焦到超出区域231的范围的块223中，在这一情况中没有第三阶段。

关于第三区域R3(即，区域232)，因为仅成像部分211的FOV₁可以覆盖区域232，其是在FOV₁(即，块221)与FOV₂(即，块222)之间的区域，可以使用第一图像I1计算第三输出图像X3。因此，第三区域R3中第一图像I1的权重因子W1可以保持在预定比率P_3a(如，1)。需要注意的是，因为摄像机装置100正变焦到超出区域232范围的块222或223，在这种情况中没有第二阶段以及第三阶段。

在图2B的实施例中，处理器140使用由成像部分211、212以及213捕获的第一图像I1、第二图像I2以及第三图像I3在输出图像的不同区域上执行不同的图像融合处理，以实现输出图像中不同图像区域之间的平滑过渡。此外，如上所述，可以在变焦的不同阶段中调整第一图像I1、第二图像I2以及第三图像I3的权重因子。因此，如图2C所示，随着变焦因子逐渐地从1x改变到k₃x，由摄像机装置100生成的输出图像的总PPA逐渐地从PPA₁增加到PPA₃。

在一个实施例中，第一图像I1、第二图像I2以及第三图像I3的权重因子还可能受到一些其他因素影响，如从物体到摄像机装置100的物距(object distance)、光线条件、摄像机装置100的功率消耗约束或其组合。

关于物距的因素，当将要对准的物体非常靠近摄像机装置100(即，短的物距)时，处理器140可以增加具有小PPA的成像部分的权重因子。例如，摄像机装置100中具有小PPA(如，可以使用PPA阈值确定)的成像部分能够捕获非常接近摄像机装置100(即，短的物距)的物体的清晰图像，而由于更长的焦距和/或更窄的FOV，具有大PPA的成像部分可能不能够捕获物体的清晰图像。在这一情况下，处理器140可以向右移动控制点，如增加在上述实施例中描述的预定变焦因子k_p，以便使用由具有小PPA的成像部分在更宽的变焦因子范围中捕获的图像，从而改善输出图像的图像质量。此外，在执行自动对焦的同时，可以由从摄像机装置100中每一成像部分的数模转换电路(未示出)输出的DAC(数模转换，digital-to-analog)值确定权重因子。类似地，物距与DAC值之间的关系可以预先记录在摄像机装置100的查找表中。附加地或替代地，处理器140可以使用线性函数或幂函数来确定成像部分的权重因子，但本发明不限于此。

关于照明条件的因素，在一些实施例中，当处理器140使用公知的技术确定摄像机装置100处于黑暗的环境时，处理器140可以增加具有小PPA的成像部分的权重因子。例如，摄像机装置100中具有大PPA(如，可以使用PPA阈值确定)的成像部分可以配备有更小的光圈，从而导致在暗环境中更多的噪声。在这种情况下，处理器140可以向右移动控制点，如增加上述实施例所描述的预定变焦因子k_p，以便使用由具有小PPA的成像部分在较宽的变焦因子范围中所捕获的图像，从而改善输出图像的图像质量。此外，当摄像机装置100是自动对焦模式(如，自动地确定用于每一成像部分的环境的ISO值)时，可以由摄像机装置100中至少一个成像部分的ISO值确定权重因子。类似地，物距以及ISO值之间的关系可以预先记录在摄像机装置100的查找表中。附加地或替代地，处理器140可以使用线性函数或幂函数来确定成像部分的权重因子。

关于功率消耗约束的因素，在一些实施例中，当摄像机装置100中有M个成像部分时，由于预定的功率消耗阈值，处理器140可以同时开启至多N个成像部分，其中M是大于或等于3的整数，以及N是在1与M之间的整数。处理器140可以针对给定变焦因子从M个成像部分中选择具有最高N个FOV覆盖范围的N个成像部分。例如，用于给定变焦因子的特定成像部分的“FOV覆盖范围”可以指示由特定成像部分的FOV所覆盖的给定变焦因子的FOV中像素的百分比。换言之，特定成像部分的FOV覆盖范围可以指示由特定成像部分“看到的”变焦图像的相对大小。

例如，假定摄像机装置100中每一成像部分具有相同的功率消耗。假定(M,N)＝(4,3)以及变焦因子是1.5x，摄像机装置100中四个成像部分(成像部分211～214)的FOV覆盖范围可以分别是100％、70％、40％以及20％。因为100％、70％、40％是最高的三个FOV覆盖范围值，处理器140可以控制成像部分211、212以及213在正常模式中操作，以及设置成像部分214进入低功耗模式或待机模式，从而用3个激活的成像部分实现最高的FOV覆盖范围。在一些实施例中，如果摄像机装置100中的两个成像部分具有相同的FOV覆盖范围但不同的PPA，处理器140可以选择具有较大PPA的成像部分，从而实现更好的图像质量。

在另一个示例中，假定摄像机装置100中成像部分的数目是3并且摄像机装置100位于暗环境中，处理器140可以使用公知的技术确定摄像机装置100处于暗环境中，并随后激活具有最小PPA的成像部分，如成像部分211，以及控制剩余成像部分进入低功耗模式。或者，处理器140可以激活具有最小两个PPA的两个成像部分，如成像部分211以及212，以及控制剩余的成像部分(如，成像部分213)进入低功耗模式。因为成像部分213具有最大的PPA，当执行图像融合处理时，处理器140可以避免使用由成像部分213所捕获的在暗环境中具有更多噪声的图像，从而改善输出图像的图像质量。

对于图1，在一些实施例中，成像部分110可以被认为是广角成像部分，其具有相对较大的光圈、相对较短的焦距以及相对较宽的FOV。成像部分120或130可以被认为是长焦成像部分，其具有相对较小的光圈、相对较长的焦距以及相对较窄的FOV。例如，成像部分110中的镜头111以及图像传感器112可以分别被认为是广角镜头以及广角图像传感器。类似地，成像部分120中的镜头121以及图像传感器122可以分别被认为是长焦镜头以及长焦图像传感器。成像部分110可以具有相对大的光圈以及相对短的焦距。

由成像部分120(即，长焦成像部分)捕获的长焦图像在低光条件下通常可能遭受高噪声，因此它很难获得用于长焦图像的良好的去噪结果，或者去噪的长焦图像可能丢失太多的图像细节。此外，需要大尺寸的滤波内核对长焦图像进行去噪，并且它表明更多的功率消耗。

然而，广角图像以及长焦图像可以被融合来改善由处理器140生成的预览图像的整体图像质量。例如，虽然成像部分120(即，长焦图像部分)具有较窄的FOV(如，第二FOV)，成像部分120在第二FOV中的图像细节比成像部分110在第二FOV内部的相同区域的图像细节好。具体地，长焦图像相比于第二FOV的区域中的广角图像具有更高的PPA值，因此长焦图像可以被用于第二FOV的区域中的图像融合。在后续部分中，将会介绍一种多尺度图像融合方法，以及该方法能够生成具有精细细节的图像并同时抑制噪声。此外，该方法可以应用于摄像机装置100中至少三个成像部分中的任意两个成像部分。

在本发明的技术领域中，在暗环境中实现输出图像的较好图像质量是一个挑战。因为由长焦成像部分捕获的长焦图像可能具有极高的噪声等级，市场上配备有广角成像部分以及长焦成像部分的传统摄像机装置一般只使用由广角成像部分捕获的广角图像作为暗环境中的输出图像而不管变焦因子。然而，由传统摄像机装置执行的方法可能因使用数位变焦而导致不良图像质量。

图3示出了根据本发明另一个实施例的使用由三个成像部分所捕获的图像进行的图像融合处理。图4是根据图3的实施例的相对于变焦因子的成像部分的PPA值。

参考图2A以及图3，在一个实施例中，出于描述的目的，摄像机装置100中成像部分的数目还是3，即，成像部分211、212以及213。成像部分211、212、213分别具有PPA值PPA₁、PPA₂以及PPA₃。成像部分211、212以及213的FOV可以参考图2A，其中成像部分211的FOV₁对应于变焦因子1x，以及成像部分212的FOV₂对应于变焦因子k₂x，以及成像部分213的FOV₃对应于变焦因子k₃x。此外，在一个实施例中，成像部分211、212以及213的FOV₁、FOV₂以及FOV₃分别被视为图2A中的块211、212以及213。

具体地，成像部分211、212以及213可以设计为用于不同的焦距以及FOV。例如，参考图2A，块222示出了在块221(即，FOV₁)内部的FOV₂的范围，以及块223示出了在块221(即，FOV₁)内部的FOV₃的范围。此外，FOV₃的范围比FOV₂的范围更窄。需要注意的是，因为成像部分211～213中的图像传感器可以具有相同的分辨率(即，相同的像素数目)以及成像部分213具有最窄的视场FOV₃，成像部分213可以具有三个成像部分211～213中最高的PPA值。

在图3的实施例中，还可以对FOV1中的不同区域执行不同的图像融合处理。例如，FOV₁(即，块421)的范围可以被分成第一区域、第二区域以及第三区域。第一区域可以是FOV₃(即，块423)的范围，以及第二区域(即，区域431)可以是FOV₂(即，块422)的范围内部以及在FOV₃的范围外部的范围，以及第三区域(即，区域432)可以是在FOV₁的范围内部以及在FOV₂的范围外部的范围。此外，由处理器140生成的输出图像可以分别由第一区域、第二区域以及第三区域(即，第一输出图像、第二输出图像以及第三输出图像)的图像融合结果所形成。

关于第一区域R1(即，块423)，可以使用第一图像I1’、第二图像I2’以及第三图像I3’计算第一输出图像X1。例如，可以使用等式(7)计算第一输出图像X1：

X1＝W1×I1′_R1+W2×I2′_R1+W3×I3’ (7)

其中I1’_R1以及I2’_R1分别表示FOV₃的范围(即，块423)内部的第一图像I1以及第二图像I2。W1、W2以及W3表示FOV3的范围内部的第一图像I1’、第二图像I2’以及第三图像I3’的权重因子。权重因子W1、W2以及W3是0与1之间的值，以及权重因子W1、W2与W3之间的关系可以使用等式(8)来表示：

W1+W2+W3＝1 (8)

特别地，响应于变焦因子是1x，第一图像I1的权重因子W1等于1，以及第二图像I2以及第三图像I3的权重因子W2以及W3等于0。即，响应于变焦因子是1x，由成像部分211捕获的整个第一图像I1’_R1被用作为第一输出图像X1。

在第一阶段，摄像机装置100的变焦因子Kx逐渐地从1x调整到预定变焦因子Zx。第一图像I1的权重因子W1逐渐地从1减少到预定比率T1，第二图像以及第三图像I3的权重因子W2以及W3分别逐渐地从0增加到预定比率T2以及T3。此外，权重因子W2的增加率可以稍稍地高于或等于权重因子W3的增加率。需要注意的是，预定比率T1、T2以及T3的和也是1。在一些实施例中，预定比率T1、T2以及T3可以彼此相等或不同，但本发明不限于此。

此外，响应于处理器140检测到摄像机装置100处于暗环境中(如，场景的亮度低于预定阈值)，处理器140可以动态地调整预定比率T1、T2以及T3，其中T1>T2>＝T3。特别地，响应于摄像机装置100处于暗环境中，由成像部分212以及213捕获的第二图像以及第三图像可以具有极高的噪声等级，即第一噪声等级以及第二噪声等级，其中第二噪声等级高于第一噪声等级。因此，处理器140可以减少用于第二图像以及第三图像的预定比率T2以及T3，以便可以减少融合的输出图像的噪声。

在一些实施例中，权重因子W1、W2以及W3相对于摄像机装置100的变焦因子的关系可以记录在存储于摄像机装置100的非易失性存储器(未在图1中示出)的查找表中。或者，处理器140可以使用线性函数或幂函数来确定相对于变焦因子的权重因子W1、W2以及W3，但本发明不限于此。例如，在表1中示出权重因子W1、W2以及W3相对于正常环境(如，摄像机装置的ISO值大约是100)中变焦因子的关系。

变焦因子	1.0x	1.5x	2.0x	3.0x
					第一图像的W1	1.0	0.4	0.4	0.4
第二图像的W2	0.0	0.3	0.3	0.3
					第三图像的W3	0.0	0.3	0.3	0.3

表1

在表1中，预定比率T1、T2以及T3可以分别是0.4、0.3以及0.3。

附加地或替换地，权重因子W1、W2以及W3还可以由成像部分211、212以及213的ISO值或成像部分211的ISO值确定。通常，摄像机装置100的ISO值可以是从大约50或100直到大约800至8000的范围。响应于处理器140确定摄像机装置100使用较大ISO值，处理器140可以增加权重因子W1以及减少权重因子W2以及W3。

例如，假设摄像机装置100的变焦因子是2.0x以及ISO值是100，根据表1，获得权重因子W1、W2以及W3分别为0.4、0.3以及0.3。处理器140可以根据表2调整权重因子W1、W2以及W3，表2记录使用固定变焦因子2.0x的ISO值相对于权重因子W1、W2以及W3的关系。

ISO值	100	1000	4000	8000
					第一图像的W1	0.4	0.5	0.6	0.8
第二图像的W2	0.3	0.25	0.2	0.1
					第三图像的W3	0.3	0.25	0.2	0.1

表2

需要注意的是，表2为用于2.0x的变焦因子的设计。权重因子W1、W2以及W3相对于使用不同变焦因子的关于ISO值的关系可以以类似方式记录在另一个查找表中。特别地，较大ISO值可指示摄像机装置100所位于的“较暗的”环境。当摄像机装置100的ISO值变得更高时，长焦成像部分(如，成像部分212或213)的噪声等级可能变得更高。因此，可以减少用于第二图像以及第三图像的权重因子W2以及W3来减少融合的输出图像中噪声的影响。

在第二阶段，摄像机装置100的变焦因子Kx逐渐地从Zx调整到k₂x，以及权重因子W1、W2以及W3可以分别被保持在预定比率T1、T2以及T3。需要注意的是，预定比率T1、T2以及T3的和也等于1。在一些实施例中，预定比率T1、T2以及T3可以彼此相等或不同，但本发明不限于此。

在第三阶段，摄像机装置100的变焦因子Kx逐渐地从k₂x调整到k₃x，以及权重因子W1、W2以及W3可以分别保持在预定比率T1、T2以及T3。在第四阶段，摄像机装置100的变焦因子Kx逐渐地从k₃x调整到更大的变焦因子，以及权重因子W1、W2以及W3可以还分别保持在预定比率T1、T2以及T3。

特别地，响应于变焦因子等于或大于预定变焦因子Zx，权重因子W1、W2以及W3可以被保持在预定比率T1、T2以及T3。

关于第二区域R2(即，区域431)，因为成像部分213的FOV₃仅覆盖小于成像部分211的FOV₁以及212的FOV₂(参见图2A)的块423，可以使用第一图像I1’以及第二图像I2’来计算第二输出图像X2。例如，可以使用等式(9)计算第二输出图像X2：

X2＝W1×I1′_R2+W2×I2′_R2 (9)

其中I1’_R2以及I2’_R2分别表示在第二区域431内部的第一图像I1’以及第二图像I2’，第二区域431是在FOV₂(即，块422)内部以及在FOV₃(即，块423)外部的区域。W1以及W2分别表示第二区域中第一图像I1’以及第二图像I2’的权重因子。

在第一阶段，摄像机装置100的变焦因子Kx逐渐地从1x调整到Zx。第一图像I1’的权重因子W1可以逐渐地从1减少到预定比率T4，以及第二图像I2’的权重因子W2可以从0增加到预定比率T5。需要注意的是，预定比率T4以及T5的和也等于1。

在第二阶段以及第三阶段，摄像机装置100的变焦因子Kx逐渐地从Zx调整到k₂x，以及从k₂x调整到k₃x，以及权重因子W1以及W2分别保持在预定比率T4以及T5。

关于第三区域R3(即，区域432)，因为仅成像部分211的FOV₁可以覆盖在FOV₁(即，块421)内部以及FOV₂(即，块422)外部的第三区域432，可以使用第一图像I1’计算第三输出图像X3。因此，第三区域R3中第一图像I1’的权重因子W1可以保持为1。需要注意的是，因为摄像机装置100正变焦到超出区域432范围的块422或423中，这里没有第二、第三以及第四阶段。

在图3～4的实施例中，处理器140可以使用由成像部分211、212以及213捕获的第一图像I1’、第二图像I2’以及第三图像I3’，在输出图像的不同区域执行不同的图像融合处理，以便在输出图像中实现不同图像区域之间的平滑过渡。此外，如上所述，可以在变焦的不同阶段调整第一图像I1’、第二图像I2’以及第三图像I3’的权重因子。在第4图中示出了关于变焦因子Kx的成像部分211、212以及213的PPA值PPA₁、PPA₂、PPA₃的关系。可以理解的是，由于在不同区域中的上述提到的图像融合处理，融合的输出图像的整体PPA可以被保持在定值(constant value)。

图5A示出了根据本发明实施例的由摄像机装置的成像部分所捕获的图像的高频分量以及低频分量。图5B示出了根据本发明实施例的由摄像机装置的成像部分所捕获的图像多分解级中的高频分量以及低频分量。图5C示出了根据本发明实施例的由摄像机装置的成像部分所捕获的第一图像以及第二图像的多分解级中的高频分量。

在一个实施例中，可以使用本领域公知的技术将由成像部分211、212以及213捕获的每一第一图像、第二图像以及第三图像分成低频分量以及高频分量。参考图5A，例如，图像500可以是由成像部分211捕获的第一图像，以及图像500被分成高频分量5010以及低频分量5020。此外，多尺度分解方法(例如，可以包括但不限于，高斯金字塔、拉普拉斯金字塔、小波转换等)可以用于导出不同尺度中的各种高频分量。如图5B所示，高频分量5010表示分解级0(即，100％原始大小)中的高频分量，以及高频分量5011、5012、5013分别表示分解级1(即，每一维度的50％)、分解级2(即，每一维度的22.5％)以及分解级3(即，每一维度的12.25％)中的高频分量，也即，分解级越大图像的尺寸越小。此外，低频分量5020表示分解级0(即，100％的原始大小)中的低频分量，以及低频分量5021、5022、5023分别表示分解级1、分解级2以及分解级3中的低频分量。类似地，由成像部分212以及213捕获的第二图像以及第三图像也可以被分成各自的高频分量以及低频分量(未在图5B中示出)。

出于描述的目的，可以使用第一图像以及第二图像的高频分量执行图像融合处理。例如，参考图5C，高频分量5100、5101、5102以及5103分别表示分解级0、分解级1、分解级2以及分解级3中第二图像的高频分量。此外，因为第一图像以及第二图像可能在FOV₂的范围内重叠，在FOV₂范围内的第一图像被放大以匹配第二图像的维度。在实施例中，第一图像以及第二图像的高频分量的权重因子基于分解级变化。例如，在分解级3中，高频分量5103的权重因子可以是100％以及高频分量5013的权重因子可以是0％，以及它表明分解级3中输出高频分量可以是整个高频分量5103。在分解级2中，高频分量5102的权重因子可以是90％以及高频分量5012的权重因子可以是10％。在分解级1中，高频分量5101的权重因子可以是75％以及高频分量5011的权重因子可以是25％。在分解级0中，高频分量5100的权重因子可以是50％以及高频分量5010的权重因子可以是50％。需要注意的是，本发明不限于上述提到的用于图像混合期间的高频分量的权重因子。

因此，可以通过使用上述提到的权重因子执行图像混合来计算每一合成级中所生成的高频分量。此外，可以执行本领域技术人员所公知的多尺度图像重构处理来使用第一图像的低频分量以及从图像混合中获得的高频分量重构融合的输出图像。需要注意的是，由于其高噪声等级，不使用第二图像的低频分量。因此，所生成的输出图像可以保持第一图像的低频分量以及混合的高频分量的图像细节，从而实现更好的图像质量以及抑制所输出图像的噪声。

图6示出了根据本发明实施例的摄像机装置中图像融合的方法的流程图。所述方法包括下列步骤：

步骤S610：利用第一成像部分、第二成像部分以及第三成像部分分别捕获具有第一FOV、第二FOV以及第三FOV的第一图像、第二图像以及第三图像。例如，所述第一FOV比所述第二FOV更宽，以及所述第二FOV比所述第三FOV更宽，以及所述第二变焦因子大于所述第一变焦因子。

步骤S620：响应于所述摄像机装置的变焦因子在第一变焦因子以及第二变焦因子之间，在所述第一图像、所述第二图像以及所述第三图像上执行第一图像融合处理来生成第一输出图像。例如，可以在所述第一图像、所述第二图像以及所述第三图像之间的重叠区域上执行所述第一图像融合处理，以及所述第一图像、所述第二图像以及所述第三图像全部尽可能地用于所述第一图像融合处理，如所述摄像机装置的所变焦因子在所述第一变焦因子(如，第一成像部分的1x)与所述第二变焦因子(第二成像部分的k₂x)之间。此外，可以在所述第二FOV内部以及在所述第三FOV外部的所述第一图像以及所述第二图像执行第二图像融合处理，以及在所述第一FOV内部以及在所述第二FOV外部的所述第一图像上执行第二图像融合处理。

鉴于上述，已经提供了一种用于在摄像机装置中进行图像融合的摄像机装置及方法，以在图像变焦期间实现更好的图像执行并抑制输出图像的噪声。

虽然已经通过实施例和根据优选实施例描述了本发明，但应当理解，本发明不限于所公开的实施例。相反，其旨在覆盖各种修改及类似的布置(如对本领域技术人员显而易见的)。因此，所述权利要求的范围应该给予最广泛的解释，以便包括所有这些修改以及类似的布置。

Claims (22)

1.一种摄像机装置，其特征在于，包括：

第一成像部分，配置为捕获具有第一视场的第一图像；

第二成像部分，配置为捕获具有第二视场的第二图像；

第三成像部分，配置为捕获具有第三视场的第三图像；以及

处理器，耦合到所述第一成像部分、所述第二成像部分以及所述第三成像部分，以及配置为响应于所述摄像机装置的变焦因子在第一变焦因子与第二变焦因子之间，通过在所述第一图像、所述第二图像以及所述第三图像上执行第一图像融合处理来生第一输出图像，

其中所述第一视场比所述第二视场更宽，以及所述第二视场比所述第三视场更宽，以及所述第二变焦因子大于所述第一变焦因子。

2.如权利要求1所述的摄像机装置，其特征在于，所述第一变焦因子对应于所述第一成像部分的所述第一视场，以及所述第二变焦因子对应于所述第二成像部分的所述第二视场，

其中所述处理器配置为在第一区域的所述第一图像、所述第一区域内的所述第二图像、以及所述第三图像上执行所述第一图像融合处理，以及所述第一区域表示所述第三视场。

3.如权利要求2所述的摄像机装置，其特征在于，响应于所述变焦因子从所述第一变焦因子增大到所述第二变焦因子，所述处理器配置为与所述变焦因子成比例的将在所述第三视场内的所述第一图像的第一权重因子减少到0，以及与所述变焦因子成比例的将在所述第三视场内的所述第二图像的第二权重因子增加到第一预定的比率，以及与所述变焦因子成比例的将所述第三图像的第三权重因子增加到第二预定的比率，

其中所述第一预定比率以及所述第二预定比率的和等于1。

4.如权利要求2所述的摄像机装置，其特征在于，第三变焦因子对应于所述第三成像部分的所述第三视场，以及所述第三变焦因子大于所述第二变焦因子，

其中响应于在所述变焦因子从所述第二变焦因子增大到所述第三变焦因子，所述处理器配置为与所述变焦因子成比例的将所述第二图像的所述第二权重因子减少到0，以及与所述变焦因子成比例的将所述第三图像的所述第三权重因子增加到1。

5.如权利要求2所述的摄像机装置，其特征在于，所述处理器进一步配置为通过对在第二区域内的所述第一图像以及所述第二区域内所述第二图像上执行第二图像融合处理来生成第二输出图像，以及所述第二区域表示在所述第二视场内部以及在所述第三视场外部的区域，

其中所述处理器进一步配置为响应于所述变焦因子在所述第一变焦因子与所述第二变焦因子之间，使用在第三区域内的所述第一图像作为第三输出图像，以及所述第三区域表示在所述第一视场内部以及在所述第二视场外部的区域。

6.如权利要求3所述的摄像机装置，其特征在于，所述处理器进一步配置为根据来自所述第一成像部分、所述第二成像部分以及所述第三成像部分的各自的数模转换电路的数模转换值，调整每一所述第一权重因子、所述第二权重因子以及所述第三权重因子。

7.如权利要求3所述的摄像机装置，其特征在于，所述处理器进一步配置为根据由所述第一成像部分检测到的ISO值，调整每一所述第一权重因子、所述第二权重因子以及所述第三权重因子。

8.如权利要求3所述的摄像机装置，其特征在于，所述摄像机装置进一步包括M个成像部分，所述M个成像部分包括所述第一成像部分、所述第二成像部分以及所述第三成像部分，

其中响应于同时激活所述摄像机装置的至多N个成像部分的功率消耗约束，所述处理器从所述M个成像部分中激活具有最高的N个视场覆盖范围的N个成像部分，

其中M是等于或大于3的整数，以及N是在1与M之间的整数。

9.如权利要求2所述的摄像机装置，其特征在于，响应于所述变焦因子在所述第一变焦因子与预定变焦因子之间，所述预定变焦因子小于所述第二变焦因子，所述处理器进一步配置为与所述变焦因子成比例的将在所述第三视场内的所述第一图像的第一权重因子减少到第一预定比率，以及与所述变焦因子成比例的将在所述第三视场内的所述第二图像的第二权重因子增加到第二预定比率，以及与所述变焦因子成比例的将所述第三图像的第三权重因子增加到第三预定比率，

其中所述第一预定比率、所述第二预定比率以及所述第三预定比率的和等于1。

10.如权利要求9所述的摄像机装置，其特征在于，响应于所述第一图像的平均亮度低于预定亮度和/或所述第一图像的ISO值高于预定阈值，所述处理器进一步配置为增加所述第一预定比率，以及减少所述第二预定比率以及所述第三预定比率。

11.如权利要求9所述的摄像机装置，其特征在于，所述处理器进一步配置为在所述第一图像融合处理中，在每一所述第一图像、所述第二图像以及所述第三图像的各自的高频分量上执行多尺度分解方法，

其中响应于所述第一图像融合处理的较大的分解级，增加用于高频分量的所述第一权重因子并且减少所述第二权重因子以及所述第三权重因子。

12.一种摄像机装置中图像融合的方法，其特征在于，所述摄像机装置配备有第一成像部分、第二成像部分以及第三成像部分，所述方法包括：

利用所述第一成像部分、所述第二成像部分以及所述第三成像部分分别捕获具有第一视场、第二视场以及第三视场的第一图像、第二图像以及第三图像；以及

响应于所述摄像机装置的变焦因子在第一变焦因子与第二变焦因子之间，通过在所述第一图像、所述第二图像以及所述第三图像上执行第一图像融合处理来生成第一输出图像，

其中所述第一视场比所述第二视场更宽，以及所述第二视场比所述第三视场更宽，以及所述第二变焦因子大于所述第一变焦因子。

13.如权利要求12所述的摄像机装置中图像融合的方法，其特征在于，所述第一变焦因子对应于所述第一成像部分的所述第一视场，以及所述第二变焦因子对应于所述第二成像部分的所述第二视场，以及所述方法进一步包括：

在第一区域内的所述第一图像、在第一区域内的所述第二图像、以及所述第三图像上执行所述第一图像融合处理，以及所述第一区域表示所述第三视场。

14.如权利要求12所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

响应于所述变焦因子从所述第一变焦因子增大到所述第二变焦因子，与所述变焦因子成比例的将在所述第三视场内的所述第一图像的第一权重因子减少到0，与所述变焦因子成比例的将在所述第三视场内的所述第二图像的第二权重因子增加到第一预定比率，以及与所述变焦因子成比例的将所述第三图像的第三权重因子增加到第二预定比率，

其中所述第一预定比率与所述第二预定比率的和等于1。

15.如权利要求12所述的摄像机装置中图像融合的方法，其特征在于，第三变焦因子对应于所述第三成像部分的所述第三视场，以及所述第三变焦因子大于所述第二变焦因子，以及所述方法进一步包括：

响应于所述变焦因子从所述第二变焦因子增大到所述第三变焦因子，与所述变焦因子成比例的将所述第二图像的所述第二权重因子减少到0，以及与所述变焦因子成比例的将所述第三图像的所述第三权重因子增加到1。

16.如权利要求12所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

通过在第二区域内的所述第一图像以及所述第二区域内的所述第二图像上执行第二图像融合进程来生成第二输出图像，以及所述第二区域指示在所述第二视场内部以及所述第三视场外部的区域；以及

响应于在所述第一变焦因子与所述第二变焦因子之间的变焦因子，使用在第三区域内的所述第一图像作为第三输出图像，以及所述第三区域表示在所述第一视场内部以及所述第二视场外部的区域。

17.如权利要求14所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

根据来自所述第一成像部分、所述第二成像部分以及所述第三成像部分的各自数模转换电路的数模转换器值，调整每一所述第一权重因子、所述第二权重因子以及所述第三权重因子。

18.如权利要求14所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

根据由所述第一成像部分检测到的ISO值，调整每一所述第一权重因子、所述第二权重因子以及所述第三权重因子。

19.如权利要求14所述的摄像机装置中图像融合的方法，其特征在于，所述摄像机装置进一步包括M个成像部分，所述M个成像部分包括所述第一成像部分、所述第二成像部分以及所述第三成像部分，以及所述方法进一步包括：

响应于同时激活所述摄像机装置的至多N个成像部分的功率消耗约束，从所述M个成像部分中激活具有最高的N个视场覆盖范围的N个成像部分，其中M是等于或大于3的整数，以及N是在1与M之间的整数。

20.如权利要求13所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

响应于在所述第一变焦因子与预定变焦因子之间的所述变焦因子，所述预定变焦因子小于所述第二变焦因子，与所述变焦因子成比例的将在所述第三视场内的所述第一图像的第一权重因子减少到第一预定比率，与所述变焦因子成比例的将所述第三视场内的所述第二图像的第二权重因子增加到第二预定比率，以及与所述变焦因子成比例的将所述第三图像的低于权重因子增加到第三预定比率，

其中所述第一预定比率、所述第二预定比率以及所述第三预定比率的和等于1。

21.如权利要求20所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

响应于所述第一图像的平均亮度低于预定亮度和/或所述第一图像的ISO值高于预定阈值，增加所述第一预定比率，以及减少所述第二预定比率以及所述第三预定比率。

22.如权利要求20所述的摄像机装置中图像融合的方法，其特征在于，进一步包括：

在所述第一图像融合处理中，在每一所述第一图像、所述第二图像以及所述第三图像的各自的高频分量上执行多尺度分解方法；以及

响应于所述第一图像融合处理的较大的分解级，增加高频分量的所述第一权重因子以及减少所述第二权重因子以及所述第三权重因子。