CN118505525A - 用于将两个或更多个源图像融合成目标图像的系统和方法 - Google Patents

Abstract

提供了用于将两个或更多个源图像融合成目标图像的系统和方法。融合主图像(P)和次图像(S)的方法(600)包括：确定(602)主图像的区域的局部噪声水平；从主图像的所述区域导出(606)低频LF分量(P_LF)并且从次图像的对应区域导出高频HF分量(S_HF)，其中，LF分量和HF分量参考共同的截止频率；将LF分量和HF分量组合(610)成目标图像区域，其中，HF分量对目标图像区域的相对贡献随着局部噪声水平逐渐增加；重复(612)前面的操作，并且将由此获得的所有输出目标图像区域合并(614)成目标图像。

Description

用于将两个或更多个源图像融合成目标图像的系统和方法

技术领域

本公开涉及图像处理领域。具体地，它提出了一种用于融合主图像和次图像的方法。该方法可以应用于要与红外光图像组合的可见光图像。

背景技术

已知图像融合包括将来自多个源图像的信息组合成较少的目标图像(通常是单个目标图像)的过程。预计目标图像比单个源图像中的每一个更有信息性、更精确或更高质量，并且它由所有必要的信息组成。图像融合被实践用于各种目的，其中之一是构建对于人类观看者更适当和更可理解的图像，或者对于机器感知更有用的图像。源图像在焦点深度(多焦点图像融合)、用于摄影成像的波长范围(多光谱图像融合)和/或成像模态(多模态图像融合)方面可以不同。在这个意义上的成像模态包括通过反射(例如，常规的视觉摄影)、穿透(例如，X射线成像)和发射(例如，磁共振、超声)进行成像。

在图像融合的核心处的组合操作可以在空间域或变换域中执行。从广义上讲，空间域图像融合可以描述为将像素或像素组在其各自位置处拼接在一起。如果在变换域中进行图像融合，则将组合动作应用于从源图像计算的不同变换分量。例如，频域(空间频率域)中的图像融合包括组合图像的光谱元素。

根据EP2570988A2及类似的公开，已知应用图像融合方法以便将视觉图像与红外图像组合。更准确地，EP2570988A2提出了一种方法，通过该方法接收场景的第一图像，其中，第一图像是使用视觉图像传感器捕获的视觉图像；接收场景的第二图像，其中，第二图像是使用红外图像传感器捕获的红外图像；从所述视觉图像中提取高空间频率内容，其中，高空间频率内容包括视觉图像的边缘或轮廓；并且将从所述视觉图像中提取的高空间频率内容与红外图像组合，以增加红外图像的细节水平。根据EP2570988A2的方法产生红外目标图像。

WO2018120936A1公开了一种图像融合方法，包括：获得关于同一场景的可见光图像和红外图像；对可见光图像进行第一分解，以获得可见光图像的第一高频分量和可见光图像的第一低频分量；对红外图像进行第一分解，以获得红外图像的第一高频分量和红外图像的第二低频分量；基于第一算法融合可见光图像的第一高频分量和红外图像的第一高频分量，以生成第一融合高频分量；以及基于第一融合高频分量、可见光图像的第一低频分量和红外图像的第一低频分量进行重构，以生成融合图像。可选地，与可见光图像和红外图像对应的一对低频分量可以被融合以生成融合的低频分量。可见光图像的低频分量和红外图像的低频分量可以被分配权重因子，该权重因子基于周围环境的亮度、目标场景的颜色对比度、用户的偏好等来设置。

EP3518179A1公开了一种用于分光融合的图像采集装置，包括：分光器、可见光谱成像模块、非可见光谱成像模块、配准单元、预处理合成单元和融合单元；其中，分光器被配置为将入射光分成可见光和非可见光；可见光谱成像模块被配置为根据由分光器分出的可见光进行光敏成像，以形成第一可见光图像；非可见光谱成像模块被配置为根据由分光器分出的非可见光进行光敏成像，以形成第一非可见光图像；配准单元被配置为对第一可见光图像和第一非可见光图像进行位置配准，以获得目标可见光图像和第二非可见光像；预处理合成单元被配置为对第二非可见光图像进行亮度调整，以获得目标非可见光图像；融合单元被配置为对目标可见光图像和目标非可见光图像进行图像融合，以获得融合图像。可选地，融合单元可以被配置为：对目标可见光图像进行颜色空间转换，以获得目标可见光图像的亮度分量和颜色分量；对亮度分量进行低通滤波，以获得目标可见光图像的低频信息；对目标非可见光图像进行高通滤波，以获得目标非可见光图像的高频信息；以及根据对应的第二类型的权重值对低频信息和高频信息进行权重处理，以获得与要形成的融合图像对应的亮度分量。第二类型的权重值可以根据目标非可见光图像和目标可见光图像的亮度分量之间的亮度差来确定。

WO2013131929A1公开了一种具有以下步骤的方法：对输入视频帧序列的帧进行空间插值，其中，生成高分辨率、低频率(HRLF)的空间和时间带；对输入数据序列的视频帧进行跨帧空间高频外插，其中，生成高分辨率、高频(HRHF)空间带；以及将HRLF空间和时间带以及HRHF空间带融合，由此获得时空超分辨率视频序列。

WO2021184027A1讨论了用于融合两个图像的技术。假设在场景中同时捕获第一图像和第二图像。在示例中，第一图像和第二图像包括RGB图像和近红外(NIR)图像。在图像被捕获后，它们被处理并融合成新的紧凑形式的图像——融合图像——其中，含有两个图像的细节。然后将融合图像朝着第一图像(例如，原始输入RGB图像)的颜色进行调谐，同时保留融合图像的细节。可以应用可选的颜色校正操作，其中，例如使用第一引导图像滤波器将融合图像分解为融合基础分量和融合细节分量。例如使用第二引导图像滤波器将第一图像本身分解为第一基础分量和第一细节分量。在一些实施例中，融合基础分量和融合细节分量包括融合图像的低频信息和高频信息，并且第一基础分量和第一细节分量包括第一图像的低频信息和高频信息。第一图像的第一基础分量和融合图像的融合细节分量被组合成最终图像，从而在具有融合图像的细节的同时保持第一图像的基础颜色。

也已知图像融合的实践实施会产生特定量的伪影，该伪影可能被人类观看者注意到。如在本文中使用的，在图像融合的上下文中，伪影(或视觉伪影)是目标图像中的不存在于任何一个源图像中的视觉特征。伪影可为结构性的——它似乎向图像添加了新的线条、形状、表面或其他图形信息——或者它可能改变图像或其一部分的色度、亮度、对比度或其他技术特性。伪影可以类型化为可以在目标图像内注意到的图像内伪影和包括图像的整体亮度或整体色度的逐渐和突然变化的图像间伪影。虽然这种变化在单个目标图像中可能影响较小，但是在视频序列的回放期间或在连续渲染多个图像时，可以很容易地注意到它们。除了这些主要的美感问题之外，可以设想，具有明显伪影的融合图像或视频序列可能导致机器感知系统做出错误的决策。例如，视频监控系统可能基于移动的物件是入侵者的错误结论而触发警报。

由于这些原因，期望提供不容易产生伪影的图像融合技术。

发明内容

本公开的一目的是提供一种将两个或更多个源图像融合成目标图像的方法，使得可以预期目标图像比可比较的现有技术方法包含更少的伪影。进一步的目的是提供这样一种方法，该方法具有可以期望目标图像没有伪影的特性，这些伪影在非专业观看者可察觉的意义上是严重的和/或具有误导机器感知系统的可能性。本公开的进一步的目的是提出一种将噪声源图像与进一步的源图像融合成具有受控噪声含量的目标图像的方法。进一步的目的是提出一种方法，通过该方法可以通过与次源图像融合来改善不均匀照明场景的源图像。进一步的目的是提出这样一种对源图像破坏性最小的方法，尤其是从次源图像添加尽可能少的数据的方法。仍进一步的目标是提供具有这些能力的装置和软件程序。

在本公开的第一方面中，提供了一种融合主图像和至少一个次图像的方法。一般而言，主图像可以通过在明确定义的意义上噪声比次图像大来识别。例如，在大部分图像区域中，主图像的局部信噪比(SNR)可能低于次图像的SNR，或者主图像的全局SNR度量(例如，平均值、中值、q分位数)可能低于相同的次图像的全局SNR度量。可替代地，主图像可以通过与比次图像更丰富的视觉表示相关来识别。就通道的数量而言，该表示可能更丰富；例如，主图像可以是在具有多个颜色通道(例如，RGB、YCbCr、HSV)的颜色空间中表达的彩色图像，而次图像是单色图像(例如，红外或近红外图像，或夜间模式图像)。因为信号能量必须在这种类型的主图像中的多个通道之间划分，所以可以预期SNR较低。进一步可替代地，主图像可以被识别为用户在次图像之上的偏好。也就是说，通过以主图像的身份将特别的图像提供给图像融合方法，用户表达了最大可能限度地保留所述特别的图像的特性，并且尽可能避免从次图像引入图像数据的愿望。

根据第一方面的方法包括：确定主图像的区域P(m,n)的局部噪声水平；从主图像的所述区域导出低频(LF)分量P_LF(m,n)，并且从次图像的对应区域S(m,n)导出高频(HF)分量S_HF(m,n)；将LF分量和HF分量组合成目标图像区域T(m,n)，其中，HF分量对目标图像区域的相对贡献随着局部噪声水平逐渐增加；重复上述操作，并将因此获得的所有输出目标图像区域合并成目标图像。应理解，LF分量和HF分量一般参考共同的截止频率f_c，并且该截止频率以任何合适的陡峭度来应用；一般而言，包括一定量的滚降以避免特定伪影，并且滚降可以取决于图像区域的局部噪声水平或其他特性，并且也考虑到手头的使用情况的细节。为避免疑义，截止频率f_c指图像数据的空间频率，而不是用于获取主图像或次图像的摄影光的波长。主图像的区域是一个像素或一组像素，并且次图像的对应区域在图像坐标方面相同地定位。

与本公开的第一方面相关联的优点在于，HF分量对目标图像区域的相对贡献随着局部噪声水平逐渐增加，由此在一定种程度上避免了阈值型伪影(或量化伪影)，并且尽可能最大程度地保留了主图像的特性。因为根据主图像的局部噪声水平来添加来自HF分量的贡献，所以可以控制目标图像的噪声含量。在本公开的语言中，如果增加由单个步骤组成，即不连续的或二进制的增加，则增加相对于局部噪声水平不是逐渐的。相反，如果HF分量连续依赖于局部噪声水平，则来自HF分量的贡献被称为逐渐增加。规定了这样的事实，即在数字信号处理的背景下，严格的数学连续性是不可能的，其中，所有变量都必须以量化的形式表示：即使无论函数多么平滑，也不能以比数字处理系统的数值分辨率(浮点精度)更精细的步长变化——它可以被描述为准连续——然而就本公开的目的而言，它应被认为是连续的。

根据第一方面的方法可以以各种方式体现。可以辨别出三组主要的实施例，这将在本公开的单独部分中进行描述。技术特征可以跨这些实施例组进行组合，并且具体地，可以将属于不同实施例组的不同技术特征应用于单个主图像的不同区域。

在第一组实施例中，截止频率跨主图像可变。本组中的实施例可以规定图像融合方法包括基于主图像的所述区域的局部噪声水平来确定截止频率的另外的步骤。可以对主图像的一个或多个进一步的区域重复本确定，以便当导出相应的LF分量和HF分量时应用不同的截止频率值。

具体地，使用局部噪声水平的非递增函数来确定截止频率。主图像的区域的噪声越大，目标图像区域的光谱的源自次图像的部分将越大；相反地，对于具有相对低的噪声含量的主图像区域，在相对大的程度上保留了主图像的特性。局部噪声水平的非递增函数优选地是由多个小增量组成的连续函数(如前所述，包括数字信号处理中的准连续函数的情况)。这样，HF分量对目标图像区域的相对贡献随着局部噪声水平逐渐增加，由此避免了阈值型伪影。

在第一方面的第二组实施例中，根据跨主图像可变的一个或多个权重系数来组合LF分量和HF分量(以及可能的进一步分量)。本组中的实施例可以包括基于主图像的所述区域的局部噪声水平来确定权重系数的另外的步骤。可以对主图像的一个或多个进一步的区域重复本确定，以便当组合相应的LF分量和HF分量(以及任何进一步的分量)时应用不同的权重系数值。

具体地，在第二组内的一些实施例中，要应用于次图像的对应区域的分量的次系数是局部噪声水平的非递减函数。主图像的区域噪声越大，目标图像区域中源自次图像的图像数据将越多；相反地，对于具有相对低的噪声含量的主图像区域，在相对大的程度上保留了主图像的特性。可替代地或另外地，要应用于主图像的区域的分量的主系数是局部噪声水平的非递增函数。使用具有这些特性的主系数具有根据局部噪声水平平衡来自主图像和次图像的贡献的对应的效果。

在第二组内的不同实施例中，截止频率贯穿主图像可以是可变的或恒定的。恒定截止频率的使用可能提供简单性和鲁棒性。当截止频率f_c和权重系数响应于主图像的相同或相关的局部特性而变化时，可以进一步避免非期望的反馈行为(例如，振荡)和/或非期望的相互补偿效应。恒定截止频率可以基于主图像和/或次图像的全局特性。可替代地，恒定截止频率可以具有预定的值。

在第一方面的第三组实施例中，次图像的对应区域的局部噪声水平被确定，即，除了主图像的区域的局部噪声水平之外。当组合LF分量和HF分量时，可以确定HF分量的相对贡献，使得目标图像区域的局部噪声水平保持在阈值噪声水平以下。如已经解释的，主图像的区域的噪声一般大于次图像的对应区域，并且通过添加来自次图像(或者更准确地，来自从中导出的HF分量)的数据的量来减轻噪声。然而，如本发明人已经意识到的，来自次图像的适当量的数据不仅取决于主图像的局部噪声水平，也取决于次图像的局部噪声水平。其实，次图像的对应区域的噪声越大，则需要添加的区域就越多，以便将主图像的局部噪声水平降低到可接受的噪声水平。基于主图像的区域和次图像的对应区域的各自的噪声水平，对目标图像区域的结果局部噪声水平做出可靠的预测是可能的。预测可以依赖于噪声水平的线性组合，或者依赖于一些种类型的回归模型或训练模型。

基于这些考虑，在一些实施例中，HF分量的相对贡献可以被计算为最小或基本上最小的值，使得目标图像区域的局部噪声水平在低于阈值噪声水平以下。这可以通过旨在将HF分量和LF分量组合使得精确地达到阈值噪声水平，并且然后将HF分量的贡献增加或提高预定的裕度来实现。可替代地，可以通过从HF分量的贡献的低值开始，并以小的步长迭代地增加它，直到目标图像区域的局部噪声水平下降到阈值噪声水平以下来实现最小化。等同地，计算可以旨在确定LF分量的相对贡献，使得目标区域的噪声水平在阈值噪声水平以下。

在第三组内的一些实施例中HF分量相对于LF分量的贡献通过权重系数来控制，而在其他实施例中则通过截止频率f_c来控制。应理解，权重系数或截止频率f_c然后分别跨主图像可变，并且对于主图像的每个区域独立地做出确定。该确定考虑到阈值噪声水平而做出。阈值噪声水平可以是预定的值，尤其是全局可应用的预定的值，系统所有者可以按照他们认为合适的方式进行配置。可替代地，可以基于图像的全局特性为每个新的主图像或每个新的次图像或者主图像和次图像的每个新的组合计算阈值水平。

在第三组内的具体的实施例中，确定LF分量的局部噪声水平和HF分量的局部噪声水平。有了此信息，可以特别可靠地预测目标图像区域的结果局部噪声水平。预测可以依赖于噪声水平的线性组合，或者依赖于一些种类型的回归模型或训练模型。

在根据第一方面的图像融合方法的上述实施例中的每一个中，在进行组合之前将次图像归一化为主图像是可选的。当然，归一化可以是组合步骤的组成部分，或者可以在组合之前进行。从广义上讲，归一化可以是通过缩放因子对次图像进行重新缩放，使得主图像的LF分量变得可与次图像的LF分量(相对于相等的截止频率f_c)可比或相等。将归一化实施为作用于主图像而不是次图像的操作，或者实施为作用于主图像和次图像两者上的操作是可能的。

此外，在第一方面的上述每个实施例中，主图像的区域的局部噪声水平可以使用取决于局部传感器读数的传感器噪声模型来确定。可替代地，主图像的区域的局部噪声水平可以通过直接计算和/或通过测量来确定。

在根据第一方面的图像融合方法的一个设想的使用情况中，主图像是主要使用可见光获取的诸如彩色图像的摄影图像和/或次图像是主要使用非可见光获取的诸如红外或近红外图像的摄影图像。

在本公开的第二方面中，提供了一种装置，该装置具有被布置为执行第一方面的方法的处理电路。第二方面一般共享第一方面的效果和优点，并且它可以通过对应程度的技术变化来实施。

本公开进一步涉及一种计算机程序，该计算机程序含有用于使计算机执行上述方法的指令。计算机程序可以存储或分布在数据载体上。如在本文中使用的，“数据载体”可以是诸如调制的电磁波或光波的瞬态数据载体或者非瞬态数据载体。非瞬态数据载体包括诸如磁、光或固态类型的永久性和非永久性存储介质的易失性和非易失性存储器。这样的存储器可以是固定安装的或便携式的，仍在“数据载体”的范围内。

一般而言，除非在本文中另外明确地定义，否则权利要求中使用的所有术语应根据其在技术领域中的普通含义进行解释。除非另外明确地叙述，否则所有对“一个(a)/一个(an)/所述(the)元件、设备、组件、手段、步骤等”的引用均应开放地解释为指代该元件、设备、组件、手段、步骤等的至少一个实例。除非明确地叙述，否则在本文中公开的任何方法的步骤不必按所描述的确切的顺序进行。

附图说明

现在参考所附附图通过示例描述各方面和实施例，在附图上：

图1在二维频率平面图中描绘了主图像中的区域的变换分量和次图像中的对应区域的变换分量，导出这些变换系数的相应的LF分量和HF分量，以及将LF分量和HF分量组合成目标图像区域的变换系数；

图2和图3提到导出LF分量和HF分量的可替代的方法；

图4示出了将主图像和次图像分割成图像区域；

图5在其上部示出了场景的全景主图像PP和相同场景的一部分的次图像S，其中，全景主图像PP与次图像S的重叠被识别为主图像P；

图6是根据本文中的实施例的图像融合方法的流程图；

图7示出了具有用于获取场景的主图像和次图像的相机的本地布置，以及被配置为将主图像和次图像融合成目标图像的装置；以及

图8图示了图7中所见的布置的包括多个联网实体的可能的分布式实施。

具体实施方式

现在将在下文中参考所附附图更充分地描述本公开的各方面，在附图上示出了本发明的特定实施例。然而，这些方面可以以许多不同的形式体现，并且不应被解释为限制；而是，通过示例提供这些实施例，以便本公开将是彻底和完整的，并且将本发明的所有方面的范围充分传达给本领域技术人员。相同的数字通篇指相同的元件。

系统概述

现在将继续参考图6的流程图来描述图像融合方法600的实施例。方法600对主图像P和一个或多个次图像S进行操作。

方法600可以由通用计算机执行。具体地，方法600可以通过图7中所图示的类型的装置执行。图7中的装置730包括诸如中央处理单元或图形处理单元的处理电路731、朝着主图像P的源和次图像S的源的数据连接以及朝着要由方法600产生的目标图像T的接收者的数据连接。装置730可以构成视频管理系统(VMS)或视频创作工具，或者是视频管理系统(VMS)或视频创作工具的一部分。

处理电路731被配置为执行存储在装置730的存储器732中的计算机程序733。在图7的示例中，主图像的源是RGB相机710，并且次图像的源是红外相机720。红外相机720可以是与指向场景790的区域的有源红外光源相关联的夜间相机。可以是数码相机或数码摄像机的两个相机710、720都指向场景790，该场景790在相关时间以(空间上)不均匀的方式照明，这使得它成为摄影的具有挑战性的主题。具体地，场景790由单个向下的不覆盖场景790的整个水平范围的光源照明，并且家具存在于遮蔽家具并在地板上产生尖锐的阴影的光锥中。可以预期场景790的可见光图像，特别是彩色图像，在较暗的区域中具有高的局部噪声含量(即，低SNR)。回顾一下，利用异质照明改善摄影图像是图像融合方法600所旨在的使用情况，即，通过将摄影图像(主图像)与单色图像(次图像)融合。应理解，获取主图像和次图像的相机710、720被配置为近似同时地进行获取，以便场景790在其间不明显地改变。应理解，尽管有这种近似的同时性，仍可以利用不同的曝光时间来获取主图像和次图像。

如图7中所图示，装置730在生成目标图像T时将其输出到存储器740。本地或远程接收者可以从存储器740检索目标图像并将它们用于回放(例如，使用接口750)或用于进一步编辑。图7中的至少一些箭头象征诸如互联网或另一广域通信网络上的数据连接的远程连接。每个所述箭头可以象征有线或无线数据连接。

作为此本地化实现的替代方案，图8图示了可能的分布式实施。这里，多个联网实体在通信网络870上交换信息的同时进行协作。联网实体(其中的一些可以被表征为云或边缘设备)包括在功能上与上述装置730等同的图像融合装置830。进一步提供了用于分别获取主图像和次图像的主成像装置810和多个次成像装置820、821。在联网实体中，进一步可以看到用于存储要馈送到图像融合装置830的源图像或由图像融合装置830产生的目标图像的服务器(或主计算机)860。进一步提供了被配置为允许图像的编辑、回放或其他形式的使用的用户界面850。

注意，在一些实施例中，主图像和次图像可以是相应的视频序列中的帧，并且目标图像可以被组合成目标视频序列。优选地，获取主图像和次图像所源自的这些视频序列的相机710、720近似同步。如果场景790的外观没有时间在相应的视频序列中的两个对应的帧的采集之间明显地改变，则可以认为满足了这种近似的时间同步性。这证明了使用来自次图像的图像数据来改进主图像是合理的。时间同步可以通过向相机710、720馈送触发信号和/或通过使公共时钟信号和预先商定的时序表可用来实现。

如本公开的前面部分中所讨论的，与次图像相比，主图像可以被识别为噪声较大的图像。噪声度可以指局部信噪比(SNR)，例如在平均值、中值或q分位数方面在主图像中在局部意义上在大多数图像区域中可能较低，或者在全局意义上可能较低。主/次识别也可以指诸如信干噪比(SINR)、信噪比统计、峰值SNR或绝对噪声测量的类似于SNR的度量。应理解，噪声度对应于SNR的倒数，其中，诸如“变量X随着局部噪声水平逐渐增加”的教导可以等同地表达为“变量X随着局部SNR的减少而逐渐减少”。

也如前所提到的，主图像可以可替代地被识别，因为它以比次图像更多的通道来表示(例如，彩色对单色)，这通常增加其对传感器噪声的脆弱性。仍进一步，输入图像可以仅仅因为代表其执行方法600的用户更喜欢尽可能多地保持该图像的图像数据并且尽可能少地从次图像添加图像数据而被认为是主图像。

为了简化以下描述，假设主图像和次图像就它们描绘场景的公共部分的意义而言具有相等的范围。参考图5，注意到，该假设不排除主图像P源自场景的全景(或全角度或概览)主图像PP的情况，也不排除次图像S源自全景次图像(未示出)的情况。所以，为了要描述的图像融合方法600的目的，主图像和次图像具有相同的范围的假设不失一般性。在图5中图示了主图像P取自全景主图像PP的使用情况，其中，仅场景的右侧部分被提供次图像S的辅助相机覆盖。在包括视频监控应用的实际的使用情况中，布置覆盖整个场景的辅助摄像头可能并不总是合理的，相反，那些预期照明良好的区域可能会被排除在外，而不会造成损害。如图5所提示的，辅助摄像头指向花园的部分地被树木遮挡并且附近缺乏光源的区域。

图像融合方法600的至少一些实施例可以应用于具有不相等的空间分辨率(即，尽管具有相等的范围但是包括不同数量的像素的图像)的主图像和次图像。

为了方法600的以下描述的目的，假设主图像和次图像被分割成区域，并且在主图像和次图像的区域之间存在对应关系。这在图5中提出，其中，次图像S被分割成矩形区域的3×2矩阵，这些矩形区域通过表格(行、列)上的示例编号方案进行索引。见图5的上部中，主图像P被分割成三个区域高和两个区域宽的对应布置。主图像P的左上区域和次图像S的左上区域是对应的区域。如以上简要提到的，这个意义上的图像区域可以是一个像素或一组相邻像素。在实施中，在视频编码、特别是预测视频编码中使用与宏块一致的图像区域可能是有利的。对于术语“宏块”的示例技术定义，参考ITU T H.26x的任何视频编码标准。可替代地，可以以这样的方式分配图像区域，即与要用于主图像或次图像的逐块变换编码的编码块一致。这在实施中是方便的，特别是视频帧的重新编码可以在已经根据图像融合方法600完全处理视频帧之前开始这一事实。

图4示出了主图像P和次图像S分割成2×2个区域的分割，其中，明确地指示了区域索引。这是为了阐释目的的简化。在方法600的实践实施中，区域可以是8×8像素、16×16像素或64×64像素，以便它们在视频帧中的总数显著更高。在不背离本公开的范围的情况下，图4和图5中所见的区域分割可以显著变化，以包括非正方形布置和/或与图像不相似的区域的布置和/或具有不同尺寸或形状的不同区域的混合布置。认识到，一些视频编码格式支持动态宏块分割，即，对于序列中的不同视频帧，分割可以不同，并且区域分割可以遵循宏块分割的这种变化。这相对容易实施，因为方法600一次对一对源图像进行操作；所以，如果方法600从特定新帧开始采用不同的区域分割，则已经生成的目标图像(目标帧)不受影响。

图像融合方法

方法600从确定主图像P的区域P(m,n)的局部噪声水平的步骤602开始。标记P(m,n)可以被认为是指表示由主图像中的索引(m,n)标识的区域的图像数据；图像数据可以是像素/明文格式或者变换格式。变换格式可以包括通过频域变换获得的系数。

下述是用于基于读取噪声σ_R和散粒噪声cS来估计传感器的有效噪声σ_eff的示例模型：

其中，σ_R一般为常数，是传感器信号(局部传感器读数)并且c为经验常数。隐含σ_eff跨图像可变，即，它至少依赖于图像区域索引(m,n)。在包括多个像素的图像区域中，传感器读数u与像素中预先选择的一个像素(例如，左上像素、中间像素)或者与共同值(例如，平均值、中值)有关。常数σ_R,c的值在不同的使用情况下和传感器的使用寿命内是不变的，这通常是合理的假设。所以，在实践实施中，对于每个传感器设计估计一次常数或者从传感器制造商处获得常数就足够了。如果实际传感器信号是带符号的量或复数的量，或者是矢量，那么u可以理解为传感器信号的幅度。接下来，信噪比可以表示为

注意，在这里讨论的简单传感器噪声模型中，传感器信号u是表达式(1)和(2)中仅有的变量。也就是说，传感器信号u被用作传感器噪声的代理，并且因此被用作主图像的局部噪声水平的代理。在图7中所图示的示例使用情况中，可以基于用于RGB相机710的传感器噪声模型来估计主图像的局部噪声水平，并且可以基于用于红外相机720的独立的传感器噪声模型(如果有的话)来估计次图像的局部噪声水平。

局部噪声水平可以用直接或反向噪声度量来表达。反向度量包括SNR、SINR、信噪比统计和峰值SNR，其中，噪声分量位于分母中。示例直接度量可以是用噪声传感器执行的噪声测量或者来自传感器噪声模型的噪声估计(1)。

方法600的执行继续到步骤606，其中，从主图像的所述区域导出低频(LF)分量P_LF(m,n)。进一步，从次图像的对应区域S(m,n)导出高频(HF)分量S_HF(m,n)。LF分量可以包括主图像的区域中直到截止频率f_c(空间频率)的所有图像数据，并且HF分量可以包括次图像的对应区域中直到相等的截止频率f_c的所有图像数据。如下面将详细描述的，在一些实施例中，截止频率f_c在整个主图像中是常数，而在其它实施例中则是可变的。

为了提供对截止频率f_c的更精确的理解，回顾一下，广义上的变换编码包括在双周期函数的正交基础上投影图像数据。具有：

其中，是用于频率(k₁,k₂)的变换系数，并且是用于像素(n₁,n₂)的图像数据，例如一个颜色通道的强度。注意，对[0,N₁]×[0,N₂]的限制可以用于对应于单个周期或恒定值的最低频率对(k₁,k₂)。具体地，基可以由诸如离散余弦变换(DCT)函数、离散正弦变换(DST)函数、离散傅立叶变换(DFT)函数、小波变换函数的实值双周期谐波函数组成。在一些实施例中，(3)中的正交基由离散余弦函数组成：

在投影操作中计算的变换系数构成图像数据的光谱的离散表示，并且每个变换系数对应于一个频率对(k₁,k₂)。

在步骤606中，通过仅保持与在截止频率f_c以下的频率相关的变换系数来导出主图像的区域的LF分量。在一些实施例中，LF分量被计算为使得与具有l²范数小于f_c的频率对相关的变换系数被保持，其在概念上可以被写作：

f_c以上的剩余的变换系数被设置为零。在图1中，其中，轴分别表示k₁和k₂，此过滤操作对应于从P(m,n)到P_LF(m,n)的变换。相反地，通过仅保持与截止频率f_c以上的频率相关的变换系数来导出次图像的对应区域的HF分量，

并且将f_c以下的剩余的设置为零。

在其他实施例中，LF分量被计算为使得与l¹范数小于f_c的频率对相关的变换系数被保持，并且剩余的被设置为零，即：

这在图2中图示。在仍其他实施例中，LF分量被计算为使得与l^∞范数小于f_c的频率对相关的变换系数被保持，并且剩余的被设置为零，即：

这在图3中图示。如本领域技术人员将容易理解的，这些实施例可以被概括为使得基于具有任意p≥1的l^p范数的范数||(k₁,k₂)||_p来选择变换系数。

可以预见，在方法600的大多数实施方式中，截止频率f_c以有限的陡峭度应用。也就是说，包括一定量的滚降以避免特定伪影，并且滚降可能取决于图像区域的局部噪声水平或其他特性。关于上面概述的三个LF滤波选项，如果变换系数的频率对的范数小于f_c-∈，其中，∈>0，则可以保持变换系数，并且如果变换系数的频率对的范数大于f_c+∈，则可以将变换系数设置为零。平滑过渡被应用于那些在所述范数方面位于范围[f_c-∈,f+∈]内的变换系数。平滑度可以对应于C⁰,C¹,C²连续性或更高的连续性。

注意，存在计算LF分量和HF分量的方法，而无需将图像数据变换到频率平面表示并且然后再变换回来。例如，根据需要，具有适当的高斯核的卷积可以被用于如所期望的限制频率含量。在另一示例中，可以利用实时或连续时间低通或高通滤波器；滤波器可以被实施为物理电路或者通过软件指令来实施。在非零滚降(有限陡峭度)的情况下，低通(LP)滤波器和高通(HP)滤波器的各自的传递函数可以是以下形式：

以上提到的“平滑过渡”的形状可能对应于诸如|H_LP(2πif)|的传递函数的频率相关幅度。

在完成步骤606之后，方法600的执行流程前进到步骤610，其中，LF分量和HF分量被组合成目标图像区域T(m,n)，其中，HF分量对目标图像区域的相对贡献随着局部噪声水平逐渐增加。目标图像区域对应于主图像的区域，即，它具有与该区域相等的索引(m,n)。在图1中概念性地图示了组合，其中，LF分量P_LF(m,n)被添加到HF分量以形成目标图像区域T(m,n)：

T(m,n)＝P_LF(m,n)+S_HF(m,n) (5)

在图1中，源自次图像的变换系数由实心点象征，源自主图像的变换系数由空心圆象征。可以对图像数据的像素表示或频率空间表示执行组合操作(5)。应理解，如果目标图像要在与主图像相同的颜色空间中表示，则可以为多个颜色通道执行组合操作(5)。相应地，来自次图像区域的唯一(单色)通道的图像数据被分割成对应的主图像区域的多个子贡献。在RGB空间中，贡献可以相等，或者可能考虑适用的白平衡设置而进行调整，以便具有期望的中性外观。在YCbCr空间中，对亮度通道Y进行组合操作(5)就足够了。

在一些实施例中，通过使用可变截止频率f_c＝f_c(m,n)来控制HF分量的相对贡献。在要在下文中详细描述的其他实施例中，HF分量的相对贡献通过有意从一个图像区域到另一图像区域改变主权重系数和次权重系数来控制。具体地，对于目标图像区域T(m,n)的LF分量和HF分量，主权重系数和次权重系数可以在[0,1]区间上独立地变化。

组合步骤610可以可选地在归一化步骤608之前或与归一化步骤608组合。归一化可以是通过缩放因子R(m,n)对次图像进行重新缩放，使得主图像的LF分量变得可与次图像的LF分量(相对于相等的截止频率f_c)相比或相等。相应地，等式(5)可以修改为：

T(m,n)＝P_LF(m,n)+R(m,n)S_HF(m,n) (6a)

其中，

其中，Y(·)表示亮度函数，其表示图像的诸如亮度或相对亮度的局部亮度。对于单色图像，亮度等于区域中的像素强度或平均像素强度。对于多通道图像，亮度是(例如，根据预定的感知模型)的线性单位的通道的线性组合。在文献中，存在与不同颜色空间相关的各种提出的或标准化的亮度函数。在RGB颜色空间(没有伽玛压缩)的特别的情况下，亮度可以计算为：

Y＝0.2126R+0.7152G+0.0722B。

在简单的实施中，使用一个颜色通道作为亮度的代理(例如RGB颜色空间中的Y＝G)是可能的。为了避免疑义，强调等式(6b)中的缩放因子R(m,n)取决于两个LF分量，即主图像的LF分量和次图像的LF分量。可以以类似于如何导出主图像的LF分量的方式，并使用相等的截止频率f_c，从次图像导出次图像的LF分量：

可以根据等式(6a)将归一化操作(步骤608)集成到组合操作(步骤610)中。可替代地，可以在组合之前执行归一化，例如，通过首先替换

并且然后评估(5)。仍进一步，将归一化实施为作用在主图像而不是次图像上的操作，或者实施为作用在主图像和次图像两者上的操作是可能的。

方法600的执行通过针对任何剩余的图像区域，即针对区域索引(m,n)的任何剩余值，重复上述步骤612与在特别的实施方式中存在的任何可选的步骤来继续。要强调的是，在这些重复中的每一个中，HF分量的相对贡献可以不同，以便主图像和次图像的融合真正地跨整个主图像可变。结果，目标图像的一些区域将或多或少地具有主图像的外观，而其他区域可能经历了与来自次图像的图像数据的大量混合。这可以比喻为在后面的区域中应用本地夜间模式。

在最后的步骤614中，然后将由此产生的目标图像区域合并成目标图像T.

第一组实施例

如上所述，图像融合方法600涵盖各种实施例，为了本公开的清楚，这些实施例被组织成三个主要组。可以将跨这些实施例组的技术特征组合成新的实施例。如本领域技术人员将理解的，也可以将属于不同实施例组的不同技术特征应用于一个主图像的不同区域。

在第一组实施例中，截止频率跨主图像可变，f_c＝f_c(m,n)，其中，(m,n)是图像区域索引。本组中的实施例可以包括基于主图像的区域的局部噪声水平来确定该区域的截止频率的另外的子步骤606.1。可以对主图像的一个或多个进一步的区域重复本确定，以便当导出相应的LF分量和HF分量时应用不同的截止频率值。在这一方面，也可以调整要在步骤606中使用的滚降的量。例如，如果图像区域中的截止频率f_c相对较低，则优选地在图像区域中应用相对更多的滚降。

具体地，使用局部噪声水平的非递增函数f_c＝f_c(σ_eff)来确定截止频率。(等同地，可以使用SNR的非递减函数来确定截止频率。)结果，主图像的区域噪声越大，目标图像区域的光谱的源自次图像的部分将越大。相反地，如果主图像区域具有相对较低的噪声含量，则在更大程度上保留了主图像的特性。局部噪声水平的非递增函数优选地是连续函数(在数字信号处理中，包括由多个小增量组成的准连续函数)。这样，可以使HF分量对目标图像区域的相对贡献随着局部噪声水平逐渐增加，以便阈值型伪影更少或不太明显。

在一个实施例中，截止频率f_c根据局部噪声水平σ计算为仿射函数：

其中，σ₁,σ₂是常数，并且f_max是P(m,n)或S(m,n)中可用的变换系数的最大频率。可以说，对于与步骤606中使用的相同的p范数，f_max是对等式(3)进行评估的所有频率对(k₁,k₂)上的最大值。替换仿射函数(7)，可以使用高阶多项式、指数函数、逻辑函数等形式的更平滑的函数。

第二组实施例

在第二组实施例中，根据跨主图像可变的一个或多个权重系数来组合LF分量和HF分量(以及可能的进一步分量)。每个权重系数可以是[0,1]中的实数。在这些实施例中，可以使用以下示例表达式之一来替换等式(5)：

上面已经解释了如何计算次图像的对应区域的LF分量。主图像的区域的HF分量可以类似于次图像的对应区域的HF分量来计算。

根据等式(8a)，对于目标图像区域T(m,n)的LF分量和HF分量使用不同的权重系数。LF分量可以被想象为等式中的前面两项的和，并且HF分量是后面两项的和。

根据等式(8b)，目标图像区域的LF分量仅来源于主图像，而目标图像区域的HF分量是主图像的区域P(m,n)的HF分量和次图像的对应区域S(m,n)的HF分量的权重组合。这对应于在更一般的等式(8a)中赋值用语言，等式(8b)中的组合操作可以用语言描述如下：来自次图像的HF分量在与来自主图像的LF分量组合成目标图像区域之前，根据权重系数与来自主图像的HF分量预组合。如果预期噪声将主要影响主图像的光谱的较高部分，则根据等式(8b)的组合可能是适当的。

根据等式(8c)，目标图像区域的HF分量仅来源于主图像，而目标图像区域的LF分量是主图像的区域P(m,n)的LF分量和次图像的对应区域S(m,n)的LF分量的权重组合。这对应于在等式(8a)中赋值如果预期噪声将主要影响主图像的光谱的较低部分，则根据等式(8c)的组合可能是适当的。

根据等式(8d)，目标图像区域的HF分量仅来源于次图像，而目标图像区域的LF分量是主图像的区域P(m,n)的LF分量和次图像的对应区域S(m,n)的LF分量的权重组合。这对应于在等式(8a)中赋值如果预期主图像的光谱的上部将非常经常地受到噪声的严重影响，则根据等式(8d)的组合可能是适当的。

进一步，如等式(6)中所示，上述表达式中的每一个可以由归一化因子来补充。

本组中的实施例可以包括基于主图像的所述区域P(m,n)的局部噪声水平来确定权重系数的另外的子步骤610.1。可以对主图像的一个或多个进一步的区域P(m^′,n^′)重复本确定，以便当在步骤610中组合相应的LF分量和HF分量以及进一步的分量(如果有的话)时应用权重系数的不同值。

该确定可能受到凸性约束。可以应用单独的LF和HF凸性约束。如果图像数据以线性单位表示，则凸性约束可以公式化为：或 凸性约束可以以每个频带为基础进行应用；实际上，对于作用于LF分量的系数可能存在一个凸性约束，而对于作用于HF分量的系数则可能存在另一凸性约束。可替代地，凸性约束是具有以下单位和的权重系数的平方：

在第二组中的一些实施例中，使用作为局部噪声水平的非递减函数的次系数主图像的区域噪声越大，目标图像区域中源自次图像的图像数据就越多，反之亦然。可替代地或另外地，使用作为局部噪声水平的非递增函数的主系数使用具有这些特性的主系数具有根据噪声水平平衡来自主图像和次图像的贡献的对应效果。

在一个实施例中，涉及LF频谱，根据局部噪声水平σ将主权重系数计算为仿射函数：

其中，σ对(m,n)的依赖性是隐含的，并且常数σ₁,σ₂的值独立于等式(7)中的值。次权重系数然后可以如下获得：

这具有噪声水平σ越高就逐渐给予次图像更多的权重的效果。类似地，对于HF频谱，主权重系数可以定义如下：

其中，可以独立于上述常数σ₁,σ₂来设置常数σ₃,σ₄，并且可以将次权重系数计算为

在第二组内的不同实施例中，截止频率f_c在图像区域之间可以是可变的，或者它可以在整个主图像中恒定。恒定的截止频率可以基于主图像P和/或次图像S的全局特性。主图像或次图像的全局特性可以是例如平均噪声水平或峰值噪声水平。具体地，恒定截止频率可以基于主图像P所源自的全景主图像PP或者次图像S所源自的全景次图像的这种全局特性。可替代地，恒定截止频率可以具有预定的值，尤其是由用户或系统管理员配置的值。

第三组实施例

在方法600的第三组实施例中，在步骤604中，除了确定主图像的区域P(m,n)的局部噪声水平σ_P(m,n)(在第一组和第二组实施例的描述中简单地用σ表示该局部噪声水平)之外，还确定次图像的对应区域S(m,n)的局部噪声水平σ_S(m,n)。当要组合LF分量P_LF(m,n)和HF分量S_HF(m,n)以及任何进一步的图像数据分量时，然后可以以目标图像区域的局部噪声水平σ_T(m,n)在阈值噪声水平σ^*以下的方式来确定HF分量的相对贡献。具体地，可以确定HF分量的相对贡献，使得目标图像区域的局部噪声水平刚好达到(刚好低于)阈值噪声水平。这样，在最大可能程度地保持主图像的外观的同时，满足由阈值噪声水平表达的噪声目标。以稍微不同的词制定，第三组中的实施例规定，应以目标图像区域的局部噪声水平σ_T(m,n)在阈值噪声水平σ^*以下的方式来确定包括导出自次图像的HF分量的贡献的次图像的相对贡献。

如上面解释的，主图像的区域P(m,n)一般具有比次图像的对应区域S(m,n)更高的局部噪声水平，并且通过添加来自次图像的图像数据的量缓解了主区域的噪声。来自次图像的适当量的数据不仅取决于主图像的局部噪声水平，也取决于次图像的局部噪声水平。所以，如果主图像区域的局部噪声水平要下降到可容忍的噪声水平，即阈值噪声水平σ^*，则次图像的对应区域S(m,n)噪声越大，则需要添加的次图像越多。基于主图像的区域和次图像的对应区域的各自的噪声水平，经常可以对目标图像区域T(m,n)的结果局部噪声水平σ_T(m,n)做出可靠的预测。预测可以依赖于各个噪声水平的线性组合：

σ_T(m,n)＝γ_Pσ_P(m,n)+γ_Sσ_S(m,n)，

其中，γ_P,γ_S为正常数。可替代地，各个噪声水平的平方被组合：

σ_T(m,n)²＝γ_Pσ_P(m,n)²+γ_Sσ_S(m,n)²。

进一步可替代地，可以使用回归模型或训练模型来预测目标图像区域T(m,n)的局部噪声水平σ_T(m,n)。这些选项中的每一个都可以表达为“黑盒”函数W：

σ_T(m,n)＝W(σ_P(m,n),σ_S(m,n))。

在第三组内的一些实施例中，主图像的区域P(m,n)和次图像的对应区域S(m,n)的局部噪声水平的确定分别限于其低频部分和高频部分。这可以允许对目标图像区域T(m,n)的局部噪声水平σ_T(m,n)进行更忠实的预测，特别是因为步骤610中的组合将不涉及区域P(m,n),S(m,n)的整体。为了局部噪声估计的目的而分成低频和高频部分可以根据与在步骤606中使用的截止频率f_c相同的截止频率，尤其是如果该截止频率f_c是恒定的，或者它可以对应于不同的预设频率。

在一些实施例中，HF分量的相对贡献可以被计算为最小(即，精确最小或近似最小)值，使得目标图像区域的局部噪声水平σ_T(m,n)在阈值噪声水平σ^*以下。这可以通过旨在将HF分量和LF分量组合使得精确地达到阈值噪声水平，并且然后将HF分量的贡献增加或提高预定的裕度来实现。可替代地，这可以通过从HF分量的贡献的低值开始，并以小的步长迭代地增加它，直到目标图像区域的局部噪声水平下降到阈值噪声水平以下来实现。等同地，计算可以旨在确定LF分量的相对贡献，使得目标区域的噪声水平在阈值噪声水平以下。

在第三组内的一些实施例中，HF分量相对于LF分量的贡献通过权重系数来控制，并且在其他实施例中通过截止频率f_c来控制。应理解，权重系数或截止频率f_c(m,n)然后分别跨主图像可变，并且针对主图像的每个区域独立地做出确定。该确定考虑到阈值噪声水平而做出。在这一方面，也可以调整要在步骤606中使用的滚降的量。例如，在截止频率f_c相对较低的图像区域中应用相对更多的滚降可能是优选的。

阈值噪声水平σ^*可以是预定的值，该值可以按照用户或系统所有者认为合适的方式进行配置。可替代地，可以基于图像的全局特性为每个新的主图像或每个新的次图像或者主图像和次图像的每个新的组合计算阈值水平。例如，全局特性可以对应于平均噪声水平或峰值噪声水平。

在一个示例中，HF分量相对于LF分量的贡献通过要应用于各个HF分量的可变的权重系数以使得来自次图像的HF分量的相对贡献应是使目标图像区域的局部噪声水平低于阈值噪声水平的最小值的方式来控制：

w_HF(m,n)＝min{0≤a≤1:σ_T(m,n)≤σ^*} (9)

这里，在方差近似线性的假设下，来自目标图像区域的HF分量的局部噪声水平由下式给出：

σ_T(m,n)＝αγ_Pσ_P(m,n)+(1-a)γ_sσ_S(m,n) (10a)

或

σ_T(m,n)²＝aγ_Pσ_P(m,n)²+(1-a)γ_Sσ_S(m,n)² (10b)

或

σ_T(m,n)＝W(aσ_P(m,n),(1-a)σ_S(m,n))。 (10c)

如果使用(10a)或(10b)，则最小化(9)具有闭合形式的解。如果替换地使用表达式(10c)，并且对于一般噪声表达式，则可以依赖数值方法，包括迭代求解器。

结束语

以上主要参考几个实施例描述了本公开的各方面。然而，如本领域技术人员容易理解的，除了上述公开的实施例之外的其他实施例在如由所附的专利权利要求所限定的本发明的范围内也同样是可能的。具体地，设想对一个主图像和N≥2个次图像进行图像融合。为此目的，可以应用共同的截止频率，并且可以通过使用相对于图像区域索引(m,n)可变的权重系数w_LF(m，n)，来控制从主图像和多个次图像导出的LF分量的相对贡献。

Claims (15)

1.一种融合主图像(P)和次图像(S)的方法，其中，所述主图像比所述次图像的噪声大，并且其中，所述主图像和所述次图像被分割成区域，所述方法包括：

确定(602)所述主图像的区域(P(m,n))的局部噪声水平；

从所述主图像的所述区域导出(606)低频LF分量(P_LF(m,n))，并且从所述次图像的对应区域(S(m,n))导出(606)高频HF分量(S_HF(m,n))；其中，所述LF分量和所述HF分量参考共同的截止频率(f_c)；

将所述LF分量和所述HF分量组合(610)成目标图像区域(T(m,n))；

对任何剩余的图像区域重复前面的操作602至操作610；并且

将由此获得的所有输出目标图像区域合并成目标图像(T)，

其特征在于，所述HF分量对所述目标图像区域的相对贡献随着所述主图像的所述区域的所确定的局部噪声水平逐渐增加。

2.根据权利要求1所述的方法，其中，所述截止频率跨所述主图像可变，所述方法进一步包括：

基于所述区域的所述局部噪声水平确定所述主图像的区域的所述截止频率。

3.根据权利要求2所述的方法，其中，所述截止频率使用所述局部噪声水平的非递增函数来确定，所述局部噪声水平的所述非递增函数诸如所述局部噪声水平的连续非递增函数。

4.根据权利要求1所述的方法，其中，所述LF分量和所述HF分量根据跨所述主图像可变的一个或多个权重系数进行组合，所述方法进一步包括：

基于所述主图像的所述区域的所述局部噪声水平确定所述一个或多个权重系数。

5.根据权利要求4所述的方法，其中，所述权重系数包括：

主系数所述主系数被应用于所述主图像的所述区域的分量并且是所述局部噪声水平的非递增函数，和/或

次系数所述次系数被应用于所述次图像的所述对应区域的分量并且是所述局部噪声水平的非递减函数。

6.根据权利要求4所述的方法，其中，所述截止频率贯穿所述主图像是恒定的。

7.根据权利要求4所述的方法，进一步包括：

从所述主图像的所述区域导出HF分量(P_HF(m,n))，

其中，来自所述次图像的所述HF分量在与来自所述主图像的所述LF分量组合成所述目标图像区域之前，根据所述权重系数与来自所述主图像的所述HF分量进行预组合。

8.根据权利要求1所述的方法，进一步包括：

确定所述次图像的所述对应区域的局部噪声水平，

其中，所述HF分量的相对贡献被确定为使得所述目标图像区域的局部噪声水平在阈值噪声水平以下。

9.根据权利要求8所述的方法，进一步包括：

将所述HF分量的相对贡献计算为最小值，使得所述目标图像区域的局部噪声水平在所述阈值噪声水平以下。

10.根据权利要求8所述的方法，其中，所述LF分量和所述HF分量根据跨所述主图像可变的权重系数进行组合，所述方法进一步包括：

基于所述主图像和所述次图像的所述区域的各自的所述局部噪声水平并且基于所述阈值噪声水平来确定所述权重系数。

11.根据权利要求8所述的方法，其中，所述截止频率跨所述主图像可变，所述方法进一步包括：

基于所述主图像和所述次图像的所述区域的各自的所述局部噪声水平并且基于所述阈值噪声水平来确定所述截止频率。

12.根据权利要求8所述的方法，

其中，所述阈值噪声水平是预定的，和/或

其中，所述阈值噪声水平基于所述主图像和/或所述次图像的全局特性。

13.根据权利要求1所述的方法，进一步包括：

在完成所述组合之前将所述次图像归一化为所述主图像。

14.根据权利要求1所述的方法，其中，使用取决于局部传感器读数的传感器噪声模型来确定所述主图像的所述区域的所述局部噪声水平。

15.一种包括处理电路的装置，所述处理电路被布置为执行权利要求1所述的方法。