CN109074637B

CN109074637B - 用于从多个相应的输入图像通道生成输出图像的方法和系统

Info

Publication number: CN109074637B
Application number: CN201680080312.5A
Authority: CN
Inventors: G·芬利森; A·海耶斯
Original assignee: Spectral Edge Ltd
Current assignee: Spectral Edge Ltd
Priority date: 2015-11-27
Filing date: 2016-11-28
Publication date: 2021-10-29
Anticipated expiration: 2036-11-28
Also published as: EP3381012A1; GB2544786A; GB201520932D0; GB2544786A9; WO2017089832A1; US10789692B2; EP3381012B1; CN109074637A; US20180350050A1

Abstract

描述了用于从多个(N个)相应的输入图像通道生成输出图像的方法和系统。确定所述多个相应的输入图像通道的雅可比矩阵。计算所述雅可比矩阵的外积的主特征向量。设置与所述主特征向量相关联的符号，由此由所述主特征向量投影的输入图像通道像素导致正的标量值。生成输出图像，所述输出图像为在所述主特征向量的方向上所述输入通道的每像素投影。

Description

用于从多个相应的输入图像通道生成输出图像的方法和系统

技术领域

本发明涉及用于从诸如用于多个光谱和/或多个传感器的图像数据的多通道图像数据生成输出图像的方法和系统。

背景技术

存在许多应用，其中将多个图像或图像通道融合在一起，以形成单个汇总(summary)灰度或彩色输出。这些包括计算摄影(例如RGB-NIR)，多谱段摄影，弥散张量成像(医学)和遥感。

许多不同的设备捕捉图像，然后将图像显示在监视器或其它显示设备上。最终，大多数都被人类观察者解释或只是欣赏。在某些情况下，从捕捉的图像转到可视化图像是很简单的：使用RGB彩色相机捕捉的图像只需要进行颜色校正，以显示视觉上接近原始场景的图像。但是，当，例如，在可见电磁频谱之外捕捉图像时，或者当捕捉多于三个通道(也称为维度)时，情况并非如此简单。

在许多成像应用中，捕捉的通道数量比人类观察者可以观察到的要多。尽管人类视觉系统可以将三种颜色维度可视化，但许多图像捕捉系统捕捉的内容明显多于此：多谱段和高光谱成像系统可捕捉200个以上的颜色通道，包括在红外和紫外范围内捕捉的图像。

使多谱段或高光谱图像中的信息可视化的一种方法是简单地显示包含在可见光谱内的信号部分；换句话说，显示复制将由人类观察者所看到的彩色图像。采用这种方法的问题是，来自诸如红外线和紫外线等其它模态的信息将会丢失。或者，更一般地说是，两种光谱不同但是同色异谱的颜色将显示为相同的。

另一种方法是将来自所有通道的信息混合在一起并制作反映分量图像的信息内容的伪彩色图像。虽然这种方法将保留来自所有不同模态的一些信息，但分配给每个对象的颜色可能与真实颜色明显不同。

试图在输出图像中保留和传递来自信息源的信息的一种方法被称为图像融合。在图像融合中，N个输入图像或通道中存在的图像细节被组合成一个输出图像。图像融合方法包括基于小波分解、拉普拉斯塔形变换(Laplacian pyramid)和神经网络的方法。

图像梯度是表现图像细节信息的一种自然和多用途的方式，并已被用作几种图像融合技术的基础。汇总N个输入图像通道上的梯度信息的强大方法被称为Di Zenzo结构张量(定义为N×2图像雅可比行列式的2×2内积)。基于结构张量的方法在计算机视觉中有很多应用，包括图像分割和图像融合。

通常，图像融合是在导数域中进行的。在这里，发现了一个新的复合融合导数，它能够最好地考虑所有图像上的细节，然后对所得到的梯度场(gradient field)进行重新积分(reintegrated)。

这是Socolinsky和Wolff在US 6,539,126中采用的方法(在下文中称为“SW”，并且其全部内容通过引用并入本文)。它使用Di Zenzo结构张量来找到一组1维等效梯度(equivalent gradient)，在该组等效梯度的定向和大小方面，该组等效梯度与从多通道图像导出的张量在最小二乘意义上尽可能接近。Di Zenzo结构张量(Z)也称为第一基本形式，其被定义为雅可比行列式的内积：Z＝J^TJ。

等效梯度由结构张量的最重要的特征值和相关联的特征向量来定义。所导出梯度的符号也是不明确的(这是SW方法的弱点)，并且必须进行启发式定义。不幸的是，这种方法中的导出梯度场通常是不可积分的。在最小二乘意义上尝试积分，寻求一个单通道图像z(x，y)的解，其导数尽可能接近等效梯度。因此，重新积分步骤通常会幻化出新的细节(该细节未出现在任何输入图像或图像通道中)，包括晕圈，弯曲伪像和大尺度伪梯度。

由于梯度场重新积分问题(不可积分场)本质上是不适定的，所以导数域技术将总是在融合后的图像中幻化出原始图像中不存在的细节。

最近对重新积分问题施加附加约束的技术有时可以缓解、但不能消除这些伪像。

在其它方法中，对融合后的图像进行后处理，使得连通分量(定义为具有相同输入向量值的输入多谱段图像的区域)必须具有相同的像素强度。不幸的是，这个额外的步骤会产生不自然的轮廓和边缘效应。

发明内容

根据本发明的一个方面，提供了一种用于从多个，N个，相应的输入图像通道生成输出图像的方法，所述方法包括：

确定所述多个相应的输入图像通道的雅可比矩阵；

计算雅可比矩阵的外积的主特征向量；

设置与主特征向量相关联的符号，由此由主特征向量投影的输入图像通道像素导致正的标量值；以及，

生成输出图像作为主要特征向量方向上的输入通道的每像素投影。

计算步骤优选还包括以下步骤：

对于为非零的雅可比矩阵的每个元素，从所述雅可比矩阵生成稀疏N向量投影图像；以及，

对于为零的雅可比矩阵的元素，将所述稀疏N向量投影图像填入为零的所述雅可比矩阵的元素。

填入可以包括通过将每个零元素的向量定义为本地邻域的平均值来填入。平均值可能是边缘敏感的。填入可以包括对稀疏N向量投影图像进行双边滤波。双边滤波器优选包括交叉双边滤波器。填入步骤可以包括平滑化N向量投影图像。填入步骤可以包括内插N向量投影图像。填入步骤可以包括对N向量投影图像执行边缘敏感扩散。

滤波步骤可以包括独立地对N向量投影图像的每个通道进行滤波。

方法可以进一步包括在填入之后缩放每个向量，以具有单位长度。

方法可以进一步包括在填入之后扩展向量，以将每个向量分量移动离开平均值一个固定倍数的角度。

方法可以进一步包括以下步骤：

对缩小取样的输入图像通道执行所述确定和计算步骤，并对计算出的主特征向量进行放大取样，以供在生成步骤中使用。

每个唯一的输入图像向量可以直接映射到单个投影向量。

唯一输入图像向量和主特征向量之间的映射可以被实现为查找表。

输入图像可以具有N个通道并且输出图像具有M个通道，主特征向量包括将输入图像的N×2雅可比行列式映射到目标M×2输出雅可比行列式的每像素M×N矩阵变换。

方法可以进一步包括通过输入图像通道的各自的M×N变换对输入图像通道进行每像素变换的步骤。

M×N变换可以将N×2输入图像雅可比行列式映射为M×2强化雅可比配对行列式。

计算步骤还可以包括以下步骤：

通过针对为零的雅可比矩阵的元素填入稀疏N×2图像来生成稀疏M×N变换图像。

方法可以进一步包括以下步骤：

对缩小取样的输入图像通道执行所述确定和计算步骤，并对计算出的M×N变换进行放大取样，以供在生成步骤中使用。

每个唯一的输入图像向量可以直接映射到单个M×N变换向量。唯一输入图像向量和M×N变换之间的映射可以被实现为查找表。

根据本发明的另一方面，提供了一种用于从多个，N个，相应的输入图像通道生成输出图像的系统，所述系统包括：

被设置用以接入N个输入图像通道的输入；

被配置用以执行用于执行图像处理模块的计算机程序代码的处理器，包括：

被配置用以确定所述多个相应的输入图像通道的雅可比矩阵的计算机程序代码；

被配置用以计算雅可比矩阵的外积的主特征向量的计算机程序代码；

被配置用以设置与所述主特征向量相关联的符号，从而由所述主特征向量投影的输入图像通道像素产生正的标量值的计算机程序代码；和，

被配置用以生成输出图像作为主要特征向量方向上的输入通道的每像素投影的计算机程序代码。

用以计算的计算机程序代码还可以包括以下步骤：

被配置用以针对为非零的雅可比矩阵的每个元素从所述雅可比矩阵生成稀疏N向量投影图像的计算机程序代码；和，

被配置用以对于为零的雅可比矩阵的元素填入稀疏N向量投影图像的计算机程序代码。

被配置用以填入的计算机程序代码可以包括被配置用以平滑化N向量投影图像的计算机程序代码。

被配置用以填入的计算机程序代码可以包括被配置用以内插N向量投影图像的计算机程序代码。

被配置用以填入的计算机程序代码可以包括被配置用以对N向量投影图像执行边缘敏感扩散的计算机程序代码。

滤波器可以被设置用以独立地对N向量投影图像的每个通道进行滤波。

处理器可以被配置用以执行计算机程序代码，以在填入之后将每个向量缩放，以具有单位长度。

处理器可以被配置用以执行计算机程序代码，以在填入之后扩展向量，以将每个向量分量移动离开平均值一个固定倍数的角度。

处理器可以被配置用以执行计算机程序代码，以获得缩小取样的输入通道，对缩小取样的输入图像通道执行所述确定和计算步骤，并对计算出的主特征向量进行放大取样，以供在生成步骤中使用。

系统还可以包括在唯一输入图像向量和主特征向量之间映射的查找表，该系统被设置用以访问查找表，以确定用于生成输出图像的主特征向量。

处理器可以被进一步配置用以执行计算机程序代码，以通过输入图像通道的各自的M×N变换对输入图像通道进行每像素变换。

处理器可以被配置用以执行计算机程序代码，以通过针对为零的雅可比矩阵的元素填入稀疏N×2图像来生成稀疏M×N变换图像。

处理器可以进一步被配置用以执行计算机程序代码，以对缩小取样的输入图像通道执行所述确定和计算，并且对计算出的M×N变换进行放大取样，以用于生成输出图像。

每个唯一的输入图像向量可以直接映射到单个M×N变换向量。

系统还可以包括在唯一输入图像向量和M×N变换之间映射的查找表，该系统被设置用以访问查找表，以确定用于生成输出图像的M×N变换。

在本发明的实施例中，从N通道图像数据(通道是图像的分量、层或通道或是单独的图像)生成与输出图像相对应的输出图像数据。与诸如上述那些的现有技术方法不同，这些实施例试图通过避免重新积分步骤来避免引入幻化的细节和其它伪像。

在本发明的实施例中，生成输出图像，在输出图像中，x和y导数生成与诸如上述SW方法的方法相同的等效梯度场。在此过程中，获得具有所寻求的导数结构的融合/组合图像，而无需重新积分。

本发明的实施例执行输入通道的每像素投影(线性组合)，以生成输出图像。输出图像不需要进行微分(differentiated)，但如果要微分输出图像，将产生与上面讨论的类似的等效梯度。在本发明的实施例中，投影方向是雅可比行列式的外积的主特征向量。投影是在图像空间中执行的，导致输出标量图像，而不是在现有技术方法中那样，现有技术方法在梯度域中运行，并给出输出梯度，这些输出梯度往往不能在没有伪像的情况下重新积分。

在优选实施例中，公开了用于处理具有稀疏导数信息的图像。在优选实施例中，在投影输入图像通道以产生输出图像之前，使用联合双边滤波器在相似的图像区域之间扩散投影系数。还可以找到全局投影图像，其中每个唯一的多通道输入向量映射到单个投影向量。也就是说，投影图像是来自输入图像的查找表。

在优选实施例中，可以导出每通道投影，以创建RGB颜色(或者总的来说是M通道)输出。

附图说明

现在将参照附图仅以举例的方式描述本发明的实施例，在附图中：

图1是用于从多个相应的输入图像通道生成输出图像的方法的流程图；

图2是图1的方法的示例实现方式的各方面的流程图；

图3是根据另一个实施例的方法的流程图；和，

图4是根据本发明实施例的用于从多个，N个，相应的输入图像通道生成输出图像的系统的示意图。

具体实施方式

在以下描述中，I(x，y)被用于表示n×m向量图像的第x、第y像素。每个像素有N个平面。例如，如果I(x，y)是关于红色、绿色和蓝色(RGB)色彩空间定义的彩色图像，则该像素将是RGB向量：[R G B]。如果图像还包含为NIR(近红外)的图像平面，或者NIR图像与RGB图像相关联，则每个像素将是4向量：[R G B NIR]。

应该理解，每个平面可以是单个图像的通道，或者可以来自不同来源的关于相同对象的图像的数据。

为了理解图像的导数结构，图像在x和y方向上在N个图像平面中的每一个平面中进行微分。这给出N×2(对于N个图像平面中的每个图像平面的x和y导数)并且这被汇总在N×2雅可比矩阵J中：

在上面描述的SW方法中，寻找最接近所有图像平面中的所有导数的单个等效导数：

在SW方法中，导出梯度的大小和定向是已知的，但其符号是启发式定义的。部分地是，上面讨论的在SW方法中看到的伪像与导出梯度的符号的启发式设置有关。SW方法通常幻化出新的细节(其未出现在任何输入图像或图像通道中)，包括晕圈，弯曲伪像和大尺度伪梯度。

图1是用于从多个相应的输入图像通道生成输出图像的方法的流程图。

在步骤10中，针对多个相应的输入图像通道确定雅可比矩阵(J)。上面(1)处列出了这种矩阵的一个示例。

在步骤20中，计算J的外积的主特征向量。

在步骤30中，确定主特征向量的符号。符号优选被确定为使得由特征向量投影的输入图像通道像素应当导致正的标量值。投影向量的符号相应地进行设置。

在步骤40中，输出图像被生成为在主特征向量的方向上输入通道的每像素投影。

已经确定，J的列空间的单位长度特征向量(这里表示为v)具有各种有用的特性：

i.v^tJ(将v乘以J(1×N向量乘以N×2雅可比行列式))给出的梯度等于由(2)产生的直到未知符号的梯度(可以如下所述的那样进行处理)。

ii.因为属性(i)是线性运算，微分也是线性运算，所以运算顺序可以交换，即：

在(3)的左边，我们进行微分，在此之前，我们制作一个新的标量图像作为原始图像的线性组合，其中v的分量定义了每通道组合的权重。在一个像素处，跟着给定v之后，可以直接计算从N个输入通道导出的输出图像(例如输出图像可以是融合图像)(作为I(x，y)的原始图像的线性组合)而且没有重新积分的需要。

iii.由于旨在使输出图像可显示，因此输出图像的像素的值必须全部为正值。这个的输入如下：

i.v^t I(x，y)＜0则v←-v (4)

采用SW方法的一个问题是等效梯度向量的符号是未知的。已经建议设置符号，以匹配亮度梯度(R+G+G)/3或优化符号，以最大化所期望的梯度场的可积分性。每种方法都需要进一步计算，并不总是合适的。相反，与SW方法不同，在本发明的实施例中，等效导数向量的符号可以以良好原则的方式被分配((4)中的向左箭头表示分配)。

图2是图1的方法的示例实现方式的各方面的流程图。

如以上参照图1所讨论的那样，雅可比行列式J的外积的主特征向量的方向上的输入通道I(x)的每像素投影(线性组合)产生所寻求的组合标量图像O(x)：

上面讨论了雅可比行列式。存在多种方法可以达到主特征向量U^x，下面给出了说明一种方式的优选实施例。

主特征向量U^x是U^x的第一列向量：

U则是雅可比行列式J的奇异值分解的一部分(上标^x表示x、y图像位置)：

J＝USV^T (6)

U、S和V分别是N×2、2×2和2×2矩阵。U和V是非正态的，S是对角矩阵(其对角线分量>＝0)。

SW等效梯度(直到未知符号)是由主特征值缩放的Z的单位长度主特征向量。这是SV^T的第一列。通过U^x的转置前乘(7)返回与通过SW方法找到的相同的等效梯度。

换句话说，U^x是雅可比行列式和结构张量Z(Z＝VS²V^T)的平方根的倒数的乘积，由此得出Z的逆平方根是VS-¹。

结构张量是正的，半定的，并且因此，特征值将是真实的，正的。在底层通道为连续的并且特征值是不同的图像中，外积的主特征向量也将会不断变化，并且可以从上面计算出来。

在具有零导数的区域或结构张量具有一致的特征值(例如角部)的图像中，在一处图像位置发现的投影方向上可能存在与另一处图像位置相比较大的变化(不连续性)，这可能在确定主要特征向量时是有问题的。图2是处理图像通道数据以确保适合用于本发明实施例的优选方法的流程图。

在步骤100中，在每个像素位置处将投影图像P(x,y)初始化为零。

在步骤110中，基于U^x和S^x如下填充P(x,y)：

如果

并且

则P(x，y)＝U^x

每处都假定满足两个阈值条件并且存在非零雅可比行列式，并且两个特征值足够不同(即，每处的图像具有非零导数，并且不在极少出现的角部)，则存在稀疏的N向量投影图像P^s(x,y)(上标“s”表示向量是稀疏的)。

为了确保P(x,y)-每个空间位置都有一个明确的投影向量的最终投影图像-P^s(x,y)被填入。具体来说，每个(x,y)位置处的N向量是其本地邻域的平均值，其中平均值也是对边缘敏感的。这在步骤120完成，其中P(x,y)被双边滤波，优选地是通过应用简单的交叉双边滤波器。

P(x，y)＝BilatFilt(I(x，y)，P^s(x，y)，σ_d，σ_r)

θ₁和θ₂是可以根据实施方式而变化的系统参数。在一个实施例中，它们被任意设定为0.01(假设图像值在[0,1]中)。

优选地是，双边滤波器是具有由原始图像I限定的范围项的交叉双边滤波器。滤波优选地是利用具有标准偏差σ_d以及由σ_r参数化的范围上的标准偏差的高斯空间模糊对每通道独立执行的。在σ_r＝σ_dr＝0时，没有扩散发生。随着σ_d→∞并且σ_d→∞，扩散成为全局平均，而且投影趋向于输入通道的全局加权总和。如果σ_d→∞而σ_r＝0,则图像中的值的每个不同的向量将与相同的投影向量关联，因此双边滤波步骤限定了可作为查找表实现的满射(surjective mapping)。

除这些边界情况外，应选择双边滤波器中的标准偏差，以提供所寻求的扩散，但也应选择以确保空间项是足够大的，以避免空间伪像。

在一个实施例中，σ_d和σ_r分别被设置为min(X；Y)*4和((max(I)-min(I))/4))。在一个实施例中，这些值是凭经验找到的。

在步骤130中，调整P(x,y)，使得每个投影方向是单位向量。

可选步骤140也可以应用。在这一步骤中，扩展函数被应用于P(x,y)，以改善投影图像。具体地说，在一个示例中，扩展函数将每个投影方向移动离开平均值一个固定倍数的角度(扩散步骤在相反的方向上拉动并且导致投影方向与步骤110中发现的投影方向更接近平均值)。

将要应用的确切的扩展函数将因实施方式而异，并且还取决于所讨论的域。

默认情况下，扩展是通过计算扩散之前和之后的偏离平均值的平均角度偏差来进行的。后扩散向量由单个因子k(k>＝1)缩放，以便平均角度偏差与扩散步骤之前相同。如果扩展函数产生负值，则该值被限幅(clipped)为0。该缩放因子k可以根据每个实施方式的要求而变化。例如，在延时摄影图像中，k可以是2，以拉伸投影图像。在多焦点应用中，K的值可以较大(如5或8)。

在图2的实施例中，横跨图像明确的投影向量被内插或扩散。在优选实施例中，这是通过应用简单的交叉双边滤波器来实现的，该交叉双边滤波器已被发现向标准高斯或中值滤波器提供优越的结果，因为其使用包含在输入图像通道中的图像结构来引导投影向量的扩散。

还有其它方式可以提供“填入”投影图，包括各向异性扩散、连通分量标记(对输入中的相同的连通分量执行相同投影(类似于)或比双边滤波更强烈地执行空间约束)。

最终的投影图像可以进一步受约束，因此它是输入多通道图像的函数。也就是说，投影图像可以是来自输入多通道图像的查找表。

在执行步骤100-130(并且可选地还有140)之后，结果是限定投影方向的每像素的N个值，沿着该投影方向，投影N向量I(x)，以产生标量输出图像。

图3是根据另一个实施例的方法的流程图。

在该实施例中，在步骤200中对输入图像进行缩小取样(或者可替换地是，可以提供或者获得缩小取样版本的输入图像)并且在步骤210中仅针对缩略图图像计算P(P可以以与例如参照图2阐述的方式相同的方式进行计算)。然后，在步骤220中使用联合双边放大取样来找到全分辨率投影图像，然后在步骤230中，将该全分辨率投影图像用于生成非缩小取样的输入通道的每像素投影。

再次，最终投影图可以是输入多通道图像的查找表(LUT)。可以在缩略图上计算LUT。

该缩略图计算还具有这样的优点，即：投影图像可以以分片方式计算，即该方法从不需要计算全分辨率投影图像。

在682×1024分辨率的示例RGB-NIR图像对中，该图像对融合为独立的R、G和B通道，共3个融合步骤，全分辨率下需要54.93秒，而使用实施例的MATLAB实现方式对68×102缩小取样的缩略图计算时需要2.82秒。这种速度的增加并不会显著影响结果图像——相应图像通道上全分辨率和缩小取样结果之间的平均SSIM(结构相似性指数)为0.9991。一般情况下，已经发现可以将图像大幅缩小取样为10K像素的缩略图(或者，如在本示例中的那样，甚至稍微更小一些)，并且具有良好的结果。尽管几乎总是如果缩小到大约VGA分辨率，那么在缩略图上计算的结果将与在全分辨率图像上计算出的结果接近相同。

图4是用于从多个，N个，相应的输入图像通道401-404生成输出图像的系统400的示意图。如上所述，通道可以是独立的图像，来自相机的图像馈送，单个或相关图像馈送的分量，单个或相关图像文件的分量等。在所示实施例中，相机401和402(例如一个相机可以是RGB，而一个是红外)以及数据源403/404被图示为提供图像通道。例如，数据源可以是分层的图像文件，来自该图像文件的每层起到单独的通道403、404的作用。应该理解，许多组合和置换是可能的，并且图像通道的不同源的数量是无穷无尽的。

系统400包括被设置用以接入N个输入图像通道的输入410。这可能是连到数据馈送、文件I/O设备或系统或某个其它输入的接口或总线。

系统400还包括处理器420以及系统400操作和执行用于执行图像处理模块的计算机程序代码所需的任何必要的存储器或其它组件，包括：

被配置用以设置与所述主特征向量相关联的符号的计算机程序代码，从而由所述主特征向量投影的输入图像通道像素产生正的标量值；和，

被配置用以生成输出图像的计算机程序代码，该输出图像作为输入通道在主特征向量的方向上的每像素投影。

输出图像430可以例如经由I/O设备或系统输出到存储器，数据存储器，经由网络输出到用户界面或输出到图像再现设备，例如打印机或其它设备，用于产生硬拷贝。输出图像也可以作为其它系统的输入。

上述方法的扩展。

假设代替使用SW方法将N、x和y导数映射为单个等效梯度，则使用某个其它函数f。向量函数f()返回一个1×2向量，即每像素x和y的估计导数。作为这种函数的一个示例，可以修改SW方法，以便在导出它们的等效梯度时，较大的每通道导数的权重大于小的。在每个像素处，发现投影向量v满足：

v ^tJ＝+-f(J) (7)

等式(7)是欠定的。有很多v会满足这个等式。但是，这可以通过确定最小范数解来解决：

v＝Jcwher其中f(J)[J^t]^-1 (8)

其中c是2-向量。也就是说，v在J的列空间中。或者，在像素v处，可以发现其最(以最小二乘意义)满足在给定像素和相关邻域中的所有像素处的v ^tJ＝+-f(J)。

与上面讨论的实施例一样，初始投影向量图像最初是稀疏的并且应该被处理，以通过边缘敏感扩散处理在任何地方限定投影向量。

在这里，每个v(x,y)都有单位长度并不重要。相反，如果给定的最终投影形成为稀疏投影图像中的原始投影的加权组合，则权重的总和为1。

(10)的右边理解为：最终的投影图像通过权重的倒数(用于限定最终的投影图像v(x,y))来缩放。

在WO2011/023969中，其副本通过引用并入本文，N分量图像被融合成M分量配对图像(其中通常M<<N)。一个示例是将4通道RGB-NIR图像映射成3维融合彩色图像。

在所公开的方法和系统中，将N×2源雅可比行列式J^s变换为(对于彩色情况)3×2强化雅可比行列式J^A。J^A中的3个导数平面中的每一个都重新积分，以给出最终图像。在重新积分(通常是不可积分的场)时，往往会产生重新积分的伪像。

在本发明的实施例中，每像素可以求解3×N线性变换T，使得：

(10)

TJ^S＝J^A

同样由于微分的线性，给定像素处的融合后的三维图像可以被计算为TI(x,y)，因为如果我们微分这个变换后的3通道图像，则我们精确地计算出J^A。如上所述，有许多Ts满足(11)。可以使用最小范数解来唯一地限定T。或者，可以通过找到最满足给定像素位置及其邻域的像素的单个T来以最小二乘意义找到T。

因此，在存在非零雅可比行列式J^s的图像区域中，J^A和T^s(x,y)可以被计算出来(如上标T^s提请注意变换图像最初是稀疏)。这通过扩散初始稀疏变换集得到最终的非稀疏T(x,y)(在每个位置，我们有一个3×N变换T)。应用如上一节所述的类似扩散过程，最终输出融合图像等于T(x,y)I(x,y)。

再次，T(x,y)可以是输入图像的函数(每个多通道输入映射到单个变换，并且该映射可以作为查找表来实现)。

已经进行了各种实验来比较上述方法的其它算法、Eynard等人的图像融合方法(基于使用图形拉普拉斯算子来找到M到N通道颜色映射)以及Connah等人的频谱边缘(SE)方法(其基于结构张量和基于查表的梯度重新积分)。结果以附件1的形式阐述在所附的论文中，并在此通过引用并入。该论文发表在2015年12月7日至13日的“2015年IEEE国际计算机视觉会议(ICCV)的ICCV15年会议录”第334-342页上，并通过引用并入本文。

附件1的图1中示出了本发明的实施例与先前方法的比较，其中有两个均匀的白色图像，分别去掉左上角和左下角四分之一。使用基于小波的方法产生离散小波变换(DWT)图像，该方法合并在不同比例下的两个图像的系数。我们使用CM(选择最大值)选择方法运行标准的DWT图像融合实施方式，这种方法很简单，而且在比较中是表现最好的一个。

输入图像很小，因此只有7级小波分解。在1c和1d中，显示了使用Daubechies 4和Biorthogonal 1.3小波的输出。显然，基本小波方法和SW方法(1e)都不适合用于这个图像融合的示例。然而，本发明的实施例(1f)的结果使图像融合而没有伪像。1h中所示的绿线的强度分布曲线在1f中显示具有期望的等亮度白色值，而SW强度分布曲线1g显示出大量的幻化出的强度变化。

在附件1图2中，显示了用于测试色盲的石原氏(Ishihara)色觉测试板的彩色到灰度图像融合示例。在附件1的图2f中显示了SW方法的输出。SW方法在这里失败，因为图像是由白色背景上的彩色圆圈组成的。因为所有的边缘都是这样隔离的，所以等效梯度场精确表征了颜色梯度，并且是可积分的，而且附件1的图2f中的输出没有积分伪像。然而，融合后的图像并不能捕捉输入的实际外观和感觉。相反，由图2e中的本发明的实施例产生的图像(中间步骤在附件1的图2b-2d中示出)示出了初始投影方向利用双边滤波步骤而扩散，该双边滤波步骤使在像素处计算的投影方向与其它图像区域一起考虑。

例如，最终的灰度输出可用于色觉异常观看者的图像优化。附件1的图2e中的图像可用作Protanope模拟图像的LUV色彩空间中的亮度通道替换，将原始RGB图像(附件1的图3a)中的、对于色觉异常观察者而言不可见的颜色变化映射到色觉异常观察者可以感受得到的亮度通道细节。在该特定实施例中，使用缩小取样比率为0.5，并且k拉伸参数为2。Eynard等人建议的系统的结果也作为比较呈现-两种方法都达到了预期的结果，但是Eynard等人因为他们的融合改变了输出的颜色值而产生更高水平的区别，而由本发明的实施例产生的输出图像仅影响亮度。

从RGB图像产生的灰度输出的质量可以通过各种度量来测量。Kuhn等人的度量比较了原始RGB图像中像素之间的颜色距离与输出灰度图像中像素之间的灰度距离。附件1的表1显示了当应用于来自Cadik数据集的RGB图像和CIE L亮度通道、Eynard等人的结果以及本发明的实施例的结果时，该度量的结果的比较。应该理解，本发明的实施例的结果在许多情况下是优越的。

为遥感应用捕捉的图像通常跨越可见光和红外波长光谱。从Landsat 5号的Thematic Mapper(TM)获取数据，可以在附件1的图6中看到示例。有7个捕捉图像通道(3个处于可见光谱和4个红外图像)。从0.45-0.51μm(蓝色)，0.52-0.60μm(绿色)和0.63-0.69μm(红色)捕捉三个可见图像，其分别用作输入RGB图像的B，G和R通道。在附件1的图6a中，显示来自Landsat图像集的输入RGB图像，并且附件1的图6b和6c中示出了红外波段5和7，其包括在RGB波段中不存在的额外细节。所有4个红外通道用于融合，但由于空间原因，此处仅显示2个。4个红外通道依次使用附件1的图6d中的SW方法和附件1的图6f中的本发明的实施例与R、G和B通道融合，然后输出RGB通道具有高和低分位数，其与输入RGB通道匹配。在附件1的图6e中显示了频谱边缘方法的结果，其直接融合RGB图像和全部7个多波段图像。

对于该应用，使用0.5的缩小取样比率和2的k拉伸参数。由此产生的图像比SW方法更细节化。

在附件1的图3中，传统的RGB图像(3a)与近红外(NIR)图像(3b)融合。根据本发明实施例的处理被应用3次-将R通道与NIR融合，将G通道与NIR融合，将B通道与NIR融合。然后，执行后处理，其中图像被拉伸，使得它们的0.05和0.95分位数与原始RGB图像相同。最终的图像显示在附件1的图3e中。为了比较，显示了频谱边缘输出，即附件1的图3c，和Eynard等人的输出，即附件1的3d。在同一图像顺序中，附件1的3f中显示了放大细节插图。POP方法的输出图像捕捉比SE结果更多的NIR细节，同时产生比Eynard等人的结果更多的自然颜色，Eynard等人的结果具有绿色偏色和缺乏颜色对比。POP结果显示出良好的色彩对比度，自然度和细节。对于该应用，使用0.1的缩小取样比率和1的k拉伸参数。

多焦点图像融合是另一个潜在的应用，其通常使用具有不同焦点设置的灰度图像进行研究。标准的多焦点图像融合涉及融合具有不同聚焦设置的两个灰度输入图像。在每张输入图像中，约有一半的图像处于对焦状态，因此通过组合它们可以生成在每个点上都对焦的图像。

附件1的表2示出了使用标准图像融合质量度量在几个标准多焦点图像对上的本发明实施例(POP图像融合方法)在该任务上的性能比较。Q_XY/F度量基于梯度相似度，Q(X；Y；F)度量基于结构相似度图像测量(SSIM)，

度量基于相互信息。结果与各种可比较的方法进行比较-在大多数情况下，由本发明的实施例产生的最终图像占上风。

全光摄影(plenoptic photography)提供彩色图像的各种重新聚焦选项，允许从单次曝光创建具有不同景深的图像。本发明的实施例可以用于将这些不同聚焦的图像融合成完全对焦的单个图像。由于知道每个像素上只有其中一个图像对焦，所以可以针对该应用对实施方式进行微调。在一个示例中，应用扩展函数中的较大的k缩放项，并且使用0.5的缩小取样比率。这样可以创建出清晰的输出图像，其在每个像素上都聚焦。

附件1的图7显示了一个图像，其中从单次曝光创建了四个不同的重新聚焦的图像。使用本发明的一个实施例，不同聚焦的图像在每个点处被融合成单个聚焦图像-相比而言，Eynard等人的方法的结果没有在图像的所有部分中显示完美的细节，并且具有不自然的颜色信息。

延时摄影涉及在不同时间捕捉同一场景的图像。在灰度图像的情况下，可以使用本发明的实施例对这些进行融合。对于RGB图像，可以分别对R，G和B通道的叠层进行融合。这个融合结果创建了一个输出图像，它结合了所有延时图像中最显着的细节。对于该应用，使用0.5的缩小取样比率和2的k拉伸参数。附件1的图8显示了来自昼夜不同部分的一系列延时图像(来自Eynard等人)，以及POP融合的结果和Eynard等人的方法的结果。仅在夜间使用人造光源才能看到的细节与结果中仅在白天可见的细节相结合，但是本发明的实施例的结果产生了更多的自然颜色。

应该理解，如下面讨论的本发明的某些实施例可以作为驻留在固件中的代码(例如，软件算法或程序)和/或具有控制逻辑的计算机可用介质引入，所述控制逻辑能够在具有计算机处理器的计算机系统上执行。这样的计算机系统通常包括存储器存储，该存储器存储被配置用以根据执行提供来自配置处理器的代码的执行的输出。代码可以作为固件或软件进行设置，并且可以被组织成为一组模块，诸如离散的代码模块，函数调用，过程调用或面向对象编程环境中的对象。如果使用模块来实现，则代码可以包括彼此协作运行的单个模块或多个模块。

本发明的可选实施例可以被理解为包括这里提到或指示的部分，元件和特征，它们单独地或共同地以两个或更多个部分、元件或特征的任何或全部组合的方式，并且其中本文提及特定的整数在本领域中与本发明相关地具有已知的等同物，这些已知的等同物被视为并入本文，如同分别单独提出一样。

虽然已经描述了本发明的所示实施例，但应该理解，在不脱离由所附的权利要求书中的陈述及其等同物限定的本发明的情况下，本领域技术人员能够作出各种变化，替换和改变。

附件1

POP图像融合-导数域图像融合而无需重新积分

Alex E.Hayes和Graham D.Finlayson

(A.E.Hayes和G.D.Finlayson工作于英国东安格利亚大学计算科学系，电邮：alex.hayes@uea.ac.uk,g.findayson@uea.ac.uk)

摘要-有很多应用程序，其中多个图像被融合，以形成单个汇总灰度或彩色输出，包括计算摄影(例如RGB-NIR)、弥散张量成像(医疗)以及遥感。通常，并且直观地说，图像融合是在导数域中进行的。这里，找到一个新的复合融合导数，其最佳考虑了所有图像上的细节，然后重新积分所产生的梯度场。然而，重新积分步骤通常幻化出新的细节(其未出现在任何输入图像波段中)，包括光晕和弯曲伪像。在本论文中，我们通过避免重新积分步骤而避免了这些幻化的细节。

我们的工作直接建立在Socolinsky和Wolff的工作上，他们从每像素Di Zenzo结构张量导出他们的等效梯度场，该结构张量被定义为图像雅可比行列式的内积。我们显示了在雅可比行列式的外积(POP)的主特征向量上原始图像的投影的x和y导数生成了同样的等效梯度场。在这样作下，我们已经导出融合图像，其具有我们所寻求的导数结构。当然，该投影将仅仅在雅可比行列式具有非零导数的情况下才是有意义的，因此在我们计算融合图像之前我们扩散投影方向-提出两种扩散方法并进行比较。所产生的POP融合图像具有最大的融合细节，但避免幻化的伪像。实验表明，利用现有技术的目标图像融合度量，我们的方法表现出出类拔萃的图像融合性能。

索引术语–图像融合，梯度重新积分，导数域，彩色到灰度，RGB-NIR。

1.介绍

图像融合在许多问题域中具有应用，包括多谱段摄影【1】，医疗成像【2】，遥感【3】和计算摄影【4】。在图像融合中，我们寻求将存在于N个输入图像中的图像细节组合成一个输出图像。图像梯度是表现图像细节信息的自然通用方式【5】，并且已经被用作为多种图像融合技术的基础，包括【6】和【7】。其它图像融合方法包括基于小波分解的方法【8】，拉普拉斯塔形变换【9】和神经网络【10】。

将N个输入图像通道上的梯度信息汇总的有力方式是DiZenzo结构张量【11】【12】(其被定义为N×2图像雅可比行列式的2×2内积)。基于结构张量的方法在计算机视觉中具有很多应用【13】，包括在图像分解【14】中，并且与本论文相关的是用于图像融合【15】。

Socolinsky和Wolff的具有重大影响的图像融合方法(SW)利用结构张量来找到等效梯度的1维集合，该等效梯度在它们的定向和大小方面以最小二乘意义尽可能得近似于从多通道图像导出的张量【16】。他们显示了等效梯度由结构张量的最显著的特征值和相关联的特征值限定。不幸的是，Socolinsky和Wolff所导出梯度场通常是不可积分的。因为(不可积分场的)梯度场重新积分问题是固有不适定的，所以导数域技术将总是在融合图像中幻化出在原始图像中不存在的细节。

现代技术对重新积分问题施加了额外约束，这些技术有时能够减轻但是不能去除伪像【17】、【18】、【19】、【20】和【21】。在另一工作【22】中，对融合后的图像进行后处理，使得连通分量(其被定义为具有相同的输入向量值的输入多谱段图像的区域)必须具有相同的像素强度。不幸的是，这个额外步骤可以产生不自然的轮廓和边缘效应。

在本论文中，我们研制了一种导数域图像融合方法，其避免了对重新积分的需要，并且因此，我们避免了重新积分伪像。我们的方法开始于计算图像导数的雅可比矩阵的外积(而不是定义结构张量的内积)。我们证明了原始多通道图像在外积(POP)张量的主特征向量的方向上的投影导致Socolinsky和Wolff的方法中限定的同样等效梯度场。当然，该初始投影图像并未在每一处都很好限定，例如它可以仅在雅可比行列式具有非零导数的地方是非零的，并且因此我们利用双边过滤器将可用的POP投影方向扩散。POP融合图像是投影图像与多通道原像的每像素点积。所产生的POP融合图像具有最大的融合细节，但是完全避免了幻化的伪像。

POP图像融合与之前方法的比较在图1中示出，其中有两张一致的白色图像，它们被分别去除左上和左下四分之一。利用基于小波的方法，其将两张图像的系数以不同的比例合并，产生离散小波变换(DWT)图像。我们利用CM(选择最大值)选择方法运行了标准DWT图像融合实施方式，该方法是简单的，并且是比较中的最佳表现之一【8】。输入图像较小，因此仅存在7级小波分解。在1c和1d中，我们显示了使用多贝西(Daubechies)4和双正交(Biorthogonal)1.3小波的输出，最佳小波类型在【8】中找到。明显的是，基本小波方法以及Socolinsky和Wolff的方法(1e)都不能用在该图像融合示例上。然而，POP图像融合方法(1f)(在第三部分中详细讨论)在融合图像时成功，而没有伪像。1f中的绿线的强度分布曲线(在1h中示出)具有期望的等亮度白色值，而Socolinsky和Wolff的强度分布曲线1g显示相当大的幻化出来的强度变化。

图1：图像融合示例：(a)和(b)由基于小波的方法(c)和(d)融合，产生严重的图像伪像。Socolinsky和Wolff的基于梯度的方法(e)工作得较好，但是强度梯度是幻化的(g)，其在输入图像中都不存在。POP方法(f)捕捉了所有的输入细节，且没有伪像或幻化的细节。

第二部分讨论了我们的方法的背景。我们的POP图像融合方法在第三部分里提出。在第四部分中，提出实验(包括与其它方法的比较)。在第五部分中对论文进行总结。

2.背景

让我们将多通道图像表示为

(x是2维图像坐标，I(x)是N向量值)。图像I的雅可比行列式定义为：

Di Zenzo结构张量【11】(在微分几何中其已知作为第一基本形式)被定义作为雅可比行列式的内积：

Z＝J^TJ (2)

如果c＝[α β]^T表示单位长度向量，则多通道梯度的平方大小可以写为：||Jc||₂＝c^TZc。也就是说，结构张量灵巧地汇总了多通道图像的组合后的导数结构。

J的单值分解(SVD)揭示了对于理解Socolinsky和Wolff的图像融合方法以及还有下一部分中提出的我们自己的POP图像融合算法都是有用的结构。

J＝USV^T (3)

在等式(3)中，U、V和S分别是N×N和2×2标准正交矩阵以及N×2对角矩阵。在SVD分解中(它是唯一的)，单值是对角矩阵S的分量，并且按顺序从最大到最小。第i个单值表示为S_ii，并且U和V的第i列分别表示为U_i和V_i。

我们可以利用SVD来计算结构张量Z的特征值分解：

Z＝VS²V^T (4)

Z的最显著的特征值是

对应的特征向量是V₁。该特征向量限定了图像平面中的最大梯度对比的方向，且S₁₁是该梯度的大小。

在Socolinsky和Wolff的方法【16】中，2向量S₁₁V₁是他们的等效梯度的基础，即导出梯度场，其生成每像素的结构张量，这些结构张量最接近从多通道图像定义的结构张量(等式2)。每像素的梯度场写为：

在等式5中，上标^x还表示x、y图像位置。我们采用这一命名(而不是写S₁₁(x)V₁(x)的写法)来使该等式更加简洁。相应的，J^x、Z^x、U^x、S^x和V^x表示每像素雅可比行列式，Di Zenzo张量和每像素SVD分解。

在这一阶段，等式5中的G(x)在它的符号上是模糊的。Socolinsky和Wolff将符号设定为匹配亮度梯度(即，梯度定向V₁中的(R+G+B)/3)。符号还被优化，以最大化导出梯度场的可积分性【19】。一旦我们固定了符号，则我们写

总的来说，导出梯度场

是不可积分的(场的卷线不是每处都是0)。因此，Socolinsky和Wolff通过求解泊松公式以最小二乘意义解决了输出图像O(x)。

其中

表示梯度场的发散。不幸的是，由于梯度场是不可积分的，所以O必定具有未出现在多通道输入I中的细节(梯度)。例如，在图1中，我们看到在‘SW’中的“弯曲伪像”，其未出现在任一个融合的图像平面中。这种幻化的伪像在高对比边缘处被统称为“光晕”。

在【1】中，论述了只要期望等效梯度在不同的尺度上总是可积分的，则重新积分的图像就应当是输入的全局映射。在效果上，重新积分步骤减少，以找到原始图像的全局映射(查找表)，其具有接近Socolinsky和Wolff的等效梯度的导数【23】。查找表重新积分原理通常令人惊讶传递良好的图像融合(它看起来像Socolinsky和Wolff图像，但是没有伪像)。然而，有时输出图像是输出的简单全局函数的约束可以产生融合图像，其并未很好表现出多通道图像的各个波段中的细节。

2.1SVD、PCA和特征向量分析

最后，我们评论，Z^x的

(与最大特征值相关联的特征向量)正好是J^x的行空间的主特征向量。它是向量方向，沿着该方向，J^x的行的投影具有最大的变化(特征向量分析与主分量分析相同，其中平均值不是在计算最大变化方向之前从数据中减去【24】)。所有的数据矩阵可以在它们的行空间和列空间上进行分析。向量

是向量方向，沿着该方向，J^x的列的投影、即列空间的主特征向量具有最大的变化。向量U^x仅仅只是U^x的第一列。

3.POP图像融合

Socolinsky和Wolff的方法中导出梯度是来自多通道图像所有可用的梯度信息的数学上很好建立的融合。也就是说，Socolinsky和Wolff可以产生较差的外观结果，这是因为(不可积分场的)梯度场重新积分的不适定。

我们的方法的基本前提是我们可以进行图像融合，而不需要重新积分。而是，我们寻求仅仅找到输入通道的每像素的投影(线性组合)，使得如果我们微分输出投影图像，我们将生成我们寻求的等效梯度。结果，不仅我们可以采取这一投影方法，而且投影方向是雅可比行列式的外积的主特征向量。

POP图像融合理论：在单个离散位置x雅可比行列式的外积的第一特征向量的投影形成的标量(表示为

)具有性质

(其中S^x＝-1或1)，假定函数I_k(x)是连续的。

证明：由于微分和加和是线性运算器，并且因为我们假定下面的函数是连续的，

记住U^x是雅可比行列式的单值分解的一部分(见等式3)，并且因此，U^x和V^x在这个分解中是标准正交矩阵，并且S^x是对角矩阵，直接跟着是

当然，正如当我们从内积张量分析导出G(x)时我们有未知的符号，这里符号模糊性仍然存在。我们将S^x设定为-1或1，使得＝S^xG(x)。

虽然证明中的符号选择用以将Socolinsky和Wolff的方法的导出梯度映射，但是我们不需要以这种方式设定符号。实际上，我们最终想要融合具有正的图像值的图像，我们不采用Socolinsky和Wolff【16】的启发式方法。而是，我们选择符号，使得投影图像是正的(任何融合图像的必需性质)：

s^x＝sign(U^x.I(x)) (11)

等式11总是以很好限定的方式解决了符号模糊性(并且这样相比Socolinsky和Wolff是一个重要进步)。

POP图像融合原理针对单个图像点，并且假定下面的多通道图像是连续的。我们希望理解我们是否可以在所有图像位置上感知应用POP图像融合原理，并且甚至在下面的图像不是连续的时候。

首先，我们评论，我们可以将U^x写为：

U^x＝J^xV^x[S^x]^-1 (12)

即，U^x是雅可比行列式和Di ZenZo结构张量的平方根的积。因为结果张量是正半定的，所以特征值总是实数的并且是正的，并且假定下面的多通道图像是连续的并且特征值是不同的，则U^x(外积矩阵的主特征向量)将也会连续变化。然而，在导数为零或结构张量具有重合的特征值的图像区域中(例如角部)，与另一个图像位置相比，在一个图像位置可以找到存在投影方向上的较大变化(不连续性)。然后，跟着我们必须内插或扩散投影向量，使之在图像上很好限定。我们可以以多种方式实现这一点，在我们默认的实施方式中，通过应用简单的交叉双边过滤器来完成这一点。在双边滤波以及一组3.1中描述的额外后处理步骤之后，我们具有每像素N个值，其限定投影方向，沿着该方向，我们将N向量I(x)投影，以制作出标量输出图像。

让我们表示

作为投影图像。在POP图像融合中，标量输出图像O(x)被计算为简单的每像素点积。

3.1找到投影图像的算法

初始化

(每一个像素位置初始化到0投影)。

1)对于所有图像位置x，计算雅可比行列式J^x。

2)如果

并且

则

(在该阶段，

是稀疏的)。

3)

4)

5)

实施细节

函数diffuse()表示将投影向量扩散，以填入缺少的值，其中边缘信息不是重要的。在我们默认的实施方式中，这使用了交叉双边过滤器，范围项由原始图像I定义。过滤对于每通道独立地进行，其中利用了高斯空间模糊，其具有标准偏差σ_d，且范围上的标准偏差参数为σ_r。在σ_d＝σ_r＝0时，不发生扩散。随着σ_d→∞并且σ_r→∞，扩散成为全局平均，而投影趋向于输入通道的全局加权总和。如果σ_d→∞而σ_r＝0,则图像中的每个不同的值的向量将与相同的投影向量关联，因此双边滤波步骤限定了可作为查找表实现的满射【23】。除这些边界情况外，应选择双边滤波器的标准偏差，以提供我们所寻求的扩散，但我们也需要确保空间项是足够大的，以避免空间伪像。在我们的实验中，σ_d和σ_r设定为min(X,Y)×4和((max(I)-min(I))/4))。

在双边滤波之后，

是致密的，但是每个投影方向不是单位向量。这在步骤4里弥补。最后，我们应用扩展函数spread()，以移动每一个投影方向离开平均值一个固定倍数的角度(扩散步骤沿着相反方向拉动，并且导致在该算法中投影方向与在步骤2上找到的投影方向相比更靠近平均值)。默认是，我们仅仅计算在扩散前后与平均值的平均角度偏差。我们通过单个因子k(k>＝1)来缩放后扩散向量，使得平均角度偏差与扩散步骤之前是相同的。如果扩展函数建立负值，我们将限幅到0。这一缩放因子k可以根据每个应用的需要来变化。

全局变量

代替之前所述的局部每像素投影，POP图像融合原理可以用来实施全局图像融合方案。我们通过在每个像素上符号标准化的第一特征向量U将输入图像雅可比行列式J投影。

这建立了目标梯度集合G，而没有在之前的结构张量方法中固有的符号问题。从这些梯度中，我们从它们的二阶导数形成目标拉普拉斯变换(▽O)，从这里我们可以求解泊松等式，以找到输出图像，但是我们使用来自Finlayson等人的基于LUT的重新积分方法【23】。为了做到这一点，我们找到了从输入通道的拉普拉斯变换的多项式函数(多项函数)到目标拉普拉斯变换的最小二乘回归。

这个权重集合等效于查找表，即满射，并且可以应用于输入图像的多项式函数，以产生输出融合结果(O＝poly(I)×Z)。

这具有的优点是，保证没有伪像，并且显著增加算法效率。

3.2快速实施方式

为了加速技术，输入图像可以缩小取样，并且可以仅针对缩略图计算

在此情况下，方法可以选择用以放大取样所产生的

值，以在全尺寸图像平面的每个像素提供投影。

在全分辨率投影图像的情形中使用的交叉双边过滤器变为联合双边放大取样，并且用在缩略图投影图像上，以对其进行放大取样，利用相应的输入图像通道作为全分辨率引导图像【25】。

POP的全局变量也利用输入图像的缩略图版本来工作。投影向量，目标梯度和拉普拉斯变换首先在小尺度下计算。计算权重集合Z，并且将其应用于全分辨率输入图像的多项式函数，以产生融合结果。

在这种缩略图实施方式下，POP方法变得极为快速。使用从柯达数据集合的其中一张图像的彩色到灰度转换的示例，768×512像素的图像上的3到1通道融合问题，全局和局部变量在全分辨率下分别花费5.13秒和5.16秒。如果我们使用四分之一分辨率(每个尺寸上都是1/2)的缩略图，则这降到1.31秒和1.41秒，并且在1/16缩小取样水平(每个尺寸上都是1/4)下，降到0.35秒和0.49秒。甚至更小尺寸的缩略图可以使用，并且相应性能增加，而同时保持高质量输出图像。

我们评论，这个缩略图计算也具有优点，投影图像可以以分片计算，即我们从不需要计算全分辨率投影图像。

4.实验

我们将我们的方法与两种现有技术算法进行比较，这两种现有技术算法是：Eynard等人的图像融合方法，其基于使用图形拉普拉斯变换，以找到M到N通道的彩色映射，以及Connah等人的频谱边缘(SE)方法【1】，其基于结构张量连同基于查找表的梯度重新积分【23】。

4.1RGB-NIR图像融合

在图3中，我们希望将传统的RGB图像(3a)与近红外(NIR)图像(3b)融合。我们应用POP图像融合3次，即我们融合R通道与NIR，融合G通道与NIR，并且融合B通道与NIR。我们进行后处理，其中我们拉伸图像，使得它们的0.05和0.95分位数与原始RGB图像相同。POP图像融合结果在图3e中示出。为了进行比较，我们显示了频谱边缘输出，即图3c和Eynard等人的输出，即3d。在相同图像顺序下，我们在3f中显示了放大的细节插图。POP方法的输出图像比SE结果捕捉了更多的NIR细节，而同时比Eynard等人的结果产生更多的自然色彩，Eynard等人的结果具有绿色偏色并且缺少彩色对比。POP结果显示了良好的彩色对比，自然度和细节。对于这一应用，我们使用缩小取样比率为0.1，k拉伸参数为1。

图2：在(a)中我们显示了石原氏(Ishihara)色觉测试板。POP图像融合中导出的初始投影图像在(b)中示出-注意该图像是多么尖利和稀疏，并且在(c)中示出双边过滤和正态化之后的图像(步骤3和4)。应用扩展函数，在(d)中给出最终投影。(a)与(d)的每像素点积在(e)中示出。为了进行比较，我们在(f)中显示Socolinsky和Wolff的算法的输出。

4.2彩色到灰度转换

为了针对彩色到灰度转换产生优化性能，使用为2的k拉伸参数，这对于在这个任务中具有高度分离的投影向量是重要的，因为3个输入维度必须压缩到1个输出维度。针对该任务的另一优化是使用CIE LUV色彩空间里的色调作为用于交叉双边过滤/双边放大取样的引导图像(这有助于确保具有不同色调的图像区域具有不同的投影)，并且因此更容易具有不同的输出灰度值。

表1显示了柯达数据集合的所有图像彩色到灰度转换性能的比较【27】。POP方法与CIE L(亮度)以及Eynard等人的结果【28】进行比较。所使用的量度是Kuhn等人的根平均加权平方(RWMS)误差度量【29】，其比较输入RGB图像中的像素之间的彩色差异与输出灰度图像中的强度差异。POP方法是在多个测试图像中表现最好的。

4.3多焦点图像融合

多焦点图像融合是另一个潜在应用，已经使用具有不同的焦距设定的灰度图像对它进行了研究【10】【14】。标准的多焦点图像融合涉及融合具有不同焦距设定的两个灰度输入图像。在每个输入图像中，近似一半的图像处于对焦，因此通过组合两个图像，可以产生在每一个点都处于对焦的图像。

表2显示了这一任务上的POP图像融合方法在多个标准多焦点图像对上的性能的比较，其利用标准图像融合质量度量。Q_XY/F度量基于梯度相似度【30】，Q(X,Y,F)度量基于结构类似度图像测量(SSIM)【31】【32】，并且

度量基于相互信息【33】。结果与周和王的方法进行比较，该方法基于多尺度加权梯度(MWFG)的融合【34】，以及与标准的DWT融合进行比较，其使用Daubechies小波和CM(选择最大值)系数选择，POP结果在大部分情形中都占上风。

表1：彩色到灰度定量比较。针对CIE L(亮度)、Eynard等人和POP的方法的平均RWMS误差度量值(多达3s.f.，除了更多的是必需的情况之外)。所有的值都是×10^-3。

图4显示了输入图像和“Pepsi”图像对的结果，在DWT结果中存在围绕字母的可见伪像，而其它两个结果没有可见的伪像。对于这一应用，我们使用缩小取样比率为0.5，并且k拉伸参数为2.5。

全光摄影提供彩色图像的各种重新对焦选项，允许具有不同景深的图像从单次曝光中产生【35】。POP方法可以用来融合这些不同对焦的图像成为整体处于对焦的单个图像。由于知道了图像中仅有一张在每个像素上处于对焦，所以我们的方法可以针对这个应用进行微调。这里，我们在扩展函数里应用较大的k缩放项，而且我们使用了缩小取样比率为0.5。这允许产生非常清楚的输出图像，其在每个像素上都处于对焦。

图7显示了图像(来自黄等人【35】)，其中四个不同的重新对焦图像从单次曝光产生。POP方法用来融合这些不同对焦的图像成为在每个点上都处于对焦的单个图像，相比而言，Eynard等人的方法的结果未在图像的所有部分中显示完美细节，并且具有不自然的彩色信息。

图3：RGB-NIR图像融合：“Water47”【26】比较-原始图像和近红外输入图像，频谱边缘、Eynard等人和POP结果(细节，左上：RGB，右上：SE，左下：Eynard等人，右下：POP)。POP结果与其它方法相比具有优异的对比度和细节。SE结果是自然的，并且添加了额外细节，而Eynard等人的结果将NIR细节有效转移，但是具有绿色彩色偏色。

图4：多焦点融合：具有不同的焦点的两个灰度输入图像，DWT、MWGF【34】和POP的融合结果。

表2：多焦点融合：度量结果的表。

4.4多曝光融合

多曝光融合(MEF)融合是对高动态范围(HDR)成像的简单且可实践的替代，其避免了通过从具有不同曝光的输入图像集合直接到输出融合图像来产生HDR图像的步骤。这一方法假定所有输入图像都是完美记录的，并且在消费者摄影中广泛使用【36】。

MEF算法【37】的比较提出MEF融合作为加权平均问题。

其中O是融合图像，N是多曝光输入图像的数量，I_n(x)是亮度(或其它系数值)，而W_n(x)是在第n个曝光图像中的第x个像素上的权重。权重因子W_n(x)可以是空间变化的或是全局的。

在主观比较中，基于通过它们平均观点分数(MOS)评价8个MEF算法，等级从1到10，表现最好的算法是Mertens等人的算法【38】。这基于输入图像的多尺度拉普拉斯塔形分解，其中每个图像的系数通过对比度、色饱和度和良好曝光度的组合来加权，然后重新积分，以产生融合图像。李等人的第二最佳的算法基于Mertens的方法，但是增加了细节提高。

POP原理可以用来计算局部每像素权重，或全局权重到输入通道的多项式函数。我们在图5中显示了多曝光输入图像(由于空间的原因，第四最暗的图像未示出)，并且使用POP的全局变量对“洞穴”图像序列的结果，其与来自【37】的两个表现最好的方法进行比较。令人注意的是，全局POP结果非常接近Mertens等人的最佳表现局部方法，但是显示出甚至更多的洞穴的阴暗的角部。李等人的结果非常明显的是细节提高，并且图像的因此高度写实可能是它为什么不是优选的原因。

4.5遥感

针对遥感应用捕捉的图像通常横跨可见和红外波长光谱。我们使用来自Landsat5号的自动控制映射器(TM)【40】。Landsat5号的TM捕捉7个图像通道，3个在可见光谱内，4个是红外图像。从0.45-0.51μm(蓝色)，0.52-0.60μm(绿色)和0.63-0.69μm(红色)捕捉三个可见图像，我们将其分别用作输入RGB图像的B，G和R通道。在图6a中，我们显示了来自Landsat图像集的输入RGB图像，并且在图6b和6c中示出了红外波段5和7，其包括在RGB波段中不存在的额外细节。所有4个红外通道用于融合，但由于空间原因，此处仅显示2个。4个红外通道依次使用图6d中的Socolinsky和Wolff的方法和图6f中的POP方法与R、G和B通道融合，然后输出RGB通道具有高和低分位数，其与输入RGB通道匹配。在图6e中，我们显示了频谱边缘方法【1】的结果，其直接融合RGB图像和全部7个多波段图像。对于这一应用，我们使用0.5的缩小取样比率，k拉伸参数为2。

SE和POP方法都产生与SW方法相比显著更多的细节结果。我们认为POP方法的结果稍微优选于SE的结果，因为其细节更锐利并且更洁净。

图6：遥感图像融合–Landsat 5号【40】：原始RGB图像，波段1-3(a)，红外波段5(b)和7(c)捕捉了额外细节，其通过SW(d)、SE(e)和POP(f)方法与RGB融合。

图7：多焦距融合：使用全光相机在一次曝光下捕捉具有不同焦点的四个彩色输入图像，以及Eynard等人和POP方法的融合结果。POP结果将图像上的细节以自然的色彩带入更锐利的焦距。

4.6合并延时摄影

延时摄影涉及在不同的时间下捕捉相同场景的图像【28】。在灰度图像的情况下，这些图像可以使用标准POP方法融合，并且对于RGB图像，R、G和B通道的叠层分开融合。这一融合结果产生输出图像，其结合了所有延时图像的突出细节。对于这一应用，我们使用0.5的缩小取样比率，k拉伸参数为2。

图8显示了来自白天和晚上的不同部分的一系列延时图像(来自Eynard等人【28】)，POP融合以及Eynard等人的方法的结果。在两个结果中，仅在晚上在人工照明下可见的细节都与仅在白天可见的细节组合，但是POP结果产生了多得多的自然色彩。必须注意，这里出现的Eynard等人的结果在颜色上不同于在他们的论文中提出的结果，我们自己对输入图像运行了他们提供的代码，代码产生了这一结果。我们认为POP结果在任一种情况下都是更自然的融合。

图5：多曝光融合：“洞穴”图像序列，Bartlomiej Okonek免费提供。

图8：延时摄影–多照明的融合：在白天和晚上的不同时间捕捉的四张彩色输入图像，Eynard等人以及POP方法的的融合结果。POP结果具有多得多的自然色彩和细节。

5.结论

在本论文中，我们提出了一种新的图像融合方法，其基于图像导数。它避免了在梯度重新积分方法下的可积分性问题，这通过基于图像导数的雅可比矩阵的外积的主特征向量计算每像素的输入图像通道的投影。我们证明了，在每一个点上都有导数的连续多通道图像的情况下，这产生导数与Socolinsky和Wolff找到的来自Di ZenZo结构张量的等效梯度相等的输出投影图像。在真实图像中，导数信息是稀疏的，因此我们在将输入图像通道投影以产生输出图像之前利用联合双边过滤器将投影系数扩散到类似的图像区域中。我们将这个称为外积图像融合方法的主特征向量。

我们已经解释了POP方法如何优化，以提高该方法的性能，以及该方法如何可以应用于RGB-NIR图像融合，彩色到灰度转换以及多焦点图像融合。我们还比较了我们的方法和用于RGB-NIR图像融合、针对色觉异常观察者的图像优化以及遥感的现有技术的方法，并且提供了示例性结果用于基于全光成像的多焦点图像融合以及延时图像的融合。

POP方法产生在视觉上优于我们测试的其它方法的结果，其输出图像具有高水平的细节，并且具有最少的伪像。

致谢

非常感谢EPSRC，其提供资金支持Alex E.Hayes的奖学金。这一研究部分地还由EPSRC批准M001768提供资金。非常感谢Davide Eynard提供代码用于拉普拉斯彩色映射方法，以及示例融合结果。此外，感谢频谱边缘有限公司提供它们在本论文中使用的方法的图像融合结果。

参考文献

【1】D.Connah,M.S.Drew和G.D.Finlayson，“频谱边缘图像融合：理论与实践”，“计算机视觉”，欧洲会议，第65-80页，2014年。

【2】Z.Wang和Y.Ma，“使用m-pcnn的医疗图像融合”，“信息融合”，卷9，第2期，第176-185页，2008年。

【3】F.Nencini,A.Garzelli,S.Baronti和L.Alparone，“使用曲线波变换的遥感图像融合”，“信息融合”，卷8，第2期，第143-156页，2007年。

【4】S.Li和B.Yang，“使用区域分割和空间频率的多焦点图像融合”，“图像和视觉计算”，卷26，第7期，第971-979页，2008年。

【5】N.Dalal和B.Triggs，“人类检测的定向梯度的直方图”，“计算机视觉和图案识别”，IEEE会议，卷1，第886-893页，2005年。

【6】C.Wang，Q.Yang，X.Tang和Z.Ye，“利用动态范围压缩的突出保留图像融合”，“图像处理”，IEEE国际会议，第989-992页，2006年。

【7】W.Zhang和W.–K.Cham，“梯度引导的多曝光图”，“图像处理”，IEEE会刊，卷21，第4期，第2318-2323页，2012年。

【8】G.Pajares和J.M.De La Cruz，“基于小波图像融合教程”，“图像识别”，卷37，第9期，第1855-1872页，2004年。

【9】A.Toet，“通过低通塔形滤波比率的图像融合”，“图案识别学报”，卷9，第4期，第245-253页，1989年。

【10】S.Li，J.T.Kwok和Y.Wang，“使用人工神经网络的多焦点图像融合”，“图案识别学报”，卷23，第8期，第985-997页，2002年。

【11】S.Di Zenzo，“多图像梯度的关注”，“计算机视觉、图形和图像处理”，卷33，第1期，第116-125页，1996年。

【12】W.

“用于图像匹配的基于特征的对应算法”，“摄影和遥感的国际档案”，卷26，第3期，第150-166页。1986年。

【13】J.Bigun，“视觉与方向”，施普林格数据库，2006年。

【14】S.Han，W.Tao，D.Wang，X.-C.Tai和X.Wu，“基于集合多尺度非线性结构张量的影像分割框架的图像分割”，“图像处理”，IEEE会刊，卷18，第10期，第2289-2302页，2009年。

【15】B.Lu，R.Wang和C.Miao，“以适应性局部几何结构和小波变换的医疗图像融合”，“能源环境科学”，卷8，第262-269页，2011年。

【16】D.A.Socolinsky和L.B.Wolff，“通过第一阶融合的多光谱图像可视化”，“图像处理”，IEEE会刊，卷11，第8期，第923-931页，2002年。

【17】A.Agrawal，R.Raskar和R.Chellappa，“从梯度字段的表面重构的范围是什么？”，“计算机视觉”，欧洲会议，第578-591页，2006年。

【18】R.Montagna和G.D.Finlayson，“减少用于图像融合的彩色的张量梯度的可积分性误差”，“图像处理”，IEEE会刊，卷22，第10期，第4072-4085页，2013年。

【19】M.S.Drew，D.Connah，G.D.Finlayson和M.Bloj，“通过可积分性校正的改进的彩色到灰度”，“IS&T/SPIE电子成像”，第72401B-72401B页，2009年。

【20】D.Reddy，A.Agrawal和R.Chellappa,“通过使用1最小化误差纠正的强化可积分性”，“计算机视觉和图案识别”，IEEE会议，第2350-2357页，2009年。

【21】G.Piella，“用于增强可视化的图像融合：变化方法”，“国际计算机视觉杂志”，卷83，第1期，第1-11页，2009年。

【22】D.A.Socolinsky，“图像融合的变分方法”，博士论文，约翰霍普金斯大学，2000年。

【23】G.D.Finlayson，D.Connah和M.S.Drew，“基于查找表的梯度字段重构”，“图像处理”，IEEE会刊，卷20，第10期，第2827-2836页，2011年。

【24】L.T.Moloney，“彩色恒定性的计算方法”，博士论文，斯坦福大学，1984年。

【25】J.Kopf，M.F.Cohen,D.Lischinski和M.Uyttendaele,“联合双边放大取样”，ACM图像会刊，卷26，第3期，第96页，2007年。

【26】M.Brown和S.Susstrunk，“用于场景类别识别的多光谱筛选”，“计算机视觉和图案识别”，IEEE会议，第177-184页，2011年。

【27】M.Cadík，“彩色到灰度图像转换的感知评估”，“计算机图像论坛”，卷27，第7期，第1745-1754页，2008年。

【28】D.Eynard，A.Kovnatsky和M.M.Bronstein，“拉普拉斯色彩映射：结构保持颜色转换的框架“，“计算机图像论坛”，卷33，第2期，第215-224页，2014年。

【29】G.R.Kuhn，M.M.Oliveira和L.A.Fernandes，“用于彩色到灰度映射的改进的对比度提高方法”，“可视计算机”，卷24，第7-9期，第505-514页，2008年。

【30】C.Xydeas和V.

“目标图像融合性能测量”，“电子学报”，卷36，第4期，第308-309页，2000年。

【31】Z.Wang,A.C.Bovik,H.R.Sheikh和E.P.Simoncelii,“图像质量评价：从误差可视性到结构类似性”，“图像处理”，IEEE会刊，卷13，第4期，第600-612页，2014年。

【32】C.Yang,J.-Q.Zhang，X.–R.Wang和X.Liu，“用于图像融合的新型基于类似性的质量度量”，“信息融合”，卷9，第2期，第156-160页，2008年。

【33】M.Hossny,S.Nahavandi和D.Creighton，“对用于图像融合性能的信息测量的评述”，“电子学报”，卷44，第18期，第1066-1067页，2008年。

【34】Z.Zhou，S.Li和B.Wang，“用于多焦点图像的基于多尺度加权梯度的融合”，“信息融合”，2014年。

【35】R.Ng，M.Levoy,M.Brédif，G.Duval，M.Horowitz和P.Hanrahan，“用手持式全光照相机拍摄的光场摄影”，“计算机科学技术报告”，卷2，第11期，2005年。

【36】E.Reinhard，W.Heidrich，P.Debevec，S.Pattanaik，G.Ward和K.Myszkowski，“高动态范围成像：采集，显示和基于图像的照明”，摩根考夫曼，2010年。

【37】K.Ma，K.Zeng和Z.Wang，“针对多曝光图像融合的感知质量评估”，“图像处理”，IEEE会刊，卷24，第11期，第3345-3356页，2015年。

【38】T.Mertens，J.Kautz和F.Van Reeth，“曝光融合：对于高动态范围成像的简单且可以实践的替代”，“计算机图像论坛”，卷28，第1期，第161-171页，2009年。

【39】Z.G.Li，J.H.Zheng和S.Rahardja，“细节增强曝光融合”，“图像处理”，IEEE会刊，卷21，第11期，第4672-4676页，2012年。

【40】“NASA:Landsat 5号像”，http://landsat.usgs.gov,访问时间：2015-4-22。

Alex E.Hayes Alex E.Hayes在2009年从圣安德鲁斯大学获得他的英文文学硕士学位，并且在2013年从东安格利亚大学获得他的游戏开发理科硕士学位。他目前在东安格利亚大学致力于他的博士研究。他的研究集中在图像融合，特别是基于导数的方法，并且应用于RGB-NIR图像融合。

Graham D.Finlayson Graham D.Finlayson是东安格利亚大学计算机科学学院的教授。他于1999年加入UEA，那时他在30岁时被授予正式教授职位。他是并且仍然是该学院最年轻的获得教授任命的人。Graham首先在斯特拉斯克莱德大学的计算机科学学院受教育并随后在西蒙弗雷泽大学攻读他的硕士博士学位，在那里他被授予最佳博士论文院长奖章。在加入UEA之前，Graham是约克大学的讲师，然后是德比大学的色彩和成像(Color andImaging)的创始人和高级讲师。Finlayson教授关注计算我们是如何看见的，并且他的研究涵盖计算机科学(算法)，工程(嵌入式系统)和心理物理学(视觉识别)。

Claims

1.一种用于从多个，N个，相应的输入图像通道生成输出图像的方法，所述方法包括：

确定所述多个相应的输入图像通道的雅可比矩阵；

计算所述雅可比矩阵的外积的主特征向量；

设置与所述主特征向量相关联的符号，从而由所述主特征向量投影的输入图像通道像素导致正的标量值；以及，

在图像空间中生成所述输出图像作为所述输入图像通道在所述主特征向量方向上的每像素投影。

2.根据权利要求1所述的方法，其中计算步骤还包括以下步骤：

对于所述雅可比矩阵的为非零的每个元素，从所述雅可比矩阵生成稀疏N向量投影图像；以及，

对于所述雅可比矩阵的为零的元素，填入所述稀疏N向量投影图像。

3.根据权利要求2所述的方法，其中所述填入包括通过将每个零元素的向量定义为本地邻域的平均值来填入。

4.根据权利要求3所述的方法，其中所述平均值是边缘敏感的。

5.根据权利要求2、3或4所述的方法，其中所述填入包括对所述稀疏N向量投影图像进行双边滤波。

6.根据权利要求5所述的方法，其中用于所述双边滤波的双边滤波器包括交叉双边滤波器。

7.根据权利要求2至4中任一项或权利要求6所述的方法，其中填入步骤包括使所述N向量投影图像平滑化。

8.根据权利要求2至4中任一项或权利要求6所述的方法，其中填入步骤包括内插所述N向量投影图像。

9.根据权利要求2至4中任一项或权利要求6所述的方法，其中填入步骤包括对所述N向量投影图像执行边缘敏感扩散。

10.根据权利要求5所述的方法，其中滤波步骤包括独立对所述N向量投影图像的每个通道进行滤波。

11.根据权利要求2至4中任一项或权利要求6或10所述的方法，还包括在填入之后缩放每个向量，以具有单位长度。

12.根据权利要求2至4中任一项或权利要求6或10所述的方法，还包括在填入之后扩展向量，以将每个向量分量移动离开所述平均值一个固定倍数的角度。

13.根据权利要求1至4中任一项或权利要求6或10所述的方法，还包括以下步骤：

对缩小取样的输入图像通道执行所述确定和计算步骤，并对计算出的所述主特征向量进行放大取样，以供在所述生成步骤中使用。

14.根据权利要求1至4中任一项或权利要求6或10所述的方法，其中每个唯一输入图像向量直接映射到单个投影向量。

15.根据权利要求1至4中任一项或权利要求6或10所述的方法，其中，将唯一输入图像向量与主特征向量之间的映射实现为查找表。

16.根据权利要求1至4中任一项或权利要求6或权利要求10所述的方法，其中输入图像具有N个所述输入图像通道并且所述输出图像具有M个通道，所述主特征向量包括将所述输入图像的N×2雅可比行列式映射到目标M×2输出雅可比行列式的每像素M×N矩阵变换。

17.根据权利要求16所述的方法，还包括通过所述输入图像通道的各自的M×N矩阵变换对所述输入图像通道进行每像素变换的步骤。

18.根据权利要求16所述的方法，其中，所述M×N矩阵变换将所述N×2输入图像雅可比行列式映射到M×2强化雅可比配对行列式。

19.根据权利要求18所述的方法，其中计算步骤还包括以下步骤：

通过对于所述雅可比矩阵的为零的元素填入所述稀疏N×2图像来生成稀疏M×N变换图像。

20.根据权利要求16所述的方法，还包括以下步骤：

对缩小取样的输入图像通道执行所述确定和计算步骤，并且对计算出的M×N矩阵变换放大取样，以供在所述生成步骤中使用。

21.根据权利要求16所述的方法，其中，每个唯一输入图像向量直接映射到单个M×N变换向量。

22.根据权利要求16所述的方法，其中，将唯一输入图像向量与M×N矩阵变换之间的映射实施为查找表。

23.一种用于从多个，N个，相应的输入图像通道生成输出图像的系统，所述系统包括：

被设置用以接入所述N个输入图像通道的输入；

被配置用以计算所述雅可比矩阵的外积的主特征向量的计算机程序代码；

被配置用以设置与所述主特征向量相关联的符号，从而由所述主特征向量投影的输入图像通道像素导致正的标量值的计算机程序代码；以及，

被配置用以在图像空间中生成所述输出图像作为所述输入图像通道在所述主特征向量方向上的每像素投影的计算机程序代码。

24.根据权利要求23所述的系统，其中被配置用以计算的计算机程序代码还包括：

被配置用以对于所述雅可比矩阵的非零的每个元素从所述雅可比矩阵生成稀疏N向量投影图像的计算机程序代码；以及，

被配置用以对于所述雅可比矩阵的为零的元素填入所述稀疏N向量投影图像的计算机程序代码。

25.根据权利要求24所述的系统，其中所述填入包括通过将每个零元素的向量定义为本地邻域的平均值来填入。

26.根据权利要求25所述的系统，其中所述平均值是边缘敏感的。

27.根据权利要求24或25所述的系统，其中所述填入包括对所述稀疏N向量投影图像进行双边滤波。

28.根据权利要求27所述的系统，其中用于所述双边滤波的双边滤波器包括交叉双边滤波器。

29.根据权利要求24至26中任一项或权利要求28所述的系统，其中被配置用以填入的所述计算机程序代码包括被配置用以使所述N向量投影图像平滑化的计算机程序代码。

30.根据权利要求24至26中任一项或权利要求28所述的系统，其中被配置用以填入的所述计算机程序代码包括被配置用以内插所述N向量投影图像的计算机程序代码。

31.根据权利要求24至26中任一项或权利要求28所述的系统，其中被配置用以填入的所述计算机程序代码包括被配置用以对所述N向量投影图像执行边缘敏感扩散的计算机程序代码。

32.根据权利要求27所述的系统，其中滤波器被设置用以独立地对所述N向量投影图像的每个通道进行滤波。

33.根据权利要求24至26中任一项或权利要求28或32所述的系统，其中所述处理器被配置用以执行计算机程序代码，以在填入后将每个向量缩放，以具有单位长度。

34.根据权利要求24至26中任一项或权利要求28或32所述的系统，其中所述处理器被配置用以执行计算机程序代码，以在填入之后扩展向量，以将每个向量分量移动离开平均值一个固定倍数的角度。

35.根据权利要求23至26中任一项或权利要求28或32所述的系统，其中所述处理器被配置用以执行计算机程序代码，以获得缩小取样的输入图像通道，对缩小取样的输入图像通道执行所述确定和计算步骤，并对计算出的主特征向量进行放大取样，以用于生成步骤。

36.根据权利要求23至26中任一项或权利要求28或32所述的系统，其中每个唯一输入图像向量直接映射到单个投影向量。

37.根据权利要求23至26中任一项或权利要求28或32所述的系统，还包括唯一输入图像向量和主特征向量之间的查找表映射，所述系统被设置用以访问所述查找表，以确定所述主特征向量，用于生成所述输出图像。

38.根据权利要求23至26中任一项或权利要求28或32所述的系统，其中输入图像具有N个所述输入图像通道并且所述输出图像具有M个通道，所述主特征向量包括将所述输入图像的N×2雅可比行列式映射到目标M×2输出雅可比行列式的每像素M×N矩阵变换。

39.根据权利要求38所述的系统，其中所述处理器进一步被配置用以执行计算机程序代码，以通过所述输入图像通道的各自的M×N矩阵变换对所述输入图像通道进行每像素变换。

40.根据权利要求38所述的系统，其中所述M×N矩阵变换将所述N×2输入图像雅可比行列式映射为M×2加强雅可比配对行列式。

41.根据权利要求40所述的系统，其中所述处理器被配置用以执行计算机程序代码，以通过对于所述雅可比矩阵的为零的元素填入所述稀疏N×2图像来生成稀疏M×N变换图像。

42.根据权利要求38所述的系统，其中所述处理器还被配置用以执行计算机程序代码，以对缩小取样的输入图像通道执行所述确定和计算，并且对所计算出来的M×N矩阵变换进行放大取样，以用于生成所述输出图像。

43.根据权利要求38所述的系统，其中每个唯一输入图像向量直接映射到单个M×N变换向量。

44.根据权利要求38所述的系统，还包括唯一输入图像向量和M×N矩阵变换之间的查找表映射，所述系统被设置用以访问所述查找表，以确定用于生成所述输出图像的M×N矩阵变换。