CN112005545B - 用于重建由覆盖有滤色器马赛克的传感器获取的彩色图像的方法 - Google Patents

Abstract

本发明涉及一种用于重建由光敏传感器(2)获取的彩色图像的方法，该光敏传感器覆盖有不同颜色的滤波器的马赛克(3)，所述不同颜色的滤波器构成了基本图案(6)，从而在由所述传感器(2)获取彩色图像之后获得去马赛克矩阵与来自传感器(2)的马赛克图像(5)的矩阵表示的乘积，所述去马赛克矩阵与马赛克图像的矩阵表示的乘积执行马赛克图像(5)的每个像素的颜色的内插作为基本图案(43)的像素邻域的函数，所述基本图案对应于滤波器的马赛克(3)的基本图案(6)。

Description

用于重建由覆盖有滤色器马赛克的传感器获取的彩色图像的 方法

技术领域

本发明属于由单传感器相机获取的图像的处理领域。本发明更具体地涉及在由传感器获取彩色图像后的该彩色图像的重建，该传感器覆盖有由多个颜色的滤波器的马赛克组成的滤波器。

背景技术

通常，相机包括至少一个物镜，该物镜由一个或更多个光学部件(例如透镜)组成。相机的物镜将捕获的光引导到由光敏单元组成的传感器上。将一个或更多个滤色器应用于传感器以允许重建由传感器接收的光的光谱。

相机还可以在物镜和传感器之间的光路上包括以下部件中的一个或全部：滤除红外的滤波器(IRcut)、光学低通(OLP)空间滤波器、用于将光聚焦到传感器的每个单元上的微透镜。

相机可以是照相设备或能够捕获图像并具有光敏传感器的任何其他装置，该光敏传感器提供有称为马赛克的滤色器矩阵。

在图1a中示出了由第一光敏传感器2通过滤波器的第一马赛克3获取彩色图像1的一般原理。滤波器的第一马赛克3使第一传感器2的每个像素4具有不同的光谱灵敏度以允许在产生的图像上如实地表示颜色。第一传感器2的每个像素4表示第一传感器2的一个感光点。每个感光点是在一定波长范围内对发光强度敏感的光电单元，其通过产生与其光谱敏感度有关的小电流来进行转换。

图1a示出了由不同颜色的滤波器的第一马赛克3组成的滤波器矩阵的示例。该示例示出了大小为H×W的滤波器的第一矩阵3，其包括根据第一基本图案6布置的不同颜色的六个滤波器，该第一基本图案的示例在图1b中示出。重复尺寸为h×w的第一基本图案6，以在两个基本图案之间没有任何重叠的情况下覆盖滤波器的整个第一马赛克3。

所获取的彩色图像5是具有P个颜色分量、即具有P个颜色的图像。在图1b所示的示例中，P个颜色分量是六个滤波器F1、F2、F3、F4、F5、F6的颜色。六个滤波器F1、F2、F3、F4、F5、F6设置在大小为3×3的第一基本图案6中。载有待获取的彩色图像1的光在到达图1a中的以像素矩阵的形式所示的第一传感器2上之前穿过滤波器的第一矩阵3。滤波器的第一矩阵3设置为完全覆盖大小为H×W的第一传感器2。

在由覆盖有滤波器的第一马赛克3的第一传感器2获取图像之后，该图像的重建使用了称为去马赛克或去矩阵的方法。由于每个像素4覆盖有特定颜色的滤波器，因此每个像素采样一种颜色。因此，有必要实现一种用于以由每个像素4接收的光的颜色重建构图的方法。为此使用去马赛克方法。去马赛克方法特别包括不同像素4的色度的内插。去马赛克方法使用应用于由第一传感器2产生的原始图像5的去马赛克矩阵。“原始图像”5是指在获取彩色图像1之后直接离开第一传感器2的数据。

在训练过程中使用参考图像数据库来实施对去马赛克矩阵的构建。参考图像数据库可以包括具有P个分量的N个参考图像I_i，i∈[1，...，N]。从参考图像数据库开始，构建了N个模拟图像J_i的新数据库。一个模拟图像J_i对应于每个参考图像I_i。模拟图像J_i表示在由所述第一传感器2获取参考图像数据库的图像之后，由第一传感器2产生的原始图像5的建模。从参考图像I_i开始并通过从参考图像中消除第一传感器2未测量的颜色分量来获得模拟图像J_i。实际上，如果参考图像I_i具有P个分量，则在模拟图像J_i中仅保留定位在第一传感器2的每个像素上的滤波器的分量。然后，模拟图像J_i包括单个平面。来自第一传感器2的原始图像5的模拟图像J_i在下文中被称为马赛克图像5，并且源自参考数据库的图像I_i被称为解析图像。

图2a示出了将马赛克图像J_i转换为向量矩阵x的示例。图2b示出了将解析图像I_i转换为表示彩色图像的向量矩阵y的示例。如图2a所示，马赛克图像J_i由一组大小为h×w的基本图案组成。马赛克图像J_i的向量矩阵x包括大小为hw的HW/(hw)个向量。解析图像I_i包括P个分量，每个分量对应于P个颜色之一。解析图像I_i的每个分量是大小等于滤波器的第一马赛克3的大小H×W的图像。可以根据图案来切割解析图像I_i的每个分量，该图案的大小等于滤波器的第一马赛克3的第一基本图案6的大小：h×w。因此可以定义向量矩阵y，其表示了由大小为Phw的HW/(hw)个向量构建的解析图像I_i。

因此，用于从解析图像I_i开始计算马赛克图像J_i的模型可以表示为：

x＝M_y (1000)

其中，M是大小为hw×Phw的矩阵。

图2c示出了针对从大小为2×2的拜耳矩阵的第二基本图案20开始制造的滤波器而创建的矩阵M的示例，该第二基本图案包括以下滤色器：第一红色滤波器21、第二绿色滤波器22、第三绿色滤波器23和第四蓝色滤波器24。因此针对该图案获得的矩阵M的大小为4×12。矩阵M由“0”和“1”组成。具有值“1”的矩阵M的每个分量表示拜耳矩阵的第二基本图案20的单元。为了得到去马赛克，从现有技术中已知，使用由最小二乘法定义的所谓的去马赛克矩阵D，将其分别应用于表示马赛克图像J_i和解析图像I_i的所有向量矩阵(x；y)。不能简单地通过对矩阵M求逆来获得去马赛克矩阵D。实际上，即使能够使用伪逆类型的方法来实施对矩阵M的求逆，该操作也会产生矩阵D而在去马赛克处理中给出不好的结果。

因此，去马赛克矩阵D能够如下计算：

D＝E^i＝1..N{yx^T(xx^T)^-1} (1001)

E^i＝1..N表示参考数据库的N个图像与模拟图像的数据库的N个图像相比的期望值。因此计算出的去马赛克矩阵D的大小为Phw×hw。

从计算出的去马赛克矩阵D开始，可以确定向量矩阵

该向量矩阵是根据来自第一传感器2的马赛克图像而重建的图像的估计。

然后，为了重建具有P个分量的彩色图像，将向量矩阵

转换成具有P个分量的图像就足够了，每个分量对应于P个颜色中的一个；这种转换是如图2b所示的操作的逆操作。因此，每个分量是与马赛克图像的大小H×W相对应的大小的图像。

这种用于重建彩色图像的方法的问题之一是待重建的图像比捕获的彩色图像1更大。然后，用于图像重建的模型从像素的单个颜色信息项开始对像素实施P个颜色的内插。这导致由此计算出的矩阵D的相当大程度的不稳定性，并且因此导致彩色图像的重建质量差。

现有技术提出了从马赛克矩阵的每个像素的邻域开始实施内插以确定其颜色。这样的内插使得可以增强去马赛克矩阵D的估计的稳定性。在专利申请FR2959092和FR2917559中提出了使用如图2d所示的所谓的滑动邻域来实施该内插。图2d示出了由第二传感器产生的马赛克矩阵的一部分。如图2d所示的示例所用的大小为h×w的基本图案是大小为2×2的拜耳马赛克的第四基本图案25。第四基本图案25包括不同颜色的四个像素：红色26、绿色27和蓝色28。为了简化表示，第四基本图案25的像素之一留为白色。每个像素26、27、28都具有其自己的以其为中心的大小为3×3的像素邻域。例如，第一红色像素26在第一像素邻域200的中心处；第二绿色像素27在第二邻域201的中心处；第三蓝色像素28在第三邻域202的中心处。第二像素27相对于第一像素26位于相同的列上，但在更低的行中。因此，第二邻域201是像素朝向第一邻域200的底部的转换。第三像素28相对于第一像素26位于相同的行上，但在其右侧的列中。因此，第三邻域202是像素朝向第一邻域200的右侧的转换。同一基本图案的所有像素因此具有不同的邻域。当从马赛克矩阵上的一个基本图案传递到另一个基本图案时，每个像素的邻域在像素从一个图案到另一个图案的转换中“跟随”该像素。

在图像重建的过程中，每个像素的颜色能够因此作为其邻域中的像素的颜色的函数来进行重建。因此，矩阵D是通过如下对每个像素的邻域进行积分来定义的：在向量矩阵x、y的构建中，每个像素增加其邻域，并且因此每个像素的不同邻域也存储在向量矩阵x、y中。即使在去马赛克矩阵的计算中考虑邻域使得可以更好地重建图像，它也具有必须操纵较大矩阵的缺点，并且因此需要大量的装置以用于计算和数据存储。

发明内容

本发明的目的特别是提出一种用于计算去马赛克矩阵的已知方法的改进。本发明的另一目的是使用这种改进以提出对与传感器相关联的滤波器的马赛克的优化。

为此目的，本发明提出了一种用于重建彩色图像的方法，该彩色图像由大小为H×W的光敏传感器获取，该光敏传感器覆盖有不同颜色的P个滤波器的大小为H×W的马赛克，所述滤波器构成了大小为h×w的基本图案，使得h＜H且w＜W。重复所述滤波器的马赛克的基本图案以在基本图案之间没有重叠的情况下覆盖滤波器的马赛克。所述方法由计算机执行。所述方法包括至少以下步骤：

·第一初始步骤为构建去马赛克矩阵D，其从使用N个被称为参考图像的具有P个颜色分量的图像I_i，i∈[1，...，N]的第一数据库的模拟开始，用于产生模拟在由第一数据库的图像的传感器获取之后从传感器产生的图像的N个图像J_i，i∈[1，...，N]的第二数据库，所述参考图像I_i和产生的图像J_i分别以HW/(hw)个向量y₁、x₁的矩阵的形式来表示，使得：

-y₁的分量是应用于参考图像I_i的HW/(hw)个基本图案之一的大小为n_h×n_w的约化邻域的P个分量，

-x₁的分量是应用于产生的图像J_i的HW/(hw)个基本图案之一的大小为n_h×n_w的约化邻域的分量，其中n_h>h并且n_w>w；

·第二步骤为重建彩色图像，其产生去马赛克矩阵D与在由所述传感器获取彩色图像之后源自所述传感器的马赛克图像的矩阵表示的乘积，所述去马赛克矩阵D与马赛克图像的矩阵表示的乘积使用马赛克图像的每个像素的颜色的内插作为大小为h×w的基本图案的大小为n_h×n_w个像素的邻域的函数，所述基本图案对应于滤波器的马赛克的基本图案。

有利地，邻域的大小可以由n_hn_w＝Phw定义。

第一去马赛克矩阵D₁可以表示为对于第一数据库的N个参考图像来计算的期望值E：

其中y是表示彩色图像的大小为Phw的HW/(hw)个向量的矩阵。

第一去马赛克矩阵D₁可以这样表示：

其中x₁＝M₁y₁，M₁是y₁在x₁上的投影的矩阵，y＝S₁y₁，S₁是向量y₁的邻域的约化和向量y₁到y的转换的矩阵，并且

是表示为大小为n_h×n_w的约化邻域的函数的第一数据库的解析图像的相关矩阵。

去马赛克矩阵可以表示为传感器的光谱灵敏度和不同颜色的P个滤波器的光谱函数的函数。

由于第一数据库可以替代地包括多光谱反射图像，因此能够通过以下表达式来定义第二去马赛克矩阵D₂：

其中，

第二去马赛克矩阵D₂可以根据以下步骤来构建：

·计算表示具有P个分量的图像的向量矩阵y₀，所述向量矩阵是表示多光谱反射图像的向量矩阵z₀的函数，所述多光谱反射图像从通过光谱功率密度L(λ)的光源照射的物体的反射获得，λ为光谱分量，使得：

其中F₀是马赛克的滤波器的光谱透射函数的大小为P_λ×P的矩阵，C₀是传感器的光谱灵敏度的大小为P_λ×P_λ的对角矩阵，L₀是光源的光谱功率密度的大小为P_λ×P_λ的对角矩阵；

·构建从多分量图像开始的向量矩阵y和从多光谱反射图像开始构建的向量矩阵z，所述向量矩阵y和z包括所述基本图案，使得y＝F^TCL_z其中

I_hw是尺寸为hw×hw的单位矩阵，

并且

·构建由多光谱反射图像的基本图案的大小为n_h×n_w的约化邻域组成的向量矩阵z₁，使得

y₁是由多光谱反射光谱图像的大小为h×w的基本图案的大小为n_h×n_w的约化邻域组成的矩阵，其中

是尺寸为n_hn_w×n_hn_w的单位矩阵，

并且

·构建第二去马赛克矩阵D₂，其中M₁是y₁在x₁上的投影矩阵，并且S₁是向量y₁的邻域的约化和转换为y的矩阵。

C₀也可以是相机光路的分量的光谱灵敏度和传感器的光谱灵敏度的乘积，其中所述分量可以包括以下的至少一个：相机的物镜、红外滤波器、低通空间滤波器、微透镜系统。

去马赛克矩阵D、D₁、D₂的每行能够表示为卷积滤波器。

本发明还涉及一种数据处理系统，其包括用于实施用于重建彩色图像的方法的步骤的装置。

本发明还涉及一种计算机程序产品，其包括指令，当由计算机执行该程序时，所述指令使计算机实施用于重建彩色图像的方法的步骤。

本发明的另一方面是，能够将其应用于一种用于优化滤波器的光谱函数并将滤波器布置在P个不同滤色器的马赛克上的方法，重复所述布置以填充大小为h×w的基本图案，重复所述基本图案以覆盖滤波器的马赛克，所述滤波器的马赛克应用于光敏传感器。所述方法包括通过最小化显色误差并且通过最小化在源自理想传感器的、从参考图像数据库的图像开始获取的图像和源自覆盖有P个不同滤波器的马赛克的传感器的、从参考图像数据库的同一图像开始获取的图像之间的均方误差来进行多标准优化，由覆盖有滤波器的马赛克的传感器获取的所述图像通过用于重建彩色图像的方法来重建。

该优化方法还包括最小化在源自理想传感器的、从图像数据库的图像开始获取的图像与源自覆盖有一系列P个滤波器的传感器的图像之间的显色误差，P个滤波器中的每个覆盖整个传感器，所述图像从数据库的相同的图像开始获取。

该优化方法还包括最小化在由完美传感器获取的麦克白测试卡与由提供有P个滤波器的马赛克的传感器获取的麦克白测试卡之间的显色误差。

本发明还涉及一种数据处理系统，其包括用于实施优化方法的步骤的装置。

本发明还涉及一种计算机程序产品，其包括指令，当由计算机执行该程序时，所述指令使计算机实施该优化方法的步骤。

有利地，本发明使得可以提高去马赛克算法的执行速度以及在实施本发明的情况下使用的计算器的存储器的整体大小。

附图说明

通过检查多个绝非限制性的实施例的详细描述以及附图，本发明的其他优点和特征将变得明显，在附图中：

-图1a示出了通过提供有滤波器的马赛克的传感器来获取图像的一般原理；

-图1b示出了滤波器的马赛克的基本图案的示例；

-图2a示出了图像从提供有滤波器的马赛克的传感器到向量矩阵的转换；

-图2b示出了具有多个分量的图像到向量矩阵的转换；

-图2c示出了在提供有拜耳滤波器马赛克的传感器的输出处的图像的计算矩阵的示例；

-图2d示出了使用根据现有技术的滑动邻域对像素的颜色进行内插的示例；

-图3示出了使用根据本发明的邻域对像素的颜色进行内插的示例；

-图4a示出了马赛克图像在传感器的输出处到向量矩阵的转换；

-图4b示出了多分量图像到向量矩阵的转换；

-图5示出了用于在连续光谱域上计算去马赛克矩阵的数据获取的示例；

-图6a示出了多光谱图像到多个不同向量矩阵的转换；

-图6b示出了向量矩阵的计算，该向量矩阵表示通过与滤波器组合的传感器在获取多光谱图像之后所产生的图像；

-图7示出了去马赛克矩阵到卷积滤波器的转换的原理；

-图8示出了用于优化滤波器的马赛克的滤波器的布置和光谱函数的数据获取的示例；

-图9示出了用于优化滤波器的马赛克的滤波器的布置和光谱函数的不同图像的计算；

-图10示出了根据本发明的去马赛克方法和设备；

-图11示出了用于构建根据本发明的去马赛克矩阵的方法。

具体实施方式

本发明特别涉及大小为H×W的多色或多分量彩色图像的获取。在图1a中，该图像包括P个颜色分量。在来自物体的光穿过由P种不同颜色的滤波器7组成的滤波器的第一马赛克3或矩阵之后，由第一光敏传感器2获取具有P个颜色分量的图像1。所述滤波器的马赛克3的大小为H×W。第一传感器2由大小为H×W的像素矩阵4来定义。每个滤波器7是第一传感器2的一个像素4的大小并且覆盖第一传感器2的一个像素4。滤色器7的马赛克3由大小为h×w且hw≥P的第一基本图案6组成的。第一基本图案6包括h×w种颜色，所述颜色可以相同也可以不同。例如，在图1b中第一基本图案6包括两个红色滤波器F1、两个橙色滤波器F2、两个绿色滤波器F3、一个粉色滤波器F4、一个蓝色滤波器F5和一个黄色滤波器F6。第一基本图案6的滤波器F1、F2、F3、F4、F5、F6根据特定布置来进行设置。在图1b所示的示例中，第一基本图案6以3×3的滤波器矩阵的形式如下所述设置：从左到右并且从上到下是F3、F1、F2、F4、F5、F3、F1、F6、F2。在滤色器的矩阵或马赛克3中，重复第一基本图案6以在不同基本图案6之间没有重叠的情况下覆盖整个马赛克3。第一基本图案6的大小以H是h的倍数、并且W是w的倍数的方式定义。在不脱离本发明范围的情况下可以使用其他基本图案。

一旦图像被第一传感器2获取，就对其进行处理以重建多分量图像。在离开第一传感器2的原始图像上实施的处理是使用去马赛克矩阵D₁的去马赛克处理。去马赛克矩阵D₁通过应用于向量矩阵x₁、y的最小二乘法来获得：

在表达式(1003)中，y是如图2b所示的向量矩阵。向量矩阵y从具有P个颜色分量的解析图像I_i中获得，该解析图像形成用于通过如现有技术中所述的训练来构建矩阵D₁的参考图像数据库的部分。解析图像I_i的大小为H×W并且包括大小为h×w的第三基本图案21。通过从第三基本图案21获取P个分量、即第三基本图案21的每个像素的P个分量来构建向量矩阵y。因此，y的每个向量的大小为Phw，并且y包括大小为Phw的HW/(hw)个向量以表示源自参考图像数据库的多分量图像I中包含的所有信息。

在整个说明书中，不加区别地使用H×W作为矩阵或图像的大小。在矩阵的情况下，H×W表示矩阵的行数H乘以列数W。在图像的情况下，H×W表示与大小为H×W的矩阵相对应的图像的尺寸。以相同的方式，第一基本图案6的大小为h行乘以w列。通过扩展，在图像中定义了图像的一部分，其大小对应于在与图像大小相同的矩阵中的第一基本图案6的大小。因此，可以说，基本图案6应用于图像。通过类比，对应于基本图案的图像部分、诸如图2b所示的第三基本图案21也将被称为基本图案。图像的基本图案的大小为与矩阵的基本图案相同的尺寸。通过扩展，将图像的基本图案的大小定义为h×w。

在表达式(1003)中，x₁如图4a所示构建。从参考图像数据库开始，模拟使得可以获得包含来自第一传感器2的数据的原始图像40的新数据库，该数据库是在由第一传感器2获取参考图像数据库的图像之后进行模拟的。来自第一传感器2的数据形成大小为H×W的原始图像40，该原始图像可以分解为像素41，每个像素41例如如图4a所示对应于第一传感器2的感光点的响应。原始图像40可以表示为大小为H×W的矩阵，包括与如图1a所示的滤波器7的马赛克3的基本图案相对应的第一基本图案6。在图4a所示的示例中，每个像素对应于P个颜色分量之一，并且因此对应于P个滤波器7之一。在图4a中，第一基本图案6的分量标记为F₁至F_p。因此，马赛克图像40的第一基本图案6的大小为h×w。在图4a中，示例的基本图案的大小为3×3。根据本发明，相对于第一基本图案6定义了第四像素邻域30。第四邻域30的大小为n_h×n_w。根据本发明的第四邻域30在下文中称为约化邻域30。根据本发明定义约化邻域30的大小，使得n_h＞h且n_w＞w。例如可以使用n_hn_w＝Phw的约化邻域。有利地，由此定义的约化邻域包括用于描述所捕获的彩色图像1的最优颜色信息的数量和质量。

图3示出了根据本发明的约化邻域30的使用，其用于实施马赛克图像40的每个像素的颜色的内插计算。例如，所使用的基本图案是根据现有技术的如图2d所示的第四基本图案25。因此，对于如图3所示的示例，将大小为4×4的约化邻域30定义在第四基本图案25周围。约化邻域30具有例如在宽度和长度上比第四基本图案25大一个像素的大小。第四基本图案25的每个像素的颜色是通过对约化邻域30的像素的颜色进行内插来计算的。当约化邻域30在马赛克图像40上从第四基本图案25传递到相邻的第四基本图案25时，其在马赛克图像40上平移的像素数量等于第四基本图案25一侧的大小，即在本示例中为：两个像素。邻域30被称为约化的，因为同一邻域用于同一基本图案的所有像素：该相同的邻域可以定义为基本图案的邻域。

通常，约化邻域30定义为使得n_h＞h并且n_w＞w。例如，可以采用n_hn_w＝Phw。

根据本发明的大小为n_h×n_w的相同的约化邻域30因此用于在根据本发明的所捕获的彩色图像1的重建期间对第一基本图案6的每个像素的颜色进行内插。因此，为了构建去马赛克矩阵，以这样的方式构建向量矩阵x₁，使得每个向量仅包括构成马赛克图像40的每个第一基本图案6的约化邻域30的分量。因此x₁的每个向量的大小为n_hn_w，并且矩阵x₁包括大小为n_hn_w的HW/(hw)个向量。因此，表达式(1003)的去马赛克矩阵D₁的大小为Phw×n_hn_w。有利地，这种矩阵的大小在小于根据现有技术的矩阵的大小的同时，在彩色图像的重建中保持良好的质量。例如，可以通过实验示出，以大小为n_h×n_w的滑动邻域重建的图像具有与大小为(n_h+h-1)×(n_w+w-1)的约化邻域相同的性能。从理论角度上讲，两个邻域覆盖了马赛克图像的相同域。例如，对于大小为2×2的拜耳基本图案和大小为3×3的滑动邻域，在性能方面获得了与大小为4×4的约化邻域相同的结果。

也可以定义一个向量矩阵y₁，如图4b所示。向量矩阵y₁表示具有P个分量的解析图像42，其形式为大小为Pn_hn_w的HW/(hw)个向量的矩阵，该矩阵构建为矩阵y，但采用第一基本图案6的约化邻域30代替用于解析图像42的P个分量中的每个的第一基本图案6。因此，通过定义以下算子，可以获得去马赛克矩阵D₁的简化版本。

定义了提供有其约化邻域30的具有P个分量的解析图像的向量矩阵y₁在提供有其约化邻域30的马赛克图像40的向量矩阵x₁上的投影的矩阵M₁，使得：

x₁＝M₁y₁ (1004)

定义了用于将向量矩阵y₁转换为向量矩阵y的向量矩阵y₁的约化邻域30的约化的矩阵S₁，使得：

y＝S₁y₁ (1005)

因此可以如下定义去马赛克矩阵D₁：

其中，R是相关矩阵，使得：

有利地，使用根据表达式(1006)的D₁的公式，可以仅计算一次参考图像或解析图像的数据库的彩色图像的相关矩阵R，所述解析图像提供有其大小为n_h×n_w的约化邻域30。因此，可以通过根据所考虑的滤波器的马赛克来修改算子M₁和S₁来以简单的方式重新计算去马赛克矩阵D₁。

因此，与去马赛克方法相关联的误差估计能够被表示为：

因此

其中，tr是跟踪算子。

因此，可以事先评估用于对参考图像的数据库进行编码的滤波器的特定马赛克的性能。

参考图像数据库使得可以针对约化邻域的给定大小n_h×n_w来计算R。

定义滤波器的马赛克的第一基本图案6使得可以计算M₁、S₁和D₁。

基于这些数据，能够直接从参考图像数据库计算与定位在第一传感器2上的特定马赛克的使用相关联的图像重建中的平均误差。

以相同的方式，可以以下述方式计算参考图像和解析图像之间的色差的平均值。

将包含滤波器的光谱量子效率的矩阵表示为F_QE。光谱量子效率能够用单色仪来测量，或者如果事先不知道滤波器的光谱透射函数，则能够通过适当的变换来估计。通过对第一传感器2获取的数据进行记录来执行光谱量子效率的测量，该数据对应于与单色仪针对基本图案的每个像素产生的准色光的图像。然后，以这样的方式设置图像的级别，使得在测量期间与曝光时间相关联的灵敏度的级别相对应，即图像的级别乘以取决于曝光时间的因子，以在给定辐射单位中谐调灵敏度。为了计算在给定波长范围内覆盖有P个不同滤波器的P个不同像素在给定波长间隔下的量子效率，使用仪器测量滤波器或整个光路在N_λ个波长间隔上的透明度。例如，对于380nm到780nm的范围及1nm的间隔，获得N_λ＝401。

滤波器空间到标准三色CIE 1931-XYZ颜色空间的转换能够如下定义：

其中，F_QE的大小为N_λ×P，XYZ是包含为CIE 1931-XYZ颜色空间定义的滤波器的光谱函数的大小为N_λ×3的矩阵，并且FtoXYZ的大小为3×P。FtoXYZ是转换矩阵，其允许将具有P个分量的彩色图像转换为其颜色坐标在CIE1931-XYZ颜色空间中表示的图像。CIE1931-XYZ颜色空间是由国际照明委员会(CIE)在1931年定义的。通过将变换矩阵FtoXYZ的大小扩展到向量y的大小，获得变换y_XYZ，其定义为：

其中，I_hw是大小为hw×hw的单位矩阵并且

表示克罗内克积。

对于给定的滤波器马赛克和定义的邻域大小，参考图像数据库上的均方色差E^{i ＝1..N}{ΔE²}的近似值由下式给出：

其中：

J’是CIE L*a*b*颜色空间的变换的近似值。

CIE 1931-XYZ颜色空间中的表示是视觉系统的线性表示。现在，该表示对于预测色差并不令人满意。因此，为此使用了CIE L*a*b*颜色空间，其使颜色空间均匀，从而使其更接近人类的感知。CIE L*a*b*颜色空间是由国际照明委员会(CIE)于1976年定义的。

因此，可以以较低的计算成本来测试和评估不同的马赛克，特别是因为对于第一参考数据库的每个图像，无论测试了什么马赛克，仅使用约化邻域30执行一次R的计算。因此可以在具有给定马赛克的参考数据库的图像的重建中计算平均误差。

有利地，可以将通过根据本发明的去马赛克方法重建的图像转换为从CIE1931-XYZ颜色空间派生的任何归一化空间。例如，能够选择sRGB空间(意味着标准的红绿蓝)，该空间是由标准CIE 61966-2-1(1999)定义的三色彩色空间。例如，可以如下执行对sRGB颜色空间的转换：

使用应用于D₁和x₁的表达式(1002)，获得以下结果：

其中：

A是从CIE 1931-XYZ颜色空间到sRGB颜色空间的转换矩阵。

图5示出了根据本发明的去马赛克矩阵到整个光谱域、即连续光谱域的一般化计算。图5示出了光谱功率密度为L(λ)的光源50，其定义为不同光谱分量λ的函数，即为两个给定波长之间的能量值的函数。光源50被由多光谱反射图像R(x'，y'，λ)52表示的物体51的表面反射。该反射表示反射光源50的物体51对该光源的光谱的调制。多光谱反射图像52由在正交坐标系(x'，y'，λ)中定义的大小为H×W的P_λ个图像组成。光50在反射物体或表面51上的反射给出辐射图像L(λ)R(x'，y'，λ)。

通过将多光谱反射图像52与光谱功率密度L(λ)相乘，可以表示从多光谱反射图像开始的多分量图像54，以确定辐射图像53。然后将表示辐射图像53的矩阵乘以滤波器F₁(λ)、F₂(λ)、…、F_P(λ)的透射函数，作为光和C(λ)的光谱分量的函数。该操作可以以如图6a和6b所示的向量形式来实施。C(λ)定义为相机光路的光谱灵敏度，而不含滤波器马赛克的光谱灵敏度。在其光路上，相机可以包括物镜、红外滤波器、低通空间滤波器、微透镜系统和第三传感器55。然后，C(λ)可以定义为光路的每个部件的光谱透射函数的乘积，而不含马赛克的滤波器的透射函数。如果仅考虑相机光路上的传感器，则C(λ)是第三传感器55的灵敏度。替代地，除了传感器之外，还可以考虑光路上的一个或更多个部件，包括：物镜、红外滤波器、低通空间滤波器、微透镜系统。

通过确定去马赛克矩阵而建模的操作是从由第三传感器55产生的马赛克图像56开始的多分量图像的重建，在获取辐射图像53之后，在该第三传感器上定位光谱函数F(λ)的滤波器的第二马赛克57。滤波器的第二马赛克57由针对光谱域中的P_λ个范围而定义的P个滤波器组成。通常，对于从400nm到700nm的光谱域，考虑10nm的间距。第三传感器55类似于如图1a所示的第一传感器2，并且滤波器的第二马赛克57类似于如图1a所示的滤波器的第一马赛克3。

图6a示出了多光谱反射图像52的几种向量变换，或展开所述多光谱反射图像52的几种方式。

可以构建第一向量矩阵z₀，其向量是大小为P_λ的多光谱反射图像52的光谱分量。第一向量矩阵z₀由HW个不同的向量组成。

也可以构建表示多光谱反射图像52的第二向量矩阵z。为了构建第二向量矩阵z，以大小为hw的组来将像素分组在一起，每个组对应于所有光谱分量P_λ的基本图案6在滤波器的第二马赛克57上的位置。因此，第二向量矩阵z由大小为hwP_λ的HW/(hw)向量组成。

可以使用滤波器第二马赛克57上的基本图案6中的每一个的周围的大小为n_h×n_w的邻域来从多光谱反射图像52开始构建第三向量矩阵z₁。邻域的像素中的每一个的光谱分量的累积向量的尺寸为n_hn_wP_λ。然后，第三矩阵z₁由HW/(hw)个不同的向量组成。

图6b示出了从第一向量矩阵z₀开始的多分量向量矩阵y₀的计算。首先，将表示多光谱反射图像52的第一向量矩阵z₀乘以尺寸为P_λ×P_λ的对角矩阵L₀，该对角矩阵的分量为光源的光谱密度L(λ)的P_λ值，矩阵L₀的其他值设置为零。然后，将结果乘以尺寸为P_λ×P_λ的对角矩阵C₀。对角矩阵C₀在其对角线上包括相机的光路的光谱灵敏度C(λ)的分量，而不包括滤波器马赛克57的光谱透射函数。然后，将结果乘以滤波器马赛克的P个滤波器F₁(λ)、F₂(λ)、…、F_P(λ)的P_λ个光谱透射函数的矩阵F₀的转置，所述矩阵F₀的大小为P_λ×P。因此，结果为大小为P×HW的多分量向量矩阵y₀，使得：

以与从如图2b所示的多分量解析图像开始构建向量矩阵y相同的方式，即在所述矩阵的行向量中合并如图4b所示的第一基本图案6，可以通过将第一基本图案6包括在行向量中来从多光谱反射图像52开始构建第二向量矩阵z。在这种情况下，z的尺寸为P_λhw×HW(hw)。然后可以转置表达式(1019)以将y表示为z的函数：

y＝F^TCLz (1020)

其具有以下表达式：

并且

其中，I_hw是大小为hw×hw的单位矩阵。

然后可以将应用于多光谱图像的新去马赛克矩阵D₂写为：

使得：

其中：

并且x₁＝M₁y₁＝M₁F₁C₁L₁z₁，并且y＝S₁y₁。

这样定义的新的去马赛克矩阵D₂除了考虑以M₁为特征的滤波器马赛克中的颜色的任何布置之外，还可以考虑滤波器的透射函数F₀和光源的光谱密度L₀。有利地，D₂的公式考虑了根据本发明的约化邻域的定义。

还可以先验地计算出特定的滤波器马赛克的性能，该特定的滤波器马赛克由其滤波器的空间布置、其滤波器的光谱透射函数和所使用的光源来定义。为此目的，用于计算与去马赛克相关联的估计误差的公式(1008)、(1009)和用于计算与去马赛克相关联的色差的公式(1012)、(1013)、(1014)、(1015)可以适用于多光谱域。

滤波器的光谱量子效率F_QE等于滤波器F和C的透射矩阵的乘积，C为传感器的灵敏度乘以不含滤波器马赛克的相机光路的部件的光谱透射函数。通过简化，可以仅考虑传感器的灵敏度以计算C。

有利地，在公式(1021)中，在左侧乘以表达式F^TCLS₁投影了根据P个颜色分量重建的图像。换句话说，F^TCLS₁将光谱域的P_λ个分量投影到马赛克滤波器的P种颜色上。

如果未执行根据P个颜色分量重构的图像的投影，则获得多光谱图像的重建滤波器。因此，可以估计从马赛克图像开始重建的图像的每个像素的色谱。

图7示出了去马赛克矩阵(例如D₁)到卷积滤波器的转换。

诸如矩阵D₁之类的去马赛克矩阵使得可以从表示马赛克图像的向量矩阵x₁开始重建表示重建的图像的向量矩阵

去马赛克矩阵的每行可以被视为卷积滤波器，该卷积滤波器使得可以用P个分量重建彩色图像的尺寸为h×w的第五基本图案70的像素之一的颜色之一。从包括马赛克图像中的所述对应像素的基本图案hw的尺寸为n_h×n_w的约化邻域73开始，将第五基本图案70编码为尺寸为Phw的第一列向量71。将约化邻域73编码为第二列向量74。

去马赛克矩阵D₁的每行能够被转换成等效的卷积滤波器72，该等效卷积滤波器应用于马赛克图像的每个像素，以重建具有P个分量的彩色图像的像素。有利地，将去马赛克矩阵表示为卷积滤波器集，其中每一个都适用于马赛克图像的像素，使得可以避免将马赛克图像转换为向量矩阵，该操作就计算时间、计算资源和存储器而言是昂贵的操作。因此，有利地获得了重建图像，该重建图像不是以必须要被分解的向量矩阵的形式。因此，通过免除将重建图像的向量矩阵转换为完整重建图像的操作，可以节省计算时间、计算资源和存储器，其中基本图案的每个像素对应于卷积滤波器。

到卷积滤波器的转换也可以应用于多光谱马赛克图像的去马赛克矩阵D₂。

本发明还使得可以实施一种对滤波器的透射函数和滤波器在马赛克的基本图案上的布置进行光谱优化的方法。

为此目的，使用了滤波器或去马赛克矩阵的训练，该训练使用根据本发明的具有约化邻域30的最小二乘法。如上面并且特别是在表达式(1021)中所看到的，去马赛克矩阵可以借助于滤波器的光谱函数F来表示。借助于去马赛克矩阵，可以计算由第三传感器55所捕获的图像重建为具有P个分量的彩色图像的质量标准MSE(表示均方误差)和ΔE。因此可以优化滤波器的光谱函数的参数，以最大化所产生的图像的质量标准。

如图8所示，从根据如图1所示原理而获取的图像开始并且使用根据本发明的方法，可以重建具有P个颜色分量的图像。使用公式(1016)和以下公式，还可以重建在标准化三色空间(例如CIE 1931-XYZ空间)中产生的图像。

在图8中，图像形成模型提出从多光谱反射图像52开始重建图像，其中：

·从多光谱反射图像52开始，由表达式y_XYZ＝FtoXYZ×F^TLCz产生的CIE 1931-XYZ三色空间中的三分量图像80，这三个分量中的每个对应于滤波器X(λ)、Y(λ)、Z(λ)中的一个；

·具有P个分量的多分量图像54，每个分量对应于滤波器F₁(λ)、F₂(λ)、…、F_P(λ)之一的输出；

·对应于通过第三传感器55直接经由以向量矩阵的形式的光谱函数F(λ)的滤波器的第三马赛克83而获取的图像的马赛克图像56，其向量是滤波器F₁(λ)、F₂(λ)、…、F_P(λ)的光谱函数。

能够通过第一理论理想成像系统测量辐射图像53，该第一理论理想成像系统包括用于将光通量分成三个分量的系统。分量中的每个通过滤波器X(λ)、Y(λ)、Z(λ)，然后由第四理想传感器81测量。C(λ)是包括传感器、但没有滤波器马赛克的相机光路的光谱灵敏度。这种理想的成像系统直接捕获CIE1931-XYZ颜色空间中每个像素的坐标X、Y、Z，并且直接产生具有CIE1931-XYZ颜色空间中的三个分量的所谓的理想彩色图像80。

第二成像系统可以由P个滤色器组成，其透射函数由F_i＝1..P(λ)给出。光穿过这些P个滤波器中的每个，然后由第三传感器55测量。第三传感器55产生具有P个颜色分量的多分量图像54，每个颜色分量对应于P个滤波器之一F_i(λ)。包括第三传感器55但没有滤波器马赛克的相机光路的光谱灵敏度为C(λ)。替代地，能够认为C(λ)仅是传感器的光谱灵敏度。

第三成像系统是试图建模的系统。它由设置在第一基本图案6上且复制了第三传感器55的大小的P种不同颜色的滤波器的第二矩阵或马赛克83组成。第三成像系统还包括第三传感器55。

从第一向量矩阵z₀开始，可以对应于分量XYZ的理想图像来构建向量矩阵y_XYZ，使得：

y_XYZ＝XYZ^TL₀z₀ (1027)

其中，例如：

还有：

矩阵y_XYZ的大小为3×HW，并且能够变换为尺寸为H×W×3的图像，该图像包括针对重建图像的每个像素的三个分量XYZ。

从尺寸为n_hn_wP_λ×HW(hw)的第三矩阵z₁开始，能够根据表达式(1021)写出去马赛克矩阵D₂。

这种写出D₂的方式使得可以针对参考图像数据库的所有图像计算一次整个相关矩阵R'。这使得可以计算用于滤波器的马赛克的去马赛克矩阵D₁，其后验地被定义并编码在滤波器的光谱函数的矩阵F₁中。因此，根据表达式(1031)的D₂的模型有利地允许将去马赛克算子或者矩阵D₂直接表示为要解决的问题的数据的函数，即滤波器的马赛克的滤波器的光谱函数的优化。因此可以获得F₁，以便优化所获取的图像的重建质量。

所使用的优化标准是图像重建的质量标准：空间MSE和比色ΔE。

从多光谱反射率图像52开始由第四理想传感器81产生的理想图像80和经由滤波器的第三马赛克83获取的马赛克图像56之间计算优化标准，该马赛克图像去马赛克，即去矩阵，并转换成允许计算优化标准的颜色空间。

为了计算优化标准，可以在sRGB空间或任何其他相关空间(例如

RGB)中采用位置。为了在sRGB空间中采用位置，执行上述操作，即使用公式(1010)和(1011)转换到标准三色CIE 1931-XYZ颜色空间，然后借助于公式(1016)、(1017)、(1018)转换到sRGB空间。

也可以使用另一个颜色空间。例如，能够通过修改矩阵A来获得能够基于XYZ空间表示的颜色空间。另一个空间需要替换FtoXYZ。例如，如果目标空间称为ABC，则有必要通过在公式(1010)中用ABC替换XYZ来估计FtoABC。

也可以计算MSE类型的标准或PSNR类型的标准。PSNR(峰值噪声比)是图像颜色失真的度量。对于在sRGB空间中表示的两个多分量图像，I'(x'，y'，c)和K'(x'，y'，c)在0和1之间归一化，其中c是三种颜色分量之一，标准MSE计算为：

标准PNSR计算如下：

对于XYZ参考系统中表示的两个图像I'和K'，ΔE的计算通过在以下方式中通过分段线性函数的近似非线性计算来执行：

其中：

其中，diag是将向量放置在矩阵对角线上的函数。

图9示出了在反射图像R(x'，y'，λ)上执行的不同操作。

如图9所示，产生了三个不同的图像：

·CIE 1931-XYZ颜色空间中的第一三分量图像103，例如理想彩色图像80；

·源自在其上定位有三个滤色器的第三传感器55的第二三分量图像104，例如多分量图像54；

·源自在其上定位有滤波器的第三马赛克83的第三传感器55的第三三分量图像105，其对应于马赛克图像56。

每个图像来自第三传感器和第四传感器55、81的输出处的三个不同的处理路径100、101、102之一。

第一路径100使用第二处理路径101的第一处理，该第一处理包括将多光谱反射图像R(x'，y'，λ)转换为如图6a所示的大小为P_λ的HW向量的矩阵z₀。也可以从辐射图像L(λ)R(x'，y'，λ)开始。

然后，第一处理路径100的第一处理是如公式(1027)所述的，将矩阵z₀投影到XYZ空间中。获得尺寸为3×HW的向量矩阵z_XYZ。然后，通过如公式(1017)和(1018)中所述向矩阵z_XYZ应用矩阵A来将其投影到sRGB空间中。获得了大小为3×HW的新矩阵z_sRGB。然后，可以将矩阵z_sRGB“展开”以在sRGB颜色空间中重建大小为H×W的第一三分量图像103。

第二路径101在向量z₀上执行如图6b所示的操作，以根据公式(1019)来获得向量矩阵y₀。然后，如图2b所示，向量矩阵y₀转换为尺寸为Phw的HW/(hw)向量的矩阵。然后，如关系式(1011)所解释的，通过函数FtoXYZ将向量矩阵y₀投影到XYZ空间中。由此获得大小为HW的三个向量y_0XYZ的矩阵。然后，通过如公式(1017)和(1018)中所述向矩阵y_0XYZ应用矩阵A来将其投影到sRGB空间中。获得了大小为3×HW的新矩阵y_0sRGB。然后，可以将矩阵y_0sRGB“展开”以在sRGB颜色空间中重建大小为H×W的第二三分量图像104。

从由覆盖有滤波器的第三马赛克83的第三传感器55获取的多光谱反射图像R(x'，y'，λ)开始的第三路径102给出如图6a所示的大小为P_λn_hn_w×HW(hw)的矩阵z₁。从矩阵z₁开始，能够获得大小为n_hn_w×HW/(hw)的矩阵x₁，使得根据关系式(1023)，

然后，通过应用呈现为表达式(1021)中描述的去马赛克矩阵D₂的形式的去马赛克矩阵D₀，获得了大小为P_λn_hn_w×HW/(hw)的

使得

然后，将转换FtoXYZ应用于

以根据公式(1011)在XYZ空间中获得合成图像：

大小为3×HW。最后，通过应用由表达式(1018)定义的矩阵A，获得了

使得

大小为3×HW。然后，将获得的矩阵

“展开”，以在sRGB颜色空间中重建第三三分量图像105。

从图9所示的不同向量矩阵开始，能够计算出几种不同的ΔE：ΔE₁、ΔE₂、ΔE₃和MSE，尝试将其最小化以优化光谱函数及其在滤波器的第三马赛克83上的分布。根据公式(1012)、(1013)、(1014)和(1015)来实施不同的ΔE的计算。

第一ΔE₁在直接从多光谱反射图像R(x'，y'，λ)开始产生的矩阵z_XYZ中包含的图像与直接经由滤波器F₁、F₂、F₃获取的图像之间计算，然后通过转换到XYZ颜色空间：y_0XYZ。

第二ΔE₂在矩阵z_XYZ中包含的图像与在通过滤波器的第三马赛克83获取之后XYZ颜色空间中表示的图像之间计算：

第三ΔE₃是不使用图像重建来测试滤波器的显色能力的纯光谱标准。为了计算第三ΔE₃，使用了麦克白测试卡或包括24种颜色的色卡的光谱。替代地，也可以使用任何其他光谱参考库。从麦克白测试卡的24个正方形的多光谱反射数据开始，一方面直接应用到XYZ颜色空间的转换以获得第四图像，并且另一方面应用滤波器F₁、F₂、F₃和相机光路的灵敏度，以及将第三传感器55的输出处的图像转换到XYZ颜色空间以获得第五图像。第四图像和第五图像用于计算第三ΔE₃。

依次地，在从多光谱反射图像开始直接产生的第一图像103与在其通过马赛克矩阵83和第三传感器55之后从多光谱反射图像开始产生的第三图像之间计算MSE和PNSR。

图10示出了根据本发明的去马赛克装置和方法。

第一步骤100是由图像获取装置102获取彩色图像101的步骤。图像获取装置102包括如图1a、5和8所示的传感器2、55。图像获取装置102还包括如图1a、5和8所示的以HW滤波器矩阵形式呈现的马赛克滤波器3、57、83或滤波器的马赛克。滤波器的马赛克3、57、83应用于传感器。该装置还包括光学装置，该光学装置导致由相机捕获的光朝向配备有马赛克滤波器3、57、83的传感器2、55汇聚。因此，在到达传感器2、55的单元之前，光通过滤波器的马赛克3、57、83的滤色器7之一。源自传感器2、55的原始信号103能够以如图4a所示的大小为H×W的马赛克图像40的形式表示。然后，马赛克图像40被传输到第一计算器或计算机104，其执行根据本发明的去马赛克操作105。去马赛克操作包括将以如图4a所示的矩阵形式x₁表示的马赛克图像40乘以去马赛克矩阵D₀、D₁、D₂。去马赛克操作105的结果是向量矩阵，该向量矩阵根据与图2b所示的过程相逆的过程转换为产生有多个颜色分量的图像，该过程包括“展开”向量矩阵以将其以具有多个分量的图像的形式表示。然后，能够将重建的图像106传输到用于对其进行利用的合适的装置，例如显示器107。

图11示出了用于构建去马赛克矩阵的方法及其装置。

用于构建去马赛克矩阵的装置包括第一数据库110。第一数据库110包括所谓的参考图像。参考图像可以是多分量图像或多光谱图像。参考图像也可以是可见光谱之外的图像。从第一数据库110开始，构建去马赛克矩阵的第一步骤是对来自覆盖有滤波器的马赛克的传感器的马赛克图像进行建模的步骤。建模由实施传感器2、55的模型的仿真应用111执行。仿真应用111可以由第二计算器或计算机112的一个或更多个处理器执行。替代地，仿真应用111可以由第一计算器104执行。

从每个参考图像开始，模拟应用111产生马赛克图像，该马赛克图像将填充所谓的马赛克图像的第二数据库114。

一旦已经构建了第二数据库114，就能够实现用于构建去马赛克矩阵的方法的第二步骤115。能够通过在第二计算器112的一个或更多个处理器上执行的计算机程序来实施用于构建去马赛克矩阵的方法。替代地，能够在第三计算器或计算机(未示出)或第一计算器104上实施用于构建去马赛克矩阵的方法。用于构建去马赛克矩阵的方法使用两个数据库110、114的图像。使用第一数据库110是为了通过将向参考图像应用于被测的去马赛克矩阵，即使用根据本发明的去马赛克方法来产生马赛克图像。然后在第二数据库114中将由此产生的马赛克图像与对应于参考图像的马赛克图像进行比较。该比较包括计算在通过仿真而产生的马赛克矩阵与通过应用被测的去马赛克矩阵而构建的马赛克矩阵之间的误差。用于构建去马赛克矩阵的方法是一种迭代方法：如果马赛克矩阵的构建误差在阈值以下，则该方法停止。否则，确定并测试新的去马赛克矩阵。

本发明的不同实施例包括各种步骤。例如，这些步骤可以通过可借助于微处理器执行的机器指令来实施。

替代地，这些步骤可以由包括用于执行所述步骤的硬连线逻辑的特定集成电路来实施，或者由可编程部件和个性化部件的任意组合来实施。

本发明还可以以计算机程序产品的形式提供，其可以包括非暂时性计算机存储介质，该介质包含在数据处理机上可执行的指令，这些指令可用于对计算机(或任何其他电子设备)进行编程以执行该方法。

Claims (15)

1.一种重建彩色图像的方法，所述彩色图像由大小为H × W的光敏传感器获取，所述光敏传感器覆盖有不同颜色的P个滤波器（7）的、大小为H × W的马赛克（3），所述滤波器构成了大小为h × w的基本图案使得h＜H且w＜W，重复所述滤波器的马赛克（3）的基本图案以在所述基本图案之间没有重叠的情况下覆盖所述滤波器的马赛克（3），所述方法由计算机执行并且其特征在于所述方法包括至少以下步骤：

第一初始步骤为构建去马赛克矩阵D，其从使用N个被称为参考图像的具有P个颜色分量的图像

的第一数据库的模拟开始，用于产生模拟在由第一数据库的图像的光敏传感器获取之后源自所述光敏传感器产生的图像的N个图像

的第二数据库，所述参考图像I _i 和产生的图像J _i 分别以HW/（hw）个向量y ₁、x ₁的矩阵的形式来表示，使得：

y ₁的分量是应用于参考图像I _i 的HW/（hw）个基本图案之一的大小为n _h × n _w 的约化邻域的P个分量，

x ₁的分量是应用于所产生的图像J _i 的HW/（hw）个基本图案之一的大小为n _h × n _w 的约化邻域的分量，

其中，n _h > h并且n _w > w，

邻域被称为约化的，因为同一邻域用于同一基本图案的所有像素，该同一邻域定义为基本图案的邻域；

第二步骤为重建彩色图像，其产生去马赛克矩阵D与在由光敏传感器获取彩色图像之后源自所述光敏传感器的马赛克图像（5）的矩阵表示的乘积，所述去马赛克矩阵D与所述马赛克图像（5）的矩阵表示的乘积使用马赛克图像（5）的每个像素的颜色的内插作为大小为h × w的基本图案的大小为n _h × n _w 个像素的邻域的函数，所述基本图案对应于所述滤波器的马赛克（3）的基本图案。

2.根据权利要求1所述的方法，其特征在于，n _h n _w = Phw。

3.根据权利要求1或2所述的方法，其特征在于，第一去马赛克矩阵D ₁表示为在第一数据库的N个参考图像上计算出的期望值E：

，其中，y是表示彩色图像的大小为Phw的HW/（hw）个向量的矩阵。

4.根据权利要求3所述的方法，其特征在于，所述第一去马赛克矩阵D ₁表示为：

，其中，x ₁ = M ₁ y ₁，M ₁是y ₁在x ₁上的投影矩阵，y = S ₁ y ₁，S ₁是向量y ₁的邻域的约化和向量y ₁到y的转换矩阵，并且

是表示为大小为n _h × n _w 的约化邻域的函数的第一数据库的解析图像的相关矩阵。

5.根据权利要求4所述的方法，其特征在于，所述去马赛克矩阵表示为光敏传感器的光谱灵敏度和不同颜色的P个滤波器（7）的光谱函数的函数。

6.根据权利要求5所述的方法，其特征在于，在所述第一数据库包括多光谱反射图像时，第二去马赛克矩阵D ₂通过以下表达式来定义：

，其中，

，

所述第二去马赛克矩阵D ₂根据以下步骤构建：

计算表示具有P个分量的图像的向量矩阵y ₀，所述向量矩阵是表示多光谱反射图像的向量矩阵z ₀的函数，所述多光谱反射图像从通过光谱功率密度L(λ)的光源照射的物体的反射中获得，λ为光谱分量，使得：

，其中，F ₀是所述马赛克（3）的滤波器的光谱透射函数的大小为P _λ × P的矩阵，C ₀是所述光敏传感器的光谱灵敏度的大小为P _λ × P _λ 的对角矩阵，L ₀是所述光源的光谱功率密度的大小为P _λ × P _λ 的对角矩阵；

构建从多分量图像开始的向量矩阵y和从多光谱反射图像开始构建的向量矩阵z，所述向量矩阵y和向量矩阵z包括所述基本图案，使得

，其中，

，I _hw 是尺寸为hw × hw的单位矩阵，

，并且

；

构建由多光谱反射图像的基本图案的大小为n _h × n _w 的约化邻域组成的向量矩阵z ₁，使得

，y ₁是由多光谱反射光谱图像的大小为h × w的基本图案的大小为n _h ×n _w 的约化邻域组成的矩阵，其中

，

是尺寸为n _h n _w × n _h n _w 的单位矩阵，

，并且

；

构建所述第二去马赛克矩阵D ₂，其中M ₁是y ₁在x ₁上的投影矩阵，并且S ₁是向量y ₁的邻域的约化和转换为y的矩阵。

7.根据权利要求6所述的方法，其特征在于，C ₀是相机的光路的部件的光谱灵敏度与光敏传感器的光谱灵敏度的乘积，所述部件包括以下中的至少一个：相机的物镜、红外滤波器、低通空间滤波器、微透镜系统。

8.根据权利要求7所述的方法，其特征在于，所述去马赛克矩阵D、D ₁、D ₂中的每行表示为卷积滤波器。

9.一种数据处理系统，其包括用于实施根据前述权利要求中任一项所述的方法的步骤的装置。

10.一种计算机程序产品，其包括指令，当由计算机执行程序时，所述指令使得计算机实施根据权利要求1至8中任一项所述的方法的步骤。

11.一种方法，其用于优化滤波器的光谱函数并将滤波器（7）布置在不同颜色的P个滤波器（7）的马赛克（3）上，重复所述布置以填充大小为h × w的基本图案，重复所述基本图案以覆盖滤波器的马赛克（3），所述滤波器的马赛克（3）应用于光敏传感器，所述方法的特征在于，其包括通过最小化显色误差并且通过最小化在源自理想传感器的、从参考图像数据库的图像开始获取的图像与源自覆盖有P个不同滤波器（7）的马赛克（3）的光敏传感器的、从参考图像数据库的同一图像开始获取的图像之间的均方误差来进行多标准优化，由覆盖有所述滤波器（7）的马赛克（3）的光敏传感器获取的所述图像通过根据权利要求1至7中任一项所述的方法来重建。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括最小化在源自理想传感器的、从图像数据库的图像开始获取的图像与源自覆盖有一系列P个滤波器的光敏传感器的图像之间的显色误差，所述P个滤波器中的每个覆盖整个光敏传感器，所述图像从数据库的相同图像开始获取。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括最小化在由完美传感器获取的麦克白测试卡与由提供有P个滤波器的马赛克的光敏传感器获取的麦克白测试卡之间的显色误差。

14.一种数据处理系统，其包括用于实施根据权利要求11至13所述的方法的步骤的装置。

15.一种计算机程序产品，其包括指令，当由计算机执行时，所述指令使得计算机实施根据权利要求11至13中任一项所述的方法的步骤。

Images