CN101411205A - 用于产生彩色视频信号的方法和装置 - Google Patents

Abstract

用于对彩色图像的马赛克图案进行去马赛克的方法和装置。为了提高图片质量，尤其在非均匀马赛克图案的情况下，选择马赛克图案的核，并将核的像素值同服从非线性二维内插算法的系数相乘。此外，可以将选定核的像素与服从非线性二维内插算法的导数的锐化系数相乘。

Description

用于产生彩色视频信号的方法和装置

技术领域

本发明涉及通过具有马赛克(mosaic)彩色滤波器阵列的光敏图像传感器产生彩色视频信号的方法和装置，包括：通过将矩形核中特定颜色的彩色像素的彩色像素值同一组系数相乘，并对所述乘积结果求和以获得新像素的方式，根据所述彩色像素值内插得到所述特定颜色的新像素值。

背景技术

在用于摄影机或摄像机的普通图像传感器中，有红、绿和蓝三种颜色的像素存在于“马赛克”图案(又名Bayer(拜尔)图案)中。最常见图案的GRGB图案，该图案包括由一个红色像素、一个蓝色像素和两个绿色像素构成的四元组(quadruplet)。因此，只有四分之一的像素提供红色信息，四分之一提供蓝色信息，剩余的一半像素提供绿色信息。为了得到针对每种颜色的完整(full)(数字)信号，必须通过所谓的“去马赛克算法”内插得到缺失的像素。

存在许多不同的去马塞尔方法，大部分方法采用用于内插缺失分量的水平和垂直低通滤波器。另一种方法是“最近邻点复制(nearestneighbor replication)”，在该方法中，各内插输出像素被赋予输入图像中最近像素的值。最近邻点可以是上下左右像素中的任何一个。另一种方法是“双线性(bilinear)内插”法，在该方法中，将两个相邻的红色或蓝色像素值的平均值赋值给位于二者之间、最初为绿色位置的内插像素，在该方法中，将四个相邻的对角红/蓝像素值的平均值赋值给位于它们之间、最初为绿/红位置的内插像素，并且，在该方法中，将上下左右的绿色像素值的平均值赋值给位于它们之间、最初为红色或蓝色位置的内插像素。在美国专利申请公开US 2005/0031222中，采用了一种被称为“块移不变(block shift invariant)”的并未予以阐释的算法。

然而，所有已知内插算法存在的问题在于，仅当Bayer图案均匀时(也就是当像素相位(pixel-phase)恒定时)，这些算法才能够以令人满意地方式工作。然而，如果最主要地通过像素装仓(pixel-binning)的方式对Bayer数据进行抽取或扩展操作，那么作为结果的Bayer图案将不再均匀，因而现有技术的内插算法将无法令人满意地工作。像素装仓是在保持图像的视场(field of view FoV)的同时减少像素数目的过程。像素装仓就图像获取的速度而言提高了CDD或CMOS传感器的灵敏度。该过程包括：取一种颜色的像素组，并将这样的像素组合并为一个“超级”像素。像素装仓可以在模拟域(domain)进行，由此，合并像素组的电荷，使“超级”像素能够保持更多的光。这样做的效果是，减少了所需的曝光时间。通过对像素值求和或求平均，还能够在数字域进行像素装仓。像素装仓可以用在，比如，在视频模式(720×576像素)下使用兆像素传感器(＞1.3兆-像素)的情况下。像素装仓使图像分辨率减小。然而，像素装仓的缺点在于：使Bayer图案的均匀性受到损失，从而导致一般的去马赛克算法只能给出较差的结果。

发明内容

本发明的目的在于提供一种改进的彩色视频信号产生方法和装置。本发明由独立权利要求予以限定。独立权利要求限定了有优势的实施例。根据本发明的方法的特征在于：系数是利用非线性二维内插函数获得的。在一实施例中，这组系数Cik基本等于方程 $C_{\mathrm{ik}}=\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right),$ 其中，m和n是选定矩形核中含有所述特定颜色的彩色像素的行和列的数目；xi，yk是所述彩色像素的坐标；x，y是所要内插的新像素的坐标。该公式表示一维拉普拉斯内插多项式的二元扩展，参见J.Szabados和P.Vértesi(Hungarian Acad.of Sci)的INTERPOLATION OF FUNCTIONS ISBN：9971509156-World scientific中第6页的公式(1.3)。还可参见MathWorld A Wolfram WebResource，http://mathworld.wolfram.com/LagrangeInterpolatingPolynomial.html中Eric W.Weisstein等人的“Lagrange Interpolating Polynomial.”。

通常，装仓方案的特征在于：“基N装仓(binning by N)”，其中N是大于1的任意正整数。在“基N装仓”方案中，像素缩减至1/(N2)，并且像素距离(像素相位)按照1、2N-1、1、2N-1、1......变化。由于“基2装仓”方案使像素缩减至1/4，因此在本发明的实施例中优选“基2装仓”方案。此外，在采用这种装仓方案的情况下，由于所有系数全都的分母均为2的整数幂，因此同系数的数字相乘更加简单。

用于计算新像素的彩色像素的矩形核可以具有任意合适的尺寸。优选地，在“基2装仓”方案中，每个核的尺寸为：含有5×5彩色像素的9×9区。

为了内插另一个新像素，可以将核移位，以保持所要内插的像素适当地位于核的中心。然而，当Bayer图案不均匀时存在的风险是，某些核所含的像素少于其它核所含的像素。因此在实施例中，优选对核进行选择，使每个核都具有相同(最大)数量的像素。

通常希望能够提高再现图像的锐度。因此，根据本发明的方法的特征还可以在于：将所述彩色像素与一组锐化系数S_ik相乘，所述锐化系数S_ik服从所述非线性二维内插函数的导数；对所述乘积结果求和；以及使用所述求和结果修改新像素的值。优选地，所述一组锐化系数S_ik基本服从ΔC_ik，其中Δ表示二维拉普拉斯算子。

本发明还涉及用于产生彩色视频信号的装置，该装置包括：含有马赛克彩色滤波器阵列的光敏图像传感器，其中Bayer图案的彩色滤波器位于传感器之上；其特征在于：被配置为用于执行二维锐化算法的视频信号处理器；执行二维锐化算法的实现方式为：选择从图像传感器读取的像素核；将核中特定颜色的像素同锐化系数相乘；以及将这样的乘积像素相加，以为彩色视频信号的新像素构成锐化信息。

通过参考以下说明的实施例，本发明的上述和其它方案将变得明显和清楚。

附图说明

图1示出了由4-色图像传感器产生的彩色像素的一般RGBG Bayer图案的一部分；

图2示出了对“基2装仓(binning by 2)”过程的说明；

图3是出了经过图2所示的“基2装仓”处理之后图1的Bayer图案；

图4示出了对图3的Bayer图案的像素核采用依照本发明的去马赛克算法得到的结果；

图5示出了用于实现本发明的第一装置；以及

图6示出了用于实现本发明的第二装置。

具体实施方式

图1示意性地表示了彩色滤波器阵列(CFA)的Bayer图案(的一部分)，所述彩色滤波器阵列(CFA)通常位于CCD或CMOS图像传感器之前，以滤除落入其中的光的红、绿和蓝色分量。图案包括多个四元组，每个四元组包含一个红色(R)、一个蓝色(B)以及两个绿色像素(Gr，Gb)。2种绿色像素Gr和Gb分别与红色或蓝色像素排成一行(列)。当然，图1的Bayer图案也表示了光通过彩色滤波器落在图像传感器上时由图像传感器产生的彩色像素。

用小写参考字符a......p标识Bayer图案的列，用参考数字1......16标识Bayer图案的行。这些参考字符和数字使得可以使用像素块的左上和右下像素表示该像素块，例如可以用[a1，p16]表示图1所示的整个像素块。

图2和图3示出了像素的“基2装仓”方案，此处假设在模拟域实现所述方案。3×3像素块的四个角像素(corner pixel)具有相同的颜色，累积这四个像素的电荷，并将其存储在一相似阵列的对应块的中心。图2a对角像素为Gr的方块、图2b对角像素为R的方块，图2c对角像素为B的方块，图2b对角像素为Gb的方块示出了这一方案。图3示出了该装仓处理的结果。值得注意的是，例如，由于在块[a1，c3]中已经使用了像素c1和c3并且在块[e1，g3]中将使用像素e1和e3，因此，图1阵列的块[c1，e3]无法给出图3阵列d2位置上的超级像素。由于装仓处理将原始阵列中的像素“腾空”，由此像素只能在一个块中使用。这就是图3阵列具有大量不含彩色像素的区域的原因。因此，阵列是非均匀的，像素相位为1-3-1-3-1。像素相位表明，从一个像素到下一个像素依次需要1步、3步、1步，等等。

一种可选的像素装仓方案是“基3装仓(binning by 3)”，在该方案中，将5×5像素块中、与中心区颜色相同的全部8个像素的电荷传送至所述中心区域。该装仓方案的优点在于，由于中心区保持自身电荷并从8个相同颜色的像素接收电荷，因而原始传感器阵列能够用于存储装仓后的图案。“基3装仓”的缺点在于，不含像素的区域的数量大于采用“基2装仓”方案的情形。在采用“基2装仓”的情况下Bayer图案的有75％的区域变空，反之在采用“基3装仓”的情况下该百分比提高至大约89％。

为了从那里获得(derive)需要用于再生图像的信号，必须对图3Bayer图案的像素进行扫描。由于对Bayer图案的单色(one-color)像素进行顺序扫描，并且视频信号必须并行地(同时)包含全部颜色信息，因此必须通过“去马赛克”算法填充缺少的颜色。

在图3的Bayer图案中，圆圈表示必须利用去马赛克算法产生的(部分)像素。这些新像素不仅并行地包含四种颜色，还具有以下性质：这些新像素在整个Bayer图案上均匀分布，像素相位为2-2-2-2。还应注意到的是，这些“新”像素不是图3Bayer图案的一部分，但是，为了表明这些“新”像素在所产生的视频信号中、相对于物理Bayer阵列的单色像素Gr、R、Gb、B的位置，此处示出这些“新”像素。

通常，去马赛克算法对所要计算的像素周围的像素块(Bayer核)执行计算。这样的核是方形的像素组，方形像素组的大小通常是[3×3]、[5×5]、[6×6]。核尺寸越大，去马赛克的复杂度越高，即，计算一个像素所需要的加法和乘法的次数越多。

图4示出了为计算位于h6的新像素所选定的5×5像素(9×9区(field))的核[c2，k10]。由于使新像素近似位于核的中心是十分重要的，因此核的位置随所要计算的像素发生改变。以下序列表示所要计算的图3所示的新像素的位置，以及用于所述计算的核的位置：f6，[b2，j10]；h6，[c2，k10]；j6，[f2，n10]；16，[g2，o10]----f8，[b3，j11]；h8，[c3，k11]；j8，[f3，n11]；18，[g3，o11]----f10，[b6，j14]；h10，[c6，k14]；j 10，[f6，n14]；110，[g6，o14]----f12，[b7，j15]；h12，[c7，k15]；j12，[f7，n15]；112[g7，o15]。

能够很容易地确定出，采用这种核选择方案，每个核包含最大数量的5×5＝25个彩色像素。如果，比如，核随所要计算的新像素均匀移位，彩色像素的非均匀分布将使某些核的彩色像素少于其它核的彩色像素。

利用基于以下非线性二维方程的去马赛克算法，通过核的彩色像素计算新像素：

$C_{\mathrm{ik}}=\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right)---\left(I\right).$

其中n是核中含有特定颜色的像素的列的数目，m是含有所述特定颜色的像素的行的数目。下标i和k分别表示彩色像素在其行和列中的序号(rank number)。x和y限定了所要计算的新像素在核中的位置，xi和yk限定各特定彩色像素在核中的位置。Cik是一个系数，根据：

$P(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{C}_{\mathrm{ik}}{P}_{\mathrm{ik}}---\left(\mathrm{II}\right).$

其同彩色像素i，k的值(Pik)相乘，以限定彩色像素i，k在新像素的彩色分量值P(x，y)中所做的贡献。

具有而言，利用以上给出的方程(I)计算图4核[c2，k10]中h6上的新像素的系数。在计算时，可以任意选择x，y坐标系的原点位置。在该示例中，对于所有四种颜色R、Gb、B以及Gr，均选择区(field)c10作为原点。因此，h6上新像素的坐标为x＝5，y＝4。

由图4可见，对于核的红色像素，以下各项成立：

n＝3    m＝3

x1＝0   y1＝0

x2＝4   y2＝4

x3＝8   y3＝8

利用方程(I)，得到以下系数Cik：

$\begin{array}{ccc}{C}_{13}& C_{23}& C_{33}\\ C_{12}& C_{22}& C_{32}\\ C_{11}& C_{21}& C_{31}\end{array}=\begin{array}{ccc}0& 0& 0\\ -3/32& 30/32& 5/32\\ 0& 0& 0\end{array}$

由该矩阵可知，新像素的红色分量为：g6(位于接近新像素的位置)上红色像素的值的30/32加上k6(距离新像素较远)上红色像素的值的5/32减去c6(距离新像素较远，g6像素在c6与新像素之间)上红色像素的值的3/32。由于像素c6、g6和k6与新像素位于同一水平线上，因此其它红色像素不对新像素做贡献。

对于核的其它彩色像素可以进行相同的计算。对于核的Gb像素，有以下各项成立：

n＝3    m＝2

x1＝0   y1＝3

x2＝4   y2＝7

x3＝8

这产生了以下系数：

$\begin{array}{ccc}{C}_{12}& C_{22}& C_{32}\\ C_{11}& C_{21}& C_{31}\end{array}=\begin{array}{ccc}-3/128& 30/128& 5/128\\ -9/128& 90/128& 15/128\end{array}$

值得注意的是，所有系数的和始终等于1。这意味着，当特定颜色的所有核像素具有相同数值时，针对于所述特定颜色，新像素也将获得所述相同数值。

对于蓝色像素的值，有：

n＝2    m＝2

x1＝3   y1＝3

x2＝7   y2＝7

产生系数矩阵：

$\begin{array}{cc}{C}_{12}& C_{22}\\ C_{11}& C_{21}\end{array}=\begin{array}{cc}2/16& 2/16\\ 6/16& 6/16\end{array}$

并且，Gr彩色像素的值为：

n＝2    m＝2

x1＝3   y1＝0

x2＝7    y2＝7

y3＝8

给出矩阵：

$\begin{array}{cc}{C}_{13}& C_{23}\\ C_{12}& C_{22}\\ C_{11}& C_{21}\end{array}=\begin{array}{cc}0& 0\\ 1/2& 1/2\\ 0& 0\end{array}$

图5的装置包括：接收通过彩色滤波器矩阵C的入射光的传感器矩阵S。将从传感器读取的像素信息进行“基2装仓”，并且将结果存储在第二阵列T中，随后在模数转换器A中将所述装仓像素转换为例如每像素10比特的数字信号。随后，在去马赛克处理器D中对数字信号进行处理。在以数字方式执行装仓操作时，则将阵列T放置在AD转换器之后。在将像素数据逐行或逐像素发送至处理器D时还可以“即时(on thefly)”地进行装仓。在处理器D中，对信号执行上述的去马赛克算法，从而产生四个并行的彩色视频信号。对信号Gr和Gb求平均，从而生成绿色信号G。

处理器D可以通过针对每个像素重复计算方程I的方式获得新像素。然而，更为方便的方法是：将计算过一次的系数Cik存储在处理器D的存储器M中，以便将彩色像素的值与这些存储的系数相乘，并将由此获得的来自每个彩色像素的贡献相加，从而得到新像素的值。由于只有4种核类型，因此所要存储在存储器M中的系数的数目是有限的。在图3中，用罗马数字I、II、III和IV，在这些核类型各自的新像素圆圈中示出了这些核类型。核类型II服从图4的图案，并且如以上所示，该核需要25个系数(9个针对R像素、6个针对Gb像素、4个针对B像素以及6个针对Gr像素)。另外，其他三种核类型也分别需要25个(其它)系数，因此为了实现去马赛克算法需要存储100个系数。

如上所示，系数都是以2的指数作为分母的分数。这使得数字计算相对比较容易。分母的形式源自以下事实：在“基2装仓”图案中一种颜色的行或列间的距离总是4的整数幂。在应用“基3装仓”时，由于一种颜色的行或列之间的距离是6或6的倍数，因此这一优点不复存在。

本发明的另一实施例涉及图像锐化的特征。为此，正如内插系数一样，锐化系数表现为需要与选定核的像素值相乘。将所述乘积的结果加在一起，并用如此得到的彩色像素的贡献的和修改新像素的各种颜色。

所需的锐化系数S_ik是通过对以上给出的、用于计算内插系数C_ik的二维函数(I)求一阶或二阶导数的方式计算得到的。采用一阶导数，图像的边沿将得到增强，而二阶导数可用于增强图像的细节。后一种锐化方法的优选示例将使用公知、实现二阶二维偏导运算的拉普拉斯(Laplacian)算子Δ。将该算子Δ用于以上给出的内插函数(I)上，可以得到：

$S_{\mathrm{ik}}=\frac{{\∂}^2}{{\∂x}^2}(\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right))+\frac{{\∂}^2}{{\∂y}^2}(\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right))$ 或

$S_{\mathrm{ik}}=\frac{{\∂}^2}{{\∂x}^2}\left(\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right)+\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\frac{{\∂}^2}{{\∂y}^2}\left(\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Σ}}}}\left(\frac{y-y_l}{y_k-y_l}\right)\right)---\left(\mathrm{III}\right)$

对于n＝3和m＝3，该方程将给出系数S₁₁：

$S_{11}=\frac{(x-x_2)(x-x_3)+(y-y_2)(y-y_3)}{(x_1-x_2)(x_1-x_3)(y_1-y_2)(y_1-y_3)}.$ 对于其它系数S₁₂、S₁₃、S₂₁、S₂₂、S₂₃、S₃₁、S₃₂以及S₃₃，将得到指数有所改变的类似于此表达式。

对于n＝3，m＝2，锐化系数的方程变得更简单；例如，对于S₁₁：

$S_{11}=\frac{(y-y_2)}{(x_1-x_2)(x_1-x_3)(y_1-y_2)},$ 对于n＝2，m＝3， $S_{11}=\frac{(x-x_2)}{(x_1-x_2)(y_1-y_2)(y_1-y_3)}.$

对于n＝2，m＝2，所有锐化系数都是0。

采用上述方程，可以计算图4像素核的锐化系数进行计算并得到以下结果：

对于红色像素： $\begin{array}{ccc}{S}_{13}& S_{23}& S_{33}\\ S_{12}& S_{22}& S_{32}\\ S_{11}& S_{21}& S_{31}\end{array}=\begin{array}{ccc}-3/1024& 30/1024& 5/1024\\ 38/1024& -124/1024& 22/1024\\ -3/1024& 30/1024& 5/1024\end{array}$

对于Gb像素： $\begin{array}{ccc}{S}_{12}& S_{22}& S_{32}\\ S_{11}& S_{21}& S_{31}\end{array}=\begin{array}{ccc}1/128& -2/128& 1/128\\ 3/128& -6/128& 3/128\end{array}$

对于Gr像素： $\begin{array}{cc}{S}_{13}& S_{23}\\ S_{12}& S_{22}\\ S_{11}& S_{21}\end{array}=\begin{array}{cc}2/128& 2/128\\ -4/128& -4/128\\ 2/128& 2/128\end{array}$

对于蓝色像素： $\begin{array}{cc}{S}_{12}& S_{22}\\ S_{11}& S_{21}\end{array}=\begin{array}{cc}0& 0\\ 0& 0\end{array}$

值得注意的是，矩阵中所有系数的和始终等于0。这意味着，当核中特定颜色的所有像素具有相同的值时，将不发生锐化。

可以在与以上参考图5描述的处理器D相同的处理器D中存储锐化系数并将这些系数与各像素值相乘。在这种情况下，所述处理器可以包括：用于将像素值与内插系数C_ik相乘的器件；用于对所述乘积结果求和，以创建内插新像素的器件；将相同的像素值与锐化系数S_ik相乘的器件；对所述乘积结果求和，以为新像素创建锐化信息的器件；以及将锐化信息添加至内插(新)像素的器件。还可以将两个系数的和C_ik+S_ik存储在单个存储器位置(memory location)，并可以将像素值与这样求和的系数相乘。然而，这两个方案的缺点在于，无法添加锐度信息的后处理特性，如噪声核化(noise coring)、锐度增益(sharpnessgain)调节以及柔和锐度(soft sharpness)。图6示出了支持这样的锐度后处理的装置。

图6的装置包含锐化处理器E，所述锐化处理器E包括用于保存锐化系数S_ik的存储器Ms。锐化处理器E从AD转换器A接收与处理器D的接收数据相同的像素数据，将这些像素数据与锐化系数C_ik相乘，并将所述乘积结果相加，从而得到锐化彩色分量Rs、Gbs、Grs以及Bs。优选地，例如，根据方程Ys＝0,3Rs+0,3Gbs+0,3Grs+0,3Bs将这些锐化彩色分量合并为锐化亮度分量Ys。随后，将锐化亮度分量Ys作用于后处理单元F，在后处理单元F中执行诸如噪声核化、锐度增益以及柔和锐度之类的期望的后处理。随后，将得到的分量Y’s添加至RGB-YUV转换(RGB-to-YUV)矩阵的亮度分量。

值得注意的是，上述实施例是为了说明而不是限制本发明的，并且，本领域技术人员将能够在不背离所附权利要求范围的前提下设计出许多候选实施例。在权利要求中，位于圆括号间的参考标记不应被解释为对权利要求的限制。词语“包括”不排除存在权利要求所列元件或步骤以外的其它元件或步骤，元件前的词语“一”或“一个”不排除存在多个这样的元件。本发明可以用包括几个分立元件在内的硬件予以实现，也可以利用合适地程控处理器来实现。在列举了若干器件的设备权利要求中，这些器件中的若干器件可以用同一硬件予以实现。在互不相同的从属权利要求中陈述特定措施这一事实，并不表示不能有利地将这些措施结合使用。

Claims (8)

1、一种通过具有马赛克彩色滤波器阵列的光敏图像传感器产生彩色视频信号的方法，所述方法包括以下步骤：通过将矩形核中特定颜色的彩色像素的彩色像素值同一组系数相乘，并对所述乘积结果求和以获得新像素的方式，根据所述彩色像素值内插得到所述特定颜色的新像素值，其特征在于：所述一组系数服从非线性二维内插函数。

2、根据权利要求1所述的方法，其中，所述一组系数C_ik基本服从 $C_{\mathrm{ik}}=\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right),$ 其中m和n是选定矩形核中含有所述特定颜色的彩色像素的行和列的数目；x_i，y_k是所述彩色像素的坐标；x，y是将要内插得到其新像素值的像素的坐标。

3、根据权利要求1或2所述的方法，其中，对于每个像素，按照每个核都具有相同数量的彩色像素的方式，从非均匀的像素图案中选择彩色像素的核。

4、根据权利要求3所述的方法，其中，所述非均匀图案是通过“基2装仓”处理创建的，并且每个核都包括具有5×5彩色像素的9×9区。

5、根据权利要求1所述的方法，还包括特征：提高彩色视频信号的锐度；所述提高彩色视频信号的锐度包括以下步骤：将所述彩色像素与一组锐化系数S_ik相乘；对所述乘积步骤的结果求和；以及使用所述求和结果修改新像素的值；其中，所述一组锐化系数服从所述非线性二维内插函数的二阶导数。

6、根据权利要求5所述的方法，其中，所述一组系数C_ik基本服从 $C_{\mathrm{ik}}=\underset{j\≠i}{\overset{n}{\underset{j=1}{\mathrm{\Π}}}}\left(\frac{x-x_j}{x_i-x_j}\right)\·\underset{l\≠k}{\overset{m}{\underset{l=1}{\mathrm{\Π}}}}\left(\frac{y-y_l}{y_k-y_l}\right),$ 其中m和n是选定矩形核中含有所述特定颜色的彩色像素的行和列的数目；x_i，y_k是所述彩色像素的坐标；x，y是将要内插得到其新像素值的像素的坐标；所述一组锐化系数S_ik基本服从ΔC_ik，其中Δ表示二维拉普拉斯算子。

7、一种用于产生彩色视频信号的装置，所述装置包括：

含有马赛克彩色滤波器阵列(C)的光敏图像传感器(S)；以及

视频信号处理器(D)，用于执行非线性二维内插算法，所述非线性二维内插算法的实现方式为：选择从图像传感器读取的像素核；将核中特定颜色的像素值同系数相乘，以获得乘积像素值；以及将所述乘积像素值相加，以构成彩色视频信号的新像素值。

8、根据权利要求7所述的装置，还包括：视频信号处理器(D，E)，用于执行二维锐化算法；所述二维锐化算法的实现方式为：选择从图像传感器(S)读取的像素核；将核中特定颜色的像素与锐化系数(S_ik)相乘；以及将所述乘积像素相加，以构成彩色视频信号的新像素的锐化信息(Ys，Y’s)。

Images