CN101646090B - 亮度信号生成设备、亮度信号生成方法和摄像设备 - Google Patents

Abstract

本发明涉及一种亮度信号生成设备、亮度信号生成方法和摄像设备。根据从图像传感器读取的图像信号生成针对红色或蓝色被摄体抑制了对角方向分量的空间混叠的出现的亮度信号。V-LPF和H-LPF生成限制了空间频率带宽的第一亮度信号。此外，限制空间频率带宽以低于前述V-LPF和H-LPF的V-LPF和H-LPF生成限制了带宽的第二亮度信号。第一GR加权相加电路通过以如下方式对第一亮度信号和第二亮度信号进行加权相加来生成关注像素的最终亮度信号：随着关注像素的红色或蓝色的强度增加，第二亮度信号的比增大。

Description

亮度信号生成设备、亮度信号生成方法和摄像设备

技术领域

本发明涉及亮度信号生成设备、亮度信号生成方法和摄像设备。本发明特别涉及从由使用原色拜尔模式型颜色滤波器阵列的图像传感器获得的信号生成亮度信号的设备、该设备的方法以及使用该设备和方法的摄像设备。

背景技术

由于利用CCD图像传感器或CMO S图像传感器等能够检测光量的图像传感器来生成彩色图像，因此通常使用使光通过颜色滤波器阵列然后使该光入射到图像传感器上的结构。

存在根据所使用的颜色、分配至像素的颜色的模式等而不同的各种类型的颜色滤波器阵列，并且原色(红色、绿色和蓝色)或补色(青色、品红色和黄色)是广泛使用的颜色类型，并且将拜尔模式(Bayer pattern)广泛用作颜色模式。

图20是示出实现用于仅从绿色(G)信号生成亮度信号(OG信号)的OutOfGreen方法的亮度信号生成电路的示例结构的图，其中该OutOfGreen方法是用于利用原色拜尔模式型颜色滤波器阵列来生成亮度信号的各种传统方法的其中之一。R表示红色，G1和G2表示绿色，并且B表示蓝色。

首先，将0插入电路2201应用于通过对来自图像传感器的输出(2204)进行数字化所获得的RAW(原始)信号2200，从而将除G像素以外的像素的值设置为0(2205)。接着，应用限制垂直方向上的带宽的低通滤波器(V-LPF)电路2202和限制水平方向上的带宽的低通滤波器(H-LPF)电路2203，以获得亮度信号。在下文，将使用OutOfGreen方法所获得的亮度信号称为OG信号。

用于利用原色拜尔模式型颜色滤波器阵列来生成亮度信号的传统方法的另一例子是将全部RGB像素的信号作为亮度信号(SWY信号)等同处理的SWY方法。

图21是示出实现SWY方法的亮度信号生成电路的示例结构的图。

如与图20比较显而易见，SWY方法是在不使用OutOfGreen方法中的0插入电路2201的情况下获得亮度信号的方法。在下文，将使用SWY方法所获得的亮度信号称为SWY信号。

图22是示出OG信号和SWY信号的可分辨的空间频率特性的图。

x轴表示被摄体在水平(H)方向上的频率空间，y轴表示在垂直(V)方向上的频率空间，并且随着离原点的距离增加，空间频率增大。在OG信号的情况下，仅从G信号获得亮度信号，因此在水平和垂直方向上的分辨率极限等于图像传感器的奈奎斯特(Nyquist)频率(在轴上，π/2)。然而，由于在对角方向上存在没有像素的线，因此对角方向上的极限分辨率频率低于水平和垂直方向上的极限分辨率频率，结果，菱形的空间频率区域2400是可分辨的空间频率。

另一方面，在SWY信号的情况下，使用全部的像素获得信号，因此当被摄体是非彩色时，如图22所示的正方形区域2401是可分辨的空间频率。然而，在红色被摄体的示例情况下，不从除R像素以外的像素输出亮度信号，因此当与非彩色被摄体相比较时，仅在相当于水平和垂直方向上的范围的一半的空间频率范围2402中可以进行分辨。

日本特开2003-348609提出了利用SWY信号来替代图22中OG信号的对角区域2403的方法。然而，由于当被摄体是彩色时SWY信号的分辨率极限频率下降，因此仅在对角区域2403与非彩色被摄体有关时，才利用SWY信号来替换OG信号。之后，利用所生成的亮度信号检测边缘增强分量，并将该边缘增强分量与亮度信号相加，从而生成最终亮度信号。

日本特开2003-196649提出了以下方法：在生成亮度信号时依赖于被摄体的角度而不同地使用多个预先设置的插值滤波器，然后对该亮度信号进行边缘增强，从而生成最终亮度信号。

此外，与日本特开2003-348609类似，日本专利3699873提出了根据被摄体的色相和色度对OG信号和SWY信号进行加权相加的方法。具体地，SWY信号用于低色度被摄体，SWY信号用于高色度被摄体中的Mg(品红色)和G(绿色)被摄体，并且OG信号用于其它彩色被摄体。之后，利用MIX信号计算出边缘增强分量，并将该边缘增强分量与单独生成的亮度信号相加，由此生成最终亮度信号。

此外，在日本特开2008-72377中公开的方法中，利用OG信号生成第一高频信号，并且利用使用角度自适应型SWY方法从所有颜色的像素的信号生成的亮度信号生成第二高频信号，其中该角度自适应型SWY方法不仅限制水平和垂直方向上的带宽而且限制对角方向上的带宽。然后，根据信号的空间频率对第一高频信号和第二高频信号进行加权相加，以生成第三高频信号，并且将OG信号和第三高频信号相加，从而生成最终亮度信号。

然而，当将在日本特开2003-348609中公开的技术应用于使用原色拜尔模式型颜色滤波器阵列所获得的信号时，存在以下不利影响：当使用由图21所示的亮度信号生成电路生成的S WY信号时，在45度和135度方向附近生成了伪分辨率信号(空间混叠(spatial aliasing))。认为该影响归因于以下事实：在图21所示的电路中，仅在H方向和V方向上限制带宽，因此在45度和135度对角方向上没有充分限制带宽。

此外，由于OG信号用于彩色被摄体，因此对于彩色被摄体，对角方向上的分辨率没有提高。此外，当使用已利用S WY信号替换了OG信号的一部分(对角区域2403)的亮度信号来生成边缘增强信号时，存在OG信号和SWY信号之间的切换的部分被增强，并且易于出现不自然的纹理。

此外，在日本特开2003-196649中公开的技术中，必须预先设置并保持与被摄体角度相对应的多个插值滤波器。当将色空间设置为例如NTSC-RGB时，必须准备维持亮度信号构成比R∶G∶B＝3∶6∶1的插值滤波器。这导致了滤波器的系数被限制、并且不能够进行对于被摄体的角度最佳的滤波处理的问题。与日本特开2003-348609类似，由于在将使用多个插值方法计算出的亮度信号混合之后进行边缘增强，因此使用不同的方法所计算出的亮度信号之间的细微切换被增强。

在日本专利3699873中公开的技术中，仅在Mg和G被摄体的情况下，代替OG信号而使用SWY信号，因此在除Mg和G被摄体以外的彩色被摄体的分辨率方面没有提高。此外，与在日本特开2003-348609和日本特开2003-196649中公开的技术类似，由于在已对使用多个技术计算出的亮度信号进行了加权相加之后进行边缘增强，因此存在方法之间的切换的部分被增强。

在日本特开2008-72377中，抑制红色被摄体的图像质量劣化，因此检测红色区域，并且利用从该区域的OG信号生成的第一高频信号生成最终亮度信号。由于该原因，存在红色被摄体变得模糊(特别地，难以与红色区分开的金黄色头发变得模糊)的现象、以及不能够消除红色对角线的空间混叠等的问题。

根据颜色滤波器阵列的光谱分布特性，对于蓝色被摄体出现了相同的问题。

发明内容

考虑到传统技术的以上问题而作出了本发明。本发明的第一方面提供了一种对于红色和蓝色被摄体能够抑制在对角方向分量中出现空间混叠的亮度信号生成设备和亮度信号生成方法。

根据本发明的一个方面，提供了一种亮度信号生成设备，其根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器读取的图像信号生成各像素的亮度信号，所述亮度信号生成设备包括：第一信号生成部件，用于根据通过限制所述图像信号的空间频率带宽所生成的第一图像信号，生成第一信号；第二信号生成部件，用于根据通过将所述图像信号的空间频率带宽限制为低于所述第一图像信号的带宽所生成的第二图像信号，生成第二信号；计算部件，用于根据从所述图像传感器读取的所述图像信号计算关注像素的颜色强度指标，其中所述颜色强度指标表示所述关注像素的预定颜色的强度；以及第一相加部件，用于使用第三信号来生成所述关注像素的输出亮度信号，其中所述第三信号是通过以如下方式将所述第一信号和所述第二信号相加所生成的：基于所述颜色强度指标，随着所述关注像素的所述预定颜色的强度增加，所述第二信号的权重增大。

根据本发明的另一方面，提供了一种摄像设备，包括：图像传感器，其包括原色拜尔模式型颜色滤波器阵列；以及根据如上所述的亮度信号生成设备。

根据本发明的又一方面，提供了一种亮度信号生成方法，用于根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器读取的图像信号生成各像素的亮度信号，所述亮度信号生成方法包括以下步骤：第一亮度信号生成步骤，用于根据通过限制从所述图像传感器读取的所述图像信号的空间频率带宽所生成的第一图像信号，生成第一信号；第二亮度信号生成步骤，用于根据通过将从所述图像传感器读取的所述图像信号的空间频率带宽限制为低于所述第一图像信号的带宽，生成第二信号；计算步骤，用于根据从所述图像传感器读取的所述图像信号计算关注像素的颜色强度指标，其中所述颜色强度指标表示所述关注像素的预定颜色的强度；以及第一相加步骤，用于使用第三信号来生成所述关注像素的输出亮度信号，其中所述第三信号是通过以如下方式将所述第一信号和所述第二信号相加所生成的：基于所述颜色强度指标，随着所述关注像素的所述预定颜色的强度增加，所述第二信号的权重增大。

根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的实施例1的亮度信号生成设备的示例结构的框图。

图2是示出根据本发明的实施例1的亮度信号生成设备中所使用的低通滤波器的频率特性的示例的图。

图3A～3D是示出根据本发明的实施例1的亮度信号生成设备中所使用的二维空间滤波器的系数的示例的图。

图4是示出本发明的实施例1中的角度信号生成电路的示例结构的框图。

图5是示出本发明的实施例1中的第一HVD加权相加电路的示例结构的框图。

图6是示出图5中的第一系数计算电路的输入/输出特性的示例的图。

图7是示出本发明的实施例1中的颜色处理电路的示例结构的框图。

图8是示出本发明的实施例1中的第一和第二GR加权相加电路的示例结构的框图。

图9A是示出图8中的第一红色色度计算电路的输入/输出特性的示例的图，图9B是示出图8中的第二红色色度计算电路的输入/输出特性的示例的图，以及图9C是示出图8中的第二系数计算电路的输入/输出特性的示例的图。

图10是示出根据本发明的实施例2的亮度信号生成设备的示例结构的框图。

图11是示出根据本发明的实施例2的亮度信号生成设备中的自适应插值电路的示例结构的框图。

图12是示出由图11中的DiffH信号生成电路和DiffV信号生成电路进行的动作的图。

图13是示出图11中的G系数计算电路的输入/输出特性的示例的图。

图14是示出根据本发明的实施例2的亮度信号生成设备中的对角加权相加电路的示例结构的框图。

图15是示出自适应OG信号和SWY信号的可分辨的频率空间的图。

图16是示出图14中的第三SWY系数计算电路的示例结构的框图。

图17是示出图14中的第四S WY系数计算电路的示例结构的框图。

图18是示出图14中的第五S WY系数计算电路的示例结构的框图。

图19A是示出图14中的第二SWY系数计算电路的输入/输出特性的示例的图，图19B是示出图16中的Cal SwyUse3的输入/输出特性的示例的图，以及图19C是示出图17中的CalSwyUse4的输入/输出特性的示例的图。

图20是示出根据OG方法的亮度信号生成电路的示例结构的框图。

图21是示出根据S WY方法的亮度信号生成电路的示例结构的框图。

图22是示出OG信号和S WY信号的可分辨的空间频率特性的图。

具体实施方式

现在将参考附图来详细说明本发明的优选实施例。

实施例1

图1是示出根据本发明的实施例1的亮度信号生成设备的示例结构的框图。在使用包括原色拜尔模式型颜色滤波器阵列的图像传感器的摄像设备中，可以由进行所谓的显影处理等的信号处理的信号处理电路来适当地实现根据本实施例的亮度信号生成设备。

此外，该亮度信号生成设备使用已从图像传感器读取的各像素的图像信号来生成各像素的亮度信号。因此，尽管没有特别说明，在顺次更新关注像素时，对各个关注像素执行以下所述的处理。

计算第一亮度信号

从包括原色拜尔模式型颜色滤波器阵列的图像传感器(未示出)读取图像信号，对该图像信号进行数字化和白平衡处理，并且接收所得的图像信号作为RAW信号100的输入。

作为第一低通滤波器的垂直低通滤波器(V-LPF)101和水平低通滤波器(H-LPF)102限制RAW信号100的水平和垂直方向带宽，并生成亮度信号Yhv_1。

图2是示出根据本实施例的亮度信号生成设备中所使用的低通滤波器的频率特性的示例的图。在图2中，x轴表示空间频率，并且y轴表示通过增益。V-LPF 101和H-LPF 102具有在图像传感器的奈奎斯特频率N处增益为0的频率特性200。另一方面，如后面将说明的，V-LPF 116和H-LPF 117具有在图像传感器的奈奎斯特频率N的一半(N/2)处增益为0的频率特性201。

通常，将具有频率特性200的V-LPF 101和H-LPF 102应用于单色(非彩色)被摄体。

将从H-LPF 102输出的亮度信号Yhv_1提供至第一HVD加权相加电路114。还将亮度信号Yhv_1提供至二维低通滤波器D45-LPF 103和D 135-LPF 106，并提供至垂直带通滤波器(V-BPF)109和水平带通滤波器(H-BPF)111。

图3A～3D是示出根据本实施例的亮度信号生成设备中所使用的二维空间滤波器的系数的示例的图。图3A和3B分别示出D45-LPF 103和D 135-LPF 106的系数的例子，并且图3C和3D分别示出后面所述的D 135-BPF 104和后面所述的D45-BPF 107的系数的例子。

D45-LPF 103生成限制了亮度信号Yhv_1的45度方向带宽的亮度信号Yd45_1，并且将该亮度信号Yd45_1提供至第一HVD加权相加电路114。

D135-LPF 106生成限制了亮度信号Yhv_1的135度方向带宽的亮度信号Yd135_1，并且将该亮度信号Yd135_1提供至第一HVD加权相加电路114。

第一HVD加权相加电路114对限制了水平和垂直方向带宽的亮度信号Yhv_1与进一步限制了45度方向带宽的亮度信号Yd45_1或进一步限制了135度方向带宽的亮度信号Yd135_1进行加权相加，由此生成第一亮度信号Yh_1。

以下说明由第一HVD加权相加电路114进行的加权相加方法。

第一HVD加权相加电路114利用与被摄体的角度相对应的加权相加系数对3个亮度信号进行加权相加。

首先，OG信号生成电路140从RAW信号100生成OG信号。OG信号生成电路140使用参考图20所述的方法生成OG信号。角度信号生成电路150从该OG信号生成表示被摄体的角度的角度信号angleSigD，并将该角度信号angleSigD提供至第一HVD加权相加电路114。

图4是示出角度信号生成电路的示例结构的框图。将OG信号300输入至作为二维带通滤波器的D135-BPF 301和D45-BPF303。D135-BPF 301和D45-BPF 303分别具有图3C和3D所示的系数，并且增强45度线和135度线。

绝对值电路(ABS)302和绝对值电路(ABS)304从D135-BPF301和D45-BPF 303的输出分别生成45度线检测信号和135度线检测信号。

减法电路305从由ABS 302输出的45度线检测信号中减去由ABS 304输出的135度线检测信号，由此获得作为减法结果的角度信号(angleSigD)306。角度信号angleSigD如果为正，则表示45度线，并且如果为负，则表示135度线。此外，输出信号具有小的振幅的区域表示水平或垂直线。

图5是示出第一HVD加权相加电路114的示例结构的框图。

第一系数计算电路1141基于角度信号angleSigD的值获得加权相加系数D_UseRatio，并输出该加权相加系数D_UseRatio。极性判断电路1142判断角度信号angleSigD的极性，并且通过基于极性(正/负)控制选择器1143，将亮度信号Yd45_1或亮度信号Yd135_1提供至第一计算电路1144。具体地，极性判断电路1142控制选择器1143，使得如果角度信号angleSigD的极性为正，则将亮度信号Yd45_1提供至第一计算电路1144，并且如果角度信号angleSigD的极性为负，则将亮度信号Yd135_1提供至第一计算电路1144。

利用来自第一系数计算电路1141的加权相加系数D_UseRatio，第一计算电路1144对亮度信号Yhv_1以及亮度信号Yd45_1或亮度信号Yd135_1进行加权相加，由此计算出第一亮度信号Yh_1。

图6是示出第一系数计算电路1141的输入/输出特性的示例的图。

如果角度信号angleSigD的绝对值(振幅)大于或等于0且小于或等于预置阈值P1(0≤|angleSigD|≤P1)，则角度信号angleSigD是垂直或水平信号，因此第一系数计算电路1141将系数D_UseRatio设置为0。另一方面，在绝对值大于或等于表示完全对角信号的阈值P2的角度信号angleSigD的区间(P2≤|angleSigD|)的情况下，第一系数计算电路1141将系数D_UseRatio设置为128。此外，在绝对值大于阈值P1且小于阈值P2的角度信号angleSigD的区间(P1＜|angleSigD|＜P2)的情况下，第一系数计算电路1141输出通过线性插值所获得的值。

这样，第一系数计算电路1141基于角度信号的绝对值|angleSigD|获得加权相加系数D_UseRatio，并且将该加权相加系数D_UseRatio提供至第一计算电路1144。

第一计算电路1144利用以下表达式(1-1)和(1-2)生成第一亮度信号Yh_1。

当angleSigD为正时，

Yh_1＝(Yhv_1×(128-D_UseRatio)+Yd45_1×D_UseRatio)/128(1-1)。

当angleSigD为负时，

Yh_1＝(Yhv_1×(128-D_UseRatio)+Yd135_1×D_UseRatio)/128(1-2)。

这里，Yhv_1表示限制了水平和垂直带宽的亮度信号，Yd45_1表示进一步限制了45度方向带宽的45度亮度信号，并且Yd135_1表示进一步限制了135度方向带宽的135度亮度信号。

计算第一高频信号

垂直带通滤波器(V-BPF)109和水平带通滤波器(H-BPF)111在通过V-LPF 101和H-LPF 102限制了垂直和水平方向带宽的亮度信号Yhv_1中检测垂直和水平方向边缘分量。垂直增益电路(V-Gain)110和水平增益电路(H-Gain)112将各个边缘分量乘以预置增益，并且由加法电路113对所得的边缘分量进行相加，由此生成第一水平/垂直边缘信号(高频信号)AChv_1。

检测135度方向AC分量(边缘分量或高频分量)的D135-BPF104(图3C所示的系数)从通过D45-LPF 103进一步限制了45度方向带宽的亮度信号提取出45度线边缘分量。之后，由增益电路105进行增益调整，并且计算出45度线边缘信号ACd45_1。类似地，D45-BPF 107(图3D所示的系数)从通过D135-LPF 106进一步限制了135度方向带宽的亮度信号提取出135度方向边缘分量。之后，由增益电路108进行增益调整，并且计算出135度线边缘信号ACd135_1。

第二HVD加权相加电路115利用在生成第一亮度信号Yh_1期间使用的加权相加系数D_UseRatio，根据以下表达式(1-3)和(1-4)对3个边缘信号进行加权相加，由此生成第一高频信号AC_1。

当angleSigD为正时，

AC_1＝(AChv_1×(128-D_UseRatio)+ACd45_1×D_UseRatio)/128(1-3)。

当angleSigD为负时，

AC_1＝(AChv_1×(128-D_UseRatio)+ACd135_1×D_UseRatio)/128(1-4)。

除了代替Yhv_1、Yd45_1和Yd135_1将AChv_1、ACd45_1和ACd135_1作为输入而接收以外，第二HVD加权相加电路115可以具有与第一HVD加权相加电路114相同的结构。此外，可以从第一HVD加权相加电路114获取加权相加系数D_UseRatio以及与角度信号angleSigD有关的极性信息。在这种情况下，第一系数计算电路1141和极性判断电路1142是不必要的。

计算第二亮度信号(用于红色被摄体)

尽管通过与生成第一亮度信号类似的处理生成红色被摄体的第二亮度信号，但针对带宽限制滤波器的特性在处理中存在差异。

V-LPF 116和H-LPF 117分别限制RAW信号100的垂直和水平方向带宽。作为第二低通滤波器的V-LPF 116和H-LPF 117具有图2所示的频率特性201。具体地，将RAW信号100的带宽限制为V-LPF 101和H-LPF 102的频率特性200的约一半(图像传感器的奈奎斯特频率的约一半)。

原因如下：在原色滤波器阵列的情况下，特别是对于红色被摄体，来自绿色像素和蓝色像素的输出信号值基本为0，因此由图像传感器的空间采样所产生的奈奎斯特频率在垂直方向和水平方向上均变为普通的非彩色被摄体的奈奎斯特频率的一半。

与亮度信号Yhv_1类似，对从H-LPF 117输出的亮度信号Yhv_2进行处理，并且由第三加权相加电路129和第四加权相加电路130分别生成第二亮度信号Yh_2和第二高频信号AC_2。

具体地，将亮度信号Yhv_2作为通过D45-LPF 118和D135-LPF 121分别限制了45度方向带宽和135度方向带宽的信号Yd45_2和信号Yd135_2提供至第三HVD加权相加电路129。还将亮度信号Yhv_2照原样提供至第三HVD加权相加电路129。

第三HVD加权相加电路129具有与第一HVD加权相加电路114类似的结构，并且根据角度信号angleSigD来计算加权相加系数D_UseRatio。然后，第三HVD加权相加电路129使用以下表达式(1-5)和(1-6)来生成第二亮度信号Yh_2。

当angleSigD为正时，

Yh_2＝(Yhv_2×(128-D_UseRatio)+Yd45_2×D_UseRatio)/128(1-5)。

当angleSigD为负时，

Yh_2＝(Yhv_2×(128-D_UseRatio)+Yd135_2×D_UseRatio)/128(1-6)。

这里，Yhv_2表示限制了水平和垂直带宽的亮度信号，Yd45_2表示进一步限制了45度方向带宽的45度亮度信号，并且Yd135_2表示进一步限制了135度方向带宽的135度亮度信号。这些信号与Yhv_1、Yd45_1和Yd135_1之间在垂直和水平方向带宽限制方面的不同如上所述。

计算第二高频信号(用于红色被摄体)

垂直带通滤波器(V-BPF)124和水平带通滤波器(H-BPF)126在通过V-LPF 116和H-LPF 117限制了垂直和水平方向带宽的亮度信号Yhv_2中检测垂直和水平方向边缘分量。垂直增益电路(V-Gain)125和水平增益电路(H-Gain)127将各个边缘分量乘以预置增益，并且由加法电路128对所得的边缘分量进行相加，由此生成第二水平/垂直边缘信号(高频信号)AChv_2。

检测135度方向AC分量(边缘分量或高频分量)的D135-BPF119(图3C所示的系数)从通过D45-LPF 118进一步限制了45度方向带宽的亮度信号提取出45度线边缘分量。之后，由增益电路120进行增益调整，并且计算出45度线边缘信号ACd45_2。类似地，D45-BPF 122(图3D所示的系数)从通过D135-LPF 121进一步限制了135度方向带宽的亮度信号提取出135度线边缘分量。之后，由增益电路123进行增益调整，并且计算出135度线边缘信号ACd135_2。

第四HVD加权相加电路130利用在生成第二亮度信号Yh_2期间使用的加权相加系数D_UseRatio，根据以下表达式(1-7)和(1-8)对3个边缘信号进行加权相加，由此生成第二高频信号AC_2。

当angleSigD为正时，

AC_2＝(AChv_2×(128-D_UseRatio)+ACd45_2×D_UseRatio)/128(1-7)。

当angleSigD为负时，

AC_2＝(AChv_2×(128-D_UseRatio)+ACd135_2×D_UseRatio)/128(1-8)。

除了代替Yhv_1、Yd45_1和Yd135_1将AChv_2、ACd45_2和ACd135_2作为输入而接收以外，第四HVD加权相加电路130可以具有与图5所示的第一HVD加权相加电路114相同的结构。此外，可以从第三HVD加权相加电路129获取加权相加系数D_UseRatio以及与角度信号angleSigD有关的极性信息。在这种情况下，第一系数极端电路1141和极性判断电路1142是不必要的。

第一和第二亮度信号以及第一和第二高频信号的加权相加

第一GR加权相加电路131对由第一HVD加权相加电路114和第三HVD加权相加电路129分别生成的第一亮度信号Yh_1和第二亮度信号Yh_2进行加权相加，由此获得第三亮度信号Yh_3。

在除红色被摄体以外的普通被摄体的情况下，本实施例中的第一GR加权相加电路131 100％使用第一亮度信号Yh_1。在红色被摄体的情况下，第一GR加权相加电路131 100％使用垂直方向和水平方向带宽被限制为第一亮度信号Yh_1的垂直方向和水平方向带宽的一半的第二亮度信号Yh_2。

通过以这种方式进行加权相加，在包括原色滤波器阵列的摄像设备中在生成亮度信号时使用来自全部像素的信息的情况(例如，使用SWY方法的情况)下，即使对于红色被摄体，也可以生成充分抑制了空间混叠的出现的亮度信号。

图7是示出图1所示的颜色处理电路160的示例结构的框图。

利用RAW信号100，颜色处理电路160生成作为用于判断被摄体的红色的信号的色相角信号Chromaθ和色度信号ChromaSig，并且将色相角信号Chromaθ和色度信号ChromaSig提供至第一GR加权相加电路131和第二GR加权相加电路132。

如图7所示，对于各像素，颜色插值电路601对RAW信号100进行插值运算(低通滤波处理)，之后，色差信号生成电路602将所得的信号转换成作为色差信号的R-Y(Ry)信号和B-Y(By)信号。

色相角检测电路603将以下表达式(1-9)应用于针对各像素所生成的色差信号，由此生成色相角信号Chromaθ。

Chromaθ＝tan^-1(Ry/By)

Ry＝R-Y                          (1-9)

By＝B-Y

此外，色度信号生成电路604将以下表达式(1-10)应用于由色差信号生成电路602生成的色差信号，由此生成色度信号ChromaSig。

$\mathrm{ChromaSig}=\sqrt{R{y}^2+B{y}^2}---(1-10)$

将由颜色处理电路160生成的色相角信号Chromaθ和色度信号ChromaSig输出至第一GR加权相加电路131和第二GR加权相加电路132。

图8是示出第一GR加权相加电路131和第二GR加权相加电路132的示例结构的框图。

第一红色色度计算电路1311具有图9A所示的输入/输出特性，并且将色相角信号Chromaθ转换成作为被摄体的红色的一个指标的第一红色色度RedSig_1。

在图9A所示的例子中，如果色相角信号Chromaθ的值在包含端点在内的0到预定阈值P1的范围内(Chromaθ≤P1)以及大于或等于阈值P4(P4≤Chromaθ)，则将第一红色色度RedSig_1设置为0，这表示除红色以外的颜色。另一方面，如果色相角信号Chromaθ的值在包含端点在内的阈值P2到阈值P3的范围内(P2≤Chromaθ≤P 3)，则将第一红色色度RedSig_1设置为128，这表示红色。如果色相角信号Chromaθ的值在其它范围内(P1＜Chromaθ＜P2，P3＜Chromaθ＜P4)，则将第一红色色度RedSig_1设置为通过在128和0之间进行线性插值所获得的值，并将该值输出。可以将P1～P4作为红色色度阈值而预先确定。

第二红色色度计算电路1312具有图9B所示的输入/输出特性，并将色度信号ChromaSig转换成作为表示被摄体的红色的程度的一个指标的第二红色色度RedSig_2。

在图9B的例子中，如果色度信号ChromaSig的值在包含端点在内的0到预定阈值C1的范围内(ChromaSig≤C1)，则色度低，并且存在来自噪声的影响，因此将第二红色色度RedSig_2设置为0。如果色度信号ChromaSig的值大于或等于阈值C2(C2≤ChromaSig)，则将第二红色色度RedSig_2设置为128，这表示红色。如果色度信号ChromaSig的值在其它范围内(C1＜ChromaSig＜C2)，则将第二红色色度RedSig_2设置为通过在128和0之间进行线性插值所获得的值，并将该值输出。可以将C1和C2作为红色色度阈值而预先确定。

第三红色色度计算电路1313使用以下表达式(1-11)将第一红色色度RedSig_1和第二红色色度RedSig_2相乘，由此计算出第三红色色度RedSig_3。

RedSig_3＝RedSig_1×RedSig_2/128       (1-11)

第二系数计算电路1314具有图9C所示的输入/输出特性，并且基于第三红色色度RedSig_3输出GR加权相加系数Yh2UseRatio。

在图9C的例子中，如果第三红色色度RedSig_3的值在包含端点在内的0到预定阈值Th 1的范围内(RedSig_3≤Th1)，则颜色不是红色，因此将GR加权相加系数Yh2UseRatio设置为0。如果第三红色色度RedSig_3的值大于或等于阈值Th2(Th2≤RedSig_3)，则将GR加权相加系数Yh2UseRatio设置为128，这表示红色。如果第三红色色度RedSig_3的值在其它范围内(Th1＜RedSig_3＜Th2)，则将GR加权相加系数Yh2UseRatio设置为通过在128和0之间进行线性插值所获得的值，并将该值输出。可以将Th1和Th2作为红色色度阈值而预先确定。

根据这些输入/输出特性，第二亮度信号Yh_2 100％用于红色被摄体，第一亮度信号Yh_1 100％用于非红色被摄体，并且第一亮度信号Yh_1和第二亮度信号Yh_2的与红色色彩相对应的比用于中间色被摄体。

最后，第二计算电路1315利用加权相加系数Yh2UseRatio，根据以下表达式(1-12)和(1-13)，从第一亮度信号Yh_1和第二亮度信号Yh_2计算第三亮度信号Yh_3。类似地，第二GR加权相加电路132对第一高频信号AC_1和第二高频信号AC_2进行加权相加，由此生成第三高频信号AC_3。

Yh_3＝(Yh_1×(128-Yh2UseRatio)+Yh_2×Yh2UseRatio)/128  (1-12)

AC_3＝(AC_1×(128-Yh2UseRatio)+AC_2×Yh2UseRatio)/128  (1-13)

注意，可以从第一GR加权相加电路131获取在第二GR加权相加电路132中使用的加权相加系数Yh2UseRatio。在这种情况下，第二GR加权相加电路132仅包括图8所示的第二计算电路1315就足够了。

可选地，第二GR加权相加电路132可以计算加权相加系数Yh2UseRatio，并且第一GR加权相加电路131可以从第二GR加权相加电路132获取加权相加系数Yh2UseRatio。在这种情况下，第一GR加权相加电路131仅包括图8所示的第二计算电路1315就足够了。

加法电路133将第三亮度信号Yh_3和第三高频信号AC_3相加，并将相加结果作为最终亮度信号输出。

本实施例的说明基于水平和垂直方向分辨率下降的被摄体是红色被摄体这一假设。然而，存在以下情况：根据颜色滤波器阵列的光谱分布特性，在蓝色被摄体的情况下来自R像素和G像素的输出基本为0。在这种情况下，可以通过代替红色色度检测蓝色色度、对蓝色被摄体应用类似的处理并导入第二亮度信号Yh_2，生成亮度信号。还可以具有将第二亮度信号Yh_2用于红色被摄体和蓝色被摄体两者的结构。

如上所述，根据本实施例，在根据从使用原色拜尔模式型颜色滤波器阵列的图像传感器获得的图像信号生成亮度信号的亮度信号生成设备中，通过将垂直方向和水平方向带宽限制为第一范围来生成第一亮度信号。此外，通过将垂直方向和水平方向带宽限制为比第一范围窄的第二范围来生成第二亮度信号。之后，通过对第一和第二亮度信号进行加权相加来生成最终亮度信号，其中，随着被摄体的红色或蓝色的强度增加，第二亮度信号的比增大。由于该原因，即使在红色被摄体或蓝色被摄体的情况下，也可以生成充分抑制了空间混叠的出现的亮度信号。

此外，在本实施例中，同样对于高频信号，类似地生成具有不同的带宽限制范围的第一高频信号和第二高频信号，并且对第一高频信号和第二高频信号进行加权相加，其中，随着被摄体的红色或蓝色的强度增加，第二高频信号的比增大。由于随后利用这种高频信号生成了亮度信号，因此即使在红色被摄体或蓝色被摄体的情况下，也可以生成抑制了模糊的高分辨率亮度信号。

实施例2

图10是示出根据本发明的实施例2的亮度信号生成设备的示例结构的框图。在图10中，对与实施例1中的构成元件相同的构成元件，指派了相同的附图标记，并且省略了对它们的冗余说明。在本实施例中，全部的低通滤波器在进行带宽限制的方向上具有由图2中的200所表示的频率特性。

计算第一高频信号

使用与实施例1相同的方法来生成第一高频信号AC_1。

与实施例1中的V-LPF 101和H-LPF 102等同的V-LPF 1017和H-LPF 1018分别限制RAW信号100的垂直方向和水平方向带宽。然后，V-BPF 109和H-BPF 111检测垂直和水平方向边缘分量。增益电路110和112将各个边缘分量乘以预置增益，并且加法电路113将所得的边缘分量相加，由此计算出第一水平/垂直方向边缘信号AChv_1。

D135-BPF 104从通过与实施例1中的D45-LPF 103等同的D45-LPF 1019限制了45度方向带宽的亮度信号Yhv_1提取出45度线边缘分量。之后，由增益电路105进行增益调整，并且计算出第一45度线边缘信号ACd451。

类似地，D45-BPF 107从通过与实施例1中的D135-LPF 106等同的D135-LPF 1022限制了135度方向带宽的亮度信号Yhv_1提取出135度线边缘分量。之后，由增益电路108进行增益调整，并且计算出第一135度线边缘信号ACd135_1。

第一HVD加权相加电路115利用在实施例1中计算出的加权相加系数D_UseRatio对3个边缘信号进行加权相加，由此生成第一高频信号AC_1。

计算第二高频信号(用于红色被摄体)

尽管使用与实施例1中的方法基本相同的方法生成本实施例的第二高频信号，但本实施例的方法与实施例1的方法的不同之处在于，代替使用RAW信号100中的全部像素信号，利用通过对除R像素以外的像素进行的0插入处理所生成的信号来获得高频分量。以这种方式将除R像素以外的像素设置为0，这使得能够防止在来自除R像素以外的颜色像素的具有非常小的振幅的亮度信号中出现空间混叠。本实施例与实施例1的不同之处还在于，与第一高频信号类似，限制了RAW信号的垂直方向和水平方向带宽。

0插入电路1001利用0替换RAW信号100中除R像素以外的像素的像素信号值。之后，V-LPF 1004和H-LPF 1005限制垂直方向和水平方向带宽以使其小于或等于奈奎斯特频率。然后，V-BPF 124和H-BPF 126检测垂直和水平方向边缘分量，增益电路125和127将该边缘分量乘以增益，并且加法电路128将所得的边缘分量相加，由此生成边缘信号AChv_2。

D135-BPF 119从通过D45-LPF 1006限制了45度方向带宽的图像信号提取出45度线边缘分量，并且增益电路120进行增益调整，由此计算出边缘信号ACd452。类似地，D45-BPF 122从通过D135-LPF 1009限制了135度方向带宽的图像信号提取出135度线边缘分量，并且增益电路123进行增益调整，由此生成边缘信号ACd135_2。

第二HVD加权相加电路130利用加权相加系数D_UseRatio对3个边缘信号进行加权相加，由此生成第二边缘信号AC_2。

计算第三高频信号

在实施例1中，由于利用SWY信号计算高频信号，因此在水平和垂直方向上奈奎斯特频率附近的分辨率劣化。考虑到该点，通过利用自适应地插值的OG信号来生成第三高频信号，防止了奈奎斯特频率附近的分辨率劣化。

通过0插入电路1032～加法电路1038，从绿色像素的图像信号生成高频信号。

0插入电路1032利用0来替换RAW信号100中除G像素以外的像素的像素信号值，并且自适应插值电路1033对插入了0的所得的RAW信号100进行自适应插值，由此生成自适应OG信号。

图11是示出本实施例中的自适应插值电路1033的示例结构的框图。

自适应插值电路1033接收以下两者作为输入：由0插入电路1032利用0替换了除G像素以外的像素的像素信号值的RAW信号100和进行替换之前的RAW信号100。

V-LPF 1102限制利用0替换了像素信号值的RAW信号100的垂直方向带宽，由此生成Gv信号。将该Gv信号输入至G加权相加电路1105以及H-LPF 1103。H-LPF 1103限制Gv信号的水平方向带宽，由此生成限制了垂直方向和水平方向带宽的Ghv信号。将该Ghv信号输入至G加权相加电路1105。H-LPF 1104限制利用0替换了像素信号值的RAW信号100的水平方向带宽，由此生成Gh信号，并将该Gh信号输入至G加权相加电路1105。

这样，从利用0替换了除G信号以外的像素的像素信号值的信号生成了(1)限制了垂直方向带宽的Gv信号、(2)限制了水平方向带宽的Gh信号和(3)限制了垂直和水平方向带宽的Ghv信号，并且将Gv信号、Gh信号和Ghv信号输入至G加权相加电路1105。

同时，DiffH信号生成电路(DiffH)1106和DiffV信号生成电路(DiffV)1107以下面所述的方式从未插入0的RAW信号100分别生成DiffH信号和DiffV信号。

图12是示出由DiffH信号生成电路1106和DiffV信号生成电路1107进行的动作的图。假定关注像素是P22，DiffH信号生成电路1106和DiffV信号生成电路1107使用以下表达式(2-1)和(2-2)分别生成DiffH信号和DiffV信号。

DiffH＝|P21-P23|+|2×P22-P20-P24|      (2-1)

DiffV＝|P12-P32|+|2×P22-P02-P42|      (2-2)

注意，表达式中的P12～P42是图12中相应像素的信号值。

如果被摄体具有纵条纹，则DiffH信号高，并且如果被摄体具有横条纹，则DiffV信号的值高。减法器1108从DiffH信号中减去DiffV信号，并且输出表示关注像素与斜线相对应的程度的DiffHV信号。

换言之，如以下所示获得DiffHV。

DiffHV＝DiffH-DiffV

G系数计算电路(Tsig)1109基于DiffHV信号计算加权相加系数，并且将该加权相加系数提供至G加权相加电路1105。

图13是示出G系数计算电路1109的输入/输出特性的示例的图。

横轴表示DiffHV信号，并且纵轴表示加权相加系数Tsig的值。如果DiffHV≤Th0，则DiffV大于DiffH，因此将该区域判断为横条纹区域。在这种情况下，G系数计算电路1109输出表示G加权相加电路1105将100％使用Gh信号的Tsig值(Tsig＝-128)。

在Th1＜DiffHV＜Th2的区间中，DiffV和DiffG具有彼此接近的值，因此将该区域判断为对角区域。在该区间中，G系数计算电路1109输出表示G加权相加电路1105将100％使用该Ghv信号的Tsig值(Tsig＝0)。

此外，如果DiffHV≥Th3，则DiffH大于DiffV，因此将该区域判断为纵条纹区域。在这种情况下，G系数计算电路1109输出表示100％使用Gv信号的Tsig值(Tsig＝128)。

在Th0＜DiffHV≤Th 1的区间中，G系数计算电路1109输出所确定的使得存在从-128到0的线性变化的Tsig。类似地，在Th2≤DiffHV＜Th3的区间中，G系数计算电路1109输出所确定的使得存在从0到128的线性变化的Tsig。

基于以这种方式确定的Tsig值，G加权相加电路1105使用以下表达式(2-3)和(2-4)对Gh信号、Gv信号和Ghv信号进行加权相加，由此生成自适应OG信号。

当Tsig≥0时，

DC_OG＝(Gv×Tsig+Ghv×(128-Tsig))/128    (2-3)。

当Tsig＜0时，

DC_OG＝(Gh×|Tsig|+Ghv×(128-|Tsig|))/128  (2-4)。

V-BPF 1034在由自适应插值电路1033生成的自适应OG信号中检测垂直方向边缘分量，并且由增益电路1035进行增益调整。同时，H-BPF 1036在自适应OG信号中检测水平方向边缘分量，并且由增益电路1037进行增益调整。由加法电路1038将从增益调整所得的垂直和水平边缘分量相加，并将结果作为第三高频信号AC_3发送至对角加权相加电路1039。

第一和第三高频信号的加权相加

对角加权相加电路1039使用以下表达式(2-5)，对从所有颜色的像素(SWY信号)生成的第一高频信号AC_1和从自适应OG信号生成的第三高频信号AC_3进行加权相加，由此生成第四高频信号AC_4。

AC_4＝(AC_3×(128-SWYUseRatio)+AC_1×SWYUseRatio)/128  (2-5)

图14是示出本实施例的对角加权相加电路1039的示例结构的框图。

在对角加权相加电路1039中，由第一SWY系数计算电路1060～第四SWY系数计算电路1063来获得第一SWY系数SWYUseRatio_1～第四SWY系数SWYUseRatio_4。之后，第五SWY系数计算电路1064从第一SWY系数SWYUseRatio_1～至第四SWY系数SWYUseRatio_4获得最终加权相加系数SWYUseRatio。第三计算电路1065使用上述表达式(2-5)进行加权相加，由此获得第四高频信号AC 4。

(1)计算SWYUseRatio_1(第一SWY系数)

图15是示出自适应OG信号和SWY信号的可分辨的频率空间的图。

这里，第三高频信号AC_3受空间混叠影响的区域是对角区域1400。因此，利用第一高频信号AC_1替换对角区域1400，这使得能够生成不具有空间混叠的第四高频信号AC_4。因此，可以使用在实施例1中使用的角度信号angleSigD来计算加权相加系数。

角度信号angleSigD如果为正则表示45度线，如果为负则表示135度线，并且其特征在于，信号值的绝对量越大，越接近45度和135度，并且信号值的绝对量越小，越接近0度和90度。

这使得第一SWY系数计算电路1060能够从角度信号angleSigD获得第一SWY系数SWYUseRatio_1。具体地，为第一SWY系数计算电路1060提供与在实施例1中使用的第一系数计算电路1141类似的输入/输出特性(在图6中，利用SWYUseRatio_1来替换输出值D_UseRatio)就足够了。

(2)计算SWYUseRatio_2(第二SWY系数)

将从自适应OG信号生成的第三高频信号AC_3用于图15所示的水平/垂直区域1401。这是由于以下事实：由于第三高频信号AC_3基于自适应OG信号，因此与当使用从带宽在水平和垂直方向两者上已必然被限制了的SWY信号生成的第二高频信号AC_2时相比，分辨率更加良好。

可以利用参考图11和12所述的DiffH信号和DiffV信号来判断水平/垂直区域1401。如上所述，当被摄体具有纵条纹时，DiffH的值高并且DiffV的值为0。此外，当被摄体具有横条纹时，DiffV的值高并且DiffH的值为0。

因此，使用具有图19A所示的输入/输出特性的第二SWY系数计算电路1061，这使得能够从DiffHV信号计算出第二SWY系数SWYUseRatio_2。在图19A中，从0到P1，输入信号|DiffHV|的值低，这表示对角线，并且将第二SWY系数SWYUseRatio_2设置为128。当输入信号|DiffHV|的值是P2以上时，这表示该区域完全是横条纹或纵条纹，并且将第二SWY系数SWYUseRatio_2设置为0。在从P1到P2的区间中，将第二SWY系数SWYUseRatio_2设置为通过在128和0之间进行线性插值所获得的值。

(3)计算SWYUseRatio_3(第三SWY系数)

由于与(2)中相同的原因，将第三高频信号AC_3用于图15所示的水平和垂直奈奎斯特频率附近的区域(奈奎斯特区域)1402。可以通过检测G1像素信号和G2像素信号之间的相位偏移来判断奈奎斯特区域1402。

图16是示出第三SWY系数计算电路1062的示例结构的框图。

0插入电路1601和0插入电路1604分别生成利用0替换了RAW信号100中除G1像素和G2像素以外的像素的像素信号值的信号。用于水平和垂直方向插值的低通滤波器(V-LPF 1602、H-LPF 1603、V-LPF 1605和H-LPF 1606)对利用0替换了值的像素的值进行插值。

接着，减法电路1607获得插值后的G1信号(H-LPF 1603的输出)和插值后的G2信号(H-LPF 1606的输出)之间的差，并且绝对值电路(ABS)1608获得该差的绝对值，并将该差的绝对值作为区域判断信号sigDiffG而输出。

利用具有图19B所示的输入/输出特性的CalSwyUse3 1609，从区域判断信号sigDiffG计算出第三SWY系数SWYUseRatio_3。CalSwyUse3 1609可以是计算电路或表。

从0到P1，区域判断信号sigDiffG的值低，这表示对角线，并且将第三SWY系数SWYUseRatio_3设置为128。当区域判断信号sigDiffG的值是P2以上时，这表示该区域完全是横条纹或纵条纹，并将第三SWY系数S WYUseRatio_3设置为0。在从P1到P2的区间中，将第三SWY系数SWYUseRatio_3设置为通过在128和0之间进行线性插值所获得的值。

(4)计算SWYUseRatio_4(第四SWY系数)

第一高频信号AC_1用于图15所示的低频区域1403。可以通过将用于检测低频区域的滤波器应用于RAW信号来检测低频区域1403。

图17是示出第四SWY系数计算电路1063的示例结构的框图。

V-LPF 1801和H-LPF 1802限制RAW信号100的垂直方向和水平方向带宽。之后，进一步分别应用水平方向带通滤波器(H-BPF)1803和垂直方向带通滤波器(V-BPF)1804。然后，减法器1805从H-BPF 1803的输出减去V-BPF 1804的输出。绝对值电路(ABS)1806计算减法结果的绝对值，并将该绝对值作为低频区域检测信号LowF而输出。

之后，利用具有图19C所示的输入/输出特性的CalSwyUse41807来计算第四SWY系数SWYUseRatio_4。CalSwyUse41807可以是计算电路或表。

从0到P1，低频区域检测信号LowF的值低，这表示高频区域，并且将第四SWY系数SWYUseRatio_4设置为128。当低频区域检测信号LowF的值是P2以上时，这表示低频区域，并且将第四SWY系数SWYUseRatio_4设置为0。在从P1到P2的区间中，将第四SWY系数SWYUseRatio 4设置为通过在128和0之间进行线性插值所获得的值。

第五SWY系数计算电路1064根据第一SWY系数SWYUseRatio_1～第四SWY系数SWYUseRatio_4计算出最终加权相加系数SWYUseRatio。

图18是示出第五SWY系数计算电路1064的示例结构的框图。

乘法器2004将第一SWY系数SWYUseRatio_1和第二SWY系数SWYUseRatio_2相乘，并且移位器2005沿向右方向进行7位偏移运算。作为移位器2005的结果，将乘法器2004的输出减小至原始的1/128。

乘法器2006将移位器2005的输出与第三SWY系数SWYUseRatio_3相乘，并且移位器2007对相乘结果沿向右方向进行7位偏移运算。最后，乘法器2008将移位器2007的输出与第四SWY系数SWYUseRatio_4相乘，移位器2009对相乘结果沿向右方向进行7位偏移运算，并将结果作为最终加权相加系数SWYUseRatio输出。

换言之，如下所示获得SWYUseRatio。

SWYUseRatio＝SWYUseRatio_1*SWYUseRatio_2/128*SWYUseRatio_3/128*SWYUseRatio_4*/128

第三计算电路1065使用上述表达式(2-5)进行加权相加，由此从第一高频信号AC_1和第三高频信号AC_3获得第四高频信号AC_4。

第二和第四高频信号的加权相加

图10所示的第三GR加权相加电路1051使用以下表达式(2-6)对第四高频信号AC_4和第二高频信号AC_2进行加权相加，由此生成第五高频信号AC_5。除了利用AC_4替换AC_1、利用AC_5替换AC_3以及加权相加系数的名称是AC2UseRatio以外，第三GR加权相加电路1051可以具有与图8所示的实施例1的第二GR加权相加电路132的结构相同的结构。

AC_5＝(AC_4×(128-AC2UseRatio)+AC_2×AC2UseRatio)/128  (2-6)

生成最终亮度信号

现在返回图10，将由自适应插值电路1033生成的自适应OG信号还提供至增益电路1046。增益电路1046将自适应OG信号乘以0.6倍的增益，并且输出结果。

同时，0插入电路1040利用0来替换RAW信号100中除R像素以外的像素的像素信号值，V-LPF 1041和H-LPF 1042对该像素信号值进行插值运算，并将所得的信号提供至增益电路1047。增益电路1047将R信号乘以0.3倍的增益，并输出结果。

此外，0插入电路1043利用0来替换RAW信号100中除B像素以外的像素的像素信号值，V-LPF 1044和H-LPF 1045对该像素信号值进行插值运算，并将所得的信号提供至增益电路1048。增益电路1048将B信号乘以0.1倍的增益，并输出结果。

加法电路1049将增益电路1047和1048的输出信号相加，并且加法电路1050将所得的信号与增益电路1046的输出信号相加，由此生成亮度信号Yh。

之后，加法电路1052将第五高频信号AC_5与亮度信号Yh相加，由此生成边缘增强了的最终亮度信号YhFinal。

如上所述，在本实施例中，在仅从G像素的信号生成第三高频信号的对角区域中，进行加权相加，使得利用从所有颜色的像素(RGB像素)的信号生成的第一高频信号来替换第三高频信号，由此生成对角区域的第四高频信号。因此，利用S WY信号来替换传统的OG信号的对角分辨率，由此极大提高了该分辨率。

此外，与第四高频信号分开，仅使用R像素的信号来生成第二高频信号，并且进行这两个信号的加权相加，使得随着表示被摄体的红色的程度的红色色度增加，第二高频信号的权重增大，由此生成最终高频信号。因此，即使对于红色被摄体，也提高了对角区域的分辨率，此外，可以生成边缘增强了的亮度信号。

注意，对第二高频信号和第四高频信号进行加权相加的方法不限于上述方法。还可以具有以下结构：通过随着表示被摄体的红色的程度的红色色度增加对第二高频信号应用更高的增益、然后将从与增益相乘所得的第二高频信号与第四高频信号相加，对第二高频信号和第四高频信号进行加权相加。存在以下情况：进行这种加权相加使得能够从包括颜色滤波器阵列的图像传感器的输出生成良好的亮度信号，其中该颜色滤波器阵列的光谱特性使得即使在红色被摄体的情况下也可从G像素获得一定程度的输出。

其它实施例

还可以通过系统或设备的计算机(或者CPU或MPU等的装置)读出并执行记录在存储装置上的程序以进行上述实施例的功能以及通过以下方法来实现本发明的各方面，其中由系统或设备的计算机通过例如读出并执行记录在存储装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为了该目的，例如，经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供至计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (10)

1.一种亮度信号生成设备，其根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器读取的图像信号生成各像素的亮度信号，所述亮度信号生成设备包括：

第一信号生成部件，用于根据通过限制所述图像信号的空间频率带宽所生成的第一图像信号，生成第一信号；

第二信号生成部件，用于根据通过将所述图像信号的空间频率带宽限制为低于所述第一图像信号的带宽所生成的第二图像信号，生成第二信号；

计算部件，用于根据从所述图像传感器读取的所述图像信号计算关注像素的颜色强度指标，其中所述颜色强度指标表示所述关注像素的预定颜色的强度；以及

第一相加部件，用于使用第三信号来生成所述关注像素的输出亮度信号，其中所述第三信号是通过以如下方式将所述第一信号和所述第二信号进行加权相加所生成的：基于所述颜色强度指标，随着所述关注像素的所述预定颜色的强度增加，所述第二信号的权重增大。

2.根据权利要求1所述的亮度信号生成设备，其特征在于，所述预定颜色是红色或蓝色，并且随着所述关注像素的红色或蓝色的强度增加，所述第二信号的权重增大。

3.根据权利要求2所述的亮度信号生成设备，其特征在于，还包括：

第一低通滤波器，用于限制所述图像信号的空间频率带宽；以及

第二低通滤波器，用于将所述图像信号的空间频率带宽限制为低于所述第一低通滤波器的带宽，其中

所述第一信号是根据由所述第一低通滤波器输出的所述第一图像信号所生成的第一亮度信号，以及

所述第二信号是根据由所述第二低通滤波器输出的所述第二图像信号所生成的第二亮度信号。

4.根据权利要求3所述的亮度信号生成设备，其特征在于，还包括：

第一高频信号生成部件，用于根据由所述第一低通滤波器输出的所述第一图像信号，生成第一高频信号；

第二高频信号生成部件，用于根据由所述第二低通滤波器输出的所述第二图像信号，生成第二高频信号；

第二相加部件，用于通过以如下方式将所述第一高频信号和所述第二高频信号进行加权相加来生成第三高频信号：基于所述颜色强度指标，随着所述关注像素的红色或蓝色的强度增加，所述第二高频信号的权重增大；以及

第三相加部件，用于通过将所述输出亮度信号和所述第三高频信号相加来生成所述关注像素的边缘增强亮度信号。

5.根据权利要求3所述的亮度信号生成设备，其特征在于，

所述第一低通滤波器将所述图像信号的空间频率限制为低于或等于所述图像传感器的奈奎斯特频率，以及

所述第二低通滤波器将所述图像信号的空间频率限制为低于或等于所述奈奎斯特频率的一半。

6.根据权利要求1所述的亮度信号生成设备，其特征在于，还包括：

亮度信号生成部件，用于根据所述图像信号生成亮度信号，其中

所述第一信号是利用来自所述图像传感器的所有颜色的像素的图像信号所生成的第一高频信号，并且所述第二信号是利用来自所述图像传感器的红色像素和蓝色像素之一的图像信号所生成的第二高频信号，以及

第一相加部件通过将所述关注像素的所述第三信号与由所述亮度信号生成部件生成的所述关注像素的所述亮度信号相加，生成所述关注像素的所述输出亮度信号。

7.根据权利要求6所述的亮度信号生成设备，其特征在于，还包括：

第三高频信号生成部件，用于根据所述图像传感器的绿色像素的图像信号，生成第三高频信号；

倾斜检测部件，用于检测所述关注像素与斜线相对应的程度；以及

第二相加部件，用于通过以如下方式将所述第一高频信号和所述第三高频信号进行加权相加来生成第四高频信号：随着所述关注像素与所述斜线相对应的程度增加，所述第三高频信号的权重增大，

其中，所述第一相加部件通过将所述第四高频信号而不是所述第一高频信号与所述第二高频信号进行加权相加，生成所述第三信号。

8.一种摄像设备，包括：

图像传感器，其包括原色拜尔模式型颜色滤波器阵列；以及

根据权利要求1所述的亮度信号生成设备。

9.一种亮度信号生成方法，用于根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器读取的图像信号生成各像素的亮度信号，所述亮度信号生成方法包括以下步骤：

第一亮度信号生成步骤，用于根据通过限制从所述图像传感器读取的所述图像信号的空间频率带宽所生成的第一图像信号，生成第一信号；

第二亮度信号生成步骤，用于根据通过将从所述图像传感器读取的所述图像信号的空间频率带宽限制为低于所述第一图像信号的带宽，生成第二信号；

计算步骤，用于根据从所述图像传感器读取的所述图像信号计算关注像素的颜色强度指标，其中所述颜色强度指标表示所述关注像素的预定颜色的强度；以及

第一相加步骤，用于使用第三信号来生成所述关注像素的输出亮度信号，其中所述第三信号是通过以如下方式将所述第一信号和所述第二信号进行加权相加所生成的：基于所述颜色强度指标，随着所述关注像素的所述预定颜色的强度增加，所述第二信号的权重增大。

10.根据权利要求9所述的亮度信号生成方法，其特征在于，所述预定颜色是红色或蓝色，并且随着所述关注像素的红色或蓝色的强度增加，所述第二信号的权重增大。

Images