CN101401442B - 使用可调阈值进行色彩插值的装置 - Google Patents

Abstract

公开了一种使用可调阈值进行色彩插值的装置。该色彩插值装置计算图像数据的组元的最大值与最小值之差并且根据该差确定该图像数据的色彩插值方法，以执行对应的色彩插值。利用本发明，因为可以如用户所希望地执行色彩插值，所以可以提供改进的图像质量。

Description

使用可调阈值进行色彩插值的装置 

技术领域

本发明涉及使用可调阈值进行色彩插值的装置，更具体地说，涉及在图像处理系统中采用的使用可阈值进行色彩插值的装置。 

背景技术

现今开发的多媒体装置使得可以执行复杂的图像处理。这种复杂的图像处理必然需要色彩插值。 

典型地说，在转换图像信号的标准方法时色彩插值根据预先存在的色彩信息创建新的色彩信息。 

因为色彩插值利用像素周围的其它分量生成当前像素中没有包括的新分量，所以在存在大量高频的区域(例如，边缘或边界)处可能出现具有zipper形状的噪声。 

为了去除这种噪声，已经公开了许多现有技术。然而，这些现有技术在系统构建完成之后将相同处理应用于所有图像。因此，这种处理不能随每一幅图像而变。即，因为至少还必须将相同的噪声去除处理应用于具有很少噪声的图像，所以造成系统效率的浪费。 

在常规图像处理系统中，色彩插值也在系统构建完成之后将相同处理应用于所有图像，这种处理不能随每一幅图像而变。 

发明内容

被设计用来解决上述问题的本发明提供了一种使用可调阈值进行色彩插值的装置，以便通过根据图像的蒙板(mask)中的特定值调节该阈值来根据每一个图像应用不同色彩插值方法。 

本发明还提供了一种使用可调阈值进行色彩插值的装置，以便通过提供色彩插值中的边缘增强的边缘增强系数来缩减线存储器。

本发明还提供了一种确定用于色彩插值的阈值的装置和方法，以便按根据对依照曝光输入的图像的属性的分析所确定的阈值而应用不同的色彩插值方法。 

另外，本发明提供了一种确定用于去除噪声的阈值的装置和方法，以便按根据对依照曝光输入的图像的属性的分析所确定的阈值而应用不同的噪声去除方法。 

本发明的其它目的通过下述实施方式将变得更容易理解。 

为了实现上述目的，本发明的一个方面实现了一种使用可调阈值进行色彩插值的装置。 

根据本发明的一个实施方式，该色彩插值装置可以包括：色彩插值单元，该色彩插值单元对输入的m×m的贝尔模式图像(Bayer pattern image)执行插值且生成并输出第一输出数据和第二输出数据，以及检测并输出第一边缘分量数据和第二边缘分量数据以及该m×m的贝尔模式图像的特定值，m是一个预定自然数；和确定单元，该确定单元分别输出边缘增强系数，和该第一输出数据和该第二输出数据中的利用从该色彩插值单元接收到的该特定数据和预定多个阈值的大小关系确定的一个输出数据，该边缘增强系数是利用边缘参数、该第一边缘分量数据以及该第二边缘分量数据来确定的。这里，该色彩插值单元可以具有：第一插值单元，该第一插值单元对该m×m的贝尔模式图像执行双线性插值并且输出n×n的数据，n是一个预定自然数并且小于m；第二插值单元，该第二插值单元根据该第一插值单元的该输出数据的中心像素值对该输出数据执行插值，并且输出该第一输出数据；第一计算单元，该第一计算单元对该第二插值单元的该输出数据执行边缘检测，并且输出该第一边缘分量数据；第二计算单元，该第二计算单元对该第一插值单元的该输出数据执行边缘检测，并且输出n×n的数据；第一滤波单元，该第一滤波单元对该第二计算单元的该输出数据执行高斯滤波，并且输出该第二边缘分量数据；差确定单元，该差确定单元确定该第二计算单元的该n×n的输出数据的最大值与最小值之差，并且输出确定的差，作为该特定值；以及第二滤波单元，该第二滤波单元对该第一插值 单元的该输出数据执行高斯滤波，并且输出该第二输出数据。而且，所述色彩插值装置还可以包括转换单元，该转换单元将红色/绿色/蓝色(RGB)数据转换成亮度(Y)/色度(C)数据。 

所述色彩插值装置还可以包括边缘增强单元，该边缘增强单元结合该转换单元转换的该Y数据和从该确定单元接收到的边缘标志，通过使用该边缘增强系数来执行边缘增强处理，该边缘标志是从该确定单元输出用以确定是否利用该边缘增强系数来执行该边缘增强处理的。 

如果该特定值小于根据图像的平坦级确定的预定第一阈值，则该确定单元可以输出该第二输出数据。而且，如果该特定值大致等于或大于该第一阈值而小于根据图像的边缘级确定的预定第二阈值，则该确定单元可以输出该第一输出数据和表示未确定执行该边缘增强处理的该边缘标志。而且，如果该差大致等于或大于该第二阈值，则该确定单元可以输出该第一输出数据和表示确定执行该边缘增强处理的该边缘标志。 

该边缘参数可以具有边缘核化、边缘增益、边缘正限以及边缘负限中的至少一个，并且该边缘增强系数可以根据该第一边缘分量数据和该第二边缘分量数据以及该边缘参数来确定。 

根据本发明的另一实施方式，该色彩插值装置可以包括：色彩插值单元，该色彩插值单元对输入的贝尔模式图像执行插值，并且生成第一输出数据和第二输出数据，检测图像的第一边缘分量数据和第二边缘分量数据，并且检测该第一边缘分量数据与该第二边缘分量数据的组元的最大值与最小值之差；第一确定单元，该第一确定单元根据来自该色彩插值单元的该差确定输出，并且利用该第一边缘分量数据和该第二边缘分量数据以及边缘参数来确定边缘增强系数；第二确定部，该第二确定部确定该第一确定单元的该输出数据的组元的最大值和最小值；以及去除单元，该去除单元根据从该色彩插值单元接收到的该差、从该第二确定单元接收到的该最大值和该最小值确定图像数据的噪声去除方法，并且执行对应的噪声去除。 

该色彩插值单元具有：第一插值单元，该第一插值单元对输入的7× 7的贝尔模式图像执行双线性插值，并且输出3×5的数据；第二插值单元，该第二插值单元根据该第一插值单元的该输出数据的中心像素值对该输出数据执行插值，并且输出3×3的第一输出数据；第一计算单元，该第一计算单元对该第二插值单元的该输出数据执行边缘检测，并且输出3×3的该第一边缘分量数据；第二计算单元，该第二计算单元对该第一插值单元的该输出数据执行边缘检测，并且输出5×5的数据；第一滤波单元，该第一滤波单元对该第二计算单元的该输出数据执行高斯滤波，并且输出3×3的该第二边缘分量数据；差确定单元，该差确定单元确定该第二计算单元的该5×5的输出数据的最大值与最小值之差；以及第二滤波单元，该第二滤波单元对该第一计算单元的该输出数据执行高斯滤波，并且输出3×3的第二输出数据。 

如果该差小于根据图像的噪声级确定的预定第一阈值，则该第一确定单元输出该第二输出数据；如果该差大致等于或大于该第一阈值而小于根据图像的边缘级确定的预定第二阈值，则该第一确定单元输出该第一输出数据和边缘标志零；而如果该差大致等于或大于该第二阈值，则该第一确定单元输出该第一输出数据和边缘标志1。这时，所述色彩插值装置还具有后续处理单元，该后续处理单元在该边缘标志为1的情况下利用该边缘增强系数相应地对输入的3×3的RGB数据执行边缘增强。该后续处理单元具有：符号生成单元，该符号生成单元确定并生成该边缘增强系数的符号；后续处理常数生成单元，该后续处理常数生成单元根据将每一个输入的RGB数据加至该边缘增强的相关值的范围来确定后续处理常数；最小值生成单元，该最小值生成单元生成通过该后续处理常数生成单元生成的该后续处理常数的RGB分量的最小值；生成单元，该生成单元利用从该符号生成单元和该最小值生成单元接收到的数据生成新的边缘增强系数；以及输出单元，该输出单元利用该新的边缘增强系数输出该输入的RGB数据的具有增强边缘的数据。 

该去除单元具有：第三确定单元，该第三确定单元根据从该色彩插值单元接收到的该差来确定图像数据的噪声去除方法；第一滤波单元，该第一滤波单元对来自该第二确定单元的该图像数据执行滤波；以及第 二滤波单元，该第二滤波单元对从该第二确定单元接收到的该图像数据执行zipper噪声去除滤波。 

如果该差小于根据图像的照明度级确定的预定第三阈值，则该第三确定单元确定将该图像数据输入到该第一滤波单元中并且执行滤波。该第一滤波单元可以是高斯滤波器。 

而且，如果该差大致等于或大于该第三阈值而小于根据图像的边缘级确定的预定第四阈值，则该第三确定单元确定从该第二确定单元接收到的该图像数据的中心组元的值，作为输出；而如果该差大致等于或大于该第四阈值，则该第二确定单元确定将从该第二确定单元接收到的该图像数据输入到该第二滤波单元中并且执行滤波。 

该第二滤波单元具有：第一滤波器，该第一滤波器确定该图像数据的水平方向边缘；第二滤波器，该第二滤波器确定该图像数据的垂直方向边缘；第一检测单元，该第一检测单元检测该第一滤波器的输出数据的组元的和的绝对值abs_S1；第二检测单元，该第二检测单元检测该第二滤波器的输出数据的组元的和的绝对值abs_S2；第三计算单元，该第三计算单元计算该第一检测单元的输出数据和该第二检测单元的输出数据的和abs_S；以及处理单元，该处理单元根据该第三计算单元的输出数据确定相关输出数据。 

如果该abs_S小于预定第五阈值，则该处理单元确定输出数据为该图像数据的中心组元的值；如果该abs_S大于该第五阈值并且该abs_S1大于将该abs_S2加至预定第六阈值而得的值，则该处理单元确定输出数据为中心行的水平方向平均值，该中心行的中心被加至权重；如果该abs_S大于该第五阈值并且该abs_S2大于将该abs_S1加至预定第六阈值而得的值，则该处理单元确定输出数据为中心列的垂直方向平均值，该中心列的中心被加至权重；以及如果该abs_S大于该第五阈值并且该abs_S1小于将该abs_S2加至该预定第六阈值而得的值或该abs_S2小于将该abs_S1加至该第六阈值而得的值，则该处理单元确定输出数据为中心行/中心列的水平方向平均值/垂直方向平均值，该中心行/中心列的中心被加至权重。

根据本发明的另一实施方式，该阈值确定装置可以包括：第一确定单元，该第一确定单元确定针对分别利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；第二确定单元，该第二确定单元利用通过该第一确定单元确定的分别在最大曝光和最小曝光下的该噪声标准偏差来确定阈值的最大值和最小值；以及第三确定单元，该第三确定单元利用通过该第二确定单元确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。 

这时，该第二确定单元通过使用下面的公式来确定阈值的最大值：th_max＝σ_maxexp(其中，th_max指阈值的最大值，而σ_maxexp指最大曝光下的噪声标准偏差)，并且该第二确定单元通过使用下面的公式来确定阈值的最小值：th_min＝σ_minexp(其中，th_min指阈值的最小值，而σ_minexp指最小曝光下的噪声标准偏差)。 

该第三确定单元通过使用下面的公式来确定该阈值： 

$\mathrm{th}=\frac{{\mathrm{th}}_{\max }-{\mathrm{th}}_{\min }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}\·\mathrm{Exposure}+\frac{\mathrm{MaxExposure}\·{\mathrm{th}}_{\min }-\mathrm{MinExposure}\·{\mathrm{th}}_{\max }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}$

(其中，MaxExposure指最大曝光值，而MinExposure指最小曝光值)。 

根据本发明的另一实施方式，该阈值确定装置可以包括：第一确定单元，该第一确定单元接收分别利用最大曝光和最小曝光拍照的平坦表面的图像，并且根据接收图像的具有一致尺寸的蒙板随机地获取样本和计算第一差与第二差，以计算该第一差的第一平均值和该第二差的第二平均值，该第一差是最大曝光下的噪声的最大值与最小值之差，而该第二差是最小曝光下的噪声的最大值与最小值之差；第二确定单元，该第二确定单元利用通过该第一确定单元计算出的该第一平均值与该第二平均值之差的平均值来确定阈值的最大值和最小值；以及第三确定单元，该第三确定单元利用通过该第二确定单元确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。 

该第二确定单元根据下面的公式来确定阈值的最大值：th_max＝diff_maxexp(其中，th_max指阈值的最大值，而diff_maxexp指最大曝光下的噪声的最大值与最小值之差的平均值)，并且该第二确定单元根据下面的公式来确定阈值的最小值：th_min＝diff_minexp(其中，th_min指阈值的最小值，而diff_minexp指最小 曝光下的噪声的最大值与最小值之差的平均值)。 

该第三确定单元根据下面的公式来确定该阈值： 

$\mathrm{th}=\frac{{\mathrm{th}}_{\max }-{\mathrm{th}}_{\min }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}\·\mathrm{Exposure}+\frac{\mathrm{MaxExposure}\·{\mathrm{th}}_{\min }-\mathrm{MinExposure}\·{\mathrm{th}}_{\max }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}$

(其中，MaxExposure指最大曝光值，而MinExposure指最小曝光值)。 

为了实现上述目的，本发明的另一方面实现了一种阈值确定方法。 

根据本发明的一个实施方式，该阈值确定方法可以包括以下步骤：确定针对分别利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；利用通过确定该噪声标准偏差的操作而确定的分别在最大曝光和最小曝光下的该噪声标准偏差来确定阈值的最大值和最小值；以及利用通过确定该阈值的最大值和最小值的操作而确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。 

根据本发明的另一实施方式，该阈值确定方法可以包括以下步骤：接收分别利用最大曝光和最小曝光拍照的平坦表面的图像，并且根据接收图像的具有一致尺寸的蒙板随机地获取样本和计算第一差和第二差，以计算该第一差的第一平均值和该第二差的第二平均值，该第一差是最大曝光下的噪声的最大值与最小值之差，而该第二差是最小曝光下的噪声的最大值与最小值之差；利用通过计算该第一平均值和该第二平均值的操作而计算出的该第一平均值与该第二平均值之差的平均值来确定阈值的最大值和最小值；以及利用通过确定该阈值的最大值和最小值的操作而确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。 

附图说明

图1是例示根据本发明第一实施方式的色彩插值装置的操作的简化框图； 

图2是例示通过图1的色彩插值单元执行的插值的简化框图； 

图3是例示图1的色彩插值单元的实施方式的详细框图； 

图4是用于例示通过图3的插值单元执行的色彩插值的贝尔模式图像的一个简化框图；

图5是用于例示通过图3的插值单元执行的色彩插值的贝尔模式图像的另一简化框图； 

图6是例示图3的第一高斯滤波器和第二高斯滤波器的示例； 

图7到图9是例示输入到图1的输出/边缘属性确定单元的边缘参数的示例； 

图10是总体例示根据本发明第一实施方式的使用可调阈值的色彩插值装置的简化框图； 

图11是例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的框图； 

图12是例示图11的后续处理单元的实施方式的详细框图； 

图13是例示图11的最大值/最小值确定单元的操作的概念图； 

图14是例示图11的噪声去除单元的实施方式的详细框图； 

图15是例示图14的zipper噪声去除单元的详细框图； 

图16和图17是例示图15的第一滤波器和第二滤波器中的每一个的示例； 

图18是例示输入到图16的第一滤波器和图17的第二滤波器中的数据R_n的示例； 

图19是总体例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的简化框图； 

图20是例示依照根据本发明第三实施方式确定的阈值执行的色彩插值的简化框图； 

图21例示了依赖于环境的摄像机曝光的属性曲线； 

图22和23例示了摄像机的根据曝光的噪声级的属性曲线； 

图24是例示根据本发明第三实施方式的阈值确定装置的框图； 

图25例示了曝光的最大值与最小值相对于照明度的曲线图； 

图26例示了阈值的最大值与最小值相对于曝光的曲线图； 

图27是例示依照根据本发明第四实施方式确定的阈值执行的噪声去除的简化框图； 

图28是例示根据本发明第四实施方式的阈值确定装置的框图；

图29是例示应用了根据本发明第四实施方式确定的阈值的噪声去除装置的框图； 

图30是例示图29的差计算单元的操作的概念图； 

图31是例示图29的差计算单元的实施方式的详细框图；以及 

图32是例示图29的zipper噪声去除单元的实施方式的详细框图。 

具体实施方式

通过下面参照附图的描述，上述目的、特征以及优点将变得更清楚。 

因为本发明可以有多种替换例和实施方式，所以参照附图，对特定实施方式进行例示和描述。然而，这决不是将本发明限于特定实施方式，而应解释为包括被本发明的精神和范围所覆盖的全部替换例、等同物以及替代物。贯穿所有附图，相似组件都具有相似标号。贯穿本发明的描述，当确定描述特定技术会避开本发明的要点时，将省略相关的详细描述。 

诸如“第一”和“第二”的词语可以被用于描述各种组件，但上述组件不限于上述词语。上述词语仅被用于区分一个组件与另一组件。例如，在不脱离本发明的权利要求的范围的情况下，第一组件可以被命名为第二组件，反之亦然。词语“和/或”应当包括多个列举项目的组合或多个列举项目中的任一个。 

如果将一个组件描述为“连接”或“接入”至另一组件，则其应被解释为直接连接或接入至另一组件，但也可能在中间还具有又一组件。另一方面，如果一个组件被描述为“直接连接”或“直接接入”至另一组件，则应被解释为在中间不存在其它组件。 

本说明书中使用的词语仅用于描述特定实施方式，而决不是对本发明构成限制。除非以其它方式清楚地使用，采用单数形式的表达包括多种含义。在本说明书中，诸如“包括”或“包括有……”的表达指定特征、数字、步骤、操作、组件、部分或其组合，而不应被解释为排除一个或更多个其它特征、数字、步骤、操作、组件、部分或其组合的任何存在性或可能性。

除非另外定义，在此使用的包括技术词语和科学词语在内的所有词语都具有与本发明所属领域的普通技术人员所通常理解的含义相同的含义。在普通字典中定义的任何术语都应被解释为在相关领域的语境中具有相同含义，而且除非明确地以其它方式定义，否则不应被解释成具有理想的或过度形式化的含义。 

下文中，参照附图，对优选实施方式进行详细说明。相同或对应组件将具有相同标号，而与图号无关，并且不再重复对相同或对应组件的任何多余描述。 

图1是例示根据本发明第一实施方式的色彩插值装置的简化框图。 

如图1所示，本发明的色彩插值装置可以包括：色彩插值单元110、输出/边缘属性确定单元120、RGB转换单元130以及边缘增强单元140。 

色彩插值单元110对输入的贝尔模式图像执行色彩插值。这将参照图3进行说明。 

图2是例示通过图1的色彩插值单元执行的插值的简化框图。 

如图2所示，一旦输入5×5的贝尔模式图像200，本发明的色彩插值单元110就对5×5的贝尔模式图像200执行双线性插值，以获取3×3的输出图像201。3×3的输出图像被称为R_all、G_all以及B_all。 

如果首先针对3×3的输出图像201执行本发明的插值(这将在后面进行说明)，则将获取1像素数据202。该1像素数据202变为1像素输出数据E_R、E_G以及E_B203。如果对1像素数据202执行边缘计算，则其将变为1像素输出数据E_Y204。 

如果对3×3的输出图像201执行边缘计算(这将在后面进行说明)，则将获取3×3的图像Y_all205。如果对3×3的图像205执行高斯滤波，则将获取最终1像素输出数据G_Y206。另一方面，如果计算3×3的图像Y_all205的特定值(最大值与最小值之差)，则将获取1像素数据diff_Y207。 

而且，如果对3×3的图像201执行高斯滤波，则将获取成为一个输出的1像素输出数据G_R、G_G以及G_B。 

因此，色彩插值单元110可以被输入5×5的贝尔模式图像200，并 且输出5个1像素数据203、204、206、207以及210。下文中，将参照图3，对色彩插值单元110的详细结构进行说明。 

图3是例示图1的色彩插值单元的实施方式的详细框图。 

如图3所示，本发明的色彩插值单元110可以具有：双线性插值单元310、插值单元320、第一边缘计算单元330、第二边缘计算单元340、第一高斯滤波器350、差确定单元360以及第二高斯滤波器370。 

双线性插值单元310对输入的5×5的贝尔模式图像执行双线性插值，并且输出3×3的数据。因为该双线性插值和已知技术相同，所以省略了相关详细描述。 

插值单元320对输入的3×3的数据执行色彩插值。这种操作将参照对应的图进行说明。 

图4是用于例示在R分量R3是RG线的中心像素的情况下通过图3的插值单元执行的色彩插值的贝尔模式图像的简化框图。参照图4，下面的描述涉及R分量为中心像素的情况。然而，考虑到R分量和B分量彼此交换它们的位置，可以将相同的描述应用于中心像素是GB线上的B分量的情况。 

针对插值单元320执行的插值，图4的Rn、Rw、Rs以及Re和Kr1、Kr2、Kr3以及Kr4被分别定义为下面的公式1和公式2。 

【公式1】 

$\mathrm{Rn}=\frac{R1+R3}{2}$

$\mathrm{Rw}=\frac{R2+R3}{2}$

$\mathrm{Rs}=\frac{R3+R5}{2}$

$\mathrm{Re}=\frac{R3+R4}{2}$

【公式2】 

Kr1＝G4-Rn 

Kr2＝G6-Rw 

Kr3＝G9-Rs 

Kr4＝G7-Re

接着，通过下面的公式3计算插值单元320的G分量的输出E_G。 

【公式3】 

$E\_G=R3+\frac{\mathrm{Kr}1+\mathrm{Kr}2+\mathrm{Kr}3+\mathrm{Kr}4}{4}$

因为插值单元320的插值方法与公知现有技术(例如，Soo-Chang Pei，Fellow，IEEE，Io-Kuong Tam，“Effective Color Interpolation in CCD ColorFilter Arrays Using Signal Correlation”，IEEE transaction on circuits andsystems for video technology，Vol.13(6)，June2003)相同，所以省略了相关详细描述。 

Gwn、Gws、Ges以及Gen和Kb1、Kb2、Kb3以及Kb4被分别定义为下面的公式4和公式5，以计算插值的B分量的输出E_B和插值的R分量的输出E_R。 

【公式4】 

$\mathrm{Gwn}=\frac{G1+G3+G6+G4}{4}$

$\mathrm{Gws}=\frac{G6+G8+G11+G9}{4}$

$\mathrm{Ges}=\frac{G7+G9+G12+G10}{4}$

$\mathrm{Gen}=\frac{G2+G4+G7+G5}{4}$

【公式5】 

Kb1＝Gwn-B1 

Kb1＝Gwn-B1 

Kb2＝Gen-B2 

Kb3＝Gws-B3 

Kb4＝Ges-B4 

根据公式4和公式5，插值的B分量的输出E_B和插值的R分量的输出E_R分别根据公式6和公式7来确定。 

【公式6】 

$E\_B=E\_G-\frac{\mathrm{Kb}1+\mathrm{Kb}2+\mathrm{Kb}3+\mathrm{Kb}4}{4}$

【公式7】

E_R＝R3 

另一方面，图5是用于例示在G分量G5是GB线上的中心像素的情况下通过图3的插值单元执行的色彩插值的贝尔模式图像的另一简化框图。参照图5，下面的描述涉及G分量为GB线上的中心像素的情况。然而，考虑到R分量和B分量在贝尔模式图像中彼此交换它们的位置，可以将相同的描述应用于中心像素是RB线上的G分量的情况。 

Gn、Gw、Gs以及Ge和Kr1、Kr2、Kb1以及Kb2被分别定义为下面的公式8和公式9，以对图5的贝尔模式图像执行色彩插值。 

【公式8】 

$\mathrm{Gn}=\frac{G1+G2+G5+G3}{4}$

$\mathrm{Gw}=\frac{G2+G4+G7+G5}{4}$

$\mathrm{Gs}=\frac{G5+G7+G9+G8}{4}$

$\mathrm{Ge}=\frac{G3+G5+G8+G6}{4}$

【公式9】 

Kr1＝Gn-R1 

Kr2＝Gs-R2 

Kb1＝Gw-B1 

Kb2＝Ge-B2 

根据公式8和公式9，针对图5的情况，分别通过公式10到公式12确定所述输出E_G、E_R以及E_B。 

【公式10】 

E_G＝G5 

【公式11】 

$E\_R=G5-\frac{\mathrm{Kr}1+\mathrm{Kr}2}{2}$

【公式12】 

$E\_B=G5-\frac{\mathrm{Kb}1+\mathrm{Kb}2}{2}$

针对中心像素是G分量、R分量或B分量的情况，如上所述确定对 应输出中的每一个。 

第一边缘计算单元330对插值单元320的输出E_G、E_R以及E_B执行边缘计算。该边缘计算通过下面的公式13来表示。 

【公式13】 

$E\_Y=\frac{E\_R+2\×E\_G+E\_B}{4}$

其中，E_Y被定义为第一边缘计算单元330的输出数据。 

接收来自双线性插值单元310的3×3的数据的第二边缘计算单元340执行边缘计算，以对3×3的数据执行边缘检测。这种边缘计算与下面的公式14相同。 

【公式14】 

$Y\_\mathrm{all}=\frac{R\_\mathrm{all}+2\×G\_\mathrm{all}+B\_\mathrm{all}}{4}$

通过使用公式14来计算输入的3×3的数据的每一个像素而获取3×3的数据Y_all。如果3×3的数据Y_all经过第一高斯滤波器350，则它变为1像素数据G_Y。图6是例示图3的第一高斯滤波器和第二高斯滤波器的示例。 

差确定单元360确定第二边缘计算单元340的3×3的输出数据中的组元的最大值与最小值之差。这通过下面的公式15来表示。 

【公式15】 

diff_Y＝max(Y_all)-min(Y_all) 

而且，第二高斯滤波器370可以通过对双线性插值单元310的3×3的输出数据进行高斯滤波来获取输出数据G_R、G_G以及G_B。 

这样，图1的色彩插值单元110的输出数据是1像素数据E_R、E_G以及E_B，1像素数据E_Y，1像素数据G_Y，1像素数据diff_Y以及1像素数据G_R、G_G以及G_B。 

另一方面，输出/边缘属性确定单元120接收色彩插值单元110的输出数据和边缘参数，并且不仅确定RGB输出数据而且确定边缘增强系数和边缘标志。 

输出/边缘属性确定单元120预置第一阈值thr1和第二阈值thr2，这些阈值在先前系统中确定和输入。这些阈值随着系统而变。第一阈值根 据图像是否平坦而确定。第二阈值根据边缘级而确定。 

针对从色彩插值单元110接收到的差diff_Y小于第一阈值的情况，确定对应图像平坦(例如，墙部分)并且对应输出是第二高斯滤波器370的输出数据。即，这通过下面的公式16来表示。 

【公式16】 

R_out＝G_R 

G_out＝G_G 

B_out＝G_B 

如果差diff_Y等于或大于第一阈值而小于第二阈值，则确定对应图像没有边缘并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，输出/边缘属性确定单元120确定对应输出是插值单元320的输出数据并且对应边缘标志为零。在这种情况下，该输出通过下面的公式17来表示。 

【公式17】 

R_out＝E_R 

G_out＝E_G 

B_out＝E_B 

如果差diff_Y等于或大于第二阈值，则确定对应图像具有边缘。而且，输出/边缘属性确定单元120确定对应输出是插值单元320的输出数据并且对应边缘标志为1。 

输出/边缘属性确定单元120还利用输入的边缘参数生成边缘增强系数。该边缘参数包括：边缘核化、边缘增益以及边缘限制。这将参照图7到图9进行说明。 

图7到图9是例示输入到图1的输出/边缘属性确定单元的边缘参数的示例。 

边缘核化不仅去除噪声状边缘分量而且防止小边缘分量如同噪声一样显示在画面上。如图7所示，从输入的边缘值中减去预定值，从而该值(含该值)之下的边缘分量变为零。 

如图8所示，对经过边缘核化的边缘值执行边缘增益。通过将输出 的边缘分量的所得值梯度改变成输入的边缘分量来生成较大边缘值与较小边缘值之差。因此，通过使清晰的边缘分量更清楚并且维持较小的边缘分量不变来提供更清晰且改进的图像质量。 

针对从边缘增益操作提取的边缘分量的绝对值非常大的情况，边缘极限限制了最大边缘值，以防止具有较大绝对值的边缘分量明确地显示在画面上。该边缘极限具有正限和负限。 

边缘增强系数通过边缘参数和从色彩插值单元110检测到的输出E_Y和G_Y来确定。这通过下面的公式18来表示。 

【公式18】 

Srgb＝edge_enhancement(edge_component，edge_parameter) 

其中，Srgb是边缘增强系数，而“edge_component”是E_Y与G_Y之差。该边缘增强系数是根据系统确定的称为“edge_component”的、边缘分量和边缘参数的函数。边缘增强系数值不受限制。 

因此，输出/边缘属性确定单元120输出数据R_out、G_out、B_out以及Srgb和边缘标志。 

RGB转换单元130接收数据R_out、G_out以及B_out，并且将数据R_out和B_out转换成亮度和色度YCbCr数据。这通过下面的公式19来表示。 

【公式19】 

$\left(\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.331& 0.5\\ 0.5& -0.419& -0.081\end{array}\right)\×\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-\left(\begin{array}{c}0\\ 128\\ 128\end{array}\right)$

然而，因为将RGB数据转换成YCbCr数据的公式是公知的，所以该公式不限于上述公式19。转换比率可以根据图像处理系统的种类而变。 

边缘增强单元140利用从上述RGB转换单元130接收到的亮度(Y)数据、从输出/边缘属性确定单元120接收到的边缘增强系数Srgb和边缘标志来增强边缘。 

如果该边缘标志为1，则边缘增强单元140的输出数据根据下面的公式20来计算。 

【公式20】

Y_out＝Y+Srgb 

然而，如果边缘标志为零，则因为在上面确定对应图像没有边缘，所以边缘增强单元140的输出数据忽略(bypass)输入的Y数据。 

图10是总体例示根据本发明第一实施方式的使用可调阈值的色彩插值装置的简化框图。 

如图10所示，本发明的色彩插值装置计算差diff_Y。接着，如果该差diff_Y小于第一阈值，则该色彩插值装置执行双线性插值和高斯滤波。如果该差diff_Y小于第二阈值而等于或大于第一阈值，则色彩插值装置执行双线性插值并且图3的插值单元320执行插值(在图10中称为“有效插值”)。而且，如果该差diff_Y等于或大于第二阈值，则执行有效插值和边缘增强。 

图11是例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的框图。 

如图11所示，本发明的色彩插值装置包括：色彩插值单元1110、输出/边缘属性确定单元1120、后续处理单元1130、最大值/最小值确定单元1140以及噪声去除单元1150。 

色彩插值单元1110对输入的贝尔模式图像执行色彩插值。这将参照相应图进行说明。 

下文中，参照图2，对图11所示色彩插值单元1110执行的插值方法进行说明。不同于图2的贝尔模式图像和输出数据的大小可通过下面的描述来理解。而且，为便于说明，尽管使用与在第一实施方式的第一描述中所提到的相同的公式，但将新的标号添加至同一公式。 

一旦输入7×7的贝尔模式图像200，本发明的色彩插值单元1110就对7×7的贝尔模式图像200执行双线性插值，以获取5×5的输出图像201。对该5×5的输出图像执行插值，以获取3×3的数据202。该3×3的数据202成为3×3输出数据E_R、E_G以及E_B203。对3×3的数据202执行边缘计算，以获取3×3的输出数据E_Y204。 

此外，可以对5×5的输出数据201执行边缘计算，以获取5×5的数据Y_all205。对5×5的数据Y_all205的高斯滤波可以产生3×3的输 出数据G_Y206。而且，如果计算数据Y_all205的组元的最大值与最小值之差，则可以获取1像素数据diff_Y207。 

最后，可以对5×5的输出数据201执行高斯滤波，以获取3×3的数据G_R、G_G以及G_B210。 

色彩插值单元1110接收7×7的贝尔模式图像200并且输出5个3×3的数据203、204、206、207以及210。 

下面，对色彩插值单元1110的结构进行说明。图11的色彩插值单元1110的详细框图可以与参照图3所述的相同。色彩插值单元1110可以具有：双线性插值单元310、插值单元320、第一边缘计算单元330、第二边缘计算单元340、第一高斯滤波器350、差确定单元360以及第二高斯滤波器370。然而，每一个组件的功能可以因输入的贝尔模式图像的大小差别而变。 

参照图3，双线性插值单元310对输入的7×7的贝尔模式图像执行双线性插值，并且输出5×5的数据。 

插值单元320对输入的5×5的数据执行色彩插值。将参照相关附图说明这种操作。 

如上所述，图4是用于例示在R分量R3是RG线上的中心像素的情况下通过插值单元320执行的色彩插值的贝尔模式图像的简化框图。参照图4，下面的描述涉及R分量为中心像素的情况。然而，可以将相同的描述应用于中心像素是GB线上的B分量的情况。 

针对插值单元320执行的插值，图4的Rn、Rw、Rs以及Re和Kr1、Kr2、Kr3以及Kr4被分别定义为下面的公式21和公式22。 

【公式21】 

$\mathrm{Rn}=\frac{R1+R3}{2}$

$\mathrm{Rw}=\frac{R2+R3}{2}$

$\mathrm{Rs}=\frac{R3+R5}{2}$

$\mathrm{Re}=\frac{R3+R4}{2}$

【公式22】

Kr1＝G4-Rn 

Kr2＝G6-Rw 

Kr3＝G9-Rs 

Kr4＝G7-Re 

接着，通过下面的公式23计算插值单元320的G分量的输出数据E_G。 

【公式23】 

$E\_G=R3+\frac{\mathrm{Kr}1+\mathrm{Kr}2+\mathrm{Kr}3+\mathrm{Kr}4}{4}$

因为插值单元320的插值方法与公知现有技术(例如，Soo-Chang Pei，Fellow，IEEE，Io-Kuong Tam，“Effective Color Interpolation in CCD ColorFilter Arrays Using Signal Correlation”，IEEE transaction on circuits andsystems for video technology，Vol.13(6)，June2003)相同，所以省略了相关详细描述。 

Gwn、Gws、Ges以及Gen和Kb1、Kb2、Kb3以及Kb4被分别定义为下面的公式24和公式25，以计算插值的B分量的输出数据E_B和插值的R分量的输出数据E_R。 

【公式24】 

$\mathrm{Gwn}=\frac{G1+G3+G6+G4}{4}$

$\mathrm{Gws}=\frac{G6+G8+G11+G9}{4}$

$\mathrm{Ges}=\frac{G7+G9+G12+G10}{4}$

$\mathrm{Gen}=\frac{G2+G4+G7+G5}{4}$

【公式25】 

Kb1＝Gwn-B1 

Kb2＝Gen-B2 

Kb3＝Gws-B3 

Kb4＝Ges-B4 

根据公式24和公式25，插值的B分量的输出E_B和插值的R分量的输出E_R分别根据公式26和公式27来确定。

【公式26】 

$E\_B=E\_G-\frac{\mathrm{Kb}1+\mathrm{Kb}2+\mathrm{Kb}3+\mathrm{Kb}4}{4}$

【公式27】 

E_R＝R3 

将这个插值应用至5×5的矩阵，以输出3×3的输出数据E_R、E_G以及E_B。 

而且，如下所述，图5是用于例示在G分量G5是GB线上的中心像素的情况下通过插值单元320执行的色彩插值的贝尔模式图像的另一简化框图。参照图5，下面的描述涉及G分量为GB线上的中心像素的情况。然而，可以将相同的描述应用于中心像素是RB线上的G分量的情况。 

Gn、Gw、Gs以及Ge和Kr1、Kr2、Kb1以及Kb2被分别定义为下面的公式28和公式29，以对图5的贝尔模式图像执行色彩插值。 

【公式28】 

$\mathrm{Gn}=\frac{G1+G2+G5+G3}{4}$

$\mathrm{Gw}=\frac{G2+G4+G7+G5}{4}$

$\mathrm{Gs}=\frac{G5+G7+G9+G8}{4}$

$\mathrm{Ge}=\frac{G3+G5+G8+G6}{4}$

【公式29】 

Kr1＝Gn-R1 

Kr2＝Gs-R2 

Kb1＝Gw-B1 

Kb2＝Ge-B2 

根据公式28和公式29，针对图5的情况，分别通过公式30到公式32确定输出数据E_G、E_R以及E_B。 

【公式30】 

E_G＝G5 

【公式31】

$E\_R=G5-\frac{\mathrm{Kr}1+\mathrm{Kr}2}{2}$

【公式32】 

$E\_R=G5-\frac{\mathrm{Kb}1+\mathrm{Kb}2}{2}$

针对中心像素是G分量、R分量或B分量的情况，如上所述确定对应输出中的每一个。将这个插值应用至5×5的矩阵，以输出3×3的输出数据E_R、E_G以及E_B。 

图30的第一边缘计算单元330对插值单元320的输出数据E_G、E_R以及E_B执行边缘计算。该边缘计算通过下面的公式33来表示。 

【公式33】 

$E\_Y=\frac{E\_R+2\×E\_G+E\_B}{4}$

其中，E_Y被定义为第一边缘计算单元330的输出数据。可以对形成3×3的数据的每一个组元执行上述计算，以获取3×3的数据E_Y。 

接收来自双线性插值单元310的5×5的数据的边缘计算单元执行边缘计算，以对5×5的数据执行边缘检测。这种边缘计算与下面的公式34相同。 

【公式34】 

$Y\_\mathrm{all}=\frac{R\_\mathrm{all}+2\×G\_\mathrm{all}+B\_\mathrm{all}}{4}$

通过使用公式34来计算输入的5×5的数据的每一个组元而获取5×5的数据Y_all。如果5×5的数据Y_all经过第一高斯滤波器350，则它变为3×3的数据G_Y。 

差确定单元360确定第二边缘计算单元340的5×5的输出数据中的组元的最大值与最小值之差。这通过下面的公式35来表示。 

【公式35】 

diff_Y＝max(Y_all)-min(Y_all) 

而且，在本发明的色彩插值单元1110中，第二高斯滤波器370可以通过对双线性插值单元310的5×5的输出数据进行高斯滤波来获取3×3的输出数据G_R、G_G以及G_B。 

这样，色彩插值单元1110的输出数据是3×3的数据E_R、E_G以 及E_B，3×3的数据E_Y和G_Y，1像素数据diff_Y以及3×3的数据G_R、G_G以及G_B。 

另一方面，输出/边缘属性确定单元1120接收色彩插值单元1110的输出数据和边缘参数，并且不仅确定RGB输出数据而且确定边缘增强系数和边缘标志。 

输出/边缘属性确定单元1120预置第一阈值thr1和第二阈值thr2，这些阈值在先前系统中确定和输入。这些阈值随着系统而变。第一阈值根据图像是否平坦而确定。第二阈值根据边缘级而确定。 

针对从色彩插值单元1110接收到的差diff_Y小于第一阈值的情况，确定对应图像平坦(例如，墙部分)并且对应输出是第二高斯滤波器370的输出数据。即，这通过下面的公式36来表示。 

【公式36】 

R_m＝G_R 

G_m＝G_G 

B_m＝G_B 

如果差diff_Y等于或大于第一阈值而小于第二阈值，则确定对应图像没有边缘并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，输出/边缘属性确定单元1120确定对应输出是插值单元320的输出数据并且对应边缘标志为零。在这种情况下，该输出通过下面的公式37来表示。 

【公式37】 

R_m＝E_R 

G_m＝E_G 

B_m＝E_B 

如果差diff_Y等于或大于第二阈值，则确定对应图像具有边缘。而且，输出/边缘属性确定单元1120确定对应输出是插值单元320的输出数据并且对应边缘标志为1。 

输出/边缘属性确定单元1120还利用输入的边缘参数生成边缘增强系数。该边缘参数包括：边缘核化、边缘增益以及边缘限制。边缘参数 将参照第一实施方式的描述中的图7到图9进行说明。即，参照图7到图9，对输入到输出/边缘属性确定单元1120的边缘参数进行说明。 

边缘核化不仅去除噪声状边缘分量而且防止小边缘分量如同噪声一样显示在画面上。如图7所示，从输入的边缘值中减去预定值，从而该值(含该值)之下的边缘分量变为零。 

如图8所示，对经过边缘核化的边缘值执行边缘增益。通过将输出的边缘分量的所得值梯度改变成输入的边缘分量来生成较大边缘值与较小边缘值之差。因此，通过使清晰的边缘分量更清晰并且维持较小的边缘分量不变来提供更清晰且改进的图像质量。 

针对从边缘增益操作提取的边缘分量的绝对值非常大的情况，边缘极限限制了最大边缘值，以防止具有较大绝对值的边缘分量明确地显示在画面上。该边缘极限具有正限和负限。 

通过边缘参数和从色彩插值单元110检测到的输出数据E_Y和G_Y来确定边缘增强系数。这通过下面的公式38来表示。 

【公式38】 

Srgb＝edge_enhancement(edge_component，edge_parameter) 

其中，Srgb是边缘增强系数，而“edge_component”是E_Y与G_Y之差。该边缘增强系数是根据系统确定的称为“edge component”的、边缘分量和边缘参数的函数。边缘增强系数值不受限制。这时，边缘增强系数还具有3×3的大小。 

因此，输出/边缘属性确定单元1120输出数据R_m、G_m、B_m以及Srgb和边缘标志。 

针对边缘标志为1的情况，后续处理部1130对输入的RGB数据执行边缘增强，以防止生成伪色彩。换句话说，针对从输出/边缘属性确定单元1120输出的标志为零的情况，后续处理部1130的输出数据R_n、G_n以及B_n与数据R_m、G_m以及B_m相同，即被忽略。 

图12是例示图11的后续处理单元的实施方式的详细框图。 

后续处理单元1130可以包括：符号生成单元1131、Sr生成单元1132、Sg生成单元1133、Sb生成单元1134、最小值生成单元1135、新边缘增 强系数生成单元1136以及输出单元1137。 

符号生成单元1131确定并生成输入的边缘增强系数Srgb的符号。这通过下面的公式39来表示。 

【公式39】 

PN＝sign(Srgb(i)) 

其中，PN是边缘增强系数的符号，而i表示生成3×3的数据的每一个组元的符号。下面的描述与这种情况相同。 

当将加至边缘增强系数Srgb的输入数据R_m的值称为R1(即，R1＝R_m(i)+Srgb(i))时，如果R1大于预定常数(例如，255)，则Sr生成单元1132利用下面的公式40来确定Sr；如果R1小于零，则Sr生成单元1132利用下面的公式41来确定Sr；否则，Sr生成单元1132利用下面的公式42来确定Sr。这时，Sr指R分量的后续处理常数。如果Sg和Sb类似地分别指G和B分量的后续处理常数，则可以将相同的处理应用于Sg和Sb。 

【公式40】 

Sr＝255-R_m(i) 

【公式41】 

Sr＝R_m(i) 

【公式42】 

Sr＝abs(Srgb(i)) 

这时，“abs”表示绝对值，而常数“255”随每一个系统而变。该常数不限于255。 

类似的是，当将分别加至边缘增强系数Srgb的数据G_m和B_m的值称为G1和B1(即，G1＝G_m(i)+Srgb(i)和B1＝B_m(i)+Srgb(i))时，如果G1和B1中的每一个都大于预定常数(例如，255)，则Sg生成单元1133和Sb生成单元1134分别利用下面的公式43和46来确定Sg和Sb；如果R1小于零，则Sg生成单元1133和Sb生成单元1134分别利用下面的公式44和47来确定Sg和Sb；否则，Sg生成单元1133和Sb生成单元1134利用下面的公式45和48来确定Sg和Sb。

【公式43】 

Sg＝255-G_m(i) 

【公式44】 

Sg＝G_m(i) 

【公式45】 

Sg＝abs(Srgb(i)) 

【公式46】 

Sb＝255-B_m(i) 

【公式47】 

Sb＝B_m(i) 

【公式48】 

Sb＝abs(Srgb(i)) 

接着，最小值生成单元1135生成上述后续处理系数Sr、Sg以及Sb的最小值，而新边缘增强系数生成单元1136利用该最小值和从符号生成单元1131接收到的符号PN生成新的边缘增强系数。这通过下面的公式49来表示。 

【公式49】 

New_Srgb＝PN×min([Sr，Sg，Sb]) 

其中，New_Srgb是新的边缘增强系数。利用该新的边缘增强系数，输出单元1137输出具有增强的边缘的输出数据。从输出单元1137输出的RGB分量的输出数据R_n、G_n以及B_n分别通过下面的公式50到52来计算。 

【公式50】 

R_n(i)＝R_m(i)+New_Srgb 

【公式51】 

G_n(i)＝G_m(i)+New_Srgb 

【公式52】 

B_n(i)＝B_m(i)+New_Srgb 

接着，最大值/最小值确定单元1140确定输入的数据R_n、G_n以及 B_n的每一个组元的最大值和最小值。这通过图13进行了例示。图13是例示图11的最大值/最小值确定单元1140的操作的概念图。 

从后续处理单元1130输入的3×3的数据R_n、G_n以及B_n指数据RGB_n。接着，最大值/最小值确定单元1140输出对应的数据RGB_n1340以及对应组元的最小值min_RGB1320和最大值max_RGB1330。这时，min_RGB指min_R、min_G以及min_B，而max_RGB指max_R、max_G以及max_B。 

接着，噪声去除单元1150根据该阈值确定噪声去除方法，并且根据确定的噪声去除方法输出去除了噪声的数据。这将参照相关图进行说明。 

图14是例示图11的噪声去除单元1150的实施方式的详细框图。 

如图14所示，图11的噪声去除单元1150可以具有：噪声去除方法确定单元1151、zipper噪声去除单元1152以及高斯滤波单元1153。 

噪声去除方法确定单元1151预置第三阈值thr3和第四阈值thr4，这些阈值首先从先前系统确定并输入。这些阈值取决于系统。第三阈值根据对应图像是否平坦来确定，而第四阈值根据边缘级来确定。 

在从色彩插值单元1110接收到的差diff_Y小于第三阈值的情况下，噪声去除方法确定单元1151确定对应图像平坦(例如，墙部分)并且执行典型滤波。换句话说，噪声去除方法确定单元1151确定应用高斯滤波单元1153来去除噪声。高斯滤波单元1153对这个3×3的RGB数据执行高斯滤波。 

图14的高斯滤波单元的实施例可以按在参照图6的第一实施方式中的相同描述来使用。然而，应当明白，本发明不限于高斯滤波。 

如果差diff_Y等于或大于第三阈值而小于第四阈值，则噪声去除方法确定单元1151确定对应图像没有边缘并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，噪声去除方法确定单元1151将输出数据R_out、G_out以及B_out确定为数据的中心组元值。即，噪声去除方法确定单元1151确定这个范围的图像不需要去除噪声。 

如果差diff_Y等于或大于第四阈值，则噪声去除方法确定单元1151确定对应图像具有边缘并且确定执行zipper噪声去除。因此，zipper噪声 去除单元1152执行zipper噪声去除。这将参照相关图进行说明。 

图15是例示图14的zipper噪声去除单元1152的详细框图。 

如图15所示，噪声去除单元1152可以包括：第一滤波器1510、第二滤波器1520、第一绝对值检测单元1530和第二绝对值检测单元1540、求和单元1550以及处理单元1560。 

可以是3×3的滤波器的第一滤波器1510和第二滤波器1520确定输入的RGB分量的水平和垂直方向边缘分量分别为多少。针对这种情况，输入的RGB分量也为3×3的数据。图16和图17分别是例示图15的第一滤波器和第二滤波器的实施例。图18是例示输入到图16的第一滤波器和图17的第二滤波器中的数据R_n的实施例。然而，尽管图18的例示假定数据R_n被输入到第一滤波器1510和第二滤波器1520中，但相同的例示可以应用于数据G_n和B_n。 

图16的第一滤波器和图17的第二滤波器要分别确定输入的数据的水平和垂直方向边缘分量。一旦如图18所示输入数据R_n，针对同一位置处的各分量来将组元相乘。图18的符号“×”指同一位置的组元相乘。 

第一绝对值检测单元1530对第一滤波器1510的输出数据的组元求和，并且检测这些组元的和的绝对值。第一绝对值检测单元1530的输出数据根据下面的公式53来计算。 

【公式53】 

abs_S1＝abs(R7+2×R8+R9-R1-2×R2-R3) 

其中，“abs”指绝对值。第二绝对值检测单元1540对第二滤波器1520的输出数据的组元求和，并且检测这些组元的和的绝对值。第二绝对值检测单元1540的输出数据根据下面的公式54来计算。 

【公式54】 

abs_S2＝abs(R3+2×R6+R9-R1-2×R4-R7) 

求和单元1550计算第一和第二绝对值检测单元1530和1540的输出数据的和abs_S。这通过下面的公式55来表示。 

【公式55】 

abs_S＝abs_S1+abs_S2

处理单元1560输出根据求和单元1550的输出abs_S而滤波的数据Rout。如果和abs_S大于预定第五阈值，则该处理单元1560识别出存在边缘，并且确定该边缘是水平方向边缘还是垂直方向边缘。 

换句话说，如果abs_S1大于将abs_S2加至预定第六阈值而得的值，则处理单元1560将输出Rout确定为中心行的水平方向平均值，该中心行的中心被添加至权重。在这种情况下，输出Rout根据下面的公式56来计算。 

【公式56】 

$\mathrm{Rout}=\frac{R4+2\×R5+R6}{4}$

如果abs_S2大于将abs_S1加至第六阈值而得的另一值，则处理单元1560将输出Rout确定为中心列的垂直方向平均值，该中心列的中心被加至权重。在这种情况下，输出Rout根据下面的公式57来计算。 

【公式57】 

$\mathrm{Rout}=\frac{R2+2\×R5+R8}{4}$

在abs_S大于第五阈值时除非abs_S1大于将abs_S2加至第六阈值而得的值并且和abs_S2大于将abs_S1加至第六阈值而得的值，否则处理单元1560将输出Rout确定为中心行/列的水平/垂直方向平均值，该中心行/列的中心被加至权重。在这种情况下，输出Rout根据下面的公式58来计算。 

【公式58】 

$\mathrm{Rout}=\frac{4\×R5+R2+R4+R6+R8}{4}$

如果和abs_S小于第一阈值，则处理单元1560可以识别出对应图像没有边缘并且将输出Rout确定为R5，该R5是图像的中心组元的值。 

这里，第五阈值可变。第六阈值可以被确定为50，但不限于此。 

可以针对数据G_n和B_n重复上述处理，来确定Gout和Bout。 

图19是总体例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的简化框图。 

如图19所示，本发明的色彩插值装置计算差diff_Y。如果该差diff_Y 小于第一阈值，则该色彩插值装置执行双线性插值和高斯滤波。如果该差diff_Y小于第二阈值且等于或大于第一阈值，则色彩插值装置执行双线性插值并且图3的插值单元320执行插值(在图19中称为“有效插值”)。而且，如果该差diff_Y等于或大于第二阈值，则色彩插值装置执行有效插值和边缘增强。 

另一方面，本发明计算差diff_Y。如果该差diff_Y小于第三阈值，则本发明执行诸如高斯滤波的典型滤波。如果该差diff_Y小于第四阈值且等于或大于第三阈值，则本发明忽略其性能。而且，如果该差diff_Y等于或大于第四阈值，则本发明执行zipper噪声去除。 

图20是例示依照根据本发明第三实施方式确定的阈值执行的色彩插值的简化框图。 

如图20所示，在根据本发明确定阈值的色彩插值中，执行根据阈值的不同色彩插值方法。这可以根据作为图像属性的像素最大值与最小值之差(像素值差)而不同地应用。 

在图20中，第二阈值根据图像的边缘属性来确定。已经公知确定像素值差是否具有边缘属性的方法。因此，在本发明中将公开设置第一阈值的方法。 

在图20中，第三区域的目的是去除噪声。因此，第一阈值可以根据噪声来设置。这时，图像相对于外部环境的照明度的亮度典型地根据摄像机曝光来确定。这将参照相关图来描述。 

图21例示了根据环境的摄像机曝光的属性曲线。 

如图21所示，照明度从低到高的变化越大，曝光级就渐渐变得越来越小。2000lux或以上的高照明度维持恒定量的曝光。从摄像机获取的图像的噪声级根据这个摄像机的曝光级而变。图22和23例示了摄像机的噪声级相对于曝光的属性曲线。 

如图22和23所示，其典型地示出了以下趋势，即，照明度越低，噪声级呈现得越高，并且在特定照明度级或以上时噪声级保持恒定。因此，第一阈值可以根据照明度级来确定。这时，因为与外部环境相对应的照明度确定摄像机的曝光级，所以第一阈值可以根据摄像机的曝光级 来确定。下文中，将“第一阈值”称为“阈值”。 

图24是例示根据本发明的阈值确定装置的框图。 

如图24所示，本发明的阈值确定装置可以包括：标准偏差确定单元2410、最大/最小阈值确定单元2420以及阈值确定单元2430。 

标准偏差确定单元2410接收分别利用最大曝光和最小曝光拍照的平坦表面的图像，并且计算每一个噪声标准偏差。σ_maxexp指在最大曝光下的噪声标准偏差。σ_minexp指在最小曝光下的噪声标准偏差。 

最大/最小阈值确定单元2420利用从前述标准偏差确定单元2410接收到的分别在最大曝光和最小曝光下的噪声标准偏差来确定阈值的最大值和最小值。 

如果将阈值的最大值表示为“th_max”而将阈值的最小值表示为“th_min”，则该th_max和th_min分别可以根据最大噪声和最小噪声来确定。假定最大噪声在最大曝光下生成，而最小噪声在最小曝光下生成。因为最大/最小噪声分别可以根据最大曝光和最小曝光的标准偏差来计算，所以该th_max和th_min分别通过下面的公式59和60来表示。 

【公式59】 

th_max＝σ_maxexp

【公式60】 

th_min＝σ_minexp

如果噪声级较高，则必须增大阈值以去除图20的第三区域中的噪声。 

图25例示了曝光的最大值与最小值相对于照明度的曲线图，而图26例示了阈值的最大值与最小值相对于曝光的曲线图。 

如上所述，大量噪声主要出现在低照明度下，而低照明度具有高曝光值，如图25所示。因此，假定在最大曝光值Max Exposure下存在大多数噪声来设置阈值th的最大值。而且，在最小曝光值Min Exposure下设置作为阈值th的最小值的th_min，其中，曝光恒定地维持在特定照明度级处。在内部区域中，可以形成具有线性属性的阈值。因此，根据图26的曲线图属性，阈值确定单元2430可以根据下面的公式61计算取决于曝光的阈值th。

【公式61】 

$\mathrm{th}=\frac{{\mathrm{th}}_{\max }-{\mathrm{th}}_{\min }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}\·\mathrm{Exposure}+\frac{\mathrm{MaxExposure}\·{\mathrm{th}}_{\min }-\mathrm{MinExposure}\·{\mathrm{th}}_{\max }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}$

色彩插值可以利用根据上述公式61确定的阈值来执行。 

下文中，根据公式61计算出的阈值表示“第一阈值”。参照在描述第一实施方式时引用的图1到图9，对利用根据前述边缘级确定的第二阈值来执行色彩插值的方法进行说明。而且，为便于描述，尽管在该描述中使用了和第一实施方式中描述的相同的公式，但将新的标号添加至该相同的公式。 

参照图1，其中例示了应用有确定的阈值的色彩插值装置的框图，本发明的色彩插值装置可以包括：色彩插值单元110、输出/边缘属性确定单元120、RGB转换单元130以及边缘增强单元140。 

色彩插值单元110对输入的贝尔模式图像执行色彩插值。图2是例示通过图1的色彩插值单元执行的插值的简化框图。 

如图2所示，一旦输入5×5的贝尔模式图像700，本发明的色彩插值单元110就对5×5的贝尔模式图像200执行双线性插值，以获取3×3的输出图像201。3×3的输出图像201被称为R_all、G_all以及Ball。 

如果首先针对3×3的输出图像201执行本发明的插值，则将获取1像素数据202。该1像素数据202成为1像素输出数据E_R、E_G以及EB203。如果对1像素数据202执行边缘计算，则其将成为1像素输出数据E_Y204。 

如果再次对3×3的输出图像201执行边缘计算，则将获取3×3的图像Y_all205。如果对3×3的图像Y_all205执行高斯滤波，则将获取最终1像素输出数据G_Y206。另一方面，如果计算3×3的图像Y_all205的特定值(最大值与最小值之差)，则将获取1像素数据diff_Y207。 

而且，如果对3×3的图像201执行高斯滤波，则将获取作为一个输出的1像素输出数据G_R、G_G以及G_B。 

因此，色彩插值单元110可以被输入5×5的贝尔模式图像200，并且输出5个1像素数据203、204、206、207以及210。 

图3是例示图1的色彩插值单元的实施方式的详细框图。如图3所 示，本发明的色彩插值单元110可以具有：双线性插值单元310、插值单元320、第一边缘计算单元330、第二边缘计算单元340、第一高斯滤波器350、差确定单元360以及第二高斯滤波器370。 

双线性插值单元310对输入的5×5的贝尔模式图像执行双线性插值，并且输出3×3的数据。 

插值单元320对输入的3×3的数据执行色彩插值。图4例示了用于插值单元320执行的色彩插值的贝尔模式图像。参照图4，下面的描述涉及R分量R3为RG线上的中心像素的情况。然而，可以将相同的描述应用于中心像素是GB线上的B分量的情况。 

针对通过插值单元320执行的插值的情况，图4的Rn、Rw、Rs以及Re和Kr1、Kr2、Kr3以及Kr4被分别定义为下面的公式62和公式63。 

【公式62】 

$\mathrm{Rn}=\frac{R1+R3}{2}$

$\mathrm{Rw}=\frac{R2+R3}{2}$

$\mathrm{Rs}=\frac{R3+R5}{2}$

$\mathrm{Re}=\frac{R3+R4}{2}$

【公式63】 

Kr1＝G4-Rn 

Kr2＝G6-Rw 

Kr3＝G9-Rs 

Kr4＝G7-Re 

接着，按下面的公式64计算插值单元320的G分量的输出数据E_G。 

【公式64】 

$E\_G=R3+\frac{\mathrm{Kr}1+\mathrm{Kr}2+\mathrm{Kr}3+\mathrm{Kr}4}{4}$

因为插值单元320的插值方法与公知现有技术相同，所以省略了相关详细描述。 

Gwn、Gws、Ges以及Gen和Kb1、Kb2、Kb3以及Kb4被分别定义为下面的公式65和公式66，以计算插值的B分量的输出数据E_B和插 值的R分量的输出数据E_R。 

【公式65】 

$\mathrm{Gwn}=\frac{G1+G3+G6+G4}{4}$

$\mathrm{Gws}=\frac{G6+G8+G11+G9}{4}$

$\mathrm{Ges}=\frac{G7+G9+G12+G10}{4}$

$\mathrm{Gen}=\frac{G2+G4+G7+G5}{4}$

【公式66】 

Kb1＝Gwn-B1 

Kb2＝Gen-B2 

Kb3＝Gws-B3 

Kb4＝Ges-B4 

根据公式65和公式66，插值的B分量的输出数据E_B和插值的R分量的输出数据E_R分别根据公式67和公式68来确定。 

【公式67】 

$E\_B=E\_G-\frac{\mathrm{Kb}1+\mathrm{Kb}2+\mathrm{Kb}3+\mathrm{Kb}4}{4}$

【公式68】 

E_R＝R3 

另一方面，图5是例示在G分量G5是GB线中的中心像素的情况下通过图3的插值单元320执行的色彩插值的贝尔模式图像的另一简化框图。下面的描述涉及G分量为GB线中的中心像素的情况。然而，可以将相同的描述应用于中心像素是RB线中的G分量的情况。 

Gn、Gw、Gs以及Ge和Kr1、Kr2、Kb1以及Kb2被分别定义为下面的公式69和公式70，以对图5的贝尔模式图像执行色彩插值。 

【公式69】 

$\mathrm{Gn}=\frac{G1+G2+G5+G3}{4}$

$\mathrm{Gw}=\frac{G2+G4+G7+G5}{4}$

$\mathrm{Gs}=\frac{G5+G7+G9+G8}{4}$

$\mathrm{Ge}=\frac{G3+G5+G8+G6}{4}$

【公式70】 

Kr1＝Gn-R1 

Kr2＝Gs-R2 

Kb1＝Gw-B1 

Kb2＝Ge-B2 

根据公式69和公式70，针对图5的情况，分别通过公式71到公式73确定输出数据E_G、E_R以及E_B。 

【公式71】 

E_G＝G5 

【公式72】 

$E\_R=G5-\frac{\mathrm{Kr}1+\mathrm{Kr}2}{2}$

【公式73】 

$E\_B=G5-\frac{\mathrm{Kb}1+\mathrm{Kb}2}{2}$

针对中心像素是G分量、R分量或B分量的情况，如上所述确定每一个对应输出数据。 

第一边缘计算单元330对插值单元320的输出数据E_G、E_R以及E_B执行边缘计算。该边缘计算通过下面的公式74来表示。 

【公式74】 

$E\_Y=\frac{E\_R+2\×E\_G+E\_B}{4}$

其中，E_Y被定义为第一边缘计算单元330的输出数据。 

接收来自双线性插值单元310的3×3的数据的第二边缘计算单元340执行边缘计算，以对3×3的数据执行边缘检测。这种边缘计算与下面的公式75相同。 

【公式75】 

$Y\_\mathrm{all}=\frac{R\_\mathrm{all}+2\×G\_\mathrm{all}+B\_\mathrm{all}}{4}$

通过使用公式75计算输入的3×3的数据中的每一个像素而获得3×3的数据Y_all。如果3×3的数据Y_all经过第一高斯滤波器350，则它 变为1像素数据G_Y。图6是例示图3的第一高斯滤波器和第二高斯滤波器的示例。 

差确定单元360确定第二边缘计算单元340的3×3的输出数据的组元的最大值与最小值之差。这通过下面的公式76来表示。 

【公式76】 

diff_Y＝max(Y_all)-min(Y_all) 

而且，第二高斯滤波器370可以通过对双线性插值单元310的3×3的输出数据进行高斯滤波而获得输出数据G_R、G_G以及G_B。 

这样，图1的色彩插值单元110的输出数据是1像素数据E_R、E_G以及E_B，1像素数据E_Y，1像素数据G_Y，1像素数据diff_Y以及1像素数据G_R、G-G以及G_B。 

另一方面，输出/边缘属性确定单元120接收色彩插值单元110的输出数据和边缘参数，并且不仅确定RGB输出而且确定边缘增强系数和边缘标志。 

根据本发明，输出/边缘属性确定单元120预置根据公式61确定的第一阈值和根据边缘属性确定的第二阈值。这些阈值随着系统而变。 

针对从色彩插值单元110接收到的差diff_Y小于第一阈值的情况，确定对应图像平坦(例如，墙部分)，并且对应输出为第二高斯滤波器370的输出数据。即，这通过下面的公式77来表示。 

【公式77】 

R_out＝G_R 

G_out＝G_G 

B_out＝G_B 

如果差diff_Y等于或大于第一阈值而小于第二阈值，则确定对应图像没有边缘并且不平坦，即，该图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，输出/边缘属性确定单元120确定对应输出为插值单元320的输出数据并且对应边缘标志为零。在这种情况下，该输出通过下面的公式78来表示。 

【公式78】

R_out＝E_R 

G_out＝E_G 

B_out＝E_B 

如果差diff_Y等于或大于第二阈值，则确定对应图像具有边缘。而且，输出/边缘属性确定单元120确定对应输出是插值单元320的输出数据，并且对应边缘标志为1。 

输出/边缘属性确定单元120还利用输入的边缘参数生成边缘增强系数。该边缘参数包括：边缘核化、边缘增益以及边缘极限。参照图7到图9对边缘参数进行说明。 

图7到图9是例示输入到输出/边缘属性确定单元120中的边缘参数的示例。 

边缘核化不仅去除噪声状边缘分量而且防止小边缘分量如同噪声一样显示在画面上。如图7所示，从输入的边缘值中减去预定值，从而该值(含该值)之下的边缘分量变为零。 

如图8所示对经过边缘核化的边缘值执行边缘增益。通过将输出的边缘分量的所得值梯度改变成输入的边缘分量来生成较大边缘值与较小边缘值之差。因此，通过使清晰的边缘分量更清晰并且维持较小的边缘分量不变来提供更清晰且改进的图像质量。 

针对从边缘增益操作提取的边缘分量的绝对值非常大的情况，边缘极限限制了最大边缘值，以防止具有较大绝对值的边缘分量明确地显示在画面上。该边缘极限具有正限和负限。 

边缘增强系数通过边缘参数和从色彩插值单元110检测到的输出E_Y和G_Y来确定。这通过下面的公式79来表示。 

【公式79】 

Srgb＝edge_enhancement(edge_component，edge_parameter) 

其中，Srgb指边缘增强系数，而“edge_component”指E_Y与G_Y之差。该边缘增强系数是根据系统确定的称为“edge_component”的、边缘分量和边缘参数的函数。边缘增强系数值不受限制。 

因此，输出/边缘属性确定单元120输出数据R_out、G_out、B_out 以及Srgb和边缘标志。 

RGB转换单元130接收数据R_out、G_out、B_out，并且将数据R_out和B_out转换成亮度和色度YCbCr数据。这通过下面的公式80来表示。 

【公式80】 

$\left(\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.331& 0.5\\ 0.5& -0.419& -0.081\end{array}\right)\×\left(\begin{array}{c}R\\ G\\ B\end{array}\right)-\left(\begin{array}{c}0\\ 128\\ 128\end{array}\right)$

然而，因为将RGB数据转换成YCbCr数据的公式是公知的，所以该公式不限于上述公式19。转换比率可以根据图像处理系统的种类而变。 

边缘增强单元140利用从上述RGB转换单元130接收到的亮度(Y)数据、从输出/边缘属性确定单元120接收到的边缘增强系数Srgb以及边缘标志来增强边缘。 

如果该边缘标志为1，则边缘增强单元140的输出数据根据下面的公式81来计算。 

【公式81】 

Y_out＝Y+Srgb 

然而，如果边缘标志为零，则因为在上面确定对应图像没有边缘，所以边缘增强单元140的输出数据忽略Y数据。 

图27是例示依照根据本发明第四实施方式确定的阈值执行的噪声去除的简化框图。 

如图27所示，在利用根据本发明的阈值确定的噪声去除中，根据阈值而按不同方式执行噪声去除方法。这可以根据作为图像的属性的像素最大值与最小值之差(像素值差)而不同地应用。 

在图27中，对与第一区域相对应的图像执行zipper噪声去除。因此，必须将第二阈值调节成被应用至确定为边缘的区域。然而，由于传感器的特性，在稍微高的噪声级的情况下，可以通过将第二阈值调节成第一阈值而将图像中被忽略的区域(即，第二区域)控制成执行与第一区域相同的操作。然而，第一阈值需要根据摄像机的曝光级来调节。 

在图27中，第二阈值根据图像的边缘属性来确定。已经公知确定像素值差是否具有边缘属性的方法。因此，在本发明中将公开设置第一阈 值的方法。 

在图27中，第三区域的目的不是去除边缘噪声而是去除典型的图像噪声。因此，第一阈值可以根据噪声来设置。这时，典型地根据摄像机曝光来确定图像相对于外部环境照明度的亮度。这将参照图21到图23来描述，这些图在对第三实施方式的描述中被引用。 

如图21所示，照明度从低到高的变化越大，曝光状态就渐渐变得越来越小。2000lux或以上的高照明度维持恒定量的曝光。从摄像机获取的图像的噪声级根据这个摄像机的曝光级而变。图22和23例示了摄像机的噪声级相对于曝光的属性曲线。如图22和23所示，其典型地示出了这样的趋势，即，照明度越低，噪声级就呈现得越高，并且在特定的照明度级或以上噪声级保持恒定。因此，第一阈值可以根据照明度级来确定。这时，因为与外部环境相对应的照明度确定摄像机的曝光级，所以第一阈值可以根据摄像机的曝光级来设置。下文中，将“第一阈值”称为“阈值”。 

图28是例示根据本发明第四实施方式的阈值确定装置的框图。 

如图28所示，本发明的阈值确定装置可以包括：平均值确定单元2810、最大/最小阈值确定单元2820以及阈值确定单元2830。 

平均值确定单元2810接收分别利用最大曝光和最小曝光拍照的平坦表面的图像，并且根据图像的具有一致大小的蒙板随机地获取样本，并且计算每一个曝光的最大值与最小值之差。接着，平均值确定单元2810计算这些计算出的值的各平均值。这时，diff_maxexp指在最大曝光下的噪声的最大值与最小值之差的平均值。diff_minexp指在最小曝光下的噪声的最大值与最小值之差的平均值。 

最大/最小阈值确定单元2820利用从前述平均值确定单元2810接收到的分别在最大曝光和最小曝光下的噪声标准偏差来确定阈值的最大值和最小值。 

如果将阈值的最大值表示为“th_max”而将阈值的最小值表示为“th_min”，则该th_max和th_min分别可以根据最大噪声级和最小噪声级来确定。假定最大噪声在最大曝光下生成，而最小噪声在最小曝光下生成。因为最大/最 小噪声可以根据噪声标准偏差和在最大曝光和最小曝光中的每一种下的噪声的最大值与最小值之差的平均值来计算，所以该th_max和th_min分别通过下面的公式82和83来表示。 

【公式82】 

th_max＝diff_maxexp

【公式83】 

th_min＝diff_minexp

如果噪声级较高，则必须增大阈值以去除图3的第三区域中的噪声。 

如上参照图25和26所述，大量噪声主要呈现在低照明度下，而低照明度具有高曝光值。因此，假定在最大曝光值Max Exposure下存在大多数噪声来设置阈值th的最大值。而且，在最小曝光值Min Exposure下设置作为阈值th的最小值的th_min，其中，在特定照明度级下曝光保持恒定。在内部区域中，可以形成具有线性属性的阈值。因此，根据图26的曲线图属性，阈值确定单元2830可以根据下面的公式84计算取决于曝光的阈值th。 

【公式84】 

$\mathrm{th}=\frac{{\mathrm{th}}_{\max }-{\mathrm{th}}_{\min }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}\·\mathrm{Exposure}+\frac{\mathrm{MaxExposure}\·{\mathrm{th}}_{\min }-\mathrm{MinExposure}\·{\mathrm{th}}_{\max }}{\mathrm{MaxExposure}-\mathrm{MinExposure}}$

色彩插值可以利用根据上述公式84确定的阈值来执行。 

下文中，根据公式84计算出的阈值指“第一阈值”。下面，对利用根据边缘级确定的第二阈值来执行色彩插值的方法进行说明。 

图29是例示应用有根据本发明确定的阈值的噪声去除装置的框图。 

如图29所示，本发明的噪声去除装置可以具有：差计算单元2910、噪声去除方法确定单元2920、zipper噪声去除单元2930以及高斯滤波单元2940。 

下文中，尽管下面的描述采用输入到噪声去除装置中的亮度(Y)数据作为示例，但还可以使用红色/绿色/蓝色(RGB)数据。这是因为RGB数据和Y数据可以根据公式而相互简单转换。 

图29的差计算单元2910计算输入的3×3的Y数据的组元的最大值和最小值。参照图30，对差计算单元2910的操作进行说明。

图30是例示图29的差计算单元2910的操作的概念图。 

如图30所示，图29的差计算单元2910将输入的3×3的Y数据3010的最小值确定为1像素的最小值min_Y3020，而将输入的3×3的Y数据3010的最大值确定为1像素的最大值max_Y3030。max_Y3030与min_Y3020之差diff_Y3040是利用max_Y3030和min_Y3020来确定的。3×3的Y数据3050被忽略，以去除噪声。 

图31是例示图29的差计算单元2910的实施方式的详细框图。 

如图31所示，差计算单元2910可以具有：最大值确定单元2911、最小值确定单元2912以及差确定单元2913。 

最大值确定单元2911确定3×3的Y数据的组元的最大值max_Y。最小值确定单元2912确定3×3的Y数据的组元的最小值min_Y。差确定单元2913确定max_Y与min_Y之差diff_Y。 

噪声去除方法确定单元2920预置根据本发明确定的第一阈值和根据图像的边缘级确定的第二阈值。在差diff_Y小于第一阈值的情况下，噪声去除方法确定单元2920识别出输入图像没有边缘和照明度较低，并且执行典型滤波。换句话说，噪声去除方法确定单元2920确定应用高斯滤波单元2940来去除噪声。高斯滤波单元2940对这个3×3的Y数据执行高斯滤波。图6中例示了图31的高斯滤波单元2940的实施例。当然，本发明不限于高斯滤波。 

针对差diff_Y等于或大于第一阈值而小于第二阈值的情况，噪声去除方法确定单元2920确定对应图像没有边缘并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，噪声去除方法确定单元2920将输出Y_out确定为Y5。即，噪声去除方法确定单元2920确定这个区域的图像不需要去除噪声。 

如果差diff_Y等于或大于第二阈值，则噪声去除方法确定单元2920确定对应图像具有边缘并且确定执行zipper噪声去除。因此，zipper噪声去除单元2930执行zipper噪声去除。参照相关图对其进行说明。 

图32是例示图29的zipper噪声去除单元2930的实施方式的详细框图。

如图32所示，本发明的噪声去除单元2930可以包括：第一滤波器2931、第二滤波器2932、第一绝对值检测单元2933和第二绝对值检测单元2934、求和单元2935以及处理单元2936。 

可以是3×3的滤波器的第一滤波器2931和第二滤波器2932检查输入的Y分量的水平和垂直方向边缘分量分别为多少。针对这种情况，输入的Y分量数据也为3×3的数据。根据本发明的实施方式，输入诸如图30的3×3的数据3050的数据，但本发明不限于此。应当明白，可以根据输入到差计算单元2910中的数据来使用N×N的滤波器。 

已经参照图16和图17描述了图32的第一滤波器和第二滤波器的实施例。而且，已经参照图18描述了例示输入到第一滤波器和第二滤波器中的数据的实施例。 

如上所述，第一滤波器和第二滤波器要检查相应输入的Y分量数据的水平和垂直方向边缘分量。一旦如图18所示输入Y分量数据，就针对同一位置的各分量将组元相乘。图18的符号“×”指同一位置的组元相乘。 

图32的第一绝对值检测单元2933对第一滤波器2931的输出数据的相关组元求和，并且检测这些组元的和的绝对值。第一绝对值检测单元2933的输出数据根据下面的公式85来计算。 

【公式85】 

abs_S1＝abs(Y7+2×Y8+Y9-Y1-2×Y2-Y3) 

其中，“abs”指绝对值。图32的第二绝对值检测单元2934对第二滤波器2932的输出数据的相应组元求和，并且检测这些组元的和的绝对值。第二绝对值检测单元2934的输出数据根据下面的公式86来计算。 

【公式86】 

abs_S2＝abs(Y3+2×Y6+Y9-Y1-2×Y4-Y7) 

求和单元2935计算第一和第二绝对值检测单元2933和2934的输出的和abs_S。这通过下面的公式87来表示。 

【公式87】 

abs_S＝abs_S1+abs_S2

处理单元2936输出根据求和单元2935的输出abs_S而滤波的数据Y_out。如果abs_S大于第三阈值，则该处理单元2936识别出存在边缘，并且确定该边缘是水平方向边缘还是垂直方向边缘。 

换句话说，如果abs_S1大于将abs_S2加至第四阈值而得的值，则处理单元2936将输出数据Y_out确定为中心行的水平方向平均值，该中心行的中心被加至权重。在这种情况下，输出数据Y_out根据下面的公式88来计算。 

【公式88】 

$Y\_\mathrm{out}=\frac{Y4+2\×Y5+Y6}{4}$

如果abs_S2大于将abs_S1加至第四阈值而得的另一值，则处理单元2936将输出Rout确定为中心列的垂直方向平均数据，该中心列的中心被加至权重。在这种情况下，输出数据Y_out根据下面的公式89来计算。 

【公式89】 

$Y\_\mathrm{out}=\frac{Y2+2\×Y5+Y8}{4}$

在abs_S大于第三阈值时除非abs_S1大于将abs_S2加至第四阈值而得的值并且abs_S2大于将abs_S1加至第四阈值而得的值，否则处理单元2936将输出数据Y_out确定为中心行/列的水平/垂直方向平均值，该中心行/列的中心被加至权重。在这种情况下，输出数据Y_out根据下面的公式90来计算。 

【公式90】 

$Y\_\mathrm{out}=\frac{4\×Y5+Y2+Y4+Y6+Y8}{8}$

如果abs_S小于第三阈值，则处理单元2936可以识别出对应图像没有边缘并且将输出数据Y_out确定为Y5，该Y5是图像的中心组元的值。 

这里，该第三阈值可变。第四阈值可以被确定为50，但不限于此。 

同样，处理单元2936可以控制zipper噪声去除单元2930的输出数据Y_out。 

如上所述，虽然常规噪声去除方法对整个图像应用了一个噪声去除滤波器，而本发明可以通过根据图像的属性确定噪声去除方法来防止系 统损失。 

附图和具体的描述仅是本发明的示例，只是用于描述本发明而绝非对本发明的精神和范围的限制或约束。因此，本领域的任何技术人员应当理解，还可以有大量替换例和其它等同实施方式。本发明的真实范围仅由所附权利要求的精神所限定。 

如上所述，与将一个噪声去除滤波器应用于整个图像的常规噪声去除方法不同，本发明可以通过根据图像中的蒙板的像素的特定值(最大值与最小值之差)调节阈值并且应用不同的色彩插值方法来提供改进的图像质量。 

本发明还可以通过根据图像中的蒙板的像素的特定值(最大值与最小值之差)调节阈值来选择合适的色彩插值。而且，本发明可以通过将合适的色彩插值应用于R、G以及B分量而如用户所希望地有效去除噪声。然而，常规噪声去除方法对整个图像应用了一个噪声去除滤波器。 

本发明通过将噪声去除直接应用于RGB数据而还可以使得不需要去除色度分量噪声所需的一个线存储器。 

与将一个噪声去除滤波器应用于整个图像的常规噪声去除方法不同，本发明还可以通过根据由图像的曝光级造成的噪声设置阈值并且应用不同的色彩插值方法来提供改进的图像质量。 

另外，本发明可以按根据对依照曝光而输入的图像的属性进行分析所确定的阈值而应用不同的噪声去除方法。

Claims (26)

1.一种色彩插值装置，该色彩插值装置包括：

色彩插值单元，该色彩插值单元对输入的m×m的贝尔模式图像执行插值且生成并输出第一输出数据和第二输出数据，并且检测并输出第一边缘分量数据和第二边缘分量数据以及该m×m的贝尔模式图像的特定值，m是一个预定自然数；和

输出/边缘属性确定单元，该输出/边缘属性确定单元输出：

边缘增强系数，该边缘增强系数是利用边缘参数、所述第一边缘分量数据以及所述第二边缘分量数据来确定的；

该第一输出数据和该第二输出数据中的一个输出数据，所述一个输出数据是利用从该色彩插值单元接收到的该特定值和预定的多个阈值的大小关系确定的；

同时，该色彩插值单元包括：

第一插值单元，该第一插值单元对该m×m的贝尔模式图像执行双线性插值并且输出n×n的数据，n是一个预定自然数并且小于m；

第二插值单元，该第二插值单元根据该第一插值单元的该输出数据的中心像素值对该输出数据执行插值，并且输出该第一输出数据；

第一计算单元，该第一计算单元对该第二插值单元的该输出数据执行边缘检测，并且输出该第一边缘分量数据；

第二计算单元，该第二计算单元对该第一插值单元的该输出数据执行边缘检测，并且输出n×n的数据；

第一滤波单元，该第一滤波单元对该第二计算单元的该输出数据执行高斯滤波，并且输出该第二边缘分量数据；

差确定单元，该差确定单元确定该第二计算单元的该n×n的输出数据的最大值与最小值之差，并且输出确定的差作为该特定值；以及 

第二滤波单元，该第二滤波单元对该第一插值单元的该输出数据执行高斯滤波，并且输出该第二输出数据。

2.根据权利要求1所述的色彩插值装置，所述色彩插值装置还包括RGB转换单元，该RGB转换单元将红色/绿色/蓝色(RGB)数据转换成亮度(Y)/色度(C)数据。

3.根据权利要求2所述的色彩插值装置，所述色彩插值装置还包括边缘增强单元，该边缘增强单元结合该RGB转换单元转换的该亮度(Y)数据和从该输出/边缘属性确定单元接收到的边缘标志，通过使用该边缘增强系数来执行边缘增强处理，

而该边缘标志是从该输出/边缘属性确定单元输出以确定是否利用该边缘增强系数来执行该边缘增强处理的。

4.根据权利要求1所述的色彩插值装置，其中，如果该特定值小于根据图像的平坦级确定的预定第一阈值，则该输出/边缘属性确定单元输出该第二输出数据。

5.根据权利要求4所述的色彩插值装置，其中，如果该特定值等于或大于该第一阈值而小于根据图像的边缘级确定的预定第二阈值，则该输出/边缘属性确定单元输出该第一输出数据和该边缘标志，该边缘标志指示未确定执行该边缘增强处理。

6.根据权利要求5所述的色彩插值装置，其中，如果该差等于或大于该预定第二阈值，则该输出/边缘属性确定单元输出该第一输出数据和该边缘标志，该边缘标志指示确定执行该边缘增强处理。

7.根据权利要求1所述的色彩插值装置，其中，该边缘参数包括边缘核化、边缘增益、边缘正限以及边缘负限中的至少一个。

8.一种色彩插值装置，该色彩插值装置包括：

色彩插值单元，该色彩插值单元对输入的m×m贝尔模式图像执行插值，并生成第一输出数据和第二输出数据，检测图像的第一边缘分量数据和第二边缘分量数据，并且检测该第一边缘分量数据与该第二边缘分量数据的组元的最大值与最小值之差，其中m是预定的自然数；

输出/边缘属性确定单元，该输出/边缘属性确定单元根据来自该色彩 插值单元的该差确定输出数据，并且利用该第一边缘分量数据和该第二边缘分量数据以及一边缘参数来确定边缘增强系数；

最大值/最小值确定单元，该最大值/最小值确定单元确定该输出/边缘属性确定单元的该输出数据的组元的最大值和最小值；以及

噪声去除单元，该噪声去除单元根据从该色彩插值单元接收到的该差以及从该最大值/最小值确定单元接收到的该最大值和该最小值确定图像数据的噪声去除方法，并且执行对应的噪声去除；

该色彩插值单元包括：

第一插值单元，该第一插值单元对该m×m的贝尔模式图像执行双线性插值并且输出n×n的数据，n是一个预定自然数并且小于m；

第二插值单元，该第二插值单元根据该第一插值单元的该输出数据的中心像素值对该输出数据执行插值，并且输出该第一输出数据；

第一计算单元，该第一计算单元对该第二插值单元的该输出数据执行边缘检测，并且输出该第一边缘分量数据；

第二计算单元，该第二计算单元对该第一插值单元的该输出数据执行边缘检测，并且输出n×n的数据；

第一滤波单元，该第一滤波单元对该第二计算单元的该输出数据执行高斯滤波，并且输出该第二边缘分量数据；

差确定单元，该差确定单元确定该第二计算单元的该n×n的输出数据的最大值与最小值之差；以及

第二滤波单元，该第二滤波单元对该第一插值单元的该输出数据执行高斯滤波，并且输出该第二输出数据。

9.根据权利要求8所述的色彩插值装置，其中，该色彩插值单元包括：

第一插值单元，该第一插值单元对输入的77的贝尔模式图像执行双线性插值，并且输出5×5的数据；

第二插值单元，该第二插值单元根据该第一插值单元的输出数据的 中心像素值对该输出数据执行插值，并且输出3×3的第一输出数据；

第一计算单元，该第一计算单元对该第二插值单元的该输出数据执行边缘检测，并且输出3×3的该第一边缘分量数据；

第二计算单元，该第二计算单元对该第一插值单元的该输出数据执行边缘检测，并且输出5×5的数据；

第一滤波单元，该第一滤波单元对该第二计算单元的输出数据执行高斯滤波，并且输出3×3的该第二边缘分量数据；

差确定单元，该差确定单元确定该第二计算单元的5×5的输出数据的最大值与最小值之差；以及

第二滤波单元，该第二滤波单元对该第一插值单元的该输出数据执行高斯滤波，并且输出3×3的第二输出数据。

10.根据权利要求9所述的色彩插值装置，其中，如果该差小于根据图像是否平坦确定的预定第一阈值，则该输出/边缘属性确定单元输出该第二输出数据。

11.根据权利要求10所述的色彩插值装置，其中，如果该差等于或大于该第一阈值而小于根据图像的边缘级确定的预定第二阈值，则该输出/边缘属性确定单元输出该第一输出数据和边缘标志0。

12.根据权利要求11所述的色彩插值装置，其中，如果该差等于或大于该第二阈值，则该输出/边缘属性确定单元输出该第一输出数据和边缘标志1。

13.根据权利要求12所述的色彩插值装置，所述色彩插值装置还包括后续处理单元，该后续处理单元在该边缘标志为1的情况下利用该边缘增强系数分别对输入的3×3的RGB数据执行边缘增强。

14.根据权利要求13所述的色彩插值装置，其中，该后续处理单元包括：

符号生成单元，该符号生成单元确定并生成该边缘增强系数的符号；

后续处理常数生成单元，该后续处理常数生成单元根据将每一个输入的RGB数据添加至该边缘增强的相关值的范围来确定后续处理常数；

最小值生成单元，该最小值生成单元生成通过该后续处理常数生成 单元生成的该后续处理常数的RGB分量的最小值；

新边缘增强系数生成单元，该新边缘增强系数生成单元利用从该符号生成单元和该最小值生成单元接收到的数据生成一新的边缘增强系数；以及

输出单元，该输出单元利用该新的边缘增强系数输出该输入的RGB数据的具有增强边缘的数据。

15.根据权利要求8所述的色彩插值装置，其中，该噪声去除单元包括：

噪声去除方法确定单元，该噪声去除方法确定单元根据从该色彩插值单元接收到的该差来确定图像数据的噪声去除方法；

第一滤波单元，该第一滤波单元对来自该最大值/最小值确定单元的该图像数据执行滤波；以及

Zipper噪声去除单元，该Zipper噪声去除单元对从该最大值/最小值确定单元接收到的该图像数据执行zipper噪声去除滤波。

16.根据权利要求15所述的色彩插值装置，其中，如果该差小于根据图像是否平坦而确定的预定第三阈值，则该噪声去除方法确定单元确定将该图像数据输入到该噪声去除单元的所述第一滤波单元中并且执行滤波。

17.根据权利要求16所述的色彩插值装置，其中，该噪声去除单元的所述第一滤波单元是高斯滤波器。

18.根据权利要求16所述的色彩插值装置，其中，如果该差等于或大于该第三阈值而小于根据图像的边缘级确定的预定第四阈值，则该噪声去除方法确定单元确定从该最大值/最小值确定单元接收到的该图像数据的中心组元的值作为输出。

19.根据权利要求18所述的色彩插值装置，其中，如果该差等于或大于该第四阈值，则该噪声去除方法确定单元确定将从该最大值/最小值确定单元接收到的该图像数据输入到该Zipper噪声去除单元中并且执行滤波。

20.根据权利要求19所述的色彩插值装置，其中，该Zipper噪声 去除单元包括：

第一滤波器，该第一滤波器确定该图像数据的水平方向边缘；

第二滤波器，该第二滤波器确定该图像数据的垂直方向边缘；

第一绝对值检测单元，该第一绝对值检测单元检测该第一滤波器的输出数据的组元之和的绝对值abs_S1；

第二绝对值检测单元，该第二绝对值检测单元检测该第二滤波器的输出数据的组元之和的绝对值abs_S2；

求和单元，该求和单元计算该第一绝对值检测单元的输出数据和该第二绝对值检测单元的输出数据之和abs_S；以及

处理单元，该处理单元根据该求和单元的输出数据确定相关输出数据。

21.根据权利要求20所述的色彩插值装置，其中，该第一滤波器被形成为下表：

  -1   -2   -1   0   0   0   1   2   1 。

22.根据权利要求20所述的色彩插值装置，其中，该第二滤波器被形成为下表：

  -1   0   1   -2   0   2   -1   0   1 。

23.根据权利要求20所述的色彩插值装置，其中，如果该abs_S小于预定第五阈值，则该处理单元确定输出数据为该图像数据的中心组元 的值。

24.根据权利要求23所述的色彩插值装置，其中，如果该abs_S大于该第五阈值并且该abs_S1大于将该abs_S2和预定第六阈值相加所得的值，则该处理单元确定输出数据为中心行的水平方向平均值，该中心行的中心被加至权重。

25.根据权利要求24所述的色彩插值装置，其中，如果该abs_S大于该第五阈值并且该abs_S2大于将该abs_S1和预定第六阈值相加所得的值，则该处理单元确定输出数据为中心列的垂直方向平均值，该中心列的中心被加至权重。

26.根据权利要求24所述的色彩插值装置，其中，

如果：该abs_S大于该第五阈值；并且

该abs_S1小于将该abs_S2与该第六阈值相加所得的值或该abs_S2小于将该abs_S1与该第六阈值相加所得的值，

则该处理单元确定输出数据为中心行/中心列的水平方向平均数据/垂直方向平均值，该中心行/中心列的中心被加至权重。 

Images