CN101707722B - 图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理方法，包括：设置边缘强度值计算部4，其根据利用特征值计算部3计算出的微小区域的特征值，来计算所关注的像素附近的边缘强度值；边缘强度值校正部5，根据边缘强度值校正曲线，对边缘强度值计算部4计算出的边缘强度值进行校正；以及，滤波值计算部6，根据与该所关注的像素具有相同颜色分量的周围像素的图像信号值，计算该所关注的图像的低通滤波值。通过使用校正前后的边缘强度值，对所关注的像素的图像信号值和低通滤波值执行加权相加，从而对该所关注的像素的图像信号值进行校正。

Description

图像处理方法

本申请为申请日为2004年2月19日、申请号为200480027185.X、发明名称为“图像处理方法”的专利申请的分案申请。 

技术领域

本发明涉及去除包含在拍摄元件所拍摄的图像信号内的噪声的图像处理方法。 

背景技术

在一般的图像处理装置中，安装有3个分别贴附了作为3原色的R分量滤色镜、G分量滤色镜以及B分量滤色镜的CCD等二维拍摄元件。 

于是，图像处理装置采用了以下多板式的拍摄方法：利用分光棱镜等对在1次拍摄中从光学系统入射的被拍摄体的光学像进行分光，使分光后的光学像入射到3个二维拍摄元件上，从而得到一个画面的全色图像信息。 

与此相对，具有在二维配置的像素中的每个像素内安装有一个贴附了R分量滤色镜、G分量滤色镜、或B分量滤色镜之一的二维拍摄元件的图像处理装置。 

对于该图像处理装置而言，由于从各像素仅仅得到了一种颜色的颜色信号(R色、G色或B色中的任何一种颜色的颜色信号)，因此，采用以下单板式的摄影方法：通过利用该像素的周围像素的颜色信号进行运算而求取出未得到的两种颜色的颜色信号，以近似的方式得到各像素的全色图像信息。 

单板式的摄影方法与多板式的拍摄方法相比，由于包含拍摄元件 的光学部件数目变少，从而可以以小型且低价的方式构成装置，因此在民用的数字静态照相机和数字摄像机等中被广泛采用。 

如上所述，单板式摄影方法通过利用由贴附了原色滤色镜的单板式拍摄元件所拍摄的图像信息来实施颜色信号的插值处理、并生成非拍摄色信号，而得到了全色图像，但是，为了最终进行画面显示或JPEG·MPEG等图像压缩处理，利用该颜色插值处理所生成的各像素的R、G、B信号被转换为亮度色差信号，并且通常被施以对由图像压缩前的亮度色差信号构成的图像执行降噪和轮廓强调等处理的滤波处理。 

在下述的专利文献1、2中所述的现有图像处理方法中，在拍摄装置使用3板式拍摄元件的情况下，亮度色差分离电路实施转换为亮度色差信号的转换处理，而在拍摄装置使用单板式的拍摄元件的情况下，亮度色差分离电路在实施了上述颜色插值处理之后，实施转换为亮度色差信号的转换处理。 

之后，通过对经亮度色差分离电路转换而成的亮度色差信号实施轮廓强调处理和被称为核化降噪(coring)的降噪处理等，来降低噪声。 

在下述专利文献3中所述的现有图像处理方法中，尽管在对由单板式拍摄元件拍摄的图像实施颜色插值处理时实施了降噪处理，但由于在通过实施颜色插值处理生成所有像素的亮度信号后实施了规定的低通滤波，因此不能防止因实施颜色插值处理而产生的噪声的扩散。为了就颜色插值处理后的亮度信号构成降噪处理用的像素窗，需要附加的线缓冲器(line buffer)。 

另外，在下述专利文献4中所述的现有图像处理方法中，公开了在对单板式拍摄元件所拍摄的图像实施颜色插值处理之前执行噪声去除处理的技术，使噪声不会因颜色插值处理而被扩散，从而可以降低噪声。 

但是，由于仅仅使用与存在于规定区域内的所关注的像素具有相同颜色分量的像素来执行噪声水平检测和校正值运算，因此，在相邻 的不同拍摄颜色的像素间检测出的噪声水平、特别是在颜色边缘(edge)上会产生差异，从而损坏了画面内的降噪处理的连续性，并使画质丧失了的稳定感。另外，在检测噪声电平时，递归地使用已处理过的邻接的同色像素中的噪声电平值，但对降低与邻接像素无关地产生的随机噪声收效甚微。另外，利用模糊函数，将噪声电平高的区域判断为作为图像信息是有意义的边缘而不执行降噪处理，但是不能降低在与该边缘邻接的像素中产生的噪声，并且通过在后续阶段中通常使用的轮廓强调处理而使该噪声得到加强。 

(专利文献1)日本专利第2787781号 

(专利文献2)日本特开2001-177767号公报 

(专利文献3)日本特开2003-87809号公报 

(专利文献4)日本特开2003-153290号公报 

由于以往的图像处理方法是如上所述构成的，因此，在拍摄元件实施光电转换时，叠加在图像信号中的噪声、叠加在光电转换后的模拟信号中的噪声(在模拟信号处理电路中产生的噪声)因颜色插值处理而向所关注的像素的周围扩散。为此，随着拍摄元件的像素数的增加、每个元件的感光面积的减小，灵敏度降低，从而带来了不能充分降低相对增大的噪声的问题。 

即，通过对亮度噪声实施核化降噪、对颜色噪声实施低通滤波处理，能够在某种程度上降低噪声，但是，在实际拍摄的图像中，产生的是遍及整个图像的随机噪声而不是点噪声(spot noise)。为此，由于颜色插值处理而扩散的噪声分量彼此之间相互重叠、且本来的图像信号被埋没在噪声中，因此难以在转换为亮度色差信号后去除亮度噪声和颜色噪声。 

本发明是为解决上述问题而作出的，目的在于得到一种使重叠在所关注的像素上的噪声不能向周围像素扩散、从而能够充分降低该噪声的图像处理方法。 

发明内容

依据本发明的图像处理方法设置了以下两个步骤：边缘强度值计算步骤，根据在特征值计算步骤中计算出的微小区域的特征值，计算所关注的像素附近的边缘强度值；以及，滤波值计算步骤，根据与该所关注的像素具有相同颜色分量的周围像素的图像信号值，计算出该所关注的像素的低通滤波值，然后使用在该边缘强度值计算步骤中计算出的边缘强度值和在该滤波值计算步骤中计算出的低通滤波值，对该所关注的像素的图像信号值进行校正。 

通过采取上述方法，具有了使重叠在所关注的像素上的噪声不能扩散到周围像素上、从而能够充分降低该噪声的效果。 

附图说明

图1是表示应用本发明实施方式1的图像处理方法的图像处理装置的结构图。 

图2是表示依据本发明实施方式1的图像处理方法的流程图。 

图3是表示单板式拍摄元件中的滤色镜配置的说明图。 

图4是表示G信号的线性插值的说明图。 

图5是表示B信号的线性插值的说明图。 

图6是表示R信号的线性插值的说明图。 

图7是表示像素窗等的说明图。 

图8是表示特征值窗的说明图。 

图9是表示加权系数的说明图。 

图10是表示边缘强度校正曲线的说明图。 

图11是表示特征值窗的说明图。 

图12是表示亮度信号和色差信号等的说明图。 

图13是表示亮度信号和色差信号等的说明图。 

图14是表示本发明实施方式3的图像处理方法的流程图。 

图15表示周围像素的G分量分布的说明图。 

图16是表示应用了本发明实施方式4的图像处理方法的像素处理装置的结构图。 

图17是表示本发明实施方式4的图像处理方法的流程图。 

图18是表示2值化分布的说明图。 

图19是表示实施方式4的降噪处理等的说明图。 

具体实施方式

以下，为了更详细地说明本发明，将参照附图来说明用于实施本发明的最佳方式。 

实施方式1 

图1是一张结构图，它表示应用本发明实施方式1的图像处理方法的图像处理装置。在图中，图像数据输入部1向二维配置的各像素输入由配置了3原色中的任何一种颜色的滤色镜的拍摄元件所拍摄到的拍摄色信号(图像信号值)。区域切出部2从拍摄元件的拍摄区域中切出以实施降噪处理的所关注像素为中心的规定区域，并提取出该规定区域的拍摄色信号。特征值计算部3根据由区域切出部2提取出的规定区域的拍摄色信号，计算规定区域内的微小区域的特征值。即，特征值计算部3使用从与规定区域内的微小区域相对应的R分量滤色镜、G分量滤色镜以及B分量滤色镜中输出的拍摄色信号，计算该微小区域的特征值。 

边缘强度值计算部4根据由特征值计算部3计算出的微小区域的特征值，来计算所关注像素附近的边缘强度值。边缘强度值校正部5按照边缘强度校正曲线，对由边缘强度值计算部4计算出的边缘强度值进行校正。 

滤波值计算部6根据与所关注像素具有相同颜色分量的周围像素的拍摄色信号，来计算该所关注像素的低通滤波值。 

图像信号值校正部7使用由边缘强度值计算部4计算出的边缘强度值、由边缘强度值校正部5校正过的边缘强度值，对所关注的像素的图像信号值和低通滤波值执行加权相加，由此，对该所关注的像素的图像信号值进行校正。 

图2是表示根据本发明实施方式1的图像处理方法的流程图。 

接下来，将就其操作进行说明。 

设本实施方式1的图像处理装置使用了如图3所示的R、G、B3原色的滤色镜被配置为贝尔(Bayer)型的单板式拍摄元件。 

图3中的R信号、G信号、B信号是在光电转换元件的各像素位置上采样得到的拍摄色信号。R表示红色(R信号)、G表示绿色(G信号)、B表示蓝色(B信号)。 

首先，简单说明通过使用作为贴附了原色滤色镜的单板式拍摄元件的拍摄结果的拍摄色信号来实施颜色插值处理而生成非拍摄色信号、并得到全色图像的顺序。但是，该实施方式1的图像处理装置在实施了后述的降噪处理之后，实施颜色插值处理，以得到全色图像。 

在根据如图3所示配置了滤色镜的拍摄元件的拍摄结果而生成了各像素具有RGB全部分量的全色图像的情况下，有必要生成除各像素的过滤色(拍摄色)以外的、2种颜色的非拍摄色信号。 

例如，若将注意力仅集中在G信号上，则在拍摄元件的拍摄结果中，仅在图4所示的位置上存在G信号(在图4中用大写字母来表示)的拍摄色信号。在以往的一般的线性插值法中，通过根据上下左右4个像素的G信号的平均值来计算不存在G信号的中央像素的G信号电平(在图4中用小写字母“g”来表示)，以执行插值，从而得到所有像素的G信号。 

若将注意力仅集中在B信号上，则如图5所示，根据上下像素的B信号生成其中间的像素的b1信号、并执行内插，根据上下左右的像素的B信号生成其中央的像素的b2信号、并执行内插，进而根据左右像素的B信号生成其中间的像素的b3信号、并执行内插，由此得到所有像素的B信号。 

即便在R信号中，如图6所示，使用与B信号相同的方法，得到所有像素的R信号。 

由此，在所有像素中，都能够得到R、G、B信号。 

接下来，具体说明利用该实施方式1的图像处理装置所执行的降噪处理。 

首先，图像数据输入部1输入作为由单板式拍摄元件所拍摄到的各像素的拍摄色信号的图像信号值。 

在图像数据输入部1输入了各像素的拍摄色信号后，区域切出部2如图7(a)所示，从拍摄元件的拍摄区域中切出以实施降噪处理的所关注像素P(2，2)为中心的5×5像素的规定区域(以下，称为像素窗)，并输出该像素窗内的像素的拍摄色信号。 

这里，图7(b)(c)(d)是表示实际切出的像素窗内的像素配置的说明图。随着所关注像素是G分量、R分量或B分量的情况，存在这3种情况。 

特征值计算部3在从区域切出部2接受了像素窗内的像素的拍摄色信号后，计算其像素窗内的微小区域的特征值。 

即，特征值计算部3在以所关注像素P(2，2)为中心的像素窗中，定义了包含P(i，j)、P(i+1，j)、P(i，j+1)、P(i+1，j+1)(其中，0≤i≤3、0≤j≤3)这4像素的区域，作为包含R分量、G分量以及B分量的微小区域。 

然后，特征值计算部3针对每个微小区域，将构成该微小区域的像素的拍摄色信号代入下述式(1)内，计算出特征值D(i，j)(步骤ST1)。 

D(i，j)＝(P(i，j)+P(i+1，j)+P(i，j+1)+P(i+1，j+1))/4    (1) 

就像素窗全体而言，通过执行式(1)，产生图8所示的4×4特征值窗。 

例如，若i＝0，j＝0，则构成微小区域的像素就变为P(0，0)、P(1，0)、P(0，1)和P(1，1)，其微小区域的特征值就变为D(0，0)。 

若i＝2，j＝2，则构成微小区域的像素就变为P(2，2)、P(3，2)、P(2，3)和P(3，3)，其微小区域的特征值就变为D(2，2)。 

边缘强度值计算部4在特征值计算部3计算出各微小区域的特征值后，根据各微小区域的特征值，计算出所关注像素附近的边缘强度值(以下，称为输入边缘强度值Ed1)(步骤ST2)。 

即，边缘强度值计算部4在对图8的特征值窗内的特征值，例如 是乘以了图9所示的加权系数后，如下式(2)所示对各相乘结果进行相加，以计算出特征值窗中的输入边缘强度值Ed1。 

Ed1＝|3×(D(1，1)+D(1，2)+D(2，1)+D(2，2))-(D(0，0)+D(1，0)+D(2，0)+D(3，0)+D(0，1)+D(3，1)+D(0，2)+D(3，2)+D(0，3)+D(1，3)+D(2，3)+D(3，3))| 

                                                (2) 

边缘强度值校正部5在边缘强度值计算部4计算出输入边缘强度值Ed1后，按照预定的边缘强度校正曲线(参照图10)，对输入边缘强度值Ed1进行校正，并输出输出边缘强度值Kout作为校正后的输入边缘强度值Ed1(步骤ST3)。 

即，边缘强度值校正部5如下式(3)所示，将输入边缘强度值Ed1代入表示边缘强度校正曲线的函数f中，从而计算出输出边缘强度值Kout。 

Kout＝f(Ed1)                    (3) 

表示边缘强度校正曲线的函数f(Ed1)如图10所示，是这样一种函数：若输入边缘强度值Ed1变大，则输出与该输入边缘强度值Ed1成比例的输出边缘强度值Kout，若其输入边缘强度值Ed1变小，则输出更小的输出边缘强度值Kout。图10中的虚线表示输入输出为线性的情况。 

这里，尽管显示了预先设定的、如图10所示的边缘强度校正曲线，但并不限于此。即，也可以根据输入边缘强度值Ed1，对边缘强度校正曲线进行细分，对该边缘强度校正曲线的各区间进行直线近似。由此，有可能将计算输出边缘强度值Kout时的运算从2次或2次以上的高次算式置换为1次算式，从而可以减小利用电子电路来实现本图像处理方法时的电路规模。在利用程序来实现本图像处理方法的情 况下，能够得到实现运算高速化的效果。 

将对应于输入边缘强度Ed1的输出边缘强度值Kout预先存储到查找表等存储器内，边缘强度校正部5也可以参照与输入边缘强度值Ed1相对应的输出边缘强度值Kout。 

滤波值计算部6在接受了来自区域切出部2的像素窗内的像素的拍摄色信号后，向下式(4)中代入与所关注像素具有相同颜色分量的周围像素的拍摄色信号，并执行运算，由此计算出该所关注像素的低通滤波值Plpf(步骤ST4)。 

Plpf＝(P(0，0)+P(2，0)+P(4，0)+P(0，2)+P(4，2)+P(0，4)+P(2，4)+P(4，4))/8 

(4) 

图像信号值校正部7在滤波值计算部6计算出所关注像素的低通滤波值Plpf后，如下式(5)所示，使用边缘强度值计算部4计算出的输入边缘强度值Ed1，以及边缘强度值校正部5计算出的输出边缘强度值Kout，对作为所关注像素P(2，2)的拍摄色信号的图像信号值和低通滤波值Plpf进行加权相加，由此对该所关注像素P(2，2)的图像信号值进行校正。 

P’(2，2)＝{Kout×P(2，2)+(Ed1-Kout)×Plpf}/Ed1    (5) 

由此，降低了包含在拍摄元件的拍摄结果内的噪声，下面为了明确其效果而使用具体数值来进行说明。这里，我们假定以下情况来进行说明：在利用图13(a)的拍摄元件执行拍摄时，产生了如图13(b)所示的噪声。但是，为了便于说明，设使用0-255共256级数值来表示拍摄元件的拍摄结果。 

在这种情况下，特征值计算部3通过运算式(1)来生成图11所示的特征值窗D(i，j)。 

边缘强度值计算部4通过运算式(2)而计算出特征值窗中的输入 边缘强度值Ed1。 

Ed1＝3×(2+2+2+2)-0＝24 

边缘强度值校正部5通过运算式(3)，计算输出边缘强度值Kout。在设定了图10的边缘强度校正曲线的情况下，在输入边缘强度值Ed1为“24”时，输出边缘强度值Kout变为“6”。 

Kout＝f(24)＝6 

滤波值计算部6通过运算式(4)，计算出所关注像素的低通滤波值Plpf。 

Plpf＝(0+0+0+0+0+0+0+0)/8＝0 

图像信号校正部7通过运算式(5)，对该所关注像素P(2，2)的图像信号值进行校正。 

P’(2，2)＝{6×8+(24-6)×0}/24＝2 

使用以上方法，我们可以看到，拍摄元件的拍摄结果内所包含的噪声分量从“8”减少到“2”。 

如上所述，在实施了降噪处理之后实施上述的颜色插值处理后，拍摄元件的拍摄结果变为图12所示。 

即，在将实施了降噪处理后的图12(a)的拍摄结果作为输入而实施了颜色插值处理后，如图12(b)(c)(d)所示，插值生成了R色分量、G色分量和B色分量。 

然后，使用下述所示的一般变换式，来生成亮度色差信号。 

Y＝0.29900×R+0.58700×G+0.11400×B    (6) 

Cb＝-0.16874×R-0.33126×G+0.50000×B+128 

Cr＝0.50000×R-0.41869×G-0.08131×B+128 

这里，Y表示亮度信号，Cb和Cr表示色差信号。但是，就色差信号而言，为了便于以后的运算而加上128，从而全部变为正值。 

如此，在按照式(6)而产生了亮度色差的情况下，亮度信号变为图12(e)所示，色差信号变为图12(f)(g)所示。 

另一方面，如以往的例子那样，在实施降噪处理之前实施颜色插值处理的情况下，即，在输入图13(b)的拍摄结果后实施颜色插值处理 时，如图13(c)(d)(e)所示，插值生成了R色分量、G色分量以及B色分量。 

之后，与上述情况相同，在使用式(6)的变换式生成了亮度色差信号时，亮度信号变成图13(f)所示的样子，色差信号变为图13(g)(h)所示的样子。 

比较图12和图13，我们可以看出：使用该实施方式1的图像处理方法，除了有效地降低所关注像素的亮度噪声和颜色噪声外，还如以往例子那样，扩散到所关注像素的周围的噪声分量没有进行扩散地执行了颜色插值处理和亮度色差变换处理。 

正如从以上可以看出的那样，根据该实施方式1，设置了：边缘强度值计算部4，其根据特征值计算部3计算出的微小区域的特征值，来计算所关注像素附近的边缘强度值；强度值校正部5，按照边缘强度校正曲线，对边缘强度值计算部3计算出的边缘强度值进行校正；以及，滤波值计算部6，根据与该关注像素具有相同颜色分量的周围像素的图像信号值，来计算该关注像素的低通滤波值。由于被构成为通过使用校正前后的边缘强度值对所关注像素的图像信号值和低通滤波值执行加权相加，从而对该所关注像素的图像信号值执行校正，因此，能够实现不使重叠在所关注像素上的噪声向周围像素扩散，就能充分降低其噪声的效果。 

实施方式2 

在上述实施方式1中，描述了运算式(1)来计算出微小区域的特征值，但同样，也可以适当选择包含所有R分量、G分量和B分量的特征值计算方法。即，作为特征值的计算方法，只要是包含了全体颜色分量的方法即可，则并不限于式(1)，例如，即便是对像素窗内的每个颜色分量的边缘检测结果执行加权相加的方法，也能得到一定的效果。 

具体地，在所关注像素周围包含有彩色的边缘的情况下，为了维持与邻接的其他颜色像素的边缘检测结果的连续性、以及噪声除去效果的连续性，该方法是有效的。 

在上述实施方式1中，描述了在执行拍摄数据的边缘检测时，将根据式(1)计算出的特征值乘以图9的加权系数，并如式(2)所示，将各相乘结果进行相加运算，但并不仅限于此。 

即，通过按照检测出的噪声的空间频率特性，使用或并用相当于上述实施方式1所示的方法以外的边缘强度值的参数，从而可能提高噪声检测的自由度，并提高检测精度。 

例如，将图7(a)的所关注像素窗的全体作为微小区域，对像素窗内的相同颜色分量的每个像素，计算1次微分值和2次微分值等，并按颜色来推定周围像素中的边缘分布，并将其加到边缘强度值Ed1上，从而能够使其得到反映。作为一个例子，在所关注像素为R像素位置的情况下，如下式所示，计算边缘强度值Ed1’。 

EdR＝|4×P(2，2)-P(2，0)-P(0，2)-P(4，2)-P(2，4)|(7) 

EdG＝|P(2，1)-P(2，3)|+|P(1，2)-P(3，2)| 

EdB＝|P(1，1)-P(3，3)|+|P(3，1)-P(1，3)| 

Ed1’＝(Ed1+EdR+EdG+EdB)/4 

其中，EdR表示R色分量的输入边缘强度值，EdG表示G色分量的输入边缘强度值，EdB表示B色分量的输入边缘强度值。Ed1是根据式(2)计算出的特征值窗内的输入边缘强度值。 

在上述实施方式1中，描述了在按照根据式(1)计算出的特征值执行边缘检测时，乘以图9的加权系数的情况，但并不仅限于此。 

即，即便使用根据式(1)计算出的特征值的1次微分值和2次微分值等可进行边缘检测的其他滤波系数，也可以得到同样的效果。 

另外，在上述实施方式1中，如图7(a)所示，以所关注的像素为中心的5×5的像素窗为例进行了说明，但并不仅限于此。 

即，能够任意设置7×7像素或7×5像素等，图8的特征值窗的形状和各算式也能够与其相吻合地发生变化。 

在上述实施方式1中，描述了运算式(4)来求取所关注像素的低通滤波值Plpf，但并不仅限于此。 

即，也可以就图7(a)中所关注的像素P(2，2)，仅仅利用存在于水 平和垂直方向上的像素来进行计算。或者是，也可以对水平、垂直以及斜方向的像素值执行加权相加。或者是，在运算式(5)来计算所关注像素的图像信号值的校正值P’(2，2)时，也可以预先将所关注像素P(2，2)加权相加到低通滤波值Plpf上，以便所关注像素P(2，2)的分量不为0。根据拍摄结果的特性和执行降噪处理的目的，而能够多样地变化。 

在上述实施方式1中，描述了在运算式(5)来计算所关注像素的图像信号值的校正值P’(2，2)时，对所关注像素P(2，2)的图像信号值和低通滤波值Plpf执行加权相加，但并不仅限于此。 

即，在图像处理装置的后级，也可以以执行轮廓强调处理为前提，在式(5)的运算中，代替所关注像素P(2，2)，使用与实施了比低通滤波值Plpf更弱的低通滤波的所关注像素P(2，2)靠近的像素的图像信号值，来执行与低通滤波值Plpf的加权相加。 

以这种方式，能够成为这样一种结构：在全部画面内减轻了边缘而形成了软图像后，利用轮廓强调处理来补偿边缘的锐度。 

实施方式3 

在上述实施方式1中，描述了在实施了降噪处理后实施颜色插值处理，但是，由于上述实施方式1中的降噪处理必须形成以所关注像素为中心的像素窗，因此，在利用电子电路来实现的情况下，至少需要多条线的线缓冲器。 

但是，若在具有线缓冲器1的其他图像处理内配置了降噪处理，则没有必要具有用于降噪的附加的线缓冲器，从而能够起到将装置价格的上升抑制到最小的效果。 

图14是一张流程图，它表示利用本发明实施方式3的图像处理方法。该图表示了在实施颜色插值处理时实施降噪处理的方法。 

作为颜色插值处理的方法，线性插值法是最简单的方法，在一般的图像处理装置中，一般会使用进一步提高画质的复杂方法。例如，以日本特开2003-134523号公报中所公开的颜色插值处理的方法为例来进行说明。 

在日本特开2003-134523号公报中公开了以下颜色插值方法：通过在拍摄元件的拍摄结果中，基于与插值生成的颜色分量不同的参考色(颜色信号)在微小区域中的变化量，将其作为插值生成的颜色的推定变化量，来决定偏移量，从而忠实地再现边缘的凹凸，来实现高清晰度的颜色插值。 

具体而言，公开了执行从第一阶段到第三阶段的处理的结构，作为第一阶段的处理，执行拍摄元件的拍摄结果是R分量的像素(以下，称为R像素位置)中的G分量的生成、以及拍摄元件的拍摄结果是B分量的像素(以下，称为B像素位置)中的G分量的生成。 

作为第二阶段的处理，执行拍摄元件的拍摄结果是G分量的像素(以下，称为G像素位置)中的R分量和B分量的生成。 

作为第三阶段的处理，执行R像素位置上的B分量的生成、以及B像素位置上的R分量的生成。 

在第二阶段和第三阶段的处理中，描述了执行分别将前一阶段为止所插值生成的颜色信号再利用为参考色的颜色插值的结构。因此，在利用电子电路来实现日本特开2003-134523号公报中所公开的颜色插值处理的方法的情况下，为了为每个阶段形成处理窗，以及为了使原始像素和前级生成的像素延迟，而需要至少具有几条线的线缓冲器。在第一阶段中，成为需要5线的线缓冲器的结构。在本实施方式3中，对将颜色插值处理的第一阶段所用的5线缓冲器共用为降噪处理用缓冲器的例子进行说明。 

接下来，将就其操作进行说明。 

在拍摄元件的拍摄结果被输入到图中未示的颜色插值处理部中后，该颜色插值处理部与图1的区域切出部2相同，切出以所关注像素为中心的5×5像素的像素窗。 

颜色插值处理部在该所关注像素是R像素位置或B像素位置的情况下(步骤ST11)，实施作为颜色插值处理的第一阶段的G分量生成处理(步骤ST12)。 

颜色插值处理部在实施R像素位置或B像素位置上的G分量生 成处理后，与上述实施方式1中的降噪处理相同(实施图2的图像处理方法)，执行所关注像素的R色分量或B色分量的降噪处理(步骤ST13)。 

接下来，颜色插值处理部在所关注像素是G像素位置的情况下，与上述实施方式1中的降噪处理相同(实施图2的图像处理方法)，执行针对该关注像素的图像信号值(拍摄元件的原始图像信号值)的降噪处理(步骤ST14)。 

另一方面，在所关注像素是R像素位置或B像素位置的情况下，执行在步骤ST12中所生成的G分量的降噪处理(步骤ST14)。 

在步骤ST12中生成的G分量的降噪处理与G像素位置上的G分量的降噪处理相比较，仅仅是低通滤波值Plpf的计算式不同。即，若将在步骤ST12中生成的G分量设为Pg(2，2)，则周围像素的G分量分布如图15所示，例如，运算下述式(8)来计算低通滤波值Plpf。 

Plpf＝{2×(P(2，1)+P(1，2)+P(3，2)+P(2，3))+P(1，0)+P(3，0)+P(0，1)+P(4，1)+P(0，3)+P(4，3)+P(1，4)+P(3，4)}/16                            (8) 

颜色插值处理部在如上所述实施了G分量的降噪处理后，作为第二阶段的处理，执行G像素位置上的R分量的生成、以及B分量的生成(步骤ST15)。 

最后，颜色插值处理部执行R像素位置上的B分量的生成、以及B像素位置上的R分量的生成，作为第三阶段的处理(步骤ST16)。 

就颜色插值处理中的第二阶段和第三阶段的处理而言，由于对插值色和参考色的所有图像信号值执行降噪处理，既便是利用这些相对关系而插值生成的R色分量或B色分量，也成为噪声被降低后的信号电平。 

通过以上描述可以清楚：根据本实施方式3，由于顺序扫描拍摄元件的拍摄结果，并在整个画面上执行图14所示的包含了降噪处理的颜色插值处理，因此，能够得到噪声未被扩散地得到了噪声被良好降低的RGB全色图像的效果。通过根据需要对颜色插值处理的输出信 号执行亮度色差信号转换，从而可以得到有效地降低了噪声的亮度色差信号。 

在该实施方式3中，描述了包含降噪处理的颜色插值处理是日本特开2003-134523号公报中所公开的颜色插值处理的情况，但并不限于此。即，将降噪处理组合到以往的线性插值法或利用其他多线的摄影结果的颜色插值处理内等中，也可以通过共用线缓冲器得到同等的效果。另外，也可以在对拍摄元件的拍摄结果进行颜色插值处理之前，将降噪处理配置在使用多线的其他图像处理内。 

实施方式4 

图16是一张结构图，它表示应用本发明实施方式4的图像处理方法的图像处理装置。由于在图中与图1相同的符号表示相同或相当的部分，因此，省略其说明。 

2值化部11求出由特征值计算部3计算出的微小区域的特征值的平均值，并将该平均值与各特征值相比较，使各特征值2值化。轮廓线检测部12对由2值化部11二值化后的像素窗内的特征值的分布、以及预先设定的2值化分布执行图案匹配，从而检测出轮廓线。 

图像信号值校正部13在利用轮廓线检测部12检测出轮廓线的情况下，使用与该轮廓线位于同一方向上的、包含所关注像素在内的多个像素的图像信号值，对该所关注像素的图像信号值进行校正。 

在本实施方式4中，由于边缘强度值计算部4在利用轮廓线检测部12没有检测出轮廓线时，计算输入边缘强度值Ed1，而在检测出该轮廓线时，不计算输入边缘强度值Ed1，因此，仅在没有检测出该轮廓线的情况下，才从图像信号值校正部7输出校正后的图像信号值。 

图17是表示根据本发明实施方式4的图像处理方法的流程图。 

接下来，就其操作进行说明。 

首先，特征值计算部3在接受了来自区域切出部2的像素窗内的像素的拍摄色信号后，与上述实施方式1相同，计算该像素窗内的微小区域的特征值D(i，j)。 

2值化部11在特征值计算部3计算出微小区域的特征值D(i，j)后，如下式(9)所示来计算该特征值D(i，j)的平均值Dave(步骤ST21)。 

$\mathrm{Dave}=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}D(i,j)/16---\left(9\right)$

这样，2值化部11比较该平均值Dave和各特征值D(i，j)，若该特征值D(i，j)等于或大于平均值Dave，则输出Db(i，j)＝1，作为该特征值D(i，j)的2值化结果。 

另一方面，若该其特征值D(i，j)不足平均值Dave，则输出Db(i，j)＝0，作为该特征值D(i，j)的2值化结果(步骤ST22)。 

轮廓线检测部12对由2值化部11二值化后的像素窗内的特征值的分布、以及预先设定的2值化分布(参见图18)实施图案匹配，从而实施轮廓线的检测处理(步骤ST23)。 

轮廓线检测部12对2值化后的像素窗内的特征值的分布、以及预先设定的2值化分布实施图案匹配，在一致的情况下，判定为轮廓线存在，该像素处于直线上的边缘上、或者是与边缘邻接的像素。另一方面，在不一致的情况下，判断为不存在轮廓线(步骤ST24)。 

在利用轮廓线检测部12没有检测出轮廓线的情况下，与上述实施方式1相同，边缘强度值计算部4、边缘强度值校正部5、滤波值计算部6以及图像信号值校正部7执行处理，计算图像信号值的校正值。 

在利用轮廓线检测部12检测出轮廓线的情况下，图像信号值校正部13使用与其轮廓线位于同一方向上的、包含所关注像素在内的多个像素的图像信号值，对该所关注像素的图像信号值进行校正(步骤ST25)。 

通过在整个画面内一边顺序执行扫描一边执行以上处理，能够良好地减轻与作为图像信息而存在的边缘的像素相邻的噪声。 

这里，图19表示对与轮廓线相邻而产生了噪声的摄影结果进行处理后的情况的一个例子，在图中，图19(a)表示利用单板式拍摄元件所拍摄到的像素窗，假定所关注像素P(2，2)为G像素位置。图19(b) 表示按图19(a)的像素配置实际拍摄到的像素值，在信号级(level)为“0”的背景上分布着级“255”，与其相邻的列上分布有级“3”和级“20”。即，在图19(b)中拍摄到垂直方向上的直线，在执行降噪处理的中心像素中，发生了级为“8”的噪声。 

图19(c)表示使用式(1)将图19(b)的像素窗转换为特征值D(i，j)的情况。 

在图19中，在执行了本实施方式4中的与边缘相邻的降噪处理后的情况下，按照式(9)，平均值Dave变为67，特征值窗的2值化结果如图19(d)所示。 

另一方面，在预先设定的2值化分布为图18所示的分布的情况下，对图19(d)的2值化结果和图18的2值化分布执行图案匹配，从而检测出该像素是与在垂直方向上具有方向性的边缘邻接的像素。 

在例如如下式所示、图像信号值校正部13将低通滤波应用到形成边缘的线的垂直方向上时，能够良好地降低轮廓线中的噪声分量。 

P’(2，2)＝{P(2，0)+2×P(2，2)+P(2，4)}/4 

＝(3+2×8+3)/4 

＝5                            (10) 

其中，P’(2，2)是所关注像素P(2，2)在降噪后的校正值。 

图19(e)表示不执行降噪处理而实施日本特开2003-134523号公报中所公开的颜色插值方法时的G分量分布，图19(f)表示在实施了本实施方式4中的与边缘邻接的降噪处理后、实施日本特开2003-134523号公报中所公开的颜色插值方法时的G分量分布。 

利用图19(e)(f)，可以了解：本实施方式4的降噪处理有效地起到了作用。 

通过实施本实施方式4的降噪处理，能够有效地降低与边缘邻接的噪声，这些噪声在以往的边缘检测手段中，被检测为保持有图像信息的强边缘，并且在轮廓强调处理中没有被降低而且被强调。 

实施方式5 

在上述实施方式4中，描述了使用式(1)计算出的值作为用于图案匹配的特征值，但并不限于此，只要是混合了RGB所有颜色分量的值，由于也能够有效执行彩色边缘的检测，因此也能够起到同样的效果。 

在上述实施方式4中，描述了像素窗是5×5、特征值窗是4×4，但并不仅限于此，像素窗和特征值窗中的任何一个都能够使用任意的大小。 

在上述实施方式4中，描述了为了检测轮廓线，而执行与预设的2值化图案的图案匹配，但并不仅限于此。即，也可以利用具有方向性的1次微分滤波输出值或2次微分滤波输出值等作为滤波系数，来执行轮廓线的方向检测。 

另外，在上述实施方式4中，描述了输出上述实施方式1中的降噪处理结果、或者是输出与边缘邻接的降噪处理结果，但是，也可以对上述实施方式1中的降噪处理结果和与边缘邻接的降噪处理结果实施加权平均，输出考虑了两个处理结果后的结果。 

在上述实施方式4中，描述了对单板式拍摄元件的摄影结果并用了上述实施方式1的降噪处理，但并不仅限于此。即，也可以仅单独使用与边缘邻接的降噪处理。 

也可以在上述实施方式3中的颜色插值处理内或其他图像处理内，配置该实施方式4的、与边缘邻接的降噪处理。此时，既可以以并用的形式配置上述实施方式1的降噪处理，也可以单独配置。 

在上述实施方式4中，描述了使用单板式拍摄元件的摄影结果，但并不仅限于此。即，也可以使用亮度信号作为特征值。在这种情况下，在亮度信号是对单板式拍摄元件的拍摄结果执行颜色插值处理后、执行亮度色差变换得到的亮度信号的情况下，尽管不能抑制因颜色插值处理而产生的噪声扩散，但通过抑制扩散后的噪声的峰值，得到了一定的降噪效果。另外，也可以使用对3板式拍摄元件的摄影结果进行亮度色差转换后的信号。另外，本发明还能够应用于具备产生噪声 的图像读取装置或图像传送单元的传真装置、复印机、电视接收机等通用图像设备。 

另外，通过对色差信号实施上述实施方式4的降噪处理，也能有效降低在颜色边缘产生的噪声。 

在上述实施方式1-4中，以单板式拍摄元件为一个例子，以滤色镜为原色系、其配置如图3所示为例进行了说明，但是，并不仅限于此，也可以使用原色系下的其他排列、或使用互补色的滤色镜。另外，即便在拍摄元件使用正方排列以外的、例如蜂房形状的排列的情况下，也能够得到同样的效果。 

产业上的可利用性 

如上所述，根据本发明的图像处理方法适用于在安装了CCD等二维拍摄元件的民用数字静态照相机或数字摄象机等使用拍摄元件来拍摄图像时，去除该图像信号内所包含的噪声。 

Claims (3)

1.一种图像处理方法，包括：

特征值计算步骤，根据对二维配置的各像素配置有3原色的滤色镜的单板式的拍摄元件的拍摄结果，在以所关注的像素为中心的规定区域中定义包含R分量、G分量以及B分量的微小区域，针对每个微小区域计算出特征值；

二值化步骤，通过比较在上述特征值计算步骤中计算出的每个微小区域的特征值的平均值与各特征值，来对各特征值进行二值化；

轮廓线检测步骤，对在上述二值化步骤中被二值化后的规定区域内的特征值的分布与预先设定的二值化分布进行图案匹配，来检测轮廓线；以及

图像信号值校正步骤，利用位于上述轮廓线检测步骤中所检测出的轮廓线的方向上的包含所关注的像素在内的多个像素的图像信号值，对该所关注的像素的图像信号值进行校正。

2.如权利要求1所述的图像处理方法，其特征在于，在上述图像信号值校正步骤中，通过对位于轮廓线的方向上的多个像素的图像信号值执行加权相加，来校正所关注的像素的图像信号值。

3.一种图像处理方法，包括：

特征值计算步骤，根据对二维配置的各像素配置有3原色的滤色镜的单板式的拍摄元件的拍摄结果，在以所关注的像素为中心的规定区域中定义包含R分量、G分量以及B分量的微小区域，针对每个微小区域计算出特征值；

二值化步骤，通过比较在上述特征值计算步骤中计算出的每个微小区域的特征值的平均值与各特征值，来对各特征值进行二值化；

轮廓线检测步骤，对在上述二值化步骤中被二值化后的规定区域内的特征值的分布与预先设定的二值化分布进行图案匹配，来检测轮廓线；

第1图像信号值校正步骤，在通过上述轮廓线检测步骤检测出轮廓线的情况下，利用位于该轮廓线的方向上的包含所关注的像素在内的多个像素的图像信号值，对该所关注的像素的图像信号值进行校正；

边缘强度值计算步骤，在通过上述轮廓线检测步骤没有检测出轮廓线的情况下，根据在上述特征值计算步骤中计算出的微小区域的特征值，来计算所关注的像素附近的边缘强度值；

滤波值计算步骤，根据与该所关注的像素具有相同颜色分量的周围像素的图像信号值，来计算该所关注的像素的低通滤波值；以及

边缘强度值校正步骤，利用在上述边缘强度值计算步骤中计算出的边缘强度值、和边缘强度值校正曲线或存储有与输入边缘强度值对应的输出边缘强度值的查找表，对上述边缘强度值进行校正，得到该边缘强度值的校正值；

第2图像信号值校正步骤，利用上述边缘强度值和该边缘强度值的校正值，根据下式对上述所关注的像素的图像信号值和在上述滤波值计算步骤中计算出的低通滤波值进行加权相加，由此对该所关注的像素的图像信号值进行校正，

P’(2，2)＝{Kout×P(2，2)+(Ed1-Kout)×Plpf}/Ed1

其中，P(2，2)是所关注的像素的图像信号值；

Plpf是在上述滤波值计算步骤中计算出的低通滤波值；

Ed1是上述边缘强度值；

Kout是上述边缘强度值的校正值；

P’(2，2)是所关注的像素的图像信号值的校正值。

Images