CN101861728A - 降噪系统、降噪程序以及摄像系统 - Google Patents

Abstract

一种降噪系统，具有：颜色信号分离提取部，其从影像信号中依次提取含有要进行降噪处理的关注像素的局部区域；第1降噪部，其对局部区域进行随机性的降噪处理；第2降噪部，其对局部区域进行脉冲性的降噪处理；以及合成部，其对由第1降噪部进行了降噪处理的影像信号与由第2降噪部进行了降噪处理的影像信号进行合成。

Description

降噪系统、降噪程序以及摄像系统

技术领域

本发明涉及降低起因于摄像装置的影像信号的随机性以及脉冲性的噪声的降噪处理。

背景技术

由摄像元件及其附带的模拟电路以及A/D转换器等构成的摄像装置所获得的影像信号通常含有噪声分量。该噪声分量可大致划分为随机性噪声和脉冲性噪声。随机性噪声产生于摄像元件和模拟电路，具有接近白噪声特性的特性。另一方面，脉冲性噪声是以缺陷像素等为代表的主要起因于摄像元件的噪声。

关于随机性和脉冲性噪声的降噪处理，例如JP2007-110445A所示公开了如下例子：多次拍摄影像信号，将其记录于多个帧存储器，针对同一坐标上的影像信号去除最大值和最小值后取平均或取中间值。由此，能够去除随机性噪声和缺陷像素那样尚未固定的外因性脉冲性噪声，可获得高品质的影像信号。

另外，如JP2005-318126A所示，公开了如下例子：估计随机性噪声量和脉冲性噪声量，通过共同的一个降噪处理对两种噪声进行降噪。由此能够去除随机性噪声和脉冲性噪声，可获得高品质的影像信号。另外，由于通过一个降噪处理进行降噪，因此可进行起因于降噪处理的不连续性和假象产生较少的降噪处理。

进而，关于缺陷像素的降噪处理，例如JP2003-69901A所示公开了如下例子：对预先测量的缺陷像素进行了校正或生成处理之后，对低通滤波器和中值滤波器等的多个降噪处理的结果进行加权相加。由此，可抑制由缺陷像素的校正或生成处理导致的不连续性和假象的产生，可获得高品质的影像信号。

在JP2007-110445A中，由于使用多个影像信号，因此可良好地处理静止区域，但是具有在动态区域中产生残留图像等的副作用这样的问题。还存在无法去除缺陷像素等的固定的脉冲性噪声这样的问题。进而还需要多个帧存储器，存在系统成本变高的问题。

在JP2005-318126A中，由于通过一个降噪处理进行随机性和脉冲性的降噪处理，因而可抑制不连续性的产生，然而存在无法最恰当地去除性质不同的两种噪声的问题。

在JP2003-69901A中，存在无法应对在缺陷像素之外的像素中产生的随机性噪声这样的问题。

发明内容

根据本发明的一个方式，提供一种降噪系统，其对从摄像装置取入的影像信号进行降噪处理，其具有：局部区域提取单元，其从上述影像信号中依次提取出含有要进行降噪处理的关注像素的局部区域；第1降噪单元，其对上述局部区域进行随机性的降噪处理；第2降噪单元，其对上述局部区域进行脉冲性的降噪处理；以及合成单元，其对由上述第1降噪单元进行了降噪处理的影像信号与由上述第2降噪单元进行了降噪处理的影像信号进行合成。

根据本发明另一方式，提供一种降噪程序，其对从摄像装置取入的影像信号进行降噪处理，该降噪程序使计算机执行如下步骤：局部区域提取步骤，从上述影像信号中依次提取出含有要进行降噪处理的关注像素的局部区域；第1降噪步骤，对上述局部区域进行随机性的降噪处理；第2降噪步骤，对上述局部区域进行脉冲性的降噪处理；以及合成步骤，对在上述第1降噪步骤中进行了降噪处理的影像信号与在上述第2降噪步骤中进行了降噪处理的影像信号进行合成。

附图说明

图1是第1实施方式的构成图。

图2A～图2D是关于滤色器的配置和局部区域的说明图。

图3是第1降噪部的构成图。

图4A～图4C是关于噪声量估计的说明图。

图5是其他方式的第1降噪部的构成图。

图6是第2降噪部的构成图。

图7是关于指标系数计算的说明图。

图8是其他方式的第2降噪部的构成图。

图9是合成部的构成图。

图10是关于合成系数的说明图。

图11是其他方式的第1实施方式的构成图。

图12A是第1实施方式的信号处理流程中关于整体处理的流程图。

图12B是第1实施方式的信号处理流程中关于第1降噪处理的流程图。

图12C是第1实施方式的信号处理流程中关于第2降噪处理的流程图。

图12D是第1实施方式的信号处理流程中关于合成处理的流程图。

图13是第2实施方式的构成图。

图14A～图14C是关于色差线序型补色滤色器的配置和局部区域的说明图。

图15是第1降噪部的构成图。

图16是关于频率滤波器的说明图。

图17是关于频率滤波器的选择的说明图。

图18是第2降噪部的构成图。

图19是合成部的构成图。

图20A是第2实施方式的信号处理流程中关于整体处理的流程图。

图20B是第2实施方式的信号处理流程中关于第1降噪处理的流程图。

图20C是第2实施方式的信号处理流程中关于第2降噪处理的流程图。

图20D是第2实施方式的信号处理流程中关于合成处理的流程图。

具体实施方式

下面，参照附图说明本发明实施方式。

第1实施方式

【构成】

图1是第1实施方式的构成图。通过镜头系统100、光圈101、CCD102拍摄到的影像信号被放大器(以下称之为“Gain”)104放大，通过A/D转换器(以下称之为“A/D”)105转换为数字信号。来自A/D 105的影像信号通过缓冲器106被传送到颜色信号分离提取部111。

缓冲器106还连接到预设白平衡调整部(以下称之为“PreWB部”)107、测光评价部108、对焦检测部109。PreWB部107连接到Gain 104，测光评价部108连接到光圈101、CCD 102、Gain 104，对焦检测部109连接到AF电动机110。颜色信号分离提取部111连接到第1降噪部112和第2降噪部113。第1降噪部112和第2降噪部113通过合成部114、信号处理部115连接到存储卡等输出部116。

微型计算机等控制部117与Gain 104、A/D 105、PreWB部107、测光评价部108、对焦检测部109、颜色信号分离提取部111、第1降噪部112、第2降噪部113、合成部114、信号处理部115、输出部116双向连接。另外，电源开关、快门按钮、外部I/F部118也与控制部117双向连接，外部I/F部118具有用于在摄影时进行各种模式的切换设定的接口。进而，来自配置于CCD 102附近的温度传感器103的信号连接到控制部117。

【作用】

图1说明影像信号的流动。通过外部I/F部118设定了ISO灵敏度等摄影条件之后，通过半按下快门按钮而进入预摄像模式。通过镜头系统100、光圈101、CCD 102而拍摄到的影像信号作为模拟信号被输出。并且，第1实施方式中假设将拜耳(Bayer)型原色滤色器配置于前表面的单板CCD作为CCD 102。

图2A表示拜耳型原色滤色器的构成。拜耳型以2×2像素作为基本单位，红色(R)、蓝色(B)滤波器各配置1个像素，绿色(Gr、Gb)滤波器配置有2个像素。并且，虽然绿色滤波器具有相同特性，而在第1实施方式中为便于处理而将其区分为Gr和Gb。

上述模拟信号被Gain 104放大预定量，通过A/D 105转换为数字信号而被传送到缓冲器106。缓冲器106内的影像信号基于控制部117的控制而被传送到PreWB部107、测光评价部108和对焦检测部109。

在PreWB部107中对每个与滤色器对应的颜色信号累加预定电平的信号，从而计算简易白平衡系数。把上述系数传送到Gain 104，按照每个颜色信号乘以不同的增益，从而进行白平衡。

在测光评价部108中，一并考虑所设定的ISO灵敏度、手抖界限的快门速度等来控制光圈101和CCD 102的电子快门速度以及Gain 104的放大率等使得成为适当曝光。

另外，在对焦检测部109中，检测影像信号中的边缘强度，以使该边缘强度为最大的方式控制AF电动机110，由此获得对焦信号。

接着，经由外部I/F部完全按下快门按钮来进行正式拍摄，与预摄像同样地，影像信号被传送到缓冲器106。正式拍摄是根据通过PreWB部107求出的简易白平衡系数、通过测光评价部108求出的曝光条件、通过对焦检测部109求出的对焦条件来进行的，这些摄影时的条件被传送到控制部117。另外，缓冲器106内的影像信号被传送到颜色信号分离提取部111。

颜色信号分离提取部111根据控制部117的控制，对每个颜色信号依次提取局部区域，该局部区域由作为以后的降噪处理对象的关注像素以及位于关注像素附近的附近像素构成。第1实施方式中，例如以图2A所示的10×10像素作为基本单位从影像信号中进行提取。此时，作为降噪处理对象的关注像素为R₂₂、Gr₂₂、Gb₂₂、B₂₂这4个像素。

接着，如图2B所示，按照R、Gr、Gb、B的每个滤色器分离为5×5像素的局部区域。之后用C_ij(C是颜色信号，C＝R、Gr、Gb、B；i是X坐标，i＝0～4；j是Y坐标，j＝0～4)表示局部区域内的像素。在5×5像素的局部区域的情况下，关注像素为C₂₂。为了没有遗漏地从影像信号中提取关注像素，图2A所示的10×10像素的基本单位会按照每4行4列地被重复提取。提取出的局部区域被传送到第1降噪部112和第2降噪部113。

第1降噪部112根据控制部117的控制，根据局部区域的低频分量来估计与关注像素C₂₂有关的随机性噪声量N₂₂。之后，使用局部区域的低频分量和所估计的噪声量N₂₂，对关注像素C₂₂进行核化处理，从而进行随机性降噪处理。此后用C^N1 ₂₂表示由第1降噪部112进行了随机性降噪处理的关注像素。进行了随机性降噪处理的关注像素C^N1 ₂₂被传送到合成部114。

另一方面，第2降噪部113根据控制部117的控制，根据局部区域对关注像素C₂₂及其附近的8个像素C₁₁、C₂₁、C₃₁、C₁₂、C₃₂、C₁₃、C₂₃、C₃₃计算表示脉冲性噪声程度的指标系数IC。之后，用IC₀表示关注像素C₂₂的指标系数，用IC₁～IC₈表示附近8个像素的指标系数，用IC_k(k＝0～8)表示指标系数整体。还按照需要，简要地用C₀表示关注像素C₂₂，用C₁～C₈表示附近8个像素，用C_k表示所有9个像素。

然后，使用指标系数IC_k求出关注像素及其附近8个像素的权重系数，通过进行加权滤波处理来进行脉冲性降噪处理。此后用C^N2 ₂₂表示由第2降噪部113进行了脉冲性降噪处理的关注像素。关注像素C₂₂的指标系数IC₀和进行了脉冲性降噪处理的关注像素C₂₂被传送到合成部114。

合成部114根据控制部117的控制，使用从第2降噪部113传送来的指标系数IC₀，对通过第1降噪部112进行了随机性降噪处理的关注像素C^N1 ₂₂和经过了脉冲性降噪处理的关注像素C^N2 ₂₂进行合成处理，求出合成后的关注像素C^N ₂₂。

C^N ₂₂＝C^N1 ₂₂                (IC₀≤Th1)

C^N ₂₂＝(1-w)·C^N1 ₂₂+w·C^N2 ₂₂(Th1＜IC₀＜Th2)    (1)

C^N ₂₂＝C^N2 ₂₂                (Th2≤IC₀)

其中，Th1、Th2表示预定阈值，w＝0～1表示用于合成的合成系数。合成后的关注像素C^N ₂₂被传送到信号处理部115。上述颜色信号分离提取部111、第1降噪部112、第2降噪部113、合成部114中的处理是根据控制部117的控制，以局部区域为单位来同步进行的。

信号处理部115基于控制部117的控制，对进行了合成处理的降噪后的影像信号进行公知的插值处理、强调处理和压缩处理等，传送到输出部116。

输出部116将影像信号记录保存于磁盘或存储卡等记录介质中。

图3表示第1降噪部112的构成的一个例子，其由缓冲器200、平均值计算部201、增益计算部202、标准值赋予部203、参数用ROM 204、参数选择部205、噪声插值部206、核化部207构成。

颜色信号分离提取部111经由缓冲器200连接到平均值计算部201。平均值计算部201连接到参数选择部205和核化部207。增益计算部202、标准值赋予部203、参数用ROM 204连接到参数选择部205。参数选择部205经由噪声插值部206连接到核化部207。核化部207与合成部114连接。控制部117与平均值计算部201、增益计算部202、标准值赋予部203、参数选择部205、噪声插值部206、核化部207双向连接。

如图2B所示，按照R、Gr、Gb、B的每个滤色器将5×5像素的局部区域从颜色信号分离提取部111依次传送到缓冲器200。

平均值计算部201根据控制部117的控制，如(2)式所示计算局部区域的平均值C AV(C＝R、Gr、Gb、B)。

$C\_\mathrm{AV}=\frac{\underset{i,j}{\mathrm{\Σ}}{C}_{\mathrm{ij}}}{25}---\left(2\right)$

计算出的平均值C_AV被传送到参数选择部205，平均值C_AV和关注像素C₂₂被传送到核化部207。

增益计算部205根据从控制部117传送的与ISO灵敏度和曝光条件有关的信息求出Gain 104的放大量，传送到参数选择部205。另外，控制部117从温度传感器103获得CCD 102的温度信息，将其传送到参数选择部205。

参数选择部205根据来自平均值计算部201的局部区域的平均值、来自增益计算部202的增益信息、来自控制部117的温度信息，估计与关注像素C₂₂有关的随机性噪声量N₂₂。

图4A～图4C是关于随机性噪声量估计的说明图。图4A图示出相对于信号电平L的随机性噪声量N，相对于信号电平呈2次曲线递增。利用2次函数将图4A模型化后则可获得(3)式。

N＝αL²+βL+γ                           (3)

其中，α、β、γ是常数项。但是噪声量不仅会根据信号电平，还会根据摄像元件的温度和增益而发生变化。图4A作为一个例子描绘了某温度下相对于与增益关联的3种ISO灵敏度100、200、400的噪声量。各曲线呈(3)式所示的形式，但是其系数根据与增益关联的ISO灵敏度而不同。如果设温度为t，增益为g，以考虑上述情况的形式进行模型的公式化，则成为(4)式。

N＝α_gtL²+β_gtL+γ_gt                      (4)

这里，α_gt、β_gt、γ_gt是常数项。其中，记录多个(4)式的函数，每次通过运算来计算出噪声量在处理上较复杂。因此，进行图4B所示的模型简化。图4B中，将赋予最大噪声量的模型选为基准噪声模型，通过预定数量的折线对其进行近似。折线的折曲点利用由信号电平L和噪声量N构成的坐标数据(L_n、N_n)表示。此时n表示折曲点的数量。

还准备了用于根据上述基准噪声模型导出其他噪声模型的校正系数k_gt。校正系数k_gt可从各噪声模型与基准噪声模型之间通过最小二乘法计算出来。为了从基准噪声模型导出其他噪声模型，通过乘以校正系数k_gt来进行。通过事先测量摄像装置的特性，能够容易获得上述基准噪声模型的坐标数据(L_n、N_n)和校正系数k_gt。基准噪声模型的坐标数据(L_n、N_n)和校正系数k_gt记录于参数用ROM 204中。

图4C表示根据图4B所示的简化后的噪声模型来计算噪声量的方法。例如，所设想的情况是求出与所赋予的信号电平为I、增益为g、温度为t对应的噪声量N。首先，搜索信号电平I属于基准噪声模型的哪个区间。此时，设为属于(L_n、N_n)和(L_n+1、N_n+1)之间的区间。通过线性插值求出基准噪声模型的基准噪声量N_I。

$N_l=\frac{N_{n+1}-N_n}{L_{n+1}-L_n}(l-L_n)+N_n---\left(5\right)$

然后，通过乘以校正系数k_gt求出噪声量N。

N＝k_gt·N_l                                 (6)

参数选择部205根据来自平均值计算部201的局部区域的平均值C_AV设定信号电平I，根据来自增益计算部202的增益信息设定增益g，根据来自控制部117的温度信息设定温度t。接着，从参数用ROM 204中搜索信号电平I所属区间的坐标数据(L_n、N_n)和(L_n+1、N_n+1)，将其传送到噪声插值部206。进而从参数用ROM 204中搜索校正系数k_gt，将其传送到噪声插值部206。

噪声插值部206根据控制部117的控制，基于(5)式，由来自参数选择部206的信号电平I和区间坐标数据(L_n、N_n)和(L_n+1、N_n+1)计算基准噪声模型的基准噪声量N_I。此后，基于(6)式，由来自参数选择部205的校正系数k_g计算噪声量N。在图2B所示的局部区域的情况下，计算出的噪声量N作为关注像素C₂₂的噪声量N₂₂被传送到核化部207。

并且，在上述噪声量计算过程中，无需对每当摄影就求出温度t、增益g等信息。还可以构成为将任意信息记录于标准值赋予部203，省略计算过程。由此，能够实现高速处理和功率节省等。

核化部207根据控制部117的控制，从平均值计算部201读取关注像素C₂₂和平均值C_AV，从噪声插值部206读取噪声量N₂₂，对关注像素C₂₂进行核化处理，求出进行了随机性降噪处理的关注像素C^N1 ₂₂。

C^N1 ₂₂＝C₂₂-N₂₂(C₂₂≥C_AV+N₂₂)

C^N1 ₂₂＝C_AV     (C_AV+N₂₂＞C₂₂＞C_AV-N₂₂)    (7)

C^N1 ₂₂＝C₂₂+N₂₂  (C_AV-N₂₂≥C₂₂)

进行了随机性降噪处理的关注像素C^N1 ₂₂被传送到合成部114。

并且，在上述构成中，对局部区域的低频分量使用平均值计算，在噪声估计处理中使用插值处理，然而无需限于这种构成。例如也可以构成为：对于局部区域的低频分量使用低通滤波处理，在噪声估计处理中使用一览表。

图5表示第1降噪部112的其他构成的一个例子，其构成为：删除了图3所示的平均值计算部201、参数用ROM 204、参数选择部205、噪声插值部206，而增加了低通滤波部208、噪声表部209。基本构成与图3所示的第1降噪部112等同，对于相同构成分配了相同名称与标号。下面仅说明不同部分。

颜色信号分离提取部111通过缓冲器200连接到低通滤波部208。低通滤波部208连接到噪声表部209和核化部207。增益计算部202、标准值赋予部203连接到噪声表部209。噪声表部209连接到核化部207。控制部117与低通滤波部208、噪声表部209双向连接。

低通滤波部208根据控制部117的控制，对局部区域进行具有预定频率特性的低通滤波处理，计算局部区域的低频分量C_L0(C＝R、Gr、Gb、B)。计算出的低频分量C_L0被传送到噪声表部209，低频分量C_L0和关注像素C₂₂被传送到核化部207。来自低通滤波部208的局部区域的低频分量C_L0、来自增益计算部202的增益信息、来自控制部117的温度信息被传送到噪声表部209。

噪声表部209根据来自低通滤波部208的与局部区域有关的低频分量、来自增益计算部202的增益信息、来自控制部117的温度信息，输出关注像素C₂₂的噪声量N₂₂。噪声表部209是利用记录有温度、信号值电平、增益与噪声量间的关系的一览表，并基于(4)式所示的关系来构建的。用噪声表部209获得的噪声量N₂₂被传送到核化部207。

核化部207根据控制部117的控制，从低通滤波部208读取关注像素C₂₂和低频分量C_L0，从噪声表部209读取噪声量N₂₂，对关注像素C₂₂进行核化处理，求出进行了随机性降噪处理的关注像素C^N1 ₂₂。该核化处理是通过把(7)式中的平均值C_AV置换为低频分量C_L0而进行的。

图6表示第2降噪部113的构成的一个例子，其由缓冲器300、差分计算部301、缓冲器302、排序部303、总和计算部304、权重系数表部305、缓冲器306、加权滤波部307构成。

颜色信号分离提取部111通过缓冲器300连接到差分计算部301和加权滤波部307。差分计算部301通过缓冲器302、排序部303连接到总和计算部304。总和计算部304连接到权重系数表部305和合成部114。权重系数表部305通过缓冲器306连接到加权滤波部307。加权滤波部307与合成部114连接。控制部117与差分计算部301、排序部303、总和计算部304、权重系数表部305、加权滤波部307双向连接。

如图2B所示，按照每个R、Gr、Gb、B的滤色器将5×5像素的局部区域从颜色信号分离提取部111依次传送到缓冲器300。

差分计算部301根据控制部117的控制，对关注像素C₂₂及其附近8个像素C₁₁、C₂₁、C₃₁、C₁₂、C₃₂、C₁₃、C₂₃、C₃₃共计9个像素计算各自与附近8个像素之差的绝对值。

图7(a)表示局部区域中关注像素C₂₂及其附近8个像素C₁₁、C₂₁、C₃₁、C₁₂、C₃₂、C₁₃、C₂₃、C₃₃的配置。差分计算部301对这9个像素分别计算其与附近8个像素之差的绝对值Δ。图7(b)表示计算差的绝对值Δ的像素配置。例如，在C₁₁像素的情况下，差的绝对值Δ可通过(8)式表示。

Δ₁＝|C₀₀-C₁₁|

Δ₂＝|C₁₀-C₁₁|

Δ₃＝|C₂₀-C₁₁|

Δ₄＝|C₀₁-C₁₁|                      (8)

Δ₅＝|C₂₁-C₁₁|

Δ₆＝|C₀₂-C₁₁|

Δ₇＝|C₁₂-C₁₁|

Δ₈＝|C₂₂-C₁₁|

此后，通过Δ_l(l＝1～8)表示所计算出的8个差的绝对值。上述差的绝对值Δ_l被传送到缓冲器302。

排序部303根据控制部117的控制，按照升序对缓冲器302的差的绝对值Δ_l排序，并从较小的值开始向总和计算部304传送预定数量、第1实施方式中为4个。此后，用SΔ_m(m＝1～8)表示按照升序排序后的差的绝对值。

总和计算部304根据控制部117的控制，求出从排序部303传送的升序排列的4个差的绝对值的总和。该总和即为指标指数IC。

$\mathrm{IC}=\underset{m=\mathrm{1,4}}{\mathrm{\Σ}}S{\mathrm{\Δ}}_m---\left(9\right)$

在缺陷像素那样的脉冲性噪声中，由于在附近8个像素的所有像素间差较大，因而指标指数IC为较大的值。另一方面，由于平坦部在所有像素间差较小，因而指标指数IC为较小的值。另外，在直线状的单纯边缘部，附近8个像素中一半取较小的值，一半取较大的值。由于指标指数IC是选择差较小的4个进行累加，因而在单纯边缘部取较小的值。在复杂的边缘结构中会成为较大的值，而所取的值要小于脉冲性噪声。如上可见，能够通过指标指数IC来分离脉冲性噪声与边缘、平坦部。

权重系数表部305是根据指标系数IC输出用于后面的加权滤波处理的权重系数F的查询表。其是基于(10)构建起来的。

$F=e^{-\frac{{\mathrm{IC}}^2}{2{\mathrm{\σ}}^2}}---\left(10\right)$

(10)式中的σ是调整用的参数。权重系数F被传送到缓冲器306。如图7(c)、(d)所示，对关注像素C₂₂及其附近8个像素C₁₁、C₂₁、C₃₁、C₁₂、C₃₂、C₁₃、C₂₃、C₃₃共计9个像素计算上述指标系数IC和权重系数F。即，差分计算部301、排序部303、总和计算部304、权重系数表部305基于控制部117的控制而重复9次上述处理。此后用IC_k表示指标系数，用F_k表示权重系数。并且，总和计算部304仅将关注像素C₂₂的指标系数IC₀传送到合成部114。

加权滤波部307根据控制部117的控制，从缓冲器300读取局部区域中的关注像素及其附近的8个像素，从缓冲器306读取权重系数F_k，进行加权滤波处理。其中，用C₀表示关注像素C₂₂，用C₁～C₈表示附近8个像素，将所有9个像素简要表示为C_k。通过(11)式所示的加权滤波处理，可获得经过了脉冲性降噪处理的关注像素C^N2 ₂₂。

$C_{22}^{N2}=\frac{\underset{k=\mathrm{0,8}}{\mathrm{\Σ}}{F}_k\·C_k}{\underset{k=\mathrm{0,8}}{\mathrm{\Σ}}{F}_k}---\left(11\right)$

经过了脉冲性降噪处理的C^N2 ₂₂被传送到合成部114。

并且，图6所示的第2降噪部113构成为在计算指标系数时按照升序排列差的绝对值，从较小的值开始取预定数量的绝对值的总和，作为脉冲性降噪处理而进行加权滤波处理，然而无需限定于这种构成。例如还可以如图8所示构成为：在计算指标系数时对所有差的绝对值取总和，或者作为脉冲性降噪处理而进行中值滤波等非线性滤波处理。

图8表示第2降噪部113的其他构成的一个例子，构成为相比图6所示的第2降噪部113省略了缓冲器302、排序部303、权重系数表部305、缓冲器306、加权滤波部307，而增加了关注像素读出部308、中值滤波部309、切换部310。基本构成与图6所示的第2降噪部113等同，对相同构成分配同一名称与标号。下面仅说明不同部分。

缓冲器300连接到差分计算部301、关注像素读出部308、中值滤波部309。差分计算部301连接到总和计算部304。总和计算部304连接到切换部310和合成部114。关注像素读出部308和中值滤波部309连接到切换部310。切换部310连接到合成部114。控制部117与关注像素读出部308、中值滤波部309、切换部310双向连接。

差分计算部301基于控制部117的控制，对关注像素C₂₂计算其与附近8个像素之差的绝对值Δ_l。计算出的差的绝对值Δ_l被传送到总和计算部304。

总和计算部304基于控制部117的控制，求出差的绝对值Δ_l的总和。该总和成为与关注像素C₂₂有关的指标系数IC₀。

${\mathrm{IC}}_0=\underset{l=\mathrm{1,8}}{\mathrm{\Σ}}{\mathrm{\Δ}}_l---\left(12\right)$

指标系数IC₀被传送到切换部310和合成部114。

关注像素读出部308基于控制部117的控制，从缓冲器300读出关注像素C₂₂，将其传送到切换部310。

双向滤波部309基于控制部117的控制，从缓冲器300读出局部区域，进行公知的中值滤波处理，获得与关注像素C₂₂有关的处理结果MC₂₂。中值滤波处理结果MC₂₂被传送到切换部310。

切换部310基于控制部117的控制，使用来自总和计算部304的指标指数IC₀，进行与来自关注像素读出部308的关注像素C₂₂和来自中值滤波部309的中值滤波处理结果MC₂₂有关的切换控制，由此获得经过了脉冲性降噪处理的关注像素C^N2 ₂₂。

C^N2 ₂₂＝C₂₂         (IC₀≤Th3)

C^N2 ₂₂＝MC₂₂     (IC₀＞Th3)                    (13)

其中，Th3表示预定阈值。基于(12)式的指标指数IC₀在如缺陷像素那样的脉冲性噪声中，由于附近8个像素的所有像素间差较大，因而指标指数IC成为较大的值。另一方面，由于平坦部在所有的像素间差较小，因而指标指数IC成为较小的值。因此，如式(13)所示，当指标指数IC大于预定阈值Th3的情况下，通过选择中值滤波处理结果MC₂₂，由此进行脉冲性降噪处理。

图9表示合成部114的构成的一个例子，其由第1信号选择部400、第2信号选择部401、合成系数表部402、乘法部403、乘法部404、加法部405构成。

第1降噪部112连接到第1信号选择部400。第2降噪部113连接到第1信号选择部400、第2信号选择部401、合成系数表部402。第1信号选择部400连接到乘法部403和信号处理部115。第2信号选择部401连接到乘法部404和信号处理部115。合成系数表部402连接到乘法部403和乘法部404。乘法部403和乘法部404连接到加法部405，加法部405连接到信号处理部115。控制部117与第1信号选择部400、第2信号选择部401、合成系数表部402、乘法部403、乘法部404、加法部405双向连接。

第1信号选择部400基于控制部117的控制，从第2降噪部113读取与关注像素C₂₂有关的指标指数IC₀，从第1降噪部112读取经过了随机性降噪处理的关注像素C^N1 ₂₂。在指标指数IC₀小于等于预定阈值Th1的情况下，将关注像素C^N1 ₂₂作为合成后的关注像素C^N ₂₂传送到信号处理部115。在指标指数IC₀大于预定阈值Th1的情况下，将关注像素C^N1 ₂₂传送到乘法部403。

第2信号选择部401基于控制部117的控制，从第2降噪部113读取与关注像素C₂₂有关的指标指数IC₀和经过了脉冲性降噪处理的关注像素C^N2 ₂₂。在指标指数IC₀大于等于预定阈值Th2的情况下，将关注像素C^N2 ₂₂作为合成后的关注像素C^N ₂₂传送到信号处理部115。在指标指数IC₀小于预定阈值Th2的情况下，将关注像素C^N2 ₂₂传送到乘法部404。

合成系数表部402是记录有在针对指标指数IC₀的合成处理中使用的合成系数w＝0～1和1～w的查询表。图10是关于合成系数w的说明图，呈现这样的特性：在指标指数IC₀≤Th1的情况下变化为w＝0的线性，在指标指数IC₀≥Th2的情况下变化为w＝1的线性，在Th1＜IC₀＜Th2的情况下变化为w＝0～1的线性。合成系数表部402将合成系数1～w传送到乘法部403，将合成系数w传送到乘法部404。

乘法部403基于控制部117的控制，在从第1信号选择部400传送来关注像素C^N1 ₂₂的情况下，使关注像素C^N1 ₂₂和合成系数1～w相乘，将该结果(1～w)·C^N1 ₂₂传送到加法部405。

乘法部404基于控制部117的控制，在从第2信号选择部401传送来关注像素C^N2 ₂₂的情况下，使关注像素C^N2 ₂₂和合成系数w相乘，将该结果w·C^N2 ₂₂传送到加法部405。

加法部405基于控制部117的控制，对来自乘法部403的(1～w)·C^N1 ₂₂和来自乘法部404的w·C^N2 ₂₂进行加法处理，求得合成后的关注像素C^N ₂₂。如上，进行(1)式所示的合成处理。

【作用】

通过上述构成，能够对性质不同的随机性噪声和脉冲性噪声独立地进行降噪处理，根据表示脉冲性程度的指标系数对二者进行合成处理。因此，可对随机性和脉冲性这两种噪声进行最佳的降噪处理，获得高品质的影像信号。

还能够抑制起因于2种降噪处理的不连续性和假象的产生。在随机性降噪处理中以关注像素为单位估计噪声量，进行随机性降噪处理，因而可高精度地仅减少噪声分量，能获得高品质的影像信号。

在噪声量估计中使用平均值的构成易于安装，可实现系统的成本降低和高速处理。另一方面，在噪声量估计中使用低通滤波器的构成能够控制关注像素与其他像素之间的权重，因而能实现稳定的处理。噪声量的估计与按照每种摄影而不同的条件动态适应，能够实现高精度且稳定的噪声量估计。另外，在噪声量的计算中使用插值运算的构成易于安装，可实现系统成本降低。另一方面，根据查询表求出噪声量的构成可实现高速处理。

另外，由于随机性降噪处理使用核化处理，因而可仅重点降低噪声分量，还能够确保与边缘等噪声之外的像素的连续性。

在脉冲性降噪处理中，在以局部区域的各像素单位求出脉冲性程度并进行加权滤波处理的构成中，能够高精度地仅降低噪声分量。另外，在根据查询表求出权重系数的构成中，可实现高速处理。另一方面，在仅对关注像素求出脉冲性程度并进行非线性滤波的构成中，可实现处理的高速化。另外，由于使用中值滤波作为非线性滤波处理，因此能实现系统整体的成本降低。

关于表示脉冲性程度的指标系数，在使用与附近像素之差的总和的构成中，能够提供一种处理高速化且成本低廉的系统。另一方面，在对与附近像素间的差进行排序并使用从较小的值开始的预定数量的值的总和的构成中，能够高精度地进行脉冲性噪声与边缘部的识别，能获得边缘部劣化较少的高品质的影像信号。

另外，由于对每个颜色信号进行降噪处理，因此能高精度地降低噪声，可获得高品质的影像信号。另外，由于降噪处理前不存在插值处理等前处理，因而可提高降噪处理的精度。

进而，拜耳型原色滤色器与现有摄像装置的亲和性较高，可实现与多种系统之间的组合。

【变形例】

还有，第1实施方式中采用了使用拜耳型原色滤色器作为摄像元件的构成，然而无需限定于这种构成。例如既可以使用图2C所示的色差线序型补色滤色器，也可以使用二板、三板摄像元件。

图2C表示色差线序型补色滤色器的构成。色差线序方式是以2×2像素为基本单位，各配置1个青色(Cy)、品红色(Mg)、黄色(Ye)、绿色(G)的像素。其中，Mg和G的位置在每行上都反转。在色差线序型补色滤色器的情况下，颜色信号分离提取部111以图2C所示的10×10的像素为单位读取影像信号，如图2D所示，将它们以5×5像素作为局部区域分离到每个Mg、G、Ye、Cy的颜色滤波器中，且该5×5像素以关注像素为中心。局部区域内的像素值用C_ij(C是颜色信号，C＝Mg、G、Ye、Cy)表示。

进而，第1实施方式中，构成为与通过镜头系统100、光圈101、CCD102、温度传感器103、Gain 104、A/D 105、PreWB部107、测光评价部108、对焦检测部109、AF电动机110构成的摄像部形成一体，然而无需限定于该构成。例如也可以如图11所示，构成为：由记录介质进行处理，该记录介质将通过其他摄像部拍摄得到的视频信号作为未处理的Raw数据形式记录，并将CCD 102的滤色器或摄影时的曝光条件等附属信息记录于顶部。

图11构成为从图1所示的构成中省略镜头系统100、光圈101、CCD102、温度传感器103、Gain 104、A/D 105、PreWB部107、测光评价部108、对焦检测部109、AF电动机110，而增加了输入部500、头部信息解析部501。基本构成与图1等同，对相同构成分配同一名称与标号。以下仅说明不同部分。

输入部500连接到缓冲器106和头部信息解析部501。控制部117与输入部500、头部信息解析部501双向连接。

通过鼠标、键盘等外部I/F部118开始再现操作，从而从输入部500读取保存于记录介质中的影像信号和头部信息。来自输入部500的影像信号被传送到缓冲器106，头部信息被传送到头部信息解析部501。

头部信息解析部501从头部信息中提取出摄影时的信息并传送到控制部117。此后的处理与图1等同。

另外，第1实施方式中以采用硬件的处理作为前提，然而无需限定于该构成。例如也可以构成为：将来自CCD 102的影像信号作为未经处理的Raw数据，将CCD 102的滤色器或摄影时的曝光条件等附属信息等作为头部信息而输出，通过另外的软件进行处理。图12A表示与信号处理的软件处理有关的流程图。

在步骤S1中，读取影像信号和摄影时的曝光条件等头部信息。

在步骤S2中，如图2B所示，根据CCD 102的滤色器，按照每个颜色信号进行分离。

在步骤S3中，如图2B所示，提取出包含作为降噪处理对象的关注像素在内的预定尺寸、例如5×5像素尺寸的局部区域。

在步骤S4中，如另外说明的那样，进行作为随机性降噪处理的第1降噪处理。

在步骤S5中，如另外说明的那样，进行作为脉冲性降噪处理的第2降噪处理。

在步骤S6中，如另外说明的那样，对经过了第1降噪处理的信号与经过了第2降噪处理的信号进行合成。

在步骤S7中，判断是否完成了对所有局部区域的处理，没有完成的情况下分支到步骤S3，完成的情况下分支到步骤S8。

在步骤S8中，判断是否完成了对所有颜色信号的处理，没有完成的情况下分支到步骤S2，完成的情况下分支到步骤S9。

在步骤S9中，进行公知的插值处理、灰度转换处理、边缘强调处理、颜色强调处理等信号处理。

在步骤S10中，将完成处理的影像信号输出，结束。

图12B是关于上述步骤S4中第1降噪处理的流程图。

在步骤S20中，如(2)式所示计算局部区域的平均值。

在步骤S21中，根据读取的头部信息设定温度、增益等信息。在头部信息中不存在所需参数的情况下分配预定的标准值。

在步骤S22中，读取基准噪声模型的坐标数据和校正系数。

在步骤S23中，选择关注像素所属的基准噪声模型区间的坐标数据和对应的校正系数。

在步骤S24中，通过(5)、(6)式所示的插值处理来求出噪声量。

在步骤S25中，通过(7)式所示的核化处理来求出经过了随机性降噪处理的信号。

在步骤S26中，将经过了第1降噪处理的信号输出，结束。

图12C是关于上述步骤S5中第2降噪处理的流程图。

在步骤S30中，选择局部区域内的关注像素和附近8个像素之一。

在步骤S31中，如(8)式所示计算8个像素之差的绝对值。

在步骤S32中，按照升序排列8个之差的绝对值。

在步骤S33中，如(9)式所示求出从较小的值开始预定数量、例如4个差的绝对值的总和，并作为指标系数。

在步骤S34中，以根据(10)式构建的指标系数作为输入，输入用于输出权重系数的查询表。

在步骤S35中，根据指标系数输出权重系数。

在步骤S36中，判断是否选择了所有关注像素以及附近的8个像素，没有完成选择的情况下分支到步骤S30，完成的情况下分支到步骤S37。

在步骤S37中，进行(11)式所示的加权滤波处理。

在步骤S38中，将通过加权滤波处理而获得的信号作为经过了第2降噪处理的信号来输出。

在步骤S39中，将与关注像素有关的指标系数输出，结束。

图12D是关于上述步骤S6中合成处理的流程图。

在步骤S40中，输入与关注像素有关的指标系数。

在步骤S41中，比较指标系数与预定阈值Th1，在指标系数小于等于阈值Th1的情况下分支到步骤S42，在指标系数大于阈值Th1的情况下分支到步骤S43。

在步骤S42中，将经过了第1降噪处理的信号输出，结束。

在步骤S43中，比较指标系数与预定阈值Th2，在指标系数大于等于阈值Th2的情况下分支到步骤S44，在指标系数小于阈值Th2的情况下分支到步骤S45。

在步骤S44中，将经过了第2降噪处理的信号输出，结束。

在步骤S45中，输入以图10所示的指标系数作为输入，并输出合成系数的查询表。

在步骤S46中，根据指标系数输出合成系数。

在步骤S47中，使经过了第1降噪处理的信号乘以(1-合成系数)。

在步骤S48中，使经过了第2降噪处理的信号乘以合成系数。

在步骤S49中，使经过了第1降噪处理的信号乘以(1-合成系数)后的信号与经过了第2降噪处理的信号乘以合成系数后的信号相加。

在步骤S50中，将所合成的信号输出，结束。

也可以构成为通过软件进行这种信号处理，能够获得与硬件处理的情况相同的作用效果。

第2实施方式

【构成】

图13是第2实施方式的构成图。第2实施方式构成为：将图1所示的第1实施方式中的颜色信号分离提取部111置换为亮度颜色分离提取部600，将第1降噪部112置换为第1降噪部601，将第2降噪部113置换为第2降噪部602，将合成部114置换为合成部603，并增加了缓冲器604、同步部605。基本构成与第1实施方式等同，对于相同构成分配相同名称与标号。下面仅说明不同部分。

缓冲器106连接到PreWB部107、测光评价部108、对焦检测部109、亮度颜色分离提取部600。亮度颜色分离提取部600连接到第1降噪部601和第2降噪部602。第1降噪部601和第2降噪部602连接到合成部603。合成部603通过缓冲器604、同步部605连接到信号处理部115。控制部117与亮度颜色分离提取部600、第1降噪部601、第2降噪部602、合成部603、同步部605双向连接。

【作用】

基本上与第1实施方式等同，仅说明不同部分。图13说明信号的流动。通过外部I/F部118按下快门按钮，从而进入摄影模式。通过镜头系统100、光圈101、CCD 102摄影得到的影像信号以模拟信号的形式按照预定时间间隔连续地被输出。并且，在第2实施方式中，设想单板CCD作为CCD 102，该单板CCD在前表面配置了色差线序型补色滤色器。

图14A表示色差线序型补色滤色器的构成。色差线依次方式中，以2×2像素为基本单位，分别配置有1个青色(Cy)、品红色(Mg)、黄色(Ye)、绿色(G)的像素。其中，Mg和G的位置在每行上都反转。来自CCD 102的影像信号如图14所示，通过将上下的行相加，并分离为偶数行和奇数行的2个场信号(偶数场信号和奇数场信号)构成。另外，设上述预定间隔为1/60秒。通过将偶数场信号和奇数场信号合成，由此可获得1个影像信号，将1帧的影像信号记载为帧信号。上述帧信号是以1/30秒的间隔被合成的。

来自CCD 102的模拟信号通过Gain 104被放大到预定量，通过A/D105转换为数字信号并被传送到缓冲器106。

缓冲器106可记录2个场信号、即1个帧信号，伴随摄影而依次地进行改写。缓冲器106内的场信号基于控制部117的控制，以预定的时间间隔间歇性地被传送到PreWB部107、测光评价部108和对焦检测部109。

另一方面，亮度颜色分离提取部600基于控制部117的控制，根据偶数和奇数场信号计算亮度信号Y和色差信号Cb、Cr。

Y＝G+Mg+Ye+Cy

Cb＝(Mg+Cy)-(G+Ye)             (14)

Cr＝(Mg+Ye)-(G+Cy)

此后，依次提取出由作为降噪处理对象的关注像素以及位于关注像素附近的附近像素构成的局部区域。第2实施方式中，作为局部区域设定为5×5像素。其中，亮度信号Y存在于所有5×5像素中，色差信号Cb、Cr成为5×3像素或5×2像素。

图14B、图14C表示从偶数场信号和奇数场信号中提取出的局部区域的一个例子。图14B表示从偶数场信号中提取出亮度信号Y和色差信号Cb、Cr的例子。色差信号Cr是5×3像素，色差信号Cb是5×2像素。这种情况下，作为降噪处理对象的关注像素是亮度信号Y和色差信号Cr，色差信号Cb在对象之外。并且，如果关注像素的位置不同，则也会产生与上述相反地存在色差信号Cb，而不存在色差信号Cr的例子。图14C表示从奇数场信号中提取出亮度信号Y和色差信号Cb、Cr的例子。色差信号Cb是5×3像素，色差信号Cr是5×2像素。这种情况下，作为降噪处理对象的关注像素是亮度信号Y和色差信号Cb，色差信号Cr在对象之外。

并且，如果关注像素位置不同，则也会产生与上述内容相反地存在色差信号Cr，而不存在色差信号Cb的例子。此后用C_ij(C是亮度或色差信号，C＝Y、Cb、Cr，i是X坐标，i＝0～4，j是Y坐标，偶数场信号的情况下j＝0、2、4、6、8，奇数场信号的情况下j＝1、3、5、7、9)表示局部区域内的像素。并且，对于色差信号而言，在5×5像素的局部区域内缺损的像素在处理对象之外。

对于关注像素，在偶数场信号的情况下，亮度信号为Y₂₄，色差信号是Cr₂₄或Cb₂₄，在奇数场信号的情况下，亮度信号为Y₂₅，色差信号是Cr₂₅或Cb₂₅。在此后对图14B所示的偶数场信号且关注像素为Y₂₄、Cr₂₄的情况进行说明，而对于偶数场信号且关注像素为Y₂₄、Cb₂₄和奇数场信号的情况，仅是局部区域的构成不同，也同样成立。提取出的局部区域被传送到第1降噪部601和第2降噪部602。

第1降噪部601根据控制部117的控制，根据局部区域的低频分量估计关于关注像素C₂₄的随机性噪声量N₂₄。之后，使用所估计的噪声量N₂₄来选择低通滤波器，对局部区域进行低通滤波处理，从而进行随机性降噪处理。此后用C^N1 ₂₄表示在第1降噪部112中进行了随机性降噪处理的关注像素。

进行了随机性降噪处理的关注像素C^N1 ₂₂被传送到合成部114。另一方面，第2降噪部602根据控制部117的控制，从亮度信号的局部区域针对关注像素C₂₄及其附近的8个像素Y₁₂、Y₂₂、Y₃₂、Y₁₄、Y₄₄、Y₁₆、Y₂₆、Y₃₆计算出表示脉冲性噪声程度的指标系数IC。不对色差信号计算指标系数IC，沿用亮度信号的指标系数IC。之后，用IC₀表示关注像素C₂₄的指标系数，用IC₁～IC₈表示附近8个像素的指标系数，用IC_k(k＝0～8)表示指标系数整体。还按照需要简要地用C₀表示关注像素C₂₄，用C₁～C₈表示附近8个像素，用C_k表示所有9个像素。

此后使用指标系数IC_k求出关注像素以及其附近8个像素的权重系数，进行加权滤波处理，由此进行脉冲性降噪处理。此后，用C^N2 ₂₄描述在第2降噪部113进行了脉冲性降噪处理的关注像素。亮度信号的关注像素Y₂₄的指标系数IC₀和经过了脉冲性降噪处理的关注像素C^N2 ₂₄被传送到合成部603。

合成部603基于控制部117的控制，使用从第2降噪部113传送的指标系数IC₀，对在第1降噪部112进行了随机性降噪处理的关注像素C^N1 ₂₄和经过了脉冲性降噪处理的关注像素C^N2 ₂₄进行合成处理，如(1)式所示求出合成后的关注像素C^N ₂₄。并且，合成系数w可根据亮度信号的指标系数IC₀求出，在亮度信号和色差信号的合成中通用。合成后的关注像素C^N ₂₄被传送到缓冲器604。

缓冲器604能记录2个场信号、即1个帧信号，伴随摄影而依次改写。上述亮度颜色分离提取部600、第1降噪部601、第2降噪部602、合成部603中的处理是基于控制部117的控制，以局部区域为单位同步进行的。

同步部605基于控制部117的控制，从缓冲器604读取经过了合成处理的偶数场信号和奇数场信号，对色差信号进行公知的插值处理，此后对偶数场信号和奇数场信号进行公知的同步处理，从而生成帧信号。所生成的帧信号被传送到信号处理部115。

图15表示第1降噪部601的构成的一个例子，构成为相比图3所示的第1降噪部112的构成省略掉平均值计算部201、核化部207，而增加了差分分量计算部700、缓冲器701、差分量用表702、坐标用表703、权重系数合成部704、双向(Bilateral)滤波部705、滤波器用ROM 706、滤波器选择部707、频率滤波部708。基本构成与图3所示的第1降噪部112等同，与相同构成分配同一名称与标号。下面仅说明不同部分。

如图14B、图14C所示，按照Y、Cb、Cr，从亮度颜色分离提取部600依次向缓冲器200传送5×5像素的局部区域。并且，对于色差信号而言，在5×5像素的局部区域内缺损的像素在处理对象之外。在此后对图14B所示的偶数场信号并且关注像素为Y₂₄、Cr₂₄的情况进行说明，而对于偶数场信号并且关注像素为Y₂₄、Cb₂₄和奇数场信号的情况，仅是局部区域构成不同，也同样成立。

差分分量计算部700基于控制部117的控制，从缓冲器200读出局部区域，如(15)式所示计算与关注像素值C₂₄的差分量的绝对值δ_ij。

δ_ij＝|C_ij-C₂₄|                             (15)

差分量的绝对值δ_ij被传送到缓冲器701。

差分量用表702基于控制部117的控制，从缓冲器701读出差分量的绝对值δ_ij，求出与差分量的绝对值δ_ij对应的第1权重系数w1_ij。第1权重系数w1_ij例如可用(16)式所示的函数式确定。

${w1}_{\mathrm{ij}}=e^{-\frac{{\mathrm{\δ}}_{\mathrm{ij}}^2}{2\·{\mathrm{\σ}1}^2}}---\left(16\right)$

(16)式中的σ1是调整用参数，使用σ1＝1～10左右。差分量用表702是记录了根据(16)式所示的函数式预先计算出的第1权重系数w1_ij的表。求出的第1权重系数w1_ij被传送到权重系数合成部704。

权重系数合成部704基于控制部117的控制，从差分量用表702读取第1权重系数w1_ij，并从坐标用表703读取与坐标值(i，j)对应的第2权重系数w2_ij，把它们合成。第2权重系数w2_ij例如可用(17)式所示函数式来确定。

${w2}_{\mathrm{ij}}=e^{-\frac{{(i-\mathrm{Ti})}^2+{(j-\mathrm{Tj})}^2}{2\·\mathrm{\σ}{2}^2}}---\left(17\right)$

(17)式中的σ2是调整用参数，使用σ2＝1～10左右。另外，Ti和Tj表示关注像素的坐标，第2实施方式中Ti＝2，Tj＝4。

坐标用表703是记录了根据(17)式所示的函数式预先计算出的第2权重系数w2_ij的表。根据(18)式将第1权重系数w1_ij和第2权重系数w2_ij合成，计算权重系数w_ij。

w_ij＝w1_ij·w2_ij                          (18)

计算出的权重系数w_ij被传送到双向滤波部705。

双向滤波部705基于控制部117的控制，使用来自权重系数合成部704的权重系数w_ij，对来自缓冲器200的局部区域进行双向滤波处理。

$C\_\mathrm{Bi}=\frac{\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}\·C_{\mathrm{ij}}}{\underset{i,j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}}---\left(19\right)$

(19)式所示的双向滤波处理的结果G_Bi被传送到参数选择部205。

参数选择部205根据来自双向滤波部705的双向滤波处理的结果G_Bi来设定信号电平I，根据来自增益计算部202的增益信息来设定增益g，根据来自控制部117的温度信息来设定温度t。接着，从参数用ROM204中搜索信号电平I所属的区间(L_n，N_n)和(L_n+1，N_n+1)的坐标数据和校正系数k_gt，并传送到噪声插值部206。

噪声插值部206基于控制部117的控制，根据(5)式计算基准噪声模型的基准噪声量N_I，基于(6)式根据校正系数k_g计算噪声量N。上述噪声量N作为关注像素C₂₄的噪声量N₂₄被传送到滤波器选择部707。并且，在上述噪声量计算过程中，无需每次摄影都求出温度t、增益g等信息。还可以构成为：将任意信息记录于标准值赋予部203，并省略计算过程。

滤波器选择部707基于控制部117的控制，使用来自噪声插值部206的噪声量N₂₄，从滤波器用ROM 706选择用于滤波处理的滤波器系数。

图16表示记录于滤波器用ROM 706中的滤波器系数的一个例子，记录有尺寸为5×5像素的类型1～类型4的4种频率特性。并且，各系数为128倍。形成为类型1残留有高频分量，依次抑制高频分量向类型4变化的频率特性。

滤波器选择部707根据噪声量N₂₄选择类型1～类型4的频率特性。该选择是例如基于图17所示的噪声量N₂₄和滤波器种类的类型间的关系而进行的。噪声量N₂₄越大，则选择抑制高频分量的频率特性。滤波器选择部707将所选择的滤波器系数传送到频率滤波部708。

频率滤波部708基于控制部117的控制，使用来自滤波器选择部707的滤波器系数对来自缓冲器200的局部区域进行频率滤波处理。并且，在亮度信号Y的情况下，在5×5像素的局部区域中与滤波器的尺寸一致，但是在色差信号Cr的情况下，在5×3像素的局部区域中与滤波器的尺寸不一致。此时，将不存在的像素从滤波处理的对象中除去，根据实际使用的像素的滤波器系数进行归一化，由此进行应对。频率滤波处理的结果是，作为经过了随机性降噪处理的关注像素C^N1 ₂₄而被传送到合成部603。

图18表示第2降噪部602的构成的一个例子，构成为：在图6所示的第2降噪部113的构成中将差分计算部301置换为亮度差分计算部800，将权重滤波部307置换为亮度加权滤波部801和色差加权滤波部802。基本构成与图6所示的第2降噪部113等同，对于相同构成分配相同名称与标号。下面仅说明不同部分。

亮度颜色分离提取部600通过缓冲器300连接到亮度差分计算部800、亮度加权滤波部801、色差加权滤波部802。亮度差分计算部800与缓冲器300连接。缓冲器306连接到亮度加权滤波部801和色差加权滤波部802。亮度加权滤波部801和色差加权滤波部802连接到合成部603。控制部117与亮度差分计算部800、亮度加权滤波部801、色差加权滤波部802双向连接。

如图14B、图14C所示，按照各Y、Cb、Cr，从亮度颜色分离提取部600依次向缓冲器300传送5×5像素的局部区域。并且，对于色差信号而言，在5×5像素的局部区域内缺损的像素在处理对象之外。在此后对图14B所示的偶数场信号且关注像素为Y₂₄、Cr₂₄的情况进行说明，但是对于偶数场信号并且关注像素为Y₂₄、Cb₂₄和奇数场信号的情况，仅是局部区域的构成不同，也同样成立。

亮度差分计算部800基于控制部117的控制，如(8)式所示对亮度信号的关注像素Y₂₄及其附近8个像素Y₁₂、Y₂₂、Y₃₂、Y₁₄、Y₃₄、Y₁₆、Y₂₆、Y₃₆共计9个像素计算各自与附近8个像素之差的绝对值Δ_l。上述差的绝对值Δ_l被传送到缓冲器302。

排序部303基于控制部117的控制，按照升序对缓冲器302的差的绝对值Δ_l排序，从较小的值开始将预定数量、第2实施方式中为4个绝对值传送到总和计算部304。

总和计算部304基于控制部117的控制，如(9)式所示求出由排序部303传送的按照升序排序的4个差的绝对值的总和。该总和为指标指数IC。

权重系数表部305根据指标指数IC输出用于后续的加权滤波处理的权重系数F。权重系数F被传送到缓冲器306。亮度差分计算部300、排序部303、总和计算部304、权重系数表部305基于控制部117的控制，重复9次上述处理。此后用IC_k表示指标系数，用F_k表示权重系数。并且，总和计算部304仅将亮度信号的关注像素Y₂₄的指标系数IC₀传送到合成部603。

亮度加权滤波部801基于控制部117的控制，从缓冲器300读取局部区域中亮度信号的关注像素及其附近的8个像素，从缓冲器306读取权重系数F_k，进行(11)式所示的加权滤波处理，求出经过了脉冲性降噪处理的关注像素Y^N2 ₂₄。经过了脉冲性降噪处理的关注像素Y^N2 ₂₄被传送到合成部603。

色差加权滤波部802基于控制部117的控制，从缓冲器300读取局部区域中的色差信号的关注像素及其附近的8个像素，从缓冲器306读取权重系数F_k，进行(11)式所示的加权滤波处理，求出经过了脉冲性降噪处理的关注像素Cr^N2 ₂₄。即，用基于亮度信号的指标系数IC_k求出的权重系数F_k处理色差信号。仅根据亮度信号，就能以足够的精度获得脉冲性程度。通过使该结果与色差信号适应，从而不必对存在缺损像素的色差信号进行插值处理等产生误差的处理，可高精度地实现脉冲性降噪。经过了脉冲性降噪处理的关注像素Cr^N2 ₂₄被传送到合成部603。

图19表示合成部603的构成的一个例子，构成为：在图9所示的合成部114的构成中将乘法部403置换为亮度乘法部900和色差乘法部901，将乘法部404置换为亮度乘法部902和色差乘法部903。基本构成与图9所示合成部114等同，对于相同构成分配相同名称与标号。下面仅说明不同部分。

第1降噪部601连接到第1信号选择部400。第2降噪部602连接到第1信号选择部400、第2信号选择部401、合成系数表部402。第1信号选择部400连接到亮度乘法部900、色差乘法部901、缓冲器604。第2信号选择部401连接到亮度乘法部902、色差乘法部903、缓冲器604。合成系数表部402连接到亮度乘法部900、色差乘法部901、亮度乘法部902、色差乘法部903。亮度乘法部900、色差乘法部901、亮度乘法部902、色差乘法部903连接到加法部405，加法部405连接到缓冲器604。控制部117与亮度乘法部900、色差乘法部901、亮度乘法部902、色差乘法部903双向连接。在此后对图14B所示的偶数场信号且关注像素为Y₂₄、Cr₂₄的情况进行说明，而对于偶数场信号并且关注像素为Y₂₄、Cb₂₄和奇数场信号的情况，仅是局部区域的构成不同，也同样成立。

第1信号选择部400基于控制部117的控制，从第2降噪部602读取与亮度信号的关注像素Y₂₄有关的指标指数IC₀，从第1降噪部112读取经过了随机性降噪处理的亮度和色差信号的关注像素C^N1 ₂₄。当指标指数IC₀小于等于预定阈值Th1的情况下，将关注像素C^N1 ₂₄作为合成后的关注像素C^N ₂₄传送到缓冲器604。当指标指数IC₀大于预定阈值Th1的情况下，将亮度信号的关注像素Y^N1 ₂₄传送到亮度乘法部900，将色差信号的关注像素Cr^N1 ₂₄传送到色差乘法部901。

第2信号选择部401基于控制部117的控制，从第2降噪部602读取与亮度信号的关注像素Y₂₄有关的指标指数IC₀和经过了脉冲性降噪处理的亮度和色差信号的关注像素C^N2 ₂₄。当指标指数IC₀大于等于预定阈值Th2的情况下，将关注像素C^N2 ₂₄作为合成后的关注像素C^N ₂₄传送到缓冲器604。当指标指数IC₀小于预定阈值Th2的情况下，将亮度信号的关注像素Y^N2 ₂₄传送到亮度乘法部902，将色差信号的关注像素Cr^N2 ₂₄传送到色差乘法部903。

如图10所示，合成系数表部402是记录了在针对指标指数IC₀的合成处理中使用的合成系数w＝0～1和1～w的查询表。合成系数表部402将合成系数1～w传送到亮度乘法部900和色差乘法部901，将合成系数w传送到亮度乘法部902和色差乘法部903。

亮度乘法部900基于控制部117的控制，当从第1信号选择部400传送来亮度信号的关注像素Y^N1 ₂₄的情况下，使关注像素Y^N1 ₂₄和合成系数1～w相乘，将其结果(1～w)·Y^N1 ₂₄传送到加法部405。

色差乘法部901基于控制部117的控制，当从第1信号选择部400传送来色差信号的关注像素Cr^N1 ₂₄的情况下，使关注像素Cr^N1 ₂₄和合成系数1～w相乘，将其结果(1～w)·Cr^N1 ₂₄传送到加法部405。

亮度乘法部902基于控制部117的控制，当从第2信号选择部401传送来亮度信号的关注像素Y^N2 ₂₄的情况下，使关注像素Y^N2 ₂₄和合成系数w相乘，将其结果w·Y^N2 ₂₄传送到加法部405。

色差乘法部903基于控制部117的控制，当从第2信号选择部401传送来色差信号的关注像素Cr^N2 ₂₄的情况下，使关注像素Cr^N2 ₂₄和合成系数w相乘，将其结果w·Cr^N2 ₂₄传送到加法部405。

加法部405基于控制部117的控制，对来自亮度乘法部900的(1～w)·Y^N1 ₂₄和来自亮度乘法部902的w·Y^N2 ₂₄进行相加处理，求出合成后的亮度信号的关注像素Y^N ₂₄。同样地，对来自色差乘法部901的(1～w)·Cr^N1 ₂₄和来自色差乘法部903的w·Cr^N2 ₂₄进行相加处理，求出合成后的亮度信号的关注像素Cr^N ₂₄。即，使用基于亮度信号的指标指数IC_k求出的合成系数w，对色差信号进行合成处理。仅根据亮度信号就能以足够的精度获得脉冲性程度。通过使该结果与色差信号适应，可实现高精度的合成处理。经过合成处理的亮度和色差信号的关注像素C^N ₂₂被传送到缓冲器604。

【作用】

通过上述构成，能够对性质不同的随机性噪声和脉冲性噪声单独地进行降噪处理，根据表示脉冲性程度的指标系数对二者进行合成处理。因此，能对随机性和脉冲性这两种噪声进行最佳的降噪处理，获得高品质的影像信号。

还能够抑制起因于2种降噪处理的不连续性和假象的产生。在随机性降噪处理中以关注像素为单位估计噪声量，进行随机性降噪处理，因而可高精度地仅减少噪声分量，获得了高品质的影像信号。

对于在噪声量估计中使用双向滤波器的处理结果的构成，排除了关注像素周边的噪声和边缘结构等来求出低频分量，因而可实现高精度且稳定的处理。噪声量的估计动态适应于按照每种摄影而不同的条件，能够实现高精度且稳定的噪声量估计。另外，在噪声量的计算中使用插值运算的构成易于安装，可实现系统成本降低。

另外，由于随机性降噪处理中使用根据噪声量而选择的频率滤波处理，因而可重点地仅降低随机性噪声分量，可获得高品质的影像信号。另外，对于滤波处理，安装较为容易，可实现系统整体的高速化和成本降低。

在脉冲性降噪处理中，对于按照局部区域的各像素单位求出脉冲性程度来进行加权滤波处理的构成，能够高精度地仅降低噪声分量。另外，由于从查询表中求出权重系数，因而能成为高速处理。在表示脉冲性程度的指标系数中，对与附近像素之间的差进行排序并使用从较小的值开始的预定数量的总和的构成，能够高精度进行脉冲性噪声与边缘部的识别，能获得边缘部劣化较少的高品质的影像信号。

另外，由于从影像信号中分离亮度信号和色差信号，对每种亮度信号和色差信号进行降噪处理，因此能高精度地降低噪声，可获得高品质的影像信号。还可以适用于多种摄像系统。

进而，在脉冲性降噪和合成处理中根据亮度信号的处理结果来处理色差信号，因而可将亮度信号和色差信号间的处理统一起来，获得假象较少的高品质的影像信号。

进而，色差线序型补色滤色器与现有摄像装置的亲和性较高，可与多种系统进行组合。

【变形例】

并且，在第2实施方式中，构成为使用色差线序型补色滤色器作为摄像元件，然而无需限定于这种构成。例如还可以构成为使用图2A所示的拜耳型原色滤色器。这种情况下，通过公知的插值处理来补充缺损的RGB信号，根据(20)式求出亮度信号Y和色差信号Cb、Cr。

Y＝0.29900R+0.58700G+0.11400B

Cb＝-0.16874R-0.33126G+0.50000B              (20)

Cr＝0.50000R-0.41869G-0.08131B

另外，这种情况下仅存在帧信号而不存在场信号。进而，与第1实施方式中图11所示的方式同样地，还可以构成为：由将通过其他摄像部拍摄的在时序上连续的多个影像信号作为未处理的Raw数据形式记录，并将CCD 102滤色器和摄影时的曝光条件等附属信息记录于头部的记录介质进行处理。

另外，第2实施方式中以基于硬件的处理作为前提，然而无需限定于该构成。例如也可以构成为：将来自CCD 102的在时序上连续的多个影像信号作为未经处理的Raw数据，将CCD 102的滤色器和摄影时的曝光条件等附属信息等作为头部信息进行输出，通过另外的软件进行处理。

图20A表示与信号处理的软件处理有关的流程图。并且，对与图12所示的第1实施方式中信号处理的流程相同的处理步骤分配相同的步骤数。

在步骤S1中，读取多个影像信号和滤色器以及摄影时的曝光条件等头部信息。

在步骤S60中，从1帧影像信号、即帧信号中依次提取出偶数场信号和奇数场信号。

在步骤S61中，如(14)式所示将影像信号分离为亮度信号和颜色信号。

在步骤S62中，如图14B、图14C所示，针对亮度信号和颜色信号提取出包含作为降噪处理对象的关注像素在内的预定尺寸、例如5×5像素的局部区域。

在步骤S63中，如另外说明的那样，针对亮度信号和颜色信号进行作为随机性降噪处理的第1降噪处理。

在步骤S64中，如另外说明的那样，对亮度信号和颜色信号进行作为脉冲性降噪处理的第2降噪处理。

在步骤S65中，如另外说明的那样，将针对亮度信号和颜色信号进行了第1降噪处理的信号和进行了第2降噪处理的信号进行合成。

在步骤S7中，判断是否完成了对所有局部区域的处理，在没有完成的情况下分支到步骤S62，在完成的情况下分支到步骤S66。

在步骤S66中，对色差信号进行了公知的插值处理之后，对偶数场信号和奇数场信号进行公知的同步处理，生成帧信号。

在步骤S9中，进行公知的灰度转换处理、边缘强调处理、颜色强调处理等信号处理。

在步骤S67中，输出完成了处理的帧信号。

在步骤S68中，判断是否完成了对所有场信号的处理，在没有完成的情况下分支到步骤S60，在完成的情况下结束。

图20B是与上述步骤S63中第1降噪处理有关的流程图。并且，对与图12B所示的第1实施方式中第1降噪处理的流程相同的处理步骤分配相同的步骤数。

在步骤S70中，输入亮度或色差信号的局部区域。

在步骤S71中，计算与(15)式所示的关注像素值之间的差分量的绝对值。

在步骤S72中，输入基于(16)式所示的函数式而构建的差分量表。

在步骤S73中，求出与差分量有关的权重系数。

在步骤S74中，输入基于(17)式所示的函数式而构建的坐标表。

在步骤S75中，求出与坐标有关的权重系数。

在步骤S76中，将与差分量有关的权重系数以及与坐标有关的权重系数相乘，求出使用于双向滤波的权重系数。

在步骤S77中，进行(19)式所示的双向滤波处理。

在步骤S21中，根据读取的头部信息设定温度、增益等信息。在头部信息中不存在所需参数的情况下，分配预定的标准值。

在步骤S22中，读取基准噪声模型的坐标数据和校正系数。

在步骤S23中，选择关注像素所属的基准噪声模型区间的坐标数据和对应的校正系数。

在步骤S24中，将双向滤波处理的结果作为信号电平，通过(5)、(6)式所示的插值处理来求出噪声量。

在步骤S78中，输入图16所示的滤波器系数。

在步骤S79中，基于图17所示的关系，根据噪声量选择滤波器系数。

在步骤S80中，使用所选择的滤波器系数进行频率滤波处理。

在步骤S26中，输出经过了第1降噪处理的信号。

在步骤S81中，判断是否完成了亮度和色差信号的处理，在没有完成的情况下分支到步骤S70，在完成的情况下结束处理。

图20C是与上述步骤S64中第2降噪处理有关的流程图。并且，对与图12C所示的第1实施方式中第2降噪处理的流程相同的处理步骤分配相同的步骤数。

在步骤S30中，选择亮度信号的局部区域内的关注像素和附近8个像素之一。

在步骤S90中，如(8)式所示计算8个差的绝对值。

在步骤S32中，按照升序排列8个差的绝对值。

在步骤S33中，如(9)式所示求出从较小的值开始的预定数量、例如4个差的绝对值的总和，并作为指标系数。

在步骤S34中，输入将根据(10)式构建的指标系数作为输入，并输出权重系数的查询表。

在步骤S35中，根据指标系数输出权重系数。

在步骤S36中，判断是否选择了所有关注像素以及附近的8个像素，在没有完成选择的情况下分支到步骤S30，在完成的情况下分支到步骤S91。

在步骤S91中，对亮度信号进行(11)式所示的加权滤波处理。

在步骤S92中，对色差信号进行(11)式所示的加权滤波处理。

在步骤S38中，将针对亮度信号和色差信号进行加权滤波处理而获得的信号作为经过了第2降噪处理的信号来输出。

在步骤S39中，输出与亮度信号的关注像素有关的指标系数，结束。

图20D是与上述步骤S65中合成处理有关的流程图。并且，对与图12D所示的第1实施方式中合成处理的流程相同的处理步骤分配相同的步骤数。

在步骤S40中，输入与亮度信号的关注像素有关的指标系数。

在步骤S41中，比较指标系数与预定阈值Th1，在指标系数小于等于阈值Th1的情况下分支到步骤S42，指标系数大于阈值Th1的情况下分支到步骤S43。

在步骤S42中，输出经过了第1降噪处理的信号，结束。

在步骤S43中，比较指标系数与预定阈值Th2，在指标系数大于等于阈值Th1的情况下分支到步骤S44，在指标系数小于阈值Th2的情况下分支到步骤S45。

在步骤S44中，输出经过了第2降噪处理的信号，结束。

在步骤S45中，输入将图10所示的指标系数作为输入，并输出合成系数的查询表。

在步骤S46中，根据指标系数输出合成系数。

在步骤S100中，使经过了第1降噪处理的亮度信号乘以(1-合成系数)。

在步骤S101中，使经过了第2降噪处理的亮度信号乘以合成系数。

在步骤S102中，使经过了第1降噪处理的亮度信号乘以(1-合成系数)后的信号与经过了第2降噪处理的亮度信号乘以合成系数后的信号相加。

在步骤S103中，使经过了第1降噪处理的色差信号乘以(1-合成系数)。

在步骤S104中，使经过了第2降噪处理的色差信号乘以合成系数。

在步骤S105中，使经过了第1降噪处理的色差信号乘以(1-合成系数)后的信号与经过了第2降噪处理的色差信号乘以合成系数后的信号相加。

在步骤S50中，输出所合成的亮度和色差信号，结束。

也可以构成为通过软件进行这种信号处理，能够获得与硬件处理的情况相同的作用效果。

以上说明了本发明实施方式，但上述实施方式只不过示出本发明的应用例，并非想要将本发明的技术范围限定于上述实施方式的具体构成。

本申请基于2007年11月16日向日本专利局提交的日本特愿2007-297960要求优先权，该申请的全部内容都通过参照而组合到本说明书中。

Claims (26)

1.一种降噪系统，其对从摄像装置取入的影像信号进行降噪处理，该降噪系统具有：

局部区域提取单元，其从上述影像信号中依次提取出含有要进行降噪处理的关注像素的局部区域；

第1降噪单元，其对上述局部区域进行随机性的降噪处理；

第2降噪单元，其对上述局部区域进行脉冲性的降噪处理；以及

合成单元，其对由上述第1降噪单元进行了降噪处理的影像信号与由上述第2降噪单元进行了降噪处理的影像信号进行合成。

2.根据权利要求1所述的降噪系统，上述第1降噪单元具有：

低频提取单元，其从上述局部区域中提取低频分量；

噪声估计单元，其根据上述低频分量估计对于上述关注像素的噪声量；以及

平滑化单元，其根据上述低频分量和上述噪声量中的至少一方对上述关注像素进行平滑化处理。

3.根据权利要求1或2所述的降噪系统，上述第2降噪单元具有：

指标系数计算单元，其针对上述局部区域的各像素计算表示脉冲性程度的指标系数；

权重系数计算单元，其根据上述指标系数计算与上述局部区域的各像素有关的权重系数；以及

加权滤波单元，其根据上述权重系数对上述局部区域进行滤波处理。

4.根据权利要求1或2所述的降噪系统，上述第2降噪单元具有：

指标系数计算单元，其针对上述局部区域的关注像素计算表示脉冲性程度的指标系数；以及

非线性滤波单元，其根据上述指标系数对上述局部区域进行非线性滤波处理。

5.根据权利要求3或4所述的降噪系统，上述合成单元具有：

第1选择单元，其在上述指标系数为预定的第1阈值以下的情况下，选择由上述第1降噪单元进行了降噪处理的影像信号；

第2选择单元，其在上述指标系数为预定的第2阈值以上的情况下，选择由上述第2降噪单元进行了降噪处理的影像信号；以及

加权相加单元，其在上述指标系数大于上述第1阈值且小于上述第2阈值的情况下，对由上述第1降噪单元进行了降噪处理的影像信号和由上述第2降噪单元进行了降噪处理的影像信号进行加权相加。

6.根据权利要求2所述的降噪系统，上述低频提取单元具有平均值计算单元，该平均值计算单元由上述局部区域计算平均值。

7.根据权利要求2所述的降噪系统，上述低频提取单元具有低通滤波单元，该低通滤波单元对上述局部区域应用低通滤波器。

8.根据权利要求2所述的降噪系统，上述低频提取单元具有双向滤波单元，该双向滤波单元对上述局部区域应用双向滤波器。

9.根据权利要求2所述的降噪系统，上述噪声估计单元具有：

收集单元，其收集与上述摄像装置的温度值和针对上述影像信号的增益有关的信息；

赋予单元，其对未能由上述收集单元获得的信息赋予标准值；

参数记录单元，其记录与基准噪声模型有关的参数组；

参数选择单元，其根据来自上述收集单元或上述赋予单元的信息以及上述局部区域的低频分量，从上述参数组中选择需要的参数；以及

插值单元，其根据上述局部区域的低频分量以及所选择的上述参数，利用插值运算来求出上述关注像素的噪声量。

10.根据权利要求2所述的降噪系统，上述噪声估计单元具有：

收集单元，其收集与上述摄像装置的温度值和针对上述影像信号的增益有关的信息；

赋予单元，其对未能由上述收集单元获得的信息赋予标准值；以及

噪声表单元，其将来自上述收集单元或上述赋予单元的信息以及上述局部区域的低频分量作为输入，输出上述关注像素的噪声量。

11.根据权利要求2所述的降噪系统，上述平滑化单元具有核化单元，该核化单元根据上述局部区域的低频分量和上述噪声量，对上述关注像素进行核化处理。

12.根据权利要求2所述的降噪系统，上述平滑化单元具有：

滤波器记录单元，其记录具有预定频率特性的多个滤波器；

滤波器选择单元，其根据上述噪声量选择上述滤波器；以及

频率滤波单元，其使用所选择的上述滤波器对上述局部区域进行滤波处理。

13.根据权利要求3或4所述的降噪系统，上述指标系数计算单元具有：

差分单元，其计算应计算出指数系数的像素与位于其附近的预定数量的像素之间的差的绝对值；以及

总和计算单元，其计算上述差的绝对值的总和。

14.根据权利要求3或4所述的降噪系统，上述指标系数计算单元具有：

差分单元，其计算应计算出指数系数的像素与位于其附近的预定数量的像素之间的差的绝对值；

排序单元，其按照大小顺序排列上述差的绝对值；以及

总和计算单元，其针对所排列的上述差的绝对值，从较小的值开始计算出预定数量的总和。

15.根据权利要求3所述的降噪系统，上述权重系数计算单元具有权重系数表单元，该权重系数表单元根据上述指标系数输出权重系数。

16.根据权利要求4所述的降噪系统，上述非线性滤波单元使用中值滤波处理作为上述非线性滤波处理。

17.根据权利要求1至16中任一项所述的降噪系统，上述摄像装置使用在前表面配置有滤色器的摄像元件，

该降噪系统具有：

颜色信号分离单元，其按照上述摄像元件所使用的每个滤色器，将上述影像信号分离为多个颜色信号；以及

信号控制单元，其进行控制，使得对每个上述颜色信号依次应用上述局部区域提取单元、上述第1降噪单元、上述第2降噪单元以及上述合成单元。

18.根据权利要求1至16中任一项所述的降噪系统，上述摄像装置使用在前表面配置有滤色器的摄像元件，

该降噪系统具有：

亮度色差分离单元，其从上述影像信号中分离亮度信号和色差信号；以及

信号控制单元，其进行控制，使得对每个上述亮度信号和色差信号依次应用上述局部区域提取单元、上述第1降噪单元、上述第2降噪单元以及上述合成单元，

上述第2降噪单元和上述合成单元根据上述亮度信号的处理结果，对上述色差信号进行处理。

19.根据权利要求17或18所述的降噪系统，

上述摄像元件是在前表面配置有R(红)、G(绿)、B(蓝)拜耳型原色滤色器的摄像元件，或在前表面配置有Cy(青色)、Mg(品红色)、Ye(黄色)、G(绿色)色差线序型补色滤色器的摄像元件。

20.一种摄像系统，其具有：

摄像装置；

影像信号存储单元，其取入由上述摄像装置拍摄到的影像信号；以及

权利要求1至19中任一项所述的降噪系统，

该摄像系统利用上述降噪系统对所取入的上述影像信号进行降噪处理。

21.一种降噪程序，其对从摄像装置取入的影像信号进行降噪处理，使计算机执行如下步骤：

局部区域提取步骤，从上述影像信号中依次提取出含有要进行降噪处理的关注像素的局部区域；

第1降噪步骤，对上述局部区域进行随机性的降噪处理；

第2降噪步骤，对上述局部区域进行脉冲性的降噪处理；以及

合成步骤，对在上述第1降噪步骤中进行了降噪处理的影像信号与在上述第2降噪步骤中进行了降噪处理的影像信号进行合成。

22.根据权利要求21所述的降噪程序，

上述第1降噪步骤具有：

低频提取步骤，从上述局部区域中提取低频分量；

噪声估计步骤，根据上述低频分量估计对于上述关注像素的噪声量；以及

平滑化步骤，根据上述低频分量和上述噪声量中的至少一个对上述关注像素进行平滑化处理。

23.根据权利要求21或22所述的降噪程序，

上述第2降噪步骤具有：

指标系数计算步骤，针对上述局部区域的各像素计算表示脉冲性程度的指标系数；

权重系数计算步骤，根据上述指标系数计算与上述局部区域的各像素相关的权重系数；以及

加权滤波步骤，根据上述权重系数对上述局部区域进行滤波处理。

24.根据权利要求21或22所述的降噪程序，

上述第2降噪步骤具有：

指标系数计算步骤，针对上述局部区域的关注像素计算表示脉冲性程度的指标系数；以及

非线性滤波步骤，根据上述指标系数对上述局部区域进行非线性滤波处理。

25.根据权利要求23或24所述的降噪程序，

上述指标系数计算步骤具有：

差分步骤，计算应计算出指数系数的像素与位于其附近的预定数量的像素之间的差的绝对值；

排序步骤，按照大小顺序排列上述差的绝对值；以及

总和计算步骤，针对所排列的上述差的绝对值，从较小的值开始计算出预定数量的总和。

26.根据权利要求23或24所述的降噪程序，

上述合成步骤具有：

第1选择步骤，在上述指标系数为预定的第1阈值以下的情况下，选择在上述第1降噪步骤中进行了降噪处理的影像信号；

第2选择步骤，在上述指标系数为预定的第2阈值以上的情况下，选择在上述第2降噪步骤中进行了降噪处理的影像信号；以及

加权相加步骤，在上述指标系数大于上述第1阈值且小于上述第2阈值的情况下，对在上述第1降噪步骤中进行了降噪处理的影像信号和在上述第2降噪步骤中进行了降噪处理的影像信号进行加权相加。

Images