CN104205805A - 图像处理装置、方法以及图像处理程序 - Google Patents

Abstract

根据针对输入图像的多个不同方向的一维低通滤波器值中与关注像素的代表值之差最小的一维低通滤波器值与关注像素的代表值之差求出NR系数(Kf)，通过NR系数(Kf)对关注像素的像素值和周边低通滤波器(25)进行加权相加(36)。关注像素的代表值是通过在时间轴方向上对当前帧和过去帧进行滤波而得到的例如中间值。在图像处理装置中进行降噪而不会降低分辨率。

Description

图像处理装置、方法以及图像处理程序

技术领域

本发明涉及在数字照相机等中去除混入输入图像中的噪声的图像处理装置、方法以及图像处理程序。

背景技术

在具有CCD等摄像元件的数字照相机等图像输入装置以及显示从这种图像输入装置输入的图像的显示器等图像输出装置中，在图像输入系统或图像传送系统中，在图像数据中混入噪声。一般在装置内通过图像处理来去除这种噪声。对在这种图像输入装置或图像输出装置中去除所混入的噪声的现有方法进行说明。

作为去除噪声的最平易的一般方法，存在如下技术：构成以作为图像处理对象的像素(以下称为关注像素)为中心的由多个像素构成的处理窗口，通过对处理窗口内的周边像素的像素值和关注像素的像素值进行加权相加，施加低通滤波。但是，在使用该方法的情况下，针对噪声以外的图像中存在的有意义的边缘，也一律施加低通滤波，因此，存在图像的分辨率降低的问题。

并且，作为其他方法，提出了如下技术：针对处理窗口，通过施加普瑞维特(Prewitt)滤波或索贝尔(Sobel)滤波来检测边缘，在判断为关注像素是图像中的有意义的边缘的情况下，减弱低通滤波的强度，或者在沿着存在于周边的边缘的方向上施加低通滤波，由此，在抑制图像的分辨率降低的同时去除噪声(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2002-185795号公报

发明内容

发明要解决的课题

在上述专利文献1所记载的方法中，有时将特定方向上连续的噪声误判定为边缘、或将被摄体中存在的图案误判定为噪声，从而存在引起分辨率的降低，并且不能充分进行降噪的问题。

本发明正是为了解决上述问题点而完成的，其目的在于，能够进行降噪而不会降低分辨率。

用于解决课题的手段

本发明的图像处理装置的特征在于，所述图像处理装置将由多帧的时间序列构成的动态图像作为输入图像，所述图像处理装置具有：多个一维低通滤波器，它们在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用所述关注像素和相对于所述关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值；周边低通滤波器，其针对所述处理窗口输出使用所述关注像素及其周围像素的低通滤波器值，作为周边低通滤波器值；代表值计算部，其根据所述关注帧的所述关注像素的像素值和所述关注帧以外的1个以上的帧中与所述关注像素对应的位置的像素的像素值，求出与所述关注像素有关的代表值；噪声电平检测部，其计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平；NR系数生成部，其接收所述噪声电平，根据预先设定的输入输出特性生成与该噪声电平对应的降噪系数；以及NR处理部，其使用所述降噪系数对所述关注像素的像素值和所述周边低通滤波器值进行加权相加，在所述NR处理部中，所述降噪系数越大，则针对所述周边低通滤波器值的权重越大。

发明效果

根据本发明，不区分原来的边缘引起的像素值变化和噪声，能够对周边低通滤波器值与关注像素的像素值的混合比进行调整，因此，能够进行降噪而不会降低分辨率，能够得到高画质的图像。

附图说明

图1是示出本发明的实施方式1的图像处理装置的框图。

图2是示出实施方式1的第1LPF的滤波处理的方法的说明图。

图3是示出实施方式1的第2LPF的滤波处理的方法的说明图。

图4是示出实施方式1的第4LPF的滤波处理的方法的说明图。

图5是示出实施方式1的第4LPF的滤波处理的方法的说明图。

图6是示出实施方式1的二维LPF的滤波处理的方法的说明图。

图7是示出实施方式1的NR系数生成部34的输入输出特性的一例的线图。

图8的(a)和(b)是示出实施方式1的降噪处理前后的图像信号的说明图。

图9是示出本发明的实施方式2的图像处理装置的框图。

图10是示出实施方式2的校正系数生成部的输入输出特性的一例的线图。

图11是示出本发明的实施方式3的图像处理装置的框图。

图12是示出实施方式3的针对第2小的方向的噪声电平和最小的方向的噪声电平的第1插值系数的特性的一例的线图。

图13是示出实施方式3的针对最小的方向的噪声电平的第2插值系数的特性的一例的图。

具体实施方式

实施方式1

图1示出本发明的实施方式1的图像处理装置的功能结构。

图示的图像处理装置例如将从未图示的摄像元件等图像输入系统或图像传送系统供给的由多帧的时间序列构成的动态图像作为输入图像。图像由在水平方向(行方向)和垂直方向(纵方向)上即呈矩阵状排列的像素构成，输入图像数据由按照光栅顺序排列表示构成图像的像素的像素值的数据而得到的数据构成。

下面，假设如下情况：输入图像是从具备具有拜耳排列的颜色滤波器的像素的单板彩色数字照相机输入的图像，按照像素的排列顺序依次从摄像元件输入R、Gr、Gb、B的4个颜色的拍摄颜色的图像信号。

图示的图像处理装置具有行存储器10、第1帧存储器11和第2帧存储器12、第1一维低通滤波器21～第4一维低通滤波器24(以下将低通滤波器称作LPF)、二维低通滤波器(LPF)25、中值滤波器30、噪声电平检测部32、NR系数生成部34、NR处理部36。

行存储器10接收输入图像数据P(x，y)并保持规定行数的图像数据。这里，规定行数N例如为17。

依次选择行存储器10保持的N行中的中央行中的像素作为关注像素，以选择出的关注像素为中心将纵向N行、横向M个像素的矩形区域作为处理窗口，该处理窗口内的规定像素分别被输出到第1一维LPF21～第4一维LPF24和二维LPF25。

在以下说明的例子中，M与N同是17。

从行存储器10读出的关注像素的输入图像数据相对于输入到行存储器10的输入图像数据大致具有(N/2)行的延迟，但是内容相同，因此利用相同的符号P(x，y)表示。

第1帧存储器11和第2帧存储器12分别具有蓄积1帧图像数据的容量，用作用于使行存储器10保持的数据中的关注像素的数据分别延迟1帧期间进行输出的延迟部。其结果是，从第1帧存储器11输出当前帧的1帧前的图像数据，从第2帧存储器12输出当前帧的2帧前的图像数据。

一维LPF21～24针对以输入图像数据的关注像素为中心的由水平17像素、垂直17像素构成的处理窗口，分别计算不同的一维方向(0度、45度、90度、135度)的LPF值La(x，y)、Lb(x，y)、Lc(x，y)、Ld(x，y)。

即，多个LPF21～24在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用关注像素和相对于关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值。

图2示出针对处理窗口在0度方向的滤波处理中使用的像素。位于中心的像素是关注像素P(x，y)。在第1LPF21中，使用包含关注像素P(x，y)的在0度方向(水平方向)上排列的像素(施加斜线的像素)进行滤波。

构成输入图像的像素具有拜耳排列的颜色滤波器，在针对各关注像素进行滤波处理的情况下，仅使用关注像素周围的像素(窗口内的像素)中的相同颜色的像素。以下说明的第2LPF22～第4LPF24和二维LPF25也是同样的。

在第2LPF22中，如图3所示，使用包含关注像素P(x，y)的在45度方向(相对于水平方向逆时针旋转45度后的方向)上排列的像素(施加斜线的像素)进行滤波。

在第3LPF23中，如图4所示，使用包含关注像素P(x，y)的在90度方向(垂直方向)上排列的像素(施加斜线的像素)进行滤波。

在第4LPF24中，如图5所示，使用包含关注像素P(x，y)的在135度方向(相对于水平方向逆时针旋转135度后的方向)上排列的像素(施加斜线的像素)进行滤波。

在各个一维LPF21～24中，例如通过计算包含关注像素的一维方向的像素(滤波中使用的像素)的像素值的单纯平均，计算各方向的平均像素值La(x，y)、Lb(x，y)、Lc(x，y)、Ld(x，y)，分别作为一维方向的LPF值进行输出。

二维LPF25使用以关注像素为中心的处理窗口内的像素计算二维方向的LPF值。在实施方式1中，二维LPF25是周边低通滤波器。

图6利用斜线示出针对处理窗口的LPF运算中使用的像素。在图6所示的例子中，作为二维方向的LPF值，使用由17像素×17像素构成的处理窗口内的关注像素和与关注像素相同颜色的像素，根据式(1)计算它们全部的平均值Pf(x，y)。

$\mathrm{Pf}(x,y)=\frac{1}{81}\underset{i=-4}{\overset{4}{\mathrm{\Σ}}}\underset{j=-4}{\overset{4}{\mathrm{\Σ}}}P(x+2i)(y+2j)\·\·\·\left(1\right)$

在式(1)中，(x，y)表示关注像素的坐标。

关于各像素的坐标，设图像的左上角为(0，0)，在右方向上每前进1个像素间隔而使x增加1，在下方向上每前进1个像素间隔而使y增加1。

中值滤波器30计算从行存储器10输出的图像数据中的当前帧的关注像素的像素值(信号电平)P(x，y)_t、从第1帧存储器11输出的1帧前的关注像素的像素值P(x，y)_t-1、从第2帧存储器12输出的2帧前的关注像素的像素值P(x，y)_t-2的中间值(中央值)Pm(x，y)，将其作为关注像素的代表值进行输出。

由中值滤波器30构成代表值计算部。

即，代表值计算部30根据关注帧的关注像素的像素值P(x，y)_t和关注帧以外的1个以上的帧中与关注像素对应的位置的像素的像素值，进行时间轴方向的滤波，由此求出与关注像素有关的代表值。

并且，代表值是通过使用关注像素和与其对应的位置的像素进行时间轴方向的滤波而得到的值。并且，这里，代表值是中间值Pm(x，y)。

另外，在不需要区分帧的情况下，省略用于确定当前帧的小标“t”。

噪声电平检测部32计算分别由一维LPF21～24计算出的各个一维方向的LPF值La(x，y)～Ld(x，y)与从中值滤波器30输出的关注像素的代表值Pm(x，y)的差分的绝对值ADa(x，y)、ADb(x，y)、ADc(x，y)、ADd(x，y)，输出所计算出的差分的绝对值中的最小值ADmin(x，y)作为关注像素的噪声电平NL(x，y)。

即，噪声电平检测部32计算各个一维方向的低通滤波器值La(x，y)～Ld(x，y)与代表值Pm(x，y)的差分的绝对值ADa(x，y)、ADb(x，y)、ADc(x，y)、ADd(x，y)，输出所计算出的差分的绝对值ADa(x，y)、ADb(x，y)、ADc(x，y)、ADd(x，y)中满足规定条件的绝对值中的最小值Dmin(x，y)，作为关注像素的噪声电平NL(x，y)。

上述差分的绝对值ADa(x，y)、ADb(x，y)、ADc(x，y)、ADd(x，y)分别由以下式(2a)～(2d)表现。

ADa(x，y)＝|La(x，y)-Pm(x，y)|…(2a)

ADb(x，y)＝|Lb(x，y)-Pm(x，y)|…(2b)

ADc(x，y)＝|Lc(x，y)-Pm(x，y)|…(2c)

ADd(x，y)＝|Ld(x，y)-Pm(x，y)|…(2d)

在噪声电平检测部32中，输出上述差分的绝对值ADa(x，y)～ADd(x，y)中的最小值ADmin(x，y)，作为关注像素的噪声电平NL(x，y)。

NR系数生成部34接收由噪声电平检测部32检测到的噪声电平NL(x，y)，根据预先设定的输入输出特性生成降噪系数(NR系数)Kf(x，y)。

即，NR系数生成部34接收噪声电平NL(x，y)，根据预先设定的输入输出特性生成与噪声电平NL(x，y)对应的降噪系数Kf(x，y)。

图7示出NR系数生成部34的输入输出特性的一例。在图示的例子中，输入图像数据的像素值取0～4095的值，与其对应地，假设检测到的噪声电平也取0～4095的值。

针对检测到的噪声电平表现出如下特性：以0～64的65个阶段定义NR系数的范围，检测到的噪声电平ADmin(x，y)越大，则降噪的程度越强，噪声电平ADmin(x，y)越小，则降噪的程度越弱。

在图7所示的例子中，在噪声电平NL(x，y)小于DMIN时，NR系数Kf(x，y)固定于DMINY，在噪声电平NL(x，y)为DMIN～DMAX的范围内时，NR系数Kf(x，y)随着噪声电平NL(x，y)的增加而从DMINY增加到DMAXY，在噪声电平NL(x，y)为超过第2规定值DMAX的范围内时，NR系数Kf(x，y)固定于DMAXY。

规定输入输出特性的DMINX、DMAXX、DMINY、DMAXY是根据图像输入装置中的拍摄条件而预先设定的。

在NR处理部36中，使用由NR系数生成部34按照每个像素计算出的NR系数Kf(x，y)，如下述式(3)所示，对关注像素的像素值P(x，y)和与该关注像素有关的二维方向的LPF值Pf(x，y)进行加权相加。

Pb(x，y)

＝(Kf(x，y)×Pf(x，y)+(1-Kf(x，y))×P(x，y))/64

                   …(3)

即，NR处理部36使用降噪系数Kf(x，y)对关注像素的像素值P(x，y)和周边低通滤波器值Pf(x，y)进行加权相加。

如式(3)所示，利用NR系数Kf(x，y)对二维方向的LPF值Pf(x，y)进行加权，利用(64-Kf(x，y))对关注像素的像素值P(x，y)进行加权。

进行式(3)的运算而得到的值Pb(x，y)作为降噪处理后的像素值Pb(x，y)而从NR处理部36输出。

通过进行这种处理，针对各像素求出的噪声电平NL(x，y)＝ADmin(x，y)越大，则与各像素有关的NR系数Kf(x，y)越大，二维LPF值Pf(x，y)的混合比越大，则降噪(NR)效果越强。差分绝对值的最小值ADmin(x，y)较大表示不是像素值的变化具有方向性的边缘，而是像素值的变化没有方向性的噪声。

即，在NR处理部36中，降噪系数Kf(x，y)越大，则针对周边低通滤波器值Pf(x，y)的权重越大。

关于上述一连串处理，仅说明了处理窗口的R、Gr、Gb、B这4个拍摄颜色中的一个颜色，但是，针对其他各颜色也同样进行上述一连串处理。

为了针对4个拍摄颜色分别进行同样的处理，可以分别单独(按照每个拍摄颜色)设置图1的LPF21～25、中值滤波器30、噪声电平检测部32、NR系数生成部34以及NR处理部36，也可以利用相同电路按顺序进行处理。

通过如上所述进行降噪处理，能够实现画面整体的噪声电平的均匀化而不会损害分辨率，因此，能够得到高画质的降噪效果。

图8的(a)和(b)示出上述降噪处理前后的图像信号的例子。为了简便而示出一维信号。

图8的(a)示出输入到图1的图像处理装置的图像信号。图中，虚线记载的信号表示被摄体原来具有的像素值的变化，但是，由于图像处理装置的输入侧的摄像元件、放大电路等模拟电路中混入的噪声的影响而作为实线的信号输入。

图8的(b)示出根据图7的输入输出特性对图8的(a)的信号进行了降噪处理后的图像信号。

根据图8的(a)和(b)能够确认到，噪声信号得到抑制，另一方面，图像内原来包含的边缘得到保持。这是因为，在噪声电平检测部32中计算0度～135度的各个一维方向的LPF值与关注像素的代表值的差分绝对值，通过将其最小值作为关注像素的噪声电平NL(x，y)，准确检测噪声电平，以与检测到的噪声电平对应的强度进行降噪处理。

如上所述，根据该实施方式1，针对以关注像素为中心的由多个像素构成的处理窗口，计算包含关注像素的分别不同的一维方向的多个LPF值，并且，针对上述处理窗口计算包含关注像素的二维方向的LPF值，针对关注像素计算多帧之间的代表值，计算各个一维方向的LPF值与代表值的差分绝对值，检测计算出的差分绝对值中的最小值作为关注像素的噪声电平NL(x，y)，根据预先设定的输入输出特性生成与噪声电平NL(x，y)对应的NR系数Kf(x，y)，通过使用生成的NR系数Kf(x，y)对关注像素的像素值P(x，y)和二维方向的LPF值Pf(x，y)进行加权相加，进行降噪。

这样，由于构成为能够准确检测噪声电平，因此，能够进行降噪而不会降低分辨率，能够得到高画质的图像。进而，通过参照时间轴方向求出代表值例如中间值，噪声去除性能和边缘保存性能提高，并且，由于时间轴方向上参照的像素数为最小限度，因此，能够由小规模的电路实现。

并且，关于关注像素的噪声电平NL(x，y)的检测，构成为不区分图像中原来存在的边缘和由摄像系统附加的噪声来进行电平抑制，因此，与使用Sobel滤波器等区分图像中的边缘和噪声而仅对噪声进行降噪的结构相比，能够输出粒状感均匀且噪声电平低的图像。

并且，根据实施方式1，由中值滤波器30计算出的当前帧的关注像素、1帧前的关注像素以及2帧前的关注像素的各像素值的中间值仅用于噪声电平的检测，而不用于NR处理部36中的加权相加。通过这样构成，在降噪处理后的图像中仅使用当前帧的像素，在拍摄到当前帧与1帧前之间存在运动的被摄体的情况下，通过仅使用当前帧的像素，也能够进行降噪处理而在存在运动的被摄体中不会产生抖动。

另外，在上述例子中，针对使用单板彩色传感器拍摄到的图像的全部拍摄颜色，根据统一的输入输出特性生成NR系数，但是，本发明不限于此，也可以构成为按照输入图像的每个拍摄颜色(每个颜色成分)而使用不同的输入输出特性。由此，根据每个颜色成分的图像输入系统或图像传送系统的特性，能够根据输入图像的特性进行最佳的降噪。

即，输入图像P(x，y)包含多个颜色成分，NR系数生成部34按照输入图像P(x，y)的每个颜色成分，利用与输入图像P(x，y)的特性对应的输入输出特性生成每个颜色成分的降噪系数Kf(x，y)。

并且，输入图像P(x，y)包含多个颜色成分，校正系数Kf(x，y)是按照输入图像P(x，y)的每个颜色成分而生成的，利用根据输入图像P(x，y)的特性而不同的输入输出特性生成校正系数Kf(x，y)。这里，校正系数是降噪系数Kf(x，y)。

并且，在上述例子中，在一维低通滤波器21～24中，使用位于处理窗口内的在规定方向上排列的相同颜色的全部像素计算LPF值，在二维低通滤波器25中，使用处理窗口内的相同颜色的全部像素计算LPF值，但是，本发明不限于此，也可以构成为，仅选择具有与由中值滤波器30计算出的中间值比较近的像素值(即，位于规定电平差内)的像素值，用于计算LPF值。由此，在处理窗口内包含特征与关注像素明显不同的区域的情况下，能够进行排除不同区域的特征的运算，能够实现更高分辨率的降噪。

即，在处理窗口内，仅选择与代表值之差位于规定的电平差内的像素值而求出各个低通滤波器值，从而得到一维低通滤波器21～24和周边低通滤波器25。

并且，在上述例子中，在由噪声电平检测部32检测噪声电平NL(x，y)时，估计各个一维方向的LPF值与关注像素的代表值(中间值)的差分绝对值中的最小值作为噪声电平NL(x，y)，但是，本发明不限于此，也可以构成为，使用第1一维LPF21～第4一维LPF24计算出的LPF值中的最小值和最大值，在与最小值对应的滤波方向是和与最大值对应的滤波方向正交的方向的情况下，将与最小值对应的滤波方向判定为真的边缘方向，将该最小值估计为噪声电平。

该情况下，例如，在与最小值对应的滤波方向不和与最大值对应的滤波方向正交时，代替最小值而判断与第2小的值对应的滤波方向是否和与最大值对应的滤波方向正交，如果正交，则将第2小的值作为噪声电平进行处理。如果与第2小的值对应的滤波方向也不和与最大值对应的滤波方向正交，则调查第3小的值。一般而言，依次调查到第N(N为2以上的整数)小的值，将满足最初和与最大值对应的滤波方向正交这样的条件的差分绝对值作为噪声电平进行处理。在即使调查到第N个也不满足和与最大值对应的滤波方向正交这样的条件时，返回原来的规则，将最小值作为噪声电平进行处理。

以上的处理可以说是如下处理：从多个一维方向的LPF值中提取满足规定条件的LPF值中与代表值之间的差分绝对值最小的LPF值，并用作噪声电平。

这样，通过进行从多个边缘方向检测噪声电平NL(x，y)的处理，由于随机噪声的影响而选择错误方向的噪声电平绝对值的可能性减小，能够计算更加准确的噪声电平。

并且，在上述例子中，以65个阶段计算由NR系数生成部34计算出的NR系数，但是，本发明不限于此，NR系数的阶段数能够根据输入图像的比特宽度等因素而任意决定。

并且，在上述例子中，通过关注像素及其周围的像素的像素值的单纯平均来计算各个一维方向的LPF值和二维方向的LPF值，但是，本发明不限于此，也可以构成为，针对关注像素的各个周围像素赋予与到关注像素的距离对应的权重来计算平均。由此，能够加重接近关注像素的像素的特征量来进行计算，特别是在噪声比较少的条件下，能够进行更加准确的噪声电平检测。

并且，在上述例子中，是由NR处理部36根据NR系数Kf(x，y)对关注像素的像素值P(x，y)和二维方向的LPF值Pf(x，y)进行加权相加，但是，本发明不限于此，也可以代替二维方向的LPF值Pf(x，y)，在加权相加中使用例如差分绝对值最小的方向的一维LPF值(La(x，y)～Ld(x，y)中的任意一方)。该情况下，与使用二维方向的LPF值Pf(x，y)的情况相比，成为使用较窄范围的滤波器值的加权相加，因此，在输入图像中噪声比较少的情况下，特别能够完全维持分辨率，在这方面是有效的。

总之，只要求出使用关注像素及其周边像素的LPF值(周边低通滤波器值)，用于NR处理部36中的与关注像素的代表值的加权相加即可。

即，周边低通滤波器25针对处理窗口输出使用关注像素及其周围像素的低通滤波器值作为周边低通滤波器值。

并且，在上述例子中，在用于求出二维方向的LPF值的式(1)的平均值计算处理中，使用由17×17像素构成的处理窗口内的相同颜色像素进行运算，但是，本发明不限于此，也可以根据要实现的装置成本和要输入的图像信号的S/N比等使用其他窗口尺寸。并且，该情况下，通过进行式(1)的分母为2的幂乘这样的像素数的选择，可以削减一般的除法器(除数为任何值均能够应对的除法器)。

并且，在上述例子中，在使用式(3)的NR处理中进行基于64的除法运算，但是，也可以利用64以外的值进行除法运算。但是，如果除数为2的幂乘，则在利用硬件实现的情况下，能够通过比特移位进行除法运算，不需要一般的除法器，在利用软件实现的情况下，能够提高运算的执行速度。

并且，使用由中值滤波器30得到的中间值作为关注像素的代表值，但是，也可以根据从行存储器10输出的图像数据中的当前帧的关注像素的像素值、从第1帧存储器11输出的1帧前的关注像素的像素值、从第2帧存储器12输出的2帧前的关注像素的像素值求出平均值，将其作为关注像素的代表值。即，该情况下，代表值为平均值。因此，代表值计算部计算平均值。

并且，也可以使用中间值、平均值以外的作为时间轴方向的滤波结果而得到的值作为上述代表值。例如，也可以将在时间轴方向上使用循环型滤波器而得到的值作为关注像素的代表值。即，该情况下，代表值是由循环型滤波器计算出的值。因此，代表值计算部是循环型滤波器。

进而，求出当前帧的像素值、1帧前的像素值、2帧前的像素值，但是，也可以还使用3帧以上之前的过去帧的像素值求出代表值，总之，只要利用使用当前帧的关注像素的像素值和当前帧以外的1个以上的帧中的关注像素和相同二维坐标的像素的时间轴方向的滤波后得到的值即可。

另外，在帧间产生图像的运动(抖动)的情况下，也可以在对运动进行补偿后，进行时间轴方向的滤波。例如，使用当前帧的关注像素和估计为当前帧的关注像素(表示与当前帧的关注像素相同的图像部分的像素)在过去的1个或2个以上的帧中所处的位置(运动方)的像素(与关注像素对应的像素)，求出它们的代表值即可。总之，只要使用当前帧中的关注像素和过去帧中的与上述关注像素对应的像素即可。

并且，取而代之，在产生运动的情况下，也可以不使用当前帧以外的帧的关注像素的像素值而使用当前帧的关注像素的像素值作为代表值。

实施方式2

图9示出本发明的实施方式2的图像处理装置的功能结构。在图9中，对与图1相同的结构要素标注相同标号。

与实施方式1相同的结构要素是行存储器10、帧存储器11、12、中值滤波器30、一维滤波器21、22、23、24、二维滤波器25、噪声电平检测部32以及NR处理部36。

实施方式2与实施方式1的不同之处在于，设置校正系数生成部38，以及代替图1的NR系数生成部34而设置NR系数生成部44。

NR系数生成部44具有NR系数计算部44a、NR系数校正部44b。

NR系数计算部44a与图1的NR系数生成部34同样构成，利用同样的方法生成NR系数Kf(x，y)。

NR系数校正部44b根据从校正系数生成部38输出的校正系数hy(x，y)对从NR系数计算部44a输出的NR系数Kf(x，y)进行校正，生成校正后的NR系数Kfb(x，y)。

具体而言，如下述式(4)所示，通过对NR系数Kf(x，y)乘以校正系数hy(x，y)并除以64，计算校正后的NR系数Kfb(x，y)。

Kfb(x，y)＝Kf(x，y)×hy(x，y)/64…(4)

即，NR系数生成部44根据由噪声电平检测部32检测到的噪声电平NL(x，y)和由校正系数生成部38生成的校正系数hy(x，y)，生成NR系数Kfb(x，y)。通过根据式(4)计算校正后的NR系数Kfb(x，y)，校正系数hy(x，y)越小，则校正后的NR系数Kfb(x，y)越小。

即，校正系数hy(x，y)在周边低通滤波器值Pf(x，y)低于规定值的范围内随着周边低通滤波器值Pf(x，y)的减小而减小，校正系数hy(x，y)越小，则降噪系数Kf(x，y)越小。

校正系数生成部38根据由二维LPF25的输出Pf(x，y)表示的、以各像素为中心的周边区域的图像的明亮度(每个颜色成分的明亮度或强度)，生成校正系数hy(x，y)。

作为输入到校正系数生成部38的二维LPF25的输出Pf(x，y)的值与校正系数hy(x，y)的关系(输入输出特性)，例如使用图10所示的关系。在图示的例子中，相对于取0～4095的值的二维LPF值Pf(x，y)，设校正系数可取的值为0～128的129个阶段，在不进行校正(校正后的系数Kfb(x，y)与校正前的系数Kf(x，y)相等)的情况下，校正系数的值成为64。这是因为，如上所述，通过将校正系数的值除以64而得到的值与NR系数Kf(x，y)相乘来进行校正。

在图10中，符号NR1HX和NR1HY示出为了规定输入输出特性而预先设定的值。其中，值NR1HX是决定对NR系数进行校正的范围的上限的上限值，上限值NR1HX越大，则针对NR系数的校正范围越宽。值NR1HY是决定校正程度的值，越是使值NR1HY成为较小的值，则用于使NR系数成为更小值的校正程度越强。

在使用图10的输入输出特性的情况下，在二维LPF值Pf(x，y)小于上限值NR1HX的情况下，即在图像的暗部，设从NR系数生成部44输出的NR系数为更小的值，能够减弱降噪作用。

另外，也可以代替如图10所示在暗部使校正系数hy(x，y)成为小于64的值，而在明部(例如大于规定下限值的范围内)使校正系数hy(x，y)成为大于64的值。进而，也可以在暗部使校正系数hy(x，y)成为较小的值，并且在明部使校正系数hy(x，y)成为大于64的值。

如上所述，根据该实施方式2，能够在图像中的明部(各颜色较强的部分)和暗部(各颜色较弱的部分)中，变更降噪的程度，能够防止输入图像的明亮度(颜色强度)的差异导致的画质降低，例如在结合输入图像的明亮区域来调整NR系数的情况下，信号电平较低的部分(暗部)变得模糊等。

另外，在该实施方式2的例子中，能够以129个阶段切换基于二维LPF值Pf(x，y)的校正，但是，本发明不限于此，切换的阶段数例如可以根据依赖于摄像元件特性的输入图像的特性而改变。并且，在式(4)中，将校正系数hy(x，y)除以64而得到的值与系数Kf(x，y)相乘，但是，本发明不限于此，也可以除以64以外的值。但是，如果使除法运算中使用的值为2的幂乘，则能够通过比特移位而求出与系数Kf(x，y)相乘的值，在利用硬件进行处理的情况下，能够削减一般的除法器，因此能够简化电路规模，并且，在利用软件进行处理的情况下，能够实现处理速度的高速化。

并且，在实施方式2的例子中，针对使用单板彩色传感器拍摄到的图像，对全部拍摄颜色统一进行基于各颜色的像素值(各颜色的强度)的校正，但是，本发明不限于此，也可以构成为按照每个拍摄颜色(每个颜色成分)而利用不同的输入输出特性生成校正系数。由此，根据每个颜色成分的图像输入系统或图像传送系统的特性，能够根据输入图像的特性进行最佳的降噪处理。

为了按照每个颜色成分生成校正系数，与实施方式1中说明的情况同样，可以分别单独(按照每个拍摄颜色)设置图9的LPF21～25、中值滤波器30、噪声电平检测部32、NR系数生成部34、NR处理部36以及校正系数生成部38，也可以利用相同电路按顺序进行处理。

实施方式3

图11示出本发明的实施方式3的图像处理装置的功能结构。在图11中，对与图9相同的结构要素标注相同标号。

与实施方式2(图9)相同的结构要素是行存储器10、帧存储器11、12、中值滤波器30、一维滤波器21、22、23、24以及二维滤波器25。

实施方式3的图像处理装置代替图9的噪声电平检测部32、NR处理部36以及NR系数生成部44而具有噪声电平检测部37、NR处理部39以及NR系数生成部45。噪声电平检测部37、NR处理部39以及NR系数生成部45分别与噪声电平检测部32、NR处理部36以及NR系数生成部44大致相同，但是，存在以下差异。特别地，如后面详细叙述的那样，NR处理部39与NR处理部36的不同之处在于，参照第1一维LPF～第4一维LPF的输出。

并且，在实施方式2中，NR系数计算部44a仅计算NR系数Kf(x，y)，但是，在实施方式3中，NR系数计算部45a计算NR系数Kg1(x，y)～Kg5(x，y)这5种NR系数。NR系数Kg1(x，y)是针对第1一维LPF的输出值的系数，NR系数Kg2(x，y)是针对第2一维LPF的输出值的系数，NR系数Kg3(x，y)是针对第3一维LPF的输出值的系数，NR系数Kg4(x，y)是针对第4一维LPF的输出值的系数，NR系数Kg5(x，y)是针对二维LPF的输出值的系数。

在实施方式3的噪声电平检测部37中，根据式(2a)～(2d)计算差分绝对值ADa(x，y)～ADd(x，y)，输出所计算出的差分绝对值中的最小值作为关注像素的噪声电平NL1(x，y)，输出第2小的值作为噪声电平NL2(x，y)。

并且，输出与噪声电平NL1(x，y)对应的一维LPF的方向作为DR1(x，y)。在DR1(x，y)中存储一维LPF的编号(1～4)中的任意一方。

即，在噪声电平检测部37中，计算各个一维方向的低通滤波器值与代表值的差分的绝对值ADa(x，y)～ADd(x，y)，输出所计算出的差分的绝对值ADa(x，y)～ADd(x，y)中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平NL1(x，y)，输出与其对应的一维方向低通滤波器的方向作为DR1(x，y)，输出第2小的值作为关注像素的噪声电平NL2(x，y)。

在实施方式3的NR系数计算部45a中，根据噪声电平NL1(x，y)、NL2(x，y)、方向DR1(x，y)，计算针对第1一维LPF的输出值的NR系数Kg1(x，y)、针对第2一维LPF的输出值的NR系数Kg2(x，y)、针对第3一维LPF的输出值的NR系数Kg3(x，y)、针对第4一维LPF的输出值的NR系数Kg4(x，y)以及针对二维LPF的输出值的NR系数Kg5(x，y)。

在NR系数计算部45a中，根据最小值NL1(x，y)和与其对应的一维方向低通滤波器的方向DR1(x，y)、所述第2小的值NL2(x，y)，生成用于对关注像素的像素值、周边低通滤波器值Pf(x，y)、多个一维低通滤波器值La(x，y)～Ld(x，y)进行加权相加的降噪系数。

在NR系数Kg1(x，y)～Kg5(x，y)的计算中，将与方向最初和方向DR1(x，y)不同的一维LPF对应的NR系数全部设定为0。例如，在方向DR1(x，y)为1的情况下，NR系数Kg2(x，y)～Kg4(x，y)设定为0。

接着，计算用于对与方向DR1(x，y)对应的一维LPF的输出值和二维LPF的输出值之间进行插值的第1插值系数KL1(x，y)。如图12所示，参照成为第2小值的方向的噪声电平NL2(x，y)与成为最小值的方向的噪声电平NL1(x，y)的比率(前者与后者的比)，计算第1插值系数KL1(x，y)。在所述比率为R1min以下的情况下，设第1插值系数KL1(x，y)为最小值(例如0)，在所述比率为R1max以上的情况下，设第1插值系数KL1(x，y)为最大值(例如64)。然后，在所述比率位于R1min与R1max之间的情况下，设第1插值系数KL1(x，y)为在最小值与最大值之间线性增加的值。

接着，计算用于对一维LPF或二维LPF的输出值和关注像素的像素值之间进行插值的第2插值系数KL2(x，y)。如图13所示，在成为最小值的方向的噪声电平NL1(x，y)为R2MINX以下的情况下，设第2插值系数KL2(x，y)为R2MINY，在成为最小值的方向的噪声电平NL1(x，y)为R2MAXX以上的情况下，设第2插值系数KL2(x，y)为R2MAXY。在成为最小值的方向的噪声电平NL1(x，y)位于R2MINX与R2MAXX之间的情况下，设为在R2MINY与R2MAXY之间线性增加的值。

最后，根据式(5)计算与成为最小值的方向的一维LPF对应的NR系数KgN(x，y)(N为1～4中的任意一方)，根据式(6)计算与二维LPF对应的NR系数Kg5(x，y)。

KgN(x，y)

＝KL1(x，y)×KL2(x，y)÷64…(5)

Kg5(x，y)

＝(64-KL1(x，y))×KL2(x，y)÷64…(6)

在实施方式3的NR系数校正部45b中，针对NR系数Kg1(x，y)～Kg5(x，y)，分别与式(4)同样在乘以校正系数hy(x，y)后除以64，分别计算校正后的NR系数Kgb1(x，y)～Kgb5(x，y)。

在实施方式3的NR处理部39中，根据式(7)进行关注像素的像素值、全部一维LPF的输出值、二维LPF的输出值的加权相加。

Pb(x，y)

＝Kgb1(x，y)×La(x，y)+Kgb2(x，y)×Lb(x，y)

+Kgb3(x，y)×Lc(x，y)+Kgb4(x，y)×Ld(x，y)

+Kgb5(x，y)×Pf(x，y)

+(1-Kgb1(x，y)-Kgb2(x，y)-Kgb3(x，y)

-Kgb4(x，y)-Kgb5(x，y))×P(x，y)

              …(7)

进行式(7)的运算后得到的值Pb(x，y)作为降噪处理后的像素值Pb(x，y)而从NR处理部39输出。

即，在NR处理部39中，根据降噪系数，对关注像素的像素值、周边低通滤波器值、多个一维低通滤波器值进行加权相加。

以上作为图像处理装置说明了本发明，但是，由该图像处理装置实施的图像处理方法也构成本发明的一部分。进而，用于使计算机执行该图像处理方法的图像处理程序也构成本发明的一部分。

另外，如上所述说明了本发明的实施方式，但是，本发明不限于这些实施方式。

标号说明

10：行存储器；11：第1帧存储器；12：第2帧存储器；21～24：一维LPF；25：二维LPF；32、37：噪声电平检测部；34：NR系数生成部；36、39：NR处理部；38：校正系数生成部；30：中值滤波器；44、45：NR系数生成部；44a、45a：NR系数计算部；44b、45b：NR系数校正部。

Claims (14)

1.一种图像处理装置，其特征在于，

所述图像处理装置将由多帧的时间序列构成的动态图像作为输入图像，

所述图像处理装置具有：

多个一维低通滤波器，它们在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用所述关注像素和相对于所述关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值；

周边低通滤波器，其针对所述处理窗口输出使用所述关注像素及其周围像素的低通滤波器值，作为周边低通滤波器值；

代表值计算部，其根据所述关注帧的所述关注像素的像素值和所述关注帧以外的1个以上的帧中与所述关注像素对应的位置的像素的像素值，进行时间轴方向的滤波，由此求出与所述关注像素有关的代表值；

噪声电平检测部，其计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平；

NR系数生成部，其接收所述噪声电平，根据预先设定的输入输出特性生成与该噪声电平对应的降噪系数；以及

NR处理部，其使用所述降噪系数对所述关注像素的像素值和所述周边低通滤波器值进行加权相加，

在所述NR处理部中，所述降噪系数越大，则针对所述周边低通滤波器值的权重越大。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述代表值是中间值。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述代表值是平均值。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述代表值是由循环型滤波器计算出的值。

5.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，

所述周边低通滤波器值是二维低通滤波器值。

6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，

在所述处理窗口内，仅选择与所述代表值之差位于规定的电平差内的像素值而求出各个低通滤波器值，从而得到所述一维低通滤波器和所述周边低通滤波器。

7.根据权利要求1～6中的任意一项所述的图像处理装置，其特征在于，

所述图像处理装置还具有校正系数生成部，该校正系数生成部根据所述周边低通滤波器值生成校正系数，

所述NR系数生成部根据由所述噪声电平检测部检测到的噪声电平和由所述校正系数生成部生成的校正系数，生成所述NR系数。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述校正系数在所述周边低通滤波器值低于规定值的范围内，随着所述周边低通滤波器值的减小而减小，

所述校正系数越小，则所述降噪系数越小。

9.根据权利要求1～8中的任意一项所述的图像处理装置，其特征在于，

所述噪声电平检测部计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值和与其对应的一维方向低通滤波器的方向以及第2小的值，作为关注像素的噪声电平，

所述NR系数生成部根据所述最小值和与其对应的一维方向低通滤波器的方向以及所述第2小的值，生成用于对所述关注像素的像素值、所述周边低通滤波器值、所述多个一维低通滤波器值进行加权相加的降噪系数，

所述NR处理部根据所述降噪系数，对所述关注像素的像素值、所述周边低通滤波器值、所述多个一维低通滤波器值进行加权相加。

10.根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，

所述输入图像包含多个颜色成分，

所述NR系数计算部按照所述输入图像的每个颜色成分，利用与所述输入图像的特性对应的输入输出特性生成每个颜色成分的降噪系数。

11.根据权利要求7～9中的任意一项所述的图像处理装置，其特征在于，

所述输入图像包含多个颜色成分，

所述校正系数是按照所述输入图像的每个颜色成分而生成的，

利用根据所述输入图像的特性而不同的输入输出特性生成所述校正系数。

12.一种图像处理方法，其特征在于，

将由多帧的时间序列构成的动态图像作为输入图像，

所述图像处理方法具有以下步骤：

多个一维低通滤波步骤，在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用所述关注像素和相对于所述关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值；

周边低通滤波步骤，针对所述处理窗口输出使用所述关注像素及其周围像素的低通滤波器值，作为周边低通滤波器值；

代表值计算步骤，根据所述关注帧的所述关注像素的像素值和所述关注帧以外的1个以上的帧中与所述关注像素对应的位置的像素的像素值，求出与所述关注像素有关的代表值；

噪声电平检测步骤，计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平；

NR系数生成步骤，接收所述噪声电平，根据预先设定的输入输出特性生成与该噪声电平对应的降噪系数；以及

NR处理步骤，使用所述降噪系数对所述关注像素的像素值和所述周边低通滤波器值进行加权相加，

在所述NR处理步骤中，所述降噪系数越大，则针对所述周边低通滤波器值的权重越大。

13.根据权利要求12所述的图像处理方法，其特征在于，

所述图像处理方法还具有校正系数生成步骤，在该校正系数生成步骤中根据所述周边低通滤波器值生成校正系数，

在所述NR系数生成步骤中，根据在所述噪声电平检测步骤中检测到的噪声电平和在所述校正系数生成步骤中生成的校正系数生成所述NR系数。

14.一种图像处理程序，其中，该图像处理程序用于使计算机执行权利要求12或13的图像处理方法的各步骤的处理。