CN102737365B - 图像处理装置、摄像装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置、摄像装置以及图像处理方法，图像处理装置具备：图像缩小部，其参照作为处理对象的对象图像的每个预定区域的像素值来生成缩小像素，由此至少生成一个缩小图像；噪声提取部，其根据缩小图像，针对各缩小像素提取与缩小图像的缩小率相应的频带的噪声成分；噪声减法部，其从为了生成缩小像素而参照的预定区域的各像素中减去缩小像素的噪声成分；以及区域内平滑化部，其根据缩小像素的噪声成分，使为了生成缩小像素而参照的预定区域的像素之间平滑化。

Description

图像处理装置、摄像装置以及图像处理方法

技术领域

本发明涉及一种图像处理装置、摄像装置以及图像处理方法。

背景技术

以往，开发出了用于去除与拍摄得到的图像相叠加的噪声的各种技术。例如，存在一种技术：在从图像中去除噪声时，对图像实施多分辨率转换处理，生成尺寸不同的多个缩小图像，从各缩小图像中依次提取与其尺寸对应的频带的噪声，从原始图像中去除各频带的噪声(参照日本特开2000-224421号公报等)。

然而，在以往技术中存在以下问题：例如上述多分辨率转换处理等那样，按照每个预定区域对像素值进行加权平均而生成缩小图像的各像素，从对应的区域的各像素中减去针对缩小图像的各像素提取出的噪声成分，因此出现如下问题：随着各区域内的像素的位置的不同而噪声去除的效果不同，从而画质降低。

鉴于上述以往技术所具有的问题，本发明的目的在于提供一种高准确度地去除噪声而不使画质降低的技术。

发明内容

为了解决上述问题，例示本发明的图像处理装置的一个方式具备：图像缩小部，其参照处理对象的对象图像的每个预定区域的像素值来生成缩小像素，由此生成至少一个缩小图像；噪声提取部，其根据缩小图像，针对各缩小像素提取与缩小图像的缩小率相应的频带的噪声成分；噪声减法部，其从为了生成缩小像素而参照的预定区域的各像素中减去缩小像素的噪声成分；以及区域内平滑化部，其根据缩小像素的噪声成分，使为了生成缩小像素而参照的预定区域的像素之间平滑化。

另外，也可以图像缩小部生成缩小率不同的多个缩小图像，噪声提取部从缩小率最小的缩小图像起依次提取频带的噪声成分。

另外，噪声成分越大则区域内平滑化部就越使预定区域的像素之间强力地平滑化。

另外，区域内平滑化部使频带比噪声成分的频带高的图像结构平滑化。

另外，区域内平滑化部根据表示预定的区域内的图像结构的特征量与表示频带的噪声成分的强度的特征量之间的比较结果，来决定平滑化的程度。

例示本发明的摄像装置的一个方式具备：摄像部，其拍摄被摄体图像来生成图像；以及本发明的图像处理装置。

例示本发明的图像处理方法的一个方式具备：图像缩小步骤，参照处理对象的对象图像的每个预定区域的像素值来生成缩小像素，由此生成至少一个缩小图像；噪声提取步骤，根据缩小图像，针对各缩小像素提取与缩小图像的缩小率相应的频带的噪声成分；噪声减法步骤，从为了生成缩小像素而参照的预定区域的各像素中减去缩小像素的噪声成分；以及区域内平滑化步骤，根据缩小像素的噪声成分，使为了生成缩小像素而参照的预定区域的像素之间平滑化。

根据本发明，能够高准确度地去除噪声而不使画质降低。

附图说明

图1是表示本发明一个实施方式的数字照相机1的结构的一例的框图。

图2是表示一个实施方式的数字照相机1的噪声去除处理的一例的流程图。

图3是表示图2示出的噪声去除处理中的图像数据的流程的一例的图。

图4是表示对象图像和缩小图像的像素值的分布的一例的图。

图5是表示低频带的噪声成分的分布的一例的图。

图6是表示减去了低频带的噪声成分的对象图像的像素值分布的图。

图7是表示通过区域内平滑化处理来去除了低频带的噪声成分的对象图像的像素值的分布的图。

图8是表示由数字照相机1进行的噪声去除处理的图像数据的流程的其它例的图。

具体实施方式

图1是表示一个实施方式的数字照相机1的结构的一例的框图。

本实施方式的数字照相机1具有摄像光学系统11、摄像元件12、DFE 13、CPU 14、存储器15、操作部16、监视器17、介质I/F 18。在此，DFE 13、存储器15、操作部16、监视器17、介质I/F 18分别与CPU 14相连接。

摄像元件12是对由通过了摄像光学系统11的光束而成像的被摄体图像进行拍摄的设备。该摄像元件12的输出端与DFE 13相连接。此外，本实施方式的摄像元件12既可以是逐行扫描方式的固体摄像元件(CCD等)，也可以是XY寻址方式的固体摄像元件(CMOS等)。

在摄像元件12的受光面上呈矩阵状地排列有多个受光元件。在摄像元件12的各受光元件中按照公知的拜尔排列而配置有红色(R)、绿色(G)、蓝色(B)的滤色片。因此，摄像元件12的各受光元件通过滤色片中的颜色分解输出与各个颜色对应的图像信号。由此，摄像元件12在进行拍摄时能够得到彩色图像。

DFE 13是进行从摄像元件12输入的图像信号的A/D转换、缺陷像素校正等信号处理的数字前端电路。该DFE 13在本实施方式中与摄像元件12一起构成摄像部，将从摄像元件12输入的图像信号作为图像数据而输出到CPU 14。

CPU 14是总体控制数字照相机1的各部分的处理器。例如，CPU14根据摄像元件12的输出，分别执行基于公知的对比度检测的自动聚焦(AF)控制、公知的自动曝光(AE)运算等。另外，CPU 14对来自DFE 13的图像数据实施数字处理。作为一例，数字处理中包括插值处理、白平衡处理、灰度转换处理、轮廓强调处理、颜色转换处理等。并且，本实施方式的CPU14通过图像处理程序的执行而作为图像缩小部20、噪声提取部21、噪声减法部22、区域内平滑化部23、高频噪声去除部24而进行动作。

图像缩小部20生成由摄像元件12拍摄得到的图像(对象图像)的缩小图像。本实施方式的图像缩小部20使用以下式(1)，分别按两个像素×两个像素的预定区域(以下称为缩小采样范围)对对象图像的像素值进行加法平均，从而生成缩小率1/4的缩小图像。

Ys(m，n)＝(Y(2m-1，2n-1)+Y(2m，2n-1)+Y(2m-1，2n)+Y(2m，2n))/4...(1)

在此，Y表示对象图像的像素值，Ys表示与缩小图像的缩小采样范围对应的缩小像素(m，n)的像素值。m，n是1～M，1～N的自然数。此外，将缩小采样范围的大小设为两个像素×两个像素，但是优选根据对象图像的图像尺寸、噪声去除处理的精度等适当地决定，优选两个像素×两个像素～五个像素×五个像素。另外，也可以使用多分辨率分析、NearestNeighbor(最邻近)法等公知的方法来生成缩小图像。

噪声提取部21使用ε滤波器、形态学(morphology)处理等公知的方法，从缩小图像中提取出与缩小率1/4相应频带的噪声成分Ns(m，n)。

噪声减法部22使用以下式(2)从为了生成缩小图像(m，n)而参照的对象图像的缩小采样范围的各像素的像素值中减去提取出的频带的噪声成分Ns(m，n)。

Y_nr(2m-1，2n-1)＝Y(2m-1，2n-1)-Ns(m，n) ...(2)

Y_nr(2m，2n-1)＝Y(2m，2n-1)-Ns(m，n)

Y_nr(2m-1，2n)＝Y(2m-1，2n)-Ns(m，n)

Y_nr(2m，2n)＝Y(2m，2n)-Ns(m，n)

在此，Y_nr表示去除了噪声成分Ns的对象图像的像素值。

区域内平滑化部23在由噪声减法部22减去噪声成分Ns的对象图像中，与上述以往技术同样地，根据缩小采样范围内的像素位置不同而减法处理的效果不同，因此根据后续的步骤进行用于纠正该效果差异的区域内平滑化处理。

高频噪声去除部24使用ε滤波器、形态学处理等公知的方法，对去除了与缩小率1/4相应频带的噪声成分Ns的对象图像去除与对象图像本身的大小相应的高频噪声成分。此外，高频噪声去除部24可以从生成缩小图像之前的对象图像中去除高频的噪声成分，也可以从生成缩小图像之前以及去除低频的噪声成分Ns之后的对象图像中去除高频的噪声成分。

存储器15是与图像数据等一起存储由CPU 14执行的图像处理程序等各种程序的非易失性闪速存储器。

操作部16例如从用户接收摄像模式的切换设定的输入、静止图像、运动图像的摄像指示等。

监视器17是液晶监视器等监视器，根据CPU 14的控制指示显示各种图像。例如，在进行拍摄之后、图像处理之后，根据CPU 14的控制指示，监视器17显示图像。

在介质I/F 18上可拆装地连接有非易失性的存储介质19。然后，介质I/F 18对存储介质19执行数据的写入和读取。上述存储介质19由硬盘、内置有半导体存储器的存储卡等构成。此外，在图1中作为存储介质19的一例而图示存储卡。

接着，参照图2的流程图和图3的图像数据的流程图来说明本实施方式的数字照相机1的噪声去除处理。此外，图3示出在CPU 14内的图像缩小部20、噪声提取部21、噪声减法部22、区域内平滑化部23、高频噪声去除部24中，对对象图像进行怎样的处理。

当例如从用户接收到静止图像的摄像指示(例如，包括在操作部16中的快门按钮的全按下操作等)时，使摄像元件12例如拍摄被摄体的静止图像。CPU 14对拍摄得到的静止图像开始执行自步骤S101开始的处理。

步骤S101：CPU 14通过DFE 13读取从摄像元件12输出的静止图像，实施数字处理而设定为对象图像。CPU 14对对象图像实施数字处理的颜色插值处理，在各像素的像素位置中，求出R、G、B这三个颜色成分的像素值，进而实施颜色转换处理，从RGB的像素值转换为YCrCb的亮度成分与颜色差成分的像素值。

步骤S102：图像缩小部20使用对象图像的亮度成分的像素值Y以及式(1)，生成缩小率1/4的缩小图像。图4示出对象图像的第2m(或者2m-1)行以及缩小图像的第m行的水平扫描方向上的像素值Y以及Ys的分布的一例。此外，缩小图像的垂直扫描方向的像素位置n对应于对象图像的缩小采样范围内的垂直扫描方向的像素位置n’以及n’+1(n’＝1，3，...，2N-1)。此外，图4示出了水平扫描方向上的像素值Y以及Ys的分布，但是在垂直扫描方向上也是同样的。

步骤S103：噪声提取部21根据公知的噪声提取处理来提取与在步骤S102中生成的缩小图像叠加的缩小率1/4的频带(以下称为低频带)的噪声成分Ns。图5是表示第m行的水平扫描方向上的低频带的噪声成分Ns的分布的一例的图。此外，图5虽然示出了水平扫描方向上的低频带的噪声成分Ns的分布，但是垂直扫描方向也是同样的。

步骤S104：噪声减法部22使用式(2)从为了生成该缩小图像而参照的对象图像的区域的各像素的像素值中减去在步骤S103中提取出的缩小图像(m，n)的低频带的噪声成分Ns。图6示出减去了低频带的噪声成分Ns的对象图像的第2m(或者2m-1)行水平扫描方向上的像素值Y_nr的分布的一例。

步骤S 105：区域内平滑化部23使用低频带的噪声成分Ns以及由噪声减法部22实施过减法处理的对象图像的像素值Y_nr，进行区域内平滑化处理以纠正与上述各缩小采样范围内的像素位置相应地产生的减法处理的效果的差异。即，如图6所示，进行过减法处理的对象图像中的相同缩小采样范围的像素位置n’与n’+1之间的像素值Y_nr成为大致保持减法处理前的值的差(图4的(a))的值，与此相对，相邻的缩小采样范围间的像素位置n’-1与n’、或者像素n’+1与n’+2之间的像素值成为类似的值。这是由于，对缩小采样范围的像素值进行加法平均而生成缩小图像，因此低频带的噪声成分Ns不反映缩小采样范围内的图像结构，根据像素位置不同而减法的效果不同。也就是说，显示出在缩小采样范围内平滑化较弱而在相邻的缩小采样范围间平滑化较强，因此如以往技术那样，相邻的缩小采样范围间的像素值看起来似乎形成一个块，从而形成不自然的图像。此外，图6示出水平扫描方向上的像素值Y_nr的分布，但是在垂直扫描方向上也相同。

因此，区域内平滑化部23使用缩小图像的缩小像素(m，n)以及其周围的缩小像素的噪声成分Ns，用以下式(3)来求出噪声强度strNs。

strNs＝(|Ns(m，n)-Ns(m-1，n)|+|Ns(m，n)-Ns(m+1，n)|+|Ns(m，n)-Ns(m，n-1)|+|Ns(m，n)-Ns(m，n+1)|)/8 ...(3)

同时，区域内平滑化部23在进行了减法处理的对象图像的每个缩小采样范围内对像素值进行加法平均，用以下式(4)～(5)来求出表示频带比各像素位置中的噪声成分Ns的频带高的图像结构的参数Δ1～Δ4。

Ys_nr＝(Y_nr(2m-1，2n-1)+Y_nr(2m，2n-1)+Y_nr(2m-1，2n)+Y_nr(2m，2n)/4 ...(4)

Δ1＝Y_nr(2m-1，2n-1)-Ys_nr ...(5)

Δ2＝Y_nr(2m，2n-1)-Ys_nr

Δ3＝Y_nr(2m-1，2n)-Ys_nr

Δ4＝Y_nr(2m，2n)-Ys_nr

区域内平滑化部23使用以下式(6)，将噪声强度strNs与参数Δ1～Δ4进行比较，确定表示平滑化的程度的参数Δ1_nr～Δ4_nr的值。

Δ1_nr＝ABSMINUS(Δ1，k×strNs) ...(6)

Δ2_nr＝ABSMINUS(Δ2，k×strNs)

Δ3_nr＝ABSMINUS(Δ3，k×strNs)

Δ4_nr＝ABSMINUS(Δ4，k×strNs)

在此，ABSMINUS(d，s)是将d的绝对值减少s(≥0)的以下式(7)示出的函数。

$\mathrm{ABSMINUS}(d,s)=\left\{\begin{array}{cc}0& \mathrm{if}\left(\right|d|\&le;s)\\ d-s& \mathrm{if}(d>s)\\ d+s& \mathrm{if}(d<-s)\end{array}\right....\left(7\right)$

此外，k为调整参数，在本实施方式中设定为1左右。

区域内平滑化部23使用以下式(8)，使缩小采样范围内的高频带的图像结构平滑化，算出对减法处理的效果差异进行了纠正的对象图像的像素值Y_nr2。

Y_nr2(2m-1，2n-1)＝Ys_nr+Δ1_nr ...(8)

Y_nr2(2m，2n-1)＝Ys_nr+Δ2_nr

Y_nr2(2m-1，2n)＝Ys_nr+Δ3_nr

Y_nr2(2m，2n)＝Ys_nr+Δ4_nr

在此，在式(8)中，噪声成分Ns越大则使缩小采样范围的像素之间越强力地平滑化。

图7是表示由区域内平滑部23实施了处理的对象图像的第2m(或者2m-1)行的水平扫描方向上的像素值Y_nr2的分布的一例的图。如图7所示，示出相邻的缩小采样范围间的像素值的成块化被消除而画质提高的情况。此外，图7示出水平扫描方向上的像素值Y_nr2的分布，但是垂直扫描方向也相同。

步骤S106：高频噪声去除部24使用公知的方法，从区域内平滑化处理过的对象图像中去除叠加的高频带的噪声成分。

步骤S107：CPU 14将低频带和高频带的噪声成分被去除的对象图像的像素值逆转换为RGB的像素值，记录到存储器15、存储介质19中。另外，CPU 14将去除过噪声的对象图像显示在监视器17中。CPU 14结束一系列处理。

这样，在本实施方式中，将频带比对象图像的各缩小采样范围内的低频带的噪声成分Ns高的频带的图像结构考虑进去，来去除叠加到对象图像中的低频带的噪声成分Ns，由此能够高精度地去除对象图像中的噪声而不会降低画质。

《(实施方式的补充事项》

(1)在上述实施方式中，说明了CPU 14通过软件实现数字照相机1的图像缩小部20、噪声提取部21、噪声减法部22、区域内平滑化部23、高频噪声去除部24的各个处理，但是，当然也可以使用ASIC通过硬件实现这些处理的每一个。

(2)本发明的图像处理装置不限定于上述实施方式的数字照相机1的示例。例如，也可以使计算机直接或者通过因特网等从数字照相机1读取拍摄得到的图像，使计算机执行噪声去除处理的图像处理程序，由此将计算机作为本发明的图像处理装置而发挥功能。

(3)在上述实施方式中，将对象图像设为静止图像，但是本发明并不限定于此，例如还能够将本发明应用于动态图像、构图确认用的低分辨率图像(直通图像throughimage)等。

(4)在上述实施方式中，CPU 14对拍摄得到的图像实施颜色插值处理，在各像素的像素位置中，将具有R、G、B这三个颜色成分的像素值的图像设为对象图像，但是本发明并不限定于此。例如，还可以将本发明应用于RAW图像中。在该情况下，例如，优选按照每个颜色成分生成图像数据，进行噪声去除处理。

(5)在上述实施方式中，图像缩小部20仅生成了缩小率1/4的缩小图像，但是本发明并不限定于此，也可以生成缩小率不同的多个缩小图像。此外，在生成多个缩小图像的情况下，各缩小图像与对应于自身缩小率的频带的噪声成分一起还叠加具备更小缩小率的缩小图像所具有的更低频率的噪声成分。因而，为了从各缩小图像中有效地提取与自身缩小率对应频带的噪声成分，优选从最小缩小率的缩小图像中依次进行噪声去除。

图8示出图像缩小部20生成了缩小率1/4与1/16的缩小图像时图像数据的流程图的一例。即，CPU 14首先将缩小率1/4的缩小图像设为对象图像，进行与图2示出的步骤S103～步骤S 105对应的处理，从缩小率1/4的缩小图像中去除与缩小率1/16相应频带的噪声成分。接着，CPU 14使用作为原始图像的对象图像以及与缩小1/16相应频带的噪声成分被去除后的缩小率1/4的缩小图像，进行与图2示出的步骤S103～步骤S107对应的处理，从对象图像中去除所有频带的噪声成分。由此，能够更高精度地去除噪声而不会降低画质。

此外，优选根据对象图像、缩小采样范围的大小、要去除的噪声成分的大小以及噪声去除处理的精度等来决定由图像缩小部20生成的缩小图像的数量。

(6)在上述实施方式中，如式(3)那样定义了噪声强度strNs，但是本发明并不限定于此，噪声强度strNs＝|Ns(m’n)|等优选根据对象图像、缩小采样范围的大小、所要求的处理速度、精度等来任意地定义噪声强度strNs。

(7)在上述实施方式中，区域内平滑化部23在决定参数Δ1_nr～Δ4_nr时，使用式(4)，对缩小采样范围内的像素值进行了加法平均，但是本发明并不限定于此，也可以根据与缩小率相应频带的噪声成分的去除效果的强度，对像素值进行加权而进行加法平均。

(8)在上述实施方式中，在由噪声减法部22进行减法处理之后，由区域内平滑化部23进行了处理，但是本发明并不限定于此，也可以在由区域内平滑化部23进行了处理之后，由噪声减法部22进行减法处理。

根据上述详细说明可知实施方式的特征点以及优点。这指权利要求的范围在不脱离其精神以及保护范围的范围内能够覆盖上述实施方式的特征点以及优点。另外，对于具有该技术领域内的常识的技术人员来说，应该能够容易地想到所有改进以及变更，能够根据包括在实施方式所公开的范围内的适当的改进结构以及等同结构来实施，而并不意图将具有发明性的实施方式的范围限定于上述实施方式。

Claims (7)

1.一种图像处理装置，其特征在于，具备：

图像缩小部，其参照作为处理对象的对象图像的每个预定区域的像素值来生成缩小像素，由此生成至少一个缩小图像；

噪声提取部，其根据上述缩小图像，针对上述各缩小像素提取与上述缩小图像的缩小率相应的频带的噪声成分；

噪声减法部，其从为了生成上述缩小像素而参照的上述预定区域的各像素中减去上述缩小像素的上述噪声成分；以及

区域内平滑化部，其根据上述缩小像素的噪声成分，使为了生成上述缩小像素而参照的上述预定区域的像素之间平滑化。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述图像缩小部生成缩小率不同的多个缩小图像，

上述噪声提取部从缩小率最小的缩小图像起依次提取上述频带的噪声成分。

3.根据权利要求1或者2所述的图像处理装置，其特征在于，

上述噪声成分越大则上述区域内平滑化部就越使上述预定区域的像素之间强力地平滑化。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述区域内平滑化部使频带比上述噪声成分的频带高的图像结构平滑化。

5.根据权利要求1所述的图像处理装置，其特征在于，

上述区域内平滑化部根据表示上述预定的区域内的图像结构的特征量与表示上述频带的噪声成分的强度的特征量之间的比较结果，来决定平滑化的程度。

6.一种摄像装置，其特征在于，具备：

摄像部，其拍摄被摄体图像来生成图像；以及

权利要求1所述的图像处理装置。

7.一种图像处理方法，其特征在于，具备：

图像缩小步骤，参照作为处理对象的对象图像的每个预定区域的像素值来生成缩小像素，由此生成至少一个缩小图像；

噪声提取步骤，根据上述缩小图像，针对上述各缩小像素提取与上述缩小图像的缩小率相应的频带的噪声成分；

噪声减法步骤，从为了生成上述缩小像素而参照的上述预定区域的各像素中减去上述缩小像素的噪声成分；以及

区域内平滑化步骤，根据上述缩小像素的噪声成分，使为了生成上述缩小像素而参照的上述预定区域的像素之间平滑化。