CN104168405B

CN104168405B - 噪声抑制方法及其图像处理装置

Info

Publication number: CN104168405B
Application number: CN201310186434.0A
Authority: CN
Inventors: 赵善隆; 彭诗渊; 林慧姗
Original assignee: Glomerocryst Semiconductor Ltd Co
Current assignee: Glomerocryst Semiconductor Ltd Co
Priority date: 2013-05-20
Filing date: 2013-05-20
Publication date: 2017-09-01
Anticipated expiration: 2033-05-20
Also published as: CN104168405A

Abstract

本发明提供一种噪声抑制方法及其图像处理装置。此方法包括选取目前画面中一目标点，据以定义目标区块与目前搜索区域。执行移动量估测以获得参考画面中的参考点，据以定义参考搜索区域。分别对参考搜索区域中的每一参考区块与目标区块执行算术运算，并设定对应各个参考区块的权重值。分别对目前搜索区域中的每一目前区块与目标区块执行算术运算，并设定对应各个目前区块的权重值。利用各个参考区块及对应的权重值与各个目前区块及对应的权重值进行权重和运算，以产生对应此目标点的噪声抑制像素。

Description

噪声抑制方法及其图像处理装置

技术领域

本发明是有关于一种图像处理技术，且特别是有关于一种基于时间及空间的考量来滤除图像噪声的噪声抑制方法及其图像处理装置。

背景技术

在数码相机的应用中，感光元件或电子信号的噪声滤除是很重要的一环，对于高感光度（High ISO）的数字图像来说尤其重要。常见的噪声滤除方式可分为基于空间的去噪声处理方法以及基于时间的去噪声处理方法。

基于空间的去噪声处理方法主要是针对单张图像进行处理。然而由于在处理过程中经常会将物体本身的细节纹理以及渐层光影变化等也一并滤除，因此在去除噪声后容易产生较模糊的结果，失去图像自然风貌。

基于时间的去噪声处理方法则是利用连续的多张图像进行处理，虽然较能保留图像中的细节，但是连续拍摄的多张图像难以避免地会存在相机位移问题。当位移发生时，使用多张图像进行处理的结果将会导致处理后的单张图像出现重复的物体边缘或残影，一般称之为鬼影（ghost）现象。除此之外，利用多张图像进行处理的复杂度高且运算量大，因此较难满足即时去除噪声的需求。

发明内容

本发明提供一种噪声抑制方法及其图像处理装置，可有效滤除图像噪声且不易发生残影或鬼影问题。

本发明的噪声抑制（noise reduction）方法，适于处理多数个来源画面，来源画面的其中之一作为目前画面（current frame），其中之另一作为参考画面（referenceframe）。噪声抑制方法包括下列步骤：选取目前画面中的一待处理像素作为目标点，依据此目标点定义目标区块与目前搜索区域。依据此目标区块在目前画面与参考画面之间执行移动量估测（motion estimation），以获得参考画面中的参考点。再依据此参考点定义参考搜索区域。分别对参考搜索区域中的每一参考区块与目标区块执行算术运算，以获得运算结果数值，并据以设定对应各个参考区块的权重值。分别对目前搜索区域中的每一目前区块与目标区块执行相同的算术运算，以获得运算结果数值，并据以设定对应各个目前区块的权重值。利用各个参考区块及对应的权重值与各个目前区块及对应的权重值进行权重和运算，以产生对应此目标点的噪声抑制像素。

在本发明的一实施例中，上述的算术运算为绝对差异总和（sum of absolutedifference，以下简称SAD）运算。

在本发明的一实施例中，上述的噪声抑制方法还包括依据各个运算结果数值查询第一权重值查找表，以获得各个参考区块的各个运算结果数值所对应的各个权重值。

在本发明的一实施例中，上述的噪声抑制方法还包括依据各个运算结果数值查询第二权重值查找表，以获得各个目前区块的各个运算结果数值所对应的各个权重值。

在本发明的一实施例中，上述的利用各个参考区块及对应的权重值与各个目前区块及对应的权重值进行权重和运算的公式如下：其中，R为噪声抑制像素，Pi为各个参考区块对应的像素，Wi为各个参考区块对应的权重值，Pj为各个目前区块对应的像素，Wj为各个目前区块对应的权重值。

在本发明的一实施例中，上述的目标点为目标区块的中心位置，且目标区块的尺寸小于目前搜索区域的尺寸。

在本发明的一实施例中，上述的参考搜索区域的尺寸相同于目前搜索区域的尺寸，且参考区块的尺寸相同于目标区块的尺寸。

在本发明的一实施例中，上述的噪声抑制方法还包括判断目前画面中的所有待处理像素是否皆已处理完成。若否，则选取另一待处理像素以作为目标点。若是，输出噪声抑制像素为一噪声抑制图像

本发明的图像处理装置，包括图像感测器、存储单元以及处理器。其中，图像感测器用以获取多数个来源画面，来源画面的其中之一作为目前画面，其中之另一作为参考画面。存储单元用以存储此些来源画面、第一与第二权重值查找表。处理器连接图像感测器与存储单元。处理器用以执行下列步骤：选取目前画面中的一待处理像素作为目标点，依据此目标点定义目标区块与目前搜索区域。依据此目标区块在目前画面与参考画面之间执行移动量估测，以获得参考画面中的参考点。再依据此参考点定义参考搜索区域。分别对参考搜索区域中的每一参考区块与目标区块执行算术运算，以获得运算结果数值，并据以设定对应各个参考区块的权重值。分别对目前搜索区域中的每一目前区块与目标区块执行相同的算术运算，以获得运算结果数值，并据以设定对应各个目前区块的权重值。利用各个参考区块及对应的权重值与各个目前区块及对应的权重值进行权重和运算，以产生对应此目标点的噪声抑制像素。

基于上述，本发明所提供的噪声抑制方法及其图像处理装置通过同时考虑噪声的三维（时间及空间）特性，在时间及空间域上进行像素加权和运算，可达到噪声滤除且不易发生鬼影的效果。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是本发明一实施例的图像处理装置的方块图；

图2是本发明一实施例的一种噪声抑制方法的流程图；

图3是本发明一实施例的来源画面示意图；

图4是本发明一实施例的目前画面与参考画面的示意图；

图5A是本发明一实施例的参考画面查找表的示意图；

图5B是本发明一实施例的目前画面查找表的示意图；

图6是本发明一实施例的三维立方多画面噪声抑制的示意图。

附图标记说明：

100：图像处理装置；

110：图像感测器；

120：存储单元；

130：处理器；

401：目标区块；

403：目前搜索区域；

405、R1～Rm：参考区块；

407：参考搜索区域；

A：目标点；

B：参考点；

C1～Cm：目前区块；

CF：目前画面；

RF：参考画面；

f0～fn：来源画面；

S201～S219：噪声抑制方法的各步骤。

具体实施方式

数字图像的产生往往会存在一定程度的噪声，特别是在高感光度摄影时所产生的噪声尤其明显。根据统计，噪声几乎是随机产生，因此对于连续图像中的相同位置来说，不易发生相同强度及相同特性的噪声，因此可以利用连续图像叠加的方式来滤除噪声。但是连续拍摄的图像难以避免地会存在相机位移问题，当位移发生时图像叠加处理将会导致单张图像中出现鬼影（ghost）问题。基于上述考量，本发明同时考虑噪声的三维（时间及空间）特性，以达到噪声滤除且不易发生鬼影的效果。为了使本发明的内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。

图1是本发明一实施例的图像处理装置的方块图。请参照图1，本实施例的图像处理装置100例如是数码相机、数码单镜反光相机（Digital Single Lens Reflex，以下简称DSLR）相机、数码摄录机（Digital Video Camcorder，以下简称DVC）等，或是其他具有图像处理及/或获取功能的智能手机或平板电脑等，不限于上述。

图像处理装置100包括图像感测器110、存储单元120以及处理器130。其功能分述如下：

图像感测器110例如包括镜头以及CMOS/CCD感光元件等，而可用以感测光源以转换为图像信号。存储单元120例如是任意形式的固定式或可移动式随机存取存储器（RandomAccess Memory，以下简称RAM）、只读内存（Read-Only Memory，以下简称ROM）、闪存（Flashmemory）、硬盘，或其他类似装置或这些装置的组合，而可用以存储图像信号及其他数据。

处理器130可由软件、硬件或其组合实作而得，在此不加以限制。软件例如是操作系统、应用软件或驱动程序等。硬件例如是中央处理机（Central Processing Unit，以下简称CPU），或是其他可程序化的一般用途或特殊用途的微处理器（Microprocessor）、数字信号处理器（Digital Signal Processor，以下简称DSP）等装置。处理器130可用以针对图像信号进行噪声抑制处理，以输出噪声抑制像素。

图2是本发明一实施例的一种噪声抑制方法的流程图。本实施例的方法适用于图1的图像处理装置100，以下即搭配图像处理装置100中的各构件说明本实施例方法的详细步骤：

首先须说明的是，图像处理装置100适于进行连续拍摄，而可获得连续的多张来源画面。图3是本发明一实施例的来源画面示意图。请参照图3，图像感测器110例如可用以连续拍摄n张画面而获得n张来源画面f0～fn，并存储于存储单元120中，其中n为大于1的正整数。为方便后续说明，在本实施例中，图像处理装置100例如选取来源画面f0作为目前画面CF（current frame），并选取来源画面f1作为参考画面RF（reference frame）。

如步骤S201所述，处理器130选取目前画面CF中的一待处理像素作为目标点。其中待处理像素可为目前画面CF中的任一像素。在一实施例中，处理器130例如可先通过算法来区分目前画面CF中的像素是否为待处理像素。举例来说，处理器130可依据前景、背景的重要性来区分，属于前景部分的像素为待处理像素。再举例而言，处理器130可进行人脸或目标检测，属于人脸或目标区域的像素可归类为待处理像素。简单来说，凡是目前画面中需要进行噪声抑制处理的像素点即为本实施例所述的待处理像素，不限于上述。

接着在步骤S203，处理器130再依据此目标点来定义目标区块与目前搜索区域。图4是本发明一实施例的目前画面与参考画面的示意图。请参照图4，处理器130依据目标点A的位置定义出目标区块401以及目前搜索区域403。在一实施例中，目标点A例如为目标区块401的中心位置，且目标区块401的尺寸须小于目前搜索区域403的尺寸，然目标区块401与目前搜索区域403的实际尺寸则依实际应用需求而定，在此不限制。

接下来，在步骤S205，处理器130依据目标区块在目前画面与参考画面之间执行移动量估测（motion estimation），以获得参考画面中的参考点。以图4为例做说明，处理器130利用目标区块401在目前画面CF与参考画面RF之间做移动量估测，以获得移动向量(M,N)，由此可得参考点B及其参考区块405。其中，若目标点A的坐标为(x1,y1)，则可得下式（1）：

(M,N)=(x2-x1,y2-y1) 式（1）

其中，参考点B的坐标为(x2,y2)。

接着在步骤S207，处理器130再依据此参考点定义参考搜索区域。以图4为例，由参考点B来定义参考搜索区域407的尺寸与位置，其中参考点B例如是参考搜索区域407的中心位置。而参考搜索区域407的尺寸相同于目前搜索区域403的尺寸。

接下来在步骤S209，处理器130分别对参考搜索区域中的每一参考区块与目标区块执行算术运算，以获得运算结果数值，并据以设定对应各个参考区块的权重值。其中，算术运算例如为绝对差异总和（sum of absolute difference，以下简称SAD）运算。

详细地说，请参照图4，处理器130会在参考画面RF中的参考搜索区域407范围内，对每一个像素框出与参考区块405相同大小的参考区块R1、R2、R3、...、Rm。接着，处理器130将每一参考区块R1～Rm分别与目标区块401进行SAD运算，以分别获得对应每一参考区块R1～Rm的运算结果数值（以下简称为SAD值）。接着，处理器130便可利用SAD值来设定每一参考区块R1～Rm所对应的权重值。

在一实施例中，图像处理装置100可预先设定SAD值与权重值对应关系的查找表（look-up table，LUT），并将查找表预先存储于存储单元120中。如此一来，处理器130可直接利用SAD值进行查表而快速获得权重值。图5A是本发明一实施例的参考画面查找表的示意图。其中参考画面查找表（即，第一权重值查找表）的SAD值与权重值的设定可由本领域具通常知识者自行设定。

完成时间域处理之后，便可接续步骤S211。相类似地，处理器130分别对目前搜索区域中的每一目前区块与目标区块执行相同的SAD运算，以获得运算结果数值，并据以设定对应各个目前区块的权重值。请参照图4，处理器130会在目前画面CF中的目前搜索区域403范围内，对每一个像素框出与目标区块401相同大小的目前区块C1、C2、C3、...、Cm。接着，处理器130将每一目前区块C1～Cm分别与目标区块401进行SAD运算，以分别获得对应每一目前区块C1～Cm的SAD值。接着，处理器130便可利用SAD值来设定每一目前区块C1～Cm所对应的权重值。

在一实施例中，处理器130可直接利用SAD值进行查表而快速获得权重值。图5B是本发明一实施例的目前画面查找表的示意图。其中目前画面查找表（即，第二权重值查找表）SAD值与权重值的设定可由本领域具通常知识者自行设定。须说明的是，由于参考画面的SAD运算是基于时间域处理，而目前画面的SAD运算是基于空间域处理，因此即使运算所得的SAD值落在相同值域范围，其权重值的设定也可能不同。

接着，在步骤S213，利用各个参考区块及对应的权重值与各个目前区块及对应的权重值进行权重和（weighting sum）运算，以产生对应此目标点的噪声抑制像素。其中，权重和运算的公式如下式（2）：

式（2）

其中，R为噪声抑制像素，P_i为各个参考区块对应的像素，W_i为各个参考区块对应的权重值，P_j为各个目前区块对应的像素，W_j为各个目前区块对应的权重值。

接下来，在步骤S215，处理器130判断目前画面中的所有待处理像素是否皆已处理完成。若否，则接续步骤S217，选取尚未处理的另一待处理像素作为目标点，并同样执行步骤S203～S213，以产生另一噪声抑制像素。换句话说，处理器130对不同的待处理像素皆执行步骤S203～S213，直至所有待处理像素都已完成噪声抑制处理。最后，在步骤S219，处理器130输出目前画面CF经噪声滤除处理后的噪声抑制图像。

整理上述，图2所示的噪声抑制方法又可称之为三维立方（3D cube）多画面噪声抑制方法。图6是本发明一实施例的三维立方（3D cube）多画面噪声抑制的示意图。请参照图6，x轴、y轴所形成的二维平面即为空间域，t轴代表时间域。因此，在目前画面CF中，对目前搜索区域中的每一目前区块与目标区块执行SAD运算即为考量噪声的空间特性；在参考画面RF中，对参考搜索区域中的每一参考区块与目前画面CF中的目标区块执行SAD运算即为考量噪声的时间特性。据此，在时间及空间上进行像素加权和运算，不但可以达到噪声滤除且不易发生鬼影的效果，还可以有效去除边缘区域以及平滑区域的脉冲噪声，并且能够保留图像真实细节而非模糊的图像。

另外须说明的是，在上述实施例中虽然是以一张参考画面为例来对本发明进行说明，然而在其他实施例中，也可采用多张参考画面与目前画面做噪声抑制处理。在本实施例中，若一张参考画面与一张目前画面做噪声抑制处理的时间为2T；则二张参考画面与一张目前画面做噪声抑制处理的时间为3T；依此类推。换句话说，采用本发明的噪声抑制方法，其运算复杂度并不会成次方性增长。

综上所述，本发明的噪声抑制方法及其图像处理装置通过同时考虑噪声的三维（时间及空间）特性，在时间及空间上进行像素加权和运算，可达到噪声滤除且不易发生鬼影的效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种噪声抑制方法，其特征在于，适于处理多数个来源画面，该些来源画面的其中之一作为一目前画面，其中之另一作为一参考画面，该噪声抑制方法包括：

选取该目前画面中的一待处理像素作为一目标点，依据该目标点定义一目标区块与一目前搜索区域；

依据该目标区块在该目前画面与该参考画面之间执行一移动量估测，以获得该参考画面中的一参考点；

依据该参考点定义一参考搜索区域；

分别对该参考搜索区域中的每一参考区块与该目标区块执行一算术运算以获得一运算结果数值，据以设定对应各该参考区块的一权重值；

分别对该目前搜索区域中的每一目前区块与该目标区块执行该算术运算以获得一运算结果数值，据以设定对应各该目前区块的一权重值；以及

利用各该参考区块及对应的该权重值与各该目前区块及对应的该权重值进行权重和运算，以产生对应该目标点的一噪声抑制像素。

2.根据权利要求1所述的噪声抑制方法，其特征在于，该算术运算为一绝对差异总和运算。

3.根据权利要求2所述的噪声抑制方法，其特征在于，在获得各该参考区块与该目标区块的各该运算结果数值的步骤之后，还包括：

依据各该运算结果数值查询一第一权重值查找表，以获得各该参考区块的各该运算结果数值所对应的各该权重值。

4.根据权利要求2所述的噪声抑制方法，其特征在于，在获得各该目前区块与该目标区块的各该运算结果数值的步骤之后，还包括：

依据各该运算结果数值查询一第二权重值查找表，以获得各该目前区块的各该运算结果数值所对应的各该权重值。

5.根据权利要求1所述的噪声抑制方法，其特征在于，利用各该参考区块及对应的该权重值与各该目前区块及对应的该权重值进行权重和运算的公式如下：

<mrow> <mi>R</mi> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>*</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>+</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>W</mi> <mi>j</mi> </msub> <mo>*</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> </mrow>

其中，R为该噪声抑制像素，P_i为各该参考区块对应的像素，W_i为各该参考区块对应的该权重值，P_j为各该目前区块对应的像素，W_j为各该目前区块对应的该权重值。

6.根据权利要求1所述的噪声抑制方法，其特征在于，该目标点为该目标区块的中心位置，且该目标区块的尺寸小于该目前搜索区域的尺寸。

7.根据权利要求1所述的噪声抑制方法，其特征在于，该参考搜索区域的尺寸相同于该目前搜索区域的尺寸，且该参考区块的尺寸相同于该目标区块的尺寸。

8.根据权利要求1所述的噪声抑制方法，其特征在于，还包括：

判断该目前画面中的所有待处理像素是否皆处理完成；

若否，选取另一待处理像素以作为该目标点；以及

若是，输出该些噪声抑制像素为一噪声抑制图像。

9.一种图像处理装置，其特征在于，包括：

一图像感测器，获取多数个来源画面，该些来源画面的其中之一作为一目前画面，其中之另一作为一参考画面；

一存储单元，存储该些来源画面以及一第一与一第二权重值查找表；以及

一处理器，连接该图像感测器与该存储单元，该处理器用以执行下列步骤：

依据该参考点定义一参考搜索区域；

10.根据权利要求9所述的图像处理装置，其特征在于：

该处理器执行的该算术运算为一绝对差异总和运算，以获得该些运算结果数值，并依据各该运算结果数值查询该存储单元中的该第一与该第二权重值查找表，以获得各该权重值。