CN101087367A - 噪声抑制方法及噪声抑制装置 - Google Patents

噪声抑制方法及噪声抑制装置 Download PDF

Info

Publication number
CN101087367A
CN101087367A CNA200710110654XA CN200710110654A CN101087367A CN 101087367 A CN101087367 A CN 101087367A CN A200710110654X A CNA200710110654X A CN A200710110654XA CN 200710110654 A CN200710110654 A CN 200710110654A CN 101087367 A CN101087367 A CN 101087367A
Authority
CN
China
Prior art keywords
aforementioned
signal
noise
feedback ratio
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200710110654XA
Other languages
English (en)
Other versions
CN100481879C (zh
Inventor
木村青司
绪形昌美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101087367A publication Critical patent/CN101087367A/zh
Application granted granted Critical
Publication of CN100481879C publication Critical patent/CN100481879C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提供一种噪声抑制方法及噪声抑制装置。特别是本发明涉及噪声抑制方法、噪声抑制方法的程序、记录了噪声抑制方法的程序的记录介质以及噪声抑制装置,特别是应用于去除影像信号中的噪声的时间循环型的噪声滤波器,与以往相比能够高速且充分地抑制噪声。本发明在输入影像信号(S1)中计数信号水平急剧变化后的场数、帧数,动态地控制反馈比(kt)使得反馈比(kt)根据该计数值(n)而逐渐增大。

Description

噪声抑制方法及噪声抑制装置
技术领域
本发明涉及一种噪声抑制方法、噪声抑制方法的程序、记录了噪声抑制方法的程序的记录介质以及噪声抑制装置,特别是能够应用于去除影像信号的噪声的时间循环型噪声滤波器。本发明通过对在输入影像信号中信号水平(レベル)急剧变化后的场数、帧数进行计数,并动态地控制反馈比使得反馈比根据该计数值而逐渐增大,从而与以往相比能够高速且充分地抑制噪声。
背景技术
以往,如图13所示,时间循环型的噪声滤波器利用场间差分、帧间差分来抑制影像信号的噪声。即,在该噪声滤波器1中,延迟信号生成部2将输出影像信号S2延迟1场或1帧的期间,输出噪声成分提取用的参照影像信号S3。此外,在此也可以对输出影像信号S2进行运动校正来生成参照影像信号S3。减法电路3从输入影像信号S 1减去参照影像信号S3而生成差分信号S4。校正用信号生成部4将该差分信号S4与反馈比k相乘而生成噪声校正用信号S5。此外,此时有如下情况:例如设为振幅越小越像噪声而将反馈比设定为较大的值,相反设为振幅越大越不像噪声而将反馈比设定为较小的值,并生成噪声校正用信号S5。还有对差分信号S4进行频带分割而处理的情况。减法电路5从输入影像信号S1减去该噪声校正用信号S5而生成输出影像信号S2。
关于这种时间循环型的噪声滤波器,在特开2001-136416号公报等中提出了如下方案:测量噪声水平,基于噪声水平测量结果来自动地设定噪声校正用信号S5的信号水平。
另外,这种时间循环型的噪声滤波器中的噪声降低处理能够由下式的递推式来表示。此外,在此It是输入影像信号S1的信号水平,Ot是输出影像信号S2的信号水平。另外各符号的下标t是时刻,在输入影像信号S1的处理单位是帧以及场的情况下分别是从起始起的帧、场的序号。因而,在仅使输出影像信号S2延迟而进行反馈的结构中,Ot-1是参照影像信号S3的信号水平,另外(It-Ot-1)是差分信号S4的信号水平。此外,在此假设输入影像信号S1自勺平均信号水平是0水平,该输入影像信号S1仅由方差为σ0 2的噪声成分构成。
【式1】
Ot=It-k·(It-Ot-1)=(1-k)·It+k·Ot-1    ……(1)
噪声在平均时信号水平为0水平,连续的场、帧中不相关,因此时刻t的参照影像信号S3的方差巧σt 2能够基于(1)式而由下式来表示。
【式2】
σ t 2 = ( 1 - k ) 2 · σ 0 2 + k σ t - 1 2 . . . . . . ( 2 )
当求解该(2)式的递推式时,时刻t的输出影像信号S2的方差能够由下式的通式来表示。
【式3】
σ t 2 = ( 2 · k 2 t + 1 + 1 - k ) ( 1 + k ) · σ 0 2 . . . . . . ( 3 )
在此反馈比k自勺值小于值1(k<1),因此当设时刻t为无穷大时的输出影像信号S2的方差2能够由下式来表示。
【式4】
σ ∞ 2 = ( 1 - k ) ( 1 + k ) · σ o 2 . . . . . . ( 4 )
在此σt 20 2表示时刻t的噪声降低率。因而,利用反馈比k得到的无穷大时刻的噪声降低率表示为如图14所示。因而,从该图14、式(4)可知:在以往的时间循环型的噪声滤波器中,将反馈比k设定得越大,噪声降低效果越大。
与此相对,根据上述关系式,输出影像信号S2中的方差σt 2和时刻t的关系表示为如图15所示。因而,在以往的时间循环型的噪声滤波器中,可知如果将反馈比k设定得大则直到收敛为止需要时间。
由此,在以往的时间循环型的噪声滤波器中有如下问题:如果进行设定使得噪声降低效果变大,则在运动激烈的部分无法确保噪声降低效果。即,例如图16所示,当移动物体7A、7B在静止背景的前面高速移动的情况下,在观看由箭头A所示的该移动物体7A、7B横穿的背景的一部分时,如图17以及图18所示,在这一部分中在时刻t1、t2、t3、......处出现背景,或出现移动物体7A、7B。在这种情况下,当减小反馈比k时,如图17所示,虽然能够对应于移动物体7A、7B的移动速度而以高速充分抑制噪声,但噪声降低效果变小。另外,在这种情况下,关于移动物体7A、7B没有横穿的背景部分,反馈比k较小,由此难以充分确保噪声抑制效果。
与此相反,如果使反馈比k变大、则关于移动物体7A、7B没有横穿的背景部分,虽然能够充分确保噪声抑制效果,但关于移动物体7A、7B横穿的部分,如图18所示难以对应于移动物体7A、7B的移动速度而高速充分抑制噪声。
专利文献1:日本特开2001-136416号公报
发明内容
发明要解决的问题
本发明是考虑到以上的点而做出的,提出了一种与以往相比能够高速且充分地抑制噪声的噪声抑制方法、噪声抑制方法的程序、记录了噪声抑制方法的程序的记录介质以及噪声抑制装置。
用于解决问题的方案
为了解决上述问题,发明1应用于抑制输入影像信号的噪声来输出输出影像信号的噪声抑制方法,具有:差分信号生成步骤,生成前述输入影像信号与前述输出影像信号之间的场间或帧间的差分信号;校正用信号生成步骤,将前述差分信号与反馈比相乘,生成噪声校正用信号;噪声校正用信号减法步骤,从前述输入影像信号减去前述噪声校正用信号;和反馈比控制步骤,控制前述反馈比,前述反馈比控制步骤具有:信号水平判断步骤,对前述差分信号中设定的每个区域,根据判断基准值来判断前述差分信号的信号水平,检测前述输入影像信号中的信号水平的急剧变化;计数步骤,对每个区域,计数在前述信号水平判断步骤中检测出前述信号水平的急剧变化到接着检测出前述信号水平的急剧变化为止的期间的、前述输入影像信号的场数或帧数;和反馈比设定步骤,根据由前述计数步骤得到的计数值,对前述每个区域设定前述反馈比,前述反馈比设定步骤设定前述反馈比,使得值随着前述计数值增大而从值0起逐渐增大。
另外,发明2应用于抑制输入影像信号的噪声来输出输出影像信号的噪声抑制方法的程序,具有:差分信号生成步骤,生成前述输入影像信号与前述输出影像信号之间的场间或帧间的差分信号;校正用信号生成步骤,将前述差分信号与反馈比相乘,生成噪声校正用信号;噪声校正用信号减法步骤,从前述输入影像信号减去前述噪声校正用信号;和反馈比控制步骤,控制前述反馈比,前述反馈比控制步骤具有:信号水平判断步骤,对前述差分信号中设定的每个区域,根据判断基准值来判断前述差分信号的信号水平,检测前述输入影像信号中的信号水平的急剧变化;计数步骤,对每个区域,计数在前述信号水平判断步骤中检测出前述信号水平的急剧变化到接着检测出前述信号水平的急剧变化为止的期间的、前述输入影像信号的场数或帧数;和反馈比设定步骤,根据由前述计数步骤得到的计数值,对前述每个区域设定前述反馈比,前述反馈比设定步骤设定前述反馈比,使得值随着前述计数值增大而从值0起逐渐增大。
另外,发明3应用于记录了噪声抑制方法的程序的记录介质,其中所述噪声抑制方法抑制输入影像信号的噪声来输出输出影像信号,前述噪声抑制方法的程序具有:差分信号生成步骤,生成前述输入影像信号与前述输出影像信号之间的场间或帧间的差分信号;校正用信号生成步骤,将前述差分信号与反馈比相乘,生成噪声校正用信号;噪声校正用信号减法步骤,从前述输入影像信号减去前述噪声校正用信号;和反馈比控制步骤,控制前述反馈比,前述反馈比控制步骤具有:信号水平判断步骤,对前述差分信号中设定的每个区域,根据判断基准值来判断前述差分信号的信号水平,检测前述输入影像信号中的信号水平的急剧变化;计数步骤,对每个区域,计数在前述信号水平判断步骤中检测出前述信号水平的急剧变化到接着检测出前述信号水平的急剧变化为止的期间的、前述输入影像信号的场数或帧数;和反馈比设定步骤,根据由前述计数步骤得到的计数值,对前述每个区域设定前述反馈比,前述反馈比设定步骤设定前述反馈比,使得值随着前述计数值增大而从值0起逐渐增大。
另外,发明4应用于抑制输入影像信号的噪声来输出输出影像信号的噪声抑制装置,具有:差分信号生成部,其生成前述输入影像信号与前述输出影像信号之间的场间或帧间的差分信号;校正用信号生成部,其将前述差分信号与反馈比相乘,生成噪声校正用信号;噪声校正用信号减法电路,其从前述输入影像信号减去前述噪声校正用信号;和反馈比控制部,其控制前述反馈比,前述反馈比控制部具有:信号水平判断部,其对前述差分信号中设定的每个区域,根据判断基准值来判断前述差分信号的信号水平,检测前述输入影像信号中的信号水平的急剧变化;计数部,其对前述每个区域,计数在前述信号水平判断部中检测出前述信号水平的急剧变化到接着检测出前述信号水平的急剧变化为止的期间的、前述输入影像信号的场数或帧数;和反馈比设定部,其根据前述计数部的计数值,对前述每个区域设定前述反馈比,前述反馈比设定部设定前述反馈比,使得值随着前述计数值增大而从0起逐渐增大。
根据发明1、发明2、发明3或发明4的结构,由于在输入影像信号中检测出信号水平的急剧变化之后的场、帧中使反馈比动态地变化从而渐渐地增大反馈比,因此能够一并实现反馈比的值较大的情况下较大的噪声抑制效果和反馈比的值较小的情况下缩短收敛所需时间,与以往相比能够高速且充分地抑制噪声。
发明的效果
根据本发明,与以往相比能够高速且充分地抑制噪声。
附图说明
图1是表示本发明的实施例1的噪声滤波器的框图。
图2是表示图1的噪声滤波器中的参照影像信号生成部的结构的框图。
图3是表示图1的参照影像信号生成部的其他示例的结构的框图。
图4是表示图1的噪声滤波器中的循环履历信息存储部的结构的框图。
图5是用于说明图4的循环履历信息存储部的平面图。
图6是用于说明图1的噪声滤波器中的反馈比设定部的平面图。
图7是用于说明图1的噪声滤波器中的反馈比设定部中的反馈比设定的平面图。
图8是表示图1的噪声滤波器的特性的特性曲线图。
图9是表示本发明的实施例2的噪声滤波器的框图。
图10是用于说明图9的噪声滤波器中的循环判断部的平面图。
图11是表示图9的噪声滤波器中的循环履历信息存储部的结构的框图。
图12是用于说明图10的循环履历信息存储部的平面图。
图13是表示以往的时间循环型的噪声滤波器的框图。
图14是用于说明反馈比的特性曲线图。
图15是表示反馈比的特性的变化的特性曲线图。
图16是表示运动激烈的影像的示例的平面图。
图17是表示反馈比小的情况下的特性的特性曲线图。
图18是表示反馈比大的情况下的特性的特性曲线图。
附图标记说明
1、10、40:噪声滤波器;3、5、17、21:减法电路;4、18、42:校正用信号生成部;11:参照影像信号生成部;16:差分信号生成部;19、44:放大电路;20:噪声减法处理部;23:反馈比控制部;24、48:噪声水平测量部;25、49:场景变换检测部;27、51:循环判断部;28、52:循环履历信息存储部;29、53:部分区域循环判断部;30、56:循环次数存储器;31、55:循环次数计数部;32、57:循环次数校正部;35、59:反馈比设定部;41:频带分割部;45:频带合成部。
具体实施方式
以下,适当参照附图详细说明本发明的实施例。
实施例1
(1)实施例的结构
图1是表示本发明的实施例1的噪声滤波器的框图。该噪声滤波器10是时间循环型的噪声滤波器,利用场间差分或帧间差分来抑制输入影像信号S1的噪声,并输出输出影像信号S2。
在该噪声滤波器10中,参照影像信号生成部11使输出影像信号S2延迟1场或1帧的期间,输出参照影像信号S3。更具体地说,参照影像信号生成部11对输出影像信号S2进行运动校正而生成参照影像信号S3。
即,如图2所示,在参照影像信号生成部11中,延迟信号生成部12使输出影像信号S2延迟1场或1帧的期间,生成延迟影像信号S12。运动向量检测部13以该延迟影像信号S12为基准,从输入影像信号S1检测运动向量MV。此外,在此该运动向量的检测能够应用块匹配法、梯度法等各种运动向量检测方法。另外,运动向量的精度可以是整数像素精度、小数像素精度中的任一种。
运动校正影像信号生成部14使用该运动向量MV对延迟影像信号S12进行运动校正,从而输出参照影像信号S3。此外,在此如图3所示,该参照影像信号S3在实用上能够确保充分特性的情况下,可由延迟信号生成部12仅使输出影像信号S2延迟1场或1帧的期间而生成。
差分信号生成部16利用减法电路17从输入影像信号S1减去参照影像信号S3,输出输入影像信号S1和输出影像信号S2之间的场间差分或帧间差分即差分信号S4。
校正用信号生成部18在放大电路19中,将该差分信号S4与反馈比k相乘而生成噪声校正用信号SN。
噪声减法处理部20在减法电路21中从输入影像信号S1减去噪声校正用信号SN来抑制输入影像信号S1的噪声,并输出输出影像信号S2。
该噪声滤波器10在反馈比控制部23中控制反馈比,通过控制该反馈比k,与以往相比高速且充分地抑制输入影像信号S1的噪声。
在此,在反馈比控制部23中,噪声水平测量部24对输入影像信号S1的每个像素测量输入影像信号S1的噪声水平,输出噪声水平的测量结果NL。此外,在此例如在以测量对象像素为中心的水平方向以及垂直方向的固定范围内,通过利用2维高通滤波器来提取高频成分并检测信号水平等,来执行该噪声水平的测量。另外,也可以代替输入影像信号S1,使用差分信号S4来检测输入影像信号S1的噪声水平。
场景变换检测部25检测输入影像信号S1的场景变换,输出场景变换检测标志FS。此外,在例如以规定的阈值来判断帧间差分的绝对值和的情况下等,场景变换的检测能够广泛地应用各种场景变换检测方法。另外,也可以代替输入影像信号S1,而使用差分信号S4来检测输入影像信号S1的场景变换。
循环判断部27以由噪声水平测量部24检测出的噪声水平NL为基准,对每个像素检测输入影像信号S1中的信号水平的急剧变化。即,循环判断部27对每个像素,将由噪声水平测量部24检测出的噪声水平NL与规定的常数α相乘,生成输入影像信号S1的判断基准值Cth(NL·α)。而且,循环判断部27利用该判断基准值Cth来判断差分信号S4的振幅值|Diff(x,y)|,以噪声水平NL为基准来检测输入影像信号S1的信号水平急剧变化的部分。在此,信号水平这样急剧变化的部分是噪声的可能性较低,是原来的输入影像信号S1中的变化的可能性较高。更具体地说,是如下情况:背景由于图16中说明的移动体而隐藏,或者隐藏的背景显现。
于是,在振幅值|Diff(x,y)|小于判断基准值Cth的情况下,循环判断部27设定指示抑制该信号成分的循环识别标志F1。此外,关于该判断基准值Cth,既可以将常数α设为用户可设定从而能够由用户进行调整,另外也可以与噪声水平NL无关地能够由用户进行调整,而且还可以在实用上确保充分特性的情况下设为固定值。
循环履历信息存储部28通过对输入影像信号S1中设定的每个区域,计数连续的循环识别标志F1的设定次数n,从而计数在输入影像信号S1中信号水平急剧发生变化后到接着信号水平急剧发生变化为止的场数或帧数而输出。
即,如图4所示,在循环履历信息存储部28中,部分区域循环判断部29对输入影像信号S1中设定的每个区域,判断循环识别标志F 1。在此如图5所示,在本实施例中,以规定像素单位在水平方向、垂直方向上划分输入影像信号S1的1个画面来设定多个区域,部分区域循环判断部29对每个区域统计循环识别标志F1的设定次数。另外,分别以规定的阈值来判断该统计结果,在循环识别标志F1的设定次数比该阈值多的区域设置区域循环识别标志F1P。此外,在该图5的示例中,虽然将1个区域在水平方向以及垂直方向上设定为6像素以及4像素的区域,但是区域的设定不限于该大小而能够进行各种设定,另外也可以使区域的大小在1个画面的各部分不同。部分区域循环判断部29根据利用该循环识别标志F1的设定次数的阈值的判断,检测例如在图16中由于移动体7A、7B而被隐藏的背景区域,进而检测由于移动体7A、7B的移动而显现的背景区域。
循环次数存储器30对输入影像信号S1的每个区域,记录连续的区域循环识别标志F1P的设定次数并保持,循环次数计数部31按照从部分区域循环判断部29输出的区域循环识别标志F1P,来更新保持在该循环次数存储器30中的对应区域的设定次数。即,循环次数计数部31对于没有由部分区域循环判断部29设定区域循环识别标志F1P的区域,将保持在循环次数存储器30中的对应区域的设定次数初始化为值0。另外,当由部分区域循环判断部29设定区域循环识别标志F1P时,将保持在循环次数存储器30中的对应区域的设定次数增加值1。此时,在循环次数存储器30中保持的对应区域的设定次数增大到规定值的情况下,中止增加的处理。
当由场景变换检测部25检测出场景变换从而设置场景变换检测标志FS时,循环次数存储器30将保持的全部区域的设定次数初始化为值0。另外,循环次数存储器30以与接着的场或帧所对应的区域的放大电路19中的处理相对应的定时,来输出保持的各区域的设定次数n。因而,在输入影像信号S 1是隔行扫描方式的影像信号的情况下,延迟1场的期间而输出。另外,在输入影像信号S1是非隔行扫描方式的影像信号的情况下,延迟1帧的期间而输出。
循环次数校正部32对从该循环次数存储器30输出的各区域的设定次数n进行校正使得对应于输入影像信号S1的格式并输出。即,在输入影像信号S1是隔行扫描方式的影像信号的情况、差分信号S4是场间差分的情况下,另外在输入影像信号S1是非隔行扫描方式的影像信号的情况、差分信号S4是帧间差分的情况下,循环次数校正部32不对从循环次数存储器30输出的各区域的设定次数n进行任何校正而输出。与此相对,在输入影像信号S1是隔行扫描方式的影像信号的情况、差分信号S4是帧间差分的情况下,将从循环次数存储器30输出的各区域的设定次数n校正为1/2而输出。此外,在输入影像信号S1是隔行扫描方式的影像信号的情况、差分信号S4是帧间差分的情况下,在偶数场间、奇数场间分别求出差分信号S4。因而,与此对应地、也可以在循环履历信息存储部28中设置偶数场的处理系统和奇数场的处理系统,交替地输出由该各系统检测出的设定次数n。此外,在这种情况下可省略循环次数校正部32。另外,也可以省略该循环次数校正部32的结构,通过后述的反馈比设定部35中的反馈比的设定,一并执行校正设定次数n的处理。
反馈比设定部35按照从该循环履历信息存储部28输出的设定次数n,对每个像素设定反馈比kt。反馈比设定部35分别求出值根据设定次数n而变化的反馈比kh、以及与差分信号S4相对噪声水平NL的振幅相应的反馈比kc,将这两个kh、kc相乘而求出最终的反馈比kt。
在此(2)式表示时刻t的输出影像信号S2的方差,为了求出使该方差为最小的反馈比k而对(2)式进行1阶微分时,可得到下式的关系式。
【式5】
( σ t 2 ) ′ = - 2 ( 1 - k ) · σ 0 2 + 2 k σ t - 1 2 . . . . . . ( 5 )
在此,如果将该(5)式关于k求解,则可由下式来表示使时刻t的方差σt 2最小的反馈比kh。
【式6】
kh = σ 0 2 σ 0 2 + σ t - 1 2 . . . . . . . ( 6 )
因而,如图6所示,可使用连续的设定次数n,由n/(nt+1)来表示在各时刻t处使σt 2最小的反馈比kh。此外,在此n=0是如上所述场景变换之后紧接着的帧、场、或者如图16所示由于移动体7A、7B而被隐藏的背景区域,而且是由于移动体7A、7B的移动而出现的背景区域,因此在这种情况下,对于基于与紧接在之前的场或紧接在之前的帧之间的差分信号S4的噪声校正用信号SN,进行设定使得将反馈比kt设定为值0从而不从输入影像信号S1中减去。另外,在以后的帧、场中,将反馈比kh设定成使得值根据与连续的帧、场相应的值n而逐渐增大。此外,反馈比设定部35根据从循环履历信息存储部28输出的设定次数n,参照查询表来求出该反馈比kt。此外,也可以通过运算来求出反馈比kh。另外也可以将反馈比kt设为限制在有限位长的值。
另外,反馈比设定部3 5将噪声水平NL与规定的常数β相乘,生成差分信号S4的第1判断基准值Lth(NL·β)。而且,反馈比设定部35将该判断基准值Lth与小于值1的常数γ相乘,生成差分信号S4的第2判断基准值Coth(Lth·γ)。如图7所示,反馈比设定部35由该第1和第2判断基准值Lth(NL·β)和Coth(Lth·γ)来判断差分信号S4的振幅值|Diff(x,y)|,在振幅值|Diff(x,y)|大于第1判断基准值Lth(NL·β)的情况下、将反馈比kc设定为值0。另外,在振幅值|Diff(x,y)|小于第2判断基准值Coth(Lth·γ)的情况下,将反馈比kc设定为值1以下的固定值。另外,在振幅值|Diff(x,y)|是第1和第2判断基准值Lth(NL·β)和Coth(Lth·γ)之间的值的情况下、通过与振幅值|Diff(x,y)|相应的直线插值来设定反馈比kc的值。由此,反馈比设定部35设定反馈比kc使得随着差分信号相对噪声水平测量结果的振幅值变大而使值变小。此外,反馈比设定部35对每个像素设定反馈比kc。
(2)实施例的动作
在以上的结构中,依次输入的输入影像信号S1(图1)被依次输入到噪声滤波器10,由减法电路21减去噪声校正用信号SN来抑制噪声,并作为输出影像信号S2而输出。对于输入影像信号S1,由参照影像信号生成部11处理该输出影像信号S2来生成参照影像信号S3,由减法电路17减去该参照影像信号S3而生成差分信号S4。另外,由校正用信号生成部18处理该差分信号S4而生成噪声校正用信号SN。由此,输入影像信号S1在时间循环型的噪声滤波器10中,由与校正用信号生成部18中的反馈比kt的设定相应的特性来抑制噪声。
然而,如图8所示,若使该反馈比kt的值变大而设定为固定值,则虽然最终的噪声抑制效果变大,但收敛需要时间,无法对应激烈的运动。与此相对,若使该反馈比kt的值变小而设定为固定值,则虽然收敛时间变短,但最终的噪声抑制效果变小。
于是,在该噪声滤波器10中,对于输入影像信号S1,由噪声水平测量部24测量噪声水平NL,并基于该噪声水平NL来设定差分信号S4的判断基准值Cth。另外,利用该判断基准值Cth来判断差分信号S4的振幅值|Diff(x,y)|,在差分信号S4的振幅值|Diff(x,y)|小于判断基准值Cth的情况下,作为差分信号S4的信号水平由于噪声而变化的像素,设定指示该噪声的抑制的循环识别标志F1。
对于输入影像信号S1,在部分区域循环判断部29(图4)中,对输入影像信号S1的1个画面中设定的每个区域(图5),统计该循环识别标志F1来设定区域循环识别标志F1P。另外,对每个区域,由循环次数计数部31计数该循环识别标志F1连续的设定,由反馈比设定部3 5设定与作为该计数结果的设定次数n相应的反馈比kh(图6)。
在此,由该反馈比设定部35进行的反馈比的设定最初被设定为较小的值,设定成随设定次数n增大而逐渐增大(图6)。由此,对于输入影像信号S1,在连续的场或帧中,最初利用值较小的反馈比来降低方差的值使得快速收敛(图8),之后进行设定使得反馈比的值渐渐增大从而使最终的噪声抑制效果变大。因而,在该噪声滤波器10中,通过该反馈比的动态设定,能够一并实现反馈比的值较大的情况下最终的较大的噪声抑制效果以及反馈比的值较小的情况下缩短收敛所需的时间,与以往相比能够高速且充分地抑制噪声。
此时,对于输入影像信号S1,仅在差分信号S4的振幅值|Diff(x,y)|小于判断基准值Cth的情况下,设定循环识别标志F 1来逐渐改变反馈比的值,在差分信号S4的振幅值|Diff(x,y)|大于判断基准值Cth的情况下,不设定循环识别标志F1而将反馈比kt设定为值0。由此,对于输入影像信号S1,有效地利用动态地设定反馈比的结构进行设定使得在运动图像区域中不抑制噪声,能够防止移动物体中的所谓拖尾(尾引き)即模糊的发生。
另外,此时对于输入影像信号S1,按照噪声水平NL来设定该差分信号S4的振幅值|Diff(x,y)|的判断基准值Cth,由此能够有效地避免由于噪声水平增大而将静止图像区域误判为运动图像区域的状况。其结果,即使在输入影像信号S1的噪声水平较大的情况下,也能够充分抑制噪声。
而且,对于输入影像信号S1,即使在场景变换检测部25中检测出场景变换、发生了场景变换的情况下,也与运动图像区域的情况同样地将设定次数n设定为初始值、将反馈比kh设定为初始值0。因而,输入影像信号S1有效地使用动态地设定反馈比的结构,进行设定使得在发生了场景变换的情况下也不抑制噪声,能够防止场景变换的部分中的模糊的发生。
另外,对于输入影像信号S1,在反馈比设定部35中根据将噪声水平NL与规定的常数β相乘而求出的第1判断基准值Lth(NL·β)和将该判断基准值Lth与小于值1的常数γ相乘而生成的第2判断基准值Coth(Lth·γ),来判断差分信号S4的振幅值|Diff(x,y)|,生成反馈比kc使得在振幅值|Diff(x,y)|越小的情况下使值越大(图7)。另外,将该反馈比kc与利用作为反复次数的设定次数n得到的反馈比kh相乘,设定最终的反馈比kt。
由此,输入影像信号S1有效地利用动态地设定反馈比的结构,抑制大振幅成分来生成噪声校正用信号SN,防止边缘等的输入影像信号S1原来的高频成分的劣化。另外,此时也通过按照噪声水平NL来设定第1和第2判断基准值Lth(NL·β)和Coth(Lth·γ),从而按照噪声量来适当地防止输入影像信号S1原来的高频成分的劣化。
(3)实施例的效果
根据以上的结构,通过在输入影像信号中计数信号水平急剧发生变化后的场数、帧数,并动态地控制反馈比使得反馈比根据该计数值而逐渐增大,从而与以往相比能够高速且充分地抑制噪声。
另外,此时通过基于噪声水平测量结果而设定判断基准值,来检测信号水平急剧发生变化的区域,从而能够有效地避免由噪声水平导致的静止图像部分和运动图像部分的误检,确实地得到噪声抑制效果。
另外,根据场景变换的检测,将全部区域的计数值初始化为值0,由此在场景变换后能够与以往相比高速且充分地抑制噪声。
另外,生成反馈比kc使得随着差分信号相对噪声水平测量结果的振幅值变大而使值变小,并将该反馈比kc与反馈比kh相乘来校正反馈比,由此能够有效地利用可动态地改变控制反馈比的结构,抑制大振幅成分从而抑制噪声水平,能够适当地抑制噪声水平。
实施例2
图9是表示本发明的实施例2的噪声滤波器的框图。在该噪声滤波器40中,对与实施例1的噪声滤波器1 0相同的结构标记相对应的符号来表示,省略重复的说明。
在该噪声滤波器40中,频带分割部41将作为像素区域信号的差分信号S4变换为频域上的多个频带的部分差分信号S4B而输出。在此,向该频域上的变换处理可应用例如Hadamard变换、Haar变换、离散余弦变换等正交变换处理、利用滤波器组的小波(wavelet)变换、子带分割等各种方法。
校正用信号生成部42对于由该频带分割部41分割为多个频带的多个部分差分信号S4B,由放大电路44分别乘以各频带的反馈比ktB而生成多个频带的噪声校正用信号SNB。
频带合成部4 5将从该校正用信号生成部42输出的多个频带的噪声校正用信号SNB变换为像素区域的信号,生成校正用信号SN。由此,该噪声滤波器40将差分信号S4进行频带分割,对每个频带设定反馈比ktB来抑制输入影像信号S1的噪声水平。
对应于该结构,反馈比控制部47对每个频带设定反馈比ktB。因此在反馈比控制部47中,噪声水平测量部48、场景变换检测部49分别处理进行了频带分割的部分差分信号S4B,对每个频带设定噪声水平NLB、场景变换检测标志FSB。
循环判断部51与关于实施例1所述的循环判断部27同样地,对每个频带判断部分差分信号S4B的振幅值,输出循环识别标志F1B。因而,如图10所示,在将差分信号S4在水平方向、垂直方向分别分割为8个及4个频带的情况下,部分差分信号S4B最终被分割为32系统的信号。因而,循环判断部51对每个频带将与各像素对应的噪声水平NLB与常数α相乘而生成各频带的判断基准值Cth B(NL·α),利用该判断基准值Cth B来判断相对应的部分差分信号S4B的振幅值|Diff(x,y)B|,从而设定循环识别标志F1B。此外,在此下式是与该阈值的设定、标志的设定有关的关系式。在此bx、by是在水平方向和垂直方向上确定各频带的变量。NLbx,by是由变量bx、by确定的频带的噪声水平,Cthbx,by是由变量bx、by确定的频带的阈值,|Diffbx,by(x,y)|是在水平方向以及垂直方向的坐标为(x,y)的像素中由bx、by确定的频带的振幅值。在(8)式的关系式成立的情况下,循环判断部51设定对应频带的循环识别标志F1B。此外,能够与关于实施例1所述同样地以各种方法设定阈值。
【式7】
Cthbx,by=NLbx,by·α         ……(7)
【式8】
|Diffbx,by(x,y )|<Cthbx,by  ……(8)
循环履历信息存储部52与关于实施例1所述的循环履历信息存储部28同样地,对每个频带求出反复设定反馈比kcB的次数nB并输出。在此,图11是表示循环履历信息存储部52的框图。在循环履历信息存储部52中,部分区域循环判断部53与关于实施例1所述的部分区域循环判断部29同样地,对每个区域判断循环识别标志F1B的数量,来设定区域循环识别标志F1PB。此时,部分区域循环判断部53对每个频带设定区域循环识别标志F1PB。另外,进一步如图12所示,在水平方向以及/或者垂直方向上在频率相邻的多个频带处进行归纳来设定区域循环识别标志F1PB,简化后级的处理。此外,在图12所示的示例中,是将在水平方向以及垂直方向上分别相邻的2×2的频带归纳为一个、并对该归纳的每个频带设定区域循环识别标志F1PB的例子,是对1块区域设定8个区域循环识别标志F1PB的例子。此外,也可以不像这样在多个频带处归纳,而是对原来的每个频带设定区域循环识别标志F1PB。
循环次数计数部55、循环次数存储器56、循环次数校正部57分别与关于实施例1所述的循环次数计数部31、循环次数存储器30、循环次数校正部32同样地,对每个频带计算设定次数nB并输出。
反馈比设定部59与关于实施例1所述的反馈比设定部35同样地,对每个频带计算反馈比kt并输出。
根据本实施例,通过对每个频带设定反馈比,与实施例1相比能够更确实地降低噪声。
实施例3
此外,在上述的实施例中,虽然叙述了将对每个区域设定的反馈比kh和对每个像素设定的反馈比kc相乘来求出最终的反馈比kt的情况,但是本发明不限于此,在实用上能够确保充分的特性的情况下,也可以仅由对每个区域设定的反馈比kh来生成噪声校正用信号。
另外,在上述实施例中,虽然叙述了由硬件构成噪声滤波器的情况,但是本发明不限于此,也可以通过由运算处理单元执行程序来构成。此外,在这种情况下,该程序既可以事先安装而提供,也可以记录在光盘、磁盘、内存卡等记录介质中而提供,而且还可以通过经因特网等网络下载而提供。
产业上的可利用性
本发明例如能够应用于去除影像信号的噪声的时间循环型的噪声滤波器。

Claims (6)

1.一种噪声抑制方法,抑制输入影像信号的噪声来输出输出影像信号,其特征在于,具有:
差分信号生成步骤,生成前述输入影像信号与前述输出影像信号之间的场间或帧间的差分信号;
校正用信号生成步骤,将前述差分信号与反馈比相乘,生成噪声校正用信号;
噪声校正用信号减法步骤,从前述输入影像信号减去前述噪声校正用信号;和
反馈比控制步骤,控制前述反馈比,
前述反馈比控制步骤具有:
信号水平判断步骤,对前述差分信号中设定的每个区域,根据判断基准值来判断前述差分信号的信号水平,检测前述输入影像信号中的信号水平的急剧变化;
计数步骤,对每个区域,计数在前述信号水平判断步骤中检测出前述信号水平的急剧变化到接着检测出前述信号水平的急剧变化为止的期间的、前述输入影像信号的场数或帧数;和
反馈比设定步骤,根据由前述计数步骤得到的计数值,对前述每个区域设定前述反馈比,
前述反馈比设定步骤设定前述反馈比,使得值随着前述计数值增大而从值0起逐渐增大。
2.根据权利要求1所述的噪声抑制方法,其特征在于,具有:
噪声水平测量步骤,测量前述输入影像信号的噪声水平,输出噪声水平测量结果;
判断基准值设定步骤,基于前述噪声水平测量结果来设定前述判断基准值。
3.根据权利要求1所述的噪声抑制方法,其特征在于,具有:
场景变换检测步骤,检测前述输入影像信号中的场景变换,
前述计数步骤通过由前述场景变换检测步骤进行的场景变换的检测,将全部前述区域的前述计数值初始化为值0。
4.根据权利要求1所述的噪声抑制方法,其特征在于,具有:
噪声水平测量步骤,测量前述输入影像信号的噪声水平,输出噪声水平测量结果,
反馈比设定步骤具有:
反馈比校正步骤,对前述反馈比进行校正,使得随着前述差分信号相对前述噪声水平测量结果的振幅值变大而使值变小。
5.根据权利要求1所述的噪声抑制方法,其特征在于,
前述差分信号生成步骤将前述差分信号频带分割成多个频带而输出,
前述校正用信号生成步骤对前述多个频带的每个频带,以对应频带的反馈比乘以前述差分信号之后,进行频带合成来生成前述噪声校正用信号,
前述反馈比控制步骤对前述每个频带控制前述反馈比。
6.一种噪声抑制装置,抑制输入影像信号的噪声来输出输出影像信号,其特征在于,具有:
差分信号生成部,其生成前述输入影像信号与前述输出影像信号之间的场间或帧间的差分信号;
校正用信号生成部,其将前述差分信号与反馈比相乘,生成噪声校正用信号;
噪声校正用信号减法部,其从前述输入影像信号减去前述噪声校正用信号;和
反馈比控制部,其控制前述反馈比,
前述反馈比控制部具有:
信号水平判断部,其对前述差分信号中设定的每个区域,根据判断基准值来判断前述差分信号的信号水平,检测前述输入影像信号中的信号水平的急剧变化;
计数部,其对前述每个区域,计数在前述信号水平判断部中检测出前述信号水平的急剧变化到接着检测出前述信号水平的急剧变化为止的期间的、前述输入影像信号的场数或帧数;和
反馈比设定部,其根据前述计数部的计数值,对前述每个区域设定前述反馈比,
前述反馈比设定部设定前述反馈比,使得值随着前述计数值增大而从0起逐渐增大。
CNB200710110654XA 2006-06-06 2007-06-06 噪声抑制方法及噪声抑制装置 Expired - Fee Related CN100481879C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006156803 2006-06-06
JP2006156803A JP4857916B2 (ja) 2006-06-06 2006-06-06 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置

Publications (2)

Publication Number Publication Date
CN101087367A true CN101087367A (zh) 2007-12-12
CN100481879C CN100481879C (zh) 2009-04-22

Family

ID=38529709

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200710110654XA Expired - Fee Related CN100481879C (zh) 2006-06-06 2007-06-06 噪声抑制方法及噪声抑制装置

Country Status (5)

Country Link
US (1) US8111332B2 (zh)
EP (1) EP1865711A3 (zh)
JP (1) JP4857916B2 (zh)
KR (1) KR101331237B1 (zh)
CN (1) CN100481879C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316247A (zh) * 2010-06-29 2012-01-11 奥林巴斯株式会社 图像处理装置
CN103826067A (zh) * 2012-11-19 2014-05-28 诺基亚公司 用于流帧的时间稳定的方法和设备
CN103873836A (zh) * 2012-12-17 2014-06-18 佳能株式会社 图像处理设备和图像处理方法
CN103931170A (zh) * 2011-11-10 2014-07-16 夏普株式会社 降噪装置、显示装置、降噪方法以及降噪程序

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036459B2 (en) * 2009-03-15 2015-05-19 San Diego State University Research Foundation Rectangular power spectral densities of orthogonal functions
US8682102B2 (en) * 2009-06-18 2014-03-25 Schlumberger Technology Corporation Cyclic noise removal in borehole imaging
JP5460146B2 (ja) * 2009-07-01 2014-04-02 キヤノン株式会社 撮像装置及びその制御方法
JP2012238212A (ja) 2011-05-12 2012-12-06 Sony Corp 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2012253645A (ja) 2011-06-06 2012-12-20 Sony Corp 画像処理装置および画像処理方法
JP2013059016A (ja) * 2011-08-12 2013-03-28 Sony Corp 画像処理装置および方法、並びにプログラム
CN103632352B (zh) 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
JP6407686B2 (ja) * 2014-12-01 2018-10-17 キヤノンメディカルシステムズ株式会社 ノイズ低減回路
US9232118B1 (en) * 2015-01-23 2016-01-05 Interra Systems, Inc Methods and systems for detecting video artifacts

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61177073A (ja) * 1985-02-01 1986-08-08 Nec Corp 画像信号処理装置
US4841366A (en) * 1986-03-31 1989-06-20 Nec Home Electronics Ltd. Cyclic noise reducing apparatus
JPS62290270A (ja) * 1986-06-10 1987-12-17 Matsushita Electric Ind Co Ltd 雑音除去装置
JPH05336497A (ja) * 1992-05-29 1993-12-17 Sanyo Electric Co Ltd 動き検出回路
JPH07162718A (ja) * 1993-12-10 1995-06-23 Nikon Corp 巡回型ノイズ低減装置
JP3364342B2 (ja) * 1994-12-19 2003-01-08 松下電器産業株式会社 雑音除去装置
DE69611113T3 (de) * 1995-03-06 2007-03-15 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Videorauschreduktion
JP2000224444A (ja) * 1999-02-04 2000-08-11 Toshiba Corp 巡回型ノイズ低減装置
JP2001136416A (ja) * 1999-08-20 2001-05-18 Sony Corp 信号処理装置及び方法
JP4365555B2 (ja) 2002-01-22 2009-11-18 株式会社日立製作所 画像記録装置
JP3979933B2 (ja) * 2002-12-03 2007-09-19 シャープ株式会社 ノイズ除去装置及びノイズ除去方法
US20060114994A1 (en) * 2004-12-01 2006-06-01 Silverstein D Amnon Noise reduction in a digital video
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316247A (zh) * 2010-06-29 2012-01-11 奥林巴斯株式会社 图像处理装置
CN102316247B (zh) * 2010-06-29 2016-08-17 奥林巴斯株式会社 图像处理装置
CN103931170A (zh) * 2011-11-10 2014-07-16 夏普株式会社 降噪装置、显示装置、降噪方法以及降噪程序
CN103826067A (zh) * 2012-11-19 2014-05-28 诺基亚公司 用于流帧的时间稳定的方法和设备
CN103826067B (zh) * 2012-11-19 2017-07-21 诺基亚技术有限公司 用于流帧的时间稳定的方法和设备
CN103873836A (zh) * 2012-12-17 2014-06-18 佳能株式会社 图像处理设备和图像处理方法
CN103873836B (zh) * 2012-12-17 2016-03-02 佳能株式会社 图像处理设备和图像处理方法
US9317901B2 (en) 2012-12-17 2016-04-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method for noise filtering

Also Published As

Publication number Publication date
US8111332B2 (en) 2012-02-07
JP2007329524A (ja) 2007-12-20
KR101331237B1 (ko) 2013-11-18
EP1865711A3 (en) 2009-12-30
JP4857916B2 (ja) 2012-01-18
EP1865711A2 (en) 2007-12-12
CN100481879C (zh) 2009-04-22
KR20070116743A (ko) 2007-12-11
US20070293181A1 (en) 2007-12-20

Similar Documents

Publication Publication Date Title
CN100481879C (zh) 噪声抑制方法及噪声抑制装置
CN100463495C (zh) 噪声量估算装置和方法
EP3488388B1 (en) Video processing method and apparatus
US7626639B2 (en) Method and apparatus for detecting noise in moving picture
CN101087366B (zh) 影像信号处理方法及影像信号处理装置
CN101212593B (zh) 影像处理装置和包括该影像处理装置的影像显示装置
US8295607B1 (en) Adaptive edge map threshold
CN102156962A (zh) 信息处理设备及其处理方法
CN102113308A (zh) 图像处理装置、图像处理方法、程序、记录介质以及集成电路
CN101536508A (zh) 图像显示装置及方法、图像处理装置及方法
CN100380922C (zh) 用于处理信号的设备和方法
JPH04234276A (ja) 動き検出方法
CN101674448A (zh) 视频信号处理装置、视频信号处理方法和视频信号处理程序
CN101640783A (zh) 去隔行的像素点插值方法及其装置
CN102100066A (zh) 视频信号处理装置及视频信号处理方法
WO2015183450A1 (en) Block-based static region detection for video processing
CN101610414A (zh) 图像处理装置、图像处理方法及程序
US7961972B2 (en) Method and apparatus for short range motion adaptive noise reduction
US20100013993A1 (en) Pulldown field detector
CN103096009A (zh) 图像处理装置和方法以及图像显示装置和方法
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
CN101350187B (zh) 图像数据处理方法与图像显示装置
GB2422264A (en) Spatial interpolation along a slope calculated from image pixel values
CN102281387B (zh) 影像瞬时改善装置
CN100479497C (zh) 一种视频降噪的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090422

Termination date: 20170606