CN101647268A - 用于画面增强的噪声检测和估计技术 - Google Patents

用于画面增强的噪声检测和估计技术 Download PDF

Info

Publication number
CN101647268A
CN101647268A CN200880010321A CN200880010321A CN101647268A CN 101647268 A CN101647268 A CN 101647268A CN 200880010321 A CN200880010321 A CN 200880010321A CN 200880010321 A CN200880010321 A CN 200880010321A CN 101647268 A CN101647268 A CN 101647268A
Authority
CN
China
Prior art keywords
noise
pixel
picture
tolerance
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880010321A
Other languages
English (en)
Other versions
CN101647268B (zh
Inventor
Y-J·邱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN101647268A publication Critical patent/CN101647268A/zh
Application granted granted Critical
Publication of CN101647268B publication Critical patent/CN101647268B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种从画面过滤噪声的方法可包括仅基于来自画面中的所选像素集合的信息确定画面中所选像素的集合的像素噪声度量的集合。该方法还可像素噪声度量的集合中其相关联的像素不位于边缘上或不位于画面的复杂区中的像素噪声度量的子集指定为有效。可根据像素噪声度量的有效子集来计算块噪声度量的集合,且可根据块噪声度量的集合断定画面的全局噪声度量。利用全局噪声度量对画面进行滤波以生成经滤波的画面。

Description

用于画面增强的噪声检测和估计技术
背景
所要求保护的发明的实现一般会涉及噪声检测领域,尤其涉及图像和/或视频中的噪声检测和估计。
在图像/视频应用领域中,画面噪声是不合需要的画面观看现象,这可由视频捕捉、传输和/或存储中的不完美过程中的任一个导致。减少画面噪声的视觉伪像是噪声滤波领域中的重要工作。一般而言,已知噪声滤波除去除噪声外通常还使非常细节的内容模糊。为此,期望不施加噪声滤波,除非以合理程度的确定性确定画面噪声在画面中视觉上明显。因此,通常需要噪声检测装置用于噪声滤波的适当、选择应用。
噪声检测可产生两条信息:噪声的出现和噪声级的强度。噪声检测装置可使用单个值,例如,当噪声存在时它具有非0值,当噪声不存在时具有0或空值。非零值的大小可指示检出噪声的强度。
已经提出若干方法用于检测图像/视频中的噪声。一种这样提出的方法可使用非活跃视频区(消隐线)用于测量噪声量,且假设这些区域中的信号扰动仅来自噪声。关于该方法的一个问题是不能确定在视频处理的早期阶段的某些位置是否可插入或清除消隐线。因此在消隐线中假设是噪声事实上可能不是,或者无论如何,可不对应于图像或视频中的噪声。
另一个这样提出的方法可使用基于具有最小运动检测输出的区域不包含运动但有由于噪声引起的时间差的概念的运动检测。关于这种运动检测方法的问题是在对于场景改变时段内没有可靠的运动检测信息。同样,所提出的运动检测方法中涉及的计算和存储器复杂度相对昂贵。
这些在图像/视频中用于噪声检测的所提出的方法可能不能准确反应画面中的实际噪声,和/或在场景改变期间可能差劣地执行。此外,某些提出的方法可能在所需电路系统和/或相关联的等待时间方面并非成本效率的。
附图简述
结合在本说明书中并构成其一部分的附图示出与本发明的原理一致的一个或多个实现,且与描述一起解释这些实现。附图不一定是按比例绘制的,相反重点放在示出本发明的原理。在附图中:
图1示出根据某些实现的示例噪声滤波系统;
图2示出图1的噪声检测器的示例;以及
图3示出检测噪声和为画面确定全局噪声度量的方法。
详细描述
以下的详细描述涉及附图。在不同的附图中使用相同的附图标记以标识相同或相似的元件。在以下的描述中,为了解释而非限制的目的,阐述了诸如特定结构、架构、接口、技术等具体细节,以便提供对所要求保护的发明的各方面的全面理解。然而,受益于本公开的本领域技术人员显而易见的是可在脱离这些特定细节的其它实施例中实施的所要求保护的发明的各方面。在某些示例中,省略了公知设备、电路和方法的描述以免因不必要的细节而淡化本发明的描述。
图1是示出根据符合本发明的原理的一个实现的噪声滤波系统100的示例的示图。系统100可包括视频源110、噪声检测器120和噪声滤波器130。组件110-130可经由硬件、固件、软件或它们的某些组合来实现。系统100还可包括有助于其操作的其它组件作为图像和/或视频的噪声滤波系统,诸如附加逻辑、处理器、示出经滤波噪声的数据的显示器等。尽管为了描述的方便和简短起见在图1中没有明确示出这些附加组件,但它们仍然可存在于噪声滤波系统100中。
视频源110可包括可用作视频信息的源的任意类型的存储或传输介质。例如,源110可包括存储器,诸如帧缓冲器,以便在视频信息流中临时存储一个或多个图像或帧。如将进一步解释的,视频源110仅需要存储供噪声检测器120在其上进行操作的视频信息的一个图像或帧,但是在某些实现中它可存储更多的图像或帧。源110中的视频信息可以按任何已知或稍后开发的视频编码方案或标准来编码,包括但不限于MPEG-1、MPEG-2、MPEG-4、H.264、VC1和/或高级视频系统(AVS)格式。
通常,尽管已经将源110描述为视频信息源,但在某些实施例它可包括图像或画面的顺序序列。在预测地编码视频的某些实现中,源110或检测器120可从其它差分编码信息(例如,P帧和/或B帧)提取实际图像(例如,I帧)。
噪声检测器120可被安排成检查画面或视频数据的图像或帧并确定对整个图像或帧的全局噪声测量。噪声检测器120仅需要检测单个图像中的像素以确定要发送到噪声滤波器130的噪声测量,但噪声检测器120可使用例如一个或多个先前噪声测量来临时地对当前图像的全局噪声测量进行平滑或取平均。滤波器130的噪声测量输出可指示图像中出现或不出现噪声以及在适用时这种噪声的级别使得滤波器130可适当地减小或去除来自噪声的视觉伪像。
图2示出噪声检测器120的示例。噪声检测器120可包括边缘检测器210、像素估计器220、噪声度量(NM)计算器230、内容复杂度模块240、像素NM模块250、块NM模块260、全局画面NM模块270、先前全局画面NM值280和时间全局画面噪声更新器290。尽管为了便于说明单独示出组件210-290,但在某些实施例中其相应功能性可组合在一个或多个模块中。组件210-290可经由电路系统、硬件、固件、软件或它们的某些组合来实现。
同样如图2所示,组件210-250可执行像素级操作,组件260可执行块级操作,而组件270-290可执行画面级操作。例如,组件210-250可计算块中某些(例如,可对块中的像素总数进行子采样)或全部像素的像素NM。类似地,组件260可计算画面或图像中某些(例如,可对画面中的块总数进行子采样)或全部块的块NM。全局画面NM模块270可根据所有可用的块NM计算全局画面NM,所有可用的块NM可能少于画面中的块的数量。以下将更详细地说明。
像素级操作:
边缘检测210可用于检测感兴趣的像素是否在边缘触或充分接近边缘。这种边缘检测信息可由像素NM模块250用于内容分析,以包括或排除与感兴趣的像素相关联的噪声。各种边缘检测方案可由边缘检测器210使用,包括但不限于砍尼(Canny)边缘检测算法、一阶导数边缘检测、索贝尔(Sobel)边缘检测算法等。
作为一个说明性示例,边缘检测器210可在至多达四个方向上应用索贝尔边缘算子。作为一个具体示例,感兴趣的像素周围的3x3邻域NH9(x)可与以下权重之一进行卷积:
E _ h = - 1 - 2 - 1 0 0 0 1 2 1 E _ v = - 1 0 1 - 2 0 2 - 1 0 1 E _ P 45 = - 2 - 1 0 - 1 0 1 0 1 2
E _ N 45 = 0 - 1 - 2 1 0 - 1 2 1 0
应当注意,E_h在水平方向上加权;E_v在垂直方向上加权;E_P45在一个方向上成45度角;E_N45在另一个方向上成45度角;
由边缘检测器210针对目标像素x产生的边缘度量(EM)被以公式表示为以上权重中的一个或多个与其3x3邻域NH9(x)的卷积(在一些实现中)为:
EM(x)=|NH9(x)*E_h|+|NH9(x)*E_v|+|NH9(x)*E_P45|+|NH9(x)*E_N45|
在某些实现中,边缘检测器210使用仅两个方向E_v和E_h对于很多应用是足够的。因此,在某些实现中不需要计算EM(x)的以上公式中的后两项。类似地,在某些实现中,仅使用两个其它方向E_P45和E_N45可能是足够的。对水平方向和垂直方向增加45度方向进一步改进边缘检测,但增加计算复杂度。无论如何,边缘检测器210可输出感兴趣的像素x的边缘度量EM(x),以供像素NM模块250的进一步处理。
像素估计器220可用于估计感兴趣的像素的无噪声值。一般而言,像素估计器220可基于感兴趣的像素和其邻元中的至少某些来执行某种类型的平滑。例如,像素估计器220可包括中值滤波器、平均滤波器(像素的任何邻域3x3、4x4、5x5中),或者当前像素和其邻元像素的至少某些的某些加权组合。对于估计感兴趣的像素x的无噪声或“真实”值的像素估计器220其它方案是可能的且能构想到。
在某些实现中,像素估计器220可包括3x3中值滤波器。给出目标像素x,可将x的3x3邻域定义和表示为NH9(x)(如上,然而元件210和220不必使用相同或类似的邻域)。像素估计器220可使用NH9(x)的中值——指示为“中值(x)”——作为NH9(x)的无噪声像素值。在某些实现中,作为另一个示例,可使用基于4个较近邻元像素(例如顶部、底部、左部和右部)和目标像素x的中值5滤波器得到良好结果。无论如何,像素估计器220可将其对无噪声像素x的估计(例如,在某些实现中为中值(x))输出到NM计算器230。
NM计算器230可生成感兴趣的像素x的噪声度量(NM)。任何已知类型的噪声度量方案(例如,一阶(差分)、二阶(差的平方)等)可被NM计算器230用于生成NM(x)。
在某些实现中,NM计算器230可生成NM作为来自估计器220的估计值(例如中值(x))和NH9(x)内的每个像素y之间的绝对差的总和。这可表达为:
NM(x)=求和(绝对值(y-中值9(NH(x))))
然而,应道注意,用于计算NM(x)的差(或差的平方等)的邻域可以与由检测器210和/或估计器220所使用的邻域相同,但这不是必须的。也就是说,3x3(或者可能更小)邻域对于给定函数而言可消耗较少资源,同时仍然足够稳健以生成可接受的结果。NM计算器230可将NM(x)输出到噪声内容复杂度模块240以及像素NM模块250两者。
内容复杂度模块240可用于确定感兴趣的像素所驻留的区域或邻域是否“复杂”(例如,包含相对大范围的值)。这种复杂区域信息可由像素NM模块250用于内容分析,以包括或排除与感兴趣的像素相关联的噪声。各种方案可被模块240用于确定像素x所驻留的区域是否复杂,包括差、最小值、最大值、方差等。
作为一个说明性示例,内容复杂度模块240可在计算NM的过程中使用表达式,诸如Noise_Max(噪声_最大)和Noise_Min(噪声_最小),中值(x)和NH(x)内的每个像素y之间的绝对差的最大值和最小值:
Noise_Max(x)=最大值{绝对值(y-中值9(NH(x)))}
Noise_Min(x)=最小值{绝对值(y-中值9(NH(x)))}
然而,在某些实现中,内容复杂度模块240可使用更直接的表达式,诸如Noise_Max(x)=最大值{y}和Noise_Min(x)=最小值{y}。差分类型、方差类型或极值类型值的其它计算是可能的。
对区域是否“复杂”的测量Noise_Max_Min(噪声_最大_最小)可被内容复杂度模块240确定为Noise_Max和Noise_Min之间的差值。
Noise_Max_Min(x)=Noise_Max(x)-Noise_Min(x)
内容复杂度模块240可输出感兴趣的像素x的Noise_Max_Min(x),其被像素NM模块250使用——有可能结合来自边缘检测器210的边缘度量EM(x)——来确定是否将来自计算器230的NM(x)用于特定像素。
像素NM模块250可用于确定是否将从NM计算器230提供的NM(x)用于感兴趣的像素x。一般而言,像素NM模块250可判断NM为良好(或可接受)并使其通过,或着像素NM模块250可判断NM为坏(或不可接受)并取消它。例如,像素NM模块250可将极值分配给被认为不可接受的那些NM(x)。
像素NM模块250可根据1)边缘是否存在和/或2)像素是否在复杂区域中,进行检验以确保所计算的NM是像素x的良好的候选噪声测量。在某些实现中,像素NM模块250可使用一个或多个阈值来基于边缘检测或复杂区域检测确定是否排除像素的NM值。
例如,在某些实现中,如果满足以下条件,则像素NM模块250可判断NM为良好(或可接受)并使其通过:
((EM(x)<EM_th)AND(Noise_Max_Min(x)<ND_th))
EM_th和ND_th可以是两个预定义值,且在某些实现中,可基于应用的不同需要对它们进行编程。在某些实现中,可通过少量合理的简单试验来确定EM_th和ND_th。在某些实现中,可基于NM根据先前(例如,紧接在前的)画面修改EM_th和ND_th。例如,如果来自在前画面的NM相对较大,则对于当前画面而言EM_th和ND_th倾向于较大。在这一实现中,可建立关系(例如线性等式)来基于一个或多个先前噪声度量来指定EM_th和ND_th。
如果感兴趣的像素x满足像素NM模块250内的以上两个条件(由于逻辑AND(与)),则可将像素x视为噪声测量像素的良好候选。像素的噪声度量(NM)可被视为良好值,且可被存储和/或在块NM模块260的后续处理中使用。
参考图2,水平虚线以下的组件210-250可执行其操作以确定所考虑的块中的每个像素的NM(例如,良好/有效值或无效)。然而,在某些实现中可对块进行子采样,所以在这种子采样的情形中不一定要对块中的所有像素执行像素级操作。来自像素级操作的有效或良好NM可存储和/或发送至块NM模块260以供块级处理。
块级操作:
块NM模块260可被安排成根据所有良好/有效像素NM确定块级噪声度量(BNM)。不是良好/有效的像素NM可以被区别出且不被块NM模块260使用。在某些实现中块的大小可以是16x8个像素。然而可块大小可基于相关联的体系结构和/或相关联的应用的需要而改变。
在某些实现中,块NM模块260可将块级噪声度量(BNM)确定为块内良好候选噪声测量像素的像素噪声度量的最小值。可将该关系表达为如下:
BNM=最小值(满足((EM(x)<EM_th)AND(Noise_Max_Min(x)<ND_th))的良好候选像素的NM(x)}
块噪声度量BNM是基于块内的某些或全部像素描述的。此外,在某些实现中对块内像素进行子采样可用于降低实现的复杂度。应当注意,如果块中没有像素落在边缘检测阈值EM_th和复杂区域阈值ND_th内,则BNM可以是该块的极值。
参考图2,虚线框以下的块NM模块260可执行其操作以确定所考虑的画面中的每个块的BNM(例如,良好/有效值或无效)。然而,在某些实现中还可对画面进行子采样,所以在这种子采样的情形中不一定要对画面中的所有块执行块级操作。来自块级操作的有效或良好BNM可被存储和/或发送至全局画面NM模块270以供画面级处理。
画面级操作:
全局画面NM模块270可基于有效或良好BNM形成整个画面或图像的NM。各种方案可被用于聚集画面内诸块的BNM。在某些实现中,例如,全局画面NM模块270可将全局画面噪声度量(GPNM)计算为画面内所有块的BNM的平均。在某些实现中,全局画面NM模块270可替代地收集BNM的直方图数据并使用用户定义的百分比值来从BNM直方图确定GPNM。
全局画面NM模块270可将当前图像的GPNM输出到时间全局画面噪声更新器290。类似于块级判断,全局画面NM模块270可遇到画面中没有块具有良好/有效BNM值的情形。在这种情形中,全局画面NM模块270可适当地将极值输出到时间全局画面噪声更新器290以供特定实现。无论如何,噪声检测器120可具有用于处理像素的坏或无效NM、坏或无效BNM和/或坏或无效GPNM的适当机制。
尽管从描述显而易见,但应注意通过组件210-270技术可根据实际图像数据生成GPNM,避免考虑消隐线中的噪声与图像的画面或视频流中的实际噪声的保真度或对应性。同样组件210-270的操作可主要在图像上执行,而不考虑其它图像(例如,如在运动估计技术中),因此可避免与其它方案相关联的等待时间考虑因素。
时间全局画面噪声更新器290可用于平滑所计算的多个画面之间或当中的GPNM,从而避免由于突然改变画面至画面的噪声补偿引起的时间抖动或闪烁。时间全局画面噪声更新器290可基于存储的先前全局画面NM值280(其可被称为所存储的TGPNM(STGPNM))生成时间全局画面噪声度量(TGPNM)。在某些实现中,先前的全局画面NM值280可包括来自紧接在前的画面或帧的GPNM,尽管先前的全局NM值280不限于此。
在某些实现中,时间全局画面噪声更新器290可根据下式利用STGPNM280和来自模块270的GPNM计算当前画面的TGPNM:
TGPNM=C*GPNM+(1-C)*STGPNM
值C是用于用户定义的常数,且可基于特定应用的需要对其进行编程。更新器290可将TGPNM作为来自噪声检测器120的最终、全局噪声度量输出输出到画面的噪声滤波器130。在某些实现中,预定义值(例如,0值)可指示滤波器130不执行噪声滤波,而其它值可因此指示滤波器130对所考虑画面中的噪声进行滤波。
回顾图1,噪声滤波器130可包括安排成接收画面或图像的全局NM并相应地去除噪声的任何滤波器。由于检测器120中的组件210-290的操作,在画面或图像中的边缘和/或复杂区存在的情况下执行时,滤波器130可基本上不去除被误认为是图像的噪声的精细细节。在某些实现中,滤波器130可包括可调谐噪声滤波器以基于单个NM去除噪声。在某些实现中,滤波器130可基于检测器120的输出进行稳健噪声滤波。
在经由滤波器130滤波之后,视频数据(现在至少去除了某些噪声)可被显示或被缓冲以供显示,尽管在图1中没有明确示出。
图3示出针对画面检测噪声和确定全局噪声度量的方法300。尽管为了便于解释参考图1和/或2进行描述,但图3中所述的方案不应被解释为限于这些其它附图的具体内容。
该方法可始于像素估计器220估计特定像素的无噪声值[动作310]。如以上所解释的,这种估计可涉及对来自感兴趣的像素的像素值和其邻元像素的某类平滑或滤波或组合。在某些实现中,动作310可基于至少四个邻元像素的中值滤波器确定无噪声估计,但动作310不限于此特定方面。
处理可继续,NM计算器230计算像素的噪声度量[动作320]。在某些实现中,NM计算器230可基于在动作310中估计的无噪声值和所选的周围像素值之间的一阶或二阶差生成像素NM。在某些实现中,像素NM可以是所估计的无噪声值与其最近的约四至九个邻元像素之间的绝对差的和。尽管在动作320中使用的周围像素的邻域可以与动作310中使用的邻域相同或相类似,但它们不必这样。
方法300可继续,如果所考虑的像素足够接近边缘或在足够复杂的画面区中,则像素NM模块250取消动作320中计算的像素NM[动作330]。像素NM模块250可使用来自边缘检测器210的边缘检测结果和/或动作330中来自噪声内容复杂度模块240的结果,连同阈值(例如,EM_th和ND_th)以帮助作出确定。这些阈值可被编程和/或本身是动态的(例如来自先前画面)。
如果在动作330中没有取消像素NM值(即,有效),则可将其存储以供稍后在动作350中使用。如果在动作330中取消像素NM,则可不在随后的处理中使用它。
尽管图2示出像素NM模块250可使用边缘检测和复杂区两者来取消像素NM,但在某些实现中,动作330可仅使用这些之一。在这种实现中,像素NM模块250可仅从边缘检测器210和噪声内容复杂度模块240之一接收结果,且可使用单个阈值(例如EM_th或ND_th)来在动作330中作出取消决策。
如果在块中有更多要计算其NM的像素,则可针对块中的下一个像素重复动作310-330[动作340]。这种决策可得到块中所有像素的像素NM,只要未对块进行子采样。如果对块进行子采样,则可得到块中像素的所有代表像素(例如每个第二、第三等)的像素NM。一旦已经确定所有有效像素NM,则处理可在动作350中继续。
块NM模块260可确定像素块的BNM[动作350]。在某些实现中,块NM模块260可选择来自动作330的良好或有效像素NM的最小值。在其它实现中,块NM模块260可选择某些组合或者良好NM、第二低、第三低NM或者良好或有效像素NM的平均值等。
如果块中没有有效或良好像素NM值,则可不计算BNM值或者不在后续画面级处理中使用BNM值。如果动作350产生有效BNM,则它可被存储以供稍后在动作370中使用。
如果在画面中有更多要计算其BNM的块,则可针对画面中的下一个块重复动作310-350[动作360]。这种决策可得到画面中所有块的BNM,只要画面没有被块子采样且某些块不包含所有无效像素NM。一旦在动作350/360中确定所有有效BNM,则在动作370中继续处理。
处理可继续,全局画面NM模块270根据所有有效BNM断定画面的全局画面噪声度量(GPNM)[动作370]。在某些实现中红,可在动作370中将GPNM计算为画面内所有块的BNM的平均值。
在某些实现中,动作370可包括时间方面,诸如时间全局画面噪声更新器290基于所存储的、先前全局画面NM值280生成时间全局画面噪声度量(TGPNM)。在某些实现中,TGPNM可以是当前画面的GPNM和先前画面的GPNM之间的加权组合。
最后,作为动作370的一部分或之后的动作,滤波器130可基于GPNM和TGPNM去除画面中的噪声,且经滤波的画面可显示在诸如监视器、电视、平板显示器或移动设备上的显示器等显示设备上。然而,如果画面中没有有效BNM,则GPNM(或在该条件是持续的情况下为TGPNM)可以是极值,且滤波器130可不对此特定画面施加噪声滤波。
上述方案和/或系统可有利地基于仅一个画面的信息执行稳健噪声检测。与运动检测方法相比,上述方案不需要等待时间。而且,上述方案在其它方法不能产生稳健噪声检测的场景改变期间起作用。最后,上述方案基于在视频流水线的预处理期间不改变的活跃视频的内容。利用上述噪声检测方案,之后的噪声滤波器130可使滤波器行为适应,从而适当减少噪声而不过度补偿或补偿不足。因此,可通过降低画面噪声改进画面质量。
一个或多个实现的上述描述提供了说明和描述,但不打算是详尽的或将本发明的范围限于所公开的精确形式。按照以上的教示修改和变形是可能的,或者可从本发明的各种实现的实践来获得。
例如,本文的方案在排除某些像素NM时或多或少空间稳健。尽管该方案可排除太接近边缘和位于复杂区中的NM,但可将其修改成排除仅满足这些条件之一的像素NM。在某些实现中,可使用除边缘和复杂区以外的第三空间测量来进一步区别不可接受的或无用的像素NM。
此外,本文的方案在生成整个画面的全局NM时或多或少时间稳健。尽管该方案可使用来自紧接的先前画面的全局NM的时间信息,但在某些实现中还可使用附加的时间信息(例如,来自先前的几个画面的全局NM的加权和)来断定全局NM。然而,在某些实现中可使用更小的时间信息来减少时间抖动。例如,可在绝对或相对意义上从画面至画面限制全局画面NM的变化量。
此外,尽管已经描述了逐个块的方案,但其它处理顺序是可能的和能够构想到的。例如,可为画面中的所有像素(或子采样的像素)确定NM,然后可为画面中的所有块(或子采样的块)确定BNM。还可使用执行本文的功能的其它像素或块处理顺序。
在本申请的描述中使用的元素、动作或指令都不应解释为对本发明是关键或本质的,除非明确如此描述。同样,正如在本文中所使用的,冠词“一”旨在包括一或多项。可在本质上不背离本发明的精神和原理的情况下,对所要求保护的发明的上述实现进行变形和修改。在本文中,所有这种修改和变形都旨在包括在本公开的范围内,且由所附权利要求书所保护。

Claims (21)

1.一种确定画面的全局噪声度量的方法,包括:
估计像素的无噪声值;
基于所述所估计的无噪声值计算所述像素的噪声度量;
如果所述像素满足所述画面内的至少一个空间条件则取消所述噪声度量;
针对像素块中的所有候选像素重复所述估计、所述计算和所述取消;
基于所述候选像素的噪声度量确定块噪声度量;
针对所述画面中的所有候选块重复所述估计、所述计算、所述取消、所述重合和所述确定;以及
基于所述候选块的块噪声度量断定画面噪声度量。
2.如权利要求1所述的方法,其特征在于,所述估计包括:
对所述像素的像素邻域进行中值滤波以获得所述所估计的无噪声值。
3.如权利要求1所述的方法,其特征在于,所述计算包括:
基于所述所估计的无噪声值和所述像素周围的像素邻域中的像素值之间的差生成所述噪声度量。
4.如权利要求1所述的方法,其特征在于,所述至少一个空间条件包括所述像素接近边缘或像素在空间复杂区中。
5.如权利要求1所述的方法,其特征在于,所述确定包括:
从未被取消的所述候选像素的所述噪声度量当中选择最小噪声度量。
6.如权利要求1所述的方法,其特征在于,所述断定包括:
对所述候选块的块噪声度量取平均,以获得所述画面噪声度量。
7.如权利要求6所述的方法,其特征在于,所述断定还包括:
组合当前画面的画面噪声度量和先前画面的先前画面噪声度量以生成时间画面噪声度量。
8.如权利要求1所述的方法,其特征在于,还包括:
对所述画面进行噪声滤波,以基于所述画面噪声度量去除视觉噪声伪像。
9.一种从画面过滤噪声的方法,包括:
仅基于来自所述画面中的所选像素的集合的信息确定所述画面中所选像素的集合的像素噪声度量的集合;
将所述像素噪声度量的集合中其相关联的像素不位于边缘上或不位于所述画面的复杂区中的像素噪声度量的子集指定为有效;
根据所述像素噪声度量的有效子集计算框噪声度量的集合;
根据所述块噪声度量的集合断定所述画面的全局噪声度量;以及
利用所述全局噪声度量对所述画面进行滤波以生成经滤波的画面。
10.如权利要求9所述的方法,其特征在于,所述所选像素的集合包括小于所述画面中的像素总数的子采样的像素集合。
11.如权利要求9所述的方法,其特征在于,所述所选像素的集合包括画面中的所有像素。
12.如权利要求9所述的方法,其特征在于,所述确定包括:
针对所述所选像素的集合估计无噪声像素值的集合;以及
基于所述所估计的无噪声像素值的集合和所述所估计的无噪声像素值的集合周围的相应邻域之间的差计算像素噪声度量的集合。
13.如权利要求12所述的方法,其特征在于,所述估计包括:
对所述所选像素的集合周围的像素邻域进行中值滤波以获得所述所估计的无噪声像素值的集合。
14.如权利要求9所述的方法,其特征在于,所述指定包括:
将其相关联的像素不在边缘上且不位于所述画面的复杂区域中的像素噪声度量的子集指定为有效。
15.如权利要求9所述的方法,其特征在于,所述指定包括:
将所述所选像素的集合的边缘检测度量与边缘阈值进行比较;以及
将所述所选像素的集合的复杂区域度量与复杂区域阈值进行比较。
16.如权利要求9所述的方法,其特征在于,所述计算包括:
从落在块内的像素噪声度量的有效子集中的那些像素噪声度量当中选择最小噪声度量。
17.如权利要求9所述的方法,其特征在于,所述断定包括:
对块噪声度量的集合取平均,以获得所述全局噪声度量。
18.如权利要求9所述的方法,其特征在于,所述断定包括:
将所述画面的所述全局噪声度量与先前画面的先前全局噪声度量组合以更新所述全局噪声度量。
19.一种视频处理系统,包括:
像素级模块,用于基于所估计的像素值及其邻元之间的差生成视频数据图像中的像素的像素噪声度量,并基于所述像素的边缘检测信息和复杂区域信息确认所述像素噪声度量;
块级模块,用于从块中像素的有效像素噪声度量当中选择以产生块噪声度量;以及
图像级模块,用于将所述图像中块的块噪声度量聚集成图像噪声度量。
20.如权利要求19所述的系统,其特征在于,还包括:
噪声滤波器,用于基于所述图像噪声度量从所述视频数据图像选择性地去除噪声。
21.如权利要求19所述的系统,其特征在于,所述像素级模块包括:
像素估计器,用于生成所述所估计的像素值,
耦合至所述像素估计器的噪声度量计算器,用于计算所述像素噪声度量,
边缘检测器,用于产生所述边缘检测信息,
差分模块,用于产生复杂区域信息,以及
耦合到所述边缘检测器、所述差分模块和所述噪声度量计算器的像素噪声度量模块,用于基于所述边缘检测信息和所述复杂区域信息确认所述像素噪声度量。
CN2008800103212A 2007-03-29 2008-03-25 用于画面增强的噪声检测和估计技术 Expired - Fee Related CN101647268B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/693,453 2007-03-29
US11/693,453 US7983501B2 (en) 2007-03-29 2007-03-29 Noise detection and estimation techniques for picture enhancement
PCT/US2008/058154 WO2008121622A1 (en) 2007-03-29 2008-03-25 Noise detection and estimation techniques for picture enhancement

Publications (2)

Publication Number Publication Date
CN101647268A true CN101647268A (zh) 2010-02-10
CN101647268B CN101647268B (zh) 2013-09-11

Family

ID=39793629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800103212A Expired - Fee Related CN101647268B (zh) 2007-03-29 2008-03-25 用于画面增强的噪声检测和估计技术

Country Status (5)

Country Link
US (1) US7983501B2 (zh)
EP (2) EP2130364A4 (zh)
KR (1) KR101097673B1 (zh)
CN (1) CN101647268B (zh)
WO (1) WO2008121622A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447817A (zh) * 2010-09-30 2012-05-09 瑞昱半导体股份有限公司 图像处理装置与空间图像噪声消除方法
CN103096117A (zh) * 2011-10-28 2013-05-08 浙江大华技术股份有限公司 视频噪声检测方法及装置
CN105971264A (zh) * 2016-05-24 2016-09-28 胡金雷 一种建筑用安全性高的脚手架
CN110796615A (zh) * 2019-10-18 2020-02-14 浙江大华技术股份有限公司 一种图像去噪方法、装置以及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4771539B2 (ja) * 2006-07-26 2011-09-14 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
US20090153739A1 (en) * 2007-12-14 2009-06-18 Texas Instruments Incorporated Method and Apparatus for a Noise Filter for Reducing Noise in a Image or Video
US8447130B2 (en) 2007-12-31 2013-05-21 Intel Corporation History-based spatio-temporal noise reduction
JP5123756B2 (ja) * 2008-06-26 2013-01-23 オリンパス株式会社 撮像システム、画像処理方法および画像処理プログラム
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US8699813B2 (en) 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
RU2013104894A (ru) 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью сохраняющего контуры подавления шума
US8953877B2 (en) * 2013-05-14 2015-02-10 Google Inc. Noise estimation for images
CN103632352B (zh) 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
US9330340B1 (en) 2014-05-06 2016-05-03 Google Inc. Noise estimation for images using polynomial relationship for pixel values of image features
KR101492772B1 (ko) * 2014-07-02 2015-02-13 중앙대학교 산학협력단 영상처리장치 및 영상처리방법
CN112311962B (zh) * 2019-07-29 2023-11-24 深圳市中兴微电子技术有限公司 一种视频去噪方法和装置、计算机可读存储介质
CN110956594B (zh) * 2019-11-27 2023-12-01 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06315104A (ja) 1993-03-05 1994-11-08 Sony Corp フィルタ回路
KR100219628B1 (ko) * 1997-02-15 1999-09-01 윤종용 루프필터링 방법 및 루프필터
US6072538A (en) 1997-07-22 2000-06-06 Sony Corporation Digital image enhancement
CN1223181C (zh) 2000-01-13 2005-10-12 皇家菲利浦电子有限公司 信号的噪声滤波方法、设备和视频系统
US6950561B2 (en) 2001-01-10 2005-09-27 Koninklijke Philips Electronics N.V. Method and system for sharpness enhancement for coded video
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
KR20050119422A (ko) 2004-06-16 2005-12-21 삼성전자주식회사 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
US7606423B2 (en) * 2005-09-29 2009-10-20 Intel Corporation Method and apparatus for blocking artifact detection and measurement in block-coded video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447817A (zh) * 2010-09-30 2012-05-09 瑞昱半导体股份有限公司 图像处理装置与空间图像噪声消除方法
CN103096117A (zh) * 2011-10-28 2013-05-08 浙江大华技术股份有限公司 视频噪声检测方法及装置
CN103096117B (zh) * 2011-10-28 2015-07-29 浙江大华技术股份有限公司 视频噪声检测方法及装置
CN105971264A (zh) * 2016-05-24 2016-09-28 胡金雷 一种建筑用安全性高的脚手架
CN110796615A (zh) * 2019-10-18 2020-02-14 浙江大华技术股份有限公司 一种图像去噪方法、装置以及存储介质

Also Published As

Publication number Publication date
WO2008121622A1 (en) 2008-10-09
EP2375374A3 (en) 2012-02-15
CN101647268B (zh) 2013-09-11
EP2130364A1 (en) 2009-12-09
KR101097673B1 (ko) 2011-12-22
US20080239153A1 (en) 2008-10-02
EP2375374A2 (en) 2011-10-12
KR20090115234A (ko) 2009-11-04
EP2130364A4 (en) 2011-01-19
US7983501B2 (en) 2011-07-19
EP2375374B1 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
CN101647268B (zh) 用于画面增强的噪声检测和估计技术
CN103632352B (zh) 一种噪声图像的时域降噪方法和相关装置
US8447130B2 (en) History-based spatio-temporal noise reduction
US8199252B2 (en) Image-processing method and device
KR101306242B1 (ko) 영상의 시간적 잡음 제거 방법 및 장치
RU2603529C2 (ru) Уменьшение шума в последовательностях изображений
US7952646B2 (en) Method and apparatus for content adaptive spatial-temporal motion adaptive noise reduction
US8823873B2 (en) Method and device for calculating blur in video images
KR20160138239A (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
EP2178289B1 (en) Method and unit for motion detection based on a difference histogram
JP2011525761A (ja) デジタルビデオにおける繰り返しの検出
CN101141655A (zh) 影像信号像素点色彩值调整方法
TWI413023B (zh) 移動偵測方法及裝置
KR20140046187A (ko) 영상 시스템에서 움직임 추정 장치 및 방법
US20100322304A1 (en) Multi-source filter and filtering method based on h.264 de-blocking
Novoselac et al. Image noise reduction by vector median filter
CN104796581B (zh) 一种基于噪声分布特征检测的视频去噪系统
Jacobson et al. Scale-aware saliency for application to frame rate upconversion
Hsia et al. High-efficiency TV video noise reduction through adaptive spatial–temporal frame filtering
Marijan et al. Quality assessment of digital television picture based on local feature matching
CN104580975B (zh) 一种自适应插值场内去隔行方法
Eerenberg et al. Block-based detection systems for visual artifact location
Hsia et al. High-performance TV video noise reduction using adaptive filter
KR19990025249A (ko) 스캔 컨버터 회로
Yang et al. An HQV-approved edge directed interpolation algorithm for de-interlacing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130911

Termination date: 20210325