CN101273640A - 用于减少数字图像的振铃噪声和蚊式噪声的时间-空间边缘保留滤波技术的系统和方法 - Google Patents

用于减少数字图像的振铃噪声和蚊式噪声的时间-空间边缘保留滤波技术的系统和方法 Download PDF

Info

Publication number
CN101273640A
CN101273640A CNA2006800351533A CN200680035153A CN101273640A CN 101273640 A CN101273640 A CN 101273640A CN A2006800351533 A CNA2006800351533 A CN A2006800351533A CN 200680035153 A CN200680035153 A CN 200680035153A CN 101273640 A CN101273640 A CN 101273640A
Authority
CN
China
Prior art keywords
pixel
block
pixels
edge
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800351533A
Other languages
English (en)
Other versions
CN101273640B (zh
Inventor
Y-J·秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN101273640A publication Critical patent/CN101273640A/zh
Application granted granted Critical
Publication of CN101273640B publication Critical patent/CN101273640B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

一种方法能够包括选择像素块。可以确定该像素块是否包含边缘像素。如果该像素块包含边缘像素，则可以在该像素块中选择第一像素。如果确定该第一像素是振铃噪声像素，则可以应用振铃噪声滤波。如果该第一像素不是振铃噪声像素，则可以应用边缘保留滤波。

Description

用于减少数字图像的振铃噪声和蚊式噪声的时间-空间边缘保留滤波技术的系统和方法
技术领域
最近，工业视频压缩标准采用运动补偿、变换、量化和熵编码技术以对用于视频通信应用的视频进行编码。量化是减少数据比特率以满足应用中的带宽需求的有损处理，但是其的发生是以图像质量为代价的。在量化处理期间损失的信息是不可恢复的，并由此可能引入编码伪影。减少伪影失真是噪声减少滤波领域中的重要因素。
在由量化处理引入的最坏的伪影之中，包括振铃噪声和蚊式噪声。他们与Gibb现象相关，且由高频离散余弦变换(DCT)系数的突然截断所引起。振铃噪声伪影在背景非常平滑的区域中沿着高反差边缘最为明显。其表示为从边缘向外延伸的波纹，并且其损害图像质量。蚊式噪声伪影表现为靠近运动物体的边界、与运动或亮度/色度等级的波动相关的边缘忙乱的形式。用来减少噪声伪影的一些技术可以包括应用能够降低图像质量的低通滤波器(LPF)。
附图说明
图1是根据一些实施例，从视频比特流生成视频显示的设备的方框图；
图2是示出作为图1的设备中的部件的噪声减少块的一些操作的功能框图；
图3是示出由图2的噪声减少块执行的振铃噪声滤波过程的流程图；
图4示出了用于减少图3的振铃噪声的空间双层中值滤波器的各个方面；
图5示出了用于减少图3的振铃噪声的双层中值滤波器的其他方面；
图6示出了用于减少振铃噪声的时间-空间双层中值滤波器；
图7示出了一种图3所使用的具有边缘保留滤波的方法；
图8示出了用于图7的、具有滤波的和非滤波的视频像素的视频屏幕的示范性实施例；
图9是根据一些实施例，从视频比特流生成视频显示的设备的框图；
图10是示出由噪声减少块执行的蚊式噪声减少处理的流程图；
图11示出了用于减少图10的蚊式噪声的空间双层中值滤波器的各个方面；
图12示出了用于SDLMM滤波器的五个中心像素的各个方面，SDLMM滤波器通过使用均值滤波来减少蚊式噪声；
图13示出了用于SDLMM滤波器的五个中心像素的各个方面，SDLMM滤波器通过使用均值滤波来减少蚊式噪声；
图14是示出对视频输入进行组合的振铃噪声和蚊式噪声边缘滤波的流程图；以及
图15是一个用于对振铃噪声和蚊式噪声执行滤波的系统的一个实施例的示意图。
具体实施方式
图1是根据一些实施例，从视频比特流生成视频显示的设备100的框图。
设备100包括视频信号比特流的源110。例如，源110可以经由通信信道(其未独立地示出)接收视频信号，或可以从诸如DVD或硬盘驱动器的存储介质中再生视频信号。例如，视频信号源可以包括视频调谐器、卫星地面站、或DVD播放机。假定视频信号比特流表示已经进行压缩编码(例如，按照一种压缩标准)的视频信号。源110可以按照常规实践来操作。
可以结合国际电信联盟-电信标准部(ITU-T)题为“Advanced VideoCoding for Generic Audiovisual Services”(2004)的推荐标准H.264或国际标准化组织(ISO)/国际工程联合会(IEC)运动图像专家组(MPEG)题为“Advanced Video Coding(Part 10)”(2004)的标准，来处理图像信息。作为其他的示例，可以根据ISO/IEC题为“MPEG-4 Information Technology-Coding of Audio-Visual Objects”(2001)的编号14496的文件或由ISO/IEC题为“Information Technology-Generic Coding of Moving Pictures andAssociated Audio Information”(2000)的编号13818-1的文件所定义的MPEG2协议，来处理图像信息。
设备100还包括视频解码器120，用来对源110提供的视频信号比特流进行解压缩和解码。视频解码器120可以按照常规原则操作，且可能倾向于在输出的视频图像中产生伪影，其有待于经由下面将要描述的多个实施例进行改良。
设备100还包括耦合到视频解码器120的后处理块130。后处理块130对从视频解码器120输出的经解压缩的视频信号执行一种或多种后处理。例如，如下面所述的一个或多个实施例中，后处理块130可以执行一种或多种不同的噪声减少处理。
此外，设备100包括显示装置140，例如电视机或计算机显示监视器。显示装置140显示从后处理块130输出的视频信号。
图2是示出根据一些实施例，可以在后处理块中执行的噪声减少处理的各个方面的功能框图200。块210表示后处理块(或噪声减少子块)130接收(例如，直接或间接从视频解码器120接收)将要进行噪声减少处理的输入视频信号。块220表示根据一些实施例所提供的处理，用来检测在块210处接收的视频信号中呈现振铃噪声伪影的位置(如，特定像素)。块230表示这样的处理：其中，向在210处接收的输入视频信号应用滤波以减轻振铃噪声伪影。
图3是示出根据一些实施例，通过后处理/噪声减少块130的噪声检测器子块执行的振铃噪声滤波处理的高级流程图300。图3中的块310表示：振铃噪声检测器子块220接收到将要为了振铃噪声减少而进行滤波的经解压缩的视频信号。在310中，将视频输入分割成多个像素块，诸如8像素×8像素的块。310前进到320。
然后，在320中，检查块内的这些像素中的每一个，以确定该块内的任何一个像素是否是边缘像素。可以采用多种边缘检测器中的任何一种。在一些实施例中，可以采用所谓的Sobel边缘检测器。如果在一个所定义的块内的任何一个像素包含像素相关的(pixilated)对象的边缘，则将像素块指定为“边缘块”。例如，如果在所定义的块内的任何一个像素包含叶子的边缘，则该像素块是“边缘块”。如果在块中不包含边缘，则其是非边缘块。然而，如果所定义的块内相邻的第二像素块包含边缘，则将该所定义的像素块定义为“与边缘相邻的块(near-edge block)”(“NEB”)，因为第二像素块包含了边缘。如果该块不是边缘块，则不发生振铃噪声滤波，并且方法300前进到360，且在没有应用振铃噪声滤波的情况下输出视频流。然而，如果该块是边缘块，则320前进到330。在一些实施例中，在流程图300中还要考虑NEB状态。
在330中，确定边缘块内的所选像素是否是振铃噪声像素。可以采用多种振铃噪声检测器中的任何一种。在一些实施例中，可以采用Sobel边缘检测器。如果所选像素是振铃噪声像素，则330前进到340。如果所选像素不是振铃噪声像素，则330前进到350。
在340中，采用边缘块的振铃噪声像素进行振铃噪声滤波。如将要结合图4-6更加详细描述的，可以采用“空间双层中值滤波器”(SDLMF)或“时间-空间双层中值滤波器”(STDLMF)。340前进到360，在360中，将振铃噪声滤波后的输出作为视频输出进行传送，然后方法300结束。
在350中，对在“边缘”块内但不是振铃噪声像素的像素，应用边缘保留滤波。简而言之，如将要结合图7-9更加详细描述的，可以对边缘像素的邻域应用加权因子，作为保留边缘的辅助手段。350前进到360，在360中，将边缘滤波后的输出作为视频输出进行传送，然后方法300结束。
图4更加详细地示出了SDLMF 400。已经检测出了边缘块内的振铃噪声像素411。因此，将8×8的块(未示出)分成5×5的块401，该块的中心集中于振铃噪声像素411。在该5×5的窗401内，有9个分离的彼此交叠的3×3块，每个都具有其自己的中心像素422、432等等。例如，在SDLMF 400中，示出了两个框420、430，但是可例示出9个，每个框都围绕着目标像素和目标像素周围的像素。这是SDLMF 400的第一层。
通常在视频系统100中，像素具有一个或多个相关值。例如，该值能对应于颜色的强度。因此，有采用3×3的块形式的与给定像素相关的值的矩阵，其中，每个值对应于这9个周围像素的颜色或强度等的度量。例如，与像素422相关的这些值可以是：
 1   8    9
 5   23  118
100  12  19
像素422具有对于其3×3矩阵420的中值。中值是数列的中间值。例如，在上述矩阵中，12是中值(有4个值大于12，且4个值小于12)，但是平均值(这些值的总和除以项的数量)将为大约37.8。在图3的340中，为每个相邻像素422、432等等，计算每个像素的中值。这是第一层滤波。然后，则将每个中值存储为中间的3×3中间块450中的9个中间值。再次，如上所讨论的，围绕中心像素411应用中值滤波，并且为像素470计算第二(最终)滤波值。
如图4所示，局部SDLMF滤波包括使用两个3×3的框：420、430(还将使用另外7个框，总共9个)，这些框用于生成中间3×3层450。在第一层401中，以目标像素411为中心的5×5邻域作为滤波器支持。简单地转到图5，在5×5窗500内，对于图4中这些3×3像素集合而言，有总共9个3×3像素集合，且标记出每个3×3矩阵自身的相关中心像素，画为“c”。
转回到图4，对每个3×3像素集合应用中值滤波，这样产生出9个中间值作为在框450中所示的结果。在第二层中，对这9个中间值应用中值滤波，以生成滤波器输出470。
例如，考虑位于x(i，j)处的像素x，例如像素411。在5×5窗口内对9个3×3像素集合的9个中心像素{c(x(i，j))}的集合是：
[1]{c(x(i，j))}＝{x(n，m)|n＝i-1，i，i+1；m＝j-1，j，j+1}
中心像素411c(x(u，v))的3×3邻域为NH9(c(x(u，v)))。
[2]NH9(c(x(u，v)))＝{x(n，m)|n＝u-1，u，u+1；m＝v-1，v，v+1}
将基于对NH9(c(x(u，v)))进行中值滤波，来产生第一层中间值431。
[3]The layer1_median＝median{NH9(c(x(u，v)))}
第二层450是对从第一层运算产生的9个中间值进行的中值滤波。
[4]The_double_layer_median＝
median{median{NH9(c(x(u，v)))|c(x(u，v)∈{c(x(i，j))}}}
这9个中间值进而生成最终的滤波输出470。
图6示出了振铃噪声滤波的另一方面，以便还包括时域。图6示出了时间-空间双层中值滤波器(STDLMF)运算的使用。与图5的STLMF滤波器类似，图6的STDLMF也采用双层中值滤波，但是为了确定至少一些中间值，采用了来自先前图像的至少一些参考像素。
图6示出了在当前图像610中5个中心像素617的位置和在先前图像620中4个中心像素的位置。考虑图像k的像素615。“k-1”表示对来自先前图像的像素的使用。自两个图像的9个中心像素{c(x(i，j；k))}的集合表示在下面的方程5中。
{c(x(i，j；k))}＝{x(i-1，j-1；k)，x(i-1，j+1；k)，x(i+1，j-1；k)，x(i+1，j+1；k)，
[5]
x(i，j；k)，x(i-1，j-1；k-1)，x(i-1，j；k-1)，x(i+1，j-1；k-1)，x(i，j；k-1)}
中心像素c(x(u，v；l))的3×3邻域表示为NH9(c(x(u，v；l)))，如公式6所示。
[6]NH9(c(x(u，v；l)))＝{x(n，m；z)|n＝u-1，u，u+1；m＝v-1，v，v+1；z＝l}
基于对NH9(c(x(u，v；l)))进行的中值滤波产生第一层输出，如公式7所示。
[7]The layer1_median＝median{NH9(c(x(u，v；l)))}
第二层是对从第一层运算产生的9个中间值进行的中值滤波，如公式8所示。
[8]The_double_layer_median＝median{median{NH9(c(x(u，v；l)))
                     |c(x(u，v；l)∈{c(x(i，j；k))}}}}
对于当前图像610和先前图像620两者中的每个所选像素重复进行上述过程。然后，对用于其中每个像素的这些值再取中值，以生成最终的像素值。
STDLMF滤波器在图像信息有很多噪声时尤其有益，而SDLMF滤波器可以推荐用于具有许多运动的图像信息。
在另一实施例中，仅使用单个中值滤波器。在这种情况下，可以使用较大的滤波器，例如5×5的框，且从其中得出滤波值。在又一实施例中，尽管只使用单个中值滤波器，但是使用来自不同数字照片的像素值来得到滤波值。
图7示出了一种用于图3的边缘保留处理350的方法700。如果在330中确定所选像素不是振铃噪声像素，则由350调用方法700。为了保留图像清晰，可以不对所检测到的边缘像素应用滤波，而是可以对该边缘像素的4-邻域像素应用相对较小量的滤波。
在710中，方法700接收视频输入。710前进到720。
在720中，确定所选像素是否是边缘像素。这能够通过例如Sobel边缘检测器来执行。如果所选像素是边缘像素，则720前进到730，不再对所选像素执行进一步的处理，且该方法停止。然而，如果所选像素不是边缘像素，则720前进到740。
在740中，确定所选像素是否是在边缘像素的正上方、正下方或直接相邻。如果是，则740前进到750。如果否，750前进到760。
在750中，执行“弱”边缘保留滤波。这种滤波的细节将在下面770中的有关边缘保留滤波的讨论中给出。
因此，在760中，确定所选像素为“常规”像素。因此，760前进到770。
在770中，执行边缘保留滤波。对于边缘保留滤波，考虑目标像素x的相邻像素y，我们使用像素x的空间3×3邻域NH9(x)，作为执行滤波的滤波器支持。考虑作为NH9(x)中像素的像素y。边缘保留滤波器工作如下：
[ 9 ] , edge _ preserved _ filtering = Σ y ∈ NH 9 w ( y ) · δ ( y | x )
其中：
换而言之，首先查看公式10，将目标像素“x”与相邻像素“y”进行比较。阈值设为Th(x)。Th(x)是一个预定阈值，并且在一些情况下对于特定应用软件可以由用户对Th(x)进行编程。如果“x”(目标像素)减“y”的绝对值小于或等于该阈值(即，x和y在彼此的阈值量值之内)，则δ(y|x)的值是“y”，用于“x”像素。如果“x”(目标像素)减“y”的绝对值大于阈值，则δ(y|x)delta(y|x)的值是“x”，对“x”像素保持该值。
返回到公式9，对于目标像素“x”的3×3区域中的所有“y”像素执行该比较。然后，则将这些确定的值中的每一个点积乘以相应的“加权因子”，然后求和作为最终的边缘保留滤波值。
加权因子w(y)的一个实施例由下面的公式给出：
[ 11 ] , Weighting _ factorw ( y ) = 1 2 1 2 4 2 1 2 1
在该特定实施例中，目标像素周围的各个像素的相对权重是目标像素的因子为4、直接相邻的像素的因子为2、以及对角相邻的像素的因子为1。
在750中，将Th(x)调低以降低所进行的滤波等级。换而言之，在公式10中，如果阈值设的较低，则对于用x值取代y而言x和y的值之间的差值更小，因而有较少的滤波。
图8示出了边缘像素的4-邻域非边缘像素的位置。块810示出了边缘像素(黑色)、直接相邻像素(灰色)以及对角相邻像素(白色)的位置。块820示出了分类为包括边缘像素、相邻像素以及其他像素的8×8块的一个示例，作为方法700的一部分。
图9是示出根据一些实施例执行的噪声减少处理的各个方面的功能框图900。块910表示后处理块(或噪声减少子块)接收(例如，从视频解码器110直接或间接地接收)将要进行噪声减少处理的输入视频信号。块920表示根据一些实施例提供的处理，用来检测在块910处所接收的视频信号中展现蚊式噪声伪影的位置(例如，特定像素)。块930表示这样的过程：其中，(基于蚊式噪声检测器920所获得的结果)向在910处接收的输入视频信号应用滤波，以减轻蚊式噪声伪影。
图10是用于检测蚊式噪声像素的流程图1000。如果像素块(例如8×8的像素块)包含至少一个边缘像素，则可以将其指定为边缘块。在图10中，对非边缘块进行复查，以查看所指定的块是边缘块还是与边缘相邻的块(NEB)，在是NEB的情况下所选块被指定为是NEB，如下面将要详述的。
通常，通过蚊式噪声度量检查边缘块中的每个像素，以将像素划分为蚊式噪声像素或非蚊式噪声像素。对所检测到的蚊式噪声像素应用蚊式噪声滤波，并且对所考虑的块的其他像素应用边缘保留滤波。
在处理1000中，对视频输入进行关于蚊式噪声的测试。在1010中，接收经解码的视频输入。在1020中，将视频输入分成通常为8像素×8像素的像素块。然后，在1020中，对这些像素中的每一个进行检查，以确定任意一个像素是否是边缘像素。此外，确定任意一个直接相邻的块是否包含边缘像素。如果是，则将该像素块指定为NEB。
可以采用多种边缘检测器中的任何一种。在一些实施例中，可以采用所谓的Sobel边缘检测器。蚊式噪声检测使用时间度量，而不是用于振铃噪声检测的空间度量。如果块不是边缘块(即，不包含至少一个边缘像素)或不是NEB，则不对该块上的任一像素执行蚊式噪声滤波，并且方法1000前进到1060，在此输出该视频流。然而，如果该块是边缘块或具有作为边缘块的相邻块，则1020前进到1030。
在1030中，确定所选块内的每个像素是否是蚊式噪声像素。可以采用多种蚊式噪声检测器的任何一种。在一些实施例中，可以采用Sobel边缘检测器。如果所选像素是蚊式噪声像素，则1030前进到1040。如果在该块内没有蚊式噪声像素，则1030前进到1050。
在1040中，对边缘块的像素应用蚊式噪声滤波。如将要结合图11-13进行更加详细描述的，可以采用“空间双层中值滤波器”(SDLMF)或“时间-空间双层中值滤波器”(STDLMF)。1040前进到1060，在1060中，将蚊式噪声滤波后的输出作为视频输出进行传送，然后方法1000结束。
在1050中，对是蚊式噪声像素但在“边缘”块内的像素应用边缘保留滤波，或者如果所选块是NEB，如上面结合图6-9所述的，执行上述操作。1050前进到1060，在1060中，将边缘滤波后的输出作为视频输出进行传送。
图11更加详细地示出了用于蚊式噪声检测的SDLMF1100。已经检测出了非边缘块内的蚊式噪声像素1103。因此，将8×8的块分成5×5的块1101，该块的中心集中在蚊式噪声像素1103。在该5×5的窗1101内，有5个分离的交叠的3×3块，每个都具有其自己的中心。例如，在SDLMF1110中，示出了两个框1120、1130，但是可例示出5个框，每个框都以围绕目标像素的像素为中心。这是该滤波器的第一层。
如图11所示，SDLM滤波包括在两个层1101、1150中的运算。在第一层1101中，以目标像素1103为中心的5×5的邻域1101作为滤波器支持，以用作在应用滤波器时的数据。简单地转到图12，在该5×5窗内，对于图12中这些3×3像素的集合而言，有总共5个3×3像素的集合，且标记出要进行处理的相关中心像素，画为“c”。注意，蚊式噪声滤波使用5个3×3的相邻块，与在振铃噪声滤波中所使用的9个相对比。
返回到图11，对这5个3×3像素的集合应用均值滤波，由此产生在中间块1150中的5个中间值作为结果。请注意，与图3的振铃噪声的中值滤波相对比，对于滤波的第一层，可以在蚊式噪声滤波中使用均值滤波。在第二层中，在这5个中间值(目标像素和4个对角像素)应用中值滤波，以生成最终的像素输出值。
例如，考虑位于x(i，j)处的像素x 1103。5×5窗中的5个中心像素{c(x(i，j))}是：
[12]{c(x(i，j))}＝{x(i-1，j-1)，x(i-1，j+1)，x(i+1，j-1)，x(i+1，j+1)，x(i，j)}
中心像素c(x(u，v))的3×3邻域表示为NH9(c(x(u，v)))，且该定义与公式2相同。基于在NH9(c(x(u，v)))中的像素进行均值滤波，产生SDLMM滤波器的第一层输出。
[13]The layer1_mean＝mean{NH9(c(x(u，v)))}
换而言之，在上述情况中，对于给定像素将使用均值(例如，值37.8)，而不是中值。
然后，第二层1150对从第一层运算(即，层1150)所产生的五个中间值执行中值滤波，如在下面的公式14中所示。
[14]The double_layer_mean_median＝median{mean{NH9(c(x(u，v)))
                    |c(x(u，v)∈{c(x(i，j))})}
这5个中间值进而生成最终的滤波输出1170。
在图13中，示出了蚊式噪声滤波的另一方面，以便还包括时域。图6示出了对时间-空间双层中值(STDLM)运算的使用。类似于图6的STDLM滤波器，图13的STDLM也采用了双层滤波，首先使用均值滤波，然后使用中值滤波，但是为了确定至少一些中间值，采用来自先前图像的至少一些参考像素。
下面给出了蚊式噪声滤波器的时间-空间形式。类似于SDLMM滤波器，时间-空间双层均值中值(STDLMM)滤波器包含两层运算，但是其具有来自先前图像的参考像素。图13示出了在当前图像中的5个中心像素的位置和在先前图像中的2个中心像素的位置。考虑图像k的像素x，7个中心像素{c(x(I，j；k))}的集合是：
{c(x(i，j；k))}＝{x(i-1，j-1；k)，x(i-1，j+1；k)，x(i+1，j-1；k)，
[15]
x(i+1，j+1；k)，x(i，j；k)，x(i-1，j；k-1)，x(i，j；k-1)}
中心像素c(x(u，v；l))的3×3邻域表示为NH9(c(x(u，v；l)))，且其定义与公式6相同。基于对NH9(c(x(u，v；l)))中的像素进行均值滤波，产生STDLM滤波器的第一层输出。
[16]The layer1_mean＝mean{NH9(c(x(u，v；l)))}
STDLMM滤波的第二层是对从第一层均值运算产生的7个中间值进行的中值滤波。
[17]The_double_layer_mean_median＝median{mean{NH9(c(x(u，v；l)))|
                     c(x(u，v；l)∈{c(x(i，j；k))}}}
图14示出了一种用于将方法300的振铃噪声滤波与方法1000的蚊式噪声滤波相结合的方法1400。
在1410中，接收编码的视频输入并进行关于振铃噪声的测试。
在1420中，将视频输入分成通常为8像素×8像素的多个像素块。然后，在1420中，对这些像素中的每一个进行检查，以确定任意一个像素是否是边缘像素，以将该块指定为边缘块。此外，确定任意一个直接相邻的块是否包含边缘像素，以将该块指定为NEB。可以采用多种边缘检测器中的任何一种。在一些实施例中，可以采用所谓的Sobel边缘检测器。如果块不是边缘块(即，不包含至少一个边缘像素)，并且没有邻近的边缘块，则对于该块上的任何像素不进行滤波(边缘滤波或蚊式噪声滤波)，并且方法1000前进到1480，输出该视频流，该方法结束。然而，如果该块是边缘块或具有作为边缘块的邻近块，则1420前进到1430。
在1430中，确定所选块内的每个单独像素是否是振铃噪声像素。可以采用多种蚊式检测器中的任何一种。在一些实施例中，可以采用所谓的Sobel边缘检测器。如果所选像素是振铃噪声像素，则1430前进到1440。如果所选像素不是振铃噪声像素，则1430前进到1450。
在1440中，向所选块的振铃噪声像素应用振铃噪声滤波。1440前进到1480，将振铃滤波后的输出作为视频输出进行传送，方法1400结束。
在1450中，确定所选像素是否是蚊式输出。如果是，则1450前进到1460。如果不是，则1450前进到1470。
在1450中，向所选块的蚊式噪声像素应用蚊式噪声滤波。1460前进到1480，将蚊式噪声滤波后的输出作为视频输出进行传送，然后方法1400结束。
在1470中，向“边缘”块或NEB内既非振铃噪声像素又非蚊式噪声像素的像素应用边缘保留滤波。1470前进到1480，在1480中，将边缘滤波后的输出作为视频输出进行传送，然后方法1400结束。
图15示出了用于实施本申请的诸如300和1000的方法的系统1500的一个实施例。母板1510具有视频解码器1504、集成电路(IC)芯片1520、以及存储器1540。在系统1500中，由视频解码器1504接收视频流。然后视频解码器1504向IC 1520传送经解码的视频。然后IC 1520执行如上所述的各种方法和处理。IC 1520还采用存储器1540在执行处理时进行存储。存储器1520可以是各种存储器类型，例如单速率或双速率存储器存取的随机存取存储器。然后，能够通过视频比特流输出来输出振铃噪声像素、蚊式噪声像素或两者的经滤波的输出。
这里所述的多个实施例仅仅出于说明的目的。这里所述的各种特征不必全部一起使用，并且这些特征中的任何一个或多个都可以并入单个实施例中。因此，本领域的技术人员应当从本说明书中认识到的是，可以进行各种修改和改变来实施其他实施例。

Claims (22)

1、一种方法，包括：
选择像素块；
确定所述像素块是否包含边缘像素；
如果所述像素块包含边缘像素，则：
在所述像素块中选择第一像素；
确定所述第一像素是否是振铃噪声像素；
如果所述第一像素展现振铃噪声，则应用振铃噪声滤波器；以及
如果所述第一像素不是振铃噪声像素，则应用边缘保留滤波器。
2、如权利要求1所述的方法，其中，确定所述像素块是否包含边缘像素的步骤包括采用Sobel边缘检测器。
3、如权利要求1所述的方法，其中，应用所述振铃噪声滤波器的步骤包括：
从所述像素块中创建第一像素子块；
从所述像素块中创建与所述第一像素子块大小相同的第二像素子块，其中，所述第一子块的中心块像素不同于所述第二子块的中心块像素；
用所述第一子块的像素，生成与所述第一块的中心块像素相关的中值；以及
在所述第二子块的中心块像素处，生成与所述第二子块的像素相关的中值。
4、如权利要求3所述的方法，其中，所述第二像素子块关联到不同的时间帧的所述第一像素子块。
5、如权利要求4所述的方法，其中，选择所述第一和第二像素子块包括选择小于9个像素的第一像素集合。
6、如权利要求3所述的方法，还包括：
为与所述第一中心块像素和所述第二中心块像素的每个中心像素相邻的每个像素生成中间中值；
从至少所述第一中心块像素和所述第二中心块像素中生成中间矩阵；以及
根据所述中间矩阵的中心像素的附近的像素，为所述中间矩阵的中心像素生成最终中值。
7、如权利要求6所述的方法，其中，所述中间矩阵的中心像素对应于所述第一子块的第一转角像素和所述第二子块的第二转角像素。
8、如权利要求1所述的方法，还包括：
确定第二像素是否是振铃噪声像素；
如果所述第二像素是振铃噪声像素，则应用振铃噪声滤波器；以及
如果所述第二像素不是振铃噪声像素，则应用边缘保留滤波。
9、如权利要求1所述的方法，其中，所述像素块包括8×8的块。
10、如权利要求1所述的方法，其中，所述第一和第二像素子块是3×3的块。
11、如权利要求1所述的方法，其中，应用所述边缘保留滤波器的步骤还包括：
将与所述第一块内的中心像素相关的第一值和所述第一块内的非中心像素的第二值进行比较；
如果所述第一值减所述第二值的量值大于一阈值，则用所述第一值替代所述第二值。
12、如权利要求11所述的方法，还包括选择所述第一块内的另一非中心像素；并且
将与所述第一块内的中心像素相关的第一值和所述第一块内的非中心像素的第三值进行比较；
如果所述第一值减所述第三值的量值大于一阈值，则用所述第一值替代所述第二值。
13、如权利要求11所述的方法，还包括：
定义中心像素和多个非中心像素的一阈值矩阵，其中，已经将所述中心像素的所述第一值与至少一个非中心像素的非中心像素进行了比较；
定义一加权因子矩阵，用于与所述第一块内的至少所述中心像素和非中心像素进行矩阵相乘；并且
用所述加权因子矩阵乘以所述阈值矩阵，以生成结果矩阵。
14、如权利要求12所述的方法，其中，所述加权因子矩阵包括下列形式的3×3矩阵：
1  2  1
2  4  2
1  2  1
15、如权利要求1所述的方法，其中：
选择像素块的步骤还包括：
选择第一像素块；以及
选择与所述第一像素块相邻的第二像素块；并且
确定所述像素块是否包含边缘像素的步骤还包括：
确定所述第一块还是与所述第一像素块相邻的所述第二像素块包含边缘像素；
如果所述第一或第二像素块包含边缘像素，则：
选择所述第一像素块中的第一像素；
如果所述第一像素不是振铃噪声像素，则确定所述第一像素是否是蚊式噪声像素；
如果所述第一像素是蚊式噪声像素，则应用蚊式噪声滤波器；以及
如果所述第一像素既不是振铃噪声像素又不是蚊式噪声像素，则应用边缘保留滤波器。
16、如权利要求15所述的方法，其中，确定所述第一像素是否是蚊式噪声像素的步骤还包括采用Sobel边缘检测器。
17、一种方法，包括：
选择第一像素块；
确定所述第一像素块是否包含边缘像素；
选择与所述第一像素块相邻的第二像素块；
确定与所述第一像素块相邻的所述第二像素块是否包含边缘像素；
如果所述第一或第二像素块包含边缘像素，则：
选择所述第一像素块中的第一像素；
确定所述第一像素是否是蚊式噪声像素；
如果所述第一像素是蚊式噪声像素，则应用蚊式噪声滤波器；以及
如果所述第一像素不是振铃噪声像素，则应用边缘保留滤波。
18、如权利要求17所述的方法，其中，应用蚊式噪声滤波器的步骤包括：
从所述第一像素块中创建第一像素子块；
从所述像素块中创建与所述第一像素子块大小相同的第二像素子块，其中，所述第一子块的中心块像素不同于所述第二子块的中心块像素；
用所述第一子块的像素，生成与所述第一块的中心块像素相关的第一均值；
在所述第二子块的中心块像素处，生成与所述第二子块的像素相关的第二均值；以及
生成最终中值，其为至少所述第一均值和所述第二均值的函数。
19、一个系统，包括：
振铃噪声检测器；
振铃噪声滤波器，其耦合到所述振铃噪声检测器；
蚊式噪声检测器；以及
蚊式噪声滤波器，其耦合到所述蚊式噪声检测器，其中，所述振铃噪声检测器和所述蚊式噪声检测器都耦合到共享输入。
20、如权利要求19所述的系统，还包括：
加权因子，以供所述振铃噪声滤波器使用。
21、如权利要求19所述的系统，还包括：
数字输出端口，用来从所述蚊式噪声滤波器向显示装置提供经过滤波的图像信息。
22、如权利要求19所述的系统，还包括：
数字输出端口，用来从所述振铃噪声滤波器向显示装置提供经过滤波的图像信息。
CN2006800351533A 2005-09-30 2006-09-28 用于减少数字图像的振铃噪声和蚊式噪声的时间-空间边缘保留滤波技术的系统和方法 Expired - Fee Related CN101273640B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/239,965 2005-09-30
US11/239,965 US7548660B2 (en) 2005-09-30 2005-09-30 System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
PCT/US2006/038115 WO2007041326A2 (en) 2005-09-30 2006-09-28 System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures

Publications (2)

Publication Number Publication Date
CN101273640A true CN101273640A (zh) 2008-09-24
CN101273640B CN101273640B (zh) 2010-12-08

Family

ID=37865902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800351533A Expired - Fee Related CN101273640B (zh) 2005-09-30 2006-09-28 用于减少数字图像的振铃噪声和蚊式噪声的时间-空间边缘保留滤波技术的系统和方法

Country Status (4)

Country Link
US (1) US7548660B2 (zh)
CN (1) CN101273640B (zh)
TW (1) TWI323131B (zh)
WO (1) WO2007041326A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156961A (zh) * 2009-12-22 2011-08-17 索尼公司 图像处理设备、图像处理方法以及程序
CN102170569A (zh) * 2011-03-24 2011-08-31 深圳市融创天下科技发展有限公司 一种振铃效应去噪方法、装置
CN106488079A (zh) * 2015-09-01 2017-03-08 深圳市中兴微电子技术有限公司 一种视频去噪的方法及装置
CN111131661A (zh) * 2018-10-30 2020-05-08 瑞昱半导体股份有限公司 影像处理电路及相关的影像处理方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP4197008B2 (ja) * 2006-05-15 2008-12-17 セイコーエプソン株式会社 画像処理方法、プログラム及び画像処理装置
EP1909227B1 (en) * 2006-10-03 2018-06-27 Vestel Elektronik Sanayi ve Ticaret A.S. Method of and apparatus for minimizing ringing artifacts in an input image
TWI332351B (en) * 2006-10-05 2010-10-21 Realtek Semiconductor Corp Image processing method and device thereof for reduction mosquito noise
KR100856303B1 (ko) * 2007-05-18 2008-09-03 삼성전기주식회사 링잉 노이즈 제거 장치 및 노이즈 제거 장치
KR101303660B1 (ko) * 2007-10-01 2013-09-04 삼성전자주식회사 잡음제거를 고려한 선명도 향상 방법 및 장치 그리고 잡음가중치 계산 방법 및 장치
TW200930044A (en) * 2007-12-28 2009-07-01 Altek Corp False color depressing method for digital images
CN101527840B (zh) * 2008-03-06 2011-06-01 瑞昱半导体股份有限公司 滤除蚊子噪声的影像处理方法及装置
US20090251570A1 (en) * 2008-04-02 2009-10-08 Miaohong Shi Apparatus and method for noise reduction
EP2327219B1 (en) 2008-09-09 2016-11-09 Marvell World Trade Ltd. Reducing digital image noise
GB2468304A (en) * 2009-03-03 2010-09-08 Sharp Kk Video image processing method that smooths the jagged diagonal edges created by epsilon filtering
US9131246B2 (en) * 2009-12-01 2015-09-08 Intel Corporation Detecting artifacts in quantization noise in images compresses using discrete cosine transforms
DE112010005721B4 (de) * 2010-07-06 2021-02-04 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung
CN103026708B (zh) 2010-07-28 2018-01-26 马维尔国际有限公司 数字视频信号中的块压缩赝像检测
US20140192266A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Method and apparatus of reducing compression noise in digital video streams
RU2013104894A (ru) * 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью сохраняющего контуры подавления шума
US8831354B1 (en) * 2014-01-08 2014-09-09 Faroudja Enterprises, Inc. System and method for edge-adaptive and recursive non-linear filtering of ringing effect
CN103856781B (zh) * 2014-03-18 2017-04-19 江西理工大学 一种自适应阈值的视频流多纹理方向错误隐藏方法
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
TWI692970B (zh) * 2018-10-22 2020-05-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802218A (en) * 1994-11-04 1998-09-01 Motorola, Inc. Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
KR100242636B1 (ko) 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
JP2001045336A (ja) * 1999-07-29 2001-02-16 Matsushita Electric Ind Co Ltd ノイズ検出装置、ノイズ検出方法、信号処理装置および信号処理方法
KR100675498B1 (ko) * 1999-09-28 2007-02-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 필터링 장치 및 방법
US7006255B2 (en) * 2001-03-29 2006-02-28 Sharp Laboratories Of America Adaptive image filtering based on a distance transform
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US7292733B2 (en) * 2002-10-16 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156961A (zh) * 2009-12-22 2011-08-17 索尼公司 图像处理设备、图像处理方法以及程序
CN102156961B (zh) * 2009-12-22 2014-02-12 索尼公司 图像处理设备和图像处理方法
CN102170569A (zh) * 2011-03-24 2011-08-31 深圳市融创天下科技发展有限公司 一种振铃效应去噪方法、装置
WO2012126221A1 (zh) * 2011-03-24 2012-09-27 深圳市融创天下科技股份有限公司 一种振铃效应去噪方法及装置
CN102170569B (zh) * 2011-03-24 2016-01-06 深圳市云宙多媒体技术有限公司 一种振铃效应去噪方法、装置
CN106488079A (zh) * 2015-09-01 2017-03-08 深圳市中兴微电子技术有限公司 一种视频去噪的方法及装置
CN106488079B (zh) * 2015-09-01 2019-06-28 深圳市中兴微电子技术有限公司 一种视频去噪的方法及装置
CN111131661A (zh) * 2018-10-30 2020-05-08 瑞昱半导体股份有限公司 影像处理电路及相关的影像处理方法
CN111131661B (zh) * 2018-10-30 2022-05-17 瑞昱半导体股份有限公司 影像处理电路及相关的影像处理方法

Also Published As

Publication number Publication date
WO2007041326A2 (en) 2007-04-12
TWI323131B (en) 2010-04-01
WO2007041326A3 (en) 2007-09-13
US7548660B2 (en) 2009-06-16
TW200731803A (en) 2007-08-16
CN101273640B (zh) 2010-12-08
US20070076972A1 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
CN101273640B (zh) 用于减少数字图像的振铃噪声和蚊式噪声的时间-空间边缘保留滤波技术的系统和方法
Shi et al. Image and video compression for multimedia engineering: Fundamentals, algorithms, and standards
US9092855B2 (en) Method and apparatus for reducing noise introduced into a digital image by a video compression encoder
KR100282504B1 (ko) 입력 화상 신호로부터 잡음 감소 화상 신호를 발생시키기 위한 장치
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
JP3810392B2 (ja) 場面転換検出装置及びその方法
CN100512376C (zh) 用于图像信号的内容自适应降噪滤波
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
CN100370484C (zh) 增强编码的数字视频的清晰度的系统和方法
CN101385046A (zh) 减少显示图像中的压缩伪影、分析编码参数
US11190808B2 (en) Image processing apparatus and image processing method
FI117845B (fi) Videokuvan prosessointi
US7010047B2 (en) Global brightness change compensation system and method
US7679675B2 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
US20070285729A1 (en) Image processing apparatus and image processing method
US9008455B1 (en) Adaptive MPEG noise reducer
US20070076973A1 (en) Method and apparatus for detecting and deblocking variable-size grid artifacts in coded video
JP2900808B2 (ja) 画像データの復号化時に生じるモスキートノイズの低減方法及び画像データの復号化装置
US6937662B2 (en) Method and decoder for processing a digital video signal
JP2900815B2 (ja) 適応コアリング方法及び適応コアリング装置
CN101137058A (zh) 局部mpeg伪像的自适应降低
US20050259750A1 (en) Method and encoder for encoding a digital video signal
Britch Object-Based Coding of Video Data Using the Wavelet Transform
Coezijn Motion compensated blocking artefact repair on low bit rate block transform coded video
CN1954615A (zh) 用于减少已解码视频中的伪像的算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101208

Termination date: 20170928