CN103888764B - 一种自适应补偿视频压缩失真的系统及方法 - Google Patents

一种自适应补偿视频压缩失真的系统及方法 Download PDF

Info

Publication number
CN103888764B
CN103888764B CN201410095798.2A CN201410095798A CN103888764B CN 103888764 B CN103888764 B CN 103888764B CN 201410095798 A CN201410095798 A CN 201410095798A CN 103888764 B CN103888764 B CN 103888764B
Authority
CN
China
Prior art keywords
edge
filter
formula
pixel
block boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410095798.2A
Other languages
English (en)
Other versions
CN103888764A (zh
Inventor
孙宏滨
彭辉生
程增华
张旭翀
赵季中
于宗光
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201410095798.2A priority Critical patent/CN103888764B/zh
Priority to PCT/CN2014/076078 priority patent/WO2015135241A1/zh
Publication of CN103888764A publication Critical patent/CN103888764A/zh
Priority to US14/836,817 priority patent/US9706209B2/en
Application granted granted Critical
Publication of CN103888764B publication Critical patent/CN103888764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Abstract

本发明提出一种自适应补偿视频压缩失真的系统及方法,该方法首先通过对图像进行边缘纹理检测和块边界检测,将待处理点所处区域进行分类以确定其是否处于振铃噪声易发区或者存在块效应的块边界附近。其次,根据待处理点的所属区域与失真强度,本发明自适应地采用不同的滤波策略进行压缩失真补偿,以改善低码率传输的视频在显示端的图像效果,使其满足在高清、以及超高清分辨率显示器上高质量实时播放的需求。

Description

一种自适应补偿视频压缩失真的系统及方法
技术领域
本发明属于数字视频图像处理与显示技术领域,具体涉及一种基于图像特征检测、可保护原始图像细节的自适应视频压缩失真补偿系统和方法。
背景技术
随着互联网电视与智能电视的迅速发展,数字电视的视频内容来源日益丰富。其中,网络视频已成为通过电视观看的主要视频内容之一。由于受带宽和媒体存储等因素的限制,网络视频一般采用压缩和解压缩技术来去除冗余信息以达到低码率传输的目的。其所采用的压缩标准一般为基于块的离散余弦变换(Block-based Discrete CosineTransform,BDCT)的视频编解码标准,如MPEG-4Visual、H.264/AVC和AVS等。
然而,由于网络视频在传输过程中受传输方式和码率控制等因素的影响,原始视频图像的内容会受到不同程度的损失。DCT正反变换本身对视频图像是无损的,而编解码过程中的量化和反量化才是产生压缩失真的主要根源。视频压缩失真主要包括振铃噪声和块效应等。在图像的边缘附近,对图像高频信息的粗糙量化会引起振铃噪声;在基于块的编解码模式中,由于块编解码时不考虑临近块间的相关性,块与块间的量化差异导致了块与块之间的不连续性,从而产生块效应。如果这些低质量的视频直接在大屏幕平板电视上播放,将严重影响用户的视觉体验。
在现有振铃噪声抑制的技术中,公告号为US7894685B2的美国专利提出了一种减少振铃噪声的方法和装置。该方法根据像素亮度的平均绝对差(Mean AbsoluteDeviation,MAD)及梯度和等信息对像素点进行分类,并依此通过在8×8编解码块内统计在平坦区域和强弱边缘上的像素点数,寻找满足条件的边缘块,从而对块内非边缘的平坦点进行Sigma滤波来减少振铃噪声。该专利需要通过编解码的量化参数(QuantizationParameter,QP)等信息来控制滤波强度,且其基于8×8编解码块的处理方式并不能很好地兼容多种常用国际视频编解码标准。因此当QP等编解码信息不可知或者编解码采用可变块大小时,该方法的实现效果就会受到限制。现有的其他振铃噪声抑制技术中,或者是在有效地减少振铃噪声的同时模糊了图像细节,或者是很好地保护了细节信息却使减少振铃噪声的效果一般,难以在两者之间做很好的平衡。
现有块效应的检测方法主要是在已知块边界位置的情况下进行块边界强度检测。由于网络视频源中原始分辨率与编解码标准的多样性,到达显示端的视频有可能已经过处理,如简单的缩放或者上下左右的偏移。在这种情况下,采用已知块位置检测块强度的结果必然不准确。
综上所述,提出一种鲁棒性更高,且在有效减少振铃噪声和块效应的同时又能保护边缘和纹理等重要原始信息的方法是很有必要的。
发明内容
本发明的目的在于提出一种自适应补偿视频压缩失真的系统及方法,以克服现有技术的缺点;本发明在有效补偿压缩失真的同时,能够更好地保护边缘和细节信息,从而改善网络视频图像效果,使其满足在高清、甚至超高清显示器上的播放需求。为提高鲁棒性,本发明不受限于视频编解码信息和编解码标准,也不受视频源图像偏移或者小幅度缩放的限制。
为了实现上述目的,本发明采用如下技术方案:
本发明首先对输入视频图像进行特征检测,将图像像素点分类,定位振铃噪声易发区域和块效应滤波区域;其次,对区域内满足条件的不同种类的像素点进行自适应滤波以补偿压缩失真,而对处在边缘和纹理上的像素不滤波,以保留重要的原始信息。
本发明提出的一种自适应补偿视频压缩失真的系统,包括边缘检测器、平坦/纹理检测器、振铃噪声区域定位器、线检测器、块边界检测器、块效应滤波区域定位器、抑制块效应使能判决器、自适应均值滤波器、滤波选择器和输出融合器。
边缘检测器、平坦/纹理检测器、线检测器、块边界检测器、自适应均值滤波器、滤波选择器和输出融合器的输入端连接视频图像输入端口;边缘检测器的输出端和平坦/纹理检测器的输出端均连接振铃噪声区域定位器的输入端;线检测器的输出端连接块效应滤波区域定位器的输入端;块边界检测器的输出端连接块效应滤波区域定位器的输出端和抑制块效应使能判决器的输入端;振铃噪声区域定位器的输出端、块效应滤波区域定位器的输出端和自适应均值滤波器的输出端连接滤波选择器的输入端;滤波选择器的输出端连接输出融合器的输入端。
本发明进一步的改进在于:
边缘检测器,用于获得输入视频图像的边缘及其强度信息;
平坦/纹理检测器,用于获得输入视频图像的平坦/纹理信息;
线检测器,用于辅助检测并保留平坦区的单像素弱线条;
块边界检测器,用于检测输入视频图像存在块效应的块边界位置及其强度信息;
振铃噪声区域定位器,用于根据边缘信息、平坦/纹理信息,定位振铃噪声易发区并标记其滤波的强度;
块效应滤波区域定位器,用于根据边缘信息、平坦/纹理信息、单像素线条信息和块边界信息,定位块效应滤波区域并标记其滤波的强度;
抑制块效应滤波使能判决器,用于统计当前帧中检测到的块边界占整帧图像的比例,当块效应超过阈值时,打开抑制块效应滤波强度使能,以供后一帧使用;
自适应均值滤波器,用于产生不同强度的滤波结果;
滤波选择器,用于根据输入视频图像、振铃噪声区域定位器、块效应滤波区域定位器和自适应均值滤波器的结果及前一帧得出的抑制块效应滤波使能,选择对应的滤波结果;
输出融合器,最终输出输入视频图像的待处理点原始值和滤波结果的加权和。
本发明提出的一种自适应补偿视频压缩失真的方法,包括以下步骤:
边缘检测,检测出输入视频图像的边缘信息,并对其进行腐蚀膨胀,获得边缘及其强度信息;
平坦/纹理检测,获得输入视频图像的平坦/纹理信息;
线检测,检测输入视频图像的单像素线条;
块边界检测,检测输入视频图像存在块效应的块边界位置及强度信息;
在排除掉边缘和纹理信息后,根据边缘和平坦/纹理特征信息,定位振铃噪声易发区并标记其需要的滤波强度;
在排除掉边缘、纹理及平坦区的单像素弱线条上的像素点后,根据检测到的块边界信息定位块效应滤波区域并标记其需要的滤波强度;
根据块边界检测器检测到的块边界结果,统计当前帧中块边界占整帧图像的比例,当块效应超过阈值时,打开抑制块效应滤波强度使能deblk_glenN,以供后一帧使用;
根据上述特征检测的结果及前一帧得出的抑制块效应滤波使能,选择对应的自适应滤波系数输出滤波结果;
最终结果输出为待处理点原始值和滤波结果的加权和。其中,加权系数的大小由待处理点周边像素与其差异程度决定。
与已有技术相比,本发明的技术优势与效果体现在:
1.本发明可用于视频解码器端,也可以与视频编解码器相对独立,用于视频显示处理端。本发明与现有多种视频编解码标准兼容,且不需要已知QP等编解码信息,也不受限于编解码块大小的选择;
2.本发明在有效补偿压缩失真的同时,能很好地保护边缘和纹理等原始信息;
3.本发明的块边界信息检测不需要预知块边界位置。当视频图像经过了偏移或者小幅度缩放等预处理时,本发明的块边界信息检测结果会与实际画面的块边界相对应,而不会出现误检测;
4.本发明基于空域信息处理,复杂度低,易于硬件实现,以满足实时性要求。
附图说明
图1为本发明所述压缩失真补偿方法用于视频显示端处理的一个具体实施例的框图;
图2为本发明所述压缩失真补偿方法和系统的具体实施框图;
图3为Sobel边缘检测四方向梯度算子Av、Ah、Ar和Al的示意图;
图4为用于线检测、边缘检测和平坦/纹理检测的3×3像素亮度矩阵X,(2,2)为待处理像素点的位置;
图5为本发明所述实施例中振铃噪声区域定位的一种实施方法示意图;
图6为单像素线条的一种检测方法示意图,主要针对垂直和水平方向上的单像素线条的检测;
图7(a)和图7(b)为本发明所述实施例中块边界检测的一种方法示意图,其中图7(a)示出了假设的垂直块边界附近相连六个像素点,P1、P2、P3、Q3、Q2和Q1的亮度关系;图7(b)示出了块效应检测过程中需要额外满足的条件,当满足四种情形之一后才能确定存在块效应的块边界。
图8为本发明所述实施例中块效应滤波区域定位时所采用的4×4的窗,其中(3,3)对应待处理点的位置。
具体实施方式
本发明既可以和视频解码器结合在一起,也可以独立作为视频显示处理的一部分,以下将结合附图和实施例对本发明作进一步的详细说明。
图1所示为本发明所述压缩失真补偿方法被用于视频显示处理的压缩失真补偿系统的一个具体实施例的框图。原始视频源100经过视频编码101压缩后通过通信信道102传输到用户接收端的视频解码103处。解码后的有损视频作为视频显示处理104的输入,经过抑制振铃噪声105和抑制块效应106的压缩失真补偿及其他视频显示处理后,送给视频输出107以供显示。
图2中的200是图1中压缩失真补偿系统的具体实施框图。本发明提出的一种自适应补偿视频压缩失真的系统主要包括边缘检测器201、平坦/纹理检测器202、振铃噪声区域定位器203、线检测器204、块边界检测器205、块效应滤波区域定位器206、抑制块效应使能判决器207、自适应均值滤波器208、滤波选择器209和输出融合器210。
输入视频信号进入边缘检测器201、平坦/纹理检测器202、线检测器204、块边界检测器205、自适应均值滤波器208、滤波选择器209和输出融合器210的输入端;边缘检测器201的输出端和平坦/纹理检测器202的输出端均连接振铃噪声区域定位器203;线检测器204的输出端连接块效应滤波区域定位器206的输入端;块边界检测器205的输出端连接块效应滤波区域定位器206的输入端和抑制块效应使能判决器207的输入端;振铃噪声区域定位器203的输出端、块效应滤波区域定位器206的输出端和自适应均值滤波器208的输出端连接滤波选择器209的输入端;滤波选择器209的输出端连接输出融合器210的输入端。
边缘检测器201、平坦/纹理检测器202、线检测器204和块边界检测器205为具体实施例自适应补偿视频压缩失真的系统200的四个主要的特征检测器。其中,边缘检测器201检测出输入视频图像的边缘信息,并对其进行腐蚀膨胀,以获得相对较准确的边缘及其强度信息;平坦/纹理检测器202得到输入视频图像的平坦/纹理信息,以便保留纹理信息及协助定位失真易发区域;线检测器204,检测输入视频图像的单像素线条以辅助保留平坦区的单像素弱线条,避免在进行块效应抑制时被误滤波而损失视频图像的层次与细节;块边界检测器205检测输入视频图像存在块效应的块边界位置及强度信息。通过对这四个特征检测器的检测结果进行分析,本发明可以很好地保护原始图像中的边缘、纹理及平坦区的单像素弱线条等重要特征信息,以防止对有损视频图像造成二次损坏,并能为定位噪声区域及决定滤波强度提供依据。
振铃噪声区域定位器203在排除掉边缘和纹理等重要信息后,根据边缘和平坦特征信息,定位振铃噪声易发区并标记其需要的滤波强度;块效应滤波区域定位器206,在排除掉边缘、纹理及平坦区的单像素弱线条上的像素点后,根据检测到的块边界信息定位块效应滤波区域并标记其需要的滤波强度;抑制块效应使能判决器207根据块边界检测器205检测到的块边界结果,统计当前帧中块边界占整帧图像的比例,当块效应较严重时,打开抑制块效应滤波强度使能deblk_glenN,以供后一帧使用。
自适应滤波器208产生不同强度的自适应滤波结果以供选择;滤波选择器209根据上述特征检测的结果及前一帧得出的抑制块效应滤波使能deblk_glenN-1,选择对应的自适应滤波结果;输出融合器210实现待处理点原始值和滤波结果的加权和,而加权系数的大小是由待处理点周边像素与其差异程度来决定的,以便更好地保护原始图像。
图3所示为本发明实施例200中边缘检测器201采用的Sobel边缘检测的四个方向梯度算子Av,Ah,Ar和Al。结合图4的3×3像素亮度矩阵X,计算出四个方向上的梯度值Gv、Gh、Gr和Gl。然后取梯度绝对值的最大值Gmax,分别与阈值SOBEL_HIGH_TH(270)和SOBEL_LOW_TH(65)比较,将图像像素点分类得到整体边缘信息和强边缘信息,如公式(1)和(2)所示。
Gmax=max(|Gh|,|Gv|,|Gr|,|Gl|) (1)
edge_tmp(i,j)=(Gmax>SOBEL_LOW_TH)?1:0 (2)
stedge_tmp(i,j)=(Gmax>SOBEL_HIGH_TH)?1:0
式中,edge_tmp(i,j)和stedge_tmp(i,j)分别为图像(i,j)位置像素点的整体边缘信息和强边缘信息。
由于受噪声等因素的干扰,上述边缘检测后的结果在一定程度上并不准确。因此,边缘检测器201还包括了对上述得到的Sobel边缘检测结果的腐蚀和膨胀,以得到相对较准确的边缘信息。具体的腐蚀和膨胀过程如公式(3)和(4)所示。最终边缘检测器201输出的整体边缘信息如公式(5)所示。
edge_expansion(i,j)=[!edge_tmp(i,j)]&&
{[edge_tmp(i-1,j-1)&&edge_tmp(i+1,j+1)]||
[edge_tmp(i,j-1)&&edge_tmp(i,j+1)]|| (4)
[edge_tmp(i+1,j-1)&&edge_tmp(i-1,j+1)]||
[edge_tmp(i-1,j)&&edge_tmp(i+1,j)]}
edge_map(i,j)=edge_corriosion(i,j)||edge_expansion(i,j) (5)
式中,edge_corrosion(i,j)为图像(i,j)位置像素点腐蚀后的整体边缘信息,edge_expansion(i,j)为图像(i,j)位置像素点膨胀后的整体边缘信息,edge_map(i,j)为边缘检测器201输出的图像(i,j)位置像素点较准确的整体边缘信息。
同样,对强边缘信息进行相同的膨胀和腐蚀过程。边缘检测器201最终输出的图像(i,j)位置像素点的强边缘信息为stedge_map(i,j)。
本发明所述实施例的平坦/纹理检测器202,采用对待处理点周围像素亮度值进行数理统计的方法实现。该方法主要对3×3像素亮度矩阵X计算亮度平均值μ和亮度平均绝对偏差MAD,来分析待处理点所处像素矩阵中的亮度变化情况,如公式(6)和(7)所示。
将统计的亮度变化值与设定阈值TEXTURE_HIGH_TH(16)、2·TEXTURE_LOW_TH和TEXTURE_LOW_TH(2)比较,当亮度平均绝对差MAD较大时,说明待处理点处于纹理区域;而当亮度平均绝对差MAD较小时,说明待处理点处于平坦区域。
式中,texture_map(i,j)表示图像(i,j)位置像素点的纹理程度,其值越小说明待处理点所处位置越平坦。
图5所示为本发明所述实施例200中振铃噪声区域定位器203的一种实施方法。该方法在7×11的窗内对上述得到的边缘信息和平坦/纹理信息进行综合分析,从而定位待处理点是否处于振铃噪声区域并判断其严重程度,如公式(9)所示。
式中,ring_map(i,j)表示了图像中(i,j)位置像素点的振铃噪声情况:当ring_map(i,j)为3时,说明待处理点处在边缘上或者纹理区域,需要保留之,故不滤波;当ring_map(i,j)为2时,说明待处理点在强边缘附近,由于强边缘附近的振铃噪声比较严重,所以需要较强的滤波方式抑制振铃噪声;当ring_map(i,j)为1时,说明待处理点在弱边缘附近,需要相对较弱的滤波方式抑制振铃噪声;当ring_map(i,j)为0时,说明待处理点不是振铃噪声点,不需要进行振铃噪声的抑制。
图6所示为本发明所述实施例200中线检测器204检测单像素线条的一种实施方法。以垂直方向的单像素线条为例,当满足图6(a)和图6(b)中所示条件,即连续三行像素点A1、A2和A3同时分别比D1和E1、D2和E2及D3和E3都小或者都大LINE_TH1,且A1、A2和A3中最大值和最小值的差值小于LINE_TH2时,当前位置的像素点处在垂直单像素线条上,vline_map(i,j)被标记为1。同样,当满足图6(c)和图6(d)中所示条件,即连续三列A4、A5和A6同时分别比B1和C1、B2和C2及B3和C3都小或者都大LINE_TH1,且A4、A5和A6中最大值和最小值的差值小于LINE_TH2时,当前位置的像素点处在水平单像素线条上,hline_map(i,j)被标记为1。本实施例中阈值LINE_TH1和LINE_TH2均被设为2。最终线检测器204的输出line_map(i,j)由公式(10)所得。
line_map(i,j)=vline_map(i,j)||hline_map(i,j) (10)
图7所示为本发明所述实施例200中块边界检测器205的一种方法。以垂直块边界为例,图7(a)示出了假设的块边界附近相连六个像素点,P1、P2、P3、Q3、Q2和Q1的亮度关系:在存在块效应的块边界左右两边的P3和Q3存在一定的亮度跳变,而块边界左边或者右边的相连像素间的亮度变化较小。根据块边界的这一特性,本发明实施例通过观察相连像素点的梯度变化,来判断当前像素点是否在块边界上,以及通过块边界两边像素P3和Q3间跳变的大小,来判断块边界的强弱。当P1、P2、P3、Q3、Q2和Q1同时满足公式(11)中的三个条件时,像素点P3和Q3之间可能存在垂直块边界。
条件1:BLK_MID_TH<D3<BLK_HIGH_TH;
条件2:max(D1,D2,D4,D5)<BLK_LOW_TH; (11)
条件3:D3>max(D1,D2,D4,D5).
式中,D1、D2、D3、D4和D5分别表示|P1-P2|、|P2-P3|、|P3-Q3|、|Q3-Q2|和|Q2-Q1|。BLK_LOW_TH(2)、BLK_MID_TH(1)和BLK_HIGH_TH(15)为设定的经验阈值。
在上述基础上,本发明实施例采用图7(b)中的四种情形,来决定P3和Q3之间是否确实存在块效应。图7(b)中第i行为当前行,虚线为假设的垂直块边界位置,灰色区域为满足条件的连续四行。在7×6窗中,根据垂直块边界在垂直方向上的连续性,当连续至少四行满足公式(11)中的三个条件,且满足连续至少四行P3-Q3同号,才表示待处理点处在存在块效应的垂直块边界上。在检测到存在块效应的块边界位置信息后,根据公式(12)判断块边界的强弱,以便控制后续滤波的强弱。垂直方向上块边界的检测结果vbd_map(i,j)如公式(12)所示,其中P3对应图像中(i,j)的位置。
水平块边界的检测方式类似,只是取的是6×7窗的候选像素矩阵。采用类似的检测方法,最终得到水平块边界的检测结果hbd_map(i,j)。
结合垂直和水平块边界信息,最终得出整体的块边界信息bd_map(i,j)及强块边界信息stbd_map(i,j),作为块边界检测器205的输出。
本发明所述实施例200中的块效应滤波区域定位器206,在块边界检测器205得到的块边界信息bd_map(i,j)的基础上,定位块边界上及附近需要滤波的区域。由于块边界检测过程中标记的是块边界左边或者上边的像素点,所以块效应滤波区域定位器206采用第三行第三列为待处理点的4×4窗来定位待处理点所处块效应滤波区域并定性该块效应的严重程度,如图8所示。定位过程如公式(15)所示。
本发明所述实施例200中的抑制块效应滤波使能判决器207,对上述检测得到的当前帧块边界信息bd_map(i,j)非零的情况进行计数,并统计该计数结果占整帧图像像素点数的比例,用ratio表示。根据块效应的严重程度,输出不同强度的抑制块效应滤波使能deblk_glenN,以供下一帧使用。
式中,TH_BLK_RATIO1(1/64)和TH_BLK_RATIO2(23/512)为设定的经验比例阈值。当deblk_glenN为2时,说明视频图像中的块效应情况较严重;当deblk_glenN为1时,说明视频图像中的块效应较明显,需要进行块效应抑制处理;当deblk_glenN为0时,说明视频图像中不存在块效应或者块效应不明显,不需要进行块效应的抑制处理。
在本发明所述实施例200的自适应均值滤波器208中,一种自适应均值滤波器被用来抑制振铃噪声和块效应,亮度滤波结果如公式(17)所示。
式中,y(i,j)为当前待处理像素点的亮度;y'(i,j)为亮度滤波结果,滤波时所用的是以y(i,j)为中心像素点的M×N的窗;y(i+s,j+t)为M×N窗中(i+s,j+t)位置的像素亮度值;ω(i+s,j+t)为像素y(i+s,j+t)对应的权重;filter_th为自适应滤波阈值,由公式(19)得到。
式中,α1和α2为阈值调节系数,本实施例中分别设为1/8和3/32;FILTER_TH1、FILTER_TH2、FILTER_TH3和FILTER_TH4的取值为6、15、8、4。
本实施例的自适应滤波器208,根据不同的阈值filter_th,将输出五类滤波结果,分别为抑制振铃噪声的强滤波结果ystdr(i,j)和弱滤波结果ywkdr(i,j)以及抑制块效应的强滤波结果ystdb(i,j)、弱滤波结果ywkdb(i,j)和平坦区域补充滤波结果yflatdb(i,j)。本实施例的滤波过程取的是5×7的滤波窗。
本发明所述实施例200中的滤波选择器209,根据上述所得ring_map(i,j)和blk_map(i,j)信息,保留边缘、纹理和平坦区的单像素弱线条。然后再根据待处理点所在的区域和噪声强度以及上一帧得出的抑制块效应滤波使能deblk_glenN-1,从y(i,j)、ystdr(i,j)、ywkdr(i,j)、ystdb(i,j)、ywkdb(i,j)和yflatdb(i,j)中选择合适的结果作为最终的滤波结果yfiltered(i,j)从滤波选择器209输出。具体选择过程如公式(20)所示。
为了更好地防止过度滤波,本发明所述的实施例200在最终输出结果前,将待处理点原始亮度值和滤波结果进行加权和。加权系数的大小是根据待处理点周边像素与其差异程度来自适应取得,以便更好地保护原始图像。这些都是在输出融合器210中完成的。
yout(i,j)=λ·y(i,j)+(1-λ)·yfiltered(i,j) (21)
式中,yout(i,j)为最终的亮度输出,λ为融合权重系数。λ的值由公式(22)和(23)求得。
式中,ω'(i+s,j+t)表示了以(i,j)像素为中心的5×5窗内其他点与中心点间的亮度差异情况,阈值BLEND_TH设为3。
综上所述,本发明所述的实施例200能够达到有效抑制振铃噪声和块效应的同时很好地保护边缘和纹理等重要原始信息的目的。

Claims (6)

1.一种自适应补偿视频压缩失真的系统,其特征在于,包括边缘检测器(201)、平坦/纹理检测器(202)、振铃噪声区域定位器(203)、线检测器(204)、块边界检测器(205)、块效应滤波区域定位器(206)、抑制块效应使能判决器(207)、自适应均值滤波器(208)、滤波选择器(209)和输出融合器(210);
边缘检测器(201)、平坦/纹理检测器(202)、线检测器(204)、块边界检测器(205)、自适应均值滤波器(208)、滤波选择器(209)和输出融合器(210)的输入端连接视频图像输入端口;边缘检测器(201)的输出端和平坦/纹理检测器(202)的输出端均连接振铃噪声区域定位器(203)的输入端;线检测器(204)的输出端连接块效应滤波区域定位器(206)的输入端;块边界检测器(205)的输出端连接块效应滤波区域定位器(206)的输入端和抑制块效应使能判决器(207)的输入端;振铃噪声区域定位器(203)的输出端、块效应滤波区域定位器(206)的输出端和自适应均值滤波器(208)的输出端连接滤波选择器(209)的输入端;滤波选择器(209)的输出端连接输出融合器(210)的输入端;
边缘检测器(201),用于获得输入视频图像的边缘及其强度信息;
平坦/纹理检测器(202),用于获得输入视频图像的平坦/纹理信息;
线检测器(204),用于辅助检测并保留平坦区的单像素弱线条;
块边界检测器(205),用于检测输入视频图像存在块效应的块边界位置及其强度信息;
振铃噪声区域定位器(203),用于根据边缘信息、平坦/纹理信息,定位振铃噪声易发区并标记其滤波的强度;
块效应滤波区域定位器(206),用于根据边缘信息、平坦/纹理信息、单像素线条信息和块边界信息,定位块效应滤波区域并标记其滤波的强度;
抑制块效应滤波使能判决器(207),用于统计当前帧中检测到的块边界占整帧图像的比例,当块效应超过阈值时,打开抑制块效应滤波强度使能,以供后一帧使用;
自适应均值滤波器(208),用于产生不同强度的滤波结果;
滤波选择器(209),用于根据振铃噪声区域定位器(203)、块效应滤波区域定位器(206)的结果及前一帧得出的抑制块效应滤波使能,从原始输入视频图像和和自适应均值滤波器(208)的结果中选择对应的滤波结果;
输出融合器(210),最终输出输入视频图像的待处理点原始值和滤波结果的加权和。
2.根据权利要求1所述的一种自适应补偿视频压缩失真的系统,其特征在于,边缘检测器(201)检测出输入视频图像的边缘信息,并对其进行腐蚀膨胀,获得边缘及其强度信息;平坦/纹理检测器(202)检测输入视频图像的平坦/纹理信息;线检测器(204)检测输入视频图像的单像素线条;块边界检测器(205)检测输入视频图像存在块效应的块边界位置及强度信息;振铃噪声区域定位器(203)在排除掉边缘和纹理信息后,根据边缘和平坦/纹理特征信息,定位振铃噪声易发区并标记其需要的滤波强度;块效应滤波区域定位器(206),在排除掉边缘、纹理及平坦区的单像素弱线条上的像素点后,根据检测到的块边界信息定位块效应滤波区域并标记其需要的滤波强度;抑制块效应使能判决器(207)根据块边界检测器(205)检测到的块边界结果,统计当前帧中块边界占整帧图像的比例,当块效应超过阈值时,打开抑制块效应滤波强度使能deblk_glenN,以供后一帧使用;自适应滤波器(208)产生不同强度的自适应滤波结果以供滤波选择器(209)选择;滤波选择器(209)根据振铃噪声区域定位器(203)、块效应滤波区域定位器(206)及前一帧得出的抑制块效应滤波使能,从原始输入视频图像和自适应均值滤波器(208)的结果中选择对应的滤波结果;输出融合器(210)实现待处理点原始值和滤波结果的加权和。
3.根据权利要求1所述的一种自适应补偿视频压缩失真的系统,其特征在于:
边缘检测器(201)采用Sobel边缘检测的四个方向梯度算子Av,Ah,Ar和Al结合3×3像素亮度矩阵X,计算出四个方向上的梯度值Gv、Gh、Gr和Gl;然后取梯度绝对值的最大值Gmax,分别与阈值SOBEL_HIGH_TH和SOBEL_LOW_TH比较,将图像像素点分类得到整体边缘信息和强边缘信息,如公式(1)和(2)所示:
Gmax=max(|Gh|,|Gv|,|Gr|,|Gl|) (1)
edge_tmp(i,j)=(Gmax>SOBEL_LOW_TH)?1:0 (2)
stedge_tmp(i,j)=(Gmax>SOBEL_HIGH_TH)?1:0
式中,edge_tmp(i,j)和stedge_tmp(i,j)分别为图像(i,j)位置像素点的整体边缘信息和强边缘信息;阈值SOBEL_HIGH_TH和SOBEL_LOW_TH分别为270、65;
边缘检测器(201)对上述得到的Sobel边缘检测结果进行腐蚀和膨胀,具体的腐蚀和膨胀过程如公式(3)和(4)所示,最终边缘检测器(201)输出的整体边缘信息如公式(5)所示:
edge_expansion(i,j)=[!edge_tmp(i,j)]&&
{[edge_tmp(i-1,j-1)&&edge_tmp(i+1,j+1)]||
[edge_tmp(i,j-1)&&edge_tmp(i,j+1)]|| (4)
[edge_tmp(i+1,j-1)&&edge_tmp(i-1,j+1)]||
[edge_tmp(i-1,j)&&edge_tmp(i+1,j)]}
edge_map(i,j)=edge_corriosion(i,j)||edge_expansion(i,j) (5)
式中,edge_corrosion(i,j)为图像(i,j)位置像素点腐蚀后的整体边缘信息,edge_expansion(i,j)为图像(i,j)位置像素点膨胀后的整体边缘信息,edge_map(i,j)为边缘检测器201输出的图像(i,j)位置像素点较准确的整体边缘信息;
边缘检测器(201)对强边缘信息进行相同的膨胀和腐蚀过程,边缘检测器(201)最终输出的图像(i,j)位置像素点的强边缘信息为stedge_map(i,j);
平坦/纹理检测器(202),采用对待处理点周围像素亮度值进行数理统计的方法实现,对3×3像素亮度矩阵X计算亮度平均值μ和亮度平均绝对偏差MAD,分析待处理点所处像素矩阵中的亮度变化情况,如公式(6)和(7)所示:
&mu; = 1 9 &Sigma; i = 1 3 &Sigma; j = 1 3 X ( i , j ) - - - ( 6 )
M A D = 1 9 &Sigma; i = 1 3 &Sigma; j = 1 3 | X ( i , j ) - &mu; | - - - ( 7 )
将统计的亮度变化值与设定阈值TEXTURE_HIGH_TH、2·TEXTURE_LOW_TH和TEXTURE_LOW_TH比较:
t e x t u r e _ m a p ( i , j ) = 3 , i f M A D &GreaterEqual; T E X T U R E _ H I G H _ T H 2 , e l s e i f M A D &GreaterEqual; 2 &CenterDot; T E X T U R E _ L O W _ T H 1 , e l s e i f M A D &GreaterEqual; T E X T U R E _ L O W _ T H 0 , o t h e r s - - - ( 8 )
式中,texture_map(i,j)表示图像(i,j)位置像素点的纹理程度,其值越小说明待处理点所处位置越平坦;阈值TEXTURE_HIGH_TH和TEXTURE_LOW_TH的取值为16、2;
振铃噪声区域定位器(203)在7×11的窗内对上述得到的边缘信息和平坦/纹理信息进行综合分析,从而定位待处理点是否处于振铃噪声区域并判断其严重程度,如公式(9)所示:
r i n g _ m a p ( i , j ) = 3 , i f &lsqb; e d g e _ m a p ( i , j ) = = 1 &rsqb; | | &lsqb; t e x t u r e _ m a p ( i , j ) = = 2 &rsqb; 2 , e l s e i f &Sigma; s = - 3 3 &Sigma; t = - 3 3 s t e d g e _ m a p ( i + s , j + t ) &GreaterEqual; 3 1 , e l s e i f &Sigma; s = - 3 3 &Sigma; t = - 5 5 e d g e _ m a p ( i + s , j + t ) &GreaterEqual; 5 0 , o t h e r s - - - ( 9 )
式中,ring_map(i,j)表示了图像中(i,j)位置像素点的振铃噪声情况:当ring_map(i,j)为3时,说明待处理点处在边缘上或者纹理区域,需要保留之,故不滤波;当ring_map(i,j)为2时,说明待处理点在强边缘附近,由于强边缘附近的振铃噪声比较严重,所以需要较强的滤波方式抑制振铃噪声;当ring_map(i,j)为1时,说明待处理点在弱边缘附近,需要相对较弱的滤波方式抑制振铃噪声;当ring_map(i,j)为0时,说明待处理点不是振铃噪声点,不需要进行振铃噪声的抑制;
线检测器(204)检测单像素线条的方法包括:在垂直方向,当满足连续三行像素点A1、A2和A3同时分别比D1和E1、D2和E2及D3和E3都小或者都大LINE_TH1,且A1、A2和A3中最大值和最小值的差值小于LINE_TH2时,当前位置的像素点处在垂直单像素线条上,vline_map(i,j)被标记为1;同样,当满足连续三列A4、A5和A6同时分别比B1和C1、B2和C2及B3和C3都小或者都大LINE_TH1,且A4、A5和A6中最大值和最小值的差值小于LINE_TH2时,当前位置的像素点处在水平单像素线条上,hline_map(i,j)被标记为1;阈值LINE_TH1和LINE_TH2均为2;最终线检测器(204)的输出line_map(i,j)由公式(10)所得:
line_map(i,j)=vline_map(i,j)||hline_map(i,j) (10)
块边界检测器(205)进行块边界检测的方法包括:对于垂直块边界,假设的块边界附近相连六个像素点,P1、P2、P3、Q3、Q2和Q1的亮度关系同时满足公式(11)中的三个条件时,像素点P3和Q3之间可能存在垂直块边界:
条件1:BLK_MID_TH<D3<BLK_HIGH_TH;
条件2:max(D1,D2,D4,D5)<BLK_LOW_TH; (11)
条件3:D3>max(D1,D2,D4,D5).
式中,D1、D2、D3、D4和D5分别表示|P1-P2|、|P2-P3|、|P3-Q3|、|Q3-Q2|和|Q2-Q1|;BLK_LOW_TH、BLK_MID_TH和BLK_HIGH_TH的取值为2、1、15;
在7×6窗中,根据垂直块边界在垂直方向上的连续性,当连续至少四行满足公式(11)中的三个条件,且满足连续至少四行P3-Q3同号,表示待处理点处在存在块效应的垂直块边界上;在检测到存在块效应的块边界位置信息后,根据公式(12)判断块边界的强弱,垂直方向上块边界的检测结果vbd_map(i,j)如公式(12)所示,其中P3对应图像中(i,j)的位置:
v b d _ m a p ( i , j ) = 2 , i f | P 3 - Q 3 | > 5 &CenterDot; B L K _ M I D _ T H 1 , e l s e i f | P 3 - Q 3 | > B L K _ M I D _ T H 0 , o t h e r s - - - ( 12 )
选取6×7窗的候选像素矩阵,采用和垂直块边界检测相同的方法进行水平块边界的检测,最终得到水平块边界的检测结果hbd_map(i,j);
结合垂直和水平块边界信息,最终得出整体的块边界信息bd_map(i,j)及强块边界信息stbd_map(i,j),作为块边界检测器(205)的输出:
s t b d _ m a p ( i , j ) = 1 , i f &lsqb; v b d _ m a p ( i , j ) = = 2 &rsqb; | | &lsqb; h b d _ m a p ( i , j ) = = 2 &rsqb; 0 , o t h e r s - - - ( 13 )
b d _ m a p ( i , j ) = 1 , i f &lsqb; v b d _ m a p ( i , j ) &NotEqual; 0 &rsqb; | | &lsqb; h b d _ m a p ( i , j ) &NotEqual; 0 &rsqb; 0 , o t h e r s - - - ( 14 )
块效应滤波区域定位器(206),在块边界检测器(205)得到的块边界信息bd_map(i,j)的基础上,定位块边界上及附近需要滤波的区域;块效应滤波区域定位器(206)采用第三行第三列为待处理点的4×4窗来定位待处理点所处块效应滤波区域并定性该块效应的严重程度,定位过程如公式(15)所示:
抑制块效应滤波使能判决器(207),对上述检测得到的当前帧块边界信息bd_map(i,j)非零的情况进行计数,并统计该计数结果占整帧图像像素点数的比例,用ratio表示;根据块效应的严重程度,输出不同强度的抑制块效应滤波使能deblk_glenN,以供下一帧使用;
d e b l k _ glen N = 2 , i f r a t i o > T H _ B L K _ R A T I O 2 1 , e l s e i f r a t i o > T H _ B L K _ R A T I O 1 0 , o t h e r s - - - ( 16 )
式中,TH_BLK_RATIO1和TH_BLK_RATIO2的取值为1/64、23/512;当deblk_glenN为2时,说明视频图像中的块效应情况较严重;当deblk_glenN为1时,说明视频图像中的块效应较明显,需要进行块效应抑制处理;当deblk_glenN为0时,说明视频图像中不存在块效应或者块效应不明显,不需要进行块效应的抑制处理;
自适应均值滤波器(208)中亮度滤波结果如公式(17)所示:
y &prime; ( i , j ) = &Sigma; s = - M - 1 2 M - 1 2 &Sigma; t = - N - 1 2 N - 1 2 &omega; ( i + s , j + t ) &CenterDot; y ( i + s , j + t ) &Sigma; s = - M - 1 2 M - 1 2 &Sigma; t = - N - 1 2 N - 1 2 &omega; ( i + s , j + t ) - - - ( 17 )
&omega; ( i + s , j + t ) = 1 , i f | y ( i + s , j + t ) - y ( i , j ) | < f i l t e r _ t h 0 , o t h e r s - - - ( 18 )
式中,y(i,j)为当前待处理像素点的亮度;y'(i,j)为亮度滤波结果,滤波时所用的是以y(i,j)为中心像素点的M×N的窗;y(i+s,j+t)为M×N窗中(i+s,j+t)位置的像素亮度值;ω(i+s,j+t)为像素y(i+s,j+t)对应的权重;filter_th为自适应滤波阈值,由公式(19)得到:
式中,α1和α2为阈值调节系数,分别为1/8和3/32;FILTER_TH1、FILTER_TH2、FILTER_TH3和FILTER_TH4的取值分别为6、15、8、4;
自适应滤波器(208),根据不同的阈值filter_th,输出五类滤波结果给滤波选择器(209),分别为抑制振铃噪声的强滤波结果ystdr(i,j)和弱滤波结果ywkdr(i,j)以及抑制块效应的强滤波结果ystdb(i,j)、弱滤波结果ywkdb(i,j)和平坦区域补充滤波结果yflatdb(i,j);
滤波选择器(209),根据上述所得ring_map(i,j)和blk_map(i,j)信息,保留边缘、纹理和平坦区的单像素弱线条;然后再根据待处理点所在的区域和噪声强度以及上一帧得出的抑制块效应滤波使能deblk_glenN-1,从y(i,j)、ystdr(i,j)、ywkdr(i,j)、ystdb(i,j)、ywkdb(i,j)和yflatdb(i,j)中选择合适的结果作为最终的滤波结果yfiltered(i,j)从滤波选择器(209)输出,具体选择过程如公式(20)所示:
输出融合器(210)将待处理点原始亮度值和滤波选择器(209)滤波结果进行加权和输出;具体如公式(21)所示:
yout(i,j)=λ·y(i,j)+(1-λ)·yfiltered(i,j) (21)
式中,yout(i,j)为最终的亮度输出,λ为融合权重系数;λ的值由公式(22)和(23)求得:
&lambda; = 1 2 , i f &lsqb; &Sigma; s = - 2 2 &Sigma; t = - 2 2 &omega; &prime; ( i + s , j + t ) &rsqb; &GreaterEqual; 21 1 4 , e l s e i f &lsqb; &Sigma; s = - 2 2 &Sigma; t = - 2 2 &omega; &prime; ( i + s , j + t ) &rsqb; &GreaterEqual; 16 0 , o t h e r s - - - ( 22 )
&omega; &prime; ( i + s , j + t ) = 1 , i f | y ( i + s , j + t ) - y ( i , j ) | &le; B L E N D _ T H 0 , o t h e r s - - - ( 23 )
式中,ω'(i+s,j+t)表示了以(i,j)像素为中心的5×5窗内其他点与中心点间的亮度差异情况,阈值BLEND_TH设为3。
4.根据权利要求1所述的一种自适应补偿视频压缩失真的系统,其特征在于,边缘检测器(201)、平坦/纹理检测器(202)、线检测器(204)、块边界检测器(205)、自适应均值滤波器(208)、滤波选择器(209)和输出融合器(210)的输入端连接视频解码器的输出端;输出融合器(210)的输出端连接其他视频显示处理器的输入端。
5.一种自适应补偿视频压缩失真的方法,其特征在于,包括以下步骤:
边缘检测器(201)检测出输入视频图像的边缘信息,并对其进行腐蚀膨胀,获得边缘及其强度信息;
平坦/纹理检测器(202)得到输入视频图像的平坦/纹理信息;
线检测器(204)检测输入视频图像的单像素线条;
块边界检测器(205)检测输入视频图像存在块效应的块边界位置及强度信息;
振铃噪声区域定位器(203)在排除掉边缘和纹理信息后,根据边缘和平坦/纹理特征信息,定位振铃噪声易发区并标记其需要的滤波强度;
块效应滤波区域定位器(206),在排除掉边缘、纹理及平坦区的单像素弱线条上的像素点后,根据检测到的块边界信息定位块效应滤波区域并标记其需要的滤波强度;
抑制块效应使能判决器(207)根据块边界检测器(205)检测到的块边界结果,统计当前帧中块边界占整帧图像的比例,当块效应超过阈值时,打开抑制块效应滤波强度使能deblk_glenN,以供后一帧使用;
自适应滤波器(208)产生不同强度的自适应滤波结果以供滤波选择器(209)选择;
滤波选择器(209)根据振铃噪声区域定位器(203)、块效应滤波区域定位器(206)的结果及前一帧得出的抑制块效应滤波使能,从原始输入视频图像和自适应均值滤波器(208)的结果中选择对应的滤波结果;
输出融合器(210)实现待处理点原始值和滤波结果的加权和。
6.一种自适应补偿视频压缩失真的方法,其特征在于,包括以下步骤:
原始视频图像或者经过视频解码器解码的视频图像输入边缘检测器(201)、平坦/纹理检测器(202)、线检测器(204)、块边界检测器(205)、自适应均值滤波器(208)、滤波选择器(209)和输出融合器(210)的输入端;
边缘检测器(201)采用Sobel边缘检测的四个方向梯度算子Av,Ah,Ar和Al结合3×3像素亮度矩阵X,计算出四个方向上的梯度值Gv、Gh、Gr和Gl;然后取梯度绝对值的最大值Gmax,分别与阈值SOBEL_HIGH_TH和SOBEL_LOW_TH比较,将图像像素点分类得到整体边缘信息和强边缘信息,如公式(1)和(2)所示:
Gmax=max(|Gh|,|Gv|,|Gr|,|Gl|) (1)
edge_tmp(i,j)=(Gmax>SOBEL_LOW_TH)?1:0 (2)
stedge_tmp(i,j)=(Gmax>SOBEL_HIGH_TH)?1:0
式中,edge_tmp(i,j)和stedge_tmp(i,j)分别为图像(i,j)位置像素点的整体边缘信息和强边缘信息;阈值SOBEL_HIGH_TH和SOBEL_LOW_TH分别为270、65;
边缘检测器(201)对上述得到的Sobel边缘检测结果进行腐蚀和膨胀,具体的腐蚀和膨胀过程如公式(3)和(4)所示,最终边缘检测器(201)输出的整体边缘信息如公式(5)所示:
edge_expansion(i,j)=[!edge_tmp(i,j)]&&
{[edge_tmp(i-1,j-1)&&edge_tmp(i+1,j+1)]||
[edge_tmp(i,j-1)&&edge_tmp(i,j+1)]|| (4)
[edge_tmp(i+1,j-1)&&edge_tmp(i-1,j+1)]||
[edge_tmp(i-1,j)&&edge_tmp(i+1,j)]}
edge_map(i,j)=edge_corriosion(i,j)||edge_expansion(i,j) (5)
式中,edge_corrosion(i,j)为图像(i,j)位置像素点腐蚀后的整体边缘信息,edge_expansion(i,j)为图像(i,j)位置像素点膨胀后的整体边缘信息,edge_map(i,j)为边缘检测器201输出的图像(i,j)位置像素点较准确的整体边缘信息;
边缘检测器(201)对强边缘信息进行相同的膨胀和腐蚀过程,边缘检测器(201)最终输出的图像(i,j)位置像素点的强边缘信息为stedge_map(i,j);
平坦/纹理检测器(202),采用对待处理点周围像素亮度值进行数理统计的方法实现,对3×3像素亮度矩阵X计算亮度平均值μ和亮度平均绝对偏差MAD,分析待处理点所处像素矩阵中的亮度变化情况,如公式(6)和(7)所示:
&mu; = 1 9 &Sigma; i = 1 3 &Sigma; j = 1 3 X ( i , j ) - - - ( 6 )
M A D = 1 9 &Sigma; i = 1 3 &Sigma; j = 1 3 | X ( i , j ) - &mu; | - - - ( 7 )
将统计的亮度变化值与设定阈值TEXTURE_HIGH_TH、2·TEXTURE_LOW_TH和TEXTURE_LOW_TH比较:
t e x t u r e _ m a p ( i , j ) = 3 , i f M A D &GreaterEqual; T E X T U R E _ H I G H _ T H 2 , e l s e i f M A D &GreaterEqual; 2 &CenterDot; T E X T U R E _ L O W _ T H 1 , e l s e i f M A D &GreaterEqual; T E X T U R E _ L O W _ T H 0 , o t h e r s - - - ( 8 )
式中,texture_map(i,j)表示图像(i,j)位置像素点的纹理程度,其值越小说明待处理点所处位置越平坦;阈值TEXTURE_HIGH_TH和TEXTURE_LOW_TH的取值为16、2;
振铃噪声区域定位器(203)在7×11的窗内对上述得到的边缘信息和平坦/纹理信息进行综合分析,从而定位待处理点是否处于振铃噪声区域并判断其严重程度,如公式(9)所示:
r i n g _ m a p ( i , j ) = 3 , i f &lsqb; e d g e _ m a p ( i , j ) = = 1 &rsqb; | | &lsqb; t e x t u r e _ m a p ( i , j ) = = 2 &rsqb; 2 , e l s e i f &Sigma; s = - 3 3 &Sigma; t = - 3 3 s t e d g e _ m a p ( i + s , j + t ) &GreaterEqual; 3 1 , e l s e i f &Sigma; s = - 3 3 &Sigma; t = - 5 5 s t e d g e _ m a p ( i + s , j + t ) &GreaterEqual; 5 0 , o t h e r s - - - ( 9 )
式中,ring_map(i,j)表示了图像中(i,j)位置像素点的振铃噪声情况:当ring_map(i,j)为3时,说明待处理点处在边缘上或者纹理区域,需要保留之,故不滤波;当ring_map(i,j)为2时,说明待处理点在强边缘附近,由于强边缘附近的振铃噪声比较严重,所以需要较强的滤波方式抑制振铃噪声;当ring_map(i,j)为1时,说明待处理点在弱边缘附近,需要相对较弱的滤波方式抑制振铃噪声;当ring_map(i,j)为0时,说明待处理点不是振铃噪声点,不需要进行振铃噪声的抑制;
线检测器(204)检测单像素线条的方法包括:在垂直方向,当满足连续三行像素点A1、A2和A3同时分别比D1和E1、D2和E2及D3和E3都小或者都大LINE_TH1,且A1、A2和A3中最大值和最小值的差值小于LINE_TH2时,当前位置的像素点处在垂直单像素线条上,vline_map(i,j)被标记为1;同样,当满足连续三列A4、A5和A6同时分别比B1和C1、B2和C2及B3和C3都小或者都大LINE_TH1,且A4、A5和A6中最大值和最小值的差值小于LINE_TH2时,当前位置的像素点处在水平单像素线条上,hline_map(i,j)被标记为1;阈值LINE_TH1和LINE_TH2均为2;最终线检测器(204)的输出line_map(i,j)由公式(10)所得:
line_map(i,j)=vline_map(i,j)||hline_map(i,j) (10)
块边界检测器(205)进行块边界检测的方法包括:对于垂直块边界,假设的块边界附近相连六个像素点,P1、P2、P3、Q3、Q2和Q1的亮度关系同时满足公式(11)中的三个条件时,像素点P3和Q3之间可能存在垂直块边界:
条件1:BLK_MID_TH<D3<BLK_HIGH_TH;
条件2:max(D1,D2,D4,D5)<BLK_LOW_TH; (11)
条件3:D3>max(D1,D2,D4,D5).
式中,D1、D2、D3、D4和D5分别表示|P1-P2|、|P2-P3|、|P3-Q3|、|Q3-Q2|和|Q2-Q1|;BLK_LOW_TH、BLK_MID_TH和BLK_HIGH_TH的取值为2、1、15;
在7×6窗中,根据垂直块边界在垂直方向上的连续性,当连续至少四行满足公式(11)中的三个条件,且满足连续至少四行P3-Q3同号,表示待处理点处在存在块效应的垂直块边界上;在检测到存在块效应的块边界位置信息后,根据公式(12)判断块边界的强弱,垂直方向上块边界的检测结果vbd_map(i,j)如公式(12)所示,其中P3对应图像中(i,j)的位置:
v b d _ m a p ( i , j ) = 2 , i f | P 3 - Q 3 | > 5 &CenterDot; B L K _ M I D _ T H 1 , e l s e i f | P 3 - Q 3 | > B L K _ M I D _ T H 0 , o t h e r s - - - ( 12 )
选取6×7窗的候选像素矩阵,采用和垂直块边界检测相同的方法进行水平块边界的检测,最终得到水平块边界的检测结果hbd_map(i,j);
结合垂直和水平块边界信息,最终得出整体的块边界信息bd_map(i,j)及强块边界信息stbd_map(i,j),作为块边界检测器(205)的输出:
s t b d _ m a p ( i , j ) = 1 , i f &lsqb; v b d _ m a p ( i , j ) = = 2 &rsqb; | | &lsqb; h b d _ m a p ( i , j ) = = 2 &rsqb; 0 , o t h e r s - - - ( 13 )
b d _ m a p ( i , j ) = 1 , i f &lsqb; v b d _ m a p ( i , j ) &NotEqual; 0 &rsqb; | | &lsqb; h b d _ m a p ( i , j ) &NotEqual; 0 &rsqb; 0 , o t h e r s - - - ( 14 )
块效应滤波区域定位器(206),在块边界检测器(205)得到的块边界信息bd_map(i,j)的基础上,定位块边界上及附近需要滤波的区域;块效应滤波区域定位器(206)采用第三行第三列为待处理点的4×4窗来定位待处理点所处块效应滤波区域并定性该块效应的严重程度,定位过程如公式(15)所示:
抑制块效应滤波使能判决器(207),对上述检测得到的当前帧块边界信息bd_map(i,j)非零的情况进行计数,并统计该计数结果占整帧图像像素点数的比例,用ratio表示;根据块效应的严重程度,输出不同强度的抑制块效应滤波使能deblk_glenN,以供下一帧使用;
d e b l k _ glen N = 2 , i f r a t i o > T H _ B L K _ R A T I O 2 1 , e l s e i f r a t i o > T H _ B L K _ R A T I O 1 0 , o t h e r s - - - ( 16 )
式中,TH_BLK_RATIO1和TH_BLK_RATIO2的取值为1/64、23/512;当deblk_glenN为2时,说明视频图像中的块效应情况较严重;当deblk_glenN为1时,说明视频图像中的块效应较明显,需要进行块效应抑制处理;当deblk_glenN为0时,说明视频图像中不存在块效应或者块效应不明显,不需要进行块效应的抑制处理;
自适应均值滤波器(208)中亮度滤波结果如公式(17)所示:
y &prime; ( i , j ) = &Sigma; s = - M - 1 2 M - 1 2 &Sigma; t = - N - 1 2 N - 1 2 &omega; ( i + s , j + t ) &CenterDot; y ( i + s , j + t ) &Sigma; s = - M - 1 2 M - 1 2 &Sigma; t = - N - 1 2 N - 1 2 &omega; ( i + s , j + t ) - - - ( 17 )
&omega; ( i + s , j + t ) = 1 , i f | y ( i + s , j + t ) - y ( i , j ) | < f i l t e r _ t h 0 , o t h e r s - - - ( 18 )
式中,y(i,j)为当前待处理像素点的亮度;y'(i,j)为亮度滤波结果,滤波时所用的是以y(i,j)为中心像素点的M×N的窗;y(i+s,j+t)为M×N窗中(i+s,j+t)位置的像素亮度值;ω(i+s,j+t)为像素y(i+s,j+t)对应的权重;filter_th为自适应滤波阈值,由公式(19)得到:
式中,α1和α2为阈值调节系数,分别为1/8和3/32;FILTER_TH1、FILTER_TH2、FILTER_TH3和FILTER_TH4的取值分别为6、15、8、4;
自适应滤波器(208),根据不同的阈值filter_th,输出五类滤波结果给滤波选择器(209),分别为抑制振铃噪声的强滤波结果ystdr(i,j)和弱滤波结果ywkdr(i,j)以及抑制块效应的强滤波结果ystdb(i,j)、弱滤波结果ywkdb(i,j)和平坦区域补充滤波结果yflatdb(i,j);
滤波选择器(209),根据上述所得ring_map(i,j)和blk_map(i,j)信息,保留边缘、纹理和平坦区的单像素弱线条;然后再根据待处理点所在的区域和噪声强度以及上一帧得出的抑制块效应滤波使能deblk_glenN-1,从y(i,j)、ystdr(i,j)、ywkdr(i,j)、ystdb(i,j)、ywkdb(i,j)和yflatdb(i,j)中选择合适的结果作为最终的滤波结果yfiltered(i,j)从滤波选择器(209)输出,具体选择过程如公式(20)所示:
输出融合器(210)将待处理点原始亮度值和滤波选择器(209)滤波结果进行加权和输出;具体如公式(21)所示:
yout(i,j)=λ·y(i,j)+(1-λ)·yfiltered(i,j) (21)
式中,yout(i,j)为最终的亮度输出,λ为融合权重系数;λ的值由公式(22)和(23)求得:
&lambda; = 1 2 , i f &lsqb; &Sigma; s = - 2 2 &Sigma; t = - 2 2 &omega; &prime; ( i + s , j + t ) &rsqb; &GreaterEqual; 21 1 4 , e l s e i f &lsqb; &Sigma; s = - 2 2 &Sigma; t = - 2 2 &omega; &prime; ( i + s , j + t ) &rsqb; &GreaterEqual; 16 0 , o t h e r s - - - ( 22 )
&omega; &prime; ( i + s , j + t ) = 1 , i f | y ( i + s , j + t ) - y ( i , j ) | &le; B L E N D _ T H 0 , o t h e r s - - - ( 23 )
式中,ω'(i+s,j+t)表示了以(i,j)像素为中心的5×5窗内其他点与中心点间的亮度差异情况,阈值BLEND_TH设为3。
CN201410095798.2A 2014-03-14 2014-03-14 一种自适应补偿视频压缩失真的系统及方法 Active CN103888764B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410095798.2A CN103888764B (zh) 2014-03-14 2014-03-14 一种自适应补偿视频压缩失真的系统及方法
PCT/CN2014/076078 WO2015135241A1 (zh) 2014-03-14 2014-04-24 一种自适应补偿视频压缩失真的系统及方法
US14/836,817 US9706209B2 (en) 2014-03-14 2015-08-26 System and method for adaptively compensating distortion caused by video compression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410095798.2A CN103888764B (zh) 2014-03-14 2014-03-14 一种自适应补偿视频压缩失真的系统及方法

Publications (2)

Publication Number Publication Date
CN103888764A CN103888764A (zh) 2014-06-25
CN103888764B true CN103888764B (zh) 2017-02-15

Family

ID=50957454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410095798.2A Active CN103888764B (zh) 2014-03-14 2014-03-14 一种自适应补偿视频压缩失真的系统及方法

Country Status (3)

Country Link
US (1) US9706209B2 (zh)
CN (1) CN103888764B (zh)
WO (1) WO2015135241A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915535B (zh) * 2015-12-30 2022-09-27 展讯通信(天津)有限公司 一种图像去噪的方法及装置
CN106162184B (zh) 2016-07-28 2020-01-10 华为技术有限公司 一种数据块编码方法及装置
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
JP6821090B2 (ja) * 2018-04-12 2021-01-27 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US11386642B2 (en) * 2020-10-12 2022-07-12 Home Box Office, Inc. Image difference detection
CN113114934B (zh) * 2021-03-31 2022-08-05 太原理工大学 尿红细胞多焦距视频采集方法与系统
CN113689364B (zh) * 2021-10-27 2022-04-08 北京美摄网络科技有限公司 一种图像处理方法和装置
CN114697633B (zh) * 2022-03-29 2023-09-19 联想(北京)有限公司 视频传输方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045567A (zh) * 2009-10-13 2011-05-04 索尼公司 用于减少压缩图像和视频信号中的成块假象的方法和系统
CN103220529A (zh) * 2013-04-15 2013-07-24 北京大学 一种视频编解码环路滤波的实现方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2624087B2 (ja) * 1992-07-02 1997-06-25 松下電器産業株式会社 映像信号復号化方法
KR100242637B1 (ko) * 1996-07-06 2000-02-01 윤종용 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
TW200910971A (en) * 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
US8098951B2 (en) 2008-08-15 2012-01-17 Sharp Laboratories Of America, Inc. Image sharpening technique
KR101302660B1 (ko) * 2009-09-14 2013-09-03 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
US9674526B2 (en) * 2010-09-20 2017-06-06 Canon Kabushiki Kaisha Method and device for encoding and decoding a digital image signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045567A (zh) * 2009-10-13 2011-05-04 索尼公司 用于减少压缩图像和视频信号中的成块假象的方法和系统
CN103220529A (zh) * 2013-04-15 2013-07-24 北京大学 一种视频编解码环路滤波的实现方法

Also Published As

Publication number Publication date
WO2015135241A1 (zh) 2015-09-17
US20160044315A1 (en) 2016-02-11
CN103888764A (zh) 2014-06-25
US9706209B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN103888764B (zh) 一种自适应补偿视频压缩失真的系统及方法
US10965959B2 (en) Multi-frame quality enhancement for compressed video
US20200314418A1 (en) Boundary filtering method for intra prediction
KR100934539B1 (ko) 멀티미디어 비디오 통신 품질 측정 방법
US6807317B2 (en) Method and decoder system for reducing quantization effects of a decoded image
EP2311007B1 (en) Method and apparatus for banding artifact detection
US9014471B2 (en) Method of classifying a chroma downsampling error
Martini et al. Image quality assessment based on edge preservation
US6359658B1 (en) Subjective noise measurement on active video signal
CN104219525B (zh) 基于显著性和最小可察觉失真的感知视频编码方法
CN101911716A (zh) 评估感知质量的方法
CN107085833B (zh) 基于梯度倒数自适应开关均中值融合的遥感图像滤波方法
KR20140097528A (ko) 비디오 품질 측정을 위한 텍스처 마스킹
US9693078B2 (en) Methods and systems for detecting block errors in a video
EP0985318B1 (en) System for extracting coding parameters from video data
US20110135012A1 (en) Method and apparatus for detecting dark noise artifacts
CN105704485B (zh) 显示设备的性能参数检测方法和系统
CN106254723A (zh) 一种实时监测视频噪声干扰的方法
CN110728613A (zh) 基于块效应的非加性失真jpeg图像隐写方法
EP2112833B1 (en) Method and apparatus for measuring blockiness in video images
KR20060064487A (ko) 영상 프레임의 블록화 현상 제거 장치 및 그 방법
Lee et al. New full-reference visual quality assessment based on human visual perception
Triantafyllidis Image quality measurement in the frequency domain
CN113079374B (zh) 图像编码方法和装置
CN115063399A (zh) 一种基于双重矩形特性分析的图像马赛克检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant