CN103119939B - 用于识别块效应的技术 - Google Patents
用于识别块效应的技术 Download PDFInfo
- Publication number
- CN103119939B CN103119939B CN201180046956.XA CN201180046956A CN103119939B CN 103119939 B CN103119939 B CN 103119939B CN 201180046956 A CN201180046956 A CN 201180046956A CN 103119939 B CN103119939 B CN 103119939B
- Authority
- CN
- China
- Prior art keywords
- blocking effect
- row
- pixel
- gradient
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了可以被用来识别在垂直和水平方向上的块效应的技术。对于在垂直方向上的块效应,针对像素确定水平梯度。针对像素的行中的像素执行梯度平滑。确定水平梯度与梯度平滑之比。具有高于阈值的比率并且处于具有超过阈值长度的长度的分段中的任何像素被视为潜在地具有块效应。检查具有潜在地具有块效应的像素的每列,以确定列中的块效应的数目是否是局部最大值以及在列中是否存在足够数目的块效应。满足这两个条件的列被视为包括块效应。为了确定在水平方向上的块效应,使用与关于垂直方向所述的类似的技术,只是行和列被颠倒。
Description
技术领域
本文公开的主题总体上涉及用于识别和减少块效应(blockingartifacts)的技术。
背景技术
对于视频序列的存储和传输采用视频压缩以提高存储效率并减小用来传送视频的带宽。流行的视频标准(例如MPEG和H.264)采用基于块的压缩技术来实现比特率的降低。在这种技术中,首先将视频的每个帧分区成固定大小的不相交块的集合。然后,应用高级压缩方案以减少对每个块进行编码的比特的数目。压缩的不想要的后果是在经解码的视频中存在可见的块效应。在一些情况下,视频序列的压缩量越大,块效应越强。
去块效应(de-blocking)是后处理过程,其目的是减少或去除块效应并改进经解码的视频的视觉质量。一些现有去块效应技术假定:块具有已知大小(例如8x8像素),和/或关于块效应的强度(strength)的信息以量化参数的形式从解码器可得。然而,在视频后处理中,块大小和/或量化参数不能总是从解码器可得。此外,块的大小可能不一定是固定的,并且可能取决于几个因素,包括:
所采用的编码方法(例如MPEG或H.264)。
所采用的扫描方法(逐行或隔行)。
应用于图像的缩放。
在视频压缩中对运动补偿技术的使用,这导致块边界从其典型位置的移位。
因此,这种技术不能执行对包含非标准大小的块的图像或视频或者包含由于压缩视频序列中的运动补偿而移位的块的图像或视频的有效的去块效应。在一些情况下,可能存在残余块效应(blockiness),其中,未检测到块效应,或者输出图像可能遭受由于在整个图像中应用平滑而引起的细节损失。
在下列文章中描述了执行去块效应的各种技术:
HoonPack,Rin-ChulKim,andSang-UkLee,“OnthePOCS-basedPostprocessingTechniquetoReducetheBlockingArtifactsinTransformCodedImages,”IEEETransactionsOnCircuitsAndSystemsForVideoTechnology,Vol.8,No.3,June1998,pp.358–367。
AmirZ.Averbuch,AlonSchclar,andDavidL.Donoho,“DeblockingofBlock-TransformCompressedImagesUsingWeightedSumsofSymmetricallyAlignedPixels,”IEEETransactionsOnImageProcessing,Vol.14,No.2,February2005,pp.200–212。
ShuanhuWu,HongYan,andZhengTan,“AnEfficientWavelet-BasedDeblockingAlgorithmforHighlyCompressedImages,”IEEETransactionsOnCircuitsAndSystemsForVideoTechnology,Vol.11,No.11,November2001。
附图说明
在附图中作为示例而非作为限制来示出本发明的实施例,并且在附图中相似的附图标记指代类似的单元。
图1和2描绘了可以被用来检测平滑图像区域中的垂直块边缘的示例过程。
图3和4描绘了可以被用来识别垂直和水平块边缘的潜在块边缘的示例系统。
图5描绘了可以被用来执行隔行视频中的帧的去块效应的一个示例系统。
图6描绘了根据一个实施例的一个示例系统。
具体实施方式
在整个本说明书中对“一个实施例”或“一个实施例”的引用意味着,结合该实施例描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。因此,在整个本说明书中各处出现短语“在一个实施例中”或“一个实施例”不一定都指代相同实施例。此外,所述特定的特征、结构或特性可以在一个或多个实施例中进行组合。
各种实施例试图减少压缩图像和视频中的块效应。各种实施例估计每个图像中的块效应的位置和强度,并且试图在图像的平滑区域中的块与高细节的区域中的块之间进行区分。因此,可以在具有平滑或详细区域或者非均匀大小的块的压缩图像和视频中减小块效应,而同时保留输入的锐度水平。
可以将由压缩导致的块效应建模为在水平或垂直方向上的真实阶跃边缘(step-edge)。通过搜索这种阶跃边缘来确定块效应的位置。因此,自然图像中的边缘(其几乎不是真实阶跃)可能未被该技术不正确地检测为块。然而,约束在于试图以高置信度检测到真实块效应。一旦已知所述效应的位置,就测量在每个位置处块效应的强度。块效应的强度可以被用来控制自适应去块效应滤波器的参数或者以其他方式被使用。
图1描绘了检测平滑图像区域中的垂直块边缘的一个示例过程。平滑图像区域可以是具有从一个块至下一块的图像中慢变化的区域。框102包括确定压缩图像的水平梯度。水平梯度可以被用来找到强度的突然改变,其中强度描述了像素的亮度。Y[m,n]是在像素坐标(m,n)处的亮度或强度值,其中m值沿-y轴增大并且n值沿+x轴增大。给定压缩图像Y[m,n],则可以如下确定Y[m,n]的水平梯度的绝对值:
,
水平梯度是相同行中的相邻像素之差的绝对值。在(m,n)处的块边缘的步长是在(m,n)处的水平梯度GH的值。框102针对行中的每个像素坐标进行重复以确定行中的每个像素的水平梯度。
为了确定垂直梯度,确定相同列中的相邻像素之差的绝对值。
在已经确定行中的所有像素的水平梯度之后框104开始。框104包括确定在位置[m,n]处的像素的行中的水平梯度的低通滤波版本。应用低通滤波器帮助检测表示块效应的阶跃边缘。可以使用下式来计算与在位置[m,n]处的像素的行相同的行中的每个像素的低通滤波版本:
其中
2N+1是在位置[m,n]处的像素的行中的滤波器核的长度,并且当前像素在行的中央。
为了检测和测量水平块边缘,可以使用框104,只是计算与在位置[m,n]处的像素的列相同的列中的每个像素的低通滤波版本。
框106包括确定相同行中的像素的强度的逐像素改变。例如,可以确定水平梯度与水平梯度的低通滤波版本的逐像素比率。可以如下确定水平梯度与行中的像素的低通滤波版本的逐像素比率:
框108包括确定该比率是否超过阈值。图像中的强度的突然改变可能是由于图像中的纹理中的块效应或改变而引起的。可以以数学方式证明,在框106中确定的逐像素比率的最大值是2N+1并且是针对真实阶跃边缘而实现的,其中N是整数。发现值N=2给出对块边缘的满意的检测。许多真实世界图像可以包含一些量的噪声。在这种情况下,可以将块边缘建模为被加性噪声破坏的阶跃边缘。可以证明,这种被破坏的边缘的值低于理论最大值。因此,取代识别达到其最大值的像素,针对大于某一阈值T的像素进行搜索,其中T≤2N+1。然后将这些像素识别为潜在块边缘。因此,如果逐像素比率大于阈值T,则框110跟在框108之后。如果逐像素比率小于或等于阈值T,则框109跟在框108之后。
在一些应用中,可以将T设置为由用户指定的固定值。可以作为图像中的噪声电平(其是已知的或者通过其他手段来测量)的函数来设置阈值T。在视频应用中,可以自适应地将T设置为每个输入视频帧的取决于每个帧中的噪声电平的值。
对于仅具有压缩效应的图像或视频,T的选择涉及在丢失检测(未检测到的真实块效应)与假警报(被错误地检测为具有块效应的像素)之间的折衷。T的值越高,假警报越少。然而,真实块边缘将被遗漏的可能性更大。对于N=2,发现值T=4给出满意的结果。随机噪声在压缩图像序列中的存在可能不利地影响块效应检测器的性能。对于包含压缩和随机噪声的图像或视频,大小为h的阶跃边缘的的均值或期望值由下式给出:
其中是随机噪声的方差。
因此,一般地,随机噪声的存在降低了应当用于检测块边缘的阈值T。使用上面的关系,可以作为图像中的噪声电平的函数来设置T。噪声电平自身可以是已知的,或者可以例如通过估计平坦区域中的图像的标准偏差来测量。在视频应用中,可以自适应地将T设置为每个输入视频帧的取决于每个帧中的噪声电平的值。
框109指示,在坐标m和n处的像素不包括块效应。
框110包括选择其长度满足阈值长度的块边缘。在由框108识别的像素当中,很可能的是:将存在一些隔离的误报(falsepositive)。为了消除这些隔离的误报,框110执行一致性检验,以确定可以包括块效应并且处于相同列中的相邻像素是否具有最小长度CLENGTH。如果相邻的检测到的像素具有小于CLENGTH的长度,则将这些检测到的像素视为错误分类。在一些实施例中,如果下列为真,则将像素位置(m,n)分类为垂直块边缘位置:
都是潜在块边缘
对于任何。
为了检测和测量水平块边缘。将包括块效应并且处于相同行中的相邻的检测到的像素与值CLENGTH进行比较。
将CLENGTH的值固定涉及在误报与丢失块边缘之间的折衷。将CLENGTH设置为1意味着,由框108检测到的每个潜在块边缘被分类为真实块边缘。将CLENGTH设置为高值可能导致一些真实块边缘不被分类为块边缘。
框112形成潜在地具有块效应的像素的集合(表示为ΩV)。将通过框108和110的测试的像素包括在潜在地具有块效应的像素的集合中。
有纹理的图像区域可以包括颜色和图像强度的许多改变,并且块边界检测可能在有纹理的图像区域中比在平滑图像区域中更困难。在有纹理的区域中,块效应不能总是将其自身表现为阶跃边缘,并且因此不能使用图1的过程来检测。图2描绘了用于检测有纹理的图像区域中的垂直块边缘的过程。图2的过程的输入是来自图1的过程的输出,即被识别为潜在地具有块效应的像素。然而,在图像上使用图1的过程,而不管图像是平滑的还是有纹理的。
框202包括确定存在垂直块效应的每列中的像素位置的数目。可以从图1的框112提供存在垂直块效应的像素位置。可以使用图像/视频帧的高度来对该数目进行归一化,以便使后续步骤与分辨率无关。该归一化分数被表示为BV[k],其中k是列索引,该归一化分数可以被用来表示比率。例如,如果图像是720x480像素,则可以确定这720列中的每列的比率。在一些情况下,将BV[k]确定为:
“列中块效应的数目”/“列的长度”。
存在垂直块效应的每列中的像素位置的数目可以是在图1的框112中识别的像素的数目。列的长度可以是列中的像素的数目。例如,如果图像是720x480像素,则列的长度是480。
框204包括确定当前列的比率是否大于前一列和下一列的比率。框204确定当前列是否是相对于相邻列的尖峰。尖峰是局部最大值。局部最大值表示列具有块效应。BV[k-1]表示前一列的比率,并且BV[k+1]表示下一列的比率。框204包括确定BV[k]是否大于列BV[k-1]和BV[k+1]这二者。列BV[k-1]和BV[k+1]的一些像素可以包含具有块效应的像素。试图识别与其邻居相比具有块效应的像素的百分比更大的列。如果当前列的比率大于前一列和下一列的比率,则框206跟在框204之后。如果当前列的比率不大于前一列和下一列的比率,则框205跟在框204之后。
可以执行其他类型的比较,例如当前列的比率是否比相邻列的比率大某一百分比。
框206包括确定当前列是否具有大于阈值TBV的比率BV[k]。如果满足或超过该阈值,则该列被视为包括块效应。
如果已经经由分段过程将图像先验分类成平滑或有纹理的区域,则可以以区域自适应的方式设置该阈值。在缺少这种信息时,可以针对整个图像设置单个阈值。可以以实验方式确定这种全局阈值,或者可以向这种全局阈值自动地分配某一合理值,例如0.15(15%)。在一些实施例中,对于其比率超过阈值的每列,框208跟在框206之后。在一些实施例中,对于其比率未超过阈值的每列,框205跟在框206之后。
框208聚合其BV[k]的局部比率超过阈值TBV的列的集合。该集合中的列是最可能对应于真实块效应的列。在该列集合中,将存在未被图1的过程检测为块效应的位置。这些位置将很可能处于图像的有纹理的/详细的区中,这是因为否则所提出的检测技术将已经使用图1的过程检测到平滑区中的块效应。通过图2的过程,不仅已知块效应的位置,而且还已知这些位置是出现在平滑区域中还是出现在具有细节的区域中。
对于彩色图像,可以将检测方案应用于每个单独颜色平面。彩色图像包括三色平面(RGB或YUV)。这里描述的过程适用于单色平面(比方说RGB中的R或YUV中的Y)。可以针对彩色平面中的每一个重复整个过程。
因此,通过应用图1和2的过程,可以以高精度在压缩图像中检测到块效应的位置和强度。块效应的位置和强度可以被用来控制自适应去块效应滤波器的强度以降低块效应的可见性。所确定的块效应的强度可以被用来设置去块效应滤波的强度。可以将不同去块效应滤波器用于块效应的每个强度级别。因此,自适应去块效应滤波可以被应用于去除块效应,其中块效应是在保留输入图像中的细节级别的同时存在的。
下文描述确定块效应的强度的方式。如果在位置(m,n)处检测到潜在的块边缘,则使用该块边缘的步长以将边缘分类为强(STRONG)、中(MEDIUM)或弱(WEAK)。在(m,n)处的块边缘的步长可以是在(m,n)处的梯度GH的值(在图1的框102中确定的)。在一些实施例中,块强度分类可以是:
。
将LOW-_TH的缺省值选择为6并将MED_TH的缺省值选择为16。变量存储所检测到的块的强度。
块效应的强度可以被用来设置去块效应滤波器的强度。这可以通过确定图像中的块效应的平均强度而在每图像的基础上进行,或者可以通过使用在每个像素处的块效应的强度以自适应地确定该像素的去块效应的强度而在每像素的基础上进行。
可以针对已被分类为强块效应()的像素计算梯度的平均值。被表示为VSTRONG_METRIC的该平均值表示被分类为强垂直块效应的像素的块效应的平均强度。可以在强块效应的滤波中使用变量VSTRONG_METRIC。对于弱强度效应,使用值LOW_TH=6,以及对于中强度效应,使用值MEDIUM_TH=16。
去块效应滤波器将尖锐块边缘转换为更平滑的斜坡边缘。如果在位置(m,n)处存在块效应,则可以将去块效应滤波器应用于在所检测到的块效应的该位置处的像素的邻域。对于垂直块效应,如下定义像素的该邻域:
。
将FWIDTH的缺省值选择为四(4),尽管可以使用其他值。类似地,对于水平块效应,像素的邻域垂直地偏离感兴趣的像素。
如果在(m,n)处的块效应的强度由BCLASS[m,n]给出,则还将像素的邻域NV(m,n)中的所有点分类为具有强度BCLASS[m,n]。在像素(x,y)属于多于一个块效应的邻域的情况下,那么,通过向像素(x,y)给予更高强度来解决冲突。可以应用下列伪代码。
。
因此,应用垂直去块效应滤波器的点的全集包括已检测到块效应的点以及这种点的对应邻域。在数学上为:
。
对块效应的去除可以涉及在具有所检测到的块效应的像素位置周围的点的邻域中应用双边滤波器。在特定像素位置处应用的双边滤波器的参数由在该位置处存在的块效应的强度(即弱、中、或强)自适应地确定。接下来描述一个可能的过程。
对于潜在地具有块效应的像素的集合()中的每个像素,沿水平方向(针对像素的行)应用双边滤波器以使用下列关系来获得输出滤波像素值:
其中,
。
由滤波器产生的平滑的量由所估计出的效应强度来控制。滤波器被设计成使得滤出与所估计出的效应强度可比的强度的阶跃边缘(从而减少块效应),但是使更大强度的边缘有效地保持原样。
以实验方式确定了导致经滤波的输出的优良视觉质量。可以使用其他值。
可以如下选择值:
。
VSTRONG_METRIC表示被分类为强垂直块效应的像素的梯度的平均强度。
对水平块效应的去除涉及与针对垂直块效应的滤波操作相同的滤波操作,只是用1-D列滤波来替换1-D行滤波。
已知的是,块效应在平滑区域中最可见,并且纹理/精细细节的存在在一定程度上掩盖了块效应的存在。因此,基于通过上面的过程获得的信息,可以使去块效应滤波器的强度在平滑区域中更强并在有纹理的细节中减小。这具有下述效果:显著地降低对块效应的感知,而同时保留图像或视频中的细节的级别。
如果可以在代码转换器的解码器和编码器之间使用去块效应滤波器,则针对给定的压缩级别/比特率应当改进经代码转换的输出的质量。
图3描绘了可以被用来识别垂直和水平块边缘的一个示例系统。输入可以是压缩图像或视频帧。可以根据诸如任何形式的MPEG或者其他图像或视频压缩标准之类的标准来压缩图像。单元302-308可以执行垂直块边缘分类。水平梯度框302可以确定水平梯度以找到像素的强度的突然改变。水平梯度框302可以执行关于框102(图1)描述的操作。梯度平滑框304可以在水平梯度上应用低通滤波。梯度平滑框304可以执行关于框104描述的操作。比率框306可以执行关于框106描述的操作。垂直块边缘分类器框308可以确定像素的列是否包括块效应。垂直块边缘分类器框308可以执行关于框108、110和112描述的操作。
类似于框302-308中的垂直块边缘分类,相应框312-318执行识别水平块边缘的水平块边缘分类的操作。垂直梯度框312可以确定像素的垂直梯度。梯度平滑框314可以在垂直梯度上应用低通滤波。比率框316可以以与框306的方式类似的方式确定垂直梯度与该梯度的低通滤波版本之比。水平块边缘分类器318可以通过执行与关于框108、110和112描述的操作类似的操作来确定像素的行是否包括块效应。
图4描绘了可以识别有纹理的区域中的垂直和水平块边缘的系统的一个实例。可以将垂直块边缘的二值图输入至垂直块效应计数器402。可以将使用图1的过程确定的块边缘的图输入至框402。垂直块效应计数器402可以确定包括块效应的列中的像素的数目。垂直块效应计数器402可以执行图2的框202的操作。最大值检测器404可以确定当前列是否表示包括块效应的列中的像素的数目的局部最大值。最大值检测器404可以执行图2的框204的操作。纹理块边缘分类器406可以形成具有块效应的列的集合。如果列中的块效应的数目与列中的像素的数目之比超过阈值,则该列可以被视为具有块效应。纹理块边缘分类器406可以执行框206和208的操作。
对于水平块边缘,水平块效应计数器412可以确定包括块效应的行中的像素的数目。最大值检测器414可以确定包括块效应的行是否具有块效应的数目相对于相邻行的局部最大值。如果行中的块效应的数目与行的长度之比超过阈值,则纹理块边缘分类器416可以将该行分类为具有块效应。
在隔行视频中,将在不同时刻处捕获的两个场编织在一起以形成单个隔行帧。隔行内容对去块效应提出附加挑战。图5描绘了可以被用来执行隔行视频中的帧的去块效应的系统的一个实例。垂直块效应检测框452可以使用本文描述的过程、针对具有每隔一行的线的帧中的效应来检测垂直块效应。每隔一行的线可以被视为相邻像素。水平检测框454可以使用本文描述的过程来检测水平块效应。垂直去块效应滤波器456可以在垂直和水平块效应检测之后基于水平梯度来应用去块效应滤波。去块效应滤波可以基于块效应的强度而进行。去隔行器458可以在视频上执行去隔行以产生合并帧。水平去块效应滤波器460可以基于垂直梯度来执行水平去块效应。去块效应滤波可以基于块效应的强度而进行。有纹理的区域中的去块效应462可以执行与平滑区域中的滤波类似的滤波,这是因为可以使用相同类型的双边滤波器。可以使用块效应的平均强度来针对有纹理的区域中的所有像素控制滤波器的强度,而不是如可以在平滑区域中所进行的那样将效应分类为强、中和弱。
对水平块效应的滤波涉及在垂直方向上的滤波。这种操作可以不在隔行帧(奇数场和偶数场都被交织的帧)上执行。与交织场的帧相反,滤波可以在单个场上进行,但是存在导致过度平滑的风险。这是因为在该场中相距一个像素出现的点在去隔行的图像中实际上相距两个像素。因此,可能期望在去隔行操作之后执行垂直滤波。
另一方面,去隔行可以涉及对丢失场的某种类型的内插。其结果是,在场中作为真实阶跃边缘而出现的块效应可能在执行去隔行操作之后不是真实阶跃边缘。这可能降低块效应的检测的精度。因此,在去隔行操作之前执行检测可能是优选的。
图6描绘了根据一个实施例的一个示例系统。计算机系统500可以包括主机系统502和显示器522。计算机系统500可以被实施在手持个人计算机、移动电话、机顶盒、或任何计算设备中。任何类型的用户接口都是可用的,例如小键盘、鼠标、和/或触摸屏。主机系统502可以包括芯片组505、处理器510、主机存储器512、存储装置514、图形子系统515和无线电装置520。芯片组505可以提供处理器510、主机存储器512、存储装置514、图形子系统515和无线电装置520之间的相互通信。例如,芯片组505可以包括能够提供与存储装置514的相互通信的存储适配器(未描绘)。
处理器510可以被实施为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核、或者任何其他微处理器或中央处理单元。
主机存储器512可以被实施为易失性存储器设备,例如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。存储装置514可以被实施为非易失性存储设备,例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附着的存储设备、闪速存储器、电池备份SDRAM(同步DRAM)、和/或网络可访问存储设备。
图形子系统515可以执行对图像(例如静止图像或视频)的处理以供显示。可以使用模拟或数字接口、以通信方式将图形子系统515和显示器522进行耦合。例如,接口可以是高清多媒体接口、显示端口、无线HDMI、和/或符合无线HD的技术中的任一个。图形子系统515可以被集成至处理器510或芯片组505中。图形子系统515可以是以通信方式与芯片组505耦合的独立卡。在各种实施例中,处理器510和/或图形子系统515执行基于本文所述的技术来识别块效应并潜在地纠正块效应的指令。
无线电装置520可以包括能够根据适用的无线标准(例如但不限于IEEE802.11和IEEE802.16的任何版本)传送和接收信号的一个或多个无线电装置。例如,无线电装置520可以至少包括物理层接口和媒体接入控制器。
可以在各种硬件架构中实施本文描述的图形和/或视频处理技术。例如,图形和/或视频功能可以被集成在芯片组内。可替换地,可以使用分立的图形和/或视频处理器。作为又一实施例,图形和/或视频功能可以由包括多核处理器的通用处理器来实施。在另一实施例中,可以在消费电子设备中实施这些功能。
本发明的实施例可以被实施为下述中的任一个或组合:使用母板所互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并且由微处理器执行的软件、固件、专用集成电路(ASIC)、和/或现场可编程门阵列(FPGA)。作为实例,术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。
本发明的实施例可以例如作为计算机程序产品而被提供,所述计算机程序产品可以包括其上存储有机器可执行指令的一个或多个机器可读介质,所述机器可执行指令在被一个或多个机器(例如计算机、计算机的网络、或者其他电子设备)执行时可以导致所述一个或多个机器执行根据本发明的实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(光盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器、或者适合用于存储机器可执行指令的其他类型的介质/机器可读介质。
附图和前述描述给出了本发明的实例。尽管被描绘为多个完全不同的功能项目,但是本领域技术人员将认识到,完全可以将这些单元中的一个或多个组合成单个功能单元。可替换地,可以将特定单元分裂成多个功能单元。可以将来自一个实施例的单元添加至另一实施例。例如,本文描述的过程的顺序可以改变,并且不限于本文描述的方式。此外,不需要按照所示的顺序来实施任何流程图的动作;也不一定需要执行所有动作。此外,可以与其他动作并行地执行不取决于其他动作的那些动作。然而,本发明的范围决不受这些特定实例限制。无论是否在说明书中显式地给出,许多变型(例如在结构、尺寸和材料使用方面的差别)是可能的。本发明的范围至少与由后面的权利要求所给出的范围一样宽。
Claims (16)
1.一种用于识别和减少块效应的方法,包括:
在没有先前识别压缩图像的编码参数的情况下识别潜在块效应的位置;
确定所述压缩图像中的块效应的强度;以及
部分地基于所述位置和所述强度来将滤波应用于所述压缩图像,
其中,识别潜在块效应的位置包括:
确定所述压缩图像中的所选像素的水平梯度;
确定所选像素的水平梯度是否足够不同于与所选像素的行相同的行中的其他像素的水平梯度;
确定长度是否超过阈值长度,其中所述长度是与所选像素的列相同的列中的相邻像素的长度,并且所述相邻像素具有足够不同的水平梯度;以及
响应于所述长度超过所述阈值长度,将所述相邻像素识别为潜在地具有块效应。
2.根据权利要求1所述的方法,其中,所述编码参数包括块大小和量化参数。
3.根据权利要求1所述的方法,其中,确定所述像素的水平梯度是否足够不同于与所选像素的行相同的行中的其他像素的水平梯度包括:
确定所选像素的行中的像素的梯度平滑;
确定所述水平梯度与所述梯度平滑之比;以及
确定所述梯度与所述梯度平滑之比是否大于阈值。
4.根据权利要求1所述的方法,还包括:
确定具有潜在地具有块效应的像素的列是否具有与像素的相邻列相比局部最大值数目的块效应;
确定在所述列中是否存在足够数目的块效应;以及
响应于所述列具有局部最大值数目的块效应和足够数目的块效应,将所述列识别为包括块效应。
5.根据权利要求1所述的方法,还包括:
确定具有潜在地具有块效应的像素的列是否具有与像素的相邻列相比、所述列中的块效应的数目与像素的数目的局部最大值比率;
确定所述列中的块效应的数目与像素的数目的比率是否足够大;以及
响应于所述列具有局部最大值和足够的比率,将所述列识别为包括块效应。
6.根据权利要求5所述的方法,还包括:
确定所述压缩图像的帧中的每列的块效应的强度。
7.一种用于识别和减少块效应的设备,包括:
块效应检测逻辑,所述块效应检测逻辑被配置成:
在没有接收到对与压缩图像相关联的编码参数的识别的情况下识别所述压缩图像中的潜在块效应的位置;以及
确定所述压缩图像中的块效应的强度;以及
双边滤波器,所述双边滤波器部分地基于块效应的所述位置和强度来将滤波应用于所述压缩图像,
其中,为了识别潜在块效应的位置,所述块效应检测逻辑:
确定所述压缩图像中的所选像素的水平梯度;
确定所选像素的水平梯度是否足够不同于与所选像素的行相同的行中的其他像素的水平梯度;
确定长度是否超过阈值长度,其中所述长度是与所选像素的列相同的列中的相邻像素的长度,并且所述相邻像素具有足够不同的水平梯度;以及
响应于所述长度超过所述阈值长度,将所述相邻像素识别为潜在地具有块效应。
8.根据权利要求7所述的设备,其中,所述编码参数包括块大小和量化参数。
9.根据权利要求7所述的设备,其中,为了确定所选像素的水平梯度是否足够不同于与所选像素的行相同的行中的其他像素的水平梯度,所述块效应检测逻辑:
确定像素的行中的像素的梯度平滑;
确定所述水平梯度与所述梯度平滑之比;以及
确定所述水平梯度与所述梯度平滑之比是否大于阈值。
10.根据权利要求7所述的设备,其中,所述块效应检测逻辑还:
确定具有潜在地具有块效应的像素的列是否具有与像素的相邻列相比局部最大值数目的块效应;
确定在所述列中是否存在足够数目的块效应;以及
响应于所述列具有局部最大值数目的块效应和足够数目的块效应,将所述列识别为包括块效应。
11.根据权利要求10所述的设备,其中,所述块效应检测逻辑还:
确定压缩图像的帧中的每列的块效应的强度;以及
确定压缩图像的帧中的每行的块效应的强度。
12.一种用于识别和减少块效应的系统,包括:
至少一个天线;
无线电装置,所述无线电装置以通信方式耦合至所述至少一个天线;以及
计算机,所述计算机以通信方式耦合至所述无线电装置,所述计算机被配置成:
与先前识别与压缩图像相关联的编码参数无关地识别潜在块效应的位置;
确定所述压缩图像中的块效应的强度;以及
部分地基于块效应的所述位置和强度来将滤波应用于所述压缩图像,
其中,为了识别潜在块效应的位置,所述计算机:
确定所述压缩图像中的所选像素的水平梯度;
确定所选像素的水平梯度是否足够不同于与所选像素的行相同的行中的其他像素的水平梯度;
确定长度是否超过阈值长度,其中所述长度是与所选像素的列相同的列中的相邻像素的长度,并且所述相邻像素具有足够不同的水平梯度;以及
响应于所述长度超过所述阈值长度,将所述相邻像素识别为潜在地具有块效应。
13.根据权利要求12所述的系统,其中,所述编码参数包括块大小和量化参数。
14.根据权利要求12所述的系统,其中,为了确定所选像素的水平梯度是否足够不同于相同行中的其他像素的水平梯度,所述计算机:
确定像素的行中的像素的梯度平滑;
确定所述水平梯度与所述梯度平滑之比;以及
确定所述水平梯度与所述梯度平滑之比是否大于阈值。
15.根据权利要求12所述的系统,其中,所述计算机还被配置成:
确定具有潜在地具有块效应的像素的列是否具有与像素的相邻列相比局部最大值数目的块效应;
确定在所述列中是否存在足够数目的块效应;以及
响应于所述列具有局部最大值数目的块效应和足够数目的块效应,将所述列识别为包括块效应。
16.根据权利要求12所述的系统,其中,所述计算机还被配置成:
确定压缩图像的帧中的每列的块效应的强度;以及
确定压缩图像的帧中的每行的块效应的强度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/860,276 US8542751B2 (en) | 2010-08-20 | 2010-08-20 | Techniques for identifying and reducing block artifacts |
US12/860276 | 2010-08-20 | ||
PCT/US2011/046496 WO2012024089A2 (en) | 2010-08-20 | 2011-08-03 | Techniques for identifying block artifacts |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103119939A CN103119939A (zh) | 2013-05-22 |
CN103119939B true CN103119939B (zh) | 2016-06-08 |
Family
ID=45594068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180046956.XA Expired - Fee Related CN103119939B (zh) | 2010-08-20 | 2011-08-03 | 用于识别块效应的技术 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8542751B2 (zh) |
KR (1) | KR101446449B1 (zh) |
CN (1) | CN103119939B (zh) |
TW (1) | TWI477153B (zh) |
WO (1) | WO2012024089A2 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2127390A2 (en) * | 2006-12-28 | 2009-12-02 | Thomson Licensing | Detecting block artifacts in coded images and video |
US9300946B2 (en) * | 2011-07-08 | 2016-03-29 | Personify, Inc. | System and method for generating a depth map and fusing images from a camera array |
KR101892329B1 (ko) * | 2011-11-03 | 2018-08-27 | 톰슨 라이센싱 | 이미지 정교화에 기초한 비디오 인코딩 및 디코딩 |
CN103390262B (zh) * | 2012-05-11 | 2016-06-29 | 华为技术有限公司 | 数字滤波器权重系数的获取方法和装置 |
AU2012387578A1 (en) | 2012-08-09 | 2015-01-22 | Thomson Licensing | Method and apparatus to detect artificial edges in images |
KR102393724B1 (ko) * | 2015-08-31 | 2022-05-04 | 엘지디스플레이 주식회사 | 표시장치와 그 얼룩 보상 방법 |
KR20180062002A (ko) * | 2016-11-30 | 2018-06-08 | 재단법인대구경북과학기술원 | 블록 아티팩트를 제거하는 적응적 비트레이트 선택 방법 |
US10694202B2 (en) * | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
CN114125472B (zh) * | 2021-11-26 | 2023-10-24 | 湖南中科助英智能科技研究院有限公司 | 基于空域感知的块效应检测方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1937780A (zh) * | 2005-09-23 | 2007-03-28 | 逐点半导体(上海)有限公司 | 压缩视频中分块效应的消除方法 |
CN101472177A (zh) * | 2007-12-27 | 2009-07-01 | 宝利微电子系统控股公司 | 一种块效应检测方法 |
CN101527842A (zh) * | 2008-03-07 | 2009-09-09 | 瑞昱半导体股份有限公司 | 过滤区块效应的图像处理方法及装置 |
WO2010016820A1 (en) * | 2008-08-08 | 2010-02-11 | Thomson Licensing | Method and apparatus for banding artifact detection |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5475428A (en) * | 1993-09-09 | 1995-12-12 | Eastman Kodak Company | Method for processing color image records subject to misregistration |
US6335990B1 (en) * | 1997-07-03 | 2002-01-01 | Cisco Technology, Inc. | System and method for spatial temporal-filtering for improving compressed digital video |
JP4186242B2 (ja) * | 1997-12-26 | 2008-11-26 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
EP0951181A1 (en) * | 1998-04-14 | 1999-10-20 | THOMSON multimedia | Method for detecting static areas in a sequence of video pictures |
US7054500B1 (en) * | 2000-12-06 | 2006-05-30 | Realnetworks, Inc. | Video compression and decompression system with postfilter to filter coding artifacts |
US6983079B2 (en) | 2001-09-20 | 2006-01-03 | Seiko Epson Corporation | Reducing blocking and ringing artifacts in low-bit-rate coding |
US6959170B2 (en) * | 2001-12-20 | 2005-10-25 | Motorola, Inc. | Communications receivers and methods therefor |
US20050013494A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | In-loop deblocking filter |
US7432936B2 (en) * | 2004-12-02 | 2008-10-07 | Avid Technology, Inc. | Texture data anti-aliasing method and apparatus |
US7362378B2 (en) * | 2005-01-10 | 2008-04-22 | Matsushita Electric Industrial Co., Ltd. | Method of edge based pixel location and interpolation |
SG130962A1 (en) * | 2005-09-16 | 2007-04-26 | St Microelectronics Asia | A method and system for adaptive pre-filtering for digital video signals |
US20070280552A1 (en) * | 2006-06-06 | 2007-12-06 | Samsung Electronics Co., Ltd. | Method and device for measuring MPEG noise strength of compressed digital image |
TWI330041B (en) * | 2006-11-28 | 2010-09-01 | Realtek Semiconductor Corp | Image processing method and device for performing block effect reduction |
EP2127390A2 (en) | 2006-12-28 | 2009-12-02 | Thomson Licensing | Detecting block artifacts in coded images and video |
JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
EP2153673B1 (en) * | 2007-05-02 | 2020-01-01 | Tyco Fire & Security GmbH | Wireless communication system |
JP5137687B2 (ja) * | 2008-05-23 | 2013-02-06 | キヤノン株式会社 | 復号装置及び復号方法、プログラム |
US20090304085A1 (en) * | 2008-06-04 | 2009-12-10 | Novafora, Inc. | Adaptive Deblocking Complexity Control Apparatus and Method |
KR20100013277A (ko) * | 2008-07-30 | 2010-02-09 | 삼성전자주식회사 | 디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치 |
WO2010026544A1 (en) * | 2008-09-04 | 2010-03-11 | Nxp B.V. | Spatial noise reduction circuit and approach therefor |
ES2602326T3 (es) * | 2009-04-20 | 2017-02-20 | Dolby Laboratories Licensing Corporation | Selección de filtro para pre-procesamiento de vídeo en aplicaciones de vídeo |
US8194918B2 (en) * | 2010-02-05 | 2012-06-05 | Seiko Epson Corporation | Embedded message extraction for visible watermarking |
-
2010
- 2010-08-20 US US12/860,276 patent/US8542751B2/en not_active Expired - Fee Related
-
2011
- 2011-08-03 KR KR1020137004176A patent/KR101446449B1/ko active IP Right Grant
- 2011-08-03 CN CN201180046956.XA patent/CN103119939B/zh not_active Expired - Fee Related
- 2011-08-03 WO PCT/US2011/046496 patent/WO2012024089A2/en active Application Filing
- 2011-08-05 TW TW100128004A patent/TWI477153B/zh not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1937780A (zh) * | 2005-09-23 | 2007-03-28 | 逐点半导体(上海)有限公司 | 压缩视频中分块效应的消除方法 |
CN101472177A (zh) * | 2007-12-27 | 2009-07-01 | 宝利微电子系统控股公司 | 一种块效应检测方法 |
CN101527842A (zh) * | 2008-03-07 | 2009-09-09 | 瑞昱半导体股份有限公司 | 过滤区块效应的图像处理方法及装置 |
WO2010016820A1 (en) * | 2008-08-08 | 2010-02-11 | Thomson Licensing | Method and apparatus for banding artifact detection |
Also Published As
Publication number | Publication date |
---|---|
TWI477153B (zh) | 2015-03-11 |
WO2012024089A3 (en) | 2012-04-26 |
TW201223287A (en) | 2012-06-01 |
KR101446449B1 (ko) | 2014-10-07 |
US8542751B2 (en) | 2013-09-24 |
US20120044989A1 (en) | 2012-02-23 |
WO2012024089A2 (en) | 2012-02-23 |
CN103119939A (zh) | 2013-05-22 |
KR20130038393A (ko) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103119939B (zh) | 用于识别块效应的技术 | |
US8244054B2 (en) | Method, apparatus and integrated circuit capable of reducing image ringing noise | |
US9241091B2 (en) | Image processing device, image processing method, and computer program | |
US20070110329A1 (en) | Data processing apparatus, data processing method, and program | |
KR20090102610A (ko) | 영상 스케일링 검출 방법 및 장치 | |
EP2240905B1 (en) | Sparse geometry for super resolution video processing | |
US6611295B1 (en) | MPEG block detector | |
US20090226097A1 (en) | Image processing apparatus | |
US8363978B2 (en) | System and method for block edge location with varying block sizes and offsets in compressed digital video | |
CN107360435A (zh) | 块效应检测方法、块噪声滤除方法及装置 | |
CN101461252B (zh) | 视频匹配装置和视频匹配方法 | |
US20080085059A1 (en) | Image processing method and device for performing mosquito noise reduction | |
US20100246990A1 (en) | System and method for measuring blockiness level in compressed digital video | |
US20080056597A1 (en) | Directional interpolation method using frequency information and related device | |
CN101222622B (zh) | 适应性消除数据块边界效应的电路及相关方法 | |
US8731281B2 (en) | Wavelet transform on incomplete image data and its applications in image processing | |
US20100260435A1 (en) | Edge Directed Image Processing | |
EP1654881A1 (en) | Block artifacts detection | |
CN102742271B (zh) | 在使用离散余弦变换的图像压缩中检测量化噪声的伪影 | |
WO2002056252A2 (en) | Apparatus and method for boundary detection in vector sequences and edge detection in color image signals | |
CN102457696B (zh) | 影像处理装置及影像处理方法 | |
EP1964058A2 (en) | Reduction of compression artefacts in displayed images | |
KR101650897B1 (ko) | 저해상도 컨텐츠를 위한 윈도우 사이즈 주밍 방법 및 그 장치 | |
CN102938823A (zh) | 图像处理设备和图像处理方法 | |
CN101389019A (zh) | 一种视频处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160608 Termination date: 20190803 |