CN101573980B - 检测编码图像和视频中的块伪影 - Google Patents
检测编码图像和视频中的块伪影 Download PDFInfo
- Publication number
- CN101573980B CN101573980B CN2007800488314A CN200780048831A CN101573980B CN 101573980 B CN101573980 B CN 101573980B CN 2007800488314 A CN2007800488314 A CN 2007800488314A CN 200780048831 A CN200780048831 A CN 200780048831A CN 101573980 B CN101573980 B CN 101573980B
- Authority
- CN
- China
- Prior art keywords
- block
- shadow
- pseudo
- picture
- artifacts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
- H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
提供了一种使用经编码的图像和视频中的多个特征来进行块伪影检测和块伪影确定的方法。一种方法包括:识别(910)图片中的相对于当前块的多个重叠块。多个重叠块中的每一个覆盖当前块的一部分以及相邻块的一部分。该方法还包括:将多个重叠块中的至少一个变换(920)成与亮度分量和色度分量中的至少一个相对应的各自的系数。该方法还包括:当与多个重叠块中的至少一个相对应的系数大于一预定值时,识别出(930)多个重叠块中的所述至少一个的块伪影。像素域块效应检测也被提出,并且可以与上述变换域分析相结合。
Description
本申请基于35 U.S.C.119(e)要求2006年12月28日递交的美国临时专利申请No.60/877549的优先权。
技术领域
本申请一般地涉及图像和/或视频处理,并且更具体而言,用于检测编码图像和视频中的块伪影(block artifact)。
背景技术
图像或视频压缩伪影是由于可用比特的不适当分配而通过数字图像或视频压缩算法而引起的。作为最令人反感的压缩伪影之一,块伪影被认为是经压缩的图片的块边界处的不想要的不连续。块伪影在具有高清晰格式以及高分辨率显示的情况下变得尤其明显。操作员手工确定伪影的位置以此作为重编码处理的一部分的做法在很多图像和视频编码应用中不可行,因为找到这些块伪影所需要的时间量会使处理变得非常昂贵。因此,有必要执行自动块伪影检测并减小经压缩图片中的块状表象(blockyappearance)。
一旦特定图片中的块伪影被检测到,就可以对图片应用具有新编码参数的重编码或后处理算法,以便校正该图片中的块状表象。后处理或重编码算法可以基于检测到的块伪影位置对编码参数进行微调,以便获得更好的图片质量。块伪影的强度是伪影检测的另一重要方面,其可以引导后处理或重编码算法微调其参数,以进一步提高图片质量。
在某些以受限的比特率约束在经压缩的视频序列中执行自动伪影校正的应用中,可以执行如下可选步骤:使得每个图片的总块效应(blockiness)伪影度量针对视频编码器按顺序排列,以确定利用可用比特对哪些图片进行重编码。就是说,某些经编码的图片将具有比其他经编码的图片更多的块伪影。因此,块效应伪影度量是一种测量各个经编码的图片彼此之间的块效应的标准方式。
因此,需要能够自动检测块伪影并确定每个块和每个图片的伪影强度的算法。
已经提出多种现有技术方法,用于检测块伪影并用于利用各种视频校正技术校正从低到高比特率图像中的这些伪影。但是,这些现有技术方法中很少仅集中在伪影检测和度量确定的。此外,现有技术方法似乎没有解决针对利用各种高比特率的图片或视频压缩方法的块伪影检测的问题。
在第一现有技术方法中,提出一种块伪影度量确定算法。该第一现有技术方法将一宏块中的像素值的平均值与其相邻宏块的平均值相比较。各个差值被相加以获得总的块效应度量。一简单的边沿检测器被用来排除伪影的真实边沿。第二现有技术方法提出一种使用块边界处的像素值的伪影检测度量。在块边界两侧的两个连续的像素值被滤波,并且经过率的值被相加以获得总的块效应度量。在第三现有技术方法中,一种操作图像亮度值的块伪影度量被提出。该第三现有技术方法在计算和比较块的平均值的意义上类似于第一现有技术方法,其区别在于仅考虑具有恒定强度的那些块。
第一、第二和第三现有技术方法都没有考虑经压缩的图像和视频的感受因素和其他属性,因此不能直接应用于高分辨率显示。第一、第二和第三现有技术方法主要利用以低到中比特率压缩的视频或图像内容来测试。高清晰视频压缩需要更高质量以及更高比特率。甚至在较小显示屏(例如蜂窝电话或个人计算机监视器)中不可见的最小伪影在高分辨率显示中也是可见的。
第四和第五现有技术方法考虑到感受因素。在第四现有技术方法中,通过考虑在块边界处的像素差值之和来得到块度量,其中所述差值利用像素强度进行了加权。介于70和90之间(例如在8比特灰阶图像中)的灰度值比暗像素以及亮像素更多地被加权。在第五现有技术方法中,提出一种考虑到某些感受因素的块伪影检测方案。具体讲,背景亮度和背景活性(activity)被用作影响伪影可见性的感受因素。为了得到感受模型参数,视觉实验被执行。具有不同背景的包括具有不同长度和幅度的边沿的图像被显示给人类主体,并且基于这些主体的视觉感受来确定边沿图案的可见性。基于主观结果,隐蔽伪影的感受参数被找到。在第五现有技术方法中使用的某些感受特征很有用(例如背景活性),并且某些感受特征很有趣但是非常复杂(例如并入到视频编码处理中的用于获得感受参数的频域处理)。
环内去块效应滤波器(in-loop de-blocking filter)是另一种抑制块伪影的工具,其基于国际标准化组织/国际电工技术委员会(ISO/IEC)运动图片专家组4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟,电信部门(ITU-T)H.264推荐(下称“MPEG-4 AVC标准”)来抑制视频压缩应用中的块伪影。环内去块效应滤波器的提出既针对伪影检测也针对伪影校正。该滤波自适应于由经压缩的域信息所确定的块效应强度。滤波在块边界附近的重构像素上进行平滑。但是,在对高分辨率内容进行非常高比特率编码时,我们希望保留的空间细节在启动去块效应滤波器时会丢失或模糊。
因此,在现有技术中,检测块伪影的问题没有得到完善解决,和/或没有考虑到高清晰内容的属性和各种相应的感受特征。
发明内容
现有技术的这些和其他缺陷和缺点可以利用本发明来解决,本发明用于提供使用经编码的图像和视频中的多个特征来检测块伪影和进行块伪影度量确定的方法和装置。
根据本发明的一个方面,提供了一种用于检测块伪影的方法。该方法包括识别图片中的相对于当前块的多个重叠块。多个重叠块中的每一个覆盖当前块的一部分以及相邻块的一部分。该方法还包括:将多个重叠块中的至少一个变换成与亮度分量和色度分量中的至少一个相对应的各自的系数。该方法还包括:当与多个重叠块中的至少一个相对应的系数大于一预定值时,识别出多个重叠块中的所述至少一个的块伪影。
根据本发明的另一方面,提供了一种用于检测块伪影的装置。该装置包括块伪影检测器,用于识别图片中的相对于当前块的多个重叠块。多个重叠块中的每一个覆盖当前块的一部分以及相邻块的一部分。该块伪影检测器将多个重叠块中的至少一个变换成与亮度分量和色度分量中的至少一个相对应的各自的系数,并且当与多个重叠块中的至少一个相对应的系数大于一预定值时,识别出多个重叠块中的所述至少一个的块伪影。
根据本发明的又一方面,提出一种用于检测块伪影的方法。该方法包括:通过对在图片中的至少一个块边界两侧的像素值之差以及在特定块边界处的差进行滤波,并且将该在两侧的像素值之差与在特定块边界处的差相组合,来得到该特定块边界上的至少一行像素的块边界行的块效应值。该方法还包括:通过组合在至少一个块边界中的一个特定块边界上测量到的至少一个块边界行的块效应值来得到块边界的块效应值。该方法还包括通过组合至少一个块边界的块效应值来得到块的块效应值。
根据本发明的又一方面,提出一种用于检测块伪影的装置。该装置包括块伪影检测器,用于通过对图片中的至少一个块边界两侧的像素值之差以及在该特定块边界处的差进行滤波,并将该在两侧的像素值之差与在该特定块边界处的差相组合,来得到该特定块边界上的至少一行像素的块边界行的块效应值。该块伪影检测器通过组合在至少一个块边界中的一个特定块边界上测量到的至少一个块边界行的块效应值来得到块边界的块效应值,并且通过组合至少一个块边界的块效应值来得到块的块效应值。
本发明的这些和其他方面、特征和优点将从以下结合附图对示例性实施例的详细描述中变得显而易见。
附图说明
根据附图可以更好地理解本发明,在附图中:
图1是根据本发明实施例的用于块效应检测的示例性系统的框图;
图2是根据本发明实施例的用于检测块伪影的示例性方法的流程图;
图3A-3D是根据本发明实施例的重叠块的示例的示意图;
图4是根据本发明实施例的用于检测变换域(transform domain)中的块伪影的方法的流程图;
图5是根据本发明实施例的在垂直方向上的块边界的示例的示意图;
图6A-6L是根据本发明实施例的图像块的示例性方向处理示例的示意图;
图7是根据本发明实施例的用于基于特征的伪影细化(artifactrefinement)的示例性方法的流程图;
图8是根据本发明实施例的用于确定图片的块伪影强度的示例性方法的流程图;
图9是根据本发明实施例的用于检测块伪影的示例性方法的流程图;以及
图10是根据本发明实施例的用于检测检测块伪影的示例性方法的流程图。
具体实施方式
本发明针对用于检测块伪影以及用于利用经编码的图像和视频中的多个特征来确定块伪影度量的方法和装置。
本说明书举例说明本发明的原理。因此将会意识到,本领域技术人员将能够设计出各种布置以将这里所述的本发明的原理体现在这些布置中,虽然在该说明书中并未明确描述或示出这些布置。
这里陈述的所有示例以及条件性语言都出于教导目的以帮助理解发明人为了改进现有技术而贡献出的本发明的原理和概念,并将被理解为不局限于这些具体陈述的示例和条件。
此外,这里涉及本发明的原理、方面和实施例的所有陈述及其具体示例希望包含其结构上以及功能上的等同物。此外,希望这些等同物包含当前已知的等同物以及将来将开发的等同物,即,将开发的执行相同功能的任意元件,而无论其结构如何。
因此,例如,本领域技术人员将意识到,这里呈现的框图代表体现本发明的原理的示例性电路的概念性视图。类似地,将会意识到,任意流程图、流视图、状态转换图、伪代码等代表实质上可以表现在计算机可读介质中并因此可以由计算机或处理器执行的各种进程,无论该计算机或处理器是否被明确示出。
图中所示各个元件的功能可以通过使用专用硬件来提供,也可以通过使用能够与适当的软件相关联地执行软件的硬件来提供。当由处理器提供时,这些功能可以由单个专用处理器提供、由单个共享处理器提供、或由多个单独的处理器(其中某些处理器可以共享)提供。此外,对于术语“处理器”或“控制器”的明确使用不应被理解为排它地指示能够执行软件的硬件,并且可以暗示地包括(但不局限于)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储设备。
其它(传统的和/或定制的)硬件也可被包括其中。类似地,图中所示的任意开关仅仅是概念性的。它们的功能可以通过程序逻辑的操作来执行、通过专用逻辑来执行、通过程序控制和专用逻辑的交互来执行、或甚至手工执行,实施者通过更具体地理解上下文可以选择特定技术。
在权利要求中,被表示为用于执行指定功能的任意元件希望包含执行该功能的任意方式,例如包括:a)执行该功能的电路元件的组合或b)任意形式的软件,因此包括与用于执行该软件的适当电路相结合的固件、微代码等等,以用于执行相应功能。由权利要求所限定的本发明的原理在于如下事实:由各个所述装置所提供的功能被组合,并以权利要求所要求的方式集合在一起。因此认为,可以提供这些功能的任意装置都是这里所示出的装置的等同物。
说明书中所提到的本发明的“一个实施例”或“实施例”意思是与该实施例相关联地描述的特定特征、结构、特性等等都被包括在本发明的至少一个实施例中。因此,在说明书中各个位置所出现的短语“在一个实施例中”或“在实施例中”不一定都指示同一实施例。
将会意识到,术语“和/或”以及“至少一个”(例如在“A和/或B”以及“A和B中的至少一个”的情况下)的使用希望包含如下情况:仅选择第一所列选项(A);或仅选择第二所列选项(B);或选择两个选项(A和B)。再比如,在“A、B和/或C”以及“A、B和C中的至少一个”的情况下,这样的短语希望包含如下情况:仅选择第一所列选项(A);或仅选择第二所列选项(B);或仅选择第三所列选项(C);或仅选择第一和第二所列选项(A和B);或仅选择第一和第三所列选项(A和C);或仅选择第二和第三所列选项(B和C);或选择所有三个选项(A和B和C)。如本领域以及相关领域普通技术人员显而易见的,这可以被扩展针对任意多个所列项目。
此外,将会意识到,虽然这里针对MPEG-4 AVC标准描述了本发明的一个或多个实施例,但是本发明的原理并不单单局限于该标准,因此本发明可以针对其他视频编码标准、推荐及其扩展(包括MPEG-4 AVC标准的扩展)来实现,同时保持本发明的精神。
此外,在说明书的文本中,术语“图片”、“图像”和“帧”被使用。从这些术语在说明书和权利要求书中的使用可以理解,这些术语彼此是同义词,并且代表与运动视频图片序列相关联的图像数据。将会理解,不同的视频编码标准可以对图片、图像和帧赋予不同含义,但是出于本说明书的目的,这些定义不以任何方式限制这些术语。
根据本发明的一个或多个实施例,我们提出用于至少如下方面的方法和装置:(1)块伪影的自动检测;(2)每个块的伪影强度分配;以及(3)每个图片的伪影度量确定。将会意识到,这些方法可以作为完整块效应检测系统的一部分被一起使用,或作为其它系统中的组件使用。
转到图1,用于块效应检测的示例性系统一般地由标号100指示。
系统100包括块伪影检测器110、基于特征的伪影分类器120、基于原始图片的伪影细化器130和伪影强度确定与度量分配器140。
块伪影检测器110包括变换域伪影检测器112、像素域伪影检测器114和合并器116。
基于特征的伪影分类器120包括特征检测器122和基于特征的伪影分类器124。
基于原始图片的伪影细化器130包括伪影图细化器132。
伪影强度确定与度量分配器140包括伪影强度确定与度量分配器142。
变换域伪影检测器112的输出以信号通信的方式与合并器116的第一输入相连。像素域伪影检测器114的输出以信号通信的方式与合并器116的第二输入相连。合并器116的输出以信号通信的方式与基于特征的伪影分类器124的第二输入相连。
基于特征的伪影分类器124的输出以信号通信的方式与伪影图细化器132的第二输入相连。特征检测器122的第一输出以信号通信的方式与基于特征的伪影分类器124的第一输入相连。特征检测器122的第二输出以信号通信的方式与伪影强度确定与度量分配器142的第一输入相连。
伪影图细化器132的输出以信号通信的方式与伪影强度确定与度量分配器142的第二输入相连。
变换域伪影检测器112、像素域伪影检测器114、特征检测器122和伪影图细化器132各自的第一输入都可用作系统100的输入,用于接收原始图片。
特征检测器122、像素域伪影检测器114和特征检测器122各自的第二输入都可用作系统100的输入,用于接收重构图片。
像素域伪影检测器114、合并器116、基于特征的伪影分类器124、伪影图细化器132和伪影强度确定与度量分配器142各自的第三输入都可用作系统100的输入,用于接收配置数据。
伪影强度确定与度量分配器142的输出可用作系统100的输出,用于输出输出数据。
将会意识到,虽然图1所示的某些元件是针对两个或更多个功能来示出和描述的,但是将会意识到,这些元件可以各自由一个或多个元件而非单个元件实现,其相应的功能可以分别由这一个或多个元件而非单个元件执行。根据这里提供的对本发明的原理的教导,本领域以及相关领域的普通技术人员容易设想本发明的原理的这些和变体的实现方式,同时保持本发明的精神。
转到图2,用于检测块伪影的示例性方法一般由标号200指示。
方法200包括开始块205,其将控制传递到功能块210。功能块210执行伪影检测配置设置,并将控制传递到功能块215。功能块215开始处理当前图片,并将控制传递到判决块220。判决块220判断变换域算法和像素域算法是否能同时使能。如果能,控制则被传递到功能块225和功能块230两者。
功能块225执行像素域伪影检测,并将控制传递到判决块250。
功能块230执行变换域块伪影检测,并将控制传递到判决块250。
判决块250判断合并类型是否等于“and(与)”。如果是,控制则被传递到功能块260。否则,控制被传递到功能块255。
功能块260使用“and”操作来进行合并,并将控制传递到功能块265。
功能块255使用“or(或)”操作来进行合并,并将控制传递到功能块265。
功能块265生成伪影图,并将控制传递到功能块270。功能块270对原始和重构图片执行特征检测,并将控制传递到功能块275。功能块275对伪影图执行基于特征的伪影校正,并将控制传递到功能块280。
功能块280生成经特征增强的伪影图,并将控制传递到功能块285。功能块285基于原始图片执行伪影图细化,并将控制传递到功能块290。
功能块290计算伪影强度,并将控制传递到功能块294和功能块292。
功能块294输出伪影图。
功能块292计算总块效应度量,并将控制传递到功能块296和功能块299。
功能块296输出日志文件。
判决块235判断变换域算法是否被使能。如果是,控制则被传递到功能块240。否则,控制被传递到功能块245。
功能块240执行变换域块伪影检测,并将控制传递到功能块265。
功能块245执行像素域伪影检测,并将控制传递到功能块265。
在方法200中,块220、225、230、235、240、245、250、255、260和265对应于图1的块伪影检测器110。块270、275和280对应于图1的基于特征的伪影分类器120。块285对应于图1的基于原始图片的伪影细化器130。块290、292、294和296对应于图1的伪影强度确定与度量分配器140。
根据本发明的实施例,原始和重构图片被用作输入。输入图片的亮度和/或色度值可以被用于伪影检测。原始图片被用于消除假伪影检测,例如对图像中的实际边沿的可能检测。原始图片还被用于提取确定伪影的可见性的某些信息。在原始图片无法获得的情况下,重构图片也可被用于提取信息。除了原始和重构图片之外,配置数据也可被用作输入。配置数据包括诸如用于针对原始和重构视频源两者的像素和变换域伪影检测的阈值之类的参数,以及指定可以被用于改进伪影检测的特征类型的其他参数。
根据本发明的实施例,以下两种类型的输出被使用:(1)用于整个图片的块伪影度量,以及(2)伪影位置图,其包括例如块的位置以及块伪影的强度之类的信息。
用于块效应检测的方法和装置
根据实施例,提出两种算法用于初步块伪影检测,即在变换域中的一种和在像素域中的一种。两种算法可以针对不同的内容类型单独使用或者同时使用,其中每种算法的输出被合并以创建组合块效应图。算法类型由输入配置数据指定。如果两种算法被指定为同时使用,则合并过程包括(但不局限于):可以使用“and”或“or”操作来找到伪影图。
在变换域中检测块伪影
所提出的变换域算法通过使用新型的阈值方法来相对于例如第一3AC系数分析亮度或色度块的变换系数,从而找到块伪影。块可以是当前正被处理的块的4个相邻块之一。我们将考虑两个相邻块的边界所形成的块称为“重叠块”。转到图3A-3D,重叠块的各个示例一般由标号310、320、330和340指示。具体而言,图3A示出一块与其4个相邻区域。图3B示出南北重叠块。例如,北重叠块是通过组合当前块的北半部分和其北边相邻块的南半部分所形成的。图3C示出东西重叠块的示例。图3D示出东、西、南、北重叠块的示例。
在形成重叠块之后,每个重叠块的变换被计算。如果在当前块的特定一侧存在块伪影,重叠块的属于该特定侧的某些变换系数将较大。在特定实施例中,我们提出以Z字形扫描(zig-zag scan)顺序使用变换阵列的前两个AC变换系数,从而确定块伪影。变换可以是离散余弦变换(DCT)或Hadamard变换。将会意识到,本发明并不局限于任意特定类型的DCT,因此不同版本的DCT(例如整数DCT或浮点DCT)都可被使用。以下示例示出当使用8×8图像块的DCT变换时变换系数的计算。虽然该示例是针对8×8给出的,但是将会意识到,本发明并不限于仅8×8图像块的DCT变换,因此根据本发明的原理,不同的块大小(包括但不局限于4×4或16×16)也可被使用。
8×8图像块的2维DCT变换被定义如下:
其中
在以上等式中,变换系数由Fuv表示。例如,F00代表图像块的平均亮度值。F10和F01分别代表关于图像块的水平和垂直方向上的强度差的信息。因此,如果图像在北或南方向上有块伪影(例如很强的强度差),则F01具有较大值。类似地,如果块伪影发生在东或西方向上,则F10具有较大值。
除了块边界之外,块伪影也可以发生在块本身内。为了找到块内的块伪影,按Z字形扫描顺序的第三AC变换系数(F11)可以被用来确定块伪影。
变换系数F01、F10和F11被与阈值相比较,并且如果这些系数都大于阈值,则断言该块具有伪影。阈值可以取决于应用而被调整。阈值也可以基于我们想要检测的伪影的方向来调整,例如单独发生在块的北边界上的伪影、同时发生在块的东边界和块内的伪影等等。
转到图4,用于变换域中的块伪影检测的方法一般用标号400指示。
方法400包括开始块405,其将控制传递到功能块410。功能块410读取一帧,并将控制传递到功能块415。功能块415按块循环,并将控制传递到功能块420。功能块420按侧循环,并将控制传递到功能块425。功能块425计算重叠块的变换,并将控制传递到功能块430。功能块430确定每个重叠块的阈值变换系数,并将控制传递到判决块435。判决块435判断当前侧是否是块。如果是,控制则被传递到功能块440。否则,控制被传递到功能块470。
功能块440将当前侧标记为块的,并将控制传递到判决块445。判决块445判断当前块的各侧的末端是否已经到达(即,所有侧或者预先指定一组侧都已被处理)。如果是,控制则被传递到功能块450。否则,控制返回到功能块420。
功能块450形成块级分块图,并将控制传递到判决块455。判决块455判断是否达到块的末尾(即,所有块或者预先指定的一组块都已被处理)。如果是,控制则被传递到功能块460。否则,控制返回到功能块415。
功能块460形成帧级别的块效应图,并将控制返回到功能块410,还将控制传递到功能块465。功能块465输出块图(由功能块460形成)并将控制传递到结束块499。
在实施例中,从变换域伪影检测算法获得的伪影图可以使用感受特征来进一步细化。
在像素域中检测块伪影
在实施例中,所提出的像素域算法通过分析亮度或色度分量中在块边界处的像素值来找到块伪影。在块边界两侧的像素值之差以及在块边界处的差都被滤波,并且经滤波的沿边界上的像素值例如使用调整和(adjusted sum)方法而被加和。转到图5,在垂直方向上的块边界的示例一般用标号500指示。具体而言,图5示出一4×4图像块以及来自西侧块边界的第2行的2个像素的示例。在该示例中,p1、p0、q0和q1是在边界两侧的像素值。在该图像块中有4行,因此每行有4组像素(即p1、p0、q0和q1)。对于不同的块大小,行的数目也将不同。
西侧边界的每行的经滤波的像素差的平方被表示为ΔWi。ΔWi通过以下等式得到:
ΔWi=(α1(p1-p0)+α2(q1-q0)+α3(p0-q0))2(3)
应该注意,等式(3)也可以被写为如下等式:
ΔWi=(f1p1+f2p0+f3q0+f4q1)2 (4)
其中,[f1 f2 f3 f4]是滤波器系数。例如,在第二现有技术方法中提出的 可以被用作滤波器。当然,本发明并不仅仅局限于前述滤波器,因此其他滤波器也可被用于得到ΔEi。等式(3)、(4)和(5)可以被容易地扩展以得到除了西侧之外的其他方向(例如东、北和南)上的块效应。
为了找到在块一侧的块效应度量,经滤波的像素值可以例如使用调整和来加和。所提出的调整和能够减轻由于噪声像素或胶片颗粒所引起的假检测。在实施例中,调整和按新方法被定义如下:
其中j和k是最小和最大像素差的行号,即,j和k按新方法被表示如下:
j=Index(min(Δi))for i∈[0N](6)
k=Index(max(Δi))for i∈[0N](7)
在实施例中,调整和可以仅忽视最大的经滤波的像素差。在另一实施例中,调整和可以忽视两个最大的经滤波的差。当然,在保持本发明的精神的情况下,调整和的不同组合也是可能的。
对于每一侧(即,北、南、东和西)执行相同的计算,所获得的和被与阈值比较,并且如果该和大于阈值,则检测到伪影。
在另一实施例中,可以使用噪声滤波(例如,但不局限于中值滤波)来进行噪声去除,并且基于像素的伪影检测算法可以被应用到经噪声滤波的图片。
合并通过不同算法获得的块效应图
变换域和像素域算法具有不同的优点。它们可以独立使用,或者它们可以被组合和同时使用。不同的合并技术可以被用来组合由两种算法所获得的块伪影图。在一个实施例中,可以利用较低阈值生成两个二进制伪影图,并且它们可以通过“AND”操作被合并。在另一实施例中,可以通过使用较高阈值而生成两个二进制伪影图,并且它们可以通过“OR”操作被合并。当然,本发明并不仅仅局限于前述阈值和合并组合,因此在保持本发明的精神的同时,不同的阈值和合并组合也可被使用。根据特定合并操作改变伪影检测阈值可以帮助获得更可靠的块效应伪影图。
基于特征的块效应伪影分类器
通过前述方法获得的结果可以通过使用基于特征的块效应伪影分类器被进一步增强。在实施例中,这种增强方法依赖于图像中各种感受特征的计算,包括但不局限于以下特征:诸如亮度或色度之类的颜色特征;诸如平坦度之类的纹理特征;和块位置和邻居信息。
这些特征被用于根据人类视觉感受对先前检测到的块伪影的重要性进行排序。基于特征的块效应伪影分类器可以消除先前检测到的伪影(低视觉影响)或强化它们在块效应伪影图中的相对重要性(高视觉影响)。在实施例中,块效应伪影图包括二进制图图像,该二进制图图像指示在图像的每个块中是否存在伪影。在实施例中,块效应图还可以包括多值图,该多值图指示图片中的每个块的伪影的强度。
特征检测可以对原始图片的亮度和/或色度分量执行。在无法获得原始图片的情况下,特征检测可以对重构图片来执行。在以下部分中,我们将描述可以如何根据本发明的原理使用三个特征。这些特征是颜色、纹理和位置。当然,本发明并不仅仅局限于这些特征,因此,在保持本发明的精神的同时,其他特征也可被使用。
关于颜色特征,如下示例性颜色特征将被描述:亮和暗亮度掩蔽(bright and dark亮度masking);中间亮度色调确定;以及皮肤颜色检测。
关于亮和暗亮度掩蔽,根据人类视觉模型,较暗区域中的块伪影没有具有中等色调的区域中的伪影那样容易被感觉到。出于这个原因,图像分割被执行以确定这些区域,从而在这些区域中检测到的伪影可以通过使用亮度特征被自动消除。通过使用亮度和色度阈值,两个区域被指定如下:
其中L、U和V是每个块的平均亮度和色度值。将会注意到,通常,亮度用Y表示(相对于YUV颜色空间)。亮度和色度值也可以在像素级别上被与阈值比较。阈值(THL1、THU1、THV1、THL2、THU2、THV2)可以通过使用训练视频数据来得到。包括色度值的原因在于某些视频内容可能具有低亮度值。但是,如果视频内容具有高色度分量,则伪影仍然是可见的。
关于中间亮度色调确定,中间灰度级别色调中的块伪影具有不同的可见性。出于这个原因,图像分割被执行以确定不同的亮度色调,从而在不同亮度区域中检测到的伪影可以据此被强化或消除。中间亮度色调可以在不同级别上被分类。在实施例中,可以检测到3个中间级别色调。通过使用亮度和色度阈值可以指定两个区域。亮度级别可被确定如下:
其中,L代表每个块的平均亮度和色度值。阈值(THLm1、THLm2、THLm3、THLm4、THLm5、THLm6)可以使用训练视频数据来得到。
关于皮肤颜色检测,诸如人脸之类的某些区域对人眼而言更加重要。因此,在这些区域上的伪影变得更加可见。为了解决伪影检测中这些区域的重要性,我们使用基于阈值的方法来检测皮肤色调。将会意识到,该方法仅仅是一个实施例,因此本发明的原理并不仅仅局限于该皮肤检测方法。因此,在保持本发明的精神的同时,其他皮肤检测方法可以被使用。块使用例如如下计算被分类为皮肤和非皮肤颜色:
阈值(LowLimU、UpLimU、LowLimV、UpLimV)可以使用训练视频数据来得到。
关于纹理特征,图像块的纹理特性是另一特征,根据本发明,该特征可被用于细化块伪影检测。如果块效应发生在具有纹理的区域中,则与发生在平滑区域中的块效应相比,人类视觉系统将更难注意到该块效应。纹理-平滑区域分类可以通过不同的方法来执行。在实施例中,变换阵列的较低对角线中的变换系数的数目和幅度被分析。如果其数目和幅度超过某一值,则断言该块为纹理块。类似地,如果非零系数的幅度和数目在某一值之内,则断言该块为平坦区域。在另一实施例中,纹理分类可以通过使用块的方差来完成。
关于位置和邻居特征,据观察,如果相邻宏块中的块效应在水平、垂直和/或对角方向上的同一侧对准,则块伪影变得更可见。类似地,如果它们是隔离开的块,则伪影不太容易注意到。在实施例中,所提出的细化方法消除了隔离开的伪影,并保留那些彼此相连的伪影。转到图6A-6L,图像块的示例性的方向性处理示例分别用标号605、610、615、620、625、630、635、640、645、650、655和660来指示。具体而言,这里分别示出的图6A和6B以及元素605和610涉及水平处理,这里分别示出的图6C和6D以及元素615和620涉及垂直处理,这里分别示出的图6E、6F、6G和6H以及元素625、630、635和640涉及对角处理,并且这里分别示出的图6I、6J、6K和6L以及元素645、650、655和660也涉及对角处理。水平处理强调的是在南北方向上的伪影,而垂直处理强调的是在东西方向上的伪影。对角处理不像水平和垂直处理那么直接,因为在对角方向上可以存在不同的组合,如图6C和6D所示。在图6A-6D所示示例中,示出的相应处理涉及2个或3个块。但是,将会意识到,在保持本发明的精神的同时,方向性处理可被应用到其他数目的块,包括但不局限于4个连续块的水平处理。
转到图7,用于基于特征的伪影细化的示例性方法一般用标号700指示。将会意识到,关于图7的方法700中短语“当前块”的使用指的是重构块,这是相对于原始块而言的。此外,将会意识到,下面将提到的判决框728指的是原始块。然而,图7的方法700(更具体而言,其中描述的块)可被应用到原始块和/或重构块中的任意一种。就是说,虽然方法700中的某些块指当前块并且其他块指原始块,并且暗示当前块是重构块,但是在保持本发明的精神的同时,这些块可以使用原始块和/或重构块中的任意一种。此外,将会意识到,在图7的方法700中提到的下述判决框中的一个或多个可以可选地使用一个或多个阈值来执行相应的判断。
方法700包括开始框705,其将控制传递到功能框710。功能框710生成和/或输入一中间块图,并将控制传递到功能框712。功能框712开始处理当前块,并将控制传递到判决框714。在图7中所使用的“当前块”指的是经压缩/经处理的块,并且“原始块”指的是未经压缩/未经处理的块。判决框714判断在中间块图中的当前块是否具有暗或亮亮度。如果是,则控制被传递到功能框732。否则,控制被传递到判决框716。
功能框732增大伪影检测阈值。
判决框716判断当前块是否包括皮肤颜色。如果是,则控制被传递到功能框734。否则,控制被传递到判决框718。
功能框734减小伪影检测阈值。
判决框718判断当前块是否包括红颜色。如果是,则控制被传递到功能框736。否则,控制被传递到判决框720。
功能框736减小伪影检测阈值。
判决框720判断当前块是否包括纹理。如果是,则控制被传递到功能框738。否则,控制被传递到判决框722。
功能框738增大伪影检测阈值。
判决框722判断当前块是否包括中间亮度值。如果是,则控制被传递到功能框740。否则,控制被传递到判决框724。
功能框740减小伪影检测阈值。
判决框724判断当前块是否是隔离开的伪影块。如果是,则控制被传递到功能框742。否则,控制被传递到功能框744。
功能框742增大伪影检测阈值并消除检测。
功能框744保留(即,不消除)检测到的块,并将控制传递到功能框730。
功能框730细化块图(由功能框710生成)并将控制传递到结束框799。
将会意识到,方法700中所列出的每个特征的使用是可选的,因此,例如,在保持本发明的精神的同时,可以添加一个或多个附加特征和/或可以消除一个或多个指定特征。
通过使用原始图片对不正确的伪影检测的消除
在可以获得原始图片的情况下,由前述方法中的任意一种所创建的块效应伪影图可以通过使用来自原始图片的信息被进一步增强。在特定实施例中,通过计算原始图片的伪影图,可以从伪影图中消除不正确地检测到的压缩伪影。在此情况下,我们提出通过使用如下基于阈值的方法来使用原始图片消除假伪影检测。在像素域伪影检测中,如果在重构图像的块边界中的经调整和滤波的像素差小于原始图像的块边界中的经调整和滤波的像素差的某一因子,则断言该块不是伪影。类似地,如果重构图片中的块的特定变换系数小于原始图片中同一位置上的块的变换系数的某一因子,则断言该块不是伪影。将会意识到,在不是真实伪影的情况下,边沿可被包括在伪影中。
用于块效应强度确定的方法和装置
块效应强度确定在应用致力于执行块伪影校正时尤其有用。在该特定情况下,伪影强度可被用于引导校正算法调整校正参数。在实施例中,伪影强度通过使用感受特征来确定。在前面部分中已经提供了感受特征的示例(颜色、纹理、位置等等,需要再次牢记的是,本发明的原理并不仅仅局限于所提到的感受特征)。转到图8,用于块伪影强度确定的示例性方法一般用标号800指示。将会意识到,图8的方法800中对短语“当前块”的使用指的是重构块和/或原始块中的任意一种。就是说,在保持本发明的精神的同时,方法800中的块可以使用原始块和/或重构区域中的任意一种。此外,将会意识到,以下针对图8的方法800所提到的判决框中的一个或多个可以可选地使用一个或多个阈值来进行相应的判断。
方法800包括开始框805,其将控制传递到功能框810。功能框810处理当前块,并将控制传递到功能框812。功能框812将块效应强度设置为0,并将控制传递到判决框814。判决框814判断当前块是否具有伪影。如果是,则控制被传递到判决框816。否则,控制被传递到结束框899。
判决框816判断当前块是否在北侧具有伪影。如果是,则控制被传递到功能框836。否则,控制被传递到判决框818。
功能框836将块效应强度加1(或加上任意其他值)。
判决框818判断当前块是否在南侧具有伪影。如果是,则控制被传递到功能框838。否则,控制被传递到判决框820。
功能框838将块效应强度加1(或加上任意其他值)。
判决框820判断当前块是否在东侧具有伪影。如果是,则控制被传递到功能框840。否则,控制被传递到判决框822。
功能框840将块效应强度加1(或加上任意其他值)。
判决框822判断当前块是否在西侧具有伪影。如果是,则控制被传递到功能框842。否则,控制被传递到判决框824。
功能框842将块效应强度加1(或加上任意其他值)。
判决框824判断当前块是否在块内具有伪影。如果是,则控制被传递到功能框844。否则,控制被传递到判决框826。
功能框844将块效应强度加1(或加上任意其他值)。
判决框826判断当前块的任意相邻块是否具有任意伪影。如果是,则控制被传递到功能框846。否则,控制被传递到判决框828。
功能框846将块效应强度加1(或加上任意其他值)。
判决框828判断当前块是否包括皮肤颜色。如果是,则控制被传递到功能框848。否则,控制被传递到判决框830。
功能框848将块效应强度加1(或加上任意其他值)。
判决框830判断当前块是否包括红颜色。如果是,则控制被传递到功能框850。否则,控制被传递到判决框832。
功能框850将块效应强度加1(或加上任意其他值)。
判决框832判断当前块是否具有暗或亮亮度。如果是,则控制被传递到功能框852。否则,控制被传递到判决框834。
功能块852将块效应强度减4(或减去任意其他值)。
判决框834判断当前块是否包括纹理。如果是,则控制被传递到功能框854。否则,控制被传递到结束框899。
功能块854将块效应强度减2(或减去任意其他值)。
用于图片级别伪影检测的方法
这里提出两种用于图片级别伪影检测的示例性方法。
方法1
根据用于图片级别伪影检测的第一方法的实施例,总的块效应度量是由像素差的经调整的和的加权和来定义的。权重由在该方法中使用的特征来确定。在实施例中,图片级别伪影检测被定义为:
其中Δ是由等式(5)给出的经滤波的像素差的经调整的和,j是确定块侧(例如北、东、西和南)的索引,N是图片中块的总数目。α是由检测到的特征所确定的加权因子。α可以被表示为特征参数的函数。例如,如果使用4个特征,则α被表示为:
α=f(k1,k2,k3,k4)(13)
其中k1、k2、k3、k4是特征参数。在另一实施例中,也可以使用不同数目的参数。在一个实施例中,确定侧块权重的函数f可以被定义如下:
f(k1,k2,k3,k4)=k1×k2×k3×k4 (14)
特征参数k1、k2、k3、k4可以根据特征的强度来调整。βk是确定伪影是否是在第k块中被检测到的的参数。βk可以被定义如下:
当然,本发明的原理并不局限于βk的前述加权,因此,在保持本发明的精神的同时,βk的其他加权方法也可被使用。
方法2
根据用于图片级别伪影检测的第二方法,总的块效应度量被定义为被确定为具有伪影的块的总数目。该图片级别伪影检测被定义如下:
γk被定义为块k的强度。γk取可能的强度值范围中的值。例如,在一个实施例中,可以使用4种强度级别,并且γk可以是从0到4的值。nk被定义如下:
转到图9,用于图片级别伪影检测的示例性方法一般用标号900指示。
方法900提供一初始输出,即,对包括块伪影的块的标识,该初始输出可以被用于本发明的其他实施例,这些实施例包括但不局限于伪影图的生成、图的细化、基于一个或多个特征对在先检测的检测和/或重评价、伪影强度的计算,和用于包括该块的图片的总块效应强度的计算。
方法900包括开始框905,其将控制传递到功能框910。功能框910识别图片中相对于当前块的多个重叠块,其中所述多个重叠块中的每一个覆盖当前块的一部分以及相邻块的一部分,并且将控制传递到功能框915。功能块915将多个重叠块变换成与亮度分量和色度分量中的至少一个相对应的各个系数,并将控制传递到功能框920。功能框920在与多个重叠块中的一个特定块相对应的系数大于阈值时识别针对这多个重叠块中的该特定块的块伪影,并将控制传递到结束框999。
转到图10,用于图片级别伪影检测的示例性方法一般用标号1000指示。
方法1000提供一初始输出,即,对包括块伪影的块的标识,该初始输出可以被用于本发明的其他实施例,这些实施例包括但不局限于伪影图的生成、图的细化、基于一个或多个特征对在先检测的检测和/或重评价、伪影强度的计算,和用于包括该块的图片的总块效应强度的计算。
方法1000包括开始框1005,其将控制传递到功能框1010。功能框1010通过对至少一个块边界两侧的像素值之差以及该特定块边界处的差进行滤波,将在两侧的像素值之差与在该特定块边界处的差相组合,来得到该特定块边界上的至少一行像素的块边界行的块效应值,并将控制传递到功能框1020。功能框1020通过组合在至少一个块边界中的一个特定边界上测量到的至少一个块边界行的块效应值来得到块边界的块效应值,并将控制传递到功能框1030。功能块1030通过组合至少一个块边界的块效应值来得到块的块效应值,并将控制传递到结束框1099。
现在将描述本发明的很多附带优点/特征中的某些,其中某些优点/特征上面已经提到过。例如,一个优点/特征在于用于检测块伪影的方法。该方法包括识别图片中相对于当前块的多个重叠块。多个重叠块中的每个覆盖当前块的一部分和相邻块的一部分。该方法还包括将多个重叠块中的至少一个变换成与亮度分量和色度分量中的至少一个相对应的各自的系数。该方法还包括当与多个重叠块中的至少一个相对应的系数大于预定值时,识别出针对该多个重叠块中的至少一个块的块伪影。
另一优点/特征在于上述方法,其中分别识别块伪影的步骤使用至少一个阈值作为预定值来判断在重叠块中的至少一个中是否存在块伪影以及该块伪影相对于当前块的可能方向。
另一优点/特征在于上述方法,其中该方法还包括基于图片中具有块伪影的重叠块的总数目来计算该图片的总块效应度量。
另一优点/特征在于上述方法,其中该方法还包括生成块效应伪影图,该块效应伪影图指定图片中块伪影的位置。
此外,另一优点/特征在于上述方法,其中该方法还包括对图片的重构版本和原始版本中的至少一个执行特征检测,并且对块效应伪影图执行基于特征的伪影校正,以生成经特征增强的块效应伪影图。
此外,另一优点/特征在于上述方法,其中识别块伪影的步骤还包括:当图片的重构版本中与识别出的块伪影相对应的块边界处的经调整和滤波后的像素差比与在图片的原始版本中识别出的块伪影相对应的块边界处的经调整和滤波后的像素差小预定量时,消除对块伪影的假识别。
而且,另一优点/特征在于上述方法,其中识别块伪影的步骤还包括:当图片的重构版本中的多个重叠块中的一个特定重叠块的变换系数比图片的原始版本中的多个重叠块中与该特定重叠块处于同样位置上的块的变化系数小预定量时,消除对块伪影的假识别。
另外,另一优点/特征在于用于检测块伪影的方法。该方法包括:通过对在至少一个块边界两侧的像素值之差和在该特定块边界处的差进行滤波,并将该两侧的像素值之差与在特定块边界处的差组合,来得到图片中的该特定块边界处的至少一行像素的块边界行的块效应值。该方法还包括:通过组合在至少一个块边界中的一个特定边界处测量得到的至少一个块边界行的块效应值来得到块边界的块效应值。该方法还包括通过组合至少一个块边界的块效应值来得到块的块效应值。
此外,另一优点/特征在于上述方法,其中该方法还包括基于组合步骤的加权结果来计算图片的总的图片级别块伪影检测值。加权因子是基于图片中的一组检测到的特征来确定的。
此外,另一优点/特征在于上述方法,其中块伪影是基于块的块效应值来识别的,并且该方法还包括生成块效应伪影图,该块效应伪影图指定图片中的块伪影的位置。该方法还包括对图片的重构版本和原始版本中的至少一个执行特征检测,并对块效应伪影图执行基于特征的伪影校正,以生成经特征增强的块效应伪影图。
而且,另一优点/特征在于上述方法,其中特征检测涉及亮度、色度、皮肤颜色、纹理、位置和邻居信息中的至少一个。
另外,另一优点/特征在于上述方法,其中该方法还包括基于图片的原始版本来细化经特征增强的块效应伪影图。
此外,另一优点/特征在于上述方法,其中该方法还包括计算块伪影的伪影强度。
本领域普通技术人员基于这里的教导可以容易地确定本发明的这些和其他特征和优点。将会理解,本发明的教导可以按硬件、软件、固件、专用处理器或其组合的形式来实现。
更优选地,本发明的教导被实现为硬件和软件的组合。此外,软件可以被实现为有形地包含在程序存储单元中的应用程序。应用程序可以被上载到包含任意适当的体系结构的机器被由该机器执行。优选地,该机器被实现在具有硬件的计算机平台上,所述硬件例如是一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)和输入/输出(“I/O”)接口。计算机平台还可以包括操作系统和微指令代码。这里描述的各种过程和功能可以是可以由CPU执行的微指令代码的一部分或应用程序的一部分或其任意组合。另外,各种其他外设单元可以被连接到计算机平台,例如附加数据存储单元和打印单元。
还将会理解,由于在附图中示出的某些组成系统组件和方法优选地被实现为软件,因此系统组件或处理功能块之间的实际连接可以取决于本发明被编程的方式而有所不同。根据这里的教导,本领域普通技术人员将能够设想本发明的这些和类似实现方式或配置。
虽然这里已经参考附图描述了示例性的实施例,但是将会理解,本发明并不局限于这些明确的实施例,并且在不脱离本发明的范围或精神的情况下,本领域普通技术人员可以执行各种改变和修改。所有这些改变和修改都希望被包含在由所附权利要求书所提出的本发明的范围之内。
Claims (7)
1.一种用于检测块伪影的方法,包括:
识别(910)来自运动视频图片序列的一图片中的相对于当前块的多个重叠块,其中所述多个重叠块覆盖当前块的一部分以及相邻块的一部分;
将所述多个重叠块中的至少一个变换(920)成与亮度分量和色度分量中的至少一个相对应的各自的系数;以及
当与所述多个重叠块中的至少一个相对应的所述各自的系数大于一值时,识别出(930)所述多个重叠块中的所述至少一个的块伪影,
其中识别块伪影的所述步骤还包括消除块伪影的假识别的步骤,并且
其中所述消除步骤是在如下情况下被执行的:在图片的重构版本中的多个重叠块中的一个特定重叠块的变换系数比在图片的原始版本中与该多个重叠块中的特定重叠块处于同样位置上的块的变换系数小一定量。
2.如权利要求1所述的方法,其中识别块伪影的所述步骤分别使用至少一个阈值作为所述值,来判断所述多个重叠块中的所述至少一个中是否存在块伪影,以及该块伪影相对于当前块的方向(320、330、340、430)。
3.如权利要求1所述的方法,还包括:基于图片中具有块伪影的重叠块的数目来生成(292)该图片的总块效应度量。
4.如权利要求3所述的方法,其中所述重叠块的数目是根据所述图片中具有块伪影的重叠块的总数目来确定的。
5.如权利要求1所述的方法,还包括:生成(265)指定块伪影在图片中的位置的块效应伪影图。
6.如权利要求5所述的方法,还包括:
对图片的重构版本的至少一个版本执行(270)特征检测;以及
对块效应伪影图执行(275)基于特征的伪影校正,以生成经特征增强的块效应伪影图。
7.如权利要求1所述的方法,其中所述消除步骤是在如下情况下被执行的:与在图片的重构版本中识别出的块伪影相对应的块边界处的经调整和滤波的像素差比与在图片的原始版本中识别出的块伪影相对应的块边界处的经调整和滤波的像素差小一定量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US87754906P | 2006-12-28 | 2006-12-28 | |
US60/877,549 | 2006-12-28 | ||
PCT/US2007/026213 WO2008085425A2 (en) | 2006-12-28 | 2007-12-21 | Detecting block artifacts in coded images and video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101573980A CN101573980A (zh) | 2009-11-04 |
CN101573980B true CN101573980B (zh) | 2012-03-14 |
Family
ID=39591061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800488314A Expired - Fee Related CN101573980B (zh) | 2006-12-28 | 2007-12-21 | 检测编码图像和视频中的块伪影 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8879001B2 (zh) |
EP (1) | EP2127390A2 (zh) |
JP (1) | JP5270573B2 (zh) |
KR (1) | KR101437195B1 (zh) |
CN (1) | CN101573980B (zh) |
CA (1) | CA2674164A1 (zh) |
WO (1) | WO2008085425A2 (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
CA2674164A1 (en) * | 2006-12-28 | 2008-07-17 | Thomson Licensing | Detecting block artifacts in coded images and video |
TWI330039B (en) * | 2007-01-26 | 2010-09-01 | Quanta Comp Inc | Processing apparatus and method for reducing blocking effect and gibbs effect |
US8285068B2 (en) | 2008-06-25 | 2012-10-09 | Cisco Technology, Inc. | Combined deblocking and denoising filter |
CN102119401B (zh) * | 2008-08-08 | 2013-12-04 | 汤姆逊许可证公司 | 用于带状伪像检测的方法和设备 |
EP2321796B1 (en) * | 2008-08-08 | 2016-12-28 | Thomson Licensing | Method and apparatus for detecting dark noise artifacts |
US8363978B2 (en) * | 2009-03-03 | 2013-01-29 | Samsung Electronics Co., Ltd. | System and method for block edge location with varying block sizes and offsets in compressed digital video |
US8891609B2 (en) * | 2009-03-24 | 2014-11-18 | Samsung Electronics Co., Ltd. | System and method for measuring blockiness level in compressed digital video |
US9076239B2 (en) | 2009-04-30 | 2015-07-07 | Stmicroelectronics S.R.L. | Method and systems for thumbnail generation, and corresponding computer program product |
US8638395B2 (en) | 2009-06-05 | 2014-01-28 | Cisco Technology, Inc. | Consolidating prior temporally-matched frames in 3D-based video denoising |
US8571117B2 (en) * | 2009-06-05 | 2013-10-29 | Cisco Technology, Inc. | Out of loop frame matching in 3D-based video denoising |
US8358380B2 (en) * | 2009-06-05 | 2013-01-22 | Cisco Technology, Inc. | Efficient spatial and temporal transform-based video preprocessing |
US8615044B2 (en) * | 2009-06-05 | 2013-12-24 | Cisco Technology, Inc. | Adaptive thresholding of 3D transform coefficients for video denoising |
CN104618719B (zh) * | 2009-10-20 | 2018-11-09 | 夏普株式会社 | 运动图像编码装置、运动图像解码装置、运动图像编码方法及运动图像解码方法 |
US20110176058A1 (en) * | 2010-01-15 | 2011-07-21 | Mainak Biswas | Use of film grain to mask compression artifacts |
EP2534839A4 (en) * | 2010-02-11 | 2014-06-11 | Thomson Licensing | METHOD FOR PROCESSING IMAGE |
US8588309B2 (en) * | 2010-04-07 | 2013-11-19 | Apple Inc. | Skin tone and feature detection for video conferencing compression |
WO2011134105A1 (en) * | 2010-04-29 | 2011-11-03 | Thomson Licensing | Method of processing an image |
US8472725B2 (en) | 2010-06-02 | 2013-06-25 | Cisco Technology, Inc. | Scene change detection and handling for preprocessing video with overlapped 3D transforms |
US9635308B2 (en) | 2010-06-02 | 2017-04-25 | Cisco Technology, Inc. | Preprocessing of interlaced video with overlapped 3D transforms |
US9628674B2 (en) | 2010-06-02 | 2017-04-18 | Cisco Technology, Inc. | Staggered motion compensation for preprocessing video with overlapped 3D transforms |
US8542751B2 (en) * | 2010-08-20 | 2013-09-24 | Intel Corporation | Techniques for identifying and reducing block artifacts |
US8787443B2 (en) * | 2010-10-05 | 2014-07-22 | Microsoft Corporation | Content adaptive deblocking during video encoding and decoding |
US9042458B2 (en) | 2011-04-01 | 2015-05-26 | Microsoft Technology Licensing, Llc | Multi-threaded implementations of deblock filtering |
CN102800050B (zh) * | 2011-05-25 | 2016-04-20 | 国基电子(上海)有限公司 | N维特征空间连通性计算方法 |
WO2012174740A1 (en) * | 2011-06-24 | 2012-12-27 | Technicolor (China) Technology Co., Ltd. | Method and device for assessing packet defect caused degradation in packet coded video |
US20130039429A1 (en) * | 2011-08-11 | 2013-02-14 | Xue Rong Hong | Computer display content coding method and system |
CN104246823A (zh) * | 2011-11-24 | 2014-12-24 | 汤姆逊许可公司 | 基于图像内容的伪像检测方案的方法和装置 |
US9620082B2 (en) * | 2015-05-15 | 2017-04-11 | Hewlett-Packard Development Company, L.P. | Correcting artifacts on a display |
US9836664B1 (en) * | 2016-05-27 | 2017-12-05 | Intuit Inc. | Method and system for identifying and addressing imaging artifacts to enable a software system to provide financial services based on an image of a financial document |
US9832351B1 (en) | 2016-09-09 | 2017-11-28 | Cisco Technology, Inc. | Reduced complexity video filtering using stepped overlapped transforms |
US10277901B2 (en) * | 2017-05-08 | 2019-04-30 | Axis Ab | Encoding a video stream having a privacy mask |
CN107992845A (zh) * | 2017-12-14 | 2018-05-04 | 广东工业大学 | 一种面部识别辨伪方法及装置、计算机设备 |
CN113362246A (zh) * | 2021-06-08 | 2021-09-07 | 百果园技术(新加坡)有限公司 | 一种图像带状伪影去除方法、装置、设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6240135B1 (en) * | 1997-09-09 | 2001-05-29 | Lg Electronics Inc | Method of removing blocking artifacts in a coding system of a moving picture |
CN1418015A (zh) * | 2001-10-16 | 2003-05-14 | 皇家菲利浦电子有限公司 | 检测块失真的方法 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2831139B2 (ja) * | 1991-01-10 | 1998-12-02 | オリンパス光学工業株式会社 | 画像信号復号化装置 |
JP3317982B2 (ja) * | 1991-07-15 | 2002-08-26 | オリンパス光学工業株式会社 | 画像信号復号化装置 |
US5454051A (en) * | 1991-08-05 | 1995-09-26 | Eastman Kodak Company | Method of reducing block artifacts created by block transform compression algorithms |
US5367385A (en) * | 1992-05-07 | 1994-11-22 | Picturetel Corporation | Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks |
US5852475A (en) * | 1995-06-06 | 1998-12-22 | Compression Labs, Inc. | Transform artifact reduction process |
US6151420A (en) * | 1995-12-15 | 2000-11-21 | Polaroid Corporation | Minimizing blocking artifacts in a filtered image |
US5850294A (en) * | 1995-12-18 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for post-processing images |
US5737451A (en) * | 1996-04-10 | 1998-04-07 | Eastman Kodak Company | Method and apparatus for suppressing blocking artifacts in block-transform coded images |
US5887084A (en) * | 1997-11-07 | 1999-03-23 | Polaroid Corporation | Structuring a digital image into a DCT pyramid image representation |
KR100366643B1 (ko) * | 1998-11-25 | 2003-02-19 | 삼성전자 주식회사 | 구획현상제거방법및장치 |
US6317522B1 (en) * | 1998-12-03 | 2001-11-13 | Philips Electronics North America Corp. | Systems and methods for post-processing decompressed images |
KR100319557B1 (ko) * | 1999-04-16 | 2002-01-09 | 윤종용 | 블럭 단위로 부호화된 영상의 블럭 경계 잡음 성분 제거 방법 |
JP2003516054A (ja) * | 1999-11-30 | 2003-05-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Dctドメインにおけるブロッキングアーティファクトの減少方法及び装置 |
US6968006B1 (en) * | 2001-06-05 | 2005-11-22 | At&T Corp. | Method of content adaptive video decoding |
US7003174B2 (en) * | 2001-07-02 | 2006-02-21 | Corel Corporation | Removal of block encoding artifacts |
US6950473B2 (en) * | 2002-06-21 | 2005-09-27 | Seiko Epson Corporation | Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding |
US20030235250A1 (en) * | 2002-06-24 | 2003-12-25 | Ankur Varma | Video deblocking |
US7099518B2 (en) * | 2002-07-18 | 2006-08-29 | Tektronix, Inc. | Measurement of blurring in video sequences |
EP1565875A1 (en) | 2002-11-25 | 2005-08-24 | Sarnoff Corporation | Method and apparatus for measuring quality of compressed video sequences without references |
US7822286B2 (en) * | 2003-11-07 | 2010-10-26 | Mitsubishi Electric Research Laboratories, Inc. | Filtering artifacts in images with 3D spatio-temporal fuzzy filters |
KR101044940B1 (ko) * | 2004-06-23 | 2011-06-28 | 삼성전자주식회사 | 에지 플로우 방향성 필터와 커블릿 변환을 이용한 블록현상 제거 방법 및 장치 |
US7545988B2 (en) * | 2004-08-09 | 2009-06-09 | George William Meeker | Image blocking artifact reduction via transform pair |
US7778480B2 (en) | 2004-11-23 | 2010-08-17 | Stmicroelectronics Asia Pacific Pte. Ltd. | Block filtering system for reducing artifacts and method |
US8218634B2 (en) * | 2005-01-13 | 2012-07-10 | Ntt Docomo, Inc. | Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression |
US7792385B2 (en) * | 2005-01-25 | 2010-09-07 | Globalfoundries Inc. | Scratch pad for storing intermediate loop filter data |
JP2008533937A (ja) | 2005-03-25 | 2008-08-21 | アルゴリス インコーポレイテッド | Dctコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法 |
US20060245501A1 (en) | 2005-04-27 | 2006-11-02 | Stephen Gordon | Combined filter processing for video compression |
US7873224B2 (en) * | 2006-03-01 | 2011-01-18 | Qualcomm Incorporated | Enhanced image/video quality through artifact evaluation |
JP4749377B2 (ja) * | 2006-04-18 | 2011-08-17 | パイオニア株式会社 | ブロックノイズ除去装置 |
CA2674164A1 (en) * | 2006-12-28 | 2008-07-17 | Thomson Licensing | Detecting block artifacts in coded images and video |
US8542751B2 (en) * | 2010-08-20 | 2013-09-24 | Intel Corporation | Techniques for identifying and reducing block artifacts |
-
2007
- 2007-12-21 CA CA002674164A patent/CA2674164A1/en not_active Abandoned
- 2007-12-21 EP EP07867967A patent/EP2127390A2/en not_active Ceased
- 2007-12-21 JP JP2009544052A patent/JP5270573B2/ja not_active Expired - Fee Related
- 2007-12-21 CN CN2007800488314A patent/CN101573980B/zh not_active Expired - Fee Related
- 2007-12-21 WO PCT/US2007/026213 patent/WO2008085425A2/en active Application Filing
- 2007-12-21 KR KR1020097013311A patent/KR101437195B1/ko active IP Right Grant
- 2007-12-21 US US12/448,636 patent/US8879001B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6240135B1 (en) * | 1997-09-09 | 2001-05-29 | Lg Electronics Inc | Method of removing blocking artifacts in a coding system of a moving picture |
CN1418015A (zh) * | 2001-10-16 | 2003-05-14 | 皇家菲利浦电子有限公司 | 检测块失真的方法 |
Non-Patent Citations (2)
Title |
---|
PAN F ET AL.A locally-adaptive algorithm for measuring blocking artifacts in images and videos.《CIRCUTS AND SYSTEMS, 2004,ISCAS ’04. PROCEEDINGS OF THE 2004 INTERNATIONAL SYMPOSIUM ON VANCOUVER,BC,CANADA 》.2004,第926页. * |
SHIZHONG LIU ET AL.Efficient DCT-Domain Blind Measurement and Reduction of Blocking Artifacts.《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,IEEE SERVICE CENTER,PISCATAWAY,NJ,US》.2002,第12卷(第12期),第1140-1143页. * |
Also Published As
Publication number | Publication date |
---|---|
JP5270573B2 (ja) | 2013-08-21 |
CN101573980A (zh) | 2009-11-04 |
JP2010515362A (ja) | 2010-05-06 |
US8879001B2 (en) | 2014-11-04 |
KR101437195B1 (ko) | 2014-09-03 |
EP2127390A2 (en) | 2009-12-02 |
WO2008085425A3 (en) | 2009-02-12 |
US20100033633A1 (en) | 2010-02-11 |
KR20090101911A (ko) | 2009-09-29 |
CA2674164A1 (en) | 2008-07-17 |
WO2008085425A2 (en) | 2008-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101573980B (zh) | 检测编码图像和视频中的块伪影 | |
US5883983A (en) | Adaptive postprocessing system for reducing blocking effects and ringing noise in decompressed image signals | |
US9135681B2 (en) | Image chroma noise reduction | |
US7027661B2 (en) | Method of coding artifacts reduction | |
US6845180B2 (en) | Predicting ringing artifacts in digital images | |
EP2492867A2 (en) | Methods and systems for converting images from low dynamic range to high dynamic range | |
US20050100235A1 (en) | System and method for classifying and filtering pixels | |
KR101112139B1 (ko) | 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법 | |
US6823089B1 (en) | Method of determining the extent of blocking and contouring artifacts in a digital image | |
US20090091661A1 (en) | Video Auto Enhancing Algorithm | |
JPH08186714A (ja) | 画像データのノイズ除去方法及びその装置 | |
GB2322252A (en) | Filtering method for reducing blocking effect and ringing noise of image data | |
JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
US20080181495A1 (en) | Reduction of color bleeding effects in a digitally processed image | |
US8050506B2 (en) | Image enhancement device | |
CN101253772A (zh) | 用于滤波通过基于块的图像解压获得的图像的设备 | |
Barland et al. | Blind quality metric using a perceptual importance map for JPEG-20000 compressed images | |
KR20010080611A (ko) | 필터링 장치 및 방법 | |
Hu et al. | Simultaneous coding artifact reduction and sharpness enhancement | |
RU2402070C2 (ru) | Способ удаления искажений на цифровых изображениях | |
JP4040528B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および画像処理装置を備えた画像形成装置 | |
US20030185451A1 (en) | Method of processing digital images for low-bit rate applications | |
JP3194041B2 (ja) | 画像処理方法 | |
EP1770636A1 (en) | Television image filtering | |
Luo et al. | A triage method of determining the extent of JPEG compression artifacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120314 Termination date: 20181221 |
|
CF01 | Termination of patent right due to non-payment of annual fee |