CN102349297B - 在基于块压缩的图像中的模糊量测 - Google Patents
在基于块压缩的图像中的模糊量测 Download PDFInfo
- Publication number
- CN102349297B CN102349297B CN201080011198.3A CN201080011198A CN102349297B CN 102349297 B CN102349297 B CN 102349297B CN 201080011198 A CN201080011198 A CN 201080011198A CN 102349297 B CN102349297 B CN 102349297B
- Authority
- CN
- China
- Prior art keywords
- local
- fuzzy
- value
- pixel
- brightness value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
模糊是与视频质量有关的最重要的特征之一。精确地估计视频的模糊等级对于精确地评估视频质量有极大帮助。提供了一种改进的方法,用于估计由基于块编解码器(诸如H.264/AVC、MPEG2等)压缩的视频的模糊等级。根据本发明,局部模糊检测基于宏块(MB)边缘,采用依赖内容的加权方案来降低来自纹理的影响并且在检测局部模糊时,在局部最小亮度位置和最大亮度位置停止检测的扩展。
Description
技术领域
本发明涉及视频/图像质量量测。
背景技术
模糊(blur)是与视频质量有关的最重要特征之一。精确地估计视频的模糊等级对于精确地评估视频质量有极大帮助。然而,可感知的模糊等级受诸如纹理、亮度等之类的许多因素的影响。此外,由压缩生成的模糊与诸如焦点未对准的模糊和运动模糊之类的原始序列中的模糊有很大不同。难以精确地估计视频的模糊等级。已经提出各种方法来解决该问题。这些方法试图从不同方面来估计视频/图像的模糊等级,然而,尤其对不同的任意的视频内容而言,性能不能令人满意。例如,WO3092306检测与当前位置最靠近的局部最小和最大像素。即,如果存在具有相同亮度值的两个或更多个邻近像素,则其使用与该位置最靠近的像素。
发明内容
本发明提供了一种改进的用于估计由基于块编解码器(诸如H.264/AVC、MPEG2等)压缩的视频的模糊等级的方法。
根据本发明的一方面,局部模糊检测基于视频编码单元的边缘,诸如宏块(MB)边缘。根据本发明的另一方面,采用依赖内容的加权方案来降低来自纹理的影响。根据又一方面,当检测局部模糊时,在局部最小亮度位置和最大亮度位置停止检测的扩展。
在本发明的一方面中,一种在使用基于块编码而编码的视频图像中量测模糊的方法,包括以下步骤:
选择视频编码单元和所述视频编码单元内的位置,在第一方向上在所选的视频编码单元的边缘处检测局部的模糊等级,所述第一方向是水平的或者垂直的,在该位置周围的区域中计算局部方差,如果局部方差在所定义的范围内,则计算局部模糊值,其中所述区域内的像素与它们的邻近像素进行比较,组合来自不同视频编码单元的局部模糊值,其中获得第一方向的最终的方向模糊,
重复以下步骤:计算局部方差,计算局部模糊并且组合第二方向的局部的模糊值,所述第二方向是水平或者垂直的并且不同于第一方向,其中获得第二方向的最终的方向的模糊,以及组合第一方向和第二方向的最终的方向的模糊值,其中获得作为当前图像的模糊量测的最终的模糊值。
在一个实施例中,计算局部模糊值的步骤包括:检测沿当前选择的(水平的或者垂直的)方向的具有局部最小或者最大亮度强度的像素,并且确定局部模糊值作为具有局部最小亮度值位置和具有局部最大亮度值的位置之间的距离。
在本发明的一个方面中,一种在使用基于块编码而编码/解码的视频图像中量测模糊的装置,其包括:
第一选择模块,选择水平或者垂直方向;
第二选择模块,选择视频编码单元和所述视频编码单元内的位置;
检测模块,在所选择的方向上在所选择的视频编码单元的边缘处检测局部模糊等级,所述检测模块包括:
第一计算模块,根据选择的方向计算所述位置周围的区域中的局部方差;
第二计算模块,如果所述局部方差在所定义范围内,则计算局部模糊,其中,所述区域内的像素与所选择的方向中的它们的邻近像素进行比较,
第一组合模块,组合所选择的方向的局部模糊值,其中获得所选择的方向的最终方向模糊值,以及
第二组合模块,组合最终水平模糊值和最终垂直模糊值,其中获得作为当前图像的模糊量测的最终的模糊值。
在一个实施例中,用于计算局部模糊值的第二计算模块包括:检测部件,沿当前选择的(水平或者垂直)方向检测具有局部最小或最大亮度强度的像素,并且第二计算模块计算局部模糊值作为具有局部最小亮度值的位置和具有局部最大亮度值的位置之间的距离。
在一个实施例中,如果局部最小和/或最大亮度位置具有相等亮度值的两个或者更多个相邻像素,则与当前位置最远的像素被用于检测边缘。即,在检测边缘处,具有相同亮度值的所有像素被包括在模糊检测中。
当连同附图,考虑以下描述和所附的权利要求,本发明的另外目的、特征和优点将变得明显。
附图说明
参照附图来描述本发明的示例性实施例,其中:
图1示出垂直模糊计算的流程图;
图2示出计算局部模糊的位置;
图3示出检测具有局部最小亮度和最大亮度的像素;
图4示出使用简化的方差(variance)计算的垂直模糊计算的流程图;
图5示出用于方差计算或者简化的方差计算的交叉区域;
图6示出用于最终的模糊计算的流程图;以及
图7示出720P数据集中示例性的模糊比较。
具体实施方式
图1示出垂直模糊计算的示例性流程图。之前已经完成了选择视频编码单元和所述视频编码单元中的位置的初始化步骤。在第一步骤11中,选择用于垂直模糊检测的位置。该位置可能依赖于预定义的方案,但是还可能包括图像的所有宏块。在下一步骤12中,如下所述,计算所选择的位置处的局部方差var_1。在确定步骤13中,确定局部方差var_1是否在定义的范围[a,b]内。如果该局部方差在定义的范围[a,b]内,则如下所述,计算14局部模糊。否则,如果局部方差在定义的范围[a,b]之外,则下一步骤是确定15是否已经测试了所有位置。如果还没有测试所有位置,则选择11用于垂直模糊检测的下一位置。否则,如果已经测试了所有位置,则计算16最终的垂直模糊。最终的垂直模糊是局部垂直模糊的函数F(局部模糊)。先前计算的局部垂直模糊值已经针对此目的而被存储或者被选择性地累积。
根据本发明的一方面,然后将垂直模糊与水平模糊进行组合,所述水平模糊是使用原理上与上述的用于垂直模糊的相同方法在水平方向上计算的。
以下描述本发明的各个方面。
本发明的一方面是在块/MB边缘处执行局部模糊检测,而在已知的解决方案中,是在纹理边缘处检测局部模糊等级。然而,这可能需要纹理分析,即,图像分析。发明人已经证实,对于由基于块编码方案所压缩的视频而言,在MB边缘比在纹理边缘检测局部模糊等级更稳定且有效。对于H.264/AVC压缩的内容已经完成了有关实验。
本发明的另一方面是使用依赖内容的加权方案以便降低来自纹理的影响。这个方面是重要的,这是因为局部模糊计算受纹理的影响。在没有依赖内容的加权方案的情况下,图像纹理将更多地扰乱局部模糊计算。如果纹理太复杂或者太简单(plain),则所计算的局部模糊不稳定。依赖内容的加权方案包括确定是否应在当前选择的块/MB位置处执行局部模糊计算。如下文所述,通过在选择的位置处计算或者估计局部方差可以实现这一点。局部方差可以以典型的方式来计算或者以简化的方式来估计。
本发明的另一方面是当使用典型方差计算检测局部模糊等级时,在方差计算中包括具有相同亮度值的像素。即,亮度的“局部最小”或者“局部最大”的定义(definition)与先前的解决方案不同。在本发明中,例如,水平方向上的局部最大值被定义为:具有高于另外的水平相邻像素的亮度值的、相同的亮度值的所有水平相邻像素。图3示出了其中位置6,7,8处的像素一起被认为作为局部最大值的示例。这是有利的,因为H.264中的量化使得MB内的像素趋于具有相同的像素值。根据主观评价的经验,已经发现,对于任何特定的视频内容,视频的模糊等级也随着量化参数(QP)的增加而增加。本发明点对于保持QP和模糊等级之间的单调性属性是非常重要的。对应的定义用于局部的最小值。
具体实施例和它们的优点如下所示。可以在垂直方向和水平方向中进行画面的模糊检测。图1示例性地示出使用典型方差计算的垂直模糊检测的流程图。它包含以下步骤:
在第一步骤11中,得到检测局部模糊的位置。已知的解决方案检测纹理边缘处的局部模糊等级。发明人已经发现,对于由基于块编码方案压缩的视频而言,在MB的边缘处比在纹理边缘处检测局部模糊等级更加稳定和有效。
为计算局部垂直模糊,位置被设置在MB垂直边缘的中心,如图2所示。P_v1和P_v2是MB的垂直边缘中心,而P_h1和P_h2是水平边缘中心。它们是计算局部水平模糊的位置。在一个实施例中,P_v1或P_v2是开始检测的位置。
第二步骤是计算先前设置的位置周围的区域中的局部方差(var_1)。以下描述的一个实施例使用“典型的”方差σ2。该区域的选择可能对于具有不同纹理或不同分辨率的视频(或相应的图像)稍有不同。在一个实施例,选择以设置的位置为中心的长度等于15的交叉区域。然而,该区域可以被选择地稍有不同,例如,16x16或15x20的矩形,具有长度约20的交叉区域,或者类似的。另外,还要注意在这里描述的所有情况下,由于其轴的长度,交叉可能不是精准地居中;精确的中心仅仅对于奇数个像素是可能的。局部方差是用来确定局部纹理的复杂性。一般来说,画面中的纹理连续改变。通常,纹理在一个大的区域,例如100x100像素中是类似的。因此,在这种情形下,15x15或15x20区域的方差不会相差很大。如果该区域是太小(例如4x4,或8x1)或太大(例如200×200),则最终的结果受到的影响非常大。具有长度为大约15的交叉区域对于本实施例是优选的。
第三步骤是判断局部方差是否在给定的范围内。已经发现,如果局部方差过高或过低,则该区域的纹理将太复杂或太简单,这导致不稳定的局部模糊计算。因此,如果局部方差在该范围以外,则局部的模糊值将不用于最终的模糊计算,并无需被计算。范围[a,b]可能在不同的场景中不同。同样的范围可以用于整个图像,并且用于所有图像。在一个实施例中,它被设置为[2,20]。对于最自然的画面,大多数(例如>80%)的局部方差在此范围内。该范围保证足够的局部模糊值被纳入最终的计算,并帮助最终的计算稳定。发明人发现,对于大多数图像,当局部方差太低(诸如<0.8)或过高(诸如>40),则局部的模糊计算可能受纹理的影响很大。上述的[2,20]的范围对于排除那些具有过低或过高纹理的位置是足够严格的。对于特殊情况,诸如具有90%的简单空间(例如天空)的画面,该简单的空间中的局部方差将在该范围以外,并且所提出的方法的该实施例可能不太有效。对于特殊情况,诸如具有90%的简单空间(天空)的画面,该简单的空间中的局部方差将在该范围以外。然而,在这种简单空间中发生的模糊将不太令人烦扰。因此,可以在这些区域中跳过模糊计算。
在第四步骤中,计算局部模糊。为计算局部垂直模糊,这一步骤检测沿垂直方向具有局部最小或最大亮度(即强度)的像素。如图3所示,其中P0是开始检测的位置(对应于图2中的P_v1或P_v2),P1和P2分别是具有局部最小和最大亮度值的位置。P1和P2之间的距离是局部模糊值。例如在图3中,该距离,以及由此的局部模糊值是6,即从像素#2到像素#8。
尽管在一个实施例中,该距离是通过像素数目的简单的减法而计算的(例如8-2=6),但是在另一实施例也可以计算所涉及的像素的实际数目(例如从像素#2到像素#8,涉及7个像素)。然而,只要保持该计算规则,两个计数方法对于所描述的模糊计算的目的是等效的。
如从图3可以看出,在检测具有局部最小或最大亮度值的像素时,其中具有相同亮度值的两个或更多个相邻像素使局部的最小或最大(诸如像素号6-8),与选择的位置P0最远的像素被用于检测边缘。这是像素#8而不是像素#6。
在第五步骤,计算最终的垂直模糊。其有关的局部方差var_1在范围[a,b]中的所有局部模糊被组合16来计算最终的垂直模糊。在一个实施例中,对局部垂直模糊值的平均化用于计算最终的垂直模糊。类似的组合也可以用在其他的实施例中。
除了垂直模糊是在MB的水平边缘处(诸如图2中的P_v1,P_v2)计算,而水平模糊是在垂直边缘处计算(图2中的P_h1,P_h2)之外,可以以与垂直模糊基本上相同的方式来计算水平模糊。最终画面的模糊可以通过水平和垂直两个方向的模糊的组合来获得。在一个实施例中,两个方向的模糊通过平均而组合。对于特殊情况,可能有其他的组合。
在一个实施例中,提供对噪声图像的改进。“噪声”像素具有非常高或非常低的亮度值,并且因此可以很容易被检测出来。对于具有小噪声的序列,可能发生这样的“噪声”像素扰乱局部最小或最大像素的检测,这是由于检测过程将在找到真正的最小或最大像素之前停止。对于这种图像,计算出的模糊值往往低于它们实际应该的模糊值,这是由于局部最小值和局部最大值之间的范围平均起来太短。
因此,在本发明的一个实施例中,估计简化的局部方差,而不是计算更精确的典型局部方差σ2。在此实施例中,局部模糊是使用以MB的边界为中心的交叉定义的预定义区域的所有像素进行检测的。图5示出具有用于检测垂直模糊的8x10块R_v和用于检测水平模糊的10x8块R_h的实施例。该实施例包括沿着预定义区域R_v,R_h中的方向(垂直或水平),对其亮度高于、低于或等于在给定方向上的邻近像素的亮度的像素的数目进行计数。这些数目被称为Nhigher,Nlower和Nequal。例如,用于局部水平模糊检测的Nhigher为比它们左侧邻近者具有更高值的像素的数目,而用于局部垂直模糊检测的Nlower为比它们的上侧邻近者具有更低值的像素的数目。Nhigher+Nlower+Nequal的总和是Ntotal。如在等式(1)中计算局部模糊,其中α,β是预定义的参数:
(α,β)的默认值是(0.7,0.2),这对于大多数图像是良好的。然而,在实验中,发明人发现,局部模糊计算对于具有太简单的纹理或太复杂的纹理的区域不太精确。为了对这样的区域也得到更精确的结果,在一个实施例中排除了具有太简单或太复杂的纹理的块。在该实施例中,通过确定导致Nequal≥α*Ntotal,或者Nequal≤β*Ntotal的局部模糊检测而检测这些块。
对于一些特殊的图像,这种限制可能导致许多块位于范围之外并且将被跳过,而只有几个块将被选择。这将使最终的模糊计算不稳定。因此,对于具有太多的简单块(例如根据等式1超过50%的块不可用)的图像,可以将α设置地高一点,如0.8或0.9;对于具有太多复杂块的图像,β可以被设置地低一点,诸如0.1或0。由此,α,β是可配置的参数。例如,在已经确定了模糊计算只能在很少的点处进行之后,它们可以用来调整算法。α,β可以被自动地设置,或根据用户的交互,例如通过用户接口来进行设置。Nequal≥α*Ntotal,或者Nequal≤β*Ntotal的情形意味着有关块处于太简单或太复杂的纹理中。它是块选择的准则。
本发明的该实施例(即简化的方差的估计)的优点是它对于噪声更具有鲁棒性,并且不太复杂。对于大多数序列,该实施例与先前所描述的使用精确的方差的实施例具有类似的性能,但对于具有小噪声的一些特殊的序列,它具有更好的性能。除了先前所描述的实施例之外,本实施例不需要计算完整的局部方差。当指示具有太简单或太复杂的纹理的区域时,它使用根据Nequal≥α*Ntotal,或者Nequal≤β*Ntotal(Ntotal=Nhigher+Nlower+Nequal)的简化的局部方差。
图4示出了使用简化的局部方差的实施例的流程图。
块41是用于得到下一个位置,如图1的块11。如图5所示,黑色8x10块R_v是用于局部垂直模糊计算的区域;它是通过以选择的位置为中心的交叉定义的。同样,10x8像素块R_h是用于局部水平模糊计算的区域。
块42用于计数Nhigher、Nlower和Nequal。对于图5中的区域R_v中的垂直模糊计算,沿垂直方向,分别对其亮度高于、低于或等于它们各自的上侧邻近像素的亮度的像素的数目(分别被标记为Nhigher、Nlower和Nequal)进行计数。对于水平的模糊,沿水平方向的区域R_h中,分别对其亮度高于、低于或等于它们的左侧邻近像素的亮度的像素的数目(分别被标记为Nhigher、Nlower和Nequal)进行计数。
块43用于使用等式(1)判断Nequal是否在所定义的有限范围内。如果Nequal在所定义的有限范围内,则计算44局部的模糊。否则,跳过宏块并且选择41下一个块。块45确定是否所有的位置已经进行了测试,如同图1的块15。块46计算总的垂直模糊作为局部垂直模糊的平均值。图6是最终的模糊计算的流程图。它示出了:垂直模糊计算块61,计算垂直模糊(blur_v);水平模糊计算块62,计算水平模糊(blur_h),以及方向模糊计算块63,组合垂直模糊和水平模糊。最终的模糊是两个方向模糊的函数F(blur_v,blur_h)。
从实验中已经获得了以下结果:在720P(24个原始序列),720×576(9个原始序列),以及720×480(23个原始序列)的数据集中测试了所提出的模糊检测算法。在所有数据集中,每个原始序列被编码为具有QP=24,29,34,37,40和45的6个失真(distort)的序列。编码软件是JM10.1(具有默认解块滤波器的主配置文件(profile))。实验结果表明,所提出的解决方案在所有三个数据集中示出了良好的性能。图7示出了导致其中每七个点来自相同视频内容的数据集720P的测试。它们之间唯一的区别是QP。根据图7,可以看出本发明的以下有利效果:
首先,计算的模糊值与QP具有良好的单调性。根据对于相同视频内容的主观评价的经验,其可感知的模糊等级随QP的增加而增加。在QP和可感知的模糊等级之间存在良好的单调性属性。由于计算的模糊值应与可感知的模糊等级匹配,所以它也应该与QP具有良好的单调性。所提出的方法在这方面显示了良好的性能。
其次,计算出的模糊值比传统计算的模糊值受视频内容的影响小。
通常,本发明提供了至少以下优点:
计算的模糊值与QP具有单调性。此外,可感知的模糊还与QP具有良好的单调性。因此,我们可以使用计算的模糊与QP之间的单调性来评估模糊检测算法的性能。所提出的方法在这方面比其他已知的解决方案表现出更好的性能。
所计算的模糊值受视频内容的影响较小。
所计算的模糊值与通过主观质量评价而获得的主观平均意见得分(MOS)具有高相关性。
在实验中,我们从720P序列中随机选择1176个帧(每个组具有168帧的7个组)然后给出每帧的主观得分。主观得分和计算的模糊值之间的Pearson相关性是0.8。在先前已知的解决方案中,Pearson相关性大约是0.4,并且因此更糟糕。
即使不存在可用的参考图像,模糊值也可用于评价量测的视频质量。因此可以在例如广播接收器上进行视频质量量测。有利的是,仅仅需要传统的视频/图像不具有附加信息。
根据本发明的一个方面,一种在使用基于块编码而编码/解码的视频图像中量测模糊的方法,包括以下步骤:
选择视频编码单元和所述视频编码单元内的位置,
在水平方向上在所选的视频编码单元的边缘处检测局部的模糊等级,其中在该位置周围的区域中计算局部方差,并且如果局部方差在所定义的范围内,则计算局部模糊值,其中所述区域内的像素与所选择的方向中它们邻近像素进行比较,
组合视频图像的局部模糊值,其中获得最终的水平模糊,
重复以下步骤:计算局部方差,计算局部模糊并且组合垂直方向的局部的模糊值,其中,获得最终的垂直模糊,以及
组合最终的水平模糊值和最终的垂直模糊值,其中获得作为当前图像的模糊量测的最终的模糊值。
根据本发明的一个方面,一种在使用基于块编码而编码的视频图像中量测模糊的装置,其包括:
选择部件,在诸如一个或者更多宏块之类的视频编码单元内选择位置;
检测部件,在水平方向上在所选择的视频编码单元的边缘处检测局部模糊等级;
第一计算部件,计算所述位置周围的区域中的局部方差;
确定部件,确定所述局部方差是否在定义的范围内;
第二计算部件,如果所述局部方差在所述的定义范围内,则计算局部模糊,其中,沿水平方向检测具有局部最小或最大亮度强度的像素并且具有局部最小亮度值的位置和具有局部最大亮度值的位置之间的距离是水平局部模糊值;
组合部件,组合局部的模糊值,其中获得最终的水平模糊值;
用于垂直方向的对应部件,其中获得最终的垂直模糊值;以及
组合部件,组合最终的水平模糊值和最终的垂直模糊值,其中获得作为当前图像的模糊量测的最终的模糊值。
如果选择用于方差计算和模糊等级计算的像素的选择部件可以适配为选择像素的垂直行或者水平行,则用于垂直方向的部件在原理上可以与用于水平方向的各自的对应部件相同。
虽然已经示出、描述,并指出本发明应用到其优选实施例的基础性的新颖特征,但应理解,本领域技术人员在不脱离本发明的精神的情况下,可以在所描述的装置和方法中、以公开的设备的形式和细节,以及在它们的操作中,做出各种省略和替换以及改变。尽管关于MB已经公开了本发明,但本领域技术人员将认识到在此描述的方法和设备可以应用于其它视频编码单元,例如,块或者超MB(相邻MB的组)。明确地旨在将以基本上相同的方式执行基本上相同的功能以实现相同的结果的这些要素的所有组合处于本发明的范围内。此外,完全旨在并设想到从描述的一个实施例到另一实施例的要素替换。
将理解,已经单纯借助于示例描述了本发明,并且可以在不脱离本发明的范围的情况下做出对细节的修改。可以独立地或者以任何适合的组合来提供说明书以及(在适合的情况下)权利要求书和附图中公开的每个特征。所述特征在适合的情况下可以以硬件、软件或者两者的组合来实现。
在权利要求中出现的参考标记仅仅是说明性的并且对权利要求的范围没有限制影响。
Claims (13)
1.一种在使用基于块编码而编码的视频图像中量测模糊的方法,包括以下步骤:
-选择视频编码单元和所述视频编码单元内的位置,其中所述视频编码单元是宏块,或者是两个或更多个相邻宏块;
-在第一方向上在所选的视频编码单元的边缘处检测局部的模糊等级,所述第一方向是水平的或者垂直的;
-在该位置周围的区域中计算局部方差;
-如果局部方差在所定义的范围内,则计算局部模糊值,其中所述区域内的像素与它们的邻近像素进行比较;
-组合来自不同视频编码单元的局部模糊值,其中获得第一方向的最终的方向模糊;
-重复以下步骤:计算局部方差,计算局部模糊并且组合第二方向的局部的模糊值,所述第二方向是水平或者垂直的并且不同于第一方向,其中获得第二方向的最终的方向模糊;以及
-组合第一方向和第二方向的最终的方向模糊值,其中获得作为当前图像的模糊量测的最终的模糊值。
2.根据权利要求1所述的方法,其中所述视频编码单元内的所选择的位置在宏块的垂直边缘中心(P_v1,P_v2)和水平边缘中心(P_h1,P_h2)。
3.根据权利要求1所述的方法,其中在以所确定的位置为中心的交叉区域中计算局部方差。
4.根据权利要求3所述的方法,其中交叉区域是矩形。
5.根据权利要求3所述的方法,其中交叉区域是方形并且具有15至20个像素的长度。
6.根据权利要求1所述的方法,其中计算方向的局部模糊值的步骤包括:沿该方向检测具有局部最小亮度值和最大亮度值的像素,其中具有局部最小亮度值的位置和具有局部最大亮度值的位置之间的距离是所述方向的局部模糊值。
7.根据权利要求6所述的方法,其中在检测具有局部最小亮度值和最大亮度值的像素时,两个或更多个具有相同亮度值的相邻像素被用作局部最小值或者最大值,并且其中与所选择的位置最远的像素被用作检测边缘。
8.根据权利要求6或7所述的方法,其中局部方差的定义范围是[2,20]。
10.一种在使用基于块编码而编码的视频图像中量测模糊的装置,包括:
-第一选择模块,选择水平或者垂直方向;
-第二选择模块(11),选择视频编码单元和所述视频编码单元内的位置,所述视频编码单元是宏块,或者是两个或更多个相邻宏块;
-检测模块(12,13),在所选择的方向上在所选择的视频编码单元的边缘处检测局部模糊等级,
-第一计算模块(12),根据选择的方向计算所述位置周围的区域中的局部方差;
-第二计算模块(14),如果所述局部方差在所定义范围内,则计算局部模糊,其中,所述区域内的像素与所选择的方向中的它们的邻近像素进行比较,
-第一组合模块(16),组合所选择的方向的局部模糊值,其中获得所选择的方向的最终的方向模糊值,以及
-第二组合模块,组合最终水平模糊值和最终垂直模糊值,其中获得作为当前图像的模糊量测的最终的模糊值。
11.根据权利要求10所述的装置,其中用于计算局部模糊的第二计算模块(14)包括:用于沿当前选择的方向检测具有局部最小亮度值和最大亮度值的像素的部件,其中具有局部最小亮度值的位置和具有局部最大亮度值的位置之间的距离是方向的局部模糊值。
12.根据权利要求11所述的装置,其中在检测具有局部最小亮度值和最大亮度值的像素时,两个或更多个具有相同亮度值的相邻像素被用作局部最小值或者最大值,并且其中与所选择的位置最远的像素被用作检测边缘。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09305233 | 2009-03-13 | ||
EP09305233.0 | 2009-03-13 | ||
PCT/EP2010/052474 WO2010102913A1 (en) | 2009-03-13 | 2010-02-26 | Blur measurement in a block-based compressed image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102349297A CN102349297A (zh) | 2012-02-08 |
CN102349297B true CN102349297B (zh) | 2014-01-22 |
Family
ID=42307854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080011198.3A Expired - Fee Related CN102349297B (zh) | 2009-03-13 | 2010-02-26 | 在基于块压缩的图像中的模糊量测 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9497468B2 (zh) |
EP (1) | EP2406956A1 (zh) |
JP (1) | JP5536112B2 (zh) |
KR (1) | KR101761928B1 (zh) |
CN (1) | CN102349297B (zh) |
BR (1) | BRPI1009553A2 (zh) |
WO (1) | WO2010102913A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5363656B2 (ja) * | 2009-10-10 | 2013-12-11 | トムソン ライセンシング | ビデオ画像のブラーを計算する方法及び装置 |
US10178406B2 (en) | 2009-11-06 | 2019-01-08 | Qualcomm Incorporated | Control of video encoding based on one or more video capture parameters |
US20110292997A1 (en) * | 2009-11-06 | 2011-12-01 | Qualcomm Incorporated | Control of video encoding based on image capture parameters |
US8842184B2 (en) * | 2010-11-18 | 2014-09-23 | Thomson Licensing | Method for determining a quality measure for a video image and apparatus for determining a quality measure for a video image |
JP5901175B2 (ja) * | 2011-08-08 | 2016-04-06 | アイキューブド研究所株式会社 | コンテンツ処理装置、コンテンツ処理方法、およびプログラム |
WO2013107037A1 (en) * | 2012-01-20 | 2013-07-25 | Thomson Licensing | Blur measurement |
JP6102602B2 (ja) | 2013-07-23 | 2017-03-29 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
KR102120809B1 (ko) | 2013-10-15 | 2020-06-09 | 삼성전자주식회사 | 광학필름의 이미지 블러 평가 방법 및 이미지 블러가 감소된 광학 필름 |
CN104243973B (zh) * | 2014-08-28 | 2017-01-11 | 北京邮电大学 | 基于感兴趣区域的视频感知质量无参考客观评价方法 |
US10979704B2 (en) * | 2015-05-04 | 2021-04-13 | Advanced Micro Devices, Inc. | Methods and apparatus for optical blur modeling for improved video encoding |
WO2016203282A1 (en) | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
CN107516305A (zh) * | 2017-09-22 | 2017-12-26 | 四川长虹电器股份有限公司 | 批量源图像降模糊程度处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1487749A (zh) * | 2002-07-18 | 2004-04-07 | 视频序列中模糊的测量 | |
CN1846444A (zh) * | 2003-09-17 | 2006-10-11 | 汤姆森许可贸易公司 | 自适应参考画面产生 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07193766A (ja) * | 1993-12-27 | 1995-07-28 | Toshiba Corp | 画像情報処理装置 |
JPH10285587A (ja) * | 1997-03-31 | 1998-10-23 | Tsushin Hoso Kiko | マルチウインドウ画像表示方式とこの方式を使用した遠隔検査システム |
KR100308016B1 (ko) * | 1998-08-31 | 2001-10-19 | 구자홍 | 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기 |
US6782135B1 (en) | 2000-02-18 | 2004-08-24 | Conexant Systems, Inc. | Apparatus and methods for adaptive digital video quantization |
KR100327386B1 (en) * | 2000-07-18 | 2002-03-13 | Lg Electronics Inc | Two-dimensional noise filter |
US7003174B2 (en) * | 2001-07-02 | 2006-02-21 | Corel Corporation | Removal of block encoding artifacts |
US6822675B2 (en) * | 2001-07-03 | 2004-11-23 | Koninklijke Philips Electronics N.V. | Method of measuring digital video quality |
AU2002251540A1 (en) | 2002-04-25 | 2003-11-10 | Genista Corporation | Apparatus, method and program for measuring blur in digital image without using reference image |
JP3862621B2 (ja) * | 2002-06-28 | 2006-12-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びそのプログラム |
EP1565875A1 (en) | 2002-11-25 | 2005-08-24 | Sarnoff Corporation | Method and apparatus for measuring quality of compressed video sequences without references |
CN1833448A (zh) | 2003-08-06 | 2006-09-13 | 皇家飞利浦电子股份有限公司 | 区块假象检测 |
US20050100235A1 (en) * | 2003-11-07 | 2005-05-12 | Hao-Song Kong | System and method for classifying and filtering pixels |
KR100628839B1 (ko) | 2004-03-30 | 2006-09-27 | 학교법인 성균관대학 | 모서리 잡음 검출 및 보상방법 |
JP4539318B2 (ja) | 2004-12-13 | 2010-09-08 | セイコーエプソン株式会社 | 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置 |
US8254462B2 (en) * | 2005-01-28 | 2012-08-28 | Broadcom Corporation | Method and system for block noise reduction |
EP1886502A2 (en) * | 2005-04-13 | 2008-02-13 | Universität Hannover | Method and apparatus for enhanced video coding |
WO2007130389A2 (en) * | 2006-05-01 | 2007-11-15 | Georgia Tech Research Corporation | Automatic video quality measurement system and method based on spatial-temporal coherence metrics |
AU2006252195B8 (en) | 2006-12-21 | 2011-02-03 | Canon Kabushiki Kaisha | MPEG noise reduction |
JP4799428B2 (ja) | 2007-01-22 | 2011-10-26 | 株式会社東芝 | 画像処理装置及び方法 |
JP5363656B2 (ja) | 2009-10-10 | 2013-12-11 | トムソン ライセンシング | ビデオ画像のブラーを計算する方法及び装置 |
-
2010
- 2010-02-26 US US13/138,600 patent/US9497468B2/en not_active Expired - Fee Related
- 2010-02-26 JP JP2011553387A patent/JP5536112B2/ja not_active Expired - Fee Related
- 2010-02-26 WO PCT/EP2010/052474 patent/WO2010102913A1/en active Application Filing
- 2010-02-26 KR KR1020117021300A patent/KR101761928B1/ko active IP Right Grant
- 2010-02-26 CN CN201080011198.3A patent/CN102349297B/zh not_active Expired - Fee Related
- 2010-02-26 BR BRPI1009553A patent/BRPI1009553A2/pt not_active IP Right Cessation
- 2010-02-26 EP EP10706608A patent/EP2406956A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1487749A (zh) * | 2002-07-18 | 2004-04-07 | 视频序列中模糊的测量 | |
CN1846444A (zh) * | 2003-09-17 | 2006-10-11 | 汤姆森许可贸易公司 | 自适应参考画面产生 |
Also Published As
Publication number | Publication date |
---|---|
JP5536112B2 (ja) | 2014-07-02 |
CN102349297A (zh) | 2012-02-08 |
US20110317768A1 (en) | 2011-12-29 |
US9497468B2 (en) | 2016-11-15 |
EP2406956A1 (en) | 2012-01-18 |
WO2010102913A1 (en) | 2010-09-16 |
KR101761928B1 (ko) | 2017-07-26 |
JP2012520588A (ja) | 2012-09-06 |
BRPI1009553A2 (pt) | 2019-04-09 |
KR20110126691A (ko) | 2011-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102349297B (zh) | 在基于块压缩的图像中的模糊量测 | |
Shahid et al. | No-reference image and video quality assessment: a classification and review of recent approaches | |
Golestaneh et al. | No-reference quality assessment of JPEG images via a quality relevance map | |
US8498495B2 (en) | Border region processing in images | |
Erfurt et al. | A study of the perceptually weighted peak signal-to-noise ratio (WPSNR) for image compression | |
US8224076B2 (en) | Image processing method and image processing apparatus | |
US20140321552A1 (en) | Optimization of Deblocking Filter Parameters | |
US20070280552A1 (en) | Method and device for measuring MPEG noise strength of compressed digital image | |
US10134121B2 (en) | Method and system of controlling a quality measure | |
EP2061254A2 (en) | Video coding | |
CN102724525A (zh) | 一种基于中心凹恰可觉察失真模型的深度视频编码方法 | |
US20130128979A1 (en) | Video signal compression coding | |
Babu et al. | An HVS-based no-reference perceptual quality assessment of JPEG coded images using neural networks | |
KR101970044B1 (ko) | 이미지/비디오 해상도 및 컬러 서브샘플링을 자동으로 감지하기 위한 방법 및 장치 | |
Chen et al. | A no-reference blocking artifacts metric using selective gradient and plainness measures | |
US9076220B2 (en) | Method of processing an image based on the determination of blockiness level | |
Ndjiki-Nya et al. | Efficient full-reference assessment of image and video quality | |
Lee et al. | New full-reference visual quality assessment based on human visual perception | |
Fang et al. | Asymmetrically distorted 3D video quality assessment: From the motion variation to perceived quality | |
Singh et al. | F-MAD: a feature-based extension of the most apparent distortion algorithm for image quality assessment | |
Roja et al. | Saliency based assessment of videos from frame-wise quality measures | |
Yang et al. | Blind PSNR estimation using shifted blocks for JPEG images | |
Zhang et al. | Assessment of color video quality with singular value decomposition of complex matrix | |
Liu et al. | Quality assessment of synthesized 3D video with distorted depth map | |
Seghir et al. | Full reference image quality assessment for compressed image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140122 Termination date: 20190226 |