CN101765015B - 对帧的像素的块的离散余弦系数进行近似的方法和设备 - Google Patents

对帧的像素的块的离散余弦系数进行近似的方法和设备 Download PDF

Info

Publication number
CN101765015B
CN101765015B CN2009102064011A CN200910206401A CN101765015B CN 101765015 B CN101765015 B CN 101765015B CN 2009102064011 A CN2009102064011 A CN 2009102064011A CN 200910206401 A CN200910206401 A CN 200910206401A CN 101765015 B CN101765015 B CN 101765015B
Authority
CN
China
Prior art keywords
frame
coefficient
piece
sub
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102064011A
Other languages
English (en)
Other versions
CN101765015A (zh
Inventor
F·M·弗南德茨
K·齐默曼
M·维尔特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101765015A publication Critical patent/CN101765015A/zh
Application granted granted Critical
Publication of CN101765015B publication Critical patent/CN101765015B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种对帧的像素的块的离散余弦系数进行近似的方法和设备。提出了用于对第一帧的像素的第一块的DC系数进行近似的方法和设备。所述方法包括:基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值;以及基于第二块的DC系数来确定第一块的DC系数,其中,第二块是第二帧的部分,该第二帧是第一帧的参考帧,第二块与第一块的参考块重叠并具有与亮度DC平均值最接近的DC系数。

Description

对帧的像素的块的离散余弦系数进行近似的方法和设备
技术领域
本发明的实施例涉及一种用于对第一帧的像素的第一块的DC系数进行近似的方法和设备。本发明的另外的实施例涉及一种用于检测视频流中的单色帧的方法和设备。
背景技术
在视频流中,有时使用单色帧来用信号通知(signal)视频流的不同部分之间(例如,由例如摄像机或可携式摄像机拍摄的点之间,或者在广告短片之间等)的边界。
单色帧是包含在帧上的均匀一致的单一颜色分布的视频帧。单色帧习惯于出现在两段广告之间的界线中,但是它们也出现在画面渐变期间、紧接在电影的致谢名单之前或者甚至在强烈的闪光期间。在本说明书中,“帧”也被称作“画面”或“图像”。
标识(logo)在帧中的出现会使该帧不是单色的。但是,因为该标识是后来添加到帧上的,所以帧的其余部分可以是单色的。因此,必须考虑两种单色帧:出现标识的单色帧和不出现标识的单色帧。
当今大多数视频数据都是以压缩形式传送的,比如以MPEG-2(运动画面专家组)形式传送。在MPEG-2中,在空间域内执行运动补偿,也就是说在对所需参考帧进行了解码之后执行运动补偿。为了能够对任意帧进行运动补偿,首先必须对作为重建该帧的基础的参考帧进行解码及缓冲。
随后利用当前帧的运动矢量,从相应的已解码的参考帧中取得所需的像素信息并且将该像素信息置于当前帧中。此外,对于利用了差分误差编码的预测帧,所传送的误差被解码并且被添加到运动估计中。
然而,在压缩域内,出于一个基本原因而无法应用这一运动补偿过程:在空间域内,对应于参考帧的所有像素都是可用的(这是因为这些像素先前已经被解码),而在压缩域内,只可使用每个先前定界的宏块的DCT系数。在大多数情况下,运动矢量所指向的参考区域并不与唯一的宏块相匹配,而是与数个宏块重叠。
存在几种针对数字视频的MPEG标准:MPEG-1、MPEG-2、MPEG-4。MPEG-2意图用于从视频会议到高清晰度电视的高数据速率视频应用。
与任何压缩算法一样,MPEG-2试图减少视频数据中的冗余。
一般来说,未压缩的视频数据包括在不同时刻(instant in time)取得的连续帧的序列。在MPEG-2中,每帧以分层的方式被分成切片(slice)、宏块(MB)、块和像素(像元)。所述像元(或像素)是最小的图像单元,并且其代表亮度和色度(其在RGB标准中等效于红色、绿色和蓝色的色彩强度)的各个样本值。块是8×8像元的集合,宏块包括4个块或者16×16个像元,而切片是1×n个宏块的水平阵列,其中n是从1到最大水平宏块数目(the maximum number ofmacro-blocks horizontally)的宏块数目。
与JPEG图像压缩算法一样,MPEG-2采用基于块的二维离散余弦变换(DCT)。8×8像元的块被变换成8×8的DCT系数块。
在具有均匀的亮度和颜色的像元块中,比如一片天空,少数几个DCT系数将集中所有的能量,而其余的DCT系数将为零或几乎为零。因此,经常出现的情况是对于每个64帧块只需要传送少数几个DCT系数,从而大大减少了信息量。因此,对于单色块来说,仅有左上角的系数(其也被称作DC系数)会是非零的,而对于具有很多纹理或噪声的块来说,右下角部分会包含一些非零值。在量化之后,从右上角系数开始按照Z字形方式扫描所得到的非零系数,并且利用可变长度编码(VLC)对其进行编码。
由于相邻帧之间的相似性而存在时间冗余。在MPEG-2中存在3种主要的帧类型:I帧、P帧和B帧。在I帧中,所有宏块都被帧内编码(intra-code),这意味着所有宏块的经过量化的DCT系数都被传送。在P帧中,宏块可以被帧内编码、被前向预测或者被跳过,这取决于该宏块关于先前帧的改变程度。类似地,B帧宏块可以被帧内编码、被跳过、被前向预测、被后向预测或者被双向预测。
每个前向预测过的宏块都得自运动矢量(MV)所指向的先前参考帧(I或P帧)的宏块和估计误差。也就是说,取代传送所述宏块的DCT系数,指向该宏块的先前位置的运动矢量与这个预测的估计误差一起被提供。这样,先前参考帧的DCT系数信息被用来导出当前的宏块信息。按照相同的方式,后向预测过的宏块包括指向该宏块在下一参考帧中的位置的运动矢量。
双向预测过的宏块包含两个运动矢量,其中一个运动矢量来自先前参考帧,而另外一个运动矢量来自下一参考帧。
在所述压缩过程期间,通过把每个宏块与所述先前参考帧和/或下一参考帧中的一些或所有其它宏块进行比较来计算所述运动矢量。可以通过几种方式来获得运动矢量。
最常见的方法是帧间混合编码。利用这种方法,于空间域内在运动估计器中获得运动矢量,也就是说利用未压缩的视频信息来获得运动矢量。随后将对所述运动矢量进行差分编码:每个所传送的运动矢量代表关于先前传送的运动矢量的差。最后,经过运动补偿的预测器获得基于运动矢量的重建与原始帧之间的差。为此目的,必须对所述已编码的DCT系数进行逆量化和逆变换。对差分误差进行VLC编码并且与所述运动矢量和标志一起发送,其中该标志表明是否存在这样的误差信息。MPEG-2既可以应对逐行视频(Progrssive video)也可以应对隔行视频。
画面或帧被组织成画面组(GOP)。GOP是一个I帧以及零个或更多个P和B帧的组合,其通常(但是也不一定)在整个视频序列期间周期性地重复。GOP至少包含一个也仅仅包含一个I帧,其位于该GOP的开头。
在US 2007-0256091 A1中公开了一种通过比较像素平均值来提取空间域中(即,在解压缩之后)的单色帧的方法。然而,视频流必须完全被解压缩,从而尤其是当应用于高质量视频流时招致高计算成本。
在US 2007-0206931中公开了一种用于通过使用统计数或帧内编码的宏块来提取压缩域中的单色帧的方法。帧内编码的宏块的平均数目用作出现单色帧的指示器。然而,由于I帧总是被帧内编码,所以该方法只能应用于P帧和B帧。
因此,需要用于对压缩帧的像素的第一块流(current)进行近似的改进的方法和设备,和需要用于检测压缩视频流中的帧或单色帧的改进的方法和设备,以及需要相应的计算机程序产品。
发明内容
通过以下方法和设备来解决该目的:
一种用于对第一帧的像素的第一块的DC系数进行近似的方法,其包括:
基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值;以及
基于第二块的DC系数来确定第一块的DC系数,其中,第二块是第二帧的部分,该第二帧是第一帧的参考帧,第二块与第一块的参考块重叠并具有与亮度DC平均值最接近的DC系数。
一种用于检测视频流中的单色帧的方法,其包括:
上述的对DC系数进行近似;
确定第一帧中的DC系数的方差;
如果方差低于预定阈值,则将第一帧分类为单色。
一种用于对第一帧的像素的第一块的DC系数进行近似的设备,其包括:
计算单元,其被配置成基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值;以及
确定单元,其被配置成基于第二块的DC系数来确定第一块的DC系数,其中第二块是第二帧的部分,该第二帧是第一帧的参考帧,第二块与第一块的参考块重叠并具有与亮度DC平均值最接近的DC系数。
一种用于检测视频流中的单色帧的设备,其包括:
上述设备;
方差确定单元,其被配置成确定帧中的DC系数的方差;以及
分类单元,其被配置成如果方差低于预定阈值则将该帧分类为单色。
一种计算机程序产品,其包括使计算机执行对DC系数进行近似的方法的计算机程序指令,所述对DC系数进行近似的方法包括:
基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值;以及
基于第二块的DC系数来确定第一块的DC系数,其中,第二块是第二帧的部分,第二帧是第一帧的参考帧,该第二块与第一块的参考块重叠并具有与亮度DC平均值最接近的DC系数。
通过考虑附图和后面的描述,本发明的其它细节将变得显而易见。
附图说明
附图旨在提供对各实施例的进一步了解,并且被合并在本说明书中而且构成本说明书的一部分。附图图示了各实施例,并且与描述一起用来解释各实施例的原理。参照后面的详细描述可以很容易设想到其它实施例以及各实施例的多个预定优点。附图的各要素不一定是相对于彼此按比例绘制的。相同的附图标记指代相应的类似部件。
图1示出了根据本发明的实施例的方法的示意性流程图,
图2示意性地示出了根据本发明的另一实施例的第一块和第二块,
图3示意性地示出了根据本发明的另一实施例的设备,
图4示意性地示出了根据本发明的另一实施例的方法的流程图,
图5示意性地示出了根据本发明的另一实施例的设备,
图6示意性地示出了根据本发明的另一实施例的帧的部分,
图7示意性地示出了根据本发明的另一实施例的分类方案,
图8a示意性地示出了根据本发明的另一实施例的分类方案,
图8b示意性地示出了根据本发明的另一实施例的分类方案,
图9示意性地示出了根据另一示例性实例的对第一块进行近似的另一可能性。
具体实施方式
下面将描述本发明的各实施例。很重要的是应当注意到:可以按照任意方式来组合下面所描述的所有实施例,也就是说并没有关于所描述的特定实施例不可与其它实施例组合的限制。此外还应当注意到:各图中相同的附图标记指代相同的或类似的元件。
应当理解的是,还可以利用其它实施例,并且在不偏离本发明的范围的情况下可以做出结构上的或逻辑上的改变。因此,下面的详细描述不应被视为限制性的,而是本发明的范围由所附权利要求书限定。
还应当理解的是,除非另行声明,这里所描述的各实施例的特征可以彼此组合。
在图1中示意性地描绘了用于对第一帧的像素的第一块的DC系数进行近似的方法的流程图。在S100中,基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值。
在本说明书中,术语“第一帧”也可以被称为“当前帧”或“第一帧”,并且术语“块”也可以被称为“子块”。
所述DC系数是最低频系数。但是,获得对其余DCT系数的近似的过程是类似的。此外,所述算法将在子块级别上工作。每个宏块包括4个这种亮度子块,其中每个亮度子块包括8×8个DCT系数。第一系数是最低频分量或DC系数。每个子块将被分配与其所属的宏块相同的宏块类型。除了场宏块(field macro-block)的情况之外,每个子块将被分配其相应宏块的运动矢量。所述运动矢量包括(x,y)对,其代表关于当前子块位置的水平位移和垂直位移。
DC系数近似的总体过程可以分成两个部分。首先,根据帧类型、宏块类型和运动矢量,必须定位参考区域以及多达4个周围子块。随后,将根据这些周围子块当中的一个或几个来对当前预测的DC系数进行近似。对于每个将要预测的宏块重复这一过程。
对于每个子块,如下确定各相对应的参考子块的位置。
如果已解码的帧为P类型,则根据宏块类型,下列情况适用:
-前向预测:运动矢量指向先前参考帧中的参考区域
-跳过:运动矢量为零并且指向先前参考帧中的参考区域如果已解码的帧为B类型,则根据宏块类型,下列情况适用:
-前向预测:运动矢量指向先前参考帧中的参考区域
-后向预测:运动矢量指向下一参考帧中的参考区域
-双向预测:传送两对运动矢量,其中一对指向先前参考帧,而另一对指向下一参考帧的参考区域
-跳过:运动矢量和宏块类型与先前计算的未跳过的子块相同。在从相应的先前未跳过的子块中拷贝了运动矢量和宏块类型信息之后,前面的其中一种情况应当适用。
无近似误差的DC系数可以是对于参考宏块具有零运动矢量的被预测的宏块,或者其可以是对于参考宏块被跳过的宏块,或者其可以是被帧内编码的第一帧的宏块。
在S102中,基于第二块的DC系数,确定第一块的DC系数,其中第二块是第二帧的部分,该第二帧是第一帧的参考帧。第二块与第一块的参考块重叠,并具有与亮度DC平均值最接近的DC系数。
所提出的方法也被称为“最接近期望的单色值”。所述方法并不是旨在获得原始帧的准确近似。而是所述方法旨在正确地重建单色帧。因此,将以比任何先前方法都更高的精确度来重建单色帧,而非单色帧会尝试(experiment)较高的近似误差(从均方误差(MSE)方面而言)。
在开始DC系数近似之前,所述方法假设当前帧是单色帧,并根据以下来计算亮度DC平均值:
·当前帧的帧内编码的宏块(MB)的DC系数。由于被帧内编码,这些值并没有任何近似误差。
·相应的参考帧的具有零运动矢量(MV)的前向、后向或双向预测的宏块(MB)。由于运动矢量是零,所以参考区域与当前的子块位置完全重叠并且没有近似误差。
·相应的参考帧的被跳过的宏块(只用于P帧DC近似)。
在P帧中,被跳过的宏块等效于具有零运动矢量且无编码误差的前向的宏块。
可以参照图2更详细地解释所述方法。
令γ是这样计算出来的期望的平均单色DC系数,则对于每个子块SBCur
DC(SBCur)=DC(SBi)+DCErr                    (1)
|DC(SBi)-γ|≤|DC(Sbj)-γ|, ∀ j ≠ i , i,j∈{1,2,3,4}                    (2)
其中DCErr是所传送的误差系数。这意味着,将选择与期望的单色DC值最接近的DC系数。
DC近似方案也可以包括两种方法的组合。
例如,有可能确定属于第三帧的第三块,该第三帧是第二帧的参考帧。第三块具有与第二块的参考块的最大重叠。随后,基于第三块的DC系数,确定第二块的DC系数。
组合中的第一方法也被称为“最近子块选择”,并且也可以参照图2来解释。基于当前子块(SBCur)位置和运动矢量(MV),选择出与所述参考区域最近的子块,并且将其DC系数拷贝在SBCur中。这种方法的优点在于快速,这是因为只需要进行很少的计算。
借助该方法,可以首先对P帧进行近似,以最小化携带的误差并产生在MSE方面而言良好的近似。然后,使用所获得的P帧作为参考帧,等式(1)和(2)的“最接近期望的单色值”方法将对P帧和B帧DC系数进行近似。
在图9中描绘了另一种对DC系数进行近似的方法,其也被称作“加权和”。
利用这种“加权和”方法,通过围绕原始参考区域的多达4个子块的DC系数的加权和来对当前子块(SBCur)的DC系数进行近似:
DC ( SB Cur ) = Σ i = 1 4 w i · DC ( SB i ) + DC Err - - - ( 3 )
其中,权重wi代表每个子块的SBi面积与所述参考子块区域重叠的小部分,而DCErr代表所传送的已编码误差DC系数。一般来说,这种方法代表了在均方误差(MSE)方面的良好近似。但是,这并不意味着其对于后来的视频特征提取来说是更好的。对于所述单色帧检测而言尤其是这种情况,这是因为通过考虑所有宏块而引入的误差即使其与所述参考区域间隔非常远,也仍然可能会导致所重建宏块的DC值不同于预期情况。此外,这种近似方法还有要求很高计算能力的缺点。为了对每个子块进行近似,首先必须计算相应的重叠面积,随后必须建立所述加权和。与此相比,所述最近子块选择方法仅仅需要对于每个运动矢量分量执行取整除法(round division)来找到所选的子块,随后只是拷贝DC系数。
当通过评估来比较这些方法时,关于示例性视频流获得以下表格。该表格示出了对于所描述的三种方法中的每种方法的被近似的单色帧的亮度DC系数方差的结果。因为已经使用了真实的单色帧,所以最低的方差值指示了对单色帧的较好的近似。
  近似方法   亮度DC方差
  加权和近似   473090
  最近子块近似   199340
  最接近估计值近似   7869
因为帧最初是单色的,所以理想的方差应该为0,但是,方差由于近似误差而通常不是零。
如所指示的那样,到目前为止,用于对该前向预测的单色帧进行近似的最好方法是最接近估计值近似。
在图3中,描绘了用于对第一帧的DC系数进行近似的设备300。设备300包括计算单元302并且还包括确定单元304,该计算单元302被配置成基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值,该确定单元304被配置成基于第二块的DC系数来确定第一块的DC系数,其中第二块是第二帧的部分,该第二帧是第一帧的参考帧。第二块与第一块的参考块重叠,并具有与亮度DC值最接近的DC系数。
在图4中,描绘了用于检测视频流中的单色帧的方法的流程图。在S100和S102中对DC系数进行近似之后,在S400中确定DC系数的方差。在S402中,检查该方差是否低于预定阈值。如果方差低于预定阈值,则帧被分类为单色的。
相应地,在图5中描绘了用于检测单色帧的设备500的示意图。设备500包括设备300和方差确定单元502以及分类单元504,该设备300用于对DC系数进行近似,该方差确定单元502被配置成确定帧中的DC系数的方差,该分类单元504被配置成如果方差低于第二预定阈值则将帧分类为单色的。
在图6中,描绘了示例性帧600。为了检测单色帧,帧600的(具有宽度LBor的)外部部分可以首先被剪切来避免边界效应。
然后将帧600的其余部分划分为5个部分:其中可能出现频道标识的角落{C1,C2,C3,C4}和帧的其余部分AProc。为了确定帧是否是单色的,计算区域AProc的DC系数的方差。如果该方差低于预定的第一阈值σmono 2,则帧将被分类为单色的。令xi是区域AProc的n个DC系数值,则按如下计算方差σ2
σ 2 = 1 n - 1 Σ i = 1 n ( x i - x ‾ ) 2 - - - ( 4 )
其中
x ‾ = 1 n Σ i = 1 n x i - - - ( 5 )
为了确定单色帧是否包含标识,也计算每个角落区域Ci的DC系数的方差σi 2并将其与阈值σlogo 2进行比较。因为闪光的特征在于具有很高的亮度,所以为了确定检测到的(带标识的或不带标识的)单色帧是否实际上是闪光,将帧的平均亮度λcomp与阈值σflash进行比较。总之,对于每个帧,其单色特征(MCH)值可以被表达为:
Figure G2009102064011D00101
Figure G2009102064011D00102
因为对于P帧和B帧在比特流中不存在DCT系数,所以使用是使用上面讨论的最接近期望的单色值算法来近似的DC系数。
在B帧的情况下,也可以使用可替换的且更快速的方法。单色帧进入连续帧的可变长度队列(train),所述连续帧的可变长度队列的范围从1个单一帧到在某些情况下多于20个单一帧。因此可以出现2种不同情形:
1.该队列中的一些单色帧落入I类型帧或者P类型帧。在这种情况下,如果对于I帧或P帧不能检测到单色,则对于任何B帧将不会检测到单色,因为B帧是从其周围的I帧或P帧被插值的。
2.队列很短,并且所有单色帧都落入B帧。在这种情况下,单色B帧的大多数宏块不能根据任何在周围的参考帧来预测。因此,多个宏块将被帧内编码,并且其DCT系数将是可用的。
然后,可替换的方法是分析那些具有高比例的帧内编码的宏块的B帧。该比例代表了在速度和灵敏度之间的折衷,但是在任何情况下,该比例都应该足够大,以确保它们代表帧的重要部分。然后,以与针对I帧和P帧相同的方式,分析帧内编码的DC系数。
因为可能不存在角落区域的DCT系数,所以从最接近的I单色帧或P单色帧继承标识信息。
在图7中,描绘了对单色帧的确定的结果。
最后,为了确定单色帧是否实际上是闪光,计算亮度DC系数值的平均数(λcomp)。如果该平均数高于特定阈值τflash,则单色帧被标明为闪光(将值设定为2)。
单色帧的检测可以用于若干应用,比如章节划分(chaptering)、视频分割或广告检测(commercial detection)。出于广告检测的目的,已经证明了德国电视广播内容的最成功的特征之一。在这种情况下,只使用该特征和分类及回归树,可以实现96.5%的总体精确度。
在该部分中,公开了用于单色特征的预处理方法,以使用模式识别分类器来使其适于广告检测。
单色帧检测未经处理的特征为每个帧估计它是否是单色帧。广告块的特征在于在两段广告短片之间的界线中经常具有单色帧。因此,旨在给出关于在周围而非仅在当前帧中出现单色帧的被监督的学习算法信息。
所提出的预处理算法因此给出一对特征阵列。第一阵列MCHL针对每个帧位置指示了到先前检测到的单色帧的距离(以帧为单位)。类似地,第二阵列MCHR指示了到下一检测到的单色帧的距离。如等式(7)中所描述的那样,给定MCH(k)、即帧k的未经处理的特征,则
Figure G2009102064011D00111
Figure G2009102064011D00112
其中,k是所有MCH(k)=1的帧位置的集合。图8a和图8b比较了未经处理的特征MCH(k)与通过预处理获得的叠加MCHL和MCHR。
已经描述了用于检测数字视频中的单色帧的方法。将在压缩域中提取单色特征。因此,本方法直接对压缩过的数字视频起作用。对于MPEG-2压缩视频已经应用了本方法,但是其也可以被应用于利用了频域变换(比如离散余弦变换或小波变换)和(通过使用运动矢量或类似方法的)帧的运动估计的任何其它数字视频标准。所提出的方法也可以被称为“DC系数运动补偿插值”。
虽然在这里图示并描述了具体实施例,但是本领域技术人员应当认识到,在不偏离所述实施例的范围的情况下,可以用许多替换和/或等效实现方式来替代所示出并描述的具体实施例。本申请意图包含这里所讨论的具体实施例的任何适配或变型。因此,本发明的范围仅由权利要求书及其等效表述限定。

Claims (16)

1.一种用于对第一帧的像素的第一子块的DC系数进行近似的方法,其包括:
基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值,其中该第一帧是当前帧;以及
基于第二子块的DC系数来确定第一子块的DC系数,其中,第二子块是第二帧的部分,该第二帧是第一帧的参考帧,第二子块与第一子块的参考子块重叠并具有与亮度DC平均值最接近的DC系数,
其中,在所述当前帧为单色帧的假设下,
所述亮度DC平均值是根据所述当前帧的帧内编码的宏块的DC系数计算得出的,其中,由于被帧内编码,这些帧内编码值没有任何近似误差,
所述亮度DC平均值是根据相应的参考帧的前向、后向、或者双向预测的具有零运动矢量的宏块计算得出的,其中,由于运动矢量为零,所以参考区域与当前的子块位置完全重叠并且没有近似误差,并且
对于P帧DC近似,所述亮度DC平均值是根据相应的参考帧的被跳过的宏块计算得出的,其中在P帧中,被跳过的宏块相当于具有零运动矢量并且无编码误差的前向宏块。
2.根据权利要求1所述的方法,其中,无近似误差的、第一帧的宏块是对于参考宏块具有零运动矢量的被预测的宏块,或者是对于参考宏块被跳过的宏块,或者是被帧内编码的第一帧的宏块。
3.根据权利要求1所述的方法,其中,在确定第一子块的DC系数期间,误差系数DCErr被添加到第二子块的DC系数。
4.根据权利要求1所述的方法,其还包括:
确定属于第三帧的第三子块,该第三帧是第二帧的参考帧;第三子块与第二子块的参考子块重叠得最多;以及
基于第三子块的DC系数来确定第二子块的DC系数。
5.根据权利要求1所述的方法,其还包括:
基于无近似误差的、第一帧的宏块的DCT系数,通过计算DCT系数平均值,确定第一子块的另外的DCT系数;以及
基于另外的第二子块的DCT系数,确定第一子块的另外的DCT系数,其中,另外的第二子块是第二帧的部分,另外的第二子块与第一子块的参考子块重叠并具有与DCT系数平均值最接近的另外的DCT系数。
6.一种用于检测视频流中的单色帧的方法,其包括:
根据权利要求1所述的对DC系数进行近似;
确定第一帧中的DC系数的方差;
如果方差低于预定阈值,则将第一帧分类为单色。
7.根据权利要求6所述的方法,其还包括:
将第一帧划分为至少两个部分;
确定每个部分的DC系数的方差;
如果至少一个部分的方差低于第一预定阈值,则将第一帧分类为单色。
8.根据权利要求7所述的方法,其中,至少两个部分中的至少一个部分是第一帧的角落区域。
9.根据权利要求8所述的方法,其中,第一帧被划分为五个部分,并且五个部分中的四个部分是帧的角落区域。
10.根据权利要求7所述的方法,其中,如果所述部分的方差中的至少一个低于预定阈值并且所述部分的方差中的至少一个高于预定阈值,则第一帧被分类为带标识的单色。
11.根据权利要求7所述的方法,其还包括:
确定亮度DC系数的平均数,并且如果该平均数高于第二预定阈值,则将第一帧分类为闪光。
12.根据权利要求6所述的方法,其还包括:
为每个帧位置确定到先前的检测到的单色帧的距离或到下一检测到的单色帧的距离的指示。
13.一种用于对第一帧的像素的第一子块的DC系数进行近似的设备,其包括:
计算单元,其被配置成基于无近似误差的、第一帧的宏块的DC系数来计算亮度DC平均值,其中,该第一帧是当前帧;以及
确定单元,其被配置成基于第二子块的DC系数来确定第一子块的DC系数,其中第二子块是第二帧的部分,该第二帧是第一帧的参考帧,第二子块与第一子块的参考子块重叠并具有与亮度DC平均值最接近的DC系数,
其中,在所述当前帧为单色帧的假设下,所述设备被配置为
根据所述当前帧的帧内编码的宏块的DC系数来计算所述亮度DC平均值,其中,由于被帧内编码,这些帧内编码值没有任何近似误差,
根据相应的参考帧的前向、后向、或者双向预测的具有零运动矢量的宏块来计算所述亮度DC平均值,其中,由于运动矢量为零,所以参考区域与当前的子块位置完全重叠并且没有近似误差,并且
对于P帧DC近似,根据相应的参考帧的被跳过的宏块来计算所述亮度DC平均值,其中在P帧中,被跳过的宏块相当于具有零运动矢量并且无编码误差的前向宏块。
14.根据权利要求13所述的设备,其中,无近似误差的、第一帧的宏块是对于参考宏块具有零运动矢量的被预测的宏块,或者是对于参考宏块被跳过的宏块,或者是被帧内编码的第一帧的宏块。
15.一种用于检测视频流中的单色帧的设备,其包括:
根据权利要求13所述的设备;
方差确定单元,其被配置成确定帧中的DC系数的方差;以及
分类单元,其被配置成如果方差低于预定阈值则将该帧分类为单色。
16.根据权利要求15所述的设备,其中,分类单元还被配置成:将帧划分为至少两个部分;确定每个部分的DC系数的方差;以及如果至少一个部分的方差低于第一预定阈值,则将帧分类为单色。
CN2009102064011A 2008-11-12 2009-11-12 对帧的像素的块的离散余弦系数进行近似的方法和设备 Expired - Fee Related CN101765015B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08019761.9 2008-11-12
EP08019761A EP2187647A1 (en) 2008-11-12 2008-11-12 Method and device for approximating a DC coefficient of a block of pixels of a frame

Publications (2)

Publication Number Publication Date
CN101765015A CN101765015A (zh) 2010-06-30
CN101765015B true CN101765015B (zh) 2013-07-10

Family

ID=40670966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102064011A Expired - Fee Related CN101765015B (zh) 2008-11-12 2009-11-12 对帧的像素的块的离散余弦系数进行近似的方法和设备

Country Status (3)

Country Link
US (1) US8644388B2 (zh)
EP (1) EP2187647A1 (zh)
CN (1) CN101765015B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588544B2 (en) * 2009-10-13 2013-11-19 Sony Corporation Method and system for reducing ringing artifacts of image deconvolution
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9195892B2 (en) * 2013-03-15 2015-11-24 Arris Technology, Inc. System for and method of detecting strobe using spatial features in video frames
US8891021B2 (en) * 2013-03-15 2014-11-18 General Instrument Corporation System and method of detecting strobe using temporal window
WO2016002068A1 (ja) * 2014-07-04 2016-01-07 三菱電機株式会社 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US7809154B2 (en) * 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
JP2007533196A (ja) 2004-04-08 2007-11-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単色フレーム検出方法及びこれに対応する装置
US7880815B2 (en) * 2005-01-10 2011-02-01 Mavs Lab, Inc. Method for detecting and eliminating flash scene in digital video
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
JP2007300158A (ja) 2006-04-27 2007-11-15 Toshiba Corp 単色フレーム検出方法
US8254444B2 (en) * 2007-05-14 2012-08-28 Samsung Electronics Co., Ltd. System and method for phase adaptive occlusion detection based on motion vector field in digital video

Also Published As

Publication number Publication date
EP2187647A1 (en) 2010-05-19
CN101765015A (zh) 2010-06-30
US8644388B2 (en) 2014-02-04
US20100158122A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
CN101507277B (zh) 图像编码/解码方法和设备
CN100581232C (zh) 用于在视频序列中对运动进行编码的方法
US7292731B2 (en) Image encoder, image decoder, image encoding method, and image decoding method
CN100473167C (zh) 图像编码方法和图像编码器
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
CN1795680B (zh) 采用avc帧内预测以便对数字视频进行编码的方法和装置
CN101385346B (zh) 解决局部亮度变化的视频编码设备和方法
CN102209243B (zh) 基于线性模型的深度图帧内预测方法
CN101715146B (zh) 压缩视频质量评价方法及评价系统
CN101496406B (zh) 图像编码/解码方法和设备
CN103546749B (zh) 利用残差系数分布特征和贝叶斯定理优化hevc残差编码的方法
CN102498718B (zh) 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码
CN101765015B (zh) 对帧的像素的块的离散余弦系数进行近似的方法和设备
CN101352046A (zh) 图像编码/解码方法与装置
CN104041003A (zh) 用于视频序列中的感知质量评估的场景变换检测
CN101827269A (zh) 视频编码方法和装置
CN102484711B (zh) 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码
CN106937116A (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN106331730B (zh) H.264视频同量化因子双重压缩检测方法
CN101742307B (zh) 用于从视频帧序列中提取出平均亮度方差的方法和设备
CN105915916A (zh) 基于运动向量率失真性能估计的视频隐写分析方法
CN101622877A (zh) 用于有效空间帧内可预测性确定(或评估)的系统和方法
CN101150722A (zh) 视频编码中快速的模式确定方法和装置
CN101783956A (zh) 基于时空邻居信息的后向预测方法
CN103546747A (zh) 一种基于彩色视频编码模式的深度图序列分形编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130710

Termination date: 20151112

CF01 Termination of patent right due to non-payment of annual fee