CN104995914A - 用于基于上下文的视频质量评估的方法和装置 - Google Patents
用于基于上下文的视频质量评估的方法和装置 Download PDFInfo
- Publication number
- CN104995914A CN104995914A CN201380072550.8A CN201380072550A CN104995914A CN 104995914 A CN104995914 A CN 104995914A CN 201380072550 A CN201380072550 A CN 201380072550A CN 104995914 A CN104995914 A CN 104995914A
- Authority
- CN
- China
- Prior art keywords
- distortion
- temporal
- current frame
- spatial
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001303 quality assessment method Methods 0.000 title abstract description 5
- 230000002123 temporal effect Effects 0.000 claims abstract description 79
- 230000000007 visual effect Effects 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims 2
- 238000013459 approach Methods 0.000 abstract description 2
- 238000013442 quality metrics Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
空间失真(即,在独立于视频序列中的其他帧来观看帧时)可以与时间失真(例如,在连续观看帧时)相当不同。为了估计时间失真,使用滑动窗口方法。具体地,考虑在当前帧周围的多个滑动窗口。在每个滑动窗口内,计算大失真密度并且选择具有最高的大失真密度的滑动窗口。计算当前帧和所选择的窗口内具有大失真的最靠近的帧之间的距离。随后,根据最高的大失真比率、当前帧的空间失真以及距离来估计时间失真。在另外的实施例中,计算每个滑动窗口的空间失真值的中值并且使用中值空间失真值的最大值来估计时间失真。
Description
技术领域
本发明涉及视频质量测量,并且更具体地,涉及用于确定客观视频质量度量的方法和装置。
背景技术
已经开发出不同的方法来估计视频序列中的各个帧的质量级别。给出视频序列中的各个帧的所估计的质量级别,已经在时间汇合(pool)策略的框架下研究了获取与视频序列的所感知的质量良好匹配的客观的总的视频质量度量的方法。
发明内容
所述原理提供一种用于估计视频序列的视觉质量的方法,如下所述,其包含:访问包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真;响应于每个滑动窗口中的帧的各自的空间失真,确定指示每个滑动窗口的代表伪像级别(representative artifact level)和大失真密度(largedistortion density)中的至少一个的因子;响应于所确定的因子来确定当前帧的时间失真;以及响应于当前帧的时间失真来确定视频序列的视觉质量。所述原理还提供用于执行这些步骤的装置。
所述原理还提供一种用于估计视频序列的视觉质量的方法,如下所述,其包含:访问包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真;响应于每个滑动窗口中的帧的各自的空间失真来确定指示每个滑动窗口的代表伪像级别和大失真密度中的至少一个的因子;确定多个滑动窗口的因子的最大值;响应于最大的因子来确定当前帧的时间失真;以及响应于当前帧的时间失真来确定视频序列的视觉质量。所述原理还提供用于执行这些步骤的装置。
所述原理还提供一种计算机可读存储介质,在其上存储有用于根据上述方法来估计视频序列的视觉质量的指令。
附图说明
图1A是图示示例性视频序列中的各个帧的空间伪像级别的图示示例,图1B是图示示例性视频序列中的各个帧的所感知的时间质量的图示示例。
图2A、2B和2C是根据所述原理的实施例的图示在视频质量建模中所使用的滑动窗口的图示示例。
图3A是图示另外的示例性视频序列中的各个帧的空间伪像级别的图示示例,并且图3B和3C分别是根据所述原理的实施例的图示帧的邻域中的主导失真(dominant distortion)和所估计出的时间失真的图示示例。
图4A是图示另外的示例性视频序列中的各个帧的空间伪像级别的图示示例,并且图4B和4C分别是根据所述原理的实施例的图示帧的邻域中的最高的大失真密度和所估计出的时间失真的图示示例。
图5A是图示另外的示例性视频序列中的各个帧的空间伪像级别的图示示例,并且图5B和5C分别是根据所述原理的实施例的图示帧的邻域中的最高的大失真密度和所估计出的时间失真的图示示例。
图6是图示根据所述原理的实施例的对帧n的时间失真建模的示例性方法的流程图。
图7是图示根据所述原理的实施例的示例性视频质量监视器的框图。
图8是图示可以与一个或多个实现方式一起使用的示例性视频处理系统的框图。
具体实施方式
在本申请中,使用“空间伪像”来表示在对视频序列中的图片独立于视频序列中的其他图片来观看时在该图片中所感知的伪像,并且使用“时间伪像”来表示在连续地显示视频序列中的图片时在视频序列的一个图片中所感知的伪像。类似地,使用“空间失真”或“空间质量”来表示在独立于视频序列中的其他图片来观看图片时在该图片中所感知的失真或质量,并且使用“时间失真”或“时间质量”来表示在连续地显示视频序列中的图片时在视频序列的一个图片中所感知的失真或质量。
在评估空间失真时,在一时间段内独立于视频序列中的其他图片地观看一个图片,该时间段对于观看者识别图像内容和失真是足够长的。这与评估图片被连续地显示的情况下的时间失真不同。
在本申请中,术语“帧”与术语“图片”可互换地使用。术语“失真”和“伪像”两者都指帧中的质量下降,并且往往可互换地使用。
帧n的空间失真记为ds(n),其可以通过多种图像质量评估方法来获得,例如但不限于全参考(full-reference)或无参考(no-reference)方法以及像素域或比特流级别的方法。在一个实施例中,如在N.Liao、Z.Chen和K.Xie的标题为“Video quality assessment at a bitstream level”的共同拥有的PCT申请(PCT/CN2012/078766,律师案号PA120027)(通过引用将其教导具体地并入本文)中公开的那样,可以将空间失真估计为由初始和/或传播的可见伪像所引起的总的可见伪像级别。
图片中的空间伪像需要持续一段时间,使得眼睛可以盯住并且将其识别为伪像。当图片是视频序列的一部分并且每个仅显示非常短的一段时间(例如,在实时播放视频时的1/frame_rate的期间)时,在帧n的时刻所感知的视频失真即帧n的时间失真dt(n)可以与帧n的空间失真ds(n)相当不同。这可以是因为时间失真dt(n)受其邻近帧的内容和失真所影响。
对于示例性视频序列,图1A示出视频序列中的各个帧的空间伪像级别,并且图1B示出视频序列中的各个帧的时间质量。更具体地,图1A示出在示例性视频序列遭受包损失时的帧的空间伪像级别。空间伪像可以在视频序列中不定时发生,例如在帧74、77、215、261和262处所看到的空间伪像。空间伪像也可以突发性地出现,诸如在帧106-111周围所看到的伪像。
图1B示出在连续地显示视频序列的帧时的时间质量,其中得分100对应于最佳质量。取决于质量测量方法,质量得分可以以不同的标度。时间质量的精确曲线可以使用主观测试方法来得到,例如但不限于在ITU-R BT 500中所定义的单刺激连续质量评价(Single StimulusContinuous Quality Eevaluation,SSCQE)。
从图1A可以看出,在独立地观看帧74和77时,这两个帧有强的空间伪像。然而,在连续地显示视频时,这两个帧的伪像变得不可见,并且因此,如图1B所示,在连续观看时,帧74和77处于最佳质量级别。因此,强的空间伪像可能并不总是对应于高的时间失真。另一方面,视频序列的一个帧在独立于其他帧被观看时可能看起来具有良好的质量,但在连续显示视频序列时可能呈现强的时间失真(例如,运动抖动)即,小的空间失真可能并不总是对应于小的所感知的时间失真(即,更高的时间质量)。
因此,空间失真(即,在独立于视频序列中的其他图片观看一个图片时)可能与时间失真(即,在连续观看图片时)相当不同。所述原理提供根据各个帧的空间失真对时间质量精确地建模的方法和装置。具体地,所述原理考虑影响观看者如何标识时间失真的上下文,其中所述上下文包括例如但不限于失真的持续时间和图案(pattern)以及观看者经由观看邻近帧而识别出的纹理和对象的运动。
在一个实施例中,给出空间失真,可以使用滑动窗口方法对所感知的时间失真进行建模。如图2A-2C所示,包括帧n的L0个帧的滑动窗口(表示为Si,n)开始于帧(n-i)并且结束于帧(n-1+L0-1)(0≤i<L0)。可以选择近似于观看者的眼睛识别失真所需要的时间段的窗口长度。因此,滑动窗口包括L0=round(T0×frame_rate)个帧,其中,T0是观看者识别失真所需要的时间段,并且frame_rate是视频序列的帧速率。存在于滑动窗口之外的伪像被视为对当前帧的时间伪像的可见性具有很少的贡献。
观察到,当前帧的所感知的时间失真主要受附近具有大失真(即,失真级别超过某个阈值)的帧所影响。在所述原理中,提供不同的实施例来估计在帧的邻域中的这样聚簇(cluster)的大空间失真的影响。
在一个实施例中,可以使用滑动窗口中的中值失真值(mediandistortion value)的最大值来估计时间失真。数学地,对于每个滑动窗口Si,n,可以将Si,n中的帧的中值失真计算为:
MDi,n=median{ds(j),帧j∈Si,n} (1)
中值(median)函数检查邻近的帧,以决定当前帧的空间失真是否代表其周围环境(surroundings)并且拒绝极端的失真级别(离群值(outlier))。即,可以将MDi,n视为滑动窗口Si,n的代表性失真级别。在其他实施例中,可以使用取平均数(averaging)或其他过滤方法来获得MDi,n。
在包括帧n的所有滑动窗口中,具有较大失真的滑动窗口通常更加显著地影响视觉质量。因此,可以使用最大值函数将滑动窗口{Si,n,0≤i<L0}之中的主导失真标识为中值失真值的最大值:
mn=max{MDi,n,0≤i<L0}. (2)
观察到当前帧的所感知的时间失真主要由其邻域中的主导失真来确定,而不是由当前帧的空间失真强度来确定。例如,当帧n具有未持续足够长以被识别的严重的空间失真ds(n)时,所感知的时间失真主要受其邻域中的失真所影响。因此,可以使用最小值函数来设置当前帧的时间失真。即,对于帧n,可以将时间失真dt(n)设置为空间失真值和中值失真值的最大值mn中的较小的一个:
dt(n)=min{mn,ds(n)}. (3)
图3A示出示例性视频序列中的帧的空间伪像级别,并且图3B和3C分别示出应用等式(2)和(3)之后的结果。如图3B所示,通过使用中值函数,中值失真值的最大值避免极端值。因此,从图3C可以看出,在所估计的时间失真中不存在比邻近的空间伪像级别(例如,在帧86、125和166处的空间伪像级别)大得多的空间伪像级别。另外,与空间失真级别相比,所估计的时间失真级别在帧之间具有更小的变化。
在另外的实施例中,为了估计时间失真,可以使用在所有滑动窗口{Si,n,0≤i<L0}中具有大失真(即,失真级别超过某个阈值)的帧的比率的最大值。因为较小的失真在连续地播放视频序列时通常变得不可见,所以只考虑具有大失真的帧。数学地,对于每个滑动窗口Si,n,可以将在Si,n中的具有大失真的帧的数量与Si,n中的帧的总数量之间的比率计算为:
其中,并且U是空间失真阈值。为了便于标记,将滑动窗口中的具有大空间失真的帧的数量与滑动窗口中的帧的总数量之间的比率记作滑动窗口的大失真密度。
观察到,具有较大失真的较高密度的滑动窗口通常更加显著地影响视觉质量。因此,将所有滑动窗口之中的最高的比率计算为:
wn=max{Ri,n,0≤i<L0}. (5)
然后,可以将帧n的所感知的时间失真估计为加权的失真:
dt(n)=wn×ds(n). (6)
另外,观察到,具有大失真的两个最接近的帧之间的距离也影响所感知的时间失真。即,当具有大失真的两个帧越靠近时,失真越变得对人眼可见。因此,可以通过还考虑帧n与具有大失真的最靠近的帧之间的距离来改善时间失真估计。在一个实施例中,可以修改等式(6)以变成:
dt(n)=wn×ds(n)/f(dist(n)), (7)其中dist(n)是帧n与对应于最高的大失真密度的滑动窗口中具有大失真的最靠近的帧之间的距离。如果在对应的滑动窗口中没有具有大失真的其他帧,则将dist(n)设为非常大的值,例如1000。即,当滑动窗口中只存在一个帧具有大失真时,将失真视为不太可见,并且将dt(n)设置为非常小的值。可以使用不同的函数来定义f(dist(n)),例如f(dist(n))=dist(n)或者f(dist(n))=(dist(n))α(其中,α是常数)。
图4A示出示例性视频序中的帧的空间伪像级别,并且图4B和4C分别示出应用等式(5)和(7)之后的结果,其中,L0=1秒,U=(每帧的宏块的数量)/100。L0和U的值可以随配置变化,例如,随GOP长度、视频分辨率以及帧速率变化。图5A示出另外的示例性视频序中的帧的空间伪像级别,并且图5B和5C分别示出应用等式(5)和(7)之后的结果。
从图4B和5B观察到,当大失真更加聚簇时,比率变得更高。即,比率有效地反映邻近帧是否影响当前帧的所感知的质量以及影响到什么程度。因此,从图4C和5C可以看出,具有聚簇的大失真(例如,图4A中帧106的周围、图5A中的帧105和帧200的周围)的帧的持续时间影响所估计的时间失真级别。即,如图4A所示的失真的较短的持续时间导致比空间失真小得多的所估计的时间失真,而如图5A所示的失真的较长的持续时间导致与空间失真相同等级(order)的所估计的时间失真。这符合人类感知,其中,持久的失真对所感知的质量具有更多的负面影响。
如上所述,考虑邻近的帧中提供的上下文来估计帧n的时间失真。在一个实施例中,如等式(1)-(3)所示,使用中值失真值。在另外的实施例中,如等式(4)-(7)所示,使用大失真密度。在另外的实施例中,可以组合中值失真值和大失真密度方法,以将帧n的时间失真估计为:
dt(n)=wn×min{mn,ds(n)}. (8)
以上,基于眼睛需要足够长的时间段来识别伪像的人类视觉属性来估计时间失真。时间失真还可能受其他因素影响,例如但不限于运动急动(motion jerkiness)。因此,可能需要调整如上所估计的时间失真以考虑其他因素。一个示例性组合可以是dt'(n)=dt(n)+c×dt2(n),其中dt2(n)是由运动急动所引起的失真。
基于视频序列中的各个帧的时间失真{dt(n)},可以使用时间汇合策略来推导视频序列的总的所感知的失真。例如,可以使用简单的平均运算,即,
图6例示根据所述原理的对帧n的时间失真进行建模的示例性方法600。方法600开始于步骤605。对于滑动窗口Si,n,在步骤610,例如使用等式(1)来计算中值失真值,并且在步骤620,例如使用等式(4)来计算大失真密度。在步骤630,检查是否有更多的滑动窗口需要处理。如果是,则将控制返回到步骤610。否则,在步骤640,例如使用等式(2)来计算帧n的所有滑动窗口中的中值失真值的最大值。在步骤650,例如使用等式(5)来计算帧n的所有滑动窗口中的最高的大失真密度。在步骤660,例如使用等式(3)、(6)或(8)来估计帧n的时间失真。在步骤660,例如可以使用等式(7)来考虑帧n与具有大失真的最靠近的帧之间的距离。方法600结束于步骤699。
在方法600中,中值失真值的最大值和最高的大失真密度两者都被用于估计时间失真。在另外的实施例中,只使用中值失真值的最大值来估计时间失真。即,不需要步骤620和650,并且步骤660基于中值失真值的最大值,例如使用等式(3),来估计时间失真。在另外的实施例中,只使用最高的大失真密度来估计时间失真。即,不需要步骤610和640,并且步骤660基于最高的大失真密度,例如使用等式(6)或等式(7),来估计时间失真。
方法600或其变型可以以不同次序的步骤来进行,例如,步骤620可以在步骤610之前执行,步骤650可以在步骤640之前执行。
当视频序列遭受压缩伪像和/或丢包时,可以应用根据所述原理的视频质量建模方法来测量视频质量。所述方法可以连同在比特流级别或像素级别获得的空间伪像一起使用。即,所述方法可以应用于比特流级别和像素级别两者。
所述原理可以用于视频质量监视器中以测量视频质量。图7图示示例性视频质量监视器700的框图。装置700的输入可以包括包含比特流的传输流。输入可以以包含比特流的其他格式。
多路分解器710从比特流获得包分层信息。解码器720解析输入流以获得更多的信息。解码器720可以重构图片,或者可以不重构图片。在其他实施例中,解码器可以执行多路分解器的功能。
使用经解码的信息,在空间伪像级别估计器730中估计空间伪像级别。基于所估计的参数,例如使用方法600,在时间失真估计器740处估计时间失真级别。然后,质量预测器750将各个帧的时间失真级别汇合成视频序列的质量得分。质量预测器750可以考虑其他类型的伪像和人类视觉属性的属性。
视频质量监视器700可以例如使用在ITU-T P.NBAMS(视频媒体流传输质量的参数化非侵入式比特流评估)标准中,该标准致力于如下两个应用场景下的视频质量评估模型,即IPTV和移动视频流传输,分别也被称为HR(高分辨率)场景和LR(低分辨率)场景。两个场景之间的差异的范围从视频内容的时空分辨率和编码配置到传输协议和观看条件。
给P.NBAMS VQM(视频质量模型)的输入是具有所有传送包首部(UDP/IP/RTP或UDP/IP/RTP/TS)的编码的视频比特流。输出是客观MOS得分(平均意见得分)。P.NBAMS工作的主要目标应用是监视机顶盒(STB)或网关中的视频质量。P.NBAMS模式1模型只使用比特流信息,模式2模型可以解码部分或全部的视频序列,像素信息用于视觉质量预测以及解析比特流信息以便提高预测精度。
参照图8,示出可以应用上述特征和原理的视频传送系统或装置800。处理器805处理视频,并且编码器810对视频进行编码。从编码器生成的比特流通过分配网络(distribution network)820传送给解码器830。视频质量监视器可以用在不同的阶段(stage)。
在一个实施例中,视频质量监视器840可以由内容创建者使用。例如,所估计的视频质量可以由编码器在决定诸如模式决定或比特率分配这样的编码参数中使用。在另外的示例中,在对视频进行编码之后,内容创建者使用视频质量监视器来监视经编码的视频的质量。如果质量度量不满足预先定义的质量级别,则内容创建者可以选择对视频重新编码以改善视频质量。内容创建者也可以基于质量对经编码的视频进行评级,并且相应地对内容收费。
在另外的实施例中,视频质量监视器850可以由内容分配者使用。视频质量监视器可以放置在分配网络中。视频质量监视器计算质量度量,并且将它们报告给内容分配者。基于来自视频质量监视器的反馈,内容分配者可以通过调整带宽分配和访问控制来改善其服务。
内容分配者也可以将反馈发送给内容创建者以调整编码。注意,在编码器处改善编码质量可能未必改善解码器侧的质量,因为高质量编码的视频通常需要较多的带宽并且针对传送保护留下较少的带宽。因此,为了在解码器处达到最佳的质量,应当考虑编码比特率和用于信道保护的带宽之间的平衡。
在另外的实施例中,视频质量监视器860可以由用户设备使用。例如,当用户设备搜索因特网中的视频时,搜索结果可能返回对应于所请求的视频内容的许多视频或视频的许多链接。搜索结果中的视频可以具有不同的质量级别。视频质量监视器可以计算这些视频的质量度量并且决定选择哪个视频来存储。在另外的示例中,用户设备可以使用若干错误隐藏技术。视频质量监视器可以针对不同错误隐藏技术计算质量度量,并且基于所计算出的质量度量来自动地选择使用哪种隐藏技术。
在本文中所描述的实现方式可以实现为例如方法或过程、装置、软件程序、数据流或信号。即使仅在单一形式的实现方式的上下文中进行了论述(例如,仅作为方法进行了论述),所论述的特征的实现方式也可以实现为其他形式(例如,装置或程序)。装置可以实现为例如适当的硬件、软件和固件。方法可以实现在例如装置中,诸如例如一般指代处理设备的处理器,包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于终端用户之间的信息的通信的其他设备。
提及所述原理的“一个实施例”或“实施例”或“一种实现方式”或“实现方式”以及它们的其他变型表示结合实施例描述的具体特征、结构、特性等包括在所述原理的至少一个实施例中。因此,在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一种实现方式中”或“在实现方式中”以及任何其他变型未必全都指代相同的实施例。
另外,本申请或其权利要求可能涉及“确定”各个信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
另外,本申请或其权利要求可能涉及“访问”各个信息。访问信息可以包括例如接收信息、检索信息(例如,从存储器)、存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
另外,本申请或其权利要求可能提及“接收”各个信息。与“访问”相同,接收旨在作为宽泛的术语。接收信息可以包括例如访问信息或检索信息(例如,从存储器)中的一个或多个。另外,“接收”通常以某种方式包括在诸如例如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息这样的操作期间。
对于本领域技术人员将显而易见的是,实现方式可以产生被格式化以承载可以例如被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一产生的数据。例如,信号可以被格式化以承载所述实施例的比特流。这种信号可以被格式为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码和利用经编码的数据流对载波进行调制。信号承载的信息可以是例如模拟或数字信息。已知地,信号可以在各种不同的有线或无线链路上传送。信号可以存储在处理器可读介质上。
Claims (15)
1.一种用于估计视频序列的视觉质量的方法,包含:
访问包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真;
响应于每个滑动窗口中的帧的各自的空间失真来确定指示每个滑动窗口的代表伪像级别和大失真密度中的至少一个的因子(610,620);
响应于所确定的因子来确定当前帧的时间失真(660);以及
响应于当前帧的时间失真来确定视频序列的视觉质量。
2.根据权利要求1所述的方法,还包含:
确定多个滑动窗口的因子的最大值(640,650),其中,响应于最大的因子来确定当前帧的时间失真。
3.根据权利要求1所述的方法,其中,响应于每个滑动窗口中的具有大失真的帧的数量与每个滑动窗口中的帧的总数量之间的比率来确定大失真密度。
4.根据权利要求1所述的方法,其中,将当前帧的时间失真确定为当前帧的空间失真和最大的因子的乘积。
5.根据权利要求1所述的方法,其中,响应于每个滑动窗口的空间失真的中值函数来确定代表伪像级别。
6.根据权利要求1所述的方法,其中,将当前帧的时间失真确定为当前帧的空间失真和最大的因子中较小的一个。
7.根据权利要求1所述的方法,还包含:
执行以下至少一个:监视比特流的质量,响应于所确定的视觉质量来调整比特流,基于所确定的视觉质量来创建新的比特流,调整用于传送比特流的分配网络的参数,基于所确定的视觉质量来确定是否保持比特流以及在解码器处选择错误隐藏模式。
8.一种用于估计视频序列的视觉质量的装置(700,800),包含:
空间伪像级别估计器(730),其访问包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真;
时间失真估计器(740),其针对多个滑动窗口,响应于每个滑动窗口中的帧的各自的空间失真来确定指示每个滑动窗口的代表伪像级别和大失真密度中的至少一个的因子,并且响应于所确定的因子来确定当前帧的时间失真;以及
质量预测器(750),其响应于当前帧的时间失真来确定视频序列的视觉质量。
9.根据权利要求8所述的装置,其中,时间失真估计器(740)确定多个滑动窗口的因子的最大值,其中,响应于最大的因子来确定当前帧的时间失真。
10.根据权利要求8所述的装置,其中,时间失真估计器(740)响应于每个滑动窗口中的具有大失真的帧的数量与每个滑动窗口中的帧的总数量之间的比率来确定大失真密度。
11.根据权利要求8所述的装置,其中,时间失真估计器(740)将当前帧的时间失真确定为空间失真和最大的因子的乘积。
12.根据权利要求8所述的装置,其中,时间失真估计器(740)响应于每个滑动窗口的空间失真的中值函数来确定代表伪像级别。
13.根据权利要求8所述的装置,其中,时间失真估计器(740)将当前帧的时间失真确定为空间失真和最大的因子中较小的一个。
14.根据权利要求8所述的装置,还包含:
视频质量监视器(840,850,860),其执行以下至少一个:监视比特流的质量,响应于所确定的视觉质量来调整比特流,基于所确定的视觉质量来创建新的比特流,调整用于传送比特流的分配网络的参数,基于所确定的视觉质量来确定是否保持比特流以及在解码器处选择错误隐藏模式。
15.一种计算机可读存储介质,在其上存储有用于根据权利要求1-7估计视频序列的视觉质量的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380072550.8A CN104995914A (zh) | 2013-02-07 | 2013-06-09 | 用于基于上下文的视频质量评估的方法和装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2013/071538 | 2013-02-07 | ||
CN2013071538 | 2013-02-07 | ||
CN201380072550.8A CN104995914A (zh) | 2013-02-07 | 2013-06-09 | 用于基于上下文的视频质量评估的方法和装置 |
PCT/CN2013/077082 WO2014121571A1 (en) | 2013-02-07 | 2013-06-09 | Method and apparatus for context-based video quality assessment |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104995914A true CN104995914A (zh) | 2015-10-21 |
Family
ID=54306446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380072550.8A Pending CN104995914A (zh) | 2013-02-07 | 2013-06-09 | 用于基于上下文的视频质量评估的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104995914A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105979266A (zh) * | 2016-05-06 | 2016-09-28 | 西安电子科技大学 | 一种基于帧间关联与时隙最差的时域信息融合方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070237227A1 (en) * | 2006-04-05 | 2007-10-11 | Kai-Chieh Yang | Temporal quality metric for video coding |
CN101695141A (zh) * | 2009-10-20 | 2010-04-14 | 浙江大学 | 一种视频质量评估方法和装置 |
CN102317974A (zh) * | 2009-02-12 | 2012-01-11 | 杜比实验室特许公司 | 图像序列的质量评估 |
CN102714752A (zh) * | 2010-01-11 | 2012-10-03 | 瑞典爱立信有限公司 | 视频质量估计技术 |
-
2013
- 2013-06-09 CN CN201380072550.8A patent/CN104995914A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070237227A1 (en) * | 2006-04-05 | 2007-10-11 | Kai-Chieh Yang | Temporal quality metric for video coding |
CN102317974A (zh) * | 2009-02-12 | 2012-01-11 | 杜比实验室特许公司 | 图像序列的质量评估 |
CN101695141A (zh) * | 2009-10-20 | 2010-04-14 | 浙江大学 | 一种视频质量评估方法和装置 |
CN102714752A (zh) * | 2010-01-11 | 2012-10-03 | 瑞典爱立信有限公司 | 视频质量估计技术 |
Non-Patent Citations (1)
Title |
---|
CHING-TING HSU ETC: "Arbitrary Frame Rate Transcoding Through Temporal and Spatial Complexity", 《IEEE TRANSACTIONS ON BROADCASTING》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105979266A (zh) * | 2016-05-06 | 2016-09-28 | 西安电子科技大学 | 一种基于帧间关联与时隙最差的时域信息融合方法 |
CN105979266B (zh) * | 2016-05-06 | 2019-01-29 | 西安电子科技大学 | 一种基于帧间关联与时隙最差的时域信息融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101414435B1 (ko) | 비디오 스트림 품질 평가 방법 및 장치 | |
JP5215288B2 (ja) | 映像符号化のための時間的品質メトリック | |
KR101641994B1 (ko) | 비디오 인코딩 압축 품질을 획득하는 방법 및 장치 | |
JP5981561B2 (ja) | シーンカットアーチファクトを考慮するビデオ品質評価 | |
EP2875640B1 (en) | Video quality assessment at a bitstream level | |
US20150256822A1 (en) | Method and Apparatus for Assessing Video Freeze Distortion Degree | |
US9723301B2 (en) | Method and apparatus for context-based video quality assessment | |
US9716881B2 (en) | Method and apparatus for context-based video quality assessment | |
JP2015530807A (ja) | ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置 | |
CN104995914A (zh) | 用于基于上下文的视频质量评估的方法和装置 | |
CN104969548A (zh) | 用于基于上下文的视频质量评估的方法和装置 | |
Wang et al. | Network-based model for video packet importance considering both compression artifacts and packet losses | |
F. Peiro et al. | A Novel No-Reference Quality Assessment Method for H. 264 Coded Video | |
JP2015530806A (ja) | ビデオ品質評価のための動き均一性を推定する方法および装置 | |
EP2798846A1 (en) | Assessing packet loss visibility in video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20180309 |
|
AD01 | Patent right deemed abandoned |