CN103843339A - 用于计算被压缩假影和信道假影影响的视频的失真的方法和设备 - Google Patents

用于计算被压缩假影和信道假影影响的视频的失真的方法和设备 Download PDF

Info

Publication number
CN103843339A
CN103843339A CN201180073308.3A CN201180073308A CN103843339A CN 103843339 A CN103843339 A CN 103843339A CN 201180073308 A CN201180073308 A CN 201180073308A CN 103843339 A CN103843339 A CN 103843339A
Authority
CN
China
Prior art keywords
false shadow
channel
false
shadow
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180073308.3A
Other languages
English (en)
Inventor
顾晓东
张帆
陈志波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103843339A publication Critical patent/CN103843339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在视频质量控制和估计中,压缩假影和信道假影的共同评估是一个问题。本发明以用于计算在被压缩假影和信道假影影响的视频中的总失真的方法考虑压缩假影水平Dm(V)和信道假影水平Dh(V)两者的共同感知。所述方法包括将压缩假影水平Dm(V)和被加数S相加的步骤,所述被加数S从log(Dh(V))与随着压缩假影水平Dm增大而减小的系数相乘而推导,使得D(V)=Dm(V)+c·(K-Dm(V))·log(Dh(V))。所获得的结果是对总失真的测量。

Description

用于计算被压缩假影和信道假影影响的视频的失真的方法和设备
技术领域
本发明涉及一种用于计算被压缩假影和信道假影影响的视频的总失真的方法。本发明还涉及一种对应的设备。此外,本发明涉及一种在带宽有限传输系统中向视频流和分组丢失恢复流分配可用带宽的方法,以及一种对应的设备。 
背景技术
压缩假影是通常作为有损数据压缩中的量化结果的特定类型数据错误。传统压缩假影包括块效应、模糊、噪声和回响效应(ring)。在例如描述简单结构相似度(SSIM)指数算法的Z.Wang和A.C.Bovik发表在2002年3月的IEEE Signal Processing Letters,vol.9,p81-84上的“A Universal Image Quality Index”中描述了自动测量压缩假影。 
信道假影是经受在大多数网络中与分组丢失对应的数据丢失的数据错误。单个分组丢失影响宏块(MB)的初始设置。作为视频编解码器的帧间预测结果,每个单个分组丢失的假影可以传播到前面和/或后面的帧。如在描述用于在错误隐藏之前对比特流水平估计在错误隐藏之后将获得的视频质量的方法的共同未决的专利申请[2]中描述的可以自动测量信道假影。 
有损网络上的流化视频的感知被压缩假影和信道假影两者影响。ITU-T SG12/Q14P.NBAMS讨论用于评估当视频序列中存在压缩假影和信道假影两者时观看者感知的方法。 
通常,评估结果被表示为评估得分,对于压缩假影和信道假影两者,根据平均意见得分(MOS)的定义,所述评估得分被映射为1和5之间的得分。在表1中描述了得分水平。 
MOS 描述
1 没有感知到假影
2 识别出假影,但是完全不影响感知
3 感知到假影,但不讨厌
4 清楚的假影,有点讨厌
5 严重的假影,非常讨厌
表1:平均意见得分(MOS) 
虽然若干研究者分别提出压缩假影或信道假影的评估问题,但是较少研究关注考虑压缩假影和信道假影两者的共同感知。传统解决方法是通过对压缩假影和信道假影进行平均来评估总失真,例如T.Liu,Y.Wang,J.Boyce,H.Yang和Z.Wu在2009年4月在Special Issue on Visual Media Quality Assessment,IEEE Journal of Selected Topics in Signal Processing,Vol.3,No,2,pp.280-293上发表的“A Novel Video Quality metric for low Bit-rate Video Considering both Coding and Packet loss Artifacts”,通过压缩假影和信道假影的线性组合生成总假影。术语“假影水平”应被理解为较高的假影水平与更多的失真对应,反之亦然。因此,通常希望低失真和低假影水平。 
为了准确的视频质量估计,以及为了基于这种估计的视频质量控制,现有的平均和线性组合模型都不足够高效。例如,信道假影在具有非常低的压缩假影的视频中似乎更讨厌,而其在具有高压缩假影的视频中更可以接受。该现象不能被平均和线性组合模型预测。 
发明内容
本发明的目的是提供当视频序列中存在压缩假影和信道假影两者时用于视频序列的总失真预测。为了解决该问题,公开了用于评估考虑压缩假影和信道假影两者的总失真的非线性组合模型。 
在根据本发明的一个方面中,一种用于计算在被压缩假影和信道假影影响的视频中的总失真的方法包括将压缩假影水平Dm(V)和被加数S相加,所述被加数S从log(Dh(V))与随着压缩假影水平Dm增大而减小的系数相乘而推导。获得的结果是对总失真的测量。根据定义压缩假影水平Dm(V)和信道假影水平Dh(V)两者为正。示例为 
D(V)=Dm(V)+c·(K-Dm(V)).log(Dh(V))    (1) 
其中D(V)是视频序列V的总失真水平,c是常数乘法系数,K是常数被加数并且log是关于任何基数的对数,所述基数通常为10(即log10)。然而,其可以是不同基数。通常,上面提及的被加数S对应于 
S=c·(K-Dm(V))·log(Dh(V)).    (2) 
由于系数(K-Dm(V))必须为非负,因此非负被加数S随着压缩假影水平Dm(V)增大而减小。得到的失真水平D(V)是对于从压缩假影和信道假影导致的视频序列V的总失真的改进的测量。 
可以通过选择特定常数正乘法系数c、特定常数正被加数K和/或对数的基数来创建各种实施例。此外,任何范围(range)可以用于压缩假影水平Dm(V)和信道假影水平Dh(V),假定两者都使用相同范围。在实施例中,使用的假影水平范围在应用上面的等式(1)之前被映射为1…5的MOS范围。 
一种用于计算在被压缩假影和信道假影影响的视频中的总失真的对应的装置包括用于将压缩假影水平Dm(V)和被加数S相加的相加部件,其中所述被加数S从log(Dh(V))与随着压缩假影水平Dm(V)增大而减小的系数相乘而推导。 
压缩假影水平Dm(V)和信道假影水平Dh(V)两者原则上取决于可用带宽。因此,本发明可以被用于使带宽有限传输系统中的带宽使用最优化。优选地,这导致一种用于在带宽有限传输系统中向视频流和分组丢失恢复流分配可用带宽的方法。视频流中更高的带宽导致较少的压缩假影,而分组丢失恢复流中更高的带宽导致较少信道假影。例如根据等式(1)利用如上所述的优化总失真水平实现优化带宽使用。 
因此,根据本发明的另一方面是一种用于在带宽有限传输系统中向视频流和分组丢失恢复流分配可用带宽b的方法,其中利用根据等式(1)使总失真最小化以及确定对应的带宽x的步骤,向视频流分配的带宽x导致Dm(x)的压缩假影水平并且向分组丢失恢复流分配的带宽导致Dh(b-x)的信道假影水平。换句话说,选择带宽x使得使根据D(Dm(x),Dh(b-x))的总失真最小化。如上所述,根据用于计算在被压缩假影和信道假影影响的视频中的总失真的方法计算总失真。 
在权利要求13中公开利用所述方法的装置。 
在一个方面中,本发明是一种具有使得计算机执行用于计算在被压缩假影和信道假影影响的视频中的总失真的方法的可执行指令的计算机可读介质,包括将压缩假影水平Dm(V)和被加数S相加的步骤,所述被加数S从log(Dh(V))与随着压缩假影水平Dm(V)增大而减小的系数相乘而推导。 
根据本发明的具体实施例,用于估计考虑压缩假影和信道假影两者的总失真的模型根据下列等式工作 
D(V)=f(Dm(V),Dh(V))=Dm(V)+c0(K-Dm(V))log(Dh(V))    (3) 
其中K和c0是常数。c0被设置为c0=0.9/log(K),并且K被设置为最大得分值(即,最佳质量)。因此,具体地在MOS处于1…5范围中的一个实施例中,K被设置为K=5并且c0被设置为c0=0.9/log(5)=1.2867… 
在从属权利要求、下列描述和附图中公开本发明的进一步有利实施例。 
附图说明
参考附图描述本发明的示例实施例,附图中示出 
图1a)用于计算总失真的方法的流程图; 
图1b)用于计算总失真的设备的结构; 
图2带宽有限传输系统中向视频流和分组丢失恢复流分配的带宽的不同配置; 
图3示例压缩假影; 
图4错误隐藏之后,由于分组丢失的示例信道假影;以及 
图5由于分组丢失之后的错误传播的示例信道假影; 
图6a)用于在带宽有限传输系统中向视频流和分组丢失恢复流分配可用带宽的方法的流程图; 
图6b)用于在带宽有限传输系统中向视频流和分组丢失恢复流分配可用带宽的设备的结构;以及 
图7所建议的模型以及已知的平均和线性组合模型的性能。 
具体实施方式
为简单起见,下文中将代替Dm(V)写为Dm,并且代替Dh(V)写为Dh。 
图1a)示出根据本发明的一个方面的用于通过计算确定被压缩假影和信道假影影响的视频的总失真的示例方法的流程图。所述方法包括将压缩假影水平Dm和被加数S相加14以获得对所述失真的测量的步骤,所述被加数S从信道假影水平的对数,即log10(Dh),与随着压缩假影水平Dm增大而减小的系数相乘而推导13。Dh是信道假影水平。所述方法可以额外地包括下列步骤中的一个或多个:确定10压缩假影水平Dm的步骤,确定11信道假影水平Dh的步骤,以及确定12用于计算14总失真的参数值K、c0的步骤。参数值确定步骤12可以是隐式的,例如如果参数是固定的。 
压缩假影确定步骤10可以包括执行如上所述的压缩假影水平的自动测量。在另一实施例中,压缩假影确定步骤10取得存储的或外部提供的压缩假影水平。同样,信道假影确定步骤11可以包括执行如上所述的信道假影水平的自动测量。在另一实施例中,信道假影确定步骤11取得存储的或外部提供的信道假影水平。压缩假影确定步骤10、信道假影确定步骤11和参数值确定步骤12可以同时或顺序执行。 
如上所述,推导步骤13至少执行根据等式(2)从log(Dh)与随着压缩假影水平Dm增大而减小的系数相乘而推导的被加数S的计算。在一个实施例中,在推导步骤13中执行log(Dh)的计算,而在另一实施例中,其可以在确定步骤11中已经执行,使得信道假影确定步骤11直接确定log(Dh)而非Dh。在一个实施例中,通过近似执行log(Dh)的计算。对数的基数可以是固定的,例如log10或Ln(即,loge)。 
相加步骤14将所推导的压缩假影水平Dm与被加数S相加以获得对总假影水平(即,总失真)的测量D。 
图1b)示出用于计算被压缩假影和信道假影影响的视频中的总失真的对应的装置。其至少包括用于将压缩假影水平Dm(V)和被加数S相加的相加部件17,所述被加数S从log(Dh(V))与随着压缩假影水平Dm(V)增大而减小的系数相乘而推导。通常,所述装置可以得到作为显式或隐式输入的参数K、c0。在一个实施例中,所述装置还包括用于从用户界面接收控制数据的输入部件17A,以及用于根据控制数据设置或调整参数K和c0中的至少一个的控制部件17B。 
因为本发明涉及压缩假影和信道假影两者,并且(例如有损网络上的)流化视频的感知被两种类型的假影影响,因此在下文中解释这些假影。 
压缩假影是通常作为有损数据压缩中的量化结果的特定类型数据错误。传统压缩假影包括块效应、模糊、噪声和回响效应等。图3中示出示例,其示出具有弯曲的背部的人。压缩假影出现在例如人的背部的区域31。在没有压缩假影的情况下,背部应显示为平滑的线32。然而,至少量化错误、块效应和噪声损坏背部的线性外观。类似的假影出现在不完全水平或垂直的图像中的许多结构上。 
信道假影由在传输期间出现的故障产生。一个示例是经受分组丢失的数据错误,其至少可能发生在面向分组的网络中。单个分组丢失影响宏块(MB) 的初始设置。假影不仅出现在实际帧或图像中,而且作为视频编解码器的帧间预测结果,其可以向前面和/或后面的帧或图像传播。图4和图5中示出信道假影的一些示例。 
图4示出由于分组丢失的示例信道假影,并且具体地示出在错误隐藏之后的效果。如果图像的区域40中的图像数据丢失,则错误隐藏可以将它们替换为例如来自前一图像的相似数据,所述相似数据还可以被内插。这导致隐藏区域40中细节的大量丢失以及拖影效果。图5示出预测帧,其中预测基于失真的或错误隐藏的帧。因此,对于通常是若干宏块的某些区域的预测不具有可用参考数据或使用错误参考数据,并且出现错位块50。具体地,这可以在高速运动区域中出现。 
如[2]中所述,可以通过下列步骤自动测量信道假影:从视频比特流提取或计算多个全局条件特征,至少对于丢失的MB提取或计算多个局部有效性特征,对于每个(或至少对于每个丢失的)MB计算数字错误隐藏有效性水平,以及提供所计算的错误隐藏有效性水平作为视频质量的估计的可视假影水平。可以通过仿效在错误隐藏中使用的错误隐藏方法来实现数字错误隐藏有效性水平的计算。多个有效性特征是例如来自空间运动同质性(homogeneity)、时间运动一致性、纹理平滑性以及一个或多个特殊编码模式的概率的分组。如根据所接收的比特流计算的,多个条件特征是每个帧的全局特征。它们用作确定或估计在传输丢失之后哪种类型的EC方法用于帧的条件。示例条件特征是帧类型、帧内MB/帧间MB之比(即,num_intra_MBs/num_inter_MBs)、运动指数和纹理指数。所有使用的特征是基于从在比特流水平的编码的视频提取的数据,即没有将比特流解码为像素域。 
如在“A Universal Image Quality Index”中描述的压缩假影的自动测量包括测量相关性丢失、亮度失真和对比度失真,以及结合所述三种测量。质量指数Q在该文件中根据下列定义而获得: 
Q = σ xy σ x σ y · 2 x ‾ y ‾ ( x ‾ ) 2 + ( y ‾ ) 2 · 2 σ x σ y σ x 2 + σ y 2 - - - ( 4 )
在[-1,1]的动态范围内并且利用 
x ‾ = 1 N Σ i = 1 N x i y ‾ = 1 N Σ i = 1 N y 1 , (4a)、(4b) 
σ x 2 = 1 N - 1 Σ i = 1 N ( x i - x ‾ ) 2 σ y 2 = 1 N - 1 Σ i = 1 N ( y i - y ‾ ) 2 (4c)、(4d) 
以及 σ xy = 1 N - 1 Σ i = 1 N ( x i - x ‾ ) ( y i - y ‾ ) (4e) 
其中,x={xi|i=1,2,…,N}和y={yi|i=1,2,…,N}分别是原始的和失真的图像信号。等式(4)中,第一系数与相关性丢失对应、第二系数与亮度失真对应并且第三系数与对比度失真对应。还可以使用其他种类的压缩假影的自动测量。在任何情况下,通过线性映射、线性缩放和/或根据需要加上或减去常数,结果被标准化为需要的范围,例如1,…,5的MOS范围。例如在线性缩放中处于0,…,1范围内的假影水平可以简单地乘以四,并且随后通过加上一从[0,…,4]转变为[1,…,5]。在计算之前执行映射或缩放,使得log(D)从不为负。 
本发明的一个目的是提供当在视频序列中存在压缩假影和信道假影两者时的总失真预测。视频序列由V表示。在一个实施例中,根据表1中列出的MOS,Dm(V)和Dh(V)两者的值处于1…5的范围内。视频D(V)的总失真随后被定义为压缩假影和信道假影的评估得分的函数如下 
D(V)=Dtot(V)=D(Dm(V),Dh(V))   (5) 
本发明基于关于已观察到的压缩假影和信道假影的共同感知的下列结论。 
首先,在共同感知中,压缩假影是基本系数,而信道假影是加数(plus)。在大多数情况下,压缩假影比信道假影更均匀。压缩假影在视频序列上更均匀地分布,而信道假影可以从视频序列的空间-时间点突发并且随后突然消失。因此当浏览视频时观看者的感知经常仅由压缩假影支配。信道假影仅偶尔出现。因此,本发明的优点是对于总感知给给予压缩假影更高的优先级。本发明根据该观察将总感知定义为: 
D(V)=D(Dm(V),Dh(V))=Dm(V)+f1(Dm(V),Dh(V))     (6) 
其次,当压缩假影在低水平上时,信道假影对总感知的影响更高。当视频序列中存在非常低水平的压缩假影时,观看者更可能被突然出现的信道假影打扰:首先,因为低压缩,信道假影对比其高质量环境更明显;其次,在信道假影出现之前人类心理被较高质量的帧训练,并且因此其将更容易被突然出现的信道假影打扰。因此,在所提出的模型中,由信道假影造成的额外 效果与压缩假影成反比。优点是所述模型考虑到如果编码假影较高,则信道假影对于总失真将具有较少影响。编码假影水平越高,信道假影具有的影响越少。 
第三,已观察到当信道假影处于相对较低水平时,观看者可以容易地识别出信道假影的差别。另一方面,当信道假影已经处于相对高水平时,难以识别出信道假影的差别。因此,在所提出的模型中,由信道假影造成的加法效果与-log(Dh(V))成比例(假设Dh(V)≥1)。作为结果和优点,当信道假影为低时,总失真快速增大。当信道假影变大时,总失真缓慢增大直到最终达到上限。 
第四,信道假影对总感知的影响是个体的,即其对于不同的人可以变化。因此,在一个实施例中,所提出的模型的优点在于提供可配置的常数c0以控制由信道假影造成的加法效果的影响。对于对突然的信道假影高度敏感的观看者,可以增大c0的值,并且反之亦然。在一个实施例中,用于计算视频的失真的方法包括单独调整参数c0的步骤。在一个实施例中,对应的设备提供用于用户调整参数c0的控制输入。这可以经由使用任何用户界面,例如GUI,设置或调整(例如围绕诸如0.9/log(5)或类似的值的优选标准值而变化)的参数而实现。 
第五,关于总感知的下列额外逻辑结论应用: 
D(dm,dh1)>D(dm,dh2)如果dh1>dh2   (7) 
D(dm1,dh)>D(dm2,dh)如果dm1>dm2    (8) 
D(dm,0)=dm    (9) 
D(5,dh)=5(10) 
在上面的等式(7-10)中,dm、dm1、dm2是有效压缩假影值,并且dh、dh1、dh2是有效信道假影值。等式(10)经受标准化,并且“5”可以由Dworst替换。 
通过分析上面的结论(其基于收集的主观数据),在一个实施例中,本发明使用下列模型作为考虑到压缩假影和信道假影两者的总失真的估计。 
D(V)=Dtot(V)=Dm(V)+c0×(5-Dm(V))×log(Dh(V))   (11) 
在一个实施例中,是c0是常数,其被设置为c0=0.9/log(5)=1.2867…为了简单起见,在一个实施例中,其可以被设置为1.28或1.2和1.3之间的值。 
图7示出与已知平均和线性组合模型相比所提出的模型的性能。水平轴 表示信道假影水平Dh(V),而垂直轴表示总失真水平D(V)。五条曲线从上到下分别表示Dm(V)=5,4,3,2,1。图7a)示出当前提出的模型的模型性能,图7b)示出常规平均模型的模型性能并且图7c)示出由示例性地收集的数据的分部组成的主观数据。线性组合模型的性能与图7b)中的平均模型的性能非常类似。可以看出,所提出的模型(图7a中)比常规模型(图7b中)更接近真实数据(图7c)。 
在一个方面中,本发明考虑带宽分配的优化。 
存在可以在例如点对点视频流的视频流中使用的许多分组丢失恢复策略。以额外带宽为代价,丢失数据可以在丢失之后恢复。然后,出现下列问题:在带宽有限系统中,应向分组丢失恢复系统提供多少带宽,以及应提供多少带宽来增强编码效果?估计考虑到编码假影和信道假影两者的总失真的所提出的模型帮助解决上面的问题。 
用b表示可用带宽,并且用x表示向视频流分配的带宽,则向分组丢失恢复方案分配的带宽为b-x。通过应用分组丢失恢复方案,信道假影下降为Dh(b-x)。当利用带宽x压缩视频时,压缩假影为Dm(x)。问题被随后提出为使Dtot(Dm(x),Dh(b-x))最小化,其中Dtot是根据本发明确定的上述总失真。 
图2示出在具有对于视频流和分组丢失恢复流可用的带宽b的带宽有限传输系统中的应用场景。向视频流分配的带宽x导致Dm(x)的压缩假影水平,并且向分组丢失恢复流分配的带宽b-x导致Dh(b-x)的信道假影水平。选择带宽x,使得使根据D(Dm(x),Dh(b-x))的总失真最小化。根据上述用于计算被压缩假影和信道假影影响的视频的总失真的方法来计算总失真。因此,以使总失真最优化的方式,上述方法可用于在带宽有限传输系统中向视频流分配带宽x,并且向分组丢失恢复流(或用于丢失数据的其他恢复流)分配剩余带宽b-x。例如图2a)中,向视频流分配某些带宽21A,并且向分组丢失恢复流分配剩余带宽21B,这导致Dm1(x)的第一压缩假影水平和Dh1(b-x)的第一信道假影水平。图2b)中,向恢复流分配更多带宽22B,使得剩余较少带宽22A用于视频流。因此,所述分配将导致比第一压缩假影水平更高(即更差)的第二压缩假影水平Dm2(x)(即,Dm2(x)>Dm1(x)),以及比第一信道假影水平更低(即更好)的第二信道假影水平Dh2(b-x)(即,Dh2(b-x)<Dh1(b-x))。原因在于用于视频的较少带宽导致更多压缩假影,同时更多带宽对于消除信道假影可用。注意,高假影水平与低视频质量对应。 
类似地,图2c)中,向恢复流分配甚至更多带宽23B,使得剩余甚至更少带宽23A用于视频流。因此,所述分配将导致比第一和第二压缩假影水平更高的第三压缩假影水平Dm3(x)(即,Dm3(x)>Dm2(x)>Dm1(x)),以及比第一信道假影水平更低的第三信道假影水平Dh3(b-x)(Dh3(b-x)<Dh2(b-x)<Dh1(b-x))。然而,如等式(11)中实现的,因为需要调整两种假影水平以使总假影水平(即总失真)最优化,其是可以通过根据本发明使总失真最小化而解决的优化问题。 
如图6a)所示,用于在带宽有限传输系统中向视频流21A和分组丢失恢复流21B分配可用带宽b的方法还包括选择65带宽x以使根据Dtot(Dm(x),Dh(b-x))的总失真最小化的步骤,其中向视频流分配的带宽x导致压缩假影水平Dm(x),并且向分组丢失恢复流分配的带宽b-x导致信道假影水平Dh(b-x),并且其中视频的总失真Dtot被计算为压缩假影水平Dm(x)和被加数S的总和14,所述被加数S从log(Dh(b-x))与随着压缩假影水平Dm(x)增大而减小的系数相乘而推导。 
图6b)示出对应的设备。其是用于在带宽有限传输系统中向视频流24A和分组丢失恢复流24B分配可用带宽b的装置66,其中向视频流分配的带宽x导致压缩假影水平Dm(x),并且向分组丢失恢复流分配的带宽b-x导致信道假影水平Dh(b-x)。如上所述,例如关于等式(3)或等式(11),在装置中计算视频的总失真Dtot,所述装置还包括用于根据Dtot(Dm(x),Dh(b-x)),例如根据等式(3)或等式(11),选择带宽x以使总失真最小化的选择部件67。 
在一个实施例中,用于分配带宽66的装置在其输出提供表示视频流带宽x和恢复流带宽b-x中的至少一个的值,和/或用于控制带宽整形设备68的对应的控制信号或控制参数p。其还可以是分别用于增大或减小视频流带宽x或恢复流带宽b-x的控制信号。在一个实施例中,装置66在输出提供总失真Dtot的值。在一个实施例中,装置66包括适用于将输入视频流24整形为所分配的带宽x并提供已带宽整形的视频流24A的带宽整形设备68。此外,带宽整形设备68可以包括用于生成所分配的带宽b-x的恢复流24B的部件68A。用于生成恢复流24B的部件68A还可以处于带宽整形设备68外部,但是从选择部件67或带宽整形设备68接收定义恢复流24B的带宽的控制信号。 
沿传输路径再往下,压缩假影水平Dm(x)和信道假影水平Dh(b-x)可以在确定设备69中确定,并且作为至用于分配可用带宽的装置66的输入而反馈。 除了其他之外,本发明可以用于视频质量估计和/或用于基于这种估计的视频质量控制。 
应注意,虽然仅描述了压缩假影测量和信道假影测量的特定方法,但是除了上述特定方法之外,可以使用其他类型的压缩假影测量和信道假影测量,如本领域普通技术人员将清楚的,其全部被设想为在本发明的精神和范围内。 
虽然示出、描述并指出如应用于本发明的优选实施例的本发明的基本新颖特征,将理解本领域技术人员可以在所述装置和方法中、在所公开的设备的形式和细节中以及在它们的操作中进行各种省略和替换以及改变,而不背离本发明的精神。明确意图以基本上相同方式执行基本上相同功能以实现相同结果的那些元件的组合在本发明的范围内。将来自一个所述实施例的元件替换到另一实施例也被充分意图和设想。 
将理解,仅通过示例描述了本发明,并且可以进行细节的修改,而不背离本发明的范围。可以单独提供或以任何适当组合提供说明书和(在适当情况下)权利要求以及附图中公开的每个特征。在适当情况下特征可以在硬件、软件或两者的组合中实现。权利要求中出现的参考标号仅为了说明,并对权利要求的范围不应具有任何限制效果。 
所引用的参考文献
[1]“A Universal Image Quality Index”,Z.Wang,and A.C.Bovik,IEEE Signal Processing Letters,vol.9,p81-84,Mar.2002 
[2]“Method and device for estimating video quality on bitstream level”,N.Liao,X.Gu,Z.Chen,K.Xie,co-pending International Patent Application PCT/CN2011/000832,International Filing date May12,2011,Internal docket number PA110009 
[3]“A Novel Video Quality metric for low Bit-rate Video Considering both Coding and Packet loss Artifacts”,T.Liu,Y.Wang,J.Boyce,H.Yang,and Z.Wu in:Special Issue on Visual Media Quality Assessment,IEEE Journal of Selected Topics in Signal Processing,Vol.3,No,2,pp.280-293,Apr.2009 。

Claims (15)

1.一种用于计算被压缩假影和信道假影影响的视频的失真的方法,包括将压缩假影水平Dm和被加数S相加(14)以获得对所述失真的测量的步骤,所述被加数S从log(Dh)与随着压缩假影水平Dm增大而减小的系数相乘而推导,其中Dh是信道假影水平。
2.如权利要求1所述的方法,其中,根据S=c·(K-Dm(V))·log(Dh(V))来计算所述被加数S,其中c和K是正常数,所述信道假影水平为正,并且log(Dh(V))是信道假影水平的对数。
3.如权利要求2所述的方法,其中,所述压缩假影水平Dm和信道假影水平Dh在最小值Dh,m,min和最大值Dh,m,max之间的范围内测量,并且K等于最大值Dh,m,max
4.如权利要求3所述的方法,其中,c0基本上等于0.9/log(Dh,m,max)。
5.如权利要求3所述的方法,还包括从用户界面接收控制数据,并且根据所述控制数据设置或调整所述参数c0的步骤。
6.如权利要求2-5中的一项所述的方法,其中,所述最小值Dh,m,min为1,并且所述最大值Dh,m,max为5,并且c0基本上等于1.2867。
7.如权利要求1或2所述的方法,还包括映射步骤,其中所述压缩假影水平Dm和信道假影水平Dh在最小值Dh,m,min和最大值Dh,m,max之间的范围内测量,并且其中在所述映射步骤中通过线性运算,所述最小值Dh,m,min被映射为1,并且所述最大值Dh,m,max被映射为5,并且其中K基本上等于5,并且c0基本上等于0.9/log(5)或1.28。
8.一种用于在带宽有限传输系统中向视频流(21a)和分组丢失恢复流(21b)分配可用带宽b的方法,还包括选择(65)带宽x以使根据Dtot(Dm(x),Dh(b-x))的总失真最小化的步骤,其中向所述视频流(21a)分配的带宽x导致压缩假影水平Dm(x)并且向所述分组丢失恢复流(21b)分配的带宽导致Dh(b-x)的信道假影水平,其中根据所述权利要求1-6中的一项计算所述视频的总失真Dtot
9.如权利要求8所述的方法,其中,计算视频中的总失真包括将压缩假影水平Dm和被加数S相加的步骤,所述被加数S从log(Dh)与随着压缩假影水平Dm增大而减小的系数相乘而推导。
10.一种用于计算在被压缩假影和信道假影影响的视频中的总失真的装置,包括用于将压缩假影水平Dm(V)和被加数S相加的相加部件(17),所述被加数S从log(Dh(V))与随着压缩假影水平Dm(V)增大而减小的系数相乘而推导。
11.如权利要求10所述的装置,其中,所述压缩假影水平Dm和信道假影水平Dh在最小值Dh,m,min和最大值Dh,m,max之间的范围内测量,并且K基本上等于最大值Dh,m,max
12.如权利要求11所述的装置,其中,所述最小值Dh,m,min为1,并且所述最大值Dh,m,max为5,并且c0基本上等于1.2867。
13.如权利要求10-12中的一项所述的装置,还包括用于从用户界面接收控制数据的输入部件(17A),以及用于根据所述控制数据设置或调整所述参数K、c0中的至少一个的控制部件(17B)。
14.如权利要求10-13中的一项所述的装置,其中,根据S=c·(K-Dm(V))·log(Dh(V))来计算所述被加数S,其中c和K是正常数,所述信道假影水平为正,并且log(Dh(V))是信道假影水平的对数。
15.一种用于在带宽有限传输系统中向视频流(21a)和分组丢失恢复流(21b)分配可用带宽b的装置,还包括选择(65)带宽x以使根据Dtot(Dm(x),Dh(b-x))的总失真最小化的选择部件,其中向所述视频流(21a)分配的带宽x导致压缩假影水平Dm(x)并且向所述分组丢失恢复流(21b)分配的带宽导致Dh(b-x)的信道假影水平,其中在根据所述权利要求10-13中的一项的装置中计算所述视频的总失真Dtot
CN201180073308.3A 2011-09-09 2011-09-09 用于计算被压缩假影和信道假影影响的视频的失真的方法和设备 Pending CN103843339A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/079515 WO2013033913A1 (en) 2011-09-09 2011-09-09 Method and device for calculating distortion of a video being affected by compression artifacts and channel artifacts

Publications (1)

Publication Number Publication Date
CN103843339A true CN103843339A (zh) 2014-06-04

Family

ID=47831456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073308.3A Pending CN103843339A (zh) 2011-09-09 2011-09-09 用于计算被压缩假影和信道假影影响的视频的失真的方法和设备

Country Status (5)

Country Link
US (1) US10110893B2 (zh)
EP (1) EP2754292B1 (zh)
CN (1) CN103843339A (zh)
TW (1) TWI544786B (zh)
WO (1) WO2013033913A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9749686B2 (en) 2015-09-21 2017-08-29 Sling Media Pvt Ltd. Video analyzer
US9693063B2 (en) * 2015-09-21 2017-06-27 Sling Media Pvt Ltd. Video analyzer
US9798954B1 (en) * 2016-12-15 2017-10-24 Federal Home Loan Mortgage Corporation System, device, and method for image anomaly detection
JP7322366B2 (ja) * 2018-09-11 2023-08-08 富士フイルムビジネスイノベーション株式会社 画像受信装置、画像送受信システム及び画像受信プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510298A (zh) * 2009-03-17 2009-08-19 西北工业大学 一种ct伪影的综合校正方法
CN101874409A (zh) * 2007-09-26 2010-10-27 惠普开发有限公司 处理输入图像以减少压缩相关伪影
JP2011519228A (ja) * 2008-04-23 2011-06-30 クゥアルコム・インコーポレイテッド ビデオユニット内の境界アーティファクト修正

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003041055A1 (en) 2001-11-02 2003-05-15 The Regents Of The University Of California End-to-end distortion estimation for streaming of pre-compressed video
US8488915B2 (en) * 2006-05-01 2013-07-16 Georgia Tech Research Corporation Automatic video quality measurement system and method based on spatial-temporal coherence metrics
CN100588271C (zh) 2006-08-08 2010-02-03 安捷伦科技有限公司 基于分组度量和图像度量两者测量视频质量的系统和方法
CN101459835A (zh) * 2007-12-12 2009-06-17 上海摩波彼克半导体有限公司 认知无线电网络中提高跨层多媒体传输质量的方法
CN100574441C (zh) * 2007-12-14 2009-12-23 武汉大学 一种感兴趣区域的率失真优化帧内刷新与码率分配方法
CN100588262C (zh) * 2008-05-20 2010-02-03 上海交通大学 信源信道联合编码中的信道码码率分配方法
US20090309977A1 (en) 2008-06-12 2009-12-17 Microsoft Corporation Benchmarking and calibrating video quality assessment tools
CN101729874B (zh) * 2008-10-20 2013-06-19 清华大学 一种可分级视频传输处理方法及装置
US20120069927A1 (en) * 2010-09-17 2012-03-22 Intel Corporation CQI feedback mechanisms for distortion-aware link adaptation toward enhanced multimedia communications
CN102075784B (zh) * 2011-02-18 2012-11-28 中国传媒大学 一种联合考虑压缩和丢包损伤条件下的视频质量评价方法
WO2012151719A1 (en) 2011-05-12 2012-11-15 Technicolor (China) Technology Co., Ltd. Method and device for estimating video quality on bitstream level

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101874409A (zh) * 2007-09-26 2010-10-27 惠普开发有限公司 处理输入图像以减少压缩相关伪影
JP2011519228A (ja) * 2008-04-23 2011-06-30 クゥアルコム・インコーポレイテッド ビデオユニット内の境界アーティファクト修正
CN101510298A (zh) * 2009-03-17 2009-08-19 西北工业大学 一种ct伪影的综合校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.WANG,A.C.BOVIK: "A Universal Image Quality Index", 《IEEE SIGNAL PROCESSING LETTERS,VOL.9》 *

Also Published As

Publication number Publication date
EP2754292B1 (en) 2016-08-31
EP2754292A1 (en) 2014-07-16
EP2754292A4 (en) 2015-05-06
WO2013033913A1 (en) 2013-03-14
US10110893B2 (en) 2018-10-23
US20140219364A1 (en) 2014-08-07
TWI544786B (zh) 2016-08-01
TW201313029A (zh) 2013-03-16

Similar Documents

Publication Publication Date Title
US8405773B2 (en) Video communication quality estimation apparatus, method, and program
EP2786342B1 (en) Texture masking for video quality measurement
CN103988500A (zh) 视频质量测量
Joskowicz et al. A parametric model for perceptual video quality estimation
Zhou et al. Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks
KR20140135240A (ko) 멀티미디어 품질 평가 방법 및 장치
CN103843339A (zh) 用于计算被压缩假影和信道假影影响的视频的失真的方法和设备
Shao et al. No-reference view synthesis quality prediction for 3-D videos based on color–depth interactions
CN103634601A (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
Amirpour et al. Between two and six? towards correct estimation of jnd step sizes for vmaf-based bitrate laddering
Zhang et al. Enhancing VMAF through new feature integration and model combination
Dewangan et al. Image quality costing of compressed image using full reference method
Dewangan et al. Image Quality estimation of Images using Full Reference and No Reference Method.
CN109889816B (zh) 一种视频质量评估方法、装置、设备和存储介质
Joskowicz et al. A mathematical model for evaluating the perceptual quality of video
Cui et al. Perceptual ultra-high definition video coding based on adaptive just noticeable distortion model
US8493449B2 (en) Method of estimating video quality at any resolution
US10326995B2 (en) System and method for estimating view synthesis distortion
Cerqueira et al. Video artifacts assessment for live mobile streaming applications
Narwaria et al. Video quality assessment using temporal quality variations and machine learning
Kang et al. 3D image quality assessment based on texture information
Huang et al. Error resilience with adaptive measurement rate for block-based compressed sensing
CN114554213B (zh) 一种运动自适应和关注细节的压缩视频质量增强方法
Ding et al. A novel customized recompression framework for massive internet images
Robertson Design and Evaluation of a Novel Reference-Only Predicted Video Quality Metric

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140604

WD01 Invention patent application deemed withdrawn after publication