CN101658035B - 用于质量受控编码的方法和系统 - Google Patents

用于质量受控编码的方法和系统 Download PDF

Info

Publication number
CN101658035B
CN101658035B CN2007800526759A CN200780052675A CN101658035B CN 101658035 B CN101658035 B CN 101658035B CN 2007800526759 A CN2007800526759 A CN 2007800526759A CN 200780052675 A CN200780052675 A CN 200780052675A CN 101658035 B CN101658035 B CN 101658035B
Authority
CN
China
Prior art keywords
quality
coding parameter
quality metric
institute
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800526759A
Other languages
English (en)
Other versions
CN101658035A (zh
Inventor
德瓦什·沙阿
帕尼库马尔·巴米迪帕蒂
维诺德·考希克
塞拉菲姆·S·劳卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101658035A publication Critical patent/CN101658035A/zh
Application granted granted Critical
Publication of CN101658035B publication Critical patent/CN101658035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于控制多媒体序列的所感知质量以尝试无论所述序列的内容如何均实现所要恒定知觉质量的技术。特定来说，编码装置可实施质量控制技术以基于序列片段的内容将所述片段与内容“类别”相关联，确定所述序列片段的知觉质量度量，以及调节用以对所述片段进行编码的至少一个编码参数，以使得所述序列片段的所述知觉质量趋向于所述所要质量。

Description

用于质量受控编码的方法和系统
技术领域
本发明涉及多媒体编码和解码，且更明确来说涉及控制经编码多媒体序列的质量。
背景技术
数字视频(且更一般来说任何多媒体序列，即，音频、视频和图片，或其它有损压缩数据)能力可并入到各种各样的装置中，包含数字电视、数字直接广播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、视频游戏控制台、数码相机、数字记录装置、蜂窝式或卫星无线电电话和类似装置。数字视频装置可在处理和发射视频序列方面提供优于常规模拟视频系统的显著改进。
已为了对数字视频序列进行编码而建立不同的视频编码标准。例如移动图片专家组(MPEG)已开发出若干标准，包含MPEG-1、MPEG-2和MPEG-4。其它实例包含国际电信联盟(ITU)-T H.263标准和ITU-T H.264标准及其对应物ISO/IEC MPEG-4第1O部分，即高级视频译码(AVC)。这些视频编码标准通过以压缩方式对数据进行编码而支持视频序列的改进的发射效率。
许多当前技术利用基于块的译码。在基于块的译码中，将多媒体序列的帧划分为离散的像素块，且基于与其它块的差异而对像素块进行译码。常称为“宏块”的一些像素块包括一组像素子块。例如，16×16宏块可包括四个8×8子块。可对子块进行单独编码。举例来说，H.264标准准许以多种不同大小对块进行编码，例如16×16、16×8、8×16、8×8、4×4、8×4和4×8。此外，进一步来说，宏块内可包含具有任何大小的子块，例如2×16、16×2、2×2、4×16、8×2等等。
发明内容
本发明描述用于控制经编码数据序列的质量的编码技术。大体上，本发明的某些实施例的某些方面可应用于任何多媒体流(即，音频、视频、图片或使用有损压缩的任何数据)。然而，为了简明而不作限制，使用视频、多媒体数据来描述和说明本发明的某些实施例。
在某些方面中，一种用于处理数字视频数据序列的方法包括以下中的一者或组合：使用编码参数集合对与所述数字视频数据相关联的数据片段进行编码；分析所述经编码数据片段的一个或一个以上性质以将所述数据片段与多个内容类别中的一者相关联；至少基于所述经编码数据片段的所感知质量度量和对应于所述相关联内容类别的目标质量度量来调节用以对所述数据片段进行编码的编码参数中的至少一者；以及使用所述经调节编码参数对所述数据片段进行再编码。
在某些方面中，一种用于处理数字视频数据的设备包括以下中的一者或组合：编码模块，其使用编码参数集合对与所述数字视频数据相关联的数据片段进行编码；内容分类模块，其分析所述经编码数据片段的一个或一个以上参数以将所述数据片段与多个内容类别中的一者相关联；以及质量控制模块，其至少基于所述经编码数据片段的所感知质量度量和对应于所述相关联内容类别的目标质量度量来调节用以对所述数据片段进行编码的编码参数中的至少一者，其中所述编码模块使用所述经调节编码参数对所述数据片段进行再编码。
在某些方面中，一种用于处理数字视频数据的设备包括以下中的一者或组合：用于使用编码参数集合对与所述数字视频数据相关联的数据片段进行编码的装置；用于分析所述经编码数据片段的一个或一个以上性质以将所述数据片段与多个内容类别中的一者相关联的装置；用于至少基于所述经编码数据片段的所感知质量度量和对应于所述相关联内容类别的目标质量度量来调节用以对所述数据片段进行编码的编码参数中的至少一者的装置；以及用于使用所述经调节编码参数对所述数据片段进行再编码的装置。
在某些方面中，一种上面存储有指令的机器可读媒体，所述所存储的指令包含一个或一个以上代码片段，且可在一个或一个以上机器上执行，所述一个或一个以上代码片段包括以下中的一者或组合：用于使用编码参数集合对与数字视频数据相关联的数据片段进行编码的代码；用于分析所述经编码数据片段的一个或一个以上性质以将所述数据片段与多个内容类别中的一者相关联的代码；用于至少基于所述经编码数据片段的所感知质量度量和对应于所述相关联内容类别的目标质量度量来调节用以对所述数据片段进行编码的编码参数中的至少一者的代码；以及用于使用所述经调节编码参数对所述数据片段进行再编码的代码。
在某些方面中，一种用于处理多媒体数据的方法包括以下中的一者或组合：计算与数字视频数据相关联的经编码数据片段的所感知质量度量；以及基于所述所感知质量度量以及用以对所述数据片段进行编码的至少一个编码参数和所述经编码数据片段的所得位速率中的一者来选择多个内容类别中的一者，其中基于至少一个差值度量将所述像素块分离为若干群组可包含以下中的一者或组合：将可能的差值度量分离为若干群组，其中所述群组的至少一部分包含两个或两个以上差值度量；预计算与所述群组中的每一者相关联的质量度量，其中所述群组的所述质量度量等于对应于与所述群组相关联的所述差值度量中的每一者的质量度量的平均值；以及预计算所述群组中的每一者的权重，其中基于与频段相关联的所述差值度量的至少一部分来计算所述群组中的每一者的所述权重。
在某些方面中，一种用于处理多媒体数据的设备包括以下中的一者或组合：质量测量模块，其计算与数字视频数据相关联的经编码数据片段的所感知质量度量；以及类别选择模块，其基于所述所感知质量度量以及用以对所述数据片段进行编码的至少一个编码参数和所述经编码数据片段的所得位速率中的一者来选择多个内容类别中的一者，其中所述质量测量模块进一步执行以下中的一者或组合：将可能的差值度量分离为若干群组，其中所述群组的至少一部分包含两个或两个以上差值度量；预计算与所述群组中的每一者相关联的质量度量，其中所述群组的所述质量度量等于对应于与所述群组相关联的所述差值度量中的每一者的质量度量的平均值；以及预计算所述群组中的每一者的权重，其中所述群组中的每一者的所述权重是基于与频段相关联的所述差值度量的至少一部分来计算。
在某些方面中，一种用于处理多媒体数据的设备包括以下中的一者或组合：用于计算与数字视频数据相关联的经编码数据片段的所感知质量度量的装置；以及用于基于所述所感知质量度量以及用以对所述数据片段进行编码的至少一个编码参数和所述经编码数据片段的所得位速率中的一者来选择多个内容类别中的一者的装置，其中所述用于基于至少一个差值度量将所述像素块分离为若干群组的装置包含以下中的一者或组合：用于将可能的差值度量分离为若干群组的装置，其中所述群组的至少一部分包含两个或两个以上差值度量；用于预计算与所述群组中的每一者相关联的质量度量的装置，其中所述群组的所述质量度量等于对应于与所述群组相关联的所述差值度量中的每一者的质量度量的平均值；以及用于预计算所述群组中的每一者的权重的装置，其中所述群组中的每一者的所述权重是基于与频段相关联的所述差值度量的至少一部分来计算。
在某些方面中，一种上面存储有指令的机器可读媒体，所述所存储的指令包含一个或一个以上代码部分，且可在一个或一个以上机器上执行，所述一个或一个以上代码部分包括以下中的一者或组合：用于计算与数字视频数据相关联的经编码数据片段的所感知质量度量的代码；以及用于基于所述所感知质量度量以及用以对所述数据片段进行编码的至少一个编码参数和所述经编码数据片段的所得位速率中的一者来选择多个内容类别中的一者的代码，其中所述用于计算所述所感知质量度量的代码进一步包含以下中的一者或组合：用于基于与和所述片段相关联的数据帧的像素块中的每一者相关联的至少一个差值度量将所述像素块分离为若干群组的代码；用于将质量度量值和权重值与所述像素块群组中的每一者相关联的代码；以及用于基于与所述群组相关联的所述质量度量值和权重值计算所述数据片段的经加权质量度量的代码。
(且更一般地，任何多媒体、音频、视频和图片，或其它有损压缩)
下文在附图和描述中陈述一个或一个以上实例的细节。从描述和图式以及从权利要求书将明了其它特征、目的和优点。
附图说明
图1是说明采用本发明的质量控制技术的视频编码和解码系统的框图。
图2是说明将数据片段与多个内容类别中的一者相关联的示范性内容分类模块的框图。
图3是说明表示内容类别的示范性质量-速率曲线的曲线图。
图4是说明示范性质量控制模块的框图，其动态调节用以对数据片段进行编码的一个或一个以上编码参数。
图5是说明根据本发明的技术的用于对数据片段进行编码的示范性编码技术的图。
图6是说明根据本发明的技术的控制经编码数据片段的质量的编码装置的示范性操作的流程图。
图7是说明计算经加权质量度量的质量测量模块的示范性操作的流程图。
图8是说明将数据片段与多个内容类别中的一者相关联的内容分类模块的示范性操作的流程图。
具体实施方式
本发明描述用于控制经编码数据序列的质量的编码技术。大体上，本发明的某些实施例的某些方面可应用于任何多媒体流(即，音频、视频、图片或使用有损压缩的任何数据)。然而，为了简明且不作限制，使用视频、多媒体数据来描述和说明本发明的某些实施例。特定来说，本发明的技术试图控制观看者体验到的所感知质量。观看者体验到的所感知质量可基于数据序列的内容或性质而不同。换句话说，使用相同编码参数编码的序列基于序列的内容而可能具有不同的所感知质量。举例来说，以量化参数(QP)36编码的高运动体育序列可能看上去比以相同QP编码的低运动序列好得多。这可能主要是由于体育序列中的运动往往在较高的QP下提高所感知视觉质量。另一方面，如果体育序列是以低运动序列看上去良好的较低QP编码，那么知觉质量可改进，但增加的位速率的代价超过了知觉质量的递增改进。请注意，当某些实施例应用于其它多媒体流(即，音频流)时，知觉质量可能是听觉的而不是像视频流那样是视觉的。
本发明提供用以控制序列的所感知质量以尝试无论序列的内容或性质如何均实现所要的恒定知觉质量的技术。如本文中将详细描述，编码装置实施质量控制技术以基于一序列片段的内容将所述片段与一内容“类别”相关联，确定所述序列片段的所观察知觉质量，以及基于所观察知觉质量和与所述数据片段相关联的内容类别来调节一个或一个以上编码参数。如果时间准许，那么可使用经调节的编码参数来对所述数据片段进行再编码。或者，可使用经调节的编码参数对后续的数据片段进行初始编码。以此方式，数据片段经编码以使得序列片段的所观察知觉质量趋向于所要的知觉质量。
图1是说明采用本文描述的质量控制技术的视频编码和解码系统10的框图。编码和解码系统10包含编码装置12和解码装置14，其由发射信道16连接。编码装置12对一个或一个以上数字视频数据序列进行编码，且经由发射信道16将经编码序列发射到解码装置14以用于解码和呈现给解码装置14的用户。发射信道16可包括任何有线或无线媒体，或其组合。
编码装置12可形成用以广播一个或一个以上视频数据信道的广播网络组件的一部分。例如，编码装置12可形成无线基站、服务器或用以向无线装置广播一个或一个以上经编码视频数据信道的任何基础结构节点的一部分。在此情况下，编码装置12可将经编码数据发射到多个无线装置，例如解码装置14。然而，为了简单，在图1中说明单个解码装置14。
解码装置14可包括用户装置，其接收由编码装置12发射的经编码视频数据且对视频数据进行解码以用于呈现给用户。举例来说，解码装置14可实施为以下装置的一部分：数字电视、无线通信装置、游戏装置、便携式数字助理(PDA)、膝上型计算机或桌上型计算机、数字音乐和视频装置(例如以商标“iPod”出售的装置)，或无线电电话(例如蜂窝式、卫星或基于陆地的无线电电话)，或为视频串流、视频电话或两者而装备的其它无线移动终端。
在一些方面中，对于双向通信，编码和解码系统10可支持根据会话起始协议(SIP)、国际电信联盟标准化部门(ITU-T)H.323标准、ITU-T H.324标准或其它标准的视频电话或视频串流。编码装置12可根据例如移动图片专家组(MPEG)-2、MPEG-4、ITU-TH.263或ITU-T H.264等视频压缩标准而产生经编码视频数据。虽然图1中未图示，但编码装置12和解码装置14可分别与音频编码器和解码器集成，且包含适当的多路复用器-多路分用器(MUX-DEMUX)模块或其它硬件、固件或软件以处置共同数据序列或单独数据序列中的音频和视频两者的编码。如果适用，那么MUX-DEMUX模块可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。在一些方面中，本发明预期应用于增强型H.264视频译码以用于使用2006年8月作为技术标准TIA-1099公布的仅前向链路(FLO)空中接口规范“用于陆地移动多媒体多播的仅前向链路空中接口规范”(“FLO规范”)来在陆地移动多媒体多播(TM3)系统中传递实时视频服务。然而，本发明中描述的质量控制技术不限于任何特定类型的广播、多播或点对点系统。
如图1中说明，编码装置12包含编码模块18、存储器20、内容分类模块22、质量控制模块24以及发射器26。编码模块18从一个或一个以上源接收一个或一个以上输入视频序列28A-28N(统称为“视频序列28”)，且选择性地对视频序列28进行编码。编码模块18可例如从集成在编码装置12内或耦合到编码装置12的图像捕捉装置(未图示)接收视频序列28。或者，编码模块18可从存储器20接收视频序列28。视频序列28可包括将作为广播或按需要而译码和发射的现场实时视频、音频或视频与音频序列，或可包括将作为广播或按需要而译码和发射的预先录制和存储的视频、音频或视频与音频流。虽然是在实时服务的上下文中描述，但本发明的技术也可应用于近实时服务、非实时服务或实时服务、近实时服务和非实时服务的组合。然而为了说明目的，本发明描述关于实时服务的质量控制技术的使用。
在一些方面中，编码模块18也可将经编码数据序列组合为发射帧以用于经由发射器26发射。特定来说，编码模块18可对一时间段中接收的视频序列28的若干部分进行编码、组合和发射。例如，编码模块18可在每秒的基础上对视频序列28进行操作。换句话说，编码模块18对多个视频序列28的若干一秒数据片段进行编码，组合经编码的一秒数据片段以形成数据超帧，且经由发射器26在发射信道16上发射所述超帧。在本文中使用时，术语“超帧”指代在一时间段或窗(例如，一秒时间段或窗)中收集的一组数据片段。数据片段可包含一个或一个以上数据帧。虽然在一秒数据片段的上下文中描述本发明的技术，但所述技术也可用于对其它数据片段进行编码、组合和发射，例如对在不同的时间段(可能是或可能不是固定时间段)中接收的数据片段，或对个别数据帧或数据帧集合。换句话说，可界定超帧以覆盖比一秒时期大或小的时间间隔，或甚至可变的时间间隔。
请注意，在整个本发明中，特定多媒体数据片(例如，类似于超帧的概念)指代具有特定大小和/或持续时间的任何多媒体数据片，其中所述特定大小和/或持续时间至少部分是基于用于传递多媒体数据的系统的物理层和/或MAC层特性和/或参数。请注意，所述特定大小和/或持续时间可静态和/或动态指派。
编码模块18可试图以恒定质量等级输出视频序列28中的每一者。举例来说，编码模块18可试图无论视频序列28的内容或性质如何均维持视频序列28的恒定所感知质量。换句话说，编码模块18可试图以目标质量等级输出视频序列28中的每一者。目标质量等级可被预选定、由用户选定、通过自动过程或要求来自用户或来自另一过程的输入的半自动过程而选定，或由编码装置12或系统10基于预定准则而动态选定。可基于例如编码应用的类型或经编码视频数据发送到的客户端装置的类型来选择目标质量等级。
为了维持恒定所感知质量等级，编码模块18可基于所感知质量度量和视频序列的内容来选择或调节一个或一个以上编码参数。为此，内容分类模块22以多个类别中的一者对视频序列的数据片段进行分类。在一些情况下，内容分类模块22在已初始对数据片段进行编码之后对数据片段进行分类。在此情况下，编码模块18可使用初始编码参数集合对数据片段进行编码。编码模块18可例如初始使用对前一数据片段进行编码的QP来对数据片段进行编码。因此，编码模块18可在视频序列的两个连续数据片段具有类似内容(即当前数据片段的内容类别类似于前一数据片段的内容类别)的直观推断下操作。或者，编码模块18可经配置以初始在特定QP下对所有数据片段进行编码。举例来说，编码模块18可经配置以初始在33的QP下对每个数据片段进行编码。
为了辅助对数据片段进行分类，内容分类模块22可计算与经编码数据片段相关联的所感知质量度量。在某些方面中，内容分类模块22可计算与经编码数据片段相关联的经加权质量度量。经加权质量度量可提供更接近于观看者体验到的主观质量的客观视频质量度量。内容分类模块22可通过以下方式计算经加权质量度量：基于与和所述片段相关联的一个或一个以上数据帧的像素块中的每一者相关联的差值度量将所述像素块分离为若干群组，将质量度量和权重与像素块群组中的每一者相关联，以及基于群组中的每一者中的像素块的数目以及与群组相关联的质量度量和权重来计算经加权质量度量。如上文所述，像素块可具有任何大小，例如H.264标准中指定的大小。
另外，内容分类模块22可分析经编码数据片段的内容以将数据片段与多个内容类别中的一者相关联。在某些方面中，内容类别可包括一个或一个以上曲线，其将例如峰值信噪比(PSNR)等质量度量建模为位速率的函数。内容分类模块22可基于所感知质量度量和用以对数据片段进行编码的编码参数(例如，位速率、QP或类似参数)中的至少一者而选择曲线中最接近地对应于经编码数据片段的一者。在编码参数不与用以产生内容类别的编码参数匹配的情况下，内容分类模块22可将用以对数据片段进行编码的编码参数规范化，且使用经规范化的编码参数中的至少一者和所感知质量度量来选择曲线中最接近地对应于经编码片段的一者。或者，内容分类模块22可基于所感知质量度量和经编码数据片段的所得位速率(即，使用特定编码参数集合实现的位速率)而选择曲线中最接近地对应于经编码数据片段的一者。
在另一方面中，内容类别可包括基于片段的数据的复杂性(例如，空间复杂性和/或时间复杂性)的类别。内容分类模块22可将纹理信息(例如，对比率值)分类为“高”、“中”和“低”(在x轴上)的种类，且将运动信息(例如，运动向量)分类为“高”、“中”和“低”(在y轴上)的种类，且基于运动种类与纹理种类之间的交叉点以类别中的一者对数据片段进行分类。与数据片段相关联的类别可对应于特定质量-速率曲线。或者，与数据片段相关联的类别可对应于一个或一个以上编码参数。在2006年3月10日申请的标题为“用于多媒体处理的内容分类(CONTENT CLASSIFICATION FORMULTIMEDIA PROCESSING)”的共同待决且共同转让的第11/373,577号美国专利申请案中描述一种所述内容分类方法，所述申请案的整个内容以引用方式并入本文。
质量控制模块24确定与数据片段所属于的内容类别相关联的目标质量。在一些情况下，例如PSNR等常规质量度量并不总是准确测量出观看者体验到的知觉视觉视频质量。在这些情况下，与内容类别中的每一者相关联的目标质量度量可不同。特定来说，质量控制模块24可调节与内容类别中的每一者相关联的目标质量度量以考虑不同内容类别的序列在相同PSNR下知觉上表现为不同的事实。
质量控制模块24将所感知质量度量(例如，经加权质量度量)与目标质量度量相比较。如果所感知质量度量与目标质量度量之间的差值超过阈值，那么质量控制模块24调节编码参数中的至少一者。举例来说，如果所感知质量度量比目标质量度量大所述阈值，那么质量控制模块24增加用于对数据片段进行编码的QP。同样，如果所感知质量度量比目标质量度量小所述阈值，那么质量控制模块24减小用于对数据片段进行编码的QP。质量控制模块24可调节除了QP之外的编码参数，例如帧速率、编码模式、解块、系数微调、运动向量精细化及类似编码参数。
在质量控制模块24调节编码参数之后，编码模块18可使用经调节的编码参数对数据片段执行第二遍编码。举例来说，编码模块18可在经调节QP下对数据片段进行再编码。第二遍编码有效地将所感知质量度量朝所要目标质量度量精细化。而且，第二遍编码可再建立视频序列的内容类别。在某些方面中，编码模块18可仅在计算处理时间准许时执行第二遍编码。在另一方面中，编码模块18可执行两遍以上编码以试图将所观察的质量精细化。
在编码模块18已执行最后一遍编码之后，例如在第二遍编码之后或在第一遍编码之后(如果编码模块18不需要再编码)，编码装置12经由发射器26发射经编码数据片段。发射器26可包含适当的调制解调器和驱动器电路以经由发射信道16发射经编码视频。对于无线应用，发射器26包含RF电路以发射载运经编码视频数据的无线数据。
解码装置14经由接收器30接收经编码数据。类似于发射器26，接收器30可包含适当的调制解调器和驱动器电路以经由发射信道16接收经编码视频，且在无线应用中可包含RF电路以接收载运经编码视频数据的无线数据。在一些实例中，编码装置12和解码装置14各自可包含往复发射和接收电路，使得每一者可充当用于经由发射信道16发射的经编码视频和其它信息的源装置和接收装置两者。在此情况下，编码装置12和解码装置14两者均可发射和接收视频序列，且因此参与双向通信。换句话说，多媒体编码装置10的所说明组件可作为编码器/解码器(CODEC)的一部分而集成。
解码模块32对经编码数据片段进行解码以呈现给用户。解码装置14可进一步经由显示器(未图示)将经解码数据片段呈现给用户，所述显示器可集成在解码装置14内或作为经由有线或无线连接耦合到解码装置14的离散装置而提供。
编码装置12和解码装置14中的组件是适用于实施本文描述的技术的组件的范例。然而编码装置12和解码装置14可在需要的情况下包含许多其它组件。举例来说，编码装置12可包含多个编码模块，其各自接收一个或一个以上视频数据序列且根据本文的技术对相应的视频数据序列进行编码。在此情况下，编码装置12可进一步包含至少一个多路复用器以组合数据片段以供发射。另外，编码装置12和解码装置14可包含适当的调制、解调、频率转换、滤波和放大器组件以用于发射和接收经编码视频，包含射频(RF)无线组件和天线(在适用时)。然而为便于说明，图1中未图示所述组件。
编码装置12和解码装置14中的组件可实施为一个或一个以上处理器、数字信号处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。将不同特征作为模块来描述是意图突出编码装置12和解码装置14的不同功能方面，且不一定暗示所述模块必须由单独的硬件或软件组件实现。而是，与一个或一个以上模块相关联的功能性可集成在共同或单独的硬件或软件组件内。因此，本发明不应限于编码装置12和解码装置14的实例。
图2是说明根据本文描述的技术将数据片段与多个内容类别中的一者相关联的示范性内容分类模块40的框图。内容分类模块40可例如表示编码装置12的内容分类模块22(图1)。内容分类模块40包含质量测量模块42、编码参数规范化模块44以及类别选择模块46。
如上文所述，编码模块18(图1)执行所接收数据片段的第一遍编码。可使用用于对前一数据片段进行编码的编码参数来执行数据片段的第一遍编码。或者，即使前一数据片段没有使用经调节编码参数进行再编码，仍可使用前一数据片段的经调节编码参数来执行数据片段的第一遍编码。作为另一实例，可使用经配置的编码参数集合来执行数据片段的第一遍编码。在第一遍编码之后，内容分类模块40将数据片段与多个内容类别中的一者相关联。为此，内容分类模块40可基于经编码数据片段的所感知质量度量以及对应于用于产生类别的参数的一个或一个以上编码参数或经编码数据片段的所得位速率而将数据片段与内容类别中的一者相关联。如下文所述，在一些方面中，所述一个或一个以上编码参数可经规范化以对应于用以产生内容类别的编码参数。
质量测量模块42计算经编码数据片段的所感知质量度量。所感知质量度量可例如为所观察PSNR、经加权PSNR、平均意见得分(MOS)或其它质量度量。在计算所感知质量度量时，质量测量模块42可考虑例如PSNR等常规质量度量并不总是对观看者体验到的知觉视频质量的准确测量的事实。对于低强度序列或帧来说尤其如此，其中平均帧PSNR由具有低均方误差的低强度区域偏置。这些区域通常并不对总体知觉视频质量起作用，因为人类视觉系统不会将其感知为关注区域。
为了解决此问题，质量测量模块42计算经加权质量度量(例如，经加权PSNR)。经加权质量度量提供比常规PSNR更近似于观看者体验到的主观质量的客观视频质量度量。为了计算经加权质量度量，质量测量模块42基于与所述片段的一个或一个以上数据帧的像素块中的每一者相关联的至少一个差值度量将所述像素块分离为若干群组。质量测量模块42可例如基于绝对差和(SAD)、每像素SAD(SPP)、差平方和(SSD)或与一个或一个以上数据帧的像素块中的每一者相关联的类似差值度量将所述像素块分组为若干群组。其它实例可使用绝对变换差和(SATD)或变换差平方和(SSTD)。为示范性目的，本发明论述基于与一个或一个以上数据帧的像素块中的每一者相关联的SPP值将所述像素块分离为若干群组。然而应明了，质量测量模块42可基于其它差值度量将像素块分离为若干群组。
质量测量模块42至少基于块模式决策而计算像素块的SPP值。质量测量模块42可例如根据以下等式计算像素块的SPP值：
SPP = Σ i = 0 n - 1 ( SAD i ) / n , - - - ( 1 )
其中SPP是针对像素块计算的SPP值，SADi是像素块的第i个像素的SAD值，且n是像素块中的像素数目。与像素块中的每一者相关联的SPP值的范围是零到n。对于16×16像素块，其中n等于256，与像素块相关联的SPP值的范围是0到255。SPP值零指示预测的像素块和原始像素块完全相同。另一方面，SPP值255指示相反的极端，即预测的像素块和原始像素块极为不同。
质量测量模块42可预计算与每一SPP值相关联的质量度量。为了示范性目的，将在PSNR质量度量方面论述本发明的技术。然而应了解，可使用任何质量度量来利用所述技术。质量测量模块42可预计算与SPP值中的每一者相关联的PSNR值。在一个实例中，质量测量模块42可根据以下等式预计算与SPP值中的每一者相关联的PSNR值：
PSNR i = 10 log 10 ( 2 n - 1 ) / SPP i 2 , - - - ( 2 )
其中PSNRi是与第i个SPP值相关联的PSNR值，且SPPi是第i个SPP值。
质量测量模块42将整个范围的SPP值分离为多个群组，其中群组中的每一者对应于一个或一个以上SPP值。在一个实例中，质量测量模块42可将整个范围(0…255)的SPP值分离为64个群组，其中群组中的每一者表示四个连续的SPP值。或者，质量测量模块42可将不连续的SPP值分组为多个群组。质量测量模块42将质量度量(例如，PSNR值)与群组中的每一者相关联。举例来说，质量测量模块42对与属于群组的SPP值中的每一者相关联的PSNR值求平均值以获得群组中的每一者的平均PSNR值。
质量测量模块42可进一步将权重与群组中的每一者相关联。在某些方面中，质量测量模块42可将使用对数权重函数计算的权重与群组中的每一者相关联。对数权重函数可为对应于群组的SPP值的函数。质量测量模块42可根据以下等式确定权重以与群组中的每一者相关联：
Wti＝log10(SPPj)，                                        (3)
其中Wti是与第i群组相关联的权重，SPPj是第j像素的SPP值，在六十四个单独群组的情况下k＝0，1，…，64，且j是与第i群组相关联的最高SPP值。在具有六十四个群组的16×16像素块的情况下，j＝3，7，11…，255。与群组中的每一者相关联的权重辅助调节每一群组的块计数。换句话说，权重指示群组中的每一者内应朝数据片段的所计算PSNR计数的块的数目。权重函数将较高的权重指派给具有较高SPP值的群组。
如上文所述，数据片段可包含一个或一个以上数据帧，其包含一个或一个以上像素块。质量测量模块42基于与数据片段的帧的像素块相关联的SPP值将所述像素块分离为群组中的一者。在数据片段的所有像素块均已被分组之后，质量测量模块42计算每群组的像素块的百分比。在某些方面中，将确定为要跳过的像素块从每群组像素块百分比的计算中排除。质量测量模块42基于每群组的像素块的百分比、与群组相关联的质量度量以及与群组相关联的权重来计算数据片段的经加权质量度量。在一个实例中，质量测量模块根据以下等式计算经加权质量度量：
Wt_Q＝∑(Wt[i]*MBPerc[i]*Group_Q[i])/TotalMBCnt，                  (4)
其中Wt_Q是经加权质量度量，i＝0，1，…，n，n等于群组的数目，Wt[i]是与第i群组相关联的权重，MBPerc[i]是第i群组中包含的片段的块总数目的百分比，Group_Q[i]是与第i群组相关联的质量度量，且TotalMBCnt是数据片段中的像素块的总数目。使用以下等式对所有i个群组计算TotalMBCnt：
TotalMBCnt＝∑(Wt[i]*MBPerc[i])                                    (5)
通过以上文所述方式计算数据片段的质量度量，客观视频质量度量相对于常规质量度量来说可更接近于观看者体验到的主观质量。
在用以对数据片段进行编码的编码参数不与用以产生内容类别的编码参数匹配的情况下，内容分类模块40可将编码参数中的一者或一者以上规范化以对应于用以产生内容类别的编码参数。在某些方面中，编码参数规范化模块44将用以对数据片段进行编码的位速率规范化以对应于用以产生内容类别的参数。将位速率规范化可减少数据片段的实际帧序列类型和帧速率以及在片段数据的编码期间使用的QP对位速率的影响。
在某些方面中，内容类别可包括质量-速率曲线，其将例如PSNR等质量度量建模为位速率的函数。在此情况下，将编码参数规范化为用于产生质量-速率曲线的参数。举例来说，编码参数规范化模块44可根据以下等式和表将用以对数据片段进行编码的位速率规范化为用以产生质量-速率曲线的位速率：
R＝γFPS(φI*RateI+φP*RateP+φB*RateB)，                          (6)
其中R是经规范化的位速率，γFPS是用于将位速率缩放为其30帧/秒(fps)等效的比例因子，φI是用以将I帧的位速率缩放为设定点QP等效的比例因子，RateI是数据片段的I帧的所观察位速率，φP是用以将P帧的位速率缩放为设定点QP等效的比例因子，RateP是数据片段的P帧的所观察位速率，φB是用以将B帧的速率缩放为设定点QP等效的比例因子，且RateB是数据片段的B帧的所观察位速率。换句话说，数据片段的I帧的所观察位速率(RateI)、数据片段的P帧的所观察位速率(RateP)和数据片段的B帧的所观察位速率(RateB)分别对应于用以对数据片段的I帧进行编码的总位数目、用以对数据片段的P帧进行编码的位数目和用以对数据片段的B帧进行编码的位数目。表1说明用以将速率缩放为QP 33等效的一些示范性比例因子(例如，φP和φB)。表2说明用以将位速率缩放为其30fps等效的一些示范性比例因子。
表1：基于QP的速率比例因子
  帧QP   位速率比例因子，φ
  28   0.517144638-0.003383
  29   0.578015199+0.001467
  30   0.690270107-0.002671
  31   0.753518595+0.001542
  32   0.860616347+0.001733
  33   1
  34   1.099142284+0.000496
  35   1.231770493+0.009451
  36   1.531040155-0.031693
  37   1.644054502-0.032849
  38   1.853428794-0.018959
  39   2.115798762-0.061861
  40   2.318844143-0.052601
表2：基于FPS的速率比例因子
 操作FPS  位速率比例因子，γFPS
 30  1.0
 24  1.142
 15  1.43
类别选择模块46基于所感知质量度量(在此情况下为经加权质量度量)以及对应于用于产生类别的参数的一个或一个以上编码参数或经编码数据片段的所得位速率而将数据片段与所述多个内容类别中的一者相关联。如上文所述，内容类别可将数据片段与相应的质量和速率信息相关联。举例来说，类别选择模块46可以将质量度量建模为位速率的函数的多个质量-速率曲线来配置。因此，质量-速率曲线可包括内容类别。可通过在不同QP下针对不同类型的内容测量位速率和质量度量、集中结果且执行曲线拟合来离线计算质量-速率曲线。举例来说，可使用以下形式的对数函数来建模质量-速率曲线：
Q＝α*In(r)+β，                                                (7)
其中Q是质量度量，r是位速率，且α和β是使用若干样本数据点计算的常数。例如，质量-速率曲线可对应于与数据片段的内容中的运动和纹理的不同等级相关联的八个不同的类别。下文的表3说明用于图3中说明的质量-速率曲线的一些实例常数α和β。曲线ID值0-7分别对应于曲线48A-48H(“曲线48”)。
表3：质量-速率曲线常数
  曲线ID   α   β
  0   5.0874   24.87129
  1   5.1765   28.62093
  2   5.9369   39.48376
  3   5.2884   31.56214
  4   5.3435   34.54844
  5   5.1642   32.81238
  6   5.0773   32.41378
  7   5.0813   34.78407
为了将数据片段与对应的质量-速率曲线(即，内容类别)相关联，类别选择模块46基于所感知质量度量(例如，经加权质量度量)以及对应于用于产生类别的参数的一个或一个以上编码参数或经编码数据片段的所得位速率而选择质量-速率曲线中的一者。使用经规范化位速率作为实例，类别选择模块46可针对对应于经规范化位速率的质量速率曲线中的每一者计算质量度量。举例来说，类别选择模块46可使用由编码参数规范化模块44和表3中指定的质量-速率常数，根据等式(7)来计算质量-速率曲线中的每一者的质量度量。换句话说，类别选择模块46在经规范化位速率下计算质量-速率曲线中的每一者的质量度量。
类别选择模块46选择最接近地对应于数据片段的质量-速率曲线(即，类别)。举例来说，类别选择模块46确定使用经规范化编码参数(例如，位速率)计算出的质量度量中的哪一者最接近于由质量测量模块42计算出的经加权质量度量。类别选择模块46可针对所述多个质量-速率曲线中的每一者计算在经规范化位速率下所感知质量度量与相应质量-速率曲线上的质量度量之间的差值，且选择质量-速率曲线中的对应于最小差值的一者。因此，类别选择模块46选择使abs(Wt_Q-Qi)最小的质量-速率曲线，其中Wt_Q是经加权质量度量，且Qi是与第i类别或曲线相关联的质量度量。
图3是说明表示内容类别的示范性质量-速率曲线48的曲线图。图3中说明的质量-速率曲线48是使用对数函数(6)和表3中说明的质量-速率常数来建模的。如上文所述，可通过针对在不同QP下编码的不同类型的内容测量位速率和质量度量、群集结果且执行曲线拟合来离线计算质量-速率曲线48。
质量-速率曲线48中的每一者对应于与数据片段的内容中的运动和纹理的不同等级相关联的不同内容类别。特定来说，质量-速率曲线48A对应于低运动和低纹理内容。质量-速率曲线48H对应于高运动和高纹理内容。图3中说明的质量-速率曲线48仅是示范性曲线。可基于其它质量-速率常数或其它建模等式来产生类似的曲线。
图4是说明示范性质量控制模块50的框图，其动态调节用以对数据片段进行编码的一个或一个以上编码参数。质量控制模块50可例如表示编码装置12的质量控制模块24(图1)。质量控制模块50包含目标质量确定模块52、质量比较模块54和编码参数调节模块56。
目标质量确定模块52基于内容分类而确定数据片段的目标质量度量。换句话说，目标质量确定模块52确定编码模块18(图1)应对数据片段进行编码的目标质量等级。目标质量度量可例如包括将对数据片段进行编码的目标PSNR。如上文所述，常规PSNR并非总是对观看者体验到的知觉视频质量的准确测量。因此，目标质量确定模块52可基于内容分类而动态调节目标质量度量以考虑不同内容类别的序列在不同PSNR下知觉上表现为类似的事实。目标质量确定模块52可使用以下等式计算所要的目标质量度量：
Target_Q＝SetPoint+ΔQi，                                    (8)
其中Target_Q是所要目标质量度量，SetPoint是初始目标质量度量，且ΔQi是对应于第i内容类别的质量调节变化量。下文的表4展示针对多个曲线的示范性质量调节变化量和所要的目标质量度量(在此情况下为PSNR)。表4中计算出的值是使用33的SetPoint PSNR计算出的。与上文表3中一样，曲线ID值0-7可对应于图3的曲线48A-48H(“曲线48”)。
表4：针对33的Setpoint的所要目标PSNR
  曲线Id   PSNR调节变化量   所要的目标PSNR
  0   3   36
  1   3   36
  2   2   35
  3   1   34
  4   0   33
  5   -1   32
  6   -2   31
  7   -3   30
如表4中说明，将针对对应于低运动和低纹理内容的曲线的所要目标PSNR调节为高于初始目标质量(即，SetPoint)，而将针对对应于高运动和高纹理内容的曲线的所要目标PSNR调节为低于初始目标质量。在某些方面中，初始目标质量(即，SetPoint)可对应于与中等运动、中等纹理数据片段相关联的质量度量。
质量比较模块54将计算出的目标质量度量与所感知质量度量进行比较，所述所感知质量度量是对数据片段进行编码的实际质量等级。在某些方面中，所感知质量度量可包括由质量测量模块42(图2)计算出的经加权质量度量。质量比较模块54可例如从质量测量模块42接收经加权质量度量。或者，质量比较模块54可如上文相对于图2详细描述而计算经加权质量度量。
如果所感知质量度量(例如，经加权质量度量)与目标质量度量之间的差值超过阈值，那么质量比较模块54警告编码参数调节模块56。编码参数调节模块56随后调节至少一个用以对数据片段进行编码的编码参数。举例来说，如果所感知质量度量比所要目标质量度量大一阈值，那么编码参数调节模块56可增加对数据片段进行编码的QP。同样，如果所感知质量度量比所要目标质量度量小一阈值，那么编码参数调节模块56可减小对数据片段进行编码的QP。QP编码参数调节模块56可将对数据片段进行编码的QP调节(向上或向下)所感知质量度量与目标质量度量之间的差值。或者，QP编码参数调节模块56可在计算处理时间准许时以更精细的增量调节对数据片段进行编码的QP。虽然本文在调节用以对数据片段进行编码的QP方面进行描述，但编码参数调节模块56可调节其它编码参数，例如帧速率、编码模式、解块、系数微调、运动向量精细化和类似编码参数。
编码参数调节模块56将经调节编码参数与编码参数的可接受范围(下文称为“可接受的编码参数范围”)进行比较。可接受的编码参数范围可基于与数据片段相关联的内容类别而不同。表5展示针对与图3说明的质量-速率曲线相关联的内容类别的QP值的示范性可接受的编码参数范围。
表5：针对33的SetPoint的可接受的QP范围
  曲线ID   最小QP   最大QP
  0   30   33
  1   30   36
  2   30   38
  3   30   38
  4   30   38
  5   31   38
  6   34   38
  7   35   38
如表5中说明，可接受的编码参数范围基于与数据片段相关联的内容类别(例如，质量-速率曲线)而变化。特定来说，与对应于低运动和低纹理内容的内容类别(例如，曲线ID 0)和对应于高运动和高纹理内容的内容类别(例如，曲线ID 7)对应的可接受QP范围具有大小比包含中等纹理和中等运动的内容类别(例如，曲线ID 2-4)小的可接受QP值范围。与运动和纹理内容的较极端相关联的内容类别具有仅四个可接受QP值的范围，而与较中等运动和纹理相关联的内容类别具有高达九个可接受QP值的范围。
而且，表5还说明QP与内容之间的额外关系。包含高运动和高纹理内容的数据片段的内容的可接收QP范围高于包含低运动和低纹理的数据片段的内容的可接收QP范围。如表5中说明，在高运动、高纹理内容与低运动、低纹理内容之间存在5个QP值的差值。
如果编码参数调节模块56确定经调节的编码参数在可接受编码参数范围之外，那么编码参数调节模块56将编码参数再调节到可接受编码参数范围内。如果对应于曲线ID 0的数据片段的经调节QP值等于例如二十八，那么编码参数调节模块56可将所述数据片段的QP值再调节为三十，其在针对对应于质量-速率曲线ID 0的内容类别的可接受QP范围内。
质量控制模块50将经调节编码参数提供到编码模块18(图1)。如果足够的处理时间准许，那么编码模块18可使用经调节的编码参数对数据片段执行第二遍编码。以此方式，质量控制模块50动态调节对数据片段进行编码的所感知质量以试图维持恒定质量。而且，编码模块18可使用经调节的编码参数来对后续的数据片段进行编码。即使编码模块18没有对前一数据片段进行再编码，情况也是如此。
图5是说明根据本发明的技术的用于对数据片段进行编码的示范性编码技术的图。图5中说明的编码技术可例如由编码装置12(图1)执行。图5中说明的实例展示数据片段60A和60B的编码。然而，所述技术可扩展到任何数目的数据片段。
初始地，编码装置12可执行第一遍以使用初始编码参数集合对数据片段60A进行编码。编码装置12可例如初始使用经配置QP或基于数据片段60A的内容或性质确定的QP来对数据片段60A进行编码。如上文详细描述，编码装置12分析经编码数据片段的内容以将数据片段60A与多个内容类别中的一者相关联，且基于经编码数据片段的所感知质量度量和对应于所述相关联内容类别的目标质量度量而确定是否要调节一个或一个以上编码参数。编码装置12可例如在所感知质量度量与目标质量度量之间的差值超过阈值时确定需要调节。
当需要调节时，编码装置12调节用于数据片段60A的至少一个编码参数，且使用经调节编码参数执行第二遍以对数据片段60A进行编码。第二遍编码有效地将所感知质量度量朝所要目标质量度量精细化，且可再建立视频序列的内容类别。虽然在图5中说明的实例中仅执行两遍编码，但在计算过程时间准许时编码装置12可执行两遍以上编码。而且，如果处理时间不准许，那么编码装置12可不使用经调节编码参数对数据片段进行再编码，而是使用经调节编码参数对后续数据片段(即，数据片段60B)进行编码。编码装置12发射经编码数据片段60A。
编码装置12可使用曾用以在第二遍编码期间对数据片段60A进行编码的编码参数来执行数据片段60B的第一遍编码。如果没有对数据片段60A执行第二遍译码，那么编码装置12可使用曾在数据片段60A的第一遍编码期间使用的编码参数来执行数据片段60B的第一遍编码。或者，编码装置12可在即使没有执行数据片段60A的再编码的情况下仍使用针对数据片段60A计算的经调节编码参数来对数据片段60B进行编码。以此方式，编码装置12在两个连续数据片段之间内容类似的直观推断下操作。
编码装置12再次分析经编码数据片段的内容以将数据片段60B与多个内容类别中的一者相关联，基于经编码数据片段的所感知质量度量和对应于所述相关联内容类别的目标质量度量而确定是否要调节编码参数，且在需要调节时调节用于数据片段60B的至少一个编码参数。编码装置12随后使用经调节编码参数来执行数据片段60B的第二遍编码，其再次将所感知质量度量朝所要目标质量度量精细化。
图6是说明根据本发明的技术控制经编码数据片段的质量的编码装置12的示范性操作的流程图。初始地，编码模块18使用初始编码参数集合对数据片段进行编码(70)。编码模块18可例如使用针对前一数据片段计算的经调节编码参数来对数据片段进行编码。这些经调节编码参数可能是或可能不是用以对前一数据片段进行编码的编码参数。举例来说，如果处理时间不准许，那么可使用不同的编码参数对前一数据片段进行编码。以此方式，编码模块18可在两个连续数据片段之间内容类别类似的直观推断下操作。或者，编码模块18可经配置以初始使用经配置编码参数对所有数据片段进行编码。在另一实例中，编码模块18可基于数据片段的内容或性质而选择将用以对数据片段进行编码的初始编码参数。
编码装置12计算经编码数据片段的所感知质量度量(72)。在某些方面中，编码装置12可计算与经编码数据片段相关联的经加权质量度量，其提供比常规质量度量更接近于观看者体验到的主观质量的客观视频质量度量。如上文详细描述，编码装置12可通过以下方式计算经加权质量度量：基于与和所述片段相关联的一个或一个以上数据帧的像素块中的每一者相关联的一个或一个以上差值度量将所述像素块分离为若干群组，将质量度量和权重与像素块群组中的每一者相关联，以及基于每一群组中的像素块的数目以及与群组相关联的质量度量和权重来计算经加权质量度量。
内容分类模块22将数据片段与多个内容类别中的一者相关联(74)。在某些方面中，内容类别可包括一个或一个以上曲线，其将例如峰值信噪比(PSNR)等质量度量建模为位速率的函数。内容分类模块22可基于所感知质量度量和用以对数据片段进行编码的编码参数(例如，位速率、QP或类似编码参数)中的至少一者而选择曲线中最接近地对应于经编码数据片段的一者。为了辅助将数据片段与内容类别中的一者相关联，内容分类模块22可在用以对数据片段进行编码的编码参数不同于用以产生所述多个质量-速率曲线的编码参数时，计算对数据片段进行编码的一个或一个以上经规范化编码参数以对应于用以产生质量-速率曲线的参数。内容分类模块22随后可基于所感知质量度量和经规范化编码参数而将数据片段与内容类别中的一者相关联。举例来说，内容分类模块22可选择在经规范化位速率下具有最接近于计算出的经加权质量度量的质量度量的质量-速率曲线。或者，内容分类模块22可基于所感知质量度量和经编码数据片段的所得位速率(即，使用特定编码参数集合实现的位速率)而选择曲线中最接近地对应于经编码数据片段的一者。
质量控制模块24确定与数据片段所属于的内容类别相关联的目标质量度量(76)。质量控制模块24可例如针对33的PSNR值的设定点使用等式(8)和表4的参数计算目标质量度量。质量控制模块24计算经加权质量度量与目标质量度量之间的差值(78)且将所述差值的绝对值与阈值进行比较(80)。换句话说，质量控制模块24确定所观察质量是否足够。如果差值的绝对值小于阈值，那么编码装置12不需要执行第二遍以再编码，而是仅发射数据片段(82)。
如果经加权质量度量与目标质量度量之间的差值的绝对值超过阈值，那么质量控制模块24调节用于对数据片段进行编码的至少一个编码参数(84)。举例来说，如果所感知质量度量比目标质量度量大所述阈值，那么质量控制模块24可增加用于编码的QP。同样，如果所感知质量度量比目标质量度量小所述阈值，那么质量控制模块24可减小用于编码的QP。
编码参数调节模块56确定经调节编码参数是否在可接受参数范围内(86)。编码参数调节模块56可将经调节编码参数与和数据片段相关联的可接受编码参数范围(例如表5中指定的QP范围)进行比较。如上文所述，可接受编码参数范围可基于与数据片段相关联的内容类别而变化。如果经调节编码参数在可接受编码参数范围之外，那么编码参数调节模块56将编码参数再调节到可接受编码参数范围内(87)。
质量控制模块24确定是否有足够时间来对数据片段进行再编码(88)。在一方面中，质量控制模块24可确定是否剩下足够的计算机处理时间来对数据片段进行再编码。在另一方面中，质量控制模块24可确定当前数据片段已被再编码的次数，且在数据片段已被再编码超过阈值次数之后不调节编码参数。在一个实例中，数据片段可被再编码的阈值次数是一。
如果存在足够的时间对数据片段进行再编码，那么编码模块18使用经调节编码参数(例如，经调节QP)执行第二遍以对数据片段进行再编码(89)。第二遍编码有效地将所感知质量度量朝所要目标质量度量精细化，且可再建立视频序列的内容类别。在一些方面中，编码模块24可执行两遍以上编码以试图将所观察的质量精细化。在第二遍再编码之后，编码装置12计算经再编码数据片段的所感知质量度量(72)。如果没有足够时间对数据片段进行再编码，那么编码装置12不需要执行第二遍以再编码，而是仅发射数据片段(82)。
图7是说明根据本发明的某些方面的技术计算经加权质量度量的质量测量模块42的示范性操作的流程图。如上文详细描述，经加权质量度量可提供比常规质量度量更近似于观看者感知的主观质量的客观视频质量度量。
质量测量模块42产生多个群组(90)。如上文详细描述，所述群组可对应于一个或一个以上差值度量，例如SPP、SAD、SSD、SATD、SSTD或类似差值度量。在一个实例中，质量测量模块42可产生六十四个群组，其各自对应于四个差值度量。质量测量模块42预计算与群组中的每一者相关联的一个或一个以上特性(92)。质量测量模块可预计算与群组中的每一者相关联的质量度量(例如，PSNR值)。举例来说，质量测量模块42可通过对与属于群组的差值度量中的每一者相关联的PSNR值求平均值来预计算质量度量。另外，质量测量模块42可预计算与群组中的每一者相关联的权重。举例来说，质量测量模块42可使用对数权重函数来预计算权重，所述对数权重函数将较高权重指派给具有较高差值度量(例如，较高SPP值)的群组。
质量测量模块42计算数据片段的像素块的差值度量(94)。质量测量模块42计算曾用以形成群组的相同差值度量。举例来说，如果群组是基于SPP值而产生，那么质量测量模块42可使用上文的等式1来计算像素块的SPP值。质量测量模块42基于计算出的差值度量将像素块与群组中的一者相关联(96)。质量测量模块42可将像素块的质量度量与群组的质量度量进行比较，且将像素块与对应于相同质量度量值的群组相关联。质量测量模块42确定数据片段中是否存在任何其它像素块(98)。质量测量模块42继续将像素块中的每一者与一群组相关联，直到所有像素块均已被分组为止。以此方式，质量测量模块42基于与数据片段的像素块相关联的质量度量将所述像素块分离为群组中的一者。
当质量测量模块42已将数据片段的所有像素块与群组中的一者相关联时，质量测量模块42计算群组中的一者中包含的像素块的百分比(100)。质量测量模块42可通过将与群组相关联的像素块的数目除以数据片段的像素块的总数目来计算所述百分比。在某些方面中，质量测量模块42可计算所述百分比而不包含跳过像素块。质量测量模块42通过将群组中的像素块的百分比乘以与群组相关联的预计算的权重来计算所述群组的经调节块计数(102)。质量测量模块42确定是否存在更多群组(104)，且计算群组中的每一者的像素块的百分比和经调节块计数。
在计算群组中的每一者的经调节块计数之后，质量测量模块42计算数据片段的经加权质量度量(106)。举例来说，质量测量模块42可基于与群组相关联的经调节块计数和质量度量来计算数据片段的经加权质量度量。在一个实例中，质量测量模块根据以下等式计算经加权质量度量：
Wt_Q＝∑(Adjusted_block_cnt[i]*Group_Q[i])/TotalMBCnt，            (9)
其中Wt_Q是经加权质量度量，i＝0，1，…，n，n等于与数据片段相关联的帧中的每一者的像素数目，Adjusted_block_cnt[i]是与第i群组相关联的经调节块计数，Group_Q[i]是与第i群组相关联的质量度量，且TotalMBCnt是数据片段中的像素块的总数目。通过以上文所述方式计算数据片段的质量度量，可界定客观视频质量度量，其相对于常规技术来说更接近于观看者体验到的主观质量。
图8是说明根据本发明的某些方面的技术将数据片段与多个内容类别中的一者相关联的内容分类模块40的示范性操作的流程图。初始地，内容分类模块40将用以对数据片段进行编码的一个或一个以上编码参数规范化以对应于用以产生内容类别的参数(110)。举例来说，内容分类模块40可根据等式(6)以及表1和2中包含的比例因子来将位速率规范化。
内容分类模块40使用经规范化的编码参数来计算质量-速率曲线中的每一者的质量度量(112)。举例来说，内容分类模块40可使用等式(7)的对数函数和表3中给定的常数以及经规范化的位速率来计算质量-速率曲线中的每一者的质量度量。
内容分类模块40将数据片段与质量-速率曲线中的一者相关联(114)。内容分类模块40可基于在经规范化位速率下质量-速率曲线的质量度量以及经编码数据片段的经加权质量度量来将数据片段与质量-速率曲线中的一者相关联。特定来说，内容分类模块40将在经规范化位速率下计算出的质量-速率曲线的质量度量与经加权质量度量进行比较，且选择对应于最接近于经加权质量度量的质量度量的质量-速率曲线。以此方式，内容分类模块40将数据片段与使abs(Wt_Q-Qi)最小的质量-速率曲线相关联，其中Wt_Q是经加权质量度量，且Qi是与第i类别或曲线相关联的质量度量。
基于本文描述的教示，所属领域的技术人员应了解，本文揭示的方面可独立于任何其它方面而实施，且这些方面中的两者或两者以上可以各种方式组合。本文描述的技术可以硬件、软件、固件或其任何组合来实施。如果以硬件实施，那么可使用数字硬件、模拟硬件或其组合来实现所述技术。如果以软件实施，那么可至少部分通过包含上面存储有一个或一个以上指令或代码的计算机可读媒体的计算机程序产品来实现所述技术。
举例来说但不作为限制，所述计算机可读媒体可包括RAM，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、ROM、电可擦除可编程只读存储器(EEPROM)、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或任何其它可用以用指令或数据结构的形式载运或存储所要程序代码且可由计算机存取的有形媒体。
与计算机程序产品的计算机可读媒体相关联的指令或代码可由计算机执行，例如由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。
已描述若干方面和实例。然而，对这些实例的各种修改是可能的，且本文呈现的原理同样可应用于其它方面。这些和其它方面是在所附权利要求书的范围内。

Claims (32)

1.一种用于处理数字多媒体数据的方法，所述方法包括：
使用编码参数的第一集合对与所述数字多媒体数据相关联的数据片段进行编码，以产生第一经编码数据；
分析所述第一经编码数据的一个或一个以上性质以将所述第一经编码数据与多个内容类别中的一者相关联；
调节所述编码参数的第一集合中的至少一个编码参数以产生编码参数的第二集合，所述调节至少基于经编码数据片段的所感知质量度量和目标质量度量，所述目标质量度量对应于相关联的内容类别；
使用所述编码参数的第二集合对所述数据片段进行再编码，以产生第二经编码数据；以及
如果所计算的所感知质量度量和目标质量度量之间的差值大于阈值，并且如果有足够的时间再编码，则向接收机发射第二经编码数据而不发射第一经编码数据。
2.根据权利要求1所述的方法，其中调节所述编码参数中的所述至少一者包括当所述所感知质量度量与所述目标质量度量之间的差值超过阈值时调节所述编码参数中的至少一者。
3.根据权利要求1所述的方法，其中调节所述编码参数中的所述至少一者包括当所述所感知质量度量比所述目标质量度量大一阈值时增加量化参数。
4.根据权利要求3所述的方法，其中增加所述量化参数包括将所述量化参数增加所述所感知质量度量与所述目标质量度量之间的差值的绝对值。
5.根据权利要求1所述的方法，其中调节所述编码参数中的所述至少一者包括当所述所感知质量度量比所述目标质量度量小一阈值时减小量化参数。
6.根据权利要求5所述的方法，其中减小所述量化参数包括将所述量化参数减小所述所感知质量度量与所述目标质量度量之间的差值的绝对值。
7.根据权利要求1所述的方法，其进一步包括：
针对与所述数据片段相关联的所述内容类别将所述编码参数中的所述经调节至少一者与所述编码参数中的所述至少一者的可接受范围进行比较；以及
当所述经调节编码参数在所述编码参数中的所述至少一者的所述可接受范围之外时，将所述编码参数中的所述至少一者再调节为所述编码参数中的所述至少一者的所述可接受范围内的值。
8.根据权利要求1所述的方法，其进一步包括：
识别初始目标质量设定点；以及
基于与所述数据片段相关联的所述内容类别调节所述初始目标质量设定点以计算所述数据片段的所述目标质量度量。
9.根据权利要求1所述的方法，其中对所述数据片段进行编码包括使用针对前一数据片段计算出的前一经调节编码参数集合来对所述数据片段进行编码。
10.根据权利要求1所述的方法，其中分析所述经编码数据片段的所述一个或一个以上性质包括：
当用以对所述数据片段进行编码的所述编码参数不同于用以产生多个质量-速率曲线的编码参数时，将所述经编码数据片段的所述一个或一个以上性质中的至少一者规范化以对应于用以产生所述多个质量-速率曲线的所述编码参数；
计算所述经编码数据片段的所述所感知质量度量；以及
基于所述所感知质量度量以及用以对所述数据片段进行编码的所述编码参数中的所述至少一者、所述至少一个经规范化性质和所述经编码数据片段的所得位速率中的一者来选择所述多个质量-速率曲线中的一者。
11.根据权利要求10所述的方法，其中选择所述多个质量-速率曲线中的一者包括：
针对所述多个质量-速率曲线中的每一者计算所述所感知质量度量与相应质量-速率曲线上对应于所述至少一个经规范化性质的质量度量之间的差值；以及
选择所述质量-速率曲线中的对应于所述计算出的差值中的最小差值的一者。
12.根据权利要求10所述的方法，其中计算所述所感知质量度量进一步包括：
基于与和所述片段相关联的数据帧的像素块中的每一者相关联的至少一个差值度量将所述像素块分离为若干群组；
将质量度量值和权重值与所述像素块群组中的每一者相关联；以及
基于与所述群组相关联的所述质量度量值和权重值计算所述数据片段的经加权质量度量。
13.根据权利要求12所述的方法，其中基于至少一个差值度量将像素块分离为若干群组包括基于绝对差和、每像素绝对差和、差平方和、绝对变换差和以及变换差平方和中的至少一者而将像素块分离为若干群组。
14.根据权利要求1所述的方法，其中分析所述经编码数据片段的所述一个或一个以上性质以将所述数据片段与多个内容类别中的一者相关联包括分析所述经编码数据片段的所述一个或一个以上性质以将所述数据片段与多个质量-速率曲线中的某一者相关联。
15.根据权利要求1所述的方法，所述数据片段包括多个像素块，所述方法还包括：
通过以下步骤计算所感知质量度量：
基于与每一块相关联的每像素绝对差和SPP值将所述像素块分成多个组；以及
计算与每一组相关联的质量度量的经加权的和，每一组的权重包括与这一组相关联的SPP值的函数。
16.根据权利要求15所述的方法，每一组的权重还包括这一组中块的总数与所述数据片段中块的总数的比。
17.一种用于处理数字多媒体数据的设备，所述设备包括：
编码模块，其使用编码参数的第一集合对与所述数字多媒体数据相关联的数据片段进行编码以产生第一经编码数据；
内容分类模块，其分析所述第一经编码数据的一个或一个以上参数以将所述第一经编码数据与多个内容类别中的一者相关联；以及
质量控制模块，其调节所述编码参数的第一集合中的至少一个编码参数以产生编码参数的第二集合，所述质量控制模块至少基于所述经编码数据片段的所感知质量度量和目标质量度量来进行调节，其中，所述目标质量度量对应于相关联的内容类别，
其中所述编码模块使用所述编码参数的第二集合对所述数据片段进行再编码，以产生第二经编码数据；所述设备还包括：
发射机，其用于如果所计算的所感知质量度量和目标质量度量之间的差值大于阈值，并且如果有足够的时间再编码，向接收机发射第二经编码数据而不发射第一经编码数据。
18.根据权利要求17所述的设备，其中所述质量控制模块当所述所感知质量度量与所述目标质量度量之间的差值超过阈值时调节所述编码参数中的所述至少一者。
19.根据权利要求17所述的设备，其中所述质量控制模块当所述所感知质量度量比所述目标质量度量大一阈值时增加量化参数。
20.根据权利要求19所述的设备，其中所述质量控制模块将所述量化参数增加所述所感知质量度量与所述目标质量度量之间的差值的绝对值。
21.根据权利要求17所述的设备，其中所述质量控制模块当所述所感知质量度量比所述目标质量度量小一阈值时减小量化参数。
22.根据权利要求21所述的设备，其中所述质量控制模块将所述量化参数减小所述所感知质量度量与所述目标质量度量之间的差值的绝对值。
23.根据权利要求17所述的设备，其中所述质量控制模块：
针对与所述数据片段相关联的所述内容类别将所述编码参数中的所述经调节至少一者与所述编码参数中的所述至少一者的可接受范围进行比较；以及
当所述经调节编码参数在所述编码参数中的所述至少一者的所述可接受范围之外时，将所述编码参数中的所述至少一者再调节为所述编码参数中的所述至少一者的所述可接受范围内的值。
24.根据权利要求17所述的设备，其中所述质量控制模块：
识别初始目标质量设定点；以及
基于与所述数据片段相关联的所述内容类别调节所述初始目标质量设定点以计算所述数据片段的所述目标质量度量。
25.根据权利要求17所述的设备，其中所述编码模块使用针对前一数据片段计算出的前一经调节编码参数集合来对所述数据片段进行编码。
26.根据权利要求17所述的设备，其中所述内容分类模块：
当用以对所述数据片段进行编码的所述编码参数不同于用以产生多个质量-速率曲线的编码参数时，将所述经编码数据片段的所述一个或一个以上性质中的至少一者规范化以对应于用以产生所述多个质量-速率曲线的所述编码参数；
计算所述经编码数据片段的所述所感知质量度量；以及
基于所述所感知质量度量以及用以对所述数据片段进行编码的所述编码参数中的所述至少一者、所述至少一个经规范化性质和所述经编码数据片段的所得位速率中的一者来选择所述多个质量-速率曲线中的一者。
27.根据权利要求26所述的设备，其中所述内容分类模块：
针对所述多个质量-速率曲线中的每一者计算所述所感知质量度量与相应质量-速率曲线上对应于所述至少一个经规范化性质的质量度量之间的差值；以及
选择所述质量-速率曲线中的对应于所述计算出的差值中的最小差值的一者。
28.根据权利要求26所述的设备，其中所述内容分类模块：
基于与和所述片段相关联的数据帧的像素块中的每一者相关联的至少一个差值度量将所述像素块分离为若干群组；
将质量度量值和权重值与所述像素块群组中的每一者相关联；以及
基于与所述群组相关联的所述质量度量值和权重值计算所述数据片段的经加权质量度量。
29.根据权利要求28所述的设备，其中所述内容分类模块基于绝对差和、每像素绝对差和、差平方和、绝对变换差和以及变换差平方和中的至少一者而将所述像素块分离为若干群组。
30.根据权利要求17所述的设备，其中所述内容分类模块分析所述经编码数据片段的所述一个或一个以上性质以将所述数据片段与多个质量-速率曲线中的某一者相关联。
31.根据权利要求17所述的设备，所述数据片段包括多个像素块，所述内容分类模块用于通过以下步骤计算所感知质量度量：
基于与每一块相关联的每像素绝对差和SPP值将所述像素块分成多个组；以及
计算与每一组相关联的质量度量的经加权的和，每一组的权重包括与这一组相关联的SPP值的函数。
32.根据权利要求31所述的设备，每一组的权重还包括这一组中块的总数与所述数据片段中块的总数的比。
CN2007800526759A 2007-04-23 2007-04-24 用于质量受控编码的方法和系统 Active CN101658035B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/739,075 2007-04-23
US11/739,075 US8582647B2 (en) 2007-04-23 2007-04-23 Methods and systems for quality controlled encoding
PCT/US2007/067346 WO2008133677A1 (en) 2007-04-23 2007-04-24 Methods and systems for quality controlled encoding

Publications (2)

Publication Number Publication Date
CN101658035A CN101658035A (zh) 2010-02-24
CN101658035B true CN101658035B (zh) 2012-05-30

Family

ID=39495327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800526759A Active CN101658035B (zh) 2007-04-23 2007-04-24 用于质量受控编码的方法和系统

Country Status (6)

Country Link
US (2) US8582647B2 (zh)
EP (1) EP2153657B1 (zh)
JP (1) JP5113244B2 (zh)
KR (1) KR101104654B1 (zh)
CN (1) CN101658035B (zh)
WO (1) WO2008133677A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
US8743954B1 (en) * 2008-02-01 2014-06-03 Zenverge, Inc. Architecture for adjusting bit rate based on measured quality
CN101686383B (zh) * 2008-09-23 2013-05-01 Utc消防和保安美国有限公司 通过网络传输媒体的方法及系统
US8270476B2 (en) * 2008-12-31 2012-09-18 Advanced Micro Devices, Inc. Face detection system for video encoders
US20100309975A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and transcoding system
JP5484083B2 (ja) * 2010-01-14 2014-05-07 株式会社メガチップス 画像処理装置
US9106933B1 (en) 2010-05-18 2015-08-11 Google Inc. Apparatus and method for encoding video using different second-stage transform
EP2472868A1 (en) * 2010-12-29 2012-07-04 British Telecommunications Public Limited Company Video coding
US8813144B2 (en) * 2011-01-10 2014-08-19 Time Warner Cable Enterprises Llc Quality feedback mechanism for bandwidth allocation in a switched digital video system
US8856212B1 (en) 2011-02-08 2014-10-07 Google Inc. Web-based configurable pipeline for media processing
JP5837621B2 (ja) * 2011-02-11 2015-12-24 インターデイジタル パテント ホールディングス インコーポレイテッド コンテンツの配信および受信の方法および装置
US8767817B1 (en) 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
US8804819B1 (en) 2011-04-19 2014-08-12 Google Inc. Method and apparatus for encoding video using data frequency
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US8705620B1 (en) 2011-04-28 2014-04-22 Google Inc. Method and apparatus for encoding anchor frame by encoding features using layers
US9749638B1 (en) * 2011-04-28 2017-08-29 Google Inc. Method and apparatus for encoding video with dynamic quality improvement
US20120275511A1 (en) * 2011-04-29 2012-11-01 Google Inc. System and method for providing content aware video adaptation
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
EP2536144A1 (en) * 2011-06-17 2012-12-19 Thomson Licensing Method and device of lossy compress-encoding an image
EP2541935A1 (en) * 2011-06-29 2013-01-02 British Telecommunications Public Limited Company Video coding with quality control and rate control
EP2547062B1 (en) 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US8924580B2 (en) 2011-08-12 2014-12-30 Cisco Technology, Inc. Constant-quality rate-adaptive streaming
KR20140090999A (ko) 2011-10-14 2014-07-18 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-기반 이미지 압축
US20150163271A1 (en) * 2011-12-22 2015-06-11 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and method for monitoring performance in a communications network
CN104205713B (zh) 2012-03-28 2018-08-17 华为技术有限公司 发射器噪声注入
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US10051519B2 (en) 2012-08-27 2018-08-14 Qualcomm Incorporated Device and method for adaptive rate multimedia communications on a wireless network
US9247448B2 (en) 2012-08-27 2016-01-26 Qualcomm Incorporated Device and method for adaptive rate multimedia communications on a wireless network
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9699463B2 (en) * 2012-12-26 2017-07-04 Intel Corporation Constant quality video encoding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US11553211B2 (en) * 2013-01-03 2023-01-10 Disney Enterprises, Inc. Heuristic detection of potential digital media artifacts and defects in digital media assets
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
DE102013205542A1 (de) * 2013-03-28 2014-10-02 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verarbeitung von Daten
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
CN103400584B (zh) * 2013-07-31 2015-10-28 成都华迈通信技术有限公司 音频压缩性能最大化和流量低消耗的智能处理方法及装置
US20150095450A1 (en) * 2013-09-30 2015-04-02 Qualcomm Incorporated Utilizing multiple switchable adaptation sets for streaming media data
US10356405B2 (en) 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
US20150181208A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Thermal and power management with video coding
US20150208069A1 (en) * 2014-01-23 2015-07-23 Magnum Semiconductor, Inc. Methods and apparatuses for content-adaptive quantization parameter modulation to improve video quality in lossy video coding
JP5941939B2 (ja) * 2014-03-14 2016-06-29 ソフトバンク株式会社 動画配信装置、動画符号化装置及びプログラム
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality
DE102014104364A1 (de) 2014-03-28 2015-10-01 Intel IP Corporation Eine Vorrichtung und ein Verfahren zum Bereitstellen eines Versorgungssteuerungssignals für eine Versorgungseinheit
US10419760B2 (en) * 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
JP6274067B2 (ja) * 2014-10-03 2018-02-07 ソニー株式会社 情報処理装置および情報処理方法
KR101637741B1 (ko) * 2014-11-21 2016-07-08 인하대학교 산학협력단 계층적 비디오 코딩의 품질 확장성을 활용한 전력 관리 방법 및 시스템
US20160353107A1 (en) * 2015-05-26 2016-12-01 Apple Inc. Adaptive quantization parameter modulation for eye sensitive areas
US10827185B2 (en) * 2016-04-07 2020-11-03 Netflix, Inc. Techniques for robustly predicting perceptual video quality
EP3328083A1 (en) * 2016-11-23 2018-05-30 Thomson Licensing Method and apparatus for encoding a video applying adaptive quantisation
US10834406B2 (en) * 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
WO2018114519A1 (en) 2016-12-21 2018-06-28 British Telecommunications Public Limited Company Managing congestion response during content delivery
US11711553B2 (en) 2016-12-29 2023-07-25 British Telecommunications Public Limited Company Transmission parameter control for segment delivery
US10355998B2 (en) * 2017-02-27 2019-07-16 Cisco Technology, Inc. Adaptive video over multicast
CN108574841B (zh) * 2017-03-07 2020-10-30 北京金山云网络技术有限公司 一种基于自适应量化参数的编码方法及装置
US11997275B2 (en) * 2018-08-27 2024-05-28 AT Technologies ULC Benefit-based bitrate distribution for video encoding
US10778938B2 (en) 2018-12-20 2020-09-15 Hulu, LLC Video chunk combination optimization
EP3742728B1 (en) * 2019-05-24 2022-09-21 Axis AB A method and bitrate controller for controlling output bitrate of a video encoder
US11204851B1 (en) * 2020-07-31 2021-12-21 International Business Machines Corporation Real-time data quality analysis
US11263103B2 (en) * 2020-07-31 2022-03-01 International Business Machines Corporation Efficient real-time data quality analysis
CN112601074B (zh) * 2020-11-30 2022-10-11 北京金山云网络技术有限公司 评价编码器的方法、装置、计算机设备和存储介质
US11622116B2 (en) * 2021-03-31 2023-04-04 Hulu, LLC Cross-validation of video encoding
US12003564B1 (en) 2021-12-10 2024-06-04 Amazon Technologies, Inc. Predicted presented quality metrics
CN116800967A (zh) * 2022-03-15 2023-09-22 华为技术有限公司 一种图像编码方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064098A1 (fr) * 2004-12-15 2006-06-22 Tdf Procede de transmission a debit binaire variable a travers un canal de transmission
WO2006099082A2 (en) * 2005-03-10 2006-09-21 Qualcomm Incorporated Content adaptive multimedia processing
WO2007038702A1 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506844A (en) 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
US5684714A (en) * 1995-05-08 1997-11-04 Kabushiki Kaisha Toshiba Method and system for a user to manually alter the quality of a previously encoded video sequence
US6542546B1 (en) 2000-02-02 2003-04-01 Mitsubishi Electric Research Laboratories, Inc. Adaptable compressed bitstream transcoder
JP2001245303A (ja) 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
US7936818B2 (en) * 2002-07-01 2011-05-03 Arris Group, Inc. Efficient compression and transport of video over a network
US20040028139A1 (en) * 2002-08-06 2004-02-12 Andre Zaccarin Video encoding
WO2004047108A2 (en) * 2002-11-20 2004-06-03 Koninklijke Philips Electronics N.V. User interface system for presenting to a user the contents of an information carrier
US7352809B2 (en) 2003-02-21 2008-04-01 Polycom, Inc. System and method for optimal transmission of a multitude of video pictures to one or more destinations
US6895410B2 (en) * 2003-05-02 2005-05-17 Nokia Corporation Method and apparatus for providing a multimedia data stream
FR2857198B1 (fr) * 2003-07-03 2005-08-26 Canon Kk Optimisation de qualite de service dans la distribution de flux de donnees numeriques
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8265141B2 (en) * 2005-05-17 2012-09-11 Broadcom Corporation System and method for open loop spatial prediction in a video encoder
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
US20070201388A1 (en) * 2006-01-31 2007-08-30 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
KR20080096768A (ko) * 2006-02-06 2008-11-03 톰슨 라이센싱 사용 가능한 움직임 정보를 비디오 인코딩을 위한 움직임추정 예측자로서 재사용하는 방법 및 장치
US20100091839A1 (en) * 2006-09-28 2010-04-15 Zhenyu Wu Flexible redundancy coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064098A1 (fr) * 2004-12-15 2006-06-22 Tdf Procede de transmission a debit binaire variable a travers un canal de transmission
WO2006099082A2 (en) * 2005-03-10 2006-09-21 Qualcomm Incorporated Content adaptive multimedia processing
WO2007038702A1 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information

Also Published As

Publication number Publication date
JP5113244B2 (ja) 2013-01-09
EP2153657A1 (en) 2010-02-17
KR20100005224A (ko) 2010-01-14
JP2010525739A (ja) 2010-07-22
US20140177703A1 (en) 2014-06-26
EP2153657B1 (en) 2019-06-19
KR101104654B1 (ko) 2012-01-13
US8582647B2 (en) 2013-11-12
WO2008133677A1 (en) 2008-11-06
US20080260042A1 (en) 2008-10-23
CN101658035A (zh) 2010-02-24

Similar Documents

Publication Publication Date Title
CN101658035B (zh) 用于质量受控编码的方法和系统
CN101185337B (zh) 具有预见的准恒定质量速率控制
CN101171843B (zh) 用于多媒体处理的内容分类
CN101164341B (zh) 用于视频电话的质量度量偏移的关注区编码
CN102724498B (zh) 基于内容信息的可缩放性技术的编码方法和设备
CN110139109B (zh) 图像的编码方法及相应终端
CN1726709B (zh) 用于对未压缩数字视频序列的图像进行编码的方法和装置
CN101313592B (zh) 用于与时域边界进行数据对准的方法和装置
CN101069432B (zh) 用于视频编码器速率控制的量化参数的确定方法和设备
CN102577379A (zh) 用于视频编码和译码中的嵌入量化参数调节的方法和装置
CN101779465A (zh) 使用兴趣区域(roi)信息改进视频编码的方法和设备
Zupancic et al. Two-pass rate control for improved quality of experience in UHDTV delivery
CN102857746A (zh) 环路滤波编解码方法及装置
CN110545418A (zh) 一种基于场景的自适应视频编码方法
CN105516721A (zh) 一种视频编码器及其码率控制方法
CN103339934B (zh) 视频编码
CN108737826B (zh) 一种视频编码的方法和装置
CN102427529B (zh) 视频编码压缩方法
CN112004084A (zh) 一种利用量化参数排序的码率控制优化方法及系统
US20110182343A1 (en) Encoder
CN116962694A (zh) 视频编码方法、装置、电子设备和存储介质
Cai Video Coding Strategies for Machine Comprehension
CN113630599A (zh) 一种基于roi的视频码率控制方法及系统
Chang et al. A two-layer characteristic-based rate control framework for low delay video transmission
CN112004083A (zh) 一种利用帧间预测特性优化码率控制方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant