CN103828369B - 质量感知视频优化中的宏块级自适应量化 - Google Patents

质量感知视频优化中的宏块级自适应量化 Download PDF

Info

Publication number
CN103828369B
CN103828369B CN201280039090.4A CN201280039090A CN103828369B CN 103828369 B CN103828369 B CN 103828369B CN 201280039090 A CN201280039090 A CN 201280039090A CN 103828369 B CN103828369 B CN 103828369B
Authority
CN
China
Prior art keywords
quantization parameter
macro block
coded macroblocks
quantization
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280039090.4A
Other languages
English (en)
Other versions
CN103828369A (zh
Inventor
J.泰德曼
A.彭纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beite Mobile Network Innovation Co ltd
Original Assignee
Citrix Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Citrix Systems Inc filed Critical Citrix Systems Inc
Priority to CN201810947569.7A priority Critical patent/CN108769693B/zh
Publication of CN103828369A publication Critical patent/CN103828369A/zh
Application granted granted Critical
Publication of CN103828369B publication Critical patent/CN103828369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种优化包括一个或多个视频帧的编码视频流的方法，每个视频帧包括多个宏块，每个宏块包括多个像素。所述方法包括接收编码宏块、对所述编码宏块解码以及提取第一量化参数。所述第一量化参数对应于原始用于压缩所述编码宏块的量化设定。该方法还包括至少部分基于所述第一量化参数计算第二量化参数、基于所述第二量化参数对解码的宏块重编码以及提供重编码的宏块。

Description

质量感知视频优化中的宏块级自适应量化
相关发明的交叉引用
本申请要求于2011年6月10日递交的、名称为“Application of AdaptiveQuantization in Quality-Aware Video Optimization”的美国临时专利申请No. 61/495,951的优先权及权益，通过引用将该申请的全部内容结合于此。
背景技术
量化对照知觉质量
在视频处理中，量化是有损的压缩技术，其通过将一个范围内的值压缩至单个量子值而实现。当视频帧在任何系统中被量化时，信息被丢失。例如，典型的视频编码器(例如MPEG-2、MPEG-4、H.264、VC-1等)可通过丢弃信息来压缩视频流，该信息被预期是在知觉上最不重要的-即在没有其的情况下解码(解压缩)的视频仍可接近地相似于原始视频的信息。由量化产生的在原始视频与解压缩视频之间的差别有时被称为“量化噪声”。在编码期间所丢弃的信息的量取决于视频流是如何被量化的。每个视频压缩格式定义了量化设定的离散集合，并且每种量化设定具有抽象的标识符，其被表示为量化参数(QP)。QP可任意地被定义，例如被定义为索引量化设定阵列的整数，使得由更小的QP值X引入的量化噪声小于由更大的QP值X+1引入的量化噪声。对于每个视频编码解码器，由给定QP值索引的量化设定可不同。
如果在量化期间丢弃了过多信息，则当视频流在重放期间被解压缩时其可能出现失真。这捕捉了量化与知觉质量之间的关系。因此，由于QP指示在对视频流编码时多少信息被丢弃，QP可被用作知觉质量的指示器。特别地，当QP值较小时，更多信息被保留。然而，随QP值增加，由于信息中的一些被集合起来使得比特率下降，所以更多信息被丢弃，这导致了一些质量损失以及一些失真增加。
量化对照比特率
在视频处理中，比特率指每单位重放时间被用于在编码(数据压缩)之后重现连续视频的比特的数量。视频流的不同分段可能自然地需要不同数量的比特以被重现，即使它们由相同数量的像素组成并且以相同的QP被编码。然而，假定所有其他编码参数维持不变并且假定更高的QP值表示更粗糙的量化(更多信息丢失)，以更高的QP值X+1进行量化的视频流的给定分段将永远不会比以更小的QP值X进行量化的同一分段需要更多的比特。在实践中，这意味着在QP增加时平均比特率需求减小。图4示出编码视频流的比特率如何随QP增加而减小。图4中的比特率数字和QP值仅为示例。在实践中，所述数字和所述值可以是不同的并且对于不同的视频序列，QP值与比特率之间的关联可以变化。
QP的值可贯穿整个视频流被视频编码器动态地改变。例如，可为视频流内的每个帧分配其自己的QP值，并且该值将被用于量化该帧内的所有像素。相比于以更低的QP值量化的类似的帧，被分配更高QP值的帧将因此经历更粗糙的量化并且产生更少的编码比特。在帧一级改变QP值被一些视频编码器使用，例如用于将编码流的平均比特率维持在相对恒定的水平-在比特率开始超出预定义水平时，后续的(一个或多个)帧的(一个或多个)QP值可被增加，并且反之亦然，当比特率下降到该预定义水平以下时，后续的(一个或多个)帧的(一个或多个)QP值可被减小。
然而，帧一级的QP修正并没有将这一事实考虑在内：即包括在给定帧中的视觉信息很少跨这个帧相等地分布。更典型地，视频帧将有一些具有相对恒定的颜色和亮度的“平坦”区域(例如天空、草地、水、墙)，而其他区域可能具有更多的细节(例如人脸、文本或以突变的颜色和/或亮度变化表征的任何其他对象)。由不同水平的细节或像素方差表征的区域在可压缩性方面也可能明显不同，可压缩性也就是它们可被压缩到何种程度而不会有知觉质量的明显降低。
附图说明
图1示意了示例性系统的框图。
图2是示意了图1的示例性系统中的示例性宏块级质量感知视频优化器的实施例的框图。
图3是示意了图2的实施例中的示例性过程流的功能图。
图4示意了对于各种视频流而言比特率与QP之间的示例性关联。
图5是表示宏块级质量感知视频优化的示例性方法的流程图。
具体实施方式
现将对示例性实施例进行详细参考，示例性实施例的示例在附图中被示意。在任何可能的地方，将贯穿附图使用相同的参考标号来表示相同或相似的部分。
本文所公开的示例性实施例针对用于宏块级质量感知视频优化的方法和系统。宏块级质量感知视频优化是在宏块级修正编码视频流使得编码视频流的字节大小(比特率)被尽可能多地缩减而同时将知觉质量降低限定到可控水平的技术。
宏块级质量感知视频优化的构架可调节图像量化，通过经验测试，其允许对字节缩减内容中的质量降低进行精细的控制。通过进一步的经验测试，也可能将量化调节优化应用到代码转换场景中，在所述场景中输入和输出压缩格式是不同的。
如今，高级的视频压缩标准有利地允许视频编码器不仅为每个帧分配不同的QP值，还为帧中的每个宏块分配不同的QP值。宏块是帧内的像素块，例如16*16像素的块。视频编码器和解码器可将一个帧划分成多个相邻的、非重叠的宏块，并且进而一次一个块地处理(编码或解码)该帧。对块编码例如包括基于在同一帧内(在内部预测模式下)或在(一个或多个)先前/未来的帧内(在交互预测模式下)的相似的像素数据“预测”该宏块、获得预测像素数据与实际像素数据之间的差别、例如使用离散余弦变换(DCT)将该差别转换到频域中、使用固定的量化矩阵和可调节的QP值量化所转换的数据、对所量化的数据进行熵编码等。编码数据进而与被用于对其编码的编码参数一起被存储或传输。
编码参数例如包括被用于量化宏块的QP值、指示交互预测中的(一个或多个)预测块的位置的一个或多个运动矢量以及视频编码器可能随后为可靠地对该宏块的编码数据解码所需要的任何附加信息。
视频解码器可使用编码参数对包含在宏块中的编码数据解码。对宏块解码例如包括执行熵解码、使用相同的固定量化矩阵和相同的可调节QP值去量化熵解码的数据、例如使用逆离散余弦变换(IDCT)将去量化的数据转换回空间域中、获得预测数据并且将其加回以及在给定压缩标准下所需要的或可选的任何附加步骤。
图1示意了示例性系统100的框图。示例性系统100可以是通过本地连接或诸如无线网络、因特网、广播网络等的网络提供视频内容的任何类型的系统。除其他以外，示例性系统100可包括用户装置102、网关104、一个或多个网络106和110、视频优化器108以及一个或多个媒体服务器112-114。
用户装置102可以是硬件装置，诸如计算机、PDA、手机、膝上型电脑、桌上型电脑、VCR、激光影碟机、DVD播放器、蓝光碟播放器、包括广播调谐器的电视机或能够访问数据网络和/或能够播放视频的任何电子装置。用户装置102可包括允许用户装置102与例如网络106的数据网络通信并且从其接收视频内容的软件应用。例如，用户装置102可向媒体服务器发送请求数据以下载特定的视频流送文件，而媒体服务器可将该视频流送文件传输至用户装置102。在一些实施例中，视频流送文件可经由视频优化器108被发送。用户装置102可提供显示器以及一个或多个软件应用，诸如媒体播放器，用于向用户装置的用户显示视频流。
在一些实施例中，用户装置102也可以是或包括用于存储或归档视频内容的存储装置。例如，存储装置可以被提供为视频CD、DVD、蓝光碟、硬盘、磁带、闪存存储卡/驱动器、易失性或非易失性存储器、全息数据存储器或任何其他存储介质。
网关104是充当访问的入口或途径并且可以或可以不将在一种类型的网络中提供的格式化数据转换至对于另一类型的网络所需要的特定格式的一个或多个装置。网关104例如可以是服务器、路由器、防火墙服务器、主机或视频优化器。例如，网关104可具有将从用户装置102接收的信号转换成网络106或100可理解的信号的能力，并且反之亦然。然而，这种转换能力在一些数据网络中并不需要，例如第四代移动通信技术(4G)或全球微波互联接入(WiMax)。网关104可能能够独立地或以任何组合地处理音频、视频和T.120传输，并且能够进行全双工媒体翻译。而且，网关104可包括视频优化器108以进行质量感知视频优化。
网络106和110可包括广域网(WAN)、局域网(LAN)、或适合于诸如因特网通信的分组型通信的无线网络、或适合于分发视频内容的广播网络的任何组合。
视频优化器108可以被实现为提供质量感知视频优化的软件程序和/或硬件装置。视频优化器108是提供用户装置102与媒体服务器112-114之间的通信的服务器。视频优化器108可对先前编码的视频帧序列执行单程的、动态及时的质量感知优化，如在下面所描述的那样。由于所述视频优化方法仅需要在视频帧序列上的一次通过，视频优化器108很好地适合于在各种各样的环境中操作。例如，视频优化器108可以是媒体服务器112-114中的任何一个的部分，或是在用户装置102与媒体服务器112-114之间的任何网络装置。以这种方式，视频优化器108在实时视频输送通过低容量的网络段之前对它们进行优化。视频优化器108也可被安装在存储阵列的前面以在监视视频被归档之前对它们进行优化，从而节省存储空间。
视频优化器108可具有一个或多个处理器以及用于存储程序指令的至少一个存储器。所述(一个或多个)处理器可以是能够执行特定指令集合的单个或多个微处理器、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。计算机可读的指令可被存储在有形的非易失性计算机可读介质上，诸如软盘、硬盘、CD-ROM(光盘只读存储器)以及MO(磁光盘)、DVD-ROM(数字多功能盘只读存储器)、DVD-RAM(数字多功能盘随机存取存储器)或半导体存储器。备选地，所述方法可用硬件组件或硬件与软件的组合来实现，举例来说诸如为ASIC、专用计算机或通用计算机。
媒体服务器112-114可以是计算机服务器，其从用户装置102接收针对视频内容的请求、处理该请求并且在一些实施例中通过视频优化器108提供视频内容给用户装置102。例如，媒体服务器112-114可以是网页服务器、企业服务器或任何其他类型的计算机服务器。媒体服务器112-114可以是被编程用于从用户装置102接收请求(例如HTTP、RSTP或可发起视频会话的其他协议)以及向用户装置102提供视频流的计算机。同样地，媒体服务器可以是PDA、手机、膝上型电脑、桌上型电脑或被配置为在一些实施例中通过一个或多个网络106和110向用户装置102传递视频内容的任何装置。另外，媒体服务器112-114可以是用于在一些实施例中通过视频优化器108向用户装置102分发视频内容的广播设施，例如免费接收、电缆、卫星及其他广播设施。而且，媒体服务器112-114可以是视频源，诸如被配置为捕获视频并且在一些实施例中通过视频优化器108向用户装置102传递所捕获的视频的监视装置。同样地，作为图1所示的系统100的配置的备选，媒体服务器112-114中的任何一个可包括视频优化器108以进行质量感知视频优化。
图2是示意了图1的示例性系统中的示例性宏块级质量感知视频优化器108的实施例的框图。为简化起见，图2仅示意了视频优化器108、作为输入的编码视频流202以及作为输出的重编码视频流204。除其他以外，视频优化器108可包括解码器210、QP调节模块220和编码器230。所示意的视频优化器108的配置仅为示例性的，并且可被修改以提供离散的元件或将多个元件组合成单一一个，以及可以被提供为硬件与软件组件的任何组合。
解码器210可以是被配置为对输入的编码视频流210解码的软件程序和/或硬件装置。编码视频流202包含一个或多个帧，其中每个帧由一个或多个宏块组成。例如，具有1920*1080像素的分辨率的高清晰度帧可被划分为120*68=8160个宏块，每个具有16*16像素，其中最后一行宏块部分地“越界”。一秒的视频流可例如包含30个这样的帧，即244,800个宏块。
在一实施例中，解码器210对输入的编码视频流202一次一个宏块地进行解码。在提取嵌入在编码宏块内的输入信息(这个输入信息将在下面进一步描述)的情况下，解码器210逐个宏块地对编码视频流202解码并且将解码的宏块转送到编码器230。在一些实施例中，一些解码的宏块可临时地被存储在数据存储器(未示出)中，诸如数据库或高速缓冲存储器。该数据存储器可存储可能对于解码未来的编码宏块所需要的、解码的宏块，例如用于获得内部预测或交互预测信息。解码器210也可向QP调节模块220提供输入信息(包括从其获得的任何信息)。
QP调节模块220可以是具有调节由视频优化器接收的输入QP值以及输出经调节的QP值的能力的软件程序和/或硬件装置。可根据从解码器210接收的输入信息、从编码器230接收的输出信息(将在下面进一步描述)以及在视频优化过程期间生成的测量信息(将在下面进一步描述)来调节输入QP值。在调节QP值之后，QP调节模块220向编码器230提供输出QP值(即经调节的QP值)。
编码器230可以是被配置为在从解码器210接收解码的视频流以及从QP调节模块220接收输出QP值之后逐个宏块地对视频流重编码的软件程序和/或硬件装置。在对视频流的宏块重编码之后，编码器230输出重编码的宏块作为重编码视频流204的部分。编码器230还向QP调节模块220提供输出信息。
图3是示意了图2的实施例中的示例性过程流的功能图。可改变该示例性过程流以删除步骤、改变步骤的顺序或包括附加的步骤，而不背离示例性实施例。
在从数据网络接收编码视频流202后之后，视频优化器108可将编码视频流202导向解码器210。解码器210一次一个宏块地对编码视频流解码并且提取嵌入在每个编码宏块内的输入信息。输入信息可包括输入编码参数302和视觉特征304。一被提取，该输入信息就被传递至QP调节模块220。
输入编码参数302可包括在编码宏块中所包含的任何压缩相关的信息，诸如在宏块首次被编码时被用于对其进行量化的原始QP值("QPInput")或在使用交互预测对宏块编码的情况下指示一个或多个预测块的相对位置的一个或多个运动矢量。输入编码参数302也可包括压缩相关的统计信息，诸如被用于对编码宏块编码的比特的数量。
在一些实施例中，解码器210在对编码宏块解码的同时还提取视觉特征304，所述视觉特征304进而被传递至QP调节模块220。视觉特征304包括关于宏块的实际(解码)的像素数据的任何信息，诸如宏块的像素的方差或平均亮度。
除了接收输入信息之外，QP调节模块220还可接收输出信息。输出信息可包括从重编码视频流204中提取的输出编码参数310。在一些实施例中，编码器230向QP调节模块220传递从组成重编码视频流204的重编码宏块中提取的输出编码参数310。输出编码参数310包括由编码器230并入重编码宏块中的任何压缩相关的信息，诸如QPOutput值、运动矢量、预测模式等等。(代替从编码器230接收先前计算的QPOutput值，在一些实施例中，QP调节模块220可例如在内部缓冲器中临时存储这些值。)输出编码参数310也可包括与重编码宏块的压缩相关的统计信息，诸如重编码宏块所占据的比特的数量。
包括在输入编码参数302中的参数的类型可与或可不与包括在输出编码参数310中的参数的类型匹配，这取决于在编码视频流202中使用哪些类型的参数以及在重编码视频流204中使用哪些类型的参数，以及取决于QP调节模块220要求哪种信息。例如，可能已使用不支持宏块级QP调节的压缩标准对编码视频流202编码，而同时正被编码器230用于重编码视频流的标准支持宏块级QP调节。在这个示例中，输入编码参数302可仅包括帧级的QP值(对于每个解码的宏块被重复，如在下面所描述的那样)，而如果为QP调节模块220所要求，则输出编码参数310可包括所有单个的宏块级QP值。
在一些实施例中，编码视频流202不包括用于其宏块的单个QP值，而仅包括帧级QP值，其中每个帧被分配单个QP值，并且该值被用于量化该帧内的所有宏块。在这种情况下，为促进视频优化器108的逐个宏块的操作，解码器210仍可通过为属于该帧的每个宏块传递相同的帧级QP值而为每个解码的宏块提供QPInput值作为输入编码参数302的部分。
在一些实施例中，QP调节模块220也可对从解码器210接收的输入编码参数302进行预处理。例如，QP调节模块220可跨属于某个帧的所有先前解码的宏块执行统计分析并且获得QPInput的平均值或平均运动矢量长度。类似地，QP调节模块220可例如跨属于某个帧的所有先前解码的宏块计算每一编码宏块的比特的平均数量。
在一些实施例中，QP调节模块220也能对从编码器230接收的输出编码参数310进行预处理。例如，QP调节模块220可跨属于某个帧的所有先前重编码的宏块执行统计分析并且获得每一宏块的比特的平均数量。类似地，QP调节模块220可跨属于某个帧的所有先前重编码的宏块计算QPOutput值(或者从内部缓冲器获得或者从编码器230获得)的平均值。
在一些实施例中，QP调节模块220也可对从解码器210接收的视觉特征进行预处理。例如，QP调节模块可执行统计分析并且获得属于某个帧的所有先前解码的宏块的像素方差和/或亮度的平均值。
获得统计信息可能需要访问先前接收(“历史”)的信息。为能够访问历史信息，QP调节模块220可包括数据库(未示出)以临时存储预定义数量的最近接收的参数。
在一些实施例中，输入编码参数302、输出编码参数310和/或视觉特征304的预处理可在QP调节模块220外部发生。例如，输入编码参数302和/或视觉特征304的一些或全部预处理可由解码器210执行并且被传递到QP调节模块220。作为另一实例，输出编码参数302的一些或全部预处理可由编码器230执行并且被传递到QP调节模块220。
质量感知视频优化：QP调节
QP调节模块220可计算待被编码器230用于量化解码的视频流206的宏块的宏块级QPOutput值。如在上面所讨论的那样，QPOutput值可基于下列数据的任何组合来计算：输入编码参数302、视觉特征304和输出编码参数310。
在一些实施例中，QP调节模块220基于给定宏块的QPInput得出该宏块的QPOutput，该宏块的QPInput可在输入编码参数302中被接收。由于可在用于量化宏块的QP值与该宏块的知觉质量之间以及还可在QP值与比特率(用来对该宏块进行编码的字节数)之间建立关系，QP调节模块220可使用QPInput与QPOutput之间的差别来同时控制重编码视频流204中的宏块的比特率缩减和知觉质量降低。
参数ΔQP可例如被定义为：
ΔQP=QPOutput-QPInput
QP调节模块220可选择ΔQP值以得出可满足字节大小缩减的要求并且保持原始知觉质量至尽可能程度的QPOutput。ΔQP值越小，QPOutput值越小，并且因此在编码期间将丢弃更少的信息-知觉质量更少地降低。相反，ΔQP值越大，QPOutput值越大，并且因此在编码期间将丢弃更多的信息-知觉质量更多地降低。
可采用图4所示的QP对照比特率的曲线的两个特性来实现输入视频流的优化。将采用的第一特性是这一事实：即小的ΔQP在QPInput高时对比特率有很小的影响。这在最右边示出，图3中的曲线的平坦部分。考虑到这种特性，当给定宏块的QPInput高时，QP调节模块220可决定将ΔQP维持在0处(也就是说，保持QPOutput=QPInput)，这是因为增大的ΔQP将会对比特率有很小的影响，但可能会对宏块的感知质量有不利的影响。
有时，为0的ΔQP仍可导致降低的知觉质量。在一些实施例中，编码器230可使用与编码视频流202采用其原始被编码的压缩标准完全不同的压缩标准对解码的视频流206重编码。在其他实施例中，编码器230可使用原始使用的相同的压缩标准，但它可能使用完全不同的编码特征或编码决策集合。例如，编码视频流202可能已经以半像素的精度被编码以进行运动补偿，而编码器230可选择使用1/4像素("Qpel")的精度对该流重编码。在一些实施例中，编码器230也可改变流的帧速率。原始编码与重编码技术之间的任何这样的差异的结果可能是，对于给定宏块而言，与原始编码器所量化的像素数据不同的像素数据正被编码器230量化。因此，以相同的QP值量化宏块将不一定导致相同的比特率和知觉质量降低。因而，为减小不想要的知觉质量降低的可能性，QP调节模块有时可选择负值ΔQP，即选择低于QPInput的值的QPOutput值。
将采用的第二特性是：小的ΔQP在QPInput低时对比特率有大的影响。这在最左边示出，图4中曲线的陡峭部分。当QPInput低时，即使小的正值ΔQP也将导致大的字节缩减。因而，在一些实施例中，QP调节模块220将为较低值的QPInput选择较高的ΔQP(即输出较高的QPOutput值)。为了确定特定宏块的QPInput是低还是高，QP调节模块220可将QPInput与一个或多个预定义的阈值比较。备选地，QP调节模块220可将QPInput与例如跨属于某个帧的所有宏块的、QPInput的平均值比较。
在一些实施例中，在计算宏块的QPOutput时，QP调节模块220考虑多少比特被用于对编码视频流(202)中的宏块编码。例如，对于已经以非常少的比特被编码的宏块，可选择ΔQP≤0以避免知觉质量的进一步降低。
在一些实施例中，编码比特的数量结合宏块的QPInput值一起被考虑。例如，当QP调节模块确定宏块以低QPInput(其可能引起高QPOutput)被量化，但尽管如此宏块仍然导致小数量的编码比特时，QP调节模块220可“不顾”基于QPInput的选择并且选择ΔQP≤0。相反地，当QP调节模块220确定高的QPInput值导致不同寻常地大的数量的编码比特时，可选择正值的ΔQP。为了确定特定宏块的比特的数量是大还是小，QP调节模块220可例如将其与一个或多个预定义的阈值比较或与被用于对属于先前编码的帧中的一个或多个的宏块编码的比特的平均数量比较。
在一些实施例中，QP调节模块220可将宏块的像素方差(即宏块的像素值间的方差)考虑在内，其可作为视觉特征304中的一个从解码器210被接收。高的像素方差可指示该宏块可以知觉质量的最小降低进一步被压缩并且反之亦然，以低像素方差压缩宏块更有可能降低知觉质量。例如，当两个宏块的量化都被增加时，具有低像素方差的两个宏块之间的边缘更有可能变得可见，这可导致以“分块”假象形式的图像退化。这样，其像素方差例如低于预定义阈值或显著低于先前编码的宏块的平均像素方差的宏块能够以低于具有高方差的宏块的QPOutput被量化。
在一些实施例中，QP调节模块220将宏块的像素的平均亮度考虑在内，其可作为视觉特征304中的一个从解码器210被接收。可在图像的明亮区域更容易地感知质量缺陷。因此，在宏块的像素的平均亮度低时，QP调节模块220可更激进地(aggressively)对宏块重新量化(采用更高的QPOutput)，并且反之亦然。
在一些实施例中，QP调节模块220将宏块的运动矢量考虑在内，其可作为输入编码参数302的部分从解码器210被接收。例如，非常短的运动矢量指示视频流内的低运动区域，QP调节模块220可选择通过例如选定ΔQP≤0而小心地对其进行处理。
在计算QPOutput时，输出编码参数310也可被QP调节模块220考虑。例如，QP调节模块220可监控重编码视频流204的结果得到的比特率并且相应地调节后续的QPOutput计算。例如，如果重编码视频流204的平均比特率过高(例如高于第一预定义目标比特率)，则QP调节模块220可通过选择更高的QPOutput值开始对后续的宏块更激进地进行压缩，并且反之亦然，如果重编码视频流204的平均比特率过低(例如低于第二预定义目标比特率)，则QP调节模块220可通过选择更低的QPOutput值开始对后续的宏块不那么激进地进行压缩。
在一些实施例中，通过分析从输出编码参数310获得的信息，QP调节模块220可提高其后续的QPOutput计算的精确性。例如，它可计算将某个QPOutput应用于具有特定数量的原始编码比特的宏块平均会产生多少比特。QP调节模块220进而可例如针对相似的后续宏块使用该信息来调节其QPOutput计算。通常说来，QP调节模块220可使用从输出编码参数310获得的信息来分析过去的量化决策并且基于该分析来修正其未来的量化决策。修正未来决策的一种方式是通过调节上面提及的各个阈值。
图5是表示宏块级质量感知视频优化的示例性方法的流程图。可改变示例性的过程流以删除步骤、改变步骤的顺序或包括附加的步骤而不背离示例性的实施例。
在接收502编码宏块之后，视频优化器(例如视频优化器108)对该编码宏块解码504并且在该过程中提取输入编码参数(例如输入编码参数302)。此外，如果在步骤510处计算QPOutput时考虑视觉特征，则视频优化器可从解码的宏块中提取506视觉特征(例如视觉特征304)。此外，如果在步骤510处计算QPOutput时考虑输出编码参数，则视频优化器可从由视频优化器先前重编码的宏块中提取508输出编码参数(例如输出编码参数310)。
在步骤510处，视频优化器基于在步骤504处提取的输入编码参数来计算QPOutput。输入编码参数可包括QPInput-在宏块原始被编码时所使用的量化参数。在一些实施例中，QPInput对应于帧的QP，该QP已被应用于该帧的所有宏块。视频优化器可例如在QPInput低(例如低于预定义的低阈值)时增加QPOutput，而在QPInput高(例如高于预定义的高阈值)时减小QPOutput。在一些情况下，例如当QPInput非常高时，视频优化器可将QPOutput设置为等于或低于QPInput的值。
在一些实施例中，输入编码参数可包括由编码宏块所消耗的比特的数量。视频优化器可在比特的数量低(例如低于预定义的低阈值)时减小QPOutput，而在比特的数量高(例如高于预定义的高阈值)时增加QPOutput。在一些情况下，当比特的数量非常低时，视频优化器可将QPOutput设置为等于或低于QPInput的值。此外，视频优化器可结合QPInput值一起考虑比特的数量，例如在QPInput和比特的数量两者都低时减小QPOutput以及在QPInput和比特的数量两者都高时增加QPOutput。
在一些实施例中，输入编码参数可包括编码宏块的像素间的方差。视频优化器可在该方差低(例如低于预定义的低阈值)时减小QPOutput而在该方差高(例如高于预定义的高阈值)时增加QPOutput。在一些情况下，当该方差非常低时，视频优化器可将QPOutput设置为等于或低于QPInput的值。
在一些实施例中，输入编码参数可包括用于对编码宏块原始编码的运动矢量。视频优化器可在运动矢量短(例如短于预定义的低阈值)时减小QPOutput而在运动矢量长(例如长于预定义的高阈值)时增加QPOutput。在一些情况下，当运动矢量非常短时，视频优化器可将QPOutput设置为等于或低于QPInput的值。
在一些实施例中，在计算QPOutput时，视频优化器可将在步骤508处提取的视觉特征考虑在内。视觉特征可例如包括编码宏块的像素的平均亮度。视频优化器可在平均亮度高(例如高于预定义的低阈值)时减小QPOutput而在平均亮度低(例如低于预定义的高阈值)时增加QPOutput。
在一些实施例中，在计算QPOutput时，视频优化器可将在步骤508处提取的输出编码参数考虑在内。输出编码参数可例如包括先前重编码的宏块的平均比特率。视频优化器可在平均比特率高于预定义目标比特率时增加QPOutput而在平均比特率低于预定义目标比特率时减小QPOutput。视频优化器也可使用先前重编码的宏块的输出编码参数来基于实际结果分析输入编码参数、视觉特征、所选择的QPOutput以及结果得到的输出编码参数之间的关系。例如，视频优化器可分析当使用某个QPOutput值对具有某个数量的原始编码比特的宏块重编码时平均会获得多少比特。作为该分析的结果，视频优化器可调节其后续的QPOutput计算以实现更高的精确性。所述调节可例如通过修改上面提及的各个阈值来完成。
在计算QPOutput之后，视频优化器可通过基于对应于所计算的QPOutput的量化设定对解码的宏块编码而对解码的宏块重编码512。所述重编码可优化解压缩的宏块使得所压缩的宏块的字节大小被尽可能多地缩减，而同时将知觉质量降低限定到可控水平。视频优化器可将重编码的宏块传输514至目的地。该方法进而可结束516。
本文所公开的方法可被实现为计算机程序产品，即在信息载体中有形地具体化的计算机程序，例如在机器可读的存储装置中，供数据处理设备执行或控制数据处理设备的操作，数据处理设备例如为可编程处理器、计算机或多个计算机。计算机程序能够以任何形式的编程语言编写，包括编译或解释语言，并且它能够以任何形式被部署，包括作为独立的程序或作为适合于供在计算环境中使用的模块、组件、子例程或其他单元。计算机程序能够被部署以在一个计算机上或在处于一个地点或跨多个地点分布并通过通信网络互连的多个计算机上被执行。
本文所公开的方法的部分或全部也可由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、印刷电路板(PCB)、数字信号处理器(DSP)、可编程逻辑组件与可编程互连的组合、单个中央处理单元(CPU)芯片、结合在母板上的CPU芯片、通用计算机或能够执行本文所公开的质量感知视频优化的装置或模块的任何其他组合来实现。
在前述的说明书中，已参考具体的示例性实施例描述了本发明。然而，将显而易见的是可做出各种修正和变化而不背离在随后的权利要求中阐述的本发明的更宽的精神和范围。说明书及附图相应地应被认为是示意性的而非限定性的。根据对本说明书的考虑以及对本文所公开的本发明的实践，其他实施例对于本领域的技术人员而言可能是明显的。

Claims (27)

1.一种包括一个或多个视频帧的编码视频流的宏块级质量感知视频优化方法，每个视频帧包括多个宏块，每个宏块包括多个像素，所述方法包括：
接收编码宏块；
对所述编码宏块解码；
提取第一量化参数，其中所述第一量化参数对应于原始用于压缩所述编码宏块的量化设定；
确定第一阈值和第二阈值为过去的输入量化参数的函数，其中所述过去的输入量化参数对应于原始用于压缩多个先前接收的编码宏块的量化设定；
至少部分基于所述第一量化参数、所述第一阈值和第二阈值、以及所述编码宏块占据的比特的数量来计算第二量化参数；
基于所述第二量化参数对解码的宏块重编码；以及，
提供重编码的宏块。
2.根据权利要求1所述的方法，其中计算所述第二量化参数包括在所述第一量化参数高于所述第一阈值时将所述第二量化参数设定为等于或低于所述第一量化参数，以及在所述第一量化参数低于所述第二阈值时将所述第二量化参数设定为高于所述第一量化参数。
3.根据权利要求1所述的方法，其中计算所述第二量化参数部分基于所述编码宏块或者所述解码的宏块的视觉特征。
4.根据权利要求3所述的方法，其中所述编码宏块或者所述解码的宏块的视觉特征包括所述编码宏块或者所述解码的宏块的多个像素的方差。
5.根据权利要求3所述的方法，其中所述编码宏块或者所述解码的宏块的视觉特征包括所述编码宏块或者所述解码的宏块的多个像素的平均亮度。
6.根据权利要求1所述的方法，其中计算所述第二量化参数部分基于从用于对所述解码的宏块重编码的编码器接收的输出编码参数。
7.根据权利要求6所述的方法，其中所述输出编码参数包括对应于用于对先前接收的编码宏块重编码的量化设定的、一个或多个过去的输出量化参数。
8.根据权利要求6所述的方法，其中所述输出编码参数包括输出比特率，其中所述输出比特率对应于由多个先前重编码的宏块占据的比特的平均数量。
9.根据权利要求8所述的方法，其中计算所述第二量化参数包括如果所述输出比特率高于第一预定义目标比特率，则增加所述第二量化参数，以及如果所述输出比特率低于第二预定义目标比特率，则减小所述第二量化参数。
10.一种用于优化包括一个或多个视频帧的编码视频流的系统，每个帧包括多个宏块，并且每个宏块包括多个像素，所述系统包括：
储存计算机可执行指令的存储器；以及
至少一个处理器，其配置成执行所储存指令以完成包括下列项的操作：
接收编码宏块；
对所述编码宏块解码；
提取第一量化参数，其中所述第一量化参数对应于原始用于压缩所述编码宏块的量化设定；
确定第一阈值和第二阈值为过去的输入量化参数的函数，其中所述过去的输入量化参数对应于原始用于压缩多个先前接收的编码宏块的量化设定；
至少部分基于所述第一量化参数以及所述编码宏块占据的比特的数量计算第二量化参数；
基于所述第二量化参数以及所述第一阈值和第二阈值对解码的宏块重编码；以及，
提供重编码的宏块。
11.根据权利要求10所述的系统，其中计算所述第二量化参数包括在所述第一量化参数高于所述第一阈值时将所述第二量化参数设定为等于或低于所述第一量化参数，以及在所述第一量化参数低于所述第二阈值时将所述第二量化参数设定为高于所述第一量化参数。
12.根据权利要求10所述的系统，其中计算所述第二量化参数部分基于所述编码宏块或者所述解码的宏块的视觉特征。
13.根据权利要求12所述的系统，其中所述编码宏块或者所述解码的宏块的视觉特征包括所述编码宏块或者所述解码的宏块的多个像素的方差。
14.根据权利要求12所述的系统，其中所述编码宏块或者所述解码的宏块的视觉特征包括所述编码宏块或者所述解码的宏块的多个像素的平均亮度。
15.根据权利要求10所述的系统，其中计算所述第二量化参数部分基于从用于对所述解码的宏块重编码的编码器接收的输出编码参数。
16.根据权利要求15所述的系统，其中所述输出编码参数包括对应于用于对先前接收的编码宏块重编码的量化设定的、一个或多个过去的输出量化参数。
17.根据权利要求15所述的系统，其中所述输出编码参数包括输出比特率，其中所述输出比特率对应于由多个先前重编码的宏块占据的比特的平均数量。
18.根据权利要求17所述的系统，其中计算所述第二量化参数包括如果所述输出比特率高于第一预定义目标比特率，则增加所述第二量化参数，以及如果所述输出比特率低于第二预定义目标比特率，则减小所述第二量化参数。
19.一种用于包括一个或多个视频帧的编码视频流的宏块级质量感知视频优化的视频优化器，每个视频帧包括多个宏块，并且每个宏块包括多个像素，所述视频优化器包括：
解码器，其被配置为接收编码宏块、对所述编码宏块解码以及提取第一量化参数，其中所述第一量化参数对应于原始用于压缩所述编码宏块的量化设定；
量化参数调节模块，其被配置成：
确定第一阈值和第二阈值为过去的输入量化参数的函数，其中所述过去的输入量化参数对应于原始用于压缩多个先前接收的编码宏块的量化设定；以及
至少部分基于所述第一量化参数、所述第一阈值和第二阈值、以及所述编码宏块占据的比特的数量计算第二量化参数；以及
编码器，其被配置为基于所述第二量化参数对解码的宏块重编码以及提供重编码的宏块。
20.根据权利要求19所述的视频优化器，其中计算所述第二量化参数包括在所述第一量化参数高于所述第一阈值时将所述第二量化参数设定为等于或低于所述第一量化参数，以及在所述第一量化参数低于所述第二阈值时将所述第二量化参数设定为高于所述第一量化参数。
21.根据权利要求19所述的视频优化器，其中计算所述第二量化参数部分基于所述编码宏块或者所述解码的宏块的视觉特征。
22.根据权利要求21所述的视频优化器，其中所述编码宏块或者所述解码的宏块的视觉特征包括所述编码宏块或者所述解码的宏块的多个像素的方差。
23.根据权利要求21所述的视频优化器，其中所述编码宏块或者所述解码的宏块的视觉特征包括所述编码宏块或者所述解码的宏块的多个像素的平均亮度。
24.根据权利要求19所述的视频优化器，其中计算所述第二量化参数部分基于从用于对所述解码的宏块重编码的编码器接收的输出编码参数。
25.根据权利要求24所述的视频优化器，其中所述输出编码参数包括对应于用于对先前接收的编码宏块重编码的量化设定的、一个或多个过去的输出量化参数。
26.根据权利要求24所述的视频优化器，其中所述输出编码参数包括输出比特率，其中所述输出比特率对应于由多个先前重编码的宏块占据的比特的平均数量。
27.根据权利要求26所述的视频优化器，其中计算所述第二量化参数包括如果所述输出比特率高于第一预定义目标比特率，则增加所述第二量化参数，以及如果所述输出比特率低于第二预定义目标比特率，则减小所述第二量化参数。
CN201280039090.4A 2011-06-10 2012-06-08 质量感知视频优化中的宏块级自适应量化 Active CN103828369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810947569.7A CN108769693B (zh) 2011-06-10 2012-06-08 质量感知视频优化中的宏块级自适应量化

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161495951P 2011-06-10 2011-06-10
US61/495951 2011-06-10
US61/495,951 2011-06-10
PCT/US2012/041691 WO2012170910A1 (en) 2011-06-10 2012-06-08 Macroblock-level adaptive quantization in quality-aware video optimization

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810947569.7A Division CN108769693B (zh) 2011-06-10 2012-06-08 质量感知视频优化中的宏块级自适应量化

Publications (2)

Publication Number Publication Date
CN103828369A CN103828369A (zh) 2014-05-28
CN103828369B true CN103828369B (zh) 2018-09-07

Family

ID=46298724

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280039090.4A Active CN103828369B (zh) 2011-06-10 2012-06-08 质量感知视频优化中的宏块级自适应量化
CN201810947569.7A Active CN108769693B (zh) 2011-06-10 2012-06-08 质量感知视频优化中的宏块级自适应量化

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810947569.7A Active CN108769693B (zh) 2011-06-10 2012-06-08 质量感知视频优化中的宏块级自适应量化

Country Status (4)

Country Link
US (2) US9621896B2 (zh)
EP (1) EP2719178B1 (zh)
CN (2) CN103828369B (zh)
WO (1) WO2012170910A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102450014B (zh) 2009-03-31 2017-07-14 茨特里克斯系统公司 用于质量感知视频优化的方法和视频优化器
US9749713B2 (en) 2009-10-15 2017-08-29 Citrix Systems, Inc. Budget encoding
US20130058410A1 (en) * 2010-05-13 2013-03-07 Sharp Kabushiki Kaisha Encoding device, decoding device, and data structure
CN103828369B (zh) * 2011-06-10 2018-09-07 茨特里克斯系统公司 质量感知视频优化中的宏块级自适应量化
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
US20150063461A1 (en) * 2013-08-27 2015-03-05 Magnum Semiconductor, Inc. Methods and apparatuses for adjusting macroblock quantization parameters to improve visual quality for lossy video encoding
US9294766B2 (en) 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
US10356405B2 (en) 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
KR102071580B1 (ko) 2014-11-03 2020-01-30 삼성전자주식회사 이미지 재부호화 방법 및 그 장치
US10284849B2 (en) 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
US10244255B2 (en) 2015-04-13 2019-03-26 Qualcomm Incorporated Rate-constrained fallback mode for display stream compression
US9936203B2 (en) 2015-04-13 2018-04-03 Qualcomm Incorporated Complex region detection for display stream compression
US10356428B2 (en) 2015-04-13 2019-07-16 Qualcomm Incorporated Quantization parameter (QP) update classification for display stream compression (DSC)
US20180167615A1 (en) * 2015-06-07 2018-06-14 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
KR101742258B1 (ko) * 2016-02-29 2017-05-31 경희대학교 산학협력단 웹 기반 가상 데스크탑 프로토콜을 이용한 컨텐츠 제공 방법 및 장치
CN106101706B (zh) * 2016-06-30 2019-11-19 华为技术有限公司 一种图像编码方法及装置
CN106231315B (zh) * 2016-08-05 2019-06-14 北京数码视讯科技股份有限公司 一种视频编码系统和应用该系统的视频编码方法
CN108322753B (zh) * 2017-01-15 2024-04-12 上海天荷电子信息有限公司 动态调整最近编码参数数组的元素的数据压缩方法和装置
US10715814B2 (en) * 2017-02-23 2020-07-14 Netflix, Inc. Techniques for optimizing encoding parameters for different shot sequences
CN107864379B (zh) * 2017-09-28 2021-07-02 珠海亿智电子科技有限公司 一种应用于视频编解码的压缩方法
US11463733B2 (en) * 2018-02-17 2022-10-04 Google Llc Image compression and decompression using controlled quality loss
US11997275B2 (en) 2018-08-27 2024-05-28 AT Technologies ULC Benefit-based bitrate distribution for video encoding
US11368692B2 (en) * 2018-10-31 2022-06-21 Ati Technologies Ulc Content adaptive quantization strength and bitrate modeling
CN109803146B (zh) * 2019-04-04 2021-05-25 网易（杭州）网络有限公司 视频的二次压缩方法、装置、介质和设备
CN110062230B (zh) * 2019-04-29 2022-03-25 湖南国科微电子股份有限公司 图像编码方法及装置
CN110784716B (zh) * 2019-08-19 2023-11-17 腾讯科技（深圳）有限公司 媒体数据处理方法、装置及介质
CN112752101B (zh) * 2019-10-29 2022-02-22 北京新唐思创教育科技有限公司 一种视频质量优化方法、装置及存储介质
CN113453001A (zh) * 2020-03-24 2021-09-28 合肥君正科技有限公司 一种利用isp信息自适应分配qp提高h264编码效率的方法
CN116800967A (zh) * 2022-03-15 2023-09-22 华为技术有限公司 一种图像编码方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs系统公司 视频变码中的速率控制方法和系统
EP1727371A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
CN101039432A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
WO2010117432A2 (en) * 2009-03-31 2010-10-14 Bytemobile, Inc. A framework for quality-aware video optimization

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529631B1 (en) 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6574274B2 (en) 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
KR100433516B1 (ko) 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US20040141732A1 (en) 2003-01-22 2004-07-22 Kenji Sugiyama Moving-picture code amount control method, moving-picture recording method, moving-picture code amount control apparatus and moving-picture recording apparatus
US7675970B2 (en) * 2004-01-12 2010-03-09 General Instrument Corporation Method and apparatus for processing a bitstream in a digital video transcoder
US7397855B2 (en) 2004-04-14 2008-07-08 Corel Tw Corp. Rate controlling method and apparatus for use in a transcoder
US7447978B2 (en) 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
JP4649347B2 (ja) * 2006-02-28 2011-03-09 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
US20100166387A1 (en) 2006-09-05 2010-07-01 Panasonic Corporation Method and apparatus for playing video data of high bit rate format by a player capable of playing video data of low bit rate format
US8560729B2 (en) 2007-02-09 2013-10-15 Onmobile Global Limited Method and apparatus for the adaptation of multimedia content in telecommunications networks
WO2009054907A2 (en) 2007-10-19 2009-04-30 Swarmcast, Inc. Media playback point seeking using data range requests
US8542730B2 (en) 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US8335259B2 (en) 2008-03-12 2012-12-18 Packetvideo Corp. System and method for reformatting digital broadcast multimedia for a mobile device
CN101325711A (zh) * 2008-07-16 2008-12-17 上海大学 基于时空掩盖效应的自适应码率控制方法
CN101621687B (zh) * 2008-08-18 2011-06-08 深圳市铁越电气有限公司 H.264到avs视频码流转换方法及其装置
WO2010030569A2 (en) 2008-09-09 2010-03-18 Dilithium Networks, Inc. Method and apparatus for transmitting video
US20100166060A1 (en) * 2008-12-31 2010-07-01 Texas Instruments Incorporated Video transcoder rate control
US9749713B2 (en) 2009-10-15 2017-08-29 Citrix Systems, Inc. Budget encoding
CN103828369B (zh) * 2011-06-10 2018-09-07 茨特里克斯系统公司 质量感知视频优化中的宏块级自适应量化

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1631041A (zh) * 2001-11-21 2005-06-22 Vixs系统公司 视频变码中的速率控制方法和系统
EP1727371A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
CN101039432A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
WO2010117432A2 (en) * 2009-03-31 2010-10-14 Bytemobile, Inc. A framework for quality-aware video optimization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A real-time SNR scalable transcoder for MPEG-2 video streams;M.AL-KHRAYSHAH;《TU EINDHOVEN. FAC. WISKUNDE EN INFORMATICA》;20090101;第51-56页 *

Also Published As

Publication number Publication date
CN108769693A (zh) 2018-11-06
US20170214918A1 (en) 2017-07-27
CN103828369A (zh) 2014-05-28
CN108769693B (zh) 2022-07-08
US9621896B2 (en) 2017-04-11
US10123015B2 (en) 2018-11-06
EP2719178A1 (en) 2014-04-16
EP2719178B1 (en) 2022-02-16
US20120314764A1 (en) 2012-12-13
WO2012170910A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN103828369B (zh) 质量感知视频优化中的宏块级自适应量化
EP2441265B1 (en) Motion based dynamic resolution multiple bit rate video encoding
AU2010208597B2 (en) Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US20180124414A1 (en) Video encoding using hierarchical algorithms
CN109788316B (zh) 码率控制、视频转码方法与装置、计算机设备及存储介质
CN102450014B (zh) 用于质量感知视频优化的方法和视频优化器
US10469851B2 (en) Advanced video coding method, system, apparatus, and storage medium
US20090074075A1 (en) Efficient real-time rate control for video compression processes
GB2504068A (en) Independently Decodable Enhancement Layers in Block-Based Scalable Video Coding Based on RoI Base Layer Blocks
EP3989560A1 (en) Method and systems for optimized content encoding
Marzuki et al. Tile-level rate control for tile-parallelization HEVC encoders
Xu et al. Rate control for consistent visual quality of H. 264/AVC encoding
Kumar et al. Efficiency enhancement of K-multi constraints paths in hybrid video coder using information based quantization method
Safaaldin et al. A new teleconference system with a fast technique in HEVC coding
Yuan et al. Coding modes-based frame skip avoidance scheme for low bit rate video coding
US20230269386A1 (en) Optimized fast multipass video transcoding
Joset et al. Visual quality and file size prediction of H. 264 videos and its application to video transcoding for the multimedia messaging service and video on demand
Piljić Just-in-time video transcoding system on heterogeneous high performance computing architectures
EP4413718A1 (en) Systems and methods for predictive coding
CN113949871A (zh) 一种视频编码方法及装置
CN118450123A (zh) 一种图像编码方法、装置、设备及存储介质
JP2007235377A (ja) 画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BYTEMOBILE INC.

Free format text: FORMER OWNER: CITRIX SYSTEMS INC

Effective date: 20150805

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150805

Address after: American Florida

Applicant after: Bytemobile Inc.

Address before: American Florida

Applicant before: Citrix Systems Inc

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160222

Address after: American Florida

Applicant after: Citrix Systems Inc

Address before: American Florida

Applicant before: Bytemobile Inc.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220609

Address after: North Carolina

Patentee after: Beite Mobile Network Innovation Co.,Ltd.

Address before: Fla

Patentee before: Citrix Systems, Inc.