CN112913238A - 用于低等待时间视频写码的有效量化参数预测方法 - Google Patents

用于低等待时间视频写码的有效量化参数预测方法 Download PDF

Info

Publication number
CN112913238A
CN112913238A CN201980068205.4A CN201980068205A CN112913238A CN 112913238 A CN112913238 A CN 112913238A CN 201980068205 A CN201980068205 A CN 201980068205A CN 112913238 A CN112913238 A CN 112913238A
Authority
CN
China
Prior art keywords
video frame
intra
frame
control logic
complexity indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980068205.4A
Other languages
English (en)
Inventor
丹尼斯·卢
王娇
张磊
爱德华·A·哈罗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN112913238A publication Critical patent/CN112913238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于计算用于对视频帧进行编码以满足给定位预算的量化参数(QP)的系统、设备和方法。耦合到编码器的控制逻辑计算复杂度指示符，所述复杂度指示符表示对先前视频帧进行编码的难度等级。所述复杂度指示符至少部分地基于与所述先前视频帧相关联的第一参数，并且对应于方差、帧内预测因子和帧间对帧内比率中的一者或多者。然后，所述控制逻辑使用所述复杂度指示符以计算用于对当前视频帧进行编码以满足给定位预算的优选QP。通过使用基于所述复杂度指示符产生的所述优选QP，所述编码器能够在所述帧期间进行较少的QP调整。这有助于提高所得的已编码视频位流的视觉质量。

Description

用于低等待时间视频写码的有效量化参数预测方法
背景技术
相关技术的描述
各种应用执行图像或视频内容的编码和解码。举例来说，视频转码、桌面共享、云游戏以及游戏观看行为是包括对内容的编码和解码的支持的应用中的一些应用。确定内容编码方式的参数之一是量化参数(QP)。在各种基于块的视频编码方案中，例如那些符合H.264标准的方案，QP在编码过程中调节保留多少空间细节。为每个视频帧或帧的每个块选择的QP与已编码视频帧的大小或已编码块的大小直接相关。选择较低的QP值将保留更多的空间细节，同时产生较大的编码大小。选择较高的QP值将导致丢失更多的空间细节，同时产生较小的编码大小。请注意，术语“量化参数”也可更一般地称为“量化强度”。
附图说明
通过结合附图参考以下描述，可更好地理解本文描述的方法和机制的优点，在附图中：
图1是用于对内容进行编码和解码的系统的一个实现方式的框图。
图2是服务器的用于对视频的帧进行编码的软件部件的一个实现方式的框图。
图3根据一个实现方式图示出用于计算用于对视频帧进行编码的量化参数(QP)的方程。
图4根据一个实现方式图示出用于计算与帧的编码相关联的参数的方程。
图5是图示出用于确定在对视频帧进行编码时使用的量化参数(QP)的方法的一个实现方式的通用流程图。
图6是图示出用于基于复杂度指示符来计算已编码帧的估计大小的方法的另一个实现方式的通用流程图。
图7是图示出用于确定在对视频帧进行编码时使用的QP的方法的一个实现方式的通用流程图。
图8是图示出用于基于复杂度指示符来计算已编码帧的估计大小的方法的一个实现方式的通用流程图。
具体实施方式
在以下描述中，阐述了众多特定细节以提供对本文呈现的方法和机制的透彻理解。然而，本领域普通技术人员应认识到，可在没有这些具体细节的情况下实践各种实现方式。在一些情况下，并未详细示出众所周知的结构、部件、信号、计算机程序指令以及技术，以避免混淆本文描述的方法。将了解，为了说明的简便性和清晰性，图中示出的元件未必按比例绘制。举例来说，所述元件中的一些元件的尺寸可相对于其他元件放大。
本文公开了用于计算用于对视频帧进行编码以满足给定位预算的量化参数(QP)的系统、设备和方法。在一个实现方式中，一种系统至少包括编码器、控制逻辑和耦合到所述编码器和所述控制逻辑的存储器。所述控制逻辑至少基于与先前视频帧相关联的第一参数和/或当前视频帧的第一编码遍次来计算复杂度指示符。一般而言，复杂度指示符表示对给定帧进行编码的难度等级。在一个实现方式中，第一参数是方差。在另一个实现方式中，第一参数是帧内预测因子。在又一个实现方式中，第一参数是帧间对帧内比率。在其他实现方式中，第一参数包括这些参数和/或一个或多个其他参数中的多个。在一些实现方式中，所述控制逻辑至少基于与两个或更多个先前视频帧相关联的所述第一参数来计算所述复杂度指示符。然后，所述控制逻辑使用所述复杂度指示符以计算用于对当前视频帧进行编码以满足给定位预算的优选QP。通过使用基于所述复杂度指示符产生的所述优选QP，所述编码器能够在所述帧期间进行较少的QP调整。这有助于提高所得的已编码视频位流的视觉质量。
现在参考图1，示出了用于对内容进行编码和解码的系统100的一个实现方式的框图。系统100包括服务器105、网络110、客户端115以及显示器120。在其他实现方式中，系统100包括经由网络110连接到服务器105的多个客户端，其中多个客户端接收由服务器105产生的相同的位流或不同的位流。系统100还能够包括多于一个的用于为多个客户端产生多个位流的服务器105。
在一个实现方式中，系统100实现视频内容的编码和解码。在各种实现方式中，系统100实现不同的应用，例如视频游戏应用、云游戏应用、虚拟桌面基础设施应用或屏幕共享应用。在其他实现方式中，系统100执行其他类型的应用。在一个实现方式中，服务器105渲染视频或图像帧，将渲染后的帧编码成位流，然后经由网络110将已编码位流传送到客户端115。客户端115对编码后的位流进行解码并且产生视频或图像帧以驱动到显示器120或显示合成器。
网络110表示任何类型的网络或网络的组合，包括无线连接、直接局域网(LAN)、城域网(MAN)、广域网(WAN)、内联网、互联网、有线网络、分组交换网络、光纤网络、路由器、存储区域网络，或其他类型的网络。LAN的实例包括以太网(Ethernet)网络、光纤分布式数据接口(FDDI)网络以及令牌环网络。在各种实现方式中，网络110包括远程直接存储器存取(RDMA)硬件和/或软件、传输控制协议/互联网协议(TCP/IP)硬件和/或软件、路由器、中继器、交换机、电网和/或其他部件。
服务器105包括用于渲染视频/图像帧并且将帧编码成位流的软件和/或硬件的任何组合。在一个实现方式中，服务器105包括在一个或多个服务器的一个或多个处理器上执行的一个或多个软件应用程序。服务器105还包括网络通信能力、一个或多个输入/输出装置和/或其他部件。服务器105的处理器包括任何数量和类型(例如，图形处理单元(GPU)、中央处理单元(CPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC))的处理器。处理器耦合到一个或多个存储可由处理器执行的程序指令的存储器装置。类似地，客户端115包括用于对位流进行解码并且将帧驱动到显示器120的软件和/或硬件的任何组合。在一个实现方式中，客户端115包括在一个或多个计算装置的一个或多个处理器上执行的一个或多个软件应用程序。在各种实现方式中，客户端115是计算装置、游戏控制台、移动装置、流媒体播放器或其他类型的装置。
现在转到图2，示出了服务器200的用于对视频的帧进行编码的软件部件的一个实现方式的框图。请注意，在其他实现方式中，服务器200包括其他部件和/或以与图2所示不同的其他合适方式布置。服务器200接收视频的新帧205，并且向控制逻辑220和编码器230提供所述新帧。使用硬件和/或软件的任何合适组合来实现控制逻辑220和编码器230中的每一者。控制逻辑220产生由编码器230在对新帧205进行编码时使用的量化参数(QP)225。在一个实现方式中，控制逻辑220基于用于先前帧的参数210和/或来自新帧205的第一遍编码的参数而产生QP 225。在各种实现方式中，这些参数包括方差、帧内预测因子、帧间帧内比率和/或一个或多个其他参数中的一者或多者。在一个实现方式中，控制逻辑220基于在对新帧205的分析和/或第一遍编码期间产生的统计信息而产生新帧参数215。控制逻辑220将新帧参数215存储在存储器240中，并且新帧参数215被用于新帧205和/或视频流的后续帧的第二遍编码。存储器240表示任何数量和类型的用于存储与编码过程相关联的数据和/或指令的存储器或高速缓存装置。
编码器230接收新帧205，并且使用等于由控制逻辑220产生的QP 225的QP值对新帧205进行编码。在一个实现方式中，当编码器230开始对新帧205进行编码时，编码器将起始QP值设置为等于由控制逻辑220计算出的QP 225。编码器230的输出是已编码帧235，所述已编码帧被传送到一个或多个客户端(例如，图1的客户端115)和/或存储在存储器中。在一个实现方式中，控制逻辑220执行新帧205的第一遍编码，并且编码器230执行新帧205的第二遍编码。在另一个实现方式中，编码器230执行新帧205的第一遍编码和第二遍编码。在又一个实现方式中，编码器230仅执行新帧205的单次编码。
在一个实现方式中，控制逻辑220产生复杂度指示符，所述复杂度指示符基于用于先前帧的参数210和/或来自新帧205的第一遍编码的参数。然后，使用复杂度指示符以基于已经为所得的已编码位流选择的位速率而产生用于对新帧205进行编码的起始QP值225。通过选择适当的起始QP值225，编码器230通常将在新帧205的编码期间进行较少的QP调整。这有助于提高所得的已编码帧235的视觉质量。
现在参考图3，示出了用于计算用于对视频帧进行编码的量化参数(QP)的方程。根据方程305中所示的公式来计算压缩帧的大小。压缩帧的位大小等于复杂度指示符除以二的QP除以α次幂的值。复杂度指示符是表示编码器压缩帧有多困难的值。对于高级视频写码(AVC)和高效视频写码(HEVC)视频压缩标准，QP值的范围是0到51。对于VP9标准，QP值的范围是0到255。对于特定编码器，α值是通过实验得出的常数值。通过关于QP对方程305求解来产生方程310。
在一个实现方式中，为了导出给定帧的复杂度指示符，将确定以下参数。首先，确定帧i的方差，或variance(i)。此外，确定表示帧内预测在QPi下对帧i的有效性如何的值，或intra_pred_factor(i，QPi)。请注意，“intra_pred_factor(i，QPi)”在本文中也被称为“帧内预测因子”。此外，确定QPi下的帧i的帧间位对帧内位的比率，或inter_intra_ratio(i，QPi)。请注意，“inter_intra_ratio(i，QPi)”在本文中也被称为“帧间对帧内比率”。对于这些参数，在一个实现方式中，“i”是先前已编码帧的编号。在另一个实现方式中，“i”是当前正在被编码的帧的第一遍次的数目。类似地，在一个实现方式中，“QPi”是用于先前已编码帧的QP值，而在另一个实现方式中，“QPi”是用于当前正在被编码的帧的第一遍次的QP值。在单次编码器中，三个参数(variance(i)、intra_pred_factor(i，QPi)、inter_intra_ratio(i，QPi))将从先前编码的帧累积。在二次编码器中，这三个参数将在第一遍次中累积。
在一个实现方式中，“complex”值的分量之一是对包含在帧中的信息的度量。在一个实现方式中，用于测量包含在帧中的信息的值是活动。在一个实现方式中，通过将相邻像素之间的绝对差之和相加来计算活动。在另一个实现方式中，使用方差来测量包含在帧中的信息。在这个实现方式中，帧的方差由以下方程确定：variance(i)＝∑bblock_variance(b)。在这个方程中，“b”是帧中的块编号，块的大小是16x16像素、32x32像素、64x64像素或其他大小。此外，在这个方程中，block_variance(b)是块“b”中的像素值的方差。
现在转到图4，示出了用于计算与帧的编码相关联的参数的方程。intra_pred_factor(i，QPi)值表示帧内预测对于帧的有效性如何。如本文所使用，“帧内预测”是指基于给定帧内的其他像素值来预测同一给定帧内的像素值。在对帧进行编码时，编码器供应对内部块进行编码所需的位数(在QPi下)。此值将被称为intraBits(b)，而intraBits(b)是编码器的速率失真优化(RDO)过程中使用的统计信息之一。在一个实现方式中，使用方程405导出intra_pred_factor(i，QPi)。
对于帧间帧，inter_intra_ratio(i，QPi)值是所需的帧间位与所需的帧内位的比率(在QPi下)。如本文所使用，术语“帧间位”是指仅使用帧间编码来对帧进行编码所需的位数。术语“帧间编码”被定义为使用来自帧之前和/或之后的一个或多个其他帧的信息并且不使用来自帧内的其他像素的信息来对帧进行编码。如本文所使用，术语“帧内位”是指仅使用帧内编码来对帧进行编码所需的位数(即，帧内预测)。编码器以与intraBits(b)值相同的方式提供interBits(b)值。在一个实现方式中，inter_intra_ratio(i，QPi)值是从方程410导出。
一旦给定帧完成编码，以下参数将可用于帧i：variance(i)、intra_pred_factor(i，QPi)、inter_intra_ratio(i，QPi)以及size(i，QPi)。size(i，QPi)参数是指已编码帧i的大小，以位为单位。在一个实现方式中，使用方程415导出实际的帧复杂度值(“actual_complexity”)。在一个实现方式中，使用方程420导出帧内帧的估计复杂度(“estimated_complexity”)值：estimated_complexity＝variance(i)*intra_pred_factor(i,QPi)。在一个实现方式中，使用方程425导出帧间帧的估计复杂度(“estimated_complexity”)值：estimated_complexity＝variance(i)*intra_pred_factor(i,QPi)*inter_intra_ratio(i,QPi)。
在一个实现方式中，如果压缩帧的优选大小(或SIZE)是已知的，那么，如果size(i,QPi)<SIZE，则使用方程430中所示的以下公式来计算加权因子：weight＝size(i,QPi)/SIZE。否则，如果size(i，QPi)≥SIZE，则使用公式435中所示的以下公式来计算加权因子：weight＝SIZE/size(i，QPi)。在一个实现方式中，如果优选QP(或QPpreferred)是已知的，那么，如果QPi<QPpreferred，则使用方程440中所示的以下公式来计算加权因子：weight＝QPi/QPpreferred。在一个实现方式中，如果QPi≥QPpreferred，则使用方程445中所示的以下公式来计算加权因子：weight＝QPpreferred/QPi。在一个实现方式中，使用方程450中所示的以下公式来计算复杂度指示符：complex＝(weight*actual_complexity)+((1-weight)*estimated_complexity)。一旦计算出复杂度指示符，就分别使用方程305或310导出SIZE或QP值。
现在参考图5，示出了用于确定在对视频帧进行编码时使用的量化参数(QP)的方法500的一个实现方式。出于论述的目的，按顺序次序示出此实现方式中的步骤和图6到图8的那些步骤。然而，请注意，在所描述方法的各种实现方式中，所描述的要素中的一者或多者同时地执行，以与所示不同的次序执行，或者完全被省略。还在需要时执行其他附加的要素。本文中描述的各种系统或设备中的任一者被配置成实现方法500。
连接到编码器的控制逻辑至少基于与先前视频帧相关联的第一参数来计算复杂度指示符。如前所述，复杂度指示符表示对先前视频帧进行编码的难度等级(框505)。在一个实现方式中，第一参数是方差。在另一个实现方式中，第一参数是帧内预测因子。在又一个实现方式中，第一参数是帧间对帧内比率。在其他实现方式中，第一参数包括这些参数和/或一个或多个其他参数中的多个。在一些实现方式中，所述控制逻辑至少基于与两个或更多个先前视频帧相关联的所述第一参数来计算所述复杂度指示符。
接下来，控制逻辑基于复杂度指示符并且基于已编码视频帧的优选大小来计算量化参数(QP)值(框510)。在一个实现方式中，使用(图3的)方程310来计算QP值。在一个实现方式中，基于用于传输已编码视频流的优选位速率来确定已编码视频帧的优选大小。举例来说，在一个实现方式中，优选位速率以每秒位数(例如，每秒3兆位(Mbps))来指定，并且视频序列的帧速率以每秒帧数(fps)(例如，60fps、24fps)来指定。在这个实现方式中，控制逻辑将优选位速率除以帧速率，以计算已编码视频帧的优选大小。然后，编码器将用于对当前视频帧进行编码的QP设置为由控制逻辑计算出的QP值(框515)。接下来，编码器利用计算出的QP值对当前视频帧进行编码，并且将编码后的当前视频帧传送到解码器(框520)。在框520之后，方法500结束。
现在转到图6，示出了用于基于复杂度指示符来计算已编码帧的估计大小的方法600的一个实现方式。连接到编码器或集成在编码器内的控制逻辑至少基于与先前视频帧相关联的第一参数来计算复杂度指示符，其中复杂度指示符表示对先前视频帧进行编码的难度等级(框605)。接下来，控制逻辑基于复杂度指示符并且基于用于对视频帧进行编码的给定QP来计算已编码视频帧的估计大小(框610)。在框610之后，方法600结束。
现在参考图7，示出了用于确定在对视频帧进行编码时使用的QP的方法700的一个实现方式。与编码器相关联的控制逻辑至少基于与给定视频帧的第一遍编码相关联的第一参数来计算复杂度指示符，其中复杂度指示符表示给定视频帧的第一遍编码的难度等级(框705)。接下来，控制逻辑基于复杂度指示符并且基于最终编码的给定视频帧的优选大小来计算量化参数(QP)值(框710)。最终编码的给定视频帧是指给定视频帧的第二遍编码的输出。然后，编码器将用于给定视频帧的第二遍编码的QP设置为由控制逻辑计算出的QP值(框715)。在框715之后，方法700结束。
现在转到图8，示出了用于基于复杂度指示符来计算已编码帧的估计大小的方法800的一个实现方式。耦合到编码器的控制逻辑至少基于与给定视频帧的第一遍编码相关联的第一参数来计算复杂度指示符，其中复杂度指示符表示给定视频帧的第一遍编码的难度等级(框805)。接下来，控制逻辑基于复杂度指示符并且基于用于给定视频帧的第一遍编码的给定QP来计算最终编码的给定视频帧的估计大小(框810)。在框810之后，方法800结束。
在各种实现方式中，使用软件应用程序的程序指令来实现本文中描述的方法和/或机制。举例来说，可由通用或专用处理器执行的程序指令是预期的。在各种实现方式中，此类程序指令可由高级编程语言表示。在其他实现方式中，程序指令可从高级编程语言编译成二进制形式、中间形式或其他形式。替代地，可撰写描述硬件的行为或设计的程序指令。此类程序指令可由例如C的高级编程语言表示。替代地，可使用例如Verilog的硬件设计语言(HDL)。在各种实现方式案中，程序指令存储在多种非暂时性计算机可读存储介质中的任一种上。在使用期间，计算系统可存取存储介质，以向计算系统提供程序指令以进行程序执行。一般而言，此类计算系统至少包括一个或多个存储器和被配置成执行程序指令的一个或多个处理器。
应强调，上述实现方式仅是实现方式的非限制性示例。一旦充分理解上述公开内容，许多变化和修改将变得对本领域的技术人员显而易见。所附权利要求意图被解释为涵盖所有此类变化和修改。

Claims (20)

1.一种系统，所述系统包括：
编码器，所述编码器被配置成对视频流的视频帧进行编码；
控制逻辑，所述控制逻辑耦合到所述编码器，其中所述控制逻辑被配置成：
计算复杂度指示符，所述复杂度指示符表示对先前视频帧进行编码的难度等级；并且
基于所述复杂度指示符和已编码视频帧的优选大小来计算量化参数(QP)值；
其中所述编码器被配置成：
通过将QP设置为由所述控制逻辑计算出的所述QP值来产生表示当前视频帧的已编码视频帧；并且
将所述已编码视频帧传送到解码器进行显示。
2.如权利要求1所述的系统，其中所述复杂度指示符至少部分地基于与所述先前视频帧相关联的第一参数，并且对应于方差、帧内预测因子和帧间对帧内比率中的一者或多者。
3.如权利要求2所述的系统，其中所述帧内预测因子表示帧内预测在给定QP下对所述先前视频帧的有效性如何。
4.如权利要求2所述的系统，其中所述帧间对帧内比率表示所述先前视频帧在给定QP下的帧间写码位对帧内写码位的比率。
5.如权利要求1所述的系统，其中所述控制逻辑还被配置成基于所述视频流的两个或更多个先前视频帧来计算所述复杂度指示符。
6.如权利要求1所述的系统，其中所述已编码视频帧的所述优选大小是基于已编码视频位流的优选位速率计算的。
7.如权利要求1所述的系统，其中所述控制逻辑还被配置成基于所述当前视频帧来产生一个或多个参数以在产生用于对下一个视频帧进行编码的下一个复杂度指示符时使用。
8.一种方法，所述方法包括：
由控制逻辑基于对先前视频帧进行编码的难度等级来计算复杂度指示符；
由所述控制逻辑基于所述复杂度指示符和已编码视频帧的优选大小来计算量化参数(QP)值；
由编码器通过将QP设置为由所述控制逻辑计算出的所述QP值来产生表示当前视频帧的已编码视频帧；以及
由所述编码器将所述已编码视频帧传送到解码器进行显示。
9.如权利要求8所述的方法，其中所述复杂度指示符至少部分地基于与所述先前视频帧相关联的第一参数，并且对应于方差、帧内预测因子和帧间对帧内比率中的一者或多者。
10.如权利要求9所述的方法，其中所述帧内预测因子表示帧内预测在给定QP下对所述先前视频帧的有效性如何。
11.如权利要求9所述的方法，其中所述帧间对帧内比率表示所述先前视频帧在给定QP下的帧间写码位对帧内写码位的比率。
12.如权利要求8所述的方法，所述方法还包括基于所述视频流的两个或更多个先前视频帧来计算所述复杂度指示符。
13.如权利要求8所述的方法，其中所述已编码视频帧的所述优选大小是基于已编码视频位流的优选位速率计算的。
14.如权利要求8所述的方法，所述方法还包括基于所述当前视频帧来产生一个或多个参数以在产生用于对下一个视频帧进行编码的下一个复杂度指示符时使用。
15.一种设备，所述设备包括：
存储器；
编码器，所述编码器耦合到所述存储器；以及
控制逻辑，所述控制逻辑耦合到所述编码器，其中所述控制逻辑被配置成：
基于对先前视频帧进行编码的难度等级来计算复杂度指示符；并且
基于所述复杂度指示符并且基于已编码视频帧的优选大小来计算量化参数(QP)值；
其中所述编码器被配置成：
通过将QP设置为由所述控制逻辑计算出的所述QP值来产生表示当前视频帧的已编码视频帧；并且
将所述已编码视频帧传送到解码器进行显示。
16.如权利要求15所述的设备，其中所述复杂度指示符至少部分地基于与所述先前视频帧相关联的第一参数，并且对应于方差、帧内预测因子和帧间对帧内比率中的一者或多者。
17.如权利要求16所述的设备，其中所述帧内预测因子表示帧内预测在给定QP下对所述先前视频帧的有效性如何。
18.如权利要求16所述的设备，其中所述帧间对帧内比率表示所述先前视频帧在给定QP下的帧间写码位对帧内写码位的比率。
19.如权利要求15所述的设备，其中所述控制逻辑被配置成基于所述视频流的两个或更多个先前视频帧来计算所述复杂度指示符。
20.如权利要求15所述的设备，其中所述已编码视频帧的所述优选大小是基于已编码视频位流的优选位速率计算的。
CN201980068205.4A 2018-10-31 2019-06-25 用于低等待时间视频写码的有效量化参数预测方法 Pending CN112913238A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/177,156 US10924739B2 (en) 2018-10-31 2018-10-31 Efficient quantization parameter prediction method for low latency video coding
US16/177,156 2018-10-31
PCT/IB2019/055357 WO2020089701A1 (en) 2018-10-31 2019-06-25 Efficient quantization parameter prediction method for low latency video coding

Publications (1)

Publication Number Publication Date
CN112913238A true CN112913238A (zh) 2021-06-04

Family

ID=70325678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980068205.4A Pending CN112913238A (zh) 2018-10-31 2019-06-25 用于低等待时间视频写码的有效量化参数预测方法

Country Status (6)

Country Link
US (1) US10924739B2 (zh)
EP (1) EP3874748A4 (zh)
JP (1) JP7265622B2 (zh)
KR (1) KR102611939B1 (zh)
CN (1) CN112913238A (zh)
WO (1) WO2020089701A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843772B2 (en) 2019-12-06 2023-12-12 Ati Technologies Ulc Video encode pre-analysis bit budgeting based on context and features
WO2023033833A1 (en) * 2021-09-03 2023-03-09 Google Llc A multi-try encoding operation for streaming applications
CN114071142A (zh) * 2021-10-20 2022-02-18 镕铭微电子(济南)有限公司 一种基于硬件编码器的码率控制方法及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775095A (ja) * 1993-09-03 1995-03-17 Toshiba Corp レート制御回路
JP2003230151A (ja) * 2001-11-30 2003-08-15 Sony Corp プログラム、記録媒体、並びに画像符号化装置および方法
US20050123050A1 (en) * 2003-11-20 2005-06-09 Seiko Epson Corporation Image data compression device and encoder
US20100189174A1 (en) * 2009-01-27 2010-07-29 Nvidia Corporation Encoding video frames in a video encoder
US20120026394A1 (en) * 2010-07-30 2012-02-02 Emi Maruyama Video Decoder, Decoding Method, and Video Encoder
US20120269258A1 (en) * 2011-04-21 2012-10-25 Yang Kyeong H Rate control with look-ahead for video transcoding
WO2014121591A1 (zh) * 2013-02-06 2014-08-14 华为技术有限公司 视频编码质量的评估方法及设备
US20150237346A1 (en) * 2014-02-19 2015-08-20 Arm Limited Rate control in video encoding
US20150326857A1 (en) * 2014-05-12 2015-11-12 Ximin Zhang Video coding quantization parameter determination suitable for video conferencing
US20160309149A1 (en) * 2015-04-13 2016-10-20 Qualcomm Incorporated Quantization parameter (qp) calculation for display stream compression (dsc) based on complexity measure
US20170070555A1 (en) * 2015-09-04 2017-03-09 Stmicroelectronics (Grenoble 2) Sas Video data flow compression method
WO2017165529A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646411A (ja) * 1992-07-24 1994-02-18 Toshiba Corp 画像符号化装置
US20030185299A1 (en) 2001-11-30 2003-10-02 Taro Takita Program, recording medium, and image encoding apparatus and method
KR20040076034A (ko) 2003-02-24 2004-08-31 삼성전자주식회사 동 영상의 가변 비트율 부호화 방법 및 장치
US20050047504A1 (en) 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
JP2007089035A (ja) 2005-09-26 2007-04-05 Toshiba Corp 動画像符号化方法、装置及びプログラム
US8155189B2 (en) * 2005-10-19 2012-04-10 Freescale Semiconductor, Inc. System and method of coding mode decision for video encoding
GB2498992B (en) * 2012-02-02 2015-08-26 Canon Kk Method and system for transmitting video frame data to reduce slice error rate
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US9426475B2 (en) 2013-06-25 2016-08-23 VIXS Sytems Inc. Scene change detection using sum of variance and estimated picture encoding cost
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US20160234496A1 (en) 2015-02-09 2016-08-11 Qualcomm Incorporated Near visually lossless video recompression
JP6857973B2 (ja) * 2016-06-14 2021-04-14 キヤノン株式会社 画像符号化装置及びその制御方法
US10291931B2 (en) 2016-10-13 2019-05-14 Ati Technologies Ulc Determining variance of a block of an image based on a motion vector for the block
US10904552B2 (en) 2018-02-15 2021-01-26 Intel Corporation Partitioning and coding mode selection for video encoding

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775095A (ja) * 1993-09-03 1995-03-17 Toshiba Corp レート制御回路
JP2003230151A (ja) * 2001-11-30 2003-08-15 Sony Corp プログラム、記録媒体、並びに画像符号化装置および方法
US20050123050A1 (en) * 2003-11-20 2005-06-09 Seiko Epson Corporation Image data compression device and encoder
US20100189174A1 (en) * 2009-01-27 2010-07-29 Nvidia Corporation Encoding video frames in a video encoder
US20120026394A1 (en) * 2010-07-30 2012-02-02 Emi Maruyama Video Decoder, Decoding Method, and Video Encoder
US20120269258A1 (en) * 2011-04-21 2012-10-25 Yang Kyeong H Rate control with look-ahead for video transcoding
WO2014121591A1 (zh) * 2013-02-06 2014-08-14 华为技术有限公司 视频编码质量的评估方法及设备
US20150237346A1 (en) * 2014-02-19 2015-08-20 Arm Limited Rate control in video encoding
US20150326857A1 (en) * 2014-05-12 2015-11-12 Ximin Zhang Video coding quantization parameter determination suitable for video conferencing
US20160309149A1 (en) * 2015-04-13 2016-10-20 Qualcomm Incorporated Quantization parameter (qp) calculation for display stream compression (dsc) based on complexity measure
US20170070555A1 (en) * 2015-09-04 2017-03-09 Stmicroelectronics (Grenoble 2) Sas Video data flow compression method
WO2017165529A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
T. LAN AND X. GU: "H.264 Frame Layer Rate Control Based on Block Histogram Difference", ICC WORKSHOPS - 2008 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS WORKSHOPS, pages 2 *

Also Published As

Publication number Publication date
EP3874748A4 (en) 2022-08-17
JP2022504772A (ja) 2022-01-13
JP7265622B2 (ja) 2023-04-26
US20200137390A1 (en) 2020-04-30
KR20210068569A (ko) 2021-06-09
KR102611939B1 (ko) 2023-12-08
EP3874748A1 (en) 2021-09-08
US10924739B2 (en) 2021-02-16
WO2020089701A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102432755B1 (ko) 비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션
US10523947B2 (en) Server-based encoding of adjustable frame rate content
US10321138B2 (en) Adaptive video processing of an interactive environment
JP6226490B2 (ja) 小待ち時間レート制御システムおよび方法
JP7265623B2 (ja) コンテンツ適応量子化強度及びビットレートモデリング
KR102611939B1 (ko) 저 지연 비디오 코딩을 위한 효율적인 양자화 파라미터 예측 방법
JP6660868B2 (ja) 動画像符号化装置及び動画像復号装置並びにプログラム
KR101959490B1 (ko) 비디오 비트율 제어 방법 및 그 장치
CN113875239A (zh) 子分区的并行双向帧内编码
TWI734865B (zh) 用於編碼視訊之方法與編碼系統
CN113132728B (zh) 编码方法及编码器
CN113132726B (zh) 编码方法及编码器
Maung et al. Region-of-interest based error resilient method for HEVC video transmission
KR102105323B1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
US20210185313A1 (en) Residual metrics in encoder rate control system
EP3552395A1 (en) Motion compensation techniques for video
Maung et al. Improved region-of-interest based rate control for error resilient HEVC framework
US11234004B2 (en) Block type prediction leveraging block-based pixel activities
EP4228268A1 (en) Method and device for performing artificial intelligence encoding and artificial intelligence decoding
Liu et al. Improved methods for initializing RQ model parameters and quantization parameter in H. 264 rate control
KR102234851B1 (ko) 인트라 예측 모드 복호화 방법 및 장치
KR20180021944A (ko) 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination