CN110169066A - 速率控制 - Google Patents

速率控制 Download PDF

Info

Publication number
CN110169066A
CN110169066A CN201880006102.0A CN201880006102A CN110169066A CN 110169066 A CN110169066 A CN 110169066A CN 201880006102 A CN201880006102 A CN 201880006102A CN 110169066 A CN110169066 A CN 110169066A
Authority
CN
China
Prior art keywords
encoded
parameter values
input frame
data stream
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880006102.0A
Other languages
English (en)
Inventor
朱磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110169066A publication Critical patent/CN110169066A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种速率控制方法，包括：使用第一多个编码参数值对第一输入帧进行编码以生成第一多个编码数据流，所述第一多个编码数据流中的每个编码数据流使用所述第一多个编码参数值中的对应编码参数值来生成，并且所述第一多个编码数据流中的每个编码数据流具有第一多个比特率值中的对应比特率；基于分别与所述第一多个编码数据流相对应的所述第一多个编码参数值和所述第一多个比特率值来更新表示编码参数与比特率之间的对应关系的速率控制模型；以及基于更新后的速率控制模型来对第二输入帧进行编码。

Description

速率控制
版权声明
本专利文档的公开内容的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文档或专利公开内容的传真复制(因为它出现在专利和商标局的专利文件或记录中)，但在其他方面保留所有版权。
技术领域
本公开涉及数据编码，并且更具体地，涉及用于速率控制的方法和设备、多速率编码设备和发送终端。
背景技术
低延迟视频/图像传输系统中的一个挑战是信道的条件(例如信道带宽)随时间变化，对于无线信道而言尤其如此。影响无线信道的因素很多，例如物理距离、相对位置、接收终端和发送终端之间的障碍物/遮挡、直接电磁干扰等。此外，传输的数据源也随时间变化。源随时间的变化和信道随时间的变化彼此独立并且难以预测，这导致难以使源编码实时地适应信道带宽。例如，当信道稳定时，相机的突然移动或物体在相机视角中的大幅移动导致编码数据流的大小突然改变。如果数据流的大小加倍，则传输延迟/延时相应地加倍。当源稳定时，数据流的大小保持不变，但突然的信道变化仍然可能导致传输抖动(随时间变化的传输延迟)。如果信道带宽减少一半，则传输延迟相应地增加两倍。
使编码速率实时适应信道带宽的速率控制技术已广泛用于无线视频传输应用中，以确保在不可靠信道上的平滑传输。传统的速率控制技术仅控制一组帧(例如，多个帧)的总体平均比特率。因为对每帧仅生成一个包括两个元素(例如，编码参数值和对应的比特率值)在内的样本点，所以需要在给定时间段中从多个帧生成若干样本点，以用于对速率控制模型的参数进行估计。这样，传统的速率控制技术将给定时间段(例如，多个帧)内的平均比特率稳定在预期的比特率，以确保多个帧或一段时间内的平均总抖动很小。然而，低延迟视频传输需要针对每个帧将比特率稳定在一定范围内，以避免大的传输抖动，这种大的传输抖动在接收终端处会导致解码频繁地卡顿。
发明内容
根据本公开，提供了一种速率控制方法，包括：使用第一多个编码参数值对第一输入帧进行编码以生成第一多个编码数据流，所述第一多个编码数据流中的每个编码数据流使用所述第一多个编码参数值中的对应编码参数值来生成，并且所述第一多个编码数据流中的每个编码数据流具有第一多个比特率值中的对应比特率；基于分别与所述第一多个编码数据流相对应的所述第一多个编码参数值和所述第一多个比特率值来更新表示编码参数与比特率之间的对应关系的速率控制模型；以及基于更新后的速率控制模型来对第二输入帧进行编码。
根据本公开，提供了一种速率控制设备，其包括存储指令的一个或多个存储器以及耦接到所述一个或多个存储器的一个或多个处理器。所述一个或多个处理器被配置为：使用第一多个编码参数值对第一输入帧进行编码以生成第一多个编码数据流，所述第一多个编码数据流中的每个编码数据流使用所述第一多个编码参数值中的对应编码参数值来生成，并且所述第一多个编码数据流中的每个编码数据流具有第一多个比特率值中的对应比特率；基于分别与所述第一多个编码数据流相对应的所述第一多个编码参数值和所述第一多个比特率值来更新表示编码参数与比特率之间的对应关系的速率控制模型；以及基于更新后的速率控制模型来对第二输入帧进行编码。
附图说明
图1是示出了根据本公开的示例性实施例的发送终端的示意图。
图2是示出了根据本公开的示例性实施例的多速率编码设备的示意性框图。
图3是示出了根据本公开的示例性实施例的单速率编码器的示意性框图。
图4是示出根据本公开的另一示例性实施例的多速率编码设备的示意性框图。
图5是示出了根据本公开的另一示例性实施例的多速率编码设备的示意性框图。
图6是示出了根据本公开的示例性实施例的每帧地更新速率控制模型的过程的示意图。
图7是根据本公开的示例性实施例的速率控制方法的流程图。
图8是示出了根据本公开的示例性实施例的迭代更新速率控制模型的过程的流程图。
图9示意性地示出了根据本公开的示例性实施例的比特率与量化参数(QP)曲线(R-Q曲线)在帧之间的变化。
具体实施方式
在下文中，将参考附图描述与本公开一致的实施例，附图仅仅是用于说明性目的的示例，而不旨在限制本公开的范围。只要有可能，在整个附图中将使用相同的附图标记来指代相同或相似的部分。
图1是示出了与本公开一致的示例性发送终端100的示意图。发送终端100被配置为捕捉图像并根据多个编码参数值对图像进行编码以生成多个编码数据流，也称为多个编码后的数据流。图像可以是静止图像(例如图片)和/或运动图像(例如视频)。在下文中，术语“图像”用于表示静止图像或运动图像。编码参数指的是与编码处理相关联的参数，例如量化参数(QP)、编码模式选择、数据包大小等。多个编码数据流中的每一个使用多个编码参数值中的对应一个来生成，并且对应于多个比特率值中的一个。发送终端100还被配置为选择多个编码数据流中的一个，作为用于通过传输信道进行发送的输出数据流。
在一些实施例中，发送终端100可以集成在诸如无人机(UAV)、无人驾驶汽车、移动机器人、无人驾驶船只、潜艇、航天器、卫星等移动体中。在一些其他实施例中，发送终端100可以是由移动体搭载的共享搭载下的负载，其中该移动体独立操作但可以共享移动物体的电源。
传输信道可以使用任何形式的通信连接，例如因特网连接、有线电视连接、电话连接、无线连接、或能够支持图像传输的其他连接。例如，如果发送终端100集成在UAV中，则传输信道可以是无线信道。传输信道可以使用任何类型的物理传输介质，例如电缆(例如，双绞线电缆和光纤电缆)、空气、水、太空或上述介质的任何组合。例如，如果发送终端100集成在UAV中，则编码数据流的多个信道中的一个或多个可以在空气中。如果发送终端100是由商业卫星搭载的共享搭载下的负载，则编码数据流的多个信道中的一个或多个可以在太空和空气中。如果发送终端100是由潜艇搭载的共享搭载下的负载，则编码数据流的多个信道中的一个或多个可以在水中。
如图1所示，发送终端100包括图像捕捉装置110、耦接到图像捕捉装置110的多速率编码设备130以及耦接到多速率编码设备130的收发器150。
图像捕捉装置110包括图像传感器和透镜或透镜组，并且被配置为捕捉图像。图像传感器可以是例如光电传感器，该光电传感器例如是电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等。图像捕捉装置110还被配置为将捕捉的图像发送给多速率编码设备130以进行编码。在一些实施例中，图像捕捉装置110可以包括用于临时或永久地存储所捕捉的图像的存储器。
多速率编码设备130被配置为接收由图像捕捉装置110捕捉的图像，并根据多个编码参数值对图像进行编码以生成多个编码数据流。多个编码数据流中的每一个是使用多个编码参数值中的对应一个来生成的，并且与多个比特率值中的一个相对应。如图1所示，多速率编码设备130包括彼此耦接的多速率编码器1301、速率控制器1303和速率选择器1305。此外，多速率编码器1301耦接到图像捕捉装置110。速率选择器1305耦接到收发器150。
多速率编码器1301可以接收并根据任何合适的视频编码标准来编码由图像捕捉装置110捕捉的图像，该视频编码标准也称为视频压缩标准，例如：Windows媒体视频(WMV)标准；电影电视工程师协会(SMPTE)421-M标准；运动图像专家组(MPEG)标准，例如MPEG-1、MPEG-2或MPEG-4；H.26x标准，例如H.261、H.262、H.263或H.264；或其他标准。
在一些实施例中，可以根据解码器支持的视频编码标准、信道条件、图像质量要求等来选择视频编码标准。例如，使用MPEG标准编码的图像需要由适于支持适当的MPEG标准的对应解码器来解码。可以使用无损压缩格式来实现高图像质量要求，并且可以使用有损压缩格式来适应有限的传输信道带宽。
在一些实施例中，多速率编码器1301可以实现一个或多个不同的编解码器算法。编解码器算法的选择可以基于编码复杂度、编码速度、编码率、编码效率等。例如，可以在低端硬件上实时执行快速编解码器算法。对于具有小带宽的传输信道，可能需要高编码率算法。
在一些其他实施例中，多速率编码器1301还可以执行加密、纠错编码、格式转换等中的至少一项。例如，当由图像捕捉装置110捕捉的图像包含机密信息时，可以在传输或存储之前执行加密以保护机密性。
图2是示出了与本公开一致的多速率编码设备130的示例的示意性框图。如图2所示，多速率编码器1301包括多个单速率编码器，用于生成多个编码数据流。每个单速率编码器可以根据多个编码参数值中的一个编码参数值，生成多个编码数据流中的、具有多个比特率中的对应一个比特率的一个编码数据流。在一些实施例中，多个单速率编码器可以是共享一个或多个公共电路的独立部件或部分独立的部件。
图3是示出了与本公开一致的示例性单速率编码器的示意性框图。如图3所示，单速率编码器包括由实线箭头连接的“前向路径”和由图中的虚线箭头连接的“反向路径”。“前向路径”包括对整个图像帧或图像帧的块(例如，宏块(MB))进行编码处理，而“反向路径”包括执行重构处理，该重构处理生成用于预测下一图像帧或下一图像帧的下一块的上下文301。图像帧指的是完整图像。在下文中，术语“帧”、“图像”和“图像帧”可互换使用。
可以根据所采用的编码标准来确定图像帧的块的大小和类型。例如，覆盖16×16个像素的固定大小的MB是H.264标准中采用的基本语法和处理单元。H.264还允许将MB细分为低至4×4个像素大小的更小的子块，以用于运动补偿预测。可以以四种方式之一将MB拆分为子块：16×16、16×8、8×16、或8×8。可以以四种方式之一进一步拆分8×8子块：8×8、8×4、4×8、或4×4。因此，当使用H.264标准时，图像帧的块的大小的范围可以是16×16到4×4，其中两者之间有如上所述的许多选项。
在一些实施例中，如图3所示，“前向路径”包括预测处理302、变换处理303、量化处理304和熵编码处理305。在预测处理302中，可以根据预测模式来生成预测块。可以从所采用的视频编码标准支持的多个帧内预测模式(intra-prediction mode)和/或多个帧间预测模式(inter-prediction mode)中选择预测模式。以H.264为例，H.264支持亮度4×4和8×8个块的九种帧内预测模式，其中包括八种方向模式和一种作为非方向模式的帧内直接分量(direct component，DC)模式。对于亮度16×16个块，H.264支持四种帧内预测模式，即竖直模式、水平模式、DC模式和平面模式。此外，H.264支持帧间预测模式的所有可能组合，例如在帧间运动估计中使用的可变块大小(即，16×16、16×8、8×16、8×8、8×4、4×8、4×4)、不同的帧间运动估计模式(即，使用整个像素、半个像素或四分之一像素运动估计)、多个参考帧。
在多个帧内预测模式中，使用来自当前帧的先前编码的块来创建预测块。在多个帧间预测模式中，来自过去帧或未来帧(相邻帧)的先前编码的块被存储在上下文301中，并且用作帧间预测的参考。在一些实施例中，来自一个或多个过去帧和/或一个或多个未来帧的两个或更多个先前编码的块的加权和可以存储在上下文301中，以用于帧间预测。
在一些实施例中，预测处理302还可以包括预测模式选择处理(未示出)。在一些实施例中，预测模式选择处理可以包括确定是对块应用帧内预测还是帧间预测。在一些实施例中，可以根据块的位置来确定要对块应用帧内预测或帧间预测中的哪一个。例如，如果块在视频的第一个图像帧中，或者如果块在视频的随机接入点之一处的图像帧中，则可以对块进行帧内编码。另一方面，如果块在其余帧之一(即，视频中除第一个图像帧之外的图像帧，或者两个随机接入点之间的图像帧)中，则可以对块进行帧间编码。例如，接入点可以指视频流中开始对视频进行编码或发送的点，或者恢复视频以进行编码或发送的点。在一些其他实施例中，可以根据传输错误、信道条件的突然改变等来确定要对块采用帧内预测或帧间预测中的哪一个。例如，如果在生成块时发生传输错误或者发生信道条件的突然改变，则可以对块进行帧内预测。
在一些实施例中，预测模式选择处理可以进一步包括：当确定要采用帧内预测时，从多个帧内预测模式中选择用于块的帧内预测模式，以及当确定要采用帧间预测时，从多个帧间预测模式中选择帧间预测模式。这里可以使用任何合适的预测模式选择技术。例如，H.264使用速率-失真优化(RDO)技术来为块选择具有最小速率-失真(RD)成本的帧内预测模式或帧间预测模式。
从块中减去预测块以生成残余块。
在变换处理303中，将残余块变换为空间-频率域(也称为空间-频谱域)中的表示，其中可以根据多个空间-频率域分量(例如，X和Y方向上每空间单元的周期)来表达残余块。与空间-频率域表达中的空间-频率域分量相关联的系数也称为变换系数。这里可以使用任何合适的变换方法，例如离散余弦变换(DCT)、小波变换等。以H.264为例，使用从DCT导出的4×4或8×8整数变换来对残余块进行变换。
在量化处理304中，可以通过将变换系数除以量化步长大小(Qstep)来获得量化后的变换系数，以将变换后的系数与有限的一组量化步长相关联。在一些实施例中，QP可以用于确定Qstep。根据不同的编码标准，QP的值与Qstep之间的关系可以是线性的或指数性的。以H.263为例，QP的值与Qstep之间的关系是Qstep＝2×QP。以H.264为另一示例，QP的值与Qstep之间的关系是Qstep＝2QP/6。
在一些实施例中，可以通过调整编码参数的值(例如，QP的值)来实现预期比特率。QP的小的值可以更准确地近似残余块的空间频谱，即，可以保留更多空间细节，但是以编码数据流中的更多比特和更高的比特率为代价。QP的大的值表示粗略地近似残余块的空间频谱的大的步长大小，使得残余块的大部分空间细节可以仅由少量的量化后的变换系数捕捉。也就是说，随着QP的值的增加，一些空间细节被聚合，使得比特率下降，但是以质量损失为代价。例如，H.264允许总共52个可能的QP值，即0、1、2、...、51，并且QP的每单位增加使Qstep延长12％，并且使比特率降低约12％。
在熵编码处理305中，对量化后的变换系数进行熵编码。在一些实施例中，可以在熵编码之前对量化后的变换系数进行重新排序(未示出)。熵编码可以将符号转换成二进制代码(例如数据流或比特流)，其可以容易地存储和发送。例如，在H.264标准中使用上下文自适应可变长度编码(CAVLC)来生成数据流。要进行熵编码的符号包括但不限于：量化后的变换系数，用于使解码器能够重建预测的信息(例如，所选择的预测模式、划分大小等)，关于数据流的结构的信息，关于完整序列的信息(例如，MB报头)等。
在一些实施例中，如图3所示，“反向路径”包括逆量化处理306、逆变换处理307和重构处理308。对量化后的变换系数进行逆量化和逆变换，以生成重构的残余块。逆量化也称为重新缩放处理，其中量化后的变换系数分别乘以Qstep，以获得重新缩放的系数。对重新缩放的系数进行逆变换，以生成重构的残余块。这里可以使用与变换处理303中使用的变换方法相对应的逆变换方法。例如，如果在变换处理303中使用了整数DCT，则可以在逆变换处理307中使用反向整数DCT。在重构处理308中，将重构的残余块加到预测块上以创建重构块，其中该重构块被存储在上下文301中作为用于预测下一个块的参考。
在一些实施例中，单速率编码器可以是编解码器。也就是说，单速率编码器还可以包括解码器(未示出)。解码器在概念上以相反的方式工作，包括熵解码器(未示出)和在重构处理中定义的处理元件，如图3中的“反向路径”所示。这里省略其详细描述。
图4是示出与本公开一致的多速率编码设备130的另一示例的示意性框图。如图4所示，多速率编码器1301包括多个单速率编码器，这些单速率编码器共享公共电路310并具有独立的处理电路330，以生成具有不同比特率的多个编码数据流。再次参考图3，处理电路330可以执行变换处理303、量化处理304、熵编码处理305、逆量化处理306、逆变换处理307和重构处理308。公共电路310可以执行预测处理302，其中该预测处理的计算复杂度和计算资源消耗可以占单速率编码器的整个计算的大约70％。这样，具有图4所示的结构并且如上所述的多速率编码器1301可以减少资源消耗。
再次参考图2和图4，速率控制器1303被配置为根据速率控制模型来调整多速率编码器1301的多个编码参数值，以控制由多速率编码器1301生成的多个编码数据流的多个比特率值。速率控制模型表征编码参数与比特率之间的对应关系。在一些实施例中，速率控制器1303可以实施与本公开一致的速率控制方法，例如下面描述的示例性速率控制方法之一。
在一些实施例中，如图2和图4所示，当多速率编码器130l包括多个单速率编码器时，速率控制器1303可以耦接到多个单速率编码器，并且可以被配置为根据速率控制模型来调整每个单速率编码器的编码参数值，以控制由每个单速率编码器生成的编码数据流的比特率值。
速率选择器1305被配置为基于例如当前信道容量、当前信道带宽、传输延迟等来选择多个编码数据流中的一个作为输出数据流，并将输出数据流发送给收发器150以进行发送。在一些实施例中，速率选择器1305还可以被配置为从收发器150获得反馈信息，包括例如当前信道容量、当前信道带宽、传输延迟等。
在一些实施例中，如图2和图4所示，当多速率编码器1301包括多个单速率编码器时，速率选择器1305可以耦接到多个单速率编码器，并且可以被配置为基于例如当前信道容量、当前信道带宽、传输延迟等来从对应的单速率编码器选择多个编码数据流中的一个，作为输出数据流。
再次参考图1，收发器150被配置为从速率选择器1305获得输出数据流，并通过传输信道发送输出数据流。在一些实施例中，收发器150还被配置为通过传输信道从接收终端接收反馈信息，包括例如当前信道容量、当前信道带宽、传输延迟等，并将反馈信息发送给速率选择器1305。
收发器150可以包括发送器和接收器，并且可以配置为具有双向通信能力，即，既可以发送数据又可以接收数据。在一些实施例中，发送器和接收器可以共享公共电路。在一些其他实施例中，发送器和接收器可以是共享单个壳体的独立部件。收发器150可以在任何合适的频带中工作，例如，微波波段、毫米波波段、厘米波波段、光波波段等。
根据本公开，图像捕捉装置110、多速率编码设备130和收发器150可以是独立的装置，或者它们中的任何两个或全部可以集成在一个装置中。在一些实施例中，图像捕捉装置110、多速率编码设备130和收发器150是可以通过有线或无线方式彼此连接或耦接的独立装置。例如，图像捕捉装置110可以是相机、便携式摄像机或具有相机功能的智能电话。图5是示出了与本公开一致的多速率编码设备130的另一示例的示意性框图。如图5所示，多速率编码设备130包括一个或多个处理器130-1和一个或多个存储器130-2。一个或多个处理器130-1可以包括任何合适的硬件处理器，例如微处理器、微控制器、中央处理单元(CPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立栅极或晶体管逻辑器件、分立硬件组件。一个或多个存储器130-2存储计算机程序代码，该计算机程序代码当由一个或多个处理器执行时，控制一个或多个处理器执行与本公开一致的速率控制方法(例如下面所描述的示例性速率控制方法之一)，以及与本公开一致的方法的编码功能。一个或多个存储器可以包括非暂时性计算机可读存储介质，例如随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储设备或光学介质。收发器150可以是在单个封装件中组合了发送器和接收器的独立装置。
在一些其他实施例中，图像捕捉装置110、多速率编码设备130和收发器150被集成在同一电子装置中。例如，图像捕捉装置110可以包括电子装置的图像传感器和透镜或透镜组。多速率编码设备113可以由集成在电子装置中的一个或多个单芯片编码器、一个或多个单芯片编解码器、一个或多个图像处理器、一个或多个图像处理引擎等来实现。收发器150可以由集成在电子装置中的集成电路、芯片或芯片组来实现。例如，电子装置可以是智能手机，其具有内置相机和集成了多速率编码设备130和收发器150的母板。
在一些其他实施例中，图像捕捉装置110、多速率编码设备130和收发器150中的任何两个集成在同一电子装置中。例如，图像捕捉装置110可以是相机或便携式摄像机，其耦接到具有集成了多速率编码设备130和收发器150的母板的电子装置。
下面将更详细地描述与本公开一致的示例性速率控制方法。与本公开一致的速率控制方法可以在与本公开一致的多速率编码设备中实现。多速率编码设备可以被配置为发送终端的一部分。多速率编码设备和发送终端可以是例如上述的多速率编码设备130和发送终端100。
如上所述，可以通过控制用于对图像帧进行编码的编码参数(例如量化参数)来控制编码数据流的比特率。为了获得具有期望比特率(也称为“预期比特率”)的编码数据流，可以根据描述编码参数与比特率之间的对应关系的速率控制模型来选择编码参数。在编码处理期间，还可以基于编码处理期间的计算/编码结果来更新速率控制模型。在一些实施例中，可以基于一个帧的编码处理或基于多个帧的编码处理来更新速率控制模型。
图6示意性地示出了与本公开一致的用于每帧地更新速率控制模型的过程。如图6所示，使用多个编码参数值(在图6中使用字母CP1、CP2、…和CPN来表示)对帧610进行编码，以生成具有多个比特率值(在图6中使用字母R1、R2、…和RN来表示)的多个编码数据流630。多个编码参数值CPi中的每一个与多个比特率值Ri(i＝1、2、…、N)中的一个相对应。例如，CP1对应于R1，CP2对应于R2，CPN对应于RN，依此类推。多个(CPi，Ri)对形成多个样本点650，然后可以将这些样本点应用于速率控制模型670，以根据例如拟合方法确定/更新速率控制模型670的参数。
根据图6中所示的过程，可以每帧地更新或估计速率控制模型的参数。因此，可以实现帧级别的速率控制，其能够将每帧的比特率稳定在预期比特率。帧级别的速率控制可以避免由于大的传输抖动而在接收终端处频繁地出现解码卡顿。可以增强视频的整体感知质量，并且可以改善用户体验。
图7是与本公开一致的示例性速率控制方法700的流程图。根据速率控制方法700，速率控制器(例如上述多速率编码设备130的速率控制器1303)可以控制多速率编码器(例如上述多速率编码设备130的多速率编码器1301)的多个编码参数值，其中根据该多个编码参数值，多速率编码器可以生成具有对应的多个比特率值的多个编码数据流。速率选择器(例如上述多速率编码设备130的速率选择器1305)可以基于例如当前信道容量、当前信道带宽、传输延迟等来选择多个编码数据流中的一个作为输出数据流。
如图7所示，在701，获得第一多个编码参数值。第一多个编码参数值可以包括用于对第一输入帧进行编码的多个编码参数值。在一些实施例中，第一输入帧可以是由图像捕捉装置捕捉并发送给多速率编码器以进行编码的图像帧中的第一个。图像捕捉装置可以是例如上述的图像捕捉装置110。多速率编码器可以是例如上述多速率编码设备130的多速率编码器1301。在一些其他实施例中，第一输入帧可以是视频流中的图像帧，其中从该图像帧开始对视频进行编码或发送，或者从该图像帧恢复对视频进行编码或发送。在一些其他实施例中，第一输入帧可以是由图像捕捉装置捕捉的图像帧中的任何一个或视频流中的任何图像帧。
在一些实施例中，第一多个编码参数值由速率控制模型至少部分地基于第一输入帧的预期比特率(也称为“第一预期比特率”)来提供。也就是说，第一多个编码参数值之一由速率控制模型基于第一输入帧的预期比特率来提供，其中该第一多个编码参数值之一也可以被称为“第一主编码参数值”。第一多个编码参数值中的其余编码参数值，即第一多个编码参数值中除了第一主编码参数值之外的那些编码参数值，可以被称为第一辅助编码参数值。
这里可以使用任何合适的速率控制模型。例如，速率控制模型可以包括：量化器域(Q域)速率控制模型(也称为速率量化(R-Q)模型)，其表征比特率与QP之间的关系；rho域(ρ域)速率控制模型，其表征比特率与参数ρ(量化后的变换系数中零的百分比)之间的关系；或Lambda域(λ域)速率控制模型(也称为速率Lambda(R-λ)模型)，其表征比特率与拉格朗日乘数λ之间的关系，其中该拉格朗日乘数λ与每个帧的QP相对应。
在一些实施例中，速率控制模型可以具有预先存储在速率控制器(例如上述多速率编码设备130的速率控制器1303)中的初始参数。根据速率控制模型获得的与第一输入帧的预期比特率值相对应的编码参数值可以被设置为第一主编码参数值。以R-Q模型为例，编码参数可以是QP，并且R-Q模型可以被表示为二阶多项式的指数函数：
R(Q)＝exp(a·Q2+b·Q+c)
其中R表示比特率的值，Q表示QP的值，并且a、b和c表示参数。与第一输入帧的预期比特率值相对应的编码参数值可以根据具有初始a、b和c值的二阶多项式的上述指数函数来计算。
在一些实施例中，第一输入帧的预期比特率可以是预设比特率。在一些实施例中，可以从用户输入获得第一输入帧的预期比特率。在一些其他实施例中，可以基于例如信道容量、信道带宽、传输延迟等来确定第一输入帧的预期比特率。
在一些实施例中，第一辅助编码参数值可以以编码参数间隔逐渐偏离第一主编码参数值。例如，第一辅助编码参数值可以从第一主编码参数值逐渐降低或逐渐升高，并以编码参数间隔来排列。作为另一示例，可以通过从第一主编码参数值逐渐降低来获得第一辅助编码参数值中的一个或一些，并且可以通过从第一主编码参数值逐渐升高来获得第一辅助编码参数值中的一个或一些。
在一些实施例中，预设编码参数间隔的确定可以是速率控制模型的参数的计算复杂度与估计精度之间的折衷。例如，大的编码参数间隔产生少量的编码参数值，这可以减少计算负担，但可能增加速率控制模型的参数的估计误差。另一方面，精细编码参数间隔可以生成在一定范围内密集分布的多个编码参数值，这可以减少速率控制模型的参数的估计误差，但可能增加计算负担。
在一些实施例中，编码参数间隔可以是恒定间隔，即，每对相邻编码参数值之间的间隔是相同的。在一些其他实施例中，编码参数间隔可以是可变间隔，即，每对相邻编码参数值之间的间隔可以在对与对之间变化，或者可以在一些相邻编码参数值对之间相同但在其他一些对之间不同。在编码参数间隔发生变化的实施例中，间隔可以例如随着编码参数与比特率的曲线的曲率的变化而变化。例如，大间隔可以用于第一辅助编码参数值中的落在具有相对小的曲率的曲线部分上的一个或一些，精细间隔可以用于第一辅助编码参数值中的落在具有相对大的曲率的曲线部分上的一个或一些。
在上述实施例中，通过首先获得第一主编码参数值并且然后根据预设间隔计算第一辅助编码参数值来获得第一辅助编码参数值。在一些其他实施例中，第一辅助编码参数值可以基于第一输入帧的所选择的比特率来获得。第一输入帧的这种所选择的比特率也称为“第一辅助比特率值”。例如，第一辅助比特率值可以以比特率间隔逐渐偏离第一输入帧的预期比特率。与编码参数间隔类似，比特率间隔也可以是恒定的或可变的，并且可以以与确定编码参数间隔类似的方式来确定。例如，第一辅助比特率值可以通过从第一输入帧的预期比特率逐渐降低和/或升高并且以比特率间隔排列来获得。可以根据速率控制模型计算与第一辅助比特率值相对应的第一辅助编码参数值。
在703，使用第一多个编码参数值对第一输入帧进行编码，以生成第一多个编码数据流。第一多个编码数据流中的每一个使用第一多个编码参数值中的对应一个来生成，并且具有第一多个比特率值中的对应一个。
在一些实施例中，可以使用第一多个编码参数值对第一输入帧进行帧内编码，以生成第一多个编码数据流。在一些实施例中，使用第一多个编码参数值中的一个对第一输入帧进行编码可以包括预测处理、变换处理、量化处理和熵编码处理。
在一些实施例中，使用第一多个编码参数值进行的第一输入帧的编码处理可以是单独的处理并且可以并行地实施。例如，如图2所示，多速率编码设备130可以包括多个单独的单速率编码器，每个单速率编码器可以用于使用第一多个编码参数值中的一个来对第一输入帧进行编码，以生成第一多个编码数据流中的对应一个。
在一些其他实施例中，使用第一多个编码参数值进行的第一输入帧的编码处理可以包括至少一个公共处理。例如，如图3和图4所示，使用第一多个编码参数值进行的第一输入帧的编码处理可以共享公共电路310中的公共预测处理，并且使用单独的处理电路330-1、330-2、...、330-N中的单独的变换处理、单独的量化处理和单独的熵编码处理来生成第一多个编码数据流。通过共享公共预测电路310，可以降低计算复杂度和计算资源消耗。
在705，可以基于分别与第一多个编码数据流相对应的第一多个编码参数值和第一多个比特率值来更新速率控制模型。也就是说，可以基于分别与第一多个编码数据流相对应的第一多个编码参数值和第一多个比特率值来获得速率控制模型的更新后的参数。因此，可以利用更新后的参数来生成更新后的速率控制模型。以上述R-Q模型为例，可以通过基于分别与第一多个编码数据流相对应的第一多个编码参数值和第一多个比特率值对上述二阶多项式的指数函数进行最小二乘拟合来对更新后的R-Q曲线进行建模，从而可以获得a、b和c的更新后的值。
在上述实施例中，速率控制模型使用一个输入帧更新一次，然后用于对下一个输入帧进行编码。在一些场景中，一次更新可能不足以创建对编码参数与比特率之间的实际对应关系进行密切建模的更新后的速率控制模型。更新后的速率控制模型和编码参数与比特率之间的实际对应关系之间的近似程度可以由第一实际比特率值与预期比特率值之间的差来确定。第一实际比特率值是指通过使用第一主编码参数值对第一输入帧进行编码而获得的比特率值。因此，在一些其他实施例中，可以使用第一输入帧来迭代地更新速率控制模型，直到第一实际比特率值与预期比特率值之间的差在预设范围内，例如小于预设值。
在707，选择第一多个编码数据流中的一个作为第一输入帧的输出数据流。对第一多个编码数据流中的一个的选择可以基于例如第一输入帧的预期比特率值、信道容量、信道带宽、传输延迟等。
在一些实施例中，可以根据第一输入帧的预期比特率值来从第一多个编码流中选择第一输入帧的输出数据流。例如，可以直接选择第一多个编码流中的、通过使用第一主编码参数值对第一输入帧进行编码而获得的一个编码流(也称为“第一主编码数据流”)作为输出数据流。在一些情况下，第一主编码数据流的比特率可能与第一输入帧的预期比特率相差相对大的值。在这些场景中，第一输入帧的预期比特率可以返回给更新后的速率控制模型，以获得用于对第一输入帧进行编码的新的编码参数值，并且所获得的编码数据流可以作为第一输入帧的输出数据流来输出。
作为另一示例，第一输入帧的输出数据流可以是第一多个编码流中的、具有第一多个比特率值中与第一输入帧的预期比特率值最接近的对应比特率的一个编码流。
作为另一示例，第一输入帧的输出数据流可以是第一多个编码流中的、具有第一多个比特率值中不大于且最接近第一输入帧的预期比特率值的对应比特率的一个编码流。
作为另一示例，第一输入帧的输出数据流可以是第一多个编码流中的、具有第一多个比特率值中与第一输入帧的预期比特率值的差位于预设范围内的对应比特率的一个编码数据流。
在一些实施例中，可以根据当前信道带宽从第一多个编码流中选择第一输入帧的输出数据流。例如，第一输入帧的输出数据流可以是第一多个编码流中的与当前信道带宽匹配的一个编码流。因此，输出数据流可以实时适应随时间变化的信道带宽。即，当信道带宽随时间变化时，输出数据流能够实时匹配信道带宽。
在一些其他实施例中，可以根据当前信道带宽和目标延迟来选择第一输入帧的输出数据流。目标延迟也可以被称为延迟的控制目标，它表示预期的传输延迟。
例如，第一输入帧的输出数据流可以是第一多个编码流中的、在当前信道带宽下的传输延迟最接近目标延迟的一个编码流。
作为另一示例，第一输入帧的输出数据流可以是第一多个编码流中的、在当前信道带宽下的传输延迟不大于且最接近目标延迟的一个编码流。
作为进一步的示例，第一输入帧的输出数据流可以是目标延迟和当前信道带宽下的传输延迟之间的差在预设范围内的、在第一多个编码流中具有最高比特率的第一多个编码流之一。因为较高比特率通常对应于较高的编码质量，所以该方法可以确保在满足目标延迟时可以选择具有最高编码质量的编码数据。
在一些实施例中，可以根据信道带宽、目标延迟和编码质量来选择第一输入帧的输出数据流。也就是说，第一输入帧的输出数据流的选择可以基于对信道带宽、目标延迟和编码质量的要求的组合。
在一些实施例中，可以根据信道带宽、目标延迟、编码质量和目标比特率来确定成本函数。第一输入帧的输出数据流可以是第一多个编码数据中具有成本函数的最小值的一个编码数据。
例如，成本函数可以如下所示：
Cost＝A×|比特率/带宽-目标延迟|+B×编码质量
其中，Cost表示成本，A和B表示权重。
根据不同应用场景的要求，在计算Cost时，A和B的值可以调整为偏向对编码质量的要求或对延迟控制的要求，例如，A和B的值可以进行调整以更侧重于对编码质量的要求或对延迟控制的要求。
在一些实施例中，从第一输入帧的输出数据流获得的重构帧可以用作第二输入帧的上下文。也就是说，从第一输入帧的输出数据流获得的重构帧可以用作预测第二输入帧的参考。
在709，基于更新后的速率控制模型对第二输入帧进行编码。例如，可以基于更新后的速率控制模型来确定用于对第二输入帧进行编码的第二多个编码参数值，并且可以使用第二多个编码参数值来对第二输入帧进行编码。
在一些实施例中，可以基于更新后的速率控制模型和第二输入帧的预期比特率(也称为“第二预期比特率”)来确定用于对第二输入帧进行编码的第二多个编码参数值。例如，可以基于更新后的速率控制模型和第二输入帧的预期比特率来确定第二多个编码参数值中的一个编码参数值，其中这个编码参数值可以被称为第二主编码参数值。第二多个编码参数值中的剩余编码参数值，即第二多个编码参数值中除了第二主编码参数值之外的编码参数值，可以称为第二辅助编码参数值。以上述R-Q模型为例，使用更新后的a、b和c参数根据二阶多项式的指数函数计算的、与第二输入帧的预期比特率相对应的编码参数值可以被设置为第二主编码参数值。
在一些实施例中，第二主编码参数值和第一主编码参数值用于同一编码信道。例如，同一编码信道指的是如图2所示的多速率编码器中包括的同一单速率编码器，或者如图4所示的多速率编码器中包括的同一处理电路。
在一些实施例中，类似于第一辅助编码参数值，第二辅助编码参数值可以以编码参数间隔逐渐偏离第二主编码参数值。例如，第二辅助编码参数值可以通过从第二主编码参数值逐渐升高和/或降低并以编码参数间隔排列来获得。第二辅助编码参数值的编码参数间隔可以是恒定间隔或可变间隔。可以以与用于确定第一辅助编码参数值的编码参数间隔的方式类似的方式来确定第二辅助编码参数值的编码参数间隔，并且因此省略其详细描述。
在一些其他实施例中，可以基于第二输入图像的所选择的比特率(也称为“第二辅助比特率值”)来获得第二辅助编码参数值。类似于第一辅助比特率值，第二辅助比特率值可以以比特率间隔逐渐偏离第二输入帧的预期比特率。可以基于速率控制模型来计算与第二辅助比特率值相对应的第二辅助编码参数值。例如，第二辅助比特率值可以通过从第二输入图像的预期比特率逐渐升高和/或降低来获得。第二辅助比特率值的比特率间隔可以是恒定间隔或可变间隔。可以以与用于确定第一辅助比特率值的比特率间隔的方式类似的方式来确定第二辅助比特率值的比特率间隔，并且因此省略其详细描述。
在一些实施例中，可以使用第二多个编码参数值对第二输入帧进行帧间编码和/或帧内编码，以生成第二多个编码数据流。在一些实施例中，使用第二多个编码参数值中的一个编码参数值对第二输入帧进行编码可以包括预测处理、变换处理、量化处理和熵编码处理。
可以选择第二多个编码数据流中的一个作为与第二输入帧相对应的输出数据流。与第二输入帧相对应的输出数据流的选择可以类似于与第一输入帧相对应的输出数据流的选择，并且因此省略其详细描述。
在一些实施例中，速率控制模型也可以在图像帧之间变化。也就是说，基于第一输入帧获得的更新后的速率控制模型可能不能准确地反映第二输入帧中的编码参数与比特率之间的对应关系。在这些实施例中，可以基于分别与第二多个编码数据流相对应的第二多个编码参数值和第二多个比特率值来进一步更新速率控制模型。为此，可以迭代调整第二主编码参数值，直到第二输入帧的第二实际比特率与预期比特率值之间的差在预设范围内。第二实际比特率值是指通过使用第二主编码参数值对第二输入帧进行编码而获得的比特率值。
图8是示出与本公开一致的迭代地更新速率控制模型的过程的流程图。如图8所示，可以首先基于根据上述方法(705)获得的、分别与第一多个编码数据流相对应的第一多个编码参数值和第一多个比特率值[表示为字母(CP1 i，R1 i)]来更新速率控制模型。可以基于更新后的速率控制模型和第二输入帧的预期比特率来确定第二多个编码参数值(表示为CP2 i)，如上所述。如上所述，使用更新后的速率控制模型根据第二输入帧的预期比特率计算的编码参数值是第二主编码参数值。可以使用CP2 i对第二帧进行编码，以生成具有多个实际比特率(表示为R2 i)的第二多个数据流，其中包括通过使用第二主编码参数值对第二帧进行编码而生成的、具有第二实际比特率值的数据流。如果第二输入帧的第二实际比特率值与预期比特率值之间的差落在预设范围之外，则根据(CP2 i，R2 i)对来更新速率控制模型。第二主编码参数值可以更新为根据进一步更新后的速率控制模型计算的、与第二输入帧的预期比特率值相对应的编码参数。另一方面，如果第二实际比特率值与第二输入帧的预期比特率值之间的上述差在预设范围内，则可以停止迭代调整过程，并且输出第二多个数据流中的一个作为输出数据流，如图8所示。
图9示意性地示出了比特率与QP曲线(R-Q曲线或R-Q模型，即速率控制模型的示例)在帧之间的变化。在图9中，曲线1表示基于第一输入帧获得/更新的R-Q模型，即，通过拟合分别与第一多个编码数据流相对应的第一多个编码参数值和第一多个比特率值而创建的曲线。如图9所示，当例如第一输入帧和第二输入帧的复杂度不同时，R-Q模型可以从曲线1移动到曲线2。曲线2是对应于第二输入帧的实际R-Q曲线，其尚未得知。如图9所示，如果期望第二输入帧的预期比特率Re，则曲线1给出对应的第二主编码参数值QPe。然而，如果将QPe用于编码第二输入帧，则根据曲线2，所获得的编码数据流将具有实际比特率Rc，这与第二输入帧的预期比特率Re不同。可以根据例如以上结合图8描述的方法迭代地更新曲线1，以获得曲线2或与曲线2接近的曲线。此后，根据所获得的曲线2或所获得的与曲线2接近的曲线，可以获得第二主编码参数值QPe1，该第二主编码参数值QPe1可以产生第二输入帧的预期比特率Re。
在一些实施例中，获得第一多个编码参数值(701)可以进一步包括：迭代地调整第一主编码参数值，直到第一输入帧的实际比特率与预期比特率值之间的差在预设范围内。实际比特率值是指通过使用第一主编码参数值对第一输入帧进行编码而获得的比特率值。
通过考虑本文公开的实施例的说明和实践，本公开的其他实施例对于本领域技术人员而言是显而易见的。说明和示例旨在仅被视为示例性的而不是限制本公开的范围，本发明的真实范围和精神由所附权利要求指示。

Claims (32)

1.一种用于速率控制的方法，包括：
使用第一多个编码参数值对第一输入帧进行编码以生成第一多个编码数据流，所述第一多个编码数据流中的每个编码数据流使用所述第一多个编码参数值中的对应编码参数值来生成，并且所述第一多个编码数据流中的每个编码数据流具有第一多个比特率值中的对应比特率；
基于分别与所述第一多个编码数据流相对应的所述第一多个编码参数值和所述第一多个比特率值来更新表示编码参数与比特率之间的对应关系的速率控制模型；以及
基于更新后的速率控制模型来对第二输入帧进行编码。
2.根据权利要求1所述的方法，其中，所述第一多个编码参数值由所述速率控制模型至少部分地基于所述第一输入帧的预期比特率来提供。
3.根据权利要求2所述的方法，其中，所述第一多个编码参数值中的一个编码参数值是由所述速率控制模型基于所述第一输入帧的所述预期比特率提供的，并且所述第一多个编码参数值中的其他编码参数值以恒定间隔逐渐偏离所述第一多个编码参数值中的所述一个编码参数值。
4.根据权利要求2所述的方法，其中，所述第一多个编码参数值中的一个编码参数值是由所述速率控制模型基于所述第一输入帧的所述预期比特率提供的，并且所述第一多个编码参数值中的其他编码参数值以可变间隔逐渐偏离所述第一多个编码参数值中的所述一个编码参数值。
5.根据权利要求2所述的方法，其中：
所述第一多个编码参数值包括主编码参数值，所述主编码参数值是根据所述速率控制模型从所述第一输入帧的所述预期比特率值计算得到的，并且
更新所述速率控制模型包括：使用所述第一输入帧迭代地更新所述速率控制模型，直到所述第一输入帧的所述预期比特率值与通过使用所述主编码参数值对所述第一输入帧进行编码而获得的实际比特率值之间的差位于预设范围内。
6.根据权利要求1所述的方法，其中，对所述第一输入帧进行编码包括对所述第一输入帧实施多个单独编码处理以生成所述第一多个编码数据流，所述多个单独编码处理中的每个单独编码处理包括：使用所述第一多个编码参数值中的一个编码参数值对所述第一输入帧进行编码，以生成所述第一多个编码数据流中的对应的一个编码数据流。
7.根据权利要求6所述的方法，其中，对所述第一输入帧进行编码包括：对所述第一输入帧实施包括至少一个公共处理的所述多个单独编码处理。
8.根据权利要求1所述的方法，其中，对所述第二输入帧进行编码包括：基于所述更新后的速率控制模型和所述第二输入帧的预期比特率来确定所述第二输入帧的编码参数值。
9.根据权利要求1所述的方法，还包括：
至少部分地基于所述更新后的速率控制模型来确定用于对所述第二输入帧进行编码的第二多个编码参数值；以及
使用所述第二多个编码参数值对所述第二输入帧进行编码。
10.根据权利要求9所述的方法，其中，确定所述第二输入帧的所述第二多个编码参数值包括：
根据所述更新后的速率控制模型，基于所述第二输入帧的预期比特率来确定所述第二输入帧的所述第二多个编码参数值中的一个编码参数值，以及
使所述第二多个编码参数值中的其他编码参数值以恒定间隔逐渐偏离所述第二多个编码参数值中的所述一个编码参数值。
11.根据权利要求9所述的方法，其中，确定所述第二输入帧的所述第二多个编码参数值包括：
根据所述更新后的速率控制模型，基于所述第二输入帧的预期比特率来确定所述第二输入帧的所述第二多个编码参数值中的一个编码参数值，以及
使所述第二多个编码参数值中的其他编码参数值以可变间隔逐渐偏离所述第二多个编码参数值中的所述一个编码参数值。
12.根据权利要求1所述的方法，所述方法还包括：
基于所述第一输入帧的所述预期比特率值、信道带宽、传输延迟或编码质量中的至少一项，从所述第一多个编码数据流中选择编码数据流作为所述第一输入帧的输出数据流。
13.根据权利要求12所述的方法，其中：
所述第一多个编码参数值包括主编码参数值，所述主编码参数值是根据所述速率控制模型从所述第一输入帧的所述预期比特率值计算得到的，并且
选择所述编码数据流作为所述输出数据流包括：选择所述第一多个编码数据流中的、通过使用所述主编码参数值对所述第一输入帧进行编码而获得的一个编码数据流作为输出数据流。
14.根据权利要求12所述的方法，其中，选择所述编码数据流作为所述输出数据流包括：选择所述第一多个编码数据流中的、具有所述第一多个比特率值中与所述第一输入帧的所述预期比特率值最接近的对应比特率的一个编码数据流作为所述输出数据流。
15.根据权利要求14所述的方法，其中，选择所述编码数据流作为所述输出数据流包括：选择所述第一多个编码数据流中的、具有所述第一多个比特率值中不大于且最接近所述第一输入帧的所述预期比特率值的对应比特率的一个编码数据流作为所述输出数据流。
16.根据权利要求15所述的方法，其中，选择所述编码数据流作为所述输出数据流包括：选择所述第一多个编码数据流中的、具有所述第一多个比特率值中与所述第一输入帧的所述预期比特率值的差位于预设范围内的对应比特率的一个编码数据流作为所述输出数据流。
17.一种用于数据编码中的速率控制的设备，包括：
一个或多个处理器；以及
一个或多个存储器，耦接到所述一个或多个处理器并存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器：
使用第一多个编码参数值对第一输入帧进行编码以生成第一多个编码数据流，所述第一多个编码数据流中的每个编码数据流使用所述第一多个编码参数值中的对应编码参数值来生成，并且所述第一多个编码数据流中的每个编码数据流具有第一多个比特率值中的对应比特率；
基于分别与所述第一多个编码数据流相对应的所述第一多个编码参数值和所述第一多个比特率值来更新表示编码参数与比特率之间的对应关系的速率控制模型；以及
基于更新后的速率控制模型来对第二输入帧进行编码。
18.根据权利要求17所述的设备，其中，所述指令还使所述一个或多个处理器：
通过所述速率控制模型至少部分地基于所述第一输入帧的预期比特率来提供所述第一多个编码参数值。
19.根据权利要求18所述的设备，其中，所述指令还使所述一个或多个处理器：
通过所述速率控制模型基于所述第一输入帧的所述预期比特率来提供所述第一多个编码参数值中的一个编码参数值，并且使所述第一多个编码参数值中的其他编码参数值以恒定间隔逐渐偏离所述第一多个编码参数值中的所述一个编码参数值。
20.根据权利要求18所述的设备，其中，所述指令还使所述一个或多个处理器：
通过所述速率控制模型基于所述第一输入帧的所述预期比特率来提供所述第一多个编码参数值中的一个编码参数值，并且使所述第一多个编码参数值中的其他编码参数值以可变间隔逐渐偏离所述第一多个编码参数值中的所述一个编码参数值。
21.根据权利要求18所述的设备，其中：
所述第一多个编码参数值包括主编码参数值，所述主编码参数值是根据所述速率控制模型从所述第一输入帧的所述预期比特率值计算得到的，以及
所述指令还使所述一个或多个处理器：使用所述第一输入帧迭代地更新所述速率控制模型，直到所述第一输入帧的所述预期比特率值与通过使用主编码参数值对所述第一输入帧进行编码而获得的实际比特率值之间的差位于预设范围内。
22.根据权利要求17所述的设备，其中，所述指令还使所述一个或多个处理器：
对所述第一输入帧实施多个单独编码处理以生成所述第一多个编码数据流，所述多个单独编码处理中的每个单独编码处理包括：使用所述第一多个编码参数值中的一个编码参数值对所述第一输入帧进行编码，以生成所述第一多个编码数据流中的对应的一个编码数据流。
23.根据权利要求22所述的设备，其中，所述指令还使所述一个或多个处理器：
对所述第一输入帧实施包括至少一个公共处理的所述多个单独编码处理。
24.根据权利要求17所述的设备，其中，所述指令还使所述一个或多个处理器：
基于所述更新后的速率控制模型和所述第二输入帧的预期比特率来确定所述第二输入帧的编码参数值。
25.根据权利要求17所述的设备，其中，所述指令还使所述一个或多个处理器：
至少部分地基于所述更新后的速率控制模型来确定用于对所述第二输入帧进行编码的第二多个编码参数值；以及
使用所述第二多个编码参数值对所述第二输入帧进行编码。
26.根据权利要求25所述的设备，其中，所述指令还使所述一个或多个处理器：
根据所述更新后的速率控制模型，基于所述第二输入帧的预期比特率来确定所述第二输入帧的所述第二多个编码参数值中的一个编码参数值，以及
使所述第二多个编码参数值中的其他编码参数值以恒定间隔逐渐偏离所述第二多个编码参数值中的所述一个编码参数值。
27.根据权利要求25所述的设备，其中，所述指令还使所述一个或多个处理器：
根据所述更新后的速率控制模型，基于所述第二输入帧的预期比特率来确定所述第二输入帧的所述第二多个编码参数值中的一个编码参数值，以及
使所述第二多个编码参数值中的其他编码参数值以可变间隔逐渐偏离所述第二多个编码参数值中的所述一个编码参数值。
28.根据权利要求17所述的设备，其中，所述指令还使所述一个或多个处理器：
基于所述第一输入帧的所述预期比特率值、信道带宽、传输延迟或编码质量中的至少一项，从所述第一多个编码数据流中选择编码数据流作为所述第一输入帧的输出数据流。
29.根据权利要求28所述的设备，其中：
所述第一多个编码参数值包括主编码参数值，所述主编码参数值是根据所述速率控制模型从所述第一输入帧的所述预期比特率值计算得到的，以及
所述指令还使所述一个或多个处理器：选择所述第一多个编码数据流中的、通过使用与所述第一输入帧的所述预期比特率值相对应的编码参数值对所述第一输入帧进行编码而获得的一个编码数据流作为所述输出数据流。
30.根据权利要求28所述的设备，其中，所述指令还使所述一个或多个处理器：
选择所述第一多个编码数据流中的、具有所述第一多个比特率值中与所述第一输入帧的所述预期比特率值最接近的对应比特率的一个编码数据流作为所述输出数据流。
31.根据权利要求30所述的设备，其中，所述指令还使所述一个或多个处理器：
选择所述第一多个编码数据流中的、具有所述第一多个比特率值中不大于且最接近所述第一输入帧的所述预期比特率值的对应比特率的一个编码数据流作为所述输出数据流。
32.根据权利要求31所述的设备，其中，所述指令还使所述一个或多个处理器：
选择所述第一多个编码数据流中的、具有所述第一多个比特率值中与所述第一输入帧的所述预期比特率值的差位于预设范围内的对应比特率的一个编码数据流作为所述输出数据流。
CN201880006102.0A 2017-01-18 2018-01-12 速率控制 Pending CN110169066A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/071491 WO2018132964A1 (zh) 2017-01-18 2017-01-18 传输编码数据的方法、装置、计算机系统和移动设备
CNPCT/CN2017/071491 2017-01-18
PCT/CN2018/072444 WO2018133734A1 (en) 2017-01-18 2018-01-12 Rate control

Publications (1)

Publication Number Publication Date
CN110169066A true CN110169066A (zh) 2019-08-23

Family

ID=59613570

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780000112.9A Expired - Fee Related CN107078852B (zh) 2017-01-18 2017-01-18 传输编码数据的方法、装置、计算机系统和移动设备
CN201880006102.0A Pending CN110169066A (zh) 2017-01-18 2018-01-12 速率控制

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780000112.9A Expired - Fee Related CN107078852B (zh) 2017-01-18 2017-01-18 传输编码数据的方法、装置、计算机系统和移动设备

Country Status (5)

Country Link
US (2) US20190342551A1 (zh)
EP (1) EP3571840B1 (zh)
JP (1) JP6862633B2 (zh)
CN (2) CN107078852B (zh)
WO (2) WO2018132964A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
CN107078852B (zh) * 2017-01-18 2019-03-08 深圳市大疆创新科技有限公司 传输编码数据的方法、装置、计算机系统和移动设备
CN112672152A (zh) * 2017-09-06 2021-04-16 深圳市大疆创新科技有限公司 无线数据传输方法和设备
WO2019047058A1 (zh) * 2017-09-06 2019-03-14 深圳市大疆创新科技有限公司 无线数据传输方法和设备
DE112018005254T5 (de) 2017-09-18 2020-06-18 Intel IP Corporation Vorrichtung, system und verfahren zur videocodierung
WO2019119175A1 (zh) * 2017-12-18 2019-06-27 深圳市大疆创新科技有限公司 码率控制方法、码率控制装置和无线通信设备
CN108986829B (zh) * 2018-09-04 2020-12-15 北京猿力未来科技有限公司 数据发送方法、装置、设备及存储介质
EP3857869A4 (en) * 2018-09-28 2022-07-13 INTEL Corporation TRANSPORT ORDERED VIDEO CODING
CN109168030B (zh) * 2018-10-12 2021-03-26 中南大学 一种视频转码方法、设备及其存储介质
US11368692B2 (en) * 2018-10-31 2022-06-21 Ati Technologies Ulc Content adaptive quantization strength and bitrate modeling
US11355139B2 (en) * 2020-09-22 2022-06-07 International Business Machines Corporation Real-time vs non-real time audio streaming
US11838796B2 (en) * 2021-08-18 2023-12-05 Corning Research & Development Corporation Compression and decompression between elements of a wireless communications system (WCS)
CN113660488B (zh) * 2021-10-18 2022-02-11 腾讯科技（深圳）有限公司 对多媒体数据进行流控及流控模型训练方法、以及装置
CN117615141B (zh) * 2023-11-23 2024-08-02 镕铭微电子(济南)有限公司 视频的编码方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998017065A1 (en) * 1996-10-11 1998-04-23 Qualcomm Incorporated Adaptive rate control for digital video compression
CN101867811A (zh) * 2009-04-16 2010-10-20 索尼公司 图像编码装置和图像编码方法
CN102868884A (zh) * 2011-07-07 2013-01-09 弗兰霍菲尔运输应用研究公司 针对码率-量化或者失真-量化模型函数的模型参数估计

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3265696B2 (ja) * 1993-04-01 2002-03-11 松下電器産業株式会社 画像圧縮符号化装置
JPH07212757A (ja) * 1994-01-24 1995-08-11 Toshiba Corp 画像圧縮符号化装置
JP3149673B2 (ja) * 1994-03-25 2001-03-26 松下電器産業株式会社 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
US7062445B2 (en) 2001-01-26 2006-06-13 Microsoft Corporation Quantization loop with heuristic approach
US7062429B2 (en) * 2001-09-07 2006-06-13 Agere Systems Inc. Distortion-based method and apparatus for buffer control in a communication system
WO2003056839A1 (en) * 2001-12-31 2003-07-10 Stmicroelectronics Asia Pacific Pte Ltd Video encoding
US20070013561A1 (en) 2005-01-20 2007-01-18 Qian Xu Signal coding
US20090225829A2 (en) 2005-07-06 2009-09-10 Do-Kyoung Kwon Method and apparatus for operational frame-layerrate control in video encoder
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US8077775B2 (en) 2006-05-12 2011-12-13 Freescale Semiconductor, Inc. System and method of adaptive rate control for a video encoder
JP5087627B2 (ja) * 2006-09-28 2012-12-05 トムソン ライセンシング 効果的なレート制御および拡張したビデオ符号化品質のためのρ領域フレームレベルビット割り当てのための方法
JP2008283560A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置およびその方法
JP5400876B2 (ja) * 2008-06-16 2014-01-29 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
EP2321969A4 (en) * 2008-09-09 2012-05-09 Onmobile Global Ltd METHOD AND APPARATUS FOR VIDEO TRANSMISSION
CN102036062B (zh) * 2009-09-29 2012-12-19 华为技术有限公司 视频编码方法、装置及电子设备
CN101800885A (zh) * 2010-02-26 2010-08-11 北京新岸线网络技术有限公司 一种视频数据分发方法及系统
CN101888542B (zh) * 2010-06-11 2013-01-09 北京数码视讯科技股份有限公司 视频转码的帧级码率控制方法及转码器
US8644383B2 (en) * 2011-03-10 2014-02-04 Microsoft Corporation Mean absolute difference prediction for video encoding rate control
CN102843351B (zh) * 2012-03-31 2016-01-27 华为技术有限公司 一种流媒体业务的处理方法、流媒体服务器及系统
CN103379362B (zh) * 2012-04-24 2017-07-07 腾讯科技（深圳）有限公司 视频点播方法和系统
US20130322516A1 (en) * 2012-05-31 2013-12-05 Broadcom Corporation Systems and methods for generating multiple bitrate streams using a single encoding engine
CN102970540B (zh) * 2012-11-21 2016-03-02 宁波大学 基于关键帧码率-量化模型的多视点视频码率控制方法
US9560361B2 (en) 2012-12-05 2017-01-31 Vixs Systems Inc. Adaptive single-field/dual-field video encoding
US9621902B2 (en) * 2013-02-28 2017-04-11 Google Inc. Multi-stream optimization
US20140328384A1 (en) * 2013-05-02 2014-11-06 Magnum Semiconductor, Inc. Methods and apparatuses including a statistical multiplexer with global rate control
US20140334553A1 (en) * 2013-05-07 2014-11-13 Magnum Semiconductor, Inc. Methods and apparatuses including a statistical multiplexer with bitrate smoothing
EP2879339A1 (en) * 2013-11-27 2015-06-03 Thomson Licensing Method for distributing available bandwidth of a network amongst ongoing traffic sessions run by devices of the network, corresponding device.
KR102249819B1 (ko) 2014-05-02 2021-05-10 삼성전자주식회사 시스템 온 칩과 이를 포함하는 데이터 처리 시스템
CN105208390B (zh) * 2014-06-30 2018-07-20 杭州海康威视数字技术股份有限公司 视频编码的码率控制方法及其系统
US10171807B2 (en) * 2015-01-29 2019-01-01 Arris Enterprises Llc Picture-level QP rate control for HEVC encoding
US9749178B2 (en) * 2015-09-18 2017-08-29 Whatsapp Inc. Techniques to dynamically configure target bitrate for streaming network connections
US20170094301A1 (en) * 2015-09-28 2017-03-30 Cybrook Inc. Initial Bandwidth Estimation For Real-time Video Transmission
CN105898211A (zh) * 2015-12-21 2016-08-24 乐视致新电子科技（天津）有限公司 一种处理多媒体信息的方法及装置
CN106170089B (zh) * 2016-08-25 2020-05-22 上海交通大学 基于h.265的多路编码方法
US10542262B2 (en) * 2016-11-15 2020-01-21 City University Of Hong Kong Systems and methods for rate control in video coding using joint machine learning and game theory
CN107078852B (zh) * 2017-01-18 2019-03-08 深圳市大疆创新科技有限公司 传输编码数据的方法、装置、计算机系统和移动设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998017065A1 (en) * 1996-10-11 1998-04-23 Qualcomm Incorporated Adaptive rate control for digital video compression
CN1251725A (zh) * 1996-10-11 2000-04-26 夸尔柯姆股份有限公司 用于数码视频压缩的自适应速率控制
CN101867811A (zh) * 2009-04-16 2010-10-20 索尼公司 图像编码装置和图像编码方法
US20100266047A1 (en) * 2009-04-16 2010-10-21 Kashu Takahashi Image coding apparatus and image coding method
CN102868884A (zh) * 2011-07-07 2013-01-09 弗兰霍菲尔运输应用研究公司 针对码率-量化或者失真-量化模型函数的模型参数估计

Also Published As

Publication number Publication date
CN107078852B (zh) 2019-03-08
US11159796B2 (en) 2021-10-26
EP3571840A4 (en) 2020-01-22
JP2020505830A (ja) 2020-02-20
CN107078852A (zh) 2017-08-18
WO2018132964A1 (zh) 2018-07-26
JP6862633B2 (ja) 2021-04-21
EP3571840B1 (en) 2021-09-15
US20190342771A1 (en) 2019-11-07
EP3571840A1 (en) 2019-11-27
US20190342551A1 (en) 2019-11-07
WO2018133734A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN110169066A (zh) 速率控制
CN111149358B (zh) 仿射帧间预测中子块尺寸推导的限制
TWI492634B (zh) 根據內容調適性二進制算數寫碼之寫碼器之二遍量化
CN101889405B (zh) 用于执行运动估计的方法和装置
JP5290325B2 (ja) Ｃａｂａｃコーダのためのレート歪みモデリングに基づいた量子化
CN104285433B (zh) 用于视频编码的运动传感器辅助的速率控制
US8311095B2 (en) Method and apparatus for transcoding between hybrid video codec bitstreams
KR101482896B1 (ko) 최적화된 디블록킹 필터
CN103404144A (zh) 视频译码中的经量化脉码调制
JP2008522500A (ja) パラメトリック方程式を使用した、ビデオ符号化のためのレート制御技法
KR20070121799A (ko) 동적으로 스케일링된 파일 인코딩
Lin et al. Rate control using spline-interpolated RD characteristics
CN113508592A (zh) 编码器、解码器及相应的帧间预测方法
KR100961760B1 (ko) 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
Zhang et al. Adaptive distributed compressed video sensing.
WO2020063599A1 (zh) 图像预测方法、装置以及相应的编码器和解码器
WO2021164014A1 (zh) 视频编码方法及装置
KR20040069445A (ko) 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
US20200374553A1 (en) Image processing
KR101691380B1 (ko) 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법
CN113395521A (zh) 图像编码和解码方法及装置
CN111095927A (zh) 视频数据编码
Li et al. Side information extrapolation using motion-aligned auto regressive model for compressed sensing based Wyner-Ziv codec
WO2024167518A1 (en) Cross component intra prediction with multiple parameters
WO2024226079A1 (en) Implicit masked blending mode

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190823