CN107277520A - 帧内预测的码率控制方法 - Google Patents

帧内预测的码率控制方法 Download PDF

Info

Publication number
CN107277520A
CN107277520A CN201710563668.0A CN201710563668A CN107277520A CN 107277520 A CN107277520 A CN 107277520A CN 201710563668 A CN201710563668 A CN 201710563668A CN 107277520 A CN107277520 A CN 107277520A
Authority
CN
China
Prior art keywords
msub
code tree
mrow
tree unit
rate control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710563668.0A
Other languages
English (en)
Other versions
CN107277520B (zh
Inventor
陈志波
李业
刘�东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201710563668.0A priority Critical patent/CN107277520B/zh
Publication of CN107277520A publication Critical patent/CN107277520A/zh
Application granted granted Critical
Publication of CN107277520B publication Critical patent/CN107277520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种帧内预测的码率控制方法，采用R‑λ模型，包括以下步骤：将视频中用于帧内编码的帧分成多个编码树单元；将多个编码树单元输入至预训练的卷积神经网络中，经运算得到多个编码树单元中每一个的模型参数；根据模型参数对多个编码树单元进行比特分配；得到多个编码树单元中每一个的目标比特数，完成帧内预测的码率控制。本发明由于通过卷积神经网络来预测R‑λ模型的参数，因此实现了对视频内容编码特性的精确刻画，从而提高了帧内预测编码的码率控制性能。

Description

帧内预测的码率控制方法
技术领域
本发明属于视频编码及码率控制领域，更具体地涉及一种帧内预测的码率控制方法。
背景技术
在视频编码中，码率控制的目的是在给定编码速率的限制下，使得编码后重建视频的质量达到最优。对于视频序列来说，采用帧内预测编码的帧(intra帧)比采用帧间预测编码的帧(inter帧)的码率控制更重要，主要体现在两个方面。一是与inter帧相比，intra帧通常消耗的比特更多；二是因为在帧间预测时会将intra帧作为参考，因此intra帧编码的质量会影响后续帧的编码。
在当前新一代的视频编码标准High Efficiency Video Coding(HEVC)中，针对intra帧的码率控制引入一个表征内容复杂度的量complexity(C)。复杂度的量是通过计算原始像素值的哈达玛变换，取变换系数的绝对值进行累加得到的。C的引入在一定程度上提高了intra帧的码率控制性能。但是由于复杂度不能代表所有内容的编码特性，因此这种方法依然有不完善之处。
发明内容
基于以上问题，本发明的主要目的在于提出一种帧内预测的码率控制方法，用于解决以上技术问题的至少之一。
为了实现上述目的，本发明提出了一种帧内预测的码率控制方法，采用R-λ模型，包括以下步骤：
步骤1、将视频中用于帧内编码的帧分成多个编码树单元；
步骤2、将多个编码树单元输入至预训练的卷积神经网络中，经运算得到多个编码树单元中每一个的模型参数；
步骤3、根据模型参数对多个编码树单元进行比特分配；得到多个编码树单元中每一个的目标比特数，完成帧内预测的码率控制。
在本发明的一些实施例中，上述R-λ模型为：
λ＝α·Rβ；
其中，λ为拉格朗日乘子，R为编码比特值；α及β为上述的模型参数。
在本发明的一些实施例中，上述步骤3具体包括以下步骤：
步骤31、根据模型参数，采用二分法得到帧级别的拉格朗日乘子；
步骤32、根据帧级别的拉格朗日乘子计算得到多个编码树单元中每一个的初始比特分配数；
步骤33、根据每一个编码树单元的初始比特分配数，及编码多个编码树单元中的每一个之前实际剩余的比特数，得到多个编码树单元中每一个的目标比特数，完成帧内预测的码率控制。
在本发明的一些实施例中，上述步骤33具体包括以下步骤：
设定多个编码树单元中第一个的目标比特数为其初始比特分配数；
后续的每一个编码树单元的目标比特数表示为：
其中，i表示第i个编码树单元，表示第i个编码树单元的初始比特分配数；表示自第i个编码树单元开始、剩余编码树单元的初始比特分配数的总和；表示编码该第i个编码树单元前，当前剩余的目标比特数；SW表示滑动窗口值；优选地，SW＝4。
在本发明的一些实施例中，上述步骤31具体包括以下步骤：
采用二分法迭代求解如下方程，得到帧级别的拉格朗日乘子；
其中，Nf为用于帧内编码的帧中当前帧分成的多个编码树单元的总数目；Rf表示当前帧的目标比特数；及为模型参数的变形值，λf为帧级别的拉格朗日乘子，此处，假设多个编码树单元的拉格朗日乘子即为帧级别的拉格朗日乘子。
在本发明的一些实施例中，上述多个编码树单元中每一个的初始比特分配数表示为：
在本发明的一些实施例中，对于边缘非标准大小的编码树单元，在步骤2之前，填充到标准大小后再输入到预训练的神经网络中，经运算得到的模型参数为填充后编码树单元的模型参数，根据填充后编码树单元的模型参数及一校正因子得到边缘非标准大小的编码树单元的模型参数。
在本发明的一些实施例中，根据上述填充后编码树单元的模型参数及一校正因子得到边缘非标准大小的编码树单元的模型参数时，采用以下公式：
α(a)＝α(b)·Sab；
β(a)＝β(b)；
其中，α(a)、β(a)为边缘非标准大小的编码树单元的模型参数；α(b)、β(b)为填充后编码树单元的模型参数，Sab为校正因子。
在本发明的一些实施例中，上述校正因子为：
其中，为边缘非标准大小的编码树单元的大小；为填充后编码树单元的大小；优选地，该校正因子的取值范围为1≤Sab≤4。
在本发明的一些实施例中，在训练所述卷积神经网络时，预先得到每个样本的R-λ模型的拟合曲线，并以该拟合曲线表征的α及β值作为每个样本的标签。
在本发明的一些实施例中，上述卷积神经网络运算包括四个卷积层、两个池化层和三个全连接层。
在本发明的一些实施例中，上述预训练的卷积神经网络采用模型参数的预测值和实际值的欧氏距离作为损失函数。
在本发明的一些实施例中，采用随机梯度下降方法优化卷积神经网络的网络参数。
在本发明的一些实施例中，步骤2中，输入的多个编码树单元，经所述卷积神经网络运算时，采用的数据为多个编码树单元中每一个的亮度分量。
本发明提出的帧内预测的码率控制方法，具有以下有益效果：
1、由于通过卷积神经网络来预测R-λ模型的参数，因此实现了对视频内容编码特性的精确刻画，从而提高了帧内预测编码的码率控制性能；
2、根据帧级别的拉格朗日乘子计算得到多个编码树单元中每一个的初始比特分配数，再根据初始比特分配数，且采用帧间帧码率的控制方法为参考，得到多个编码树单元中每一个的目标比特数，在每个序列编码一帧的情况下，可使帧内码率控制误差平均减小0.46％，同时Y分量BD-rate平均降低0.7％，U、V分量BD-rate平均降低约2％。
附图说明
图1是本发明一实施例提出的帧内预测的码率控制方法的框架示意图；
图2是本发明一实施例中运算得到模型参数的卷积神经网络结构示意图；
图3(a)是本发明一实施例中边缘非标准大小的编码树单元的示意图；
图3(b)是本发明一实施例中边缘非标准大小的编码树单元填充后的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
R-λ模型刻画了编码比特(R)和拉格朗日乘子(λ)之间的关系：
λ＝α·Rβ； (1)
其中α和β是模型参数，与视频内容有关。该模型把λ作为决定R的首要因素。通过实验验证了在帧内预测编码的帧(intra帧)编码的编码树单元(CTU)级别上，以上模型也同样适用，问题就在于如何获得与内容相关的参数α和β。
基于此，本发明提出了一种帧内预测的码率控制方法，采用R-λ模型，包括以下步骤：
步骤1、将视频中用于帧内编码的帧分成多个编码树单元；
步骤2、将多个编码树单元输入至预训练的卷积神经网络中，经运算得到多个编码树单元中每一个的模型参数；
步骤3、根据模型参数对多个编码树单元进行比特分配；得到多个编码树单元中每一个的目标比特数，完成帧内预测的码率控制。
因此，本发明由于通过卷积神经网络来预测R-λ模型的参数，因此实现了对视频内容编码特性的精确刻画，从而提高了intra帧的码率控制性能。
在本发明的一些实施例中，上述步骤3具体包括以下步骤：
步骤31、根据模型参数，采用二分法得到帧级别的拉格朗日乘子；
步骤32、根据帧级别的拉格朗日乘子计算得到多个编码树单元中每一个的初始比特分配数；
步骤33、根据每一个编码树单元的初始比特分配数，及编码多个编码树单元中的每一个之前实际剩余的比特数，得到多个编码树单元中每一个的目标比特数，完成帧内预测的码率控制。
在本发明的一些实施例中，上述步骤33具体为：
设定多个编码树单元中第一个的目标比特数为其初始比特分配数；
后续的每一个编码树单元的目标比特数表示为：
其中，i表示第i个编码树单元，表示第i个编码树单元的初始比特分配数；表示自第i个编码树单元开始、剩余编码树单元的初始比特分配数的总和；表示编码该第i个编码树单元前，当前剩余的目标比特数；SW表示滑动窗口值；优选地，SW＝4。
在本发明的一些实施例中，上述步骤31具体为：
采用二分法迭代求解如下方程，得到帧级别的拉格朗日乘子；
其中，Nf为用于帧内编码的帧中当前帧分成的多个编码树单元的总数目；Rf表示当前帧的目标比特数；及为模型参数的变形值，λf为帧级别的拉格朗日乘子，此处，假设多个编码树单元的拉格朗日乘子即为帧级别的拉格朗日乘子。
根据公式(1)可推算得到：
因此，及的值分别为：
在本发明的一些实施例中，上述多个编码树单元中每一个的初始比特分配数表示为：
在本发明的一些实施例中，对于边缘非标准大小的编码树单元，在步骤2之前，填充到标准大小后再输入到预训练的神经网络中，经进行运算得到的模型参数为填充后编码树单元的模型参数，根据填充后编码树单元的模型参数及一校正因子得到边缘非标准大小的编码树单元的模型参数。
在本发明的一些实施例中，根据上述填充后编码树单元的模型参数及一校正因子得到边缘非标准大小的编码树单元的模型参数时，采用以下公式(7)及公式(8)：
α(a)＝α(b)·Sab； (7)
β(a)＝β(b)； (8)
其中，α(a)、β(a)为边缘非标准大小的编码树单元的模型参数；α(b)、β(b)为填充后编码树单元的模型参数，Sab为校正因子。
在本发明的一些实施例中，上述校正因子为：
其中，为边缘非标准大小的编码树单元的大小；为填充后编码树单元的大小；优选地，该校正因子的取值范围为1≤Sab≤4。
在本发明的一些实施例中，上述卷积神经网络预先得到R-λ模型的拟合曲线，并以该拟合曲线表征的α及β值作为标签。例如，使用自然图片来训练网络，首先将图像转化成YUV420格式，然后利用HEVC参考软件在All intra模式下以11个不同的量化参数(QP)值(从20到40，取值间隔为2)进行压缩，得到每个编码树单元(CTU)的R和λ数值对。然后根据上述R-λ模型的关系式拟合曲线(我们以平均比特数，bits perpixel，bpp)作为R的度量，得到拟合结果的α和β值，作为标签。
在本发明的一些实施例中，步骤2中，卷积神经网络运算时，采用的数据为多个编码树单元中每一个的亮度分量，即提取每个64×64块(编码树单元)的亮度分量(Y)作为数据。
在本发明的一些实施例中，采用参数的预测值和实际值的欧氏距离作为损失函数，并且采用随机梯度下降方法优化网络参数。
训练完成后，在实际模型运用中，编码每一帧之前，提取每个CTU的Y分量，输入到两个训练好的网络，分别预测模型参数α和β。对于尺寸小于64×64的边缘CTU，首先采用填充的方法，用固定值128填充到正常大小，然后送入网络。之后通过把填充效应考虑在内，再对网络输出参数进行校正。
在本发明的一些实施例中，卷积神经网络包括4个卷积层、3个全连接层和2个池化层，该卷积神经网络以64×64的块作为输入，在最后一个全连接层输出模型参数的预测值。
以下通过具体实施例，对本发明提出的帧内预测的码率控制方法进行详细描述。
实施例
本实施例提出了一种基于卷积神经网络intra帧的码率控制方法，该方法采用的系统架构如图1所示。其中有两个网络分别用于学习输入CTU的α和β参数。对于输入的整帧图像，首先划分为若干个CTU，再将每个CTU分别作为两个网络的输入，经预测得到参数α和β。最后进行CTU级别的比特分配，得到每个CTU各自的λ参数。
该方法采用R-λ模型，包括以下步骤：
步骤1、将视频中用于帧内编码的帧分成多个编码树单元；
步骤2、将多个编码树单元输入至预训练的卷积神经网络中，经运算得到多个编码树单元中每一个的模型参数；
步骤3、根据模型参数对多个编码树单元进行比特分配；得到多个编码树单元中每一个的目标比特数，完成帧内预测的码率控制。
如图2所示，为用于计算得到模型参数的卷积神经网络结构，可以看出该网络结构包括4个卷积层(每层后面都接有非线性激活层ReLU)，2个池化(max pooling)层和3个全连接层。其中最后一个全连接层输出模型参数的预测值α或β。
对于边缘非标准大小的CTU，则需要先进行填充，再通过上述步骤二中的卷积神经网络运算。如图3(a)表示边缘非标准大小的CTU的原始结构，图3(b)表示图3(a)中CTU填充后的结构。卷积神经网络预测输出是图3(b)的参数，假定两个CTU的β值近似相等(通过对训练数据集的经验观察，发现不同CTU之间的β值相差不大，可看做近似相等)，然后使用公式(8)和公式(9)，从图3(b)的α参数得到图3(a)的α参数，其中校正因子Sab的值限制在区间[1，4]上。
具体地，上述步骤3为：得到每个CTU的模型参数后，按照以下步骤实施CTU级别的比特数分配：
1)采用二分法解出下面方程，得到帧级别的λ值(λf)：
其中Nf为一帧中包含的CTU总数目，αBi，βBi为模型参数的变形值，其表达式如公式(4)和公式(5)所示，Rf表示当前帧的目标比特数。
2)根据公式(6)计算得到每个CTU的初始比特分配数；
3)将每帧内的第一个CTU的目标比特数设为初始分配数，对于后续的CTU，第i个CTU的目标比特数按照公式(2)计算得到。
其中表示自第i个编码树单元开始、剩余编码树单元的初始比特分配数的总和：
Remfi表示编码第i个CTU前，当前帧的剩余目标比特数。
综上所述，本实施例中的码率控制方法，可整体概括为：将训练好的两个卷积神经网络植入HEVC intra码率控制中。实际码率控制中，如果当前帧为intra帧，则通过上述方法依次求解帧级别的λ值，并计算得到每个CTU的目标比特数，最后根据每个CTU的目标比特数，计算每个CTU的编码参数λ，即所述的拉格朗日乘子，以用于视频压缩编码。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种帧内预测的码率控制方法，采用R-λ模型，包括以下步骤：
步骤1、将视频中用于帧内编码的帧分成多个编码树单元；
步骤2、将所述多个编码树单元输入至预训练的卷积神经网络中，经运算得到所述多个编码树单元中每一个的模型参数；
步骤3、根据所述模型参数对所述多个编码树单元进行比特分配；得到所述多个编码树单元中每一个的目标比特数，完成所述帧内预测的码率控制。
2.如权利要求1所述的帧内预测的码率控制方法，其中，所述R-λ模型为：
λ＝α·Rβ；
其中，λ为拉格朗日乘子，R为编码比特值；α及β为所述的模型参数。
3.如权利要求2所述的帧内预测的码率控制方法，其中，所述步骤3具体包括以下步骤：
步骤31、根据所述模型参数，采用二分法得到帧级别的拉格朗日乘子；
步骤32、根据所述帧级别的拉格朗日乘子计算得到所述多个编码树单元中每一个的初始比特分配数；
步骤33、根据所述每一个编码树单元的初始比特分配数，及编码所述多个编码树单元中的每一个之前实际剩余的比特数，得到所述多个编码树单元中每一个的目标比特数，完成所述帧内预测的码率控制。
4.如权利要求3所述的帧内预测的码率控制方法，其中，所述步骤33具体包括以下步骤：
设定所述多个编码树单元中第一个的目标比特数为其初始比特分配数；
后续的每一个编码树单元的目标比特数表示为：
<mrow> <msub> <mi>R</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> <mo>=</mo> <msub> <mi>T</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> <mo>-</mo> <mfrac> <mrow> <msub> <mi>Tar</mi> <msub> <mi>f</mi> <mi>i</mi> </msub> </msub> <mo>-</mo> <mi>Re</mi> <mi> </mi> <msub> <mi>m</mi> <msub> <mi>f</mi> <mi>i</mi> </msub> </msub> </mrow> <mrow> <mi>S</mi> <mi>W</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，i表示第i个编码树单元，表示第i个编码树单元的初始比特分配数；表示自第i个编码树单元开始、剩余编码树单元的初始比特分配数的总和；表示编码该第i个编码树单元前，当前剩余的目标比特数；SW表示滑动窗口值；优选地，SW＝4。
5.如权利要求3所述的帧内预测的码率控制方法，其中，所述步骤31具体包括以下步骤：
采用二分法迭代求解如下方程，得到所述帧级别的拉格朗日乘子；
<mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>f</mi> </msub> </munderover> <msub> <mi>&amp;alpha;</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> <msubsup> <mi>&amp;lambda;</mi> <mi>f</mi> <msub> <mi>&amp;beta;</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> </msubsup> <mo>=</mo> <msub> <mi>R</mi> <mi>f</mi> </msub> <mo>;</mo> </mrow>
其中，Nf为所述用于帧内编码的帧中当前帧分成的多个编码树单元的总数目；Rf表示当前帧的目标比特数；及为所述模型参数的变形值，λf为所述帧级别的拉格朗日乘子，此处，假设所述多个编码树单元的拉格朗日乘子即为所述帧级别的拉格朗日乘子。
6.如权利要求5所述的帧内预测的码率控制方法，其中，所述多个编码树单元中每一个的初始比特分配数表示为：
<mrow> <msub> <mi>T</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> <mo>=</mo> <msub> <mi>&amp;alpha;</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> <mo>&amp;CenterDot;</mo> <msubsup> <mi>&amp;lambda;</mi> <mi>f</mi> <msub> <mi>&amp;beta;</mi> <msub> <mi>B</mi> <mi>i</mi> </msub> </msub> </msubsup> <mo>.</mo> </mrow>
7.如权利要求2所述的帧内预测的码率控制方法，其中，对于边缘非标准大小的编码树单元，在所述步骤2之前，填充到标准大小后再输入到所述预训练的神经网络中，经运算得到的模型参数为填充后编码树单元的模型参数，根据所述填充后编码树单元的模型参数及一校正因子得到所述边缘非标准大小的编码树单元的模型参数。
8.如权利要求7所述的帧内预测的码率控制方法，其中，根据所述填充后编码树单元的模型参数及一校正因子得到所述边缘非标准大小的编码树单元的模型参数时，采用以下公式：
α(α)＝α(b)·Sαb；
β(α)＝β(b)；
其中，α(a)、β(a)为所述边缘非标准大小的编码树单元的模型参数；α(b)、β(b)为所述填充后编码树单元的模型参数，Sab为所述校正因子；优选地，该校正因子为：
<mrow> <msub> <mi>S</mi> <mrow> <mi>a</mi> <mi>b</mi> </mrow> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msubsup> <mi>N</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>N</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mfrac> <mo>)</mo> </mrow> <msup> <mi>&amp;beta;</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> </msup> <mo>;</mo> </mrow>
其中，为所述边缘非标准大小的编码树单元的大小；为所述填充后编码树单元的大小；优选地，所述校正因子1≤Sab≤4。
9.如权利要求2所述的帧内预测的码率控制方法，其中，在训练所述卷积神经网络时，预先得到每个样本的所述R-λ模型的拟合曲线，并以该拟合曲线表征的α及β值作为每个样本的标签。
10.如权利要求1所述的帧内预测的码率控制方法，其中，所述卷积神经网络运算包括四个卷积层、两个池化层和三个全连接层；优选的，所述预训练的卷积神经网络采用所述模型参数的预测值和实际值的欧氏距离作为损失函数；优选地，步骤2中，输入的所述多个编码树单元，经所述卷积神经网络运算时，采用的数据为所述多个编码树单元中每一个的亮度分量。
CN201710563668.0A 2017-07-11 2017-07-11 帧内预测的码率控制方法 Active CN107277520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710563668.0A CN107277520B (zh) 2017-07-11 2017-07-11 帧内预测的码率控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710563668.0A CN107277520B (zh) 2017-07-11 2017-07-11 帧内预测的码率控制方法

Publications (2)

Publication Number Publication Date
CN107277520A true CN107277520A (zh) 2017-10-20
CN107277520B CN107277520B (zh) 2020-05-12

Family

ID=60073510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710563668.0A Active CN107277520B (zh) 2017-07-11 2017-07-11 帧内预测的码率控制方法

Country Status (1)

Country Link
CN (1) CN107277520B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105179A1 (zh) * 2017-11-29 2019-06-06 杭州海康威视数字技术股份有限公司 颜色分量的帧内预测方法及装置
CN109996071A (zh) * 2019-03-27 2019-07-09 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN111294595A (zh) * 2020-02-04 2020-06-16 清华大学深圳国际研究生院 一种基于深度强化学习的视频编码帧内码率控制方法
CN111868751A (zh) * 2018-09-18 2020-10-30 谷歌有限责任公司 在视频代码化的机器学习模型中使用应用于量化参数的非线性函数
CN113225554A (zh) * 2021-03-17 2021-08-06 北京大学 一种基于神经网络的图像编解码方法、装置、存储介质及终端
WO2022156688A1 (zh) * 2021-01-19 2022-07-28 华为技术有限公司 分层编解码的方法及装置
CN114827607A (zh) * 2022-03-25 2022-07-29 李勤来 改进的大数据视频高保真传输编码调控方法
WO2023103200A1 (zh) * 2021-12-10 2023-06-15 深圳市中兴微电子技术有限公司 视频码率控制方法及装置、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237210A (zh) * 2013-04-03 2013-08-07 中国科学技术大学 一种视频编码中比特分配的方法及系统
CN103888765A (zh) * 2014-03-27 2014-06-25 天格科技（杭州）有限公司 一种改进型R-λ模型H.265码率控制方法
CN106572351A (zh) * 2015-10-13 2017-04-19 腾讯科技（北京）有限公司 视频编码中的码率控制方法及装置
CN106791848A (zh) * 2016-12-20 2017-05-31 河南省电力勘测设计院 一种基于HEVC的Two‑Pass码率控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237210A (zh) * 2013-04-03 2013-08-07 中国科学技术大学 一种视频编码中比特分配的方法及系统
CN103888765A (zh) * 2014-03-27 2014-06-25 天格科技（杭州）有限公司 一种改进型R-λ模型H.265码率控制方法
CN106572351A (zh) * 2015-10-13 2017-04-19 腾讯科技（北京）有限公司 视频编码中的码率控制方法及装置
CN106791848A (zh) * 2016-12-20 2017-05-31 河南省电力勘测设计院 一种基于HEVC的Two‑Pass码率控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN LI.ET.AL: ""Rate control by R-lambda model for HEVC"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: SHANGHAI, CN, 10–19 OCT. 2012,JCTVC-K0103》 *
YE LI ET.AL: ""A convolutional neural network-based approach to rate control in HEVC intra coding"", 《2017 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING(VCIP)》 *
余嘉旭: ""基于支持向量机的HEVC中码率控制研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105179A1 (zh) * 2017-11-29 2019-06-06 杭州海康威视数字技术股份有限公司 颜色分量的帧内预测方法及装置
CN111868751A (zh) * 2018-09-18 2020-10-30 谷歌有限责任公司 在视频代码化的机器学习模型中使用应用于量化参数的非线性函数
CN111868751B (zh) * 2018-09-18 2024-05-28 谷歌有限责任公司 在视频代码化的机器学习模型中使用应用于量化参数的非线性函数
CN109996071A (zh) * 2019-03-27 2019-07-09 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN109996071B (zh) * 2019-03-27 2020-03-27 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN111294595A (zh) * 2020-02-04 2020-06-16 清华大学深圳国际研究生院 一种基于深度强化学习的视频编码帧内码率控制方法
CN111294595B (zh) * 2020-02-04 2022-01-07 清华大学深圳国际研究生院 一种基于深度强化学习的视频编码帧内码率控制方法
WO2022156688A1 (zh) * 2021-01-19 2022-07-28 华为技术有限公司 分层编解码的方法及装置
CN113225554A (zh) * 2021-03-17 2021-08-06 北京大学 一种基于神经网络的图像编解码方法、装置、存储介质及终端
CN113225554B (zh) * 2021-03-17 2022-08-16 北京大学 一种基于神经网络的图像编解码方法、装置、存储介质及终端
WO2023103200A1 (zh) * 2021-12-10 2023-06-15 深圳市中兴微电子技术有限公司 视频码率控制方法及装置、计算机可读存储介质
CN114827607A (zh) * 2022-03-25 2022-07-29 李勤来 改进的大数据视频高保真传输编码调控方法

Also Published As

Publication number Publication date
CN107277520B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN107277520A (zh) 帧内预测的码率控制方法
CN108681991A (zh) 基于生成对抗网络的高动态范围反色调映射方法及系统
CN109218727A (zh) 视频处理的方法和装置
CN104702962A (zh) 帧内编解码方法、编码器和解码器
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN101674472A (zh) 多视点视频编码的多级码率控制方法
CN108495135A (zh) 一种屏幕内容视频编码的快速编码方法
CN101572806B (zh) 一种基于h.264的i帧码率控制方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN103533365B (zh) 比特率控制方法与比特率控制系统
CN106713929A (zh) 一种基于深度神经网络的视频帧间预测增强方法
CN101917614A (zh) 一种基于h.264分层b帧编码结构的码率控制方法
CN105120295B (zh) 一种基于四叉树编码分割的hevc复杂度控制方法
CN105120282A (zh) 一种时域依赖的码率控制比特分配方法
CN110136057A (zh) 一种图像超分辨率重建方法、装置及电子设备
CN104994382A (zh) 一种感知率失真的优化方法
CN106937112A (zh) 基于h.264视频压缩标准的码率控制方法
CN106791848A (zh) 一种基于HEVC的Two‑Pass码率控制方法
CN104202605B (zh) 一种通过降低分辨率预测高清图像编码单元cu的划分方式的方法及其实现装置
CN111163314A (zh) 一种图像压缩方法及系统
CN106101703A (zh) 一种面向数字kvm切换器的屏幕视频压缩方法
CN107690069A (zh) 一种数据驱动的级联视频编码方法
CN105430395B (zh) 一种基于最佳比特分配的hevc ctu级码率控制方法
CN103763566A (zh) 基于三维矩阵wdct变换的彩色半调图像压缩方法
CN117097906B (zh) 一种区域医疗资源高效利用的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant