CN110769254B - 一种视频帧的码率配置方法、系统及设备 - Google Patents

一种视频帧的码率配置方法、系统及设备 Download PDF

Info

Publication number
CN110769254B
CN110769254B CN201910956977.3A CN201910956977A CN110769254B CN 110769254 B CN110769254 B CN 110769254B CN 201910956977 A CN201910956977 A CN 201910956977A CN 110769254 B CN110769254 B CN 110769254B
Authority
CN
China
Prior art keywords
macro block
video frame
coded data
data amount
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910956977.3A
Other languages
English (en)
Other versions
CN110769254A (zh
Inventor
林鹏程
黄学辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201910956977.3A priority Critical patent/CN110769254B/zh
Priority to PCT/CN2019/118056 priority patent/WO2021068341A1/zh
Publication of CN110769254A publication Critical patent/CN110769254A/zh
Application granted granted Critical
Publication of CN110769254B publication Critical patent/CN110769254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频帧的码率配置方法、系统及设备，其中，所述方法包括：建立宏块的编码数据量与宏块的配置参数之间的映射关系；根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量；识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。本申请提供的技术方案，能够具备较好的画质提升效果。

Description

一种视频帧的码率配置方法、系统及设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种视频帧的码率配置方法、系统及设备。
背景技术
随着视频画质的提升，视频的编码数据量也在不断增长。然而，有限的网络带宽，使得视频画质不可能无限提升。因此，在有限的带宽或者有限的编码数据量的前提下，如何尽可能地提高视频的画质成为了一个亟待解决的问题。
随着图像处理技术的发展，出现了多种不同的编码标准。例如，这些编码标准可以包括JPEG、JVT、MPEG、H.26X等。在进行视频编码时，某些编码标准可以针对每个视频帧的复杂度以及每个视频帧的参考权重，从而为不同的视频帧分配不同的编码数据量。这样的编码方式，虽然能够提升其中部分视频帧的画质，但却牺牲了其它视频帧的画质。用户在观看视频时，会产生画质忽高忽低的感觉。因此，这样的编码方式无法达到较好的画质提升效果。
发明内容
本申请的目的在于提供一种视频帧的码率配置方法、系统及设备，能够具备较好的画质提升效果。
为实现上述目的，本申请一方面提供一种视频帧的码率配置方法，所述视频帧被划分为多个宏块；所述方法包括：建立宏块的编码数据量与宏块的配置参数之间的映射关系；根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量；识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。
为实现上述目的，本申请另一方面还提供一种视频帧的码率配置系统，所述视频帧被划分为多个宏块；所述系统包括：映射关系建立单元，用于建立宏块的编码数据量与宏块的配置参数之间的映射关系；编码数据量确定单元，用于根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量；编码单元，用于识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。
为实现上述目的，本申请另一方面还提供一种视频帧的码率配置设备，所述设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的视频帧的码率配置方法。
由上可见，本申请一个或者多个实施方式提供的技术方案，可以预先建立宏块的编码数据量与配置参数之间的映射关系。在实际应用中，编码数据量通常是固定在一个有限的范围内，因此可以针对该范围内的编码数据量，建立与配置参数之间精确的映射关系。在对视频帧进行编码时，可以将视频帧划分为多个不同的宏块。针对每个宏块，可以将初始的配置参数代入上述的映射关系，从而确定出各个宏块的实际编码数据量。在进行画质改善时，可以根据人眼视觉原理，在视频帧中识别出人眼关注的目标区域。针对目标区域内的内容可以进行画质提升，而针对目标区域外的内容，则可以适当降低画质。
具体地，根据画质提升所需的画质改善系数，可以在保持视频帧的实际编码数据量不变的情况下，重新确定视频帧中各个宏块的编码数据量和配置参数。这样，根据重新确定的配置参数，便可以对视频帧中的各个宏块进行编码，从而完成画质改善的过程。
可见，通过上述的方案，对于人眼关注的目标区域，可以进行画质提升，而对于人眼不关注的区域，则可以适当降低画质。一方面可以保证视频帧的实际编码数据量不会出现大幅度变化，另一方面可以保证用户在观看时，对于自身关注的区域始终会呈现较高的画质，从而具备较高的画质提升效果。
附图说明
为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施方式中视频帧的码率配置方法步骤图；
图2是本发明实施方式中映射关系的模型示意图；
图3是本发明实施方式中视频帧的码率配置系统示意图；
图4是本发明实施方式中视频帧的码率配置设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
本申请提供的视频帧的码率配置方法，可以对视频帧中宏块(MacroB l ock)的编码数据量进行调节，从而达到不同区域的宏块具备不同的编码数据量的效果。具体地，在对视频帧编码时，可以将视频帧划分为多个宏块。在实际应用中，划分得到的宏块通常具备相同的尺寸。当然，划分得到的宏块也可以根据所处区域的不同，而具备不同的尺寸，本申请对此并不做限制。
在本实施方式中，视频帧中的各个宏块，可以根据与参考宏块之间的残差，并对该残差进行数学变换，从而得到各个宏块的残差变换(SATD，Sum of Absolute TransformedDifference)值。具体地，可以提取出当前宏块与参考宏块各自的像素矩阵，并将两个像素矩阵相减，从而得到两个宏块的残差。后续，可以对该残差进行hadamard变换，并将得到的数值作为当前宏块的SATD值。在对视频帧进行编码时，除了需要给各个宏块计算SATD值，还需要为各个宏块设置量化偏置参数，该量化偏置参数可以用于节省编码后的字节数。在实际应用中，可以借助于现有编码标准中的方式来计算各个宏块的量化偏置参数。例如，可以通过x264中自带的MB-Tree算法分析各个宏块的复杂度，从而计算得到各个宏块的量化偏置参数。上述的残差变换值和量化偏置参数，都可以作为宏块的配置参数。
在本实施方式中，按照上述方式确定的各个宏块的SATD值和量化偏置参数，可以作为各个宏块的初始SATD值和初始量化偏置参数。后续，可以通过如图1所示的步骤，实现对视频帧的码率配置过程。具体地，请参阅图1，在一个实施方式中，视频帧的码率配置方法可以包括以下多个步骤。
S1：建立宏块的编码数据量与宏块的配置参数之间的映射关系。
在实际应用中，宏块的配置参数可以包括上述的残差变换值和量化偏置参数，根据宏块的SATD值和量化偏置参数，可以计算得到宏块的实际编码数据量。在当前的编码标准中已经存在编码数据量、SATD值以及量化偏置参数之间的映射关系，但是，这种映射关系在码率较低的场景下不够准确。鉴于此，在本实施方式中，可以预先针对低码率的场景，通过机器学习的方法，重新拟合出编码数据量、SATD值、量化偏置参数之间的映射关系。
具体地，在重新拟合该映射关系时，首先可以获取指定码率范围内的视频帧样本。该指定码率范围，可以是码率较低的范围。例如，该指定码率范围可以是100kbps至300kpbs的范围。在该指定码率范围内的视频帧样本都可以是已经完成了编码的视频帧，通过分析这些视频帧中宏块的编码数据量与宏块的SATD值和量化偏置参数之间的关系，便可以得到低码率场景下精确的映射关系。
在本实施方式中，针对每个视频帧样本，可以识别视频帧样本中各个宏块的编码数据量、SATD值和量化偏置参数，后续，可以基于识别得到的编码数据量、SATD值和量化偏置参数训练得到预估模型。在训练过程中，可以选用不同的方法得到最终的预估模型。例如，可以采用支持向量机(Support Vector Machine,SVM)、逻辑回归等算法，将识别得到的SATD值和量化偏置参数作为输入数据，并将对应的编码数据量与输出结果进行比较，从而确定出实际的编码数据量与输出结果之间的误差。通过该误差，对预估模型进行不断校正，从而使得输出结果与实际的编码数据量之间的误差能够限制在一定的允许范围内。这样，通过大量的视频帧样本进行训练，便可以得到比较精确的预估模型。该预估模型的输入可以是宏块的SATD值和量化偏置参数，输出可以是预测得到的宏块的编码数据量。
在本实施方式中，预估模型的输入数据和输出结果之间的数学关系，可以通过一定的公式来表达，该数学关系，可以作为步骤S1中建立的映射关系。
具体地，以下从数学公式的角度来阐述预估模型的训练过程。首先，该预估模型的数学表达式可以如下所示：
Bi＝w·φ(Si,Qi)+b
其中，Bi表示视频帧样本中第i个宏块的编码数据量，Si表示该第i个宏块的SATD值，Qi表示该第i个宏块的量化偏置参数，φ(Si,Qi)表示以SATD值和量化偏置参数为自变量的核函数，w表示核函数的线性系数，b表示待定常数。
由此可见，在编码数据量与SATD值和量化偏置参数的映射关系中，宏块的残差变换值和量化偏置参数可以作为核函数的自变量，核函数还可以具备线性系数，并且在该映射关系中还包括待定常数。为了确定出该数学表达式，则需要确定其中的线性系数和待定常数。此外，还需要确定核函数中除了SATD值和量化偏置参数之外的其它变量的赋值。
具体地，可以将上述表征映射关系的表达式转换为携带约束条件的最小值问题，该最小值问题的表达式可以如下所示：
Figure BDA0002227661350000051
其中，ξi和ξi *可以作为第i个宏块的松弛变量，C可以作为惩罚因子，l则表示当前的视频帧样本中包含的宏块的数量。
可见，表征所述最小值问题的表达式中以及表征所述约束条件的表达式中均可以包含松弛变量，并且表征所述最小值问题的表达式中还可以包含惩罚因子。
为了求解上述的最小值问题，可以在上述的最小值问题中引入拉格朗日乘子，从而将上述的最小值问题转换为对偶问题，并通过对该对偶问题进行求解，得到上述的线性系数和待定常数的赋值。具体地，引入拉格朗日乘子ai后，上述的最小值问题便可以转换为以下的对偶形式：
Figure BDA0002227661350000061
其中，ai和
Figure BDA0002227661350000062
可以是引入的拉格朗日乘子，ε为松弛变量的实部，yi为第i个宏块实际的编码数据量。
在求解上述的对偶问题时，核函数可以采用径向基核函数，该径向基核函数的表达式可以如下所示：
Figure BDA0002227661350000063
其中，σ表示拟合参数。
在本实施方式中，通过求解上述的对偶问题，从而得到拉格朗日乘子的具体赋值。通过在将最小值问题转换为对偶问题的过程中，拉格朗日乘子与线性系数和待定常数之间的变换关系，从而可以由拉格朗日乘子的具体赋值，反推出线性系数和待定常数的赋值。最终，便可以得到预估模型的数学表达式，该数据表达式可以作为建立的映射关系，该映射关系可以作为低码率下编码数据量、SATD值和量化偏置参数三者之间的映射关系。
S3：根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量。
在本实施方式中，宏块的初始配置参数，可以指初始SATD值和初始量化偏置参数，这样，可以将待编码的视频帧中各个宏块的初始SATD值和初始量化偏置参数代入上述的映射关系中，从而确定出各个宏块的实际编码数据量。由于上述的映射关系是基于低码率场景下训练得到的，因此根据上述的映射关系确定出的实际编码数据量比较准确。在得到各个宏块的实际编码数据量后，这些宏块的实际编码数据量之和，便可以作为视频帧的实际编码数据量。
S5：识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。
在本实施方式中，考虑到用户在观看视频时，通常会关注于画面中的一部分主要内容，而对于其它内容并不会特别在意。鉴于此，可以将视频帧中用户关注的区域进行画质增强，而对于用户不关注的区域，则可以适当降低画质，从而在保持视频帧整体编码数据量不变的情况下，提升用户的观看体验。
具体地，可以识别视频帧中用户关注的目标区域。在实际应用中，识别目标区域的方式也可以多种多样。例如，可以将视频帧中的固定区域作为目标区域，该固定区域例如可以是视频帧的中心区域。此外，还可以根据视频帧的对焦信息来确定视频帧中的目标区域。通常而言，视频帧中主要展示的内容，往往会具备较高的清晰度，而清晰度可以通过不同的对焦信息来表示。因此，主要展示的内容，和其它部分的内容，可以具备不同的对焦信息。通过识别视频帧中的对焦信息，从而可以确定出视频帧中用户关注的目标区域。再者，还可以通过目标跟踪算法，确定出视频帧中的目标区域。具体地，首先可以进行特征提取，从而提取出视频帧中的灰度特征、颜色特征、纹理特征、Haar-like矩形特征、兴趣点特征、超像素特征中的一个或者多个特征。然后，通过运动模型分析相邻的多个视频帧中目标对象的运动状态，从而确定出目标对象所处的候选区域。其中，运动模型可以是均值漂移(Meanshift)、滑动窗口(Slide window)、卡尔曼滤波(Kalman Filtering)、粒子滤波(ParticleFiltering)等模型中的一种。最终，针对确定出的候选区域，可以通过外观模型(Appearance Model)在当前的视频帧的候选区域内判断是否存在被跟踪的目标对象。如果存在，则可以将该候选区域作为视频帧的目标区域。当然，在实际应用中还包括更多的方式来确定视频帧中的目标区域，本实施方式中以上例举的只是可能的实现方式，并不表示本申请的方案只能适用于上述的实现方式。
在本实施方式中，在对视频帧进行编码时，可以为目标区域分配多一些的编码数据量，从而提升目标区域的画质。具体地，在提升目标区域的画质时，可以预先确定一个画质改善系数。该画质改善系数可以基于目标区域中宏块当前的编码数据量和改善后的编码数据量来确定。例如，当前的编码数据量为100kb，而改善后的编码数据量需要达到200kb，那么画质改善系数便可以是2。在获取了画质改善系数后，可以在保持视频帧的实际编码数据量不变的情况下，重新确定所述视频帧中各个所述宏块的编码数据量和残差变换值。
具体地，可以在视频帧的各个宏块中确定位于目标区域内的目标宏块，针对这部分目标宏块可以进行画质增强。因此，可以将所述目标宏块的实际编码数据量与所述画质改善系数的乘积，作为所述目标宏块重新确定后的编码数据量。这样，目标区域重新确定后的编码数据量
Figure BDA0002227661350000081
便可以通过以下公式确定：
Figure BDA0002227661350000082
其中，r为所述画质改善系数，ROI(Region Of Interest，感兴趣区域)为上述的目标区域中包含的宏块数量。
在本实施方式中，可以计算各个所述目标宏块重新确定后的编码数据量之和，并计算所述视频帧的实际编码数据量与所述编码数据量之和的差值，该差值
Figure BDA0002227661350000083
可以通过以下公式表示：
Figure BDA0002227661350000084
其中，CSTotal表示视频帧的实际编码数据量，该差值
Figure BDA0002227661350000085
可以表示为经过画质调节后，除目标区域以外的其它区域的编码数据量的总和。这样，可以确定所述视频帧中位于所述目标区域外的其它宏块的数量，并将所述差值
Figure BDA0002227661350000086
与确定的所述数量之间的比值作为所述其它宏块重新确定后的编码数据量。
在本实施方式中，在计算出各个宏块重新确定后的编码数据量后，可以进一步地确定各个宏块新的SATD值。具体地，可以将目标宏块的初始残差变换值与所述画质改善系数的乘积，作为所述目标宏块重新确定后的残差变换值。目标宏块重新确定后的SATD值
Figure BDA0002227661350000087
可以如下所示：
Figure BDA0002227661350000088
其中，Si表示第i个宏块(如果该宏块是目标宏块)的初始SATD值。
然后，可以将计算得到的所述差值
Figure BDA0002227661350000089
与所述其它宏块的实际编码数据量之和CSNROI的比值，作为所述其它宏块的画质调节系数，并将所述其它宏块的初始残差变换值与所述画质调节系数的乘积，作为所述其它宏块重新确定后的残差变换值。具体地，其它宏块的画质调节系数可以如下所示：
Figure BDA00022276613500000810
那么其它宏块重新确定后的残差变换值可以如下所示：
Figure BDA00022276613500000811
其中，Si表示第i个宏块(如果该宏块是其它宏块)的初始SATD值。
在本实施方式中，经过上述的方式，可以在保持视频帧的实际编码数据量不变的情况下，通过画质改善系数，重新确定目标区域和其它区域中的各个宏块的编码数据量和SATD值。这样，根据步骤S1确定出的映射关系，可以将重新确定的编码数据量和SATD值代入该映射关系中，从而计算出宏块重新确定的量化偏置参数。这样，通过重新确定的SATD值和量化偏置参数，便可以对视频帧中的宏块进行编码，从而得到符合预期码率的编码后的视频帧。
由上可见，本申请建立的映射关系，可以通过图2所示的模型来表示。在图2中，SATD值和量化偏置参数可以作为输入数据，从而预测出宏块的编码数据量。此外，如果限定了宏块预期的编码数据量，并且设定了宏块的SATD值，那么也可以根据该模型推导出宏块实际的量化偏置参数。这样，通过对低码率场景下的视频帧样本进行模型训练，从而可以建立编码数据量与画质提升之间的量化关系，并且可以动态地实现视频中RO I的码率分配。
请参阅图3，本申请还提供一种视频帧的码率配置系统，所述视频帧被划分为多个宏块；所述系统包括：
映射关系建立单元，用于建立宏块的编码数据量与宏块的配置参数之间的映射关系；
编码数据量确定单元，用于根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量；
编码单元，用于识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。
在一个实施方式中，所述配置参数包括残差变换值和量化偏置参数；所述编码单元包括：
参数重新确定模块，用于重新确定所述视频帧中各个所述宏块的编码数据量和残差变换值；
量化偏置参数计算模块，用于根据所述映射关系，以及重新确定的各个所述宏块的编码数据量和残差变换值，计算各个所述宏块调整后的量化偏置参数，以通过各个所述宏块重新确定的残差变换值和计算得到的量化偏置参数对所述视频帧进行编码。
在一个实施方式中，所述映射关系建立单元包括：
样本处理模块，用于获取指定码率范围内的视频帧样本，并将所述视频帧样本划分为多个宏块；
训练模块，用于识别所述视频帧样本中各个宏块的编码数据量、残差变换值和量化偏置参数，并基于识别得到的编码数据量、残差变换值和量化偏置参数训练得到预估模型；
关系建立模块，用于将所述预估模型的输入数据和输出结果之间的数学关系，作为建立的宏块的编码数据量与宏块的残差变换值和量化偏置参数之间的映射关系。
在一个实施方式中，所述参数重新确定单元包括：
画质改善模块，用于在所述视频帧的各个宏块中确定位于所述目标区域内的目标宏块，并将所述目标宏块的实际编码数据量与所述画质改善系数的乘积，作为所述目标宏块重新确定后的编码数据量；
差值计算模块，用于计算各个所述目标宏块重新确定后的编码数据量之和，并计算所述视频帧的实际编码数据量与所述编码数据量之和的差值；
画质调整模块，用于确定所述视频帧中位于所述目标区域外的其它宏块的数量，并将所述差值与确定的所述数量之间的比值作为所述其它宏块重新确定后的编码数据量。
在一个实施方式中，所述参数重新确定单元还包括：
残差变换值改善模块，用于将所述目标宏块的初始残差变换值与所述画质改善系数的乘积，作为所述目标宏块重新确定后的残差变换值；
残差变换值调节模块，用于将计算得到的所述差值与所述其它宏块的实际编码数据量之和的比值，作为所述其它宏块的画质调节系数，并将所述其它宏块的初始残差变换值与所述画质调节系数的乘积，作为所述其它宏块重新确定后的残差变换值。
请参阅图4，本申请还提供一种视频帧的码率配置设备，所述设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，可以实现上述的视频帧的码率配置方法。
在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括：利用电能方式存储信息的装置，如RAM或ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器或U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器或石墨烯存储器等等。
在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
由上可见，本申请一个或者多个实施方式提供的技术方案，可以预先建立宏块的编码数据量与配置参数之间的映射关系。在实际应用中，编码数据量通常是固定在一个有限的范围内，因此可以针对该范围内的编码数据量，建立与配置参数之间精确的映射关系。在对视频帧进行编码时，可以将视频帧划分为多个不同的宏块。针对每个宏块，可以将初始的配置参数代入上述的映射关系，从而确定出各个宏块的实际编码数据量。在进行画质改善时，可以根据人眼视觉原理，在视频帧中识别出人眼关注的目标区域。针对目标区域内的内容可以进行画质提升，而针对目标区域外的内容，则可以适当降低画质。
具体地，根据画质提升所需的画质改善系数，可以在保持视频帧的实际编码数据量不变的情况下，重新确定视频帧中各个宏块的编码数据量和配置参数。这样，根据重新确定的配置参数，便可以对视频帧中的各个宏块进行编码，从而完成画质改善的过程。
可见，通过上述的方案，对于人眼关注的目标区域，可以进行画质提升，而对于人眼不关注的区域，则可以适当降低画质。一方面可以保证视频帧的实际编码数据量不会出现大幅度变化，另一方面可以保证用户在观看时，对于自身关注的区域始终会呈现较高的画质，从而具备较高的画质提升效果。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对系统和设备的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。
本领域内的技术人员应明白，本发明的实施方式可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施方式而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种视频帧的码率配置方法，其特征在于，所述视频帧被划分为多个宏块；所述方法包括：
建立宏块的编码数据量与宏块的配置参数之间的映射关系，其中，所述配置参数包括残差变换值和量化偏置参数；
根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量；
识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数、所述映射关系、各个所述宏块的初始配置参数和实际编码数据量，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。
2.根据权利要求1所述的方法，其特征在于，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数包括：
重新确定所述视频帧中各个所述宏块的编码数据量和残差变换值；
根据所述映射关系，以及重新确定的各个所述宏块的编码数据量和残差变换值，计算各个所述宏块调整后的量化偏置参数，以通过各个所述宏块重新确定的残差变换值和计算得到的量化偏置参数对所述视频帧进行编码。
3.根据权利要求2所述的方法，其特征在于，所述映射关系按照以下方式建立：
获取指定码率范围内的视频帧样本，并将所述视频帧样本划分为多个宏块；
识别所述视频帧样本中各个宏块的编码数据量、残差变换值和量化偏置参数，并基于识别得到的编码数据量、残差变换值和量化偏置参数训练得到预估模型；
将所述预估模型的输入数据和输出结果之间的数学关系，作为建立的宏块的编码数据量与宏块的残差变换值和量化偏置参数之间的映射关系。
4.根据权利要求2所述的方法，其特征在于，在所述映射关系中，所述宏块的残差变换值和量化偏置参数作为核函数的自变量，所述核函数具备线性系数，并且在所述映射关系中还包括待定常数。
5.根据权利要求4所述的方法，其特征在于，在建立所述映射关系时，所述方法还包括：
将表征所述映射关系的表达式转换为携带约束条件的最小值问题，其中，表征所述最小值问题的表达式中以及表征所述约束条件的表达式中均包含松弛变量，并且表征所述最小值问题的表达式中还包含惩罚因子；
在所述最小值问题中引入拉格朗日乘子，以将所述最小值问题转换为对偶问题，并通过对所述对偶问题进行求解，得到所述线性系数和所述待定常数的赋值。
6.根据权利要求2所述的方法，其特征在于，按照以下方式重新确定所述视频帧中各个所述宏块的编码数据量：
在所述视频帧的各个宏块中确定位于所述目标区域内的目标宏块，并将所述目标宏块的实际编码数据量与所述画质改善系数的乘积，作为所述目标宏块重新确定后的编码数据量；
计算各个所述目标宏块重新确定后的编码数据量之和，并计算所述视频帧的实际编码数据量与所述编码数据量之和的差值；
确定所述视频帧中位于所述目标区域外的其它宏块的数量，并将所述差值与确定的所述数量之间的比值作为所述其它宏块重新确定后的编码数据量。
7.根据权利要求6所述的方法，其特征在于，按照以下方式重新确定所述视频帧中各个所述宏块的残差变换值：
将所述目标宏块的初始残差变换值与所述画质改善系数的乘积，作为所述目标宏块重新确定后的残差变换值；
将计算得到的所述差值与所述其它宏块的实际编码数据量之和的比值，作为所述其它宏块的画质调节系数，并将所述其它宏块的初始残差变换值与所述画质调节系数的乘积，作为所述其它宏块重新确定后的残差变换值。
8.一种视频帧的码率配置系统，其特征在于，所述视频帧被划分为多个宏块；所述系统包括：
映射关系建立单元，用于建立宏块的编码数据量与宏块的配置参数之间的映射关系，其中，所述配置参数包括残差变换值和量化偏置参数；
编码数据量确定单元，用于根据所述映射关系和所述视频帧中各个所述宏块的初始配置参数，确定各个所述宏块的实际编码数据量；其中，各个所述宏块的实际编码数据量构成所述视频帧的实际编码数据量；
编码单元，用于识别所述视频帧中的目标区域，并在保持所述视频帧的实际编码数据量不变的情况下，根据所述目标区域的画质改善系数、所述映射关系、各个所述宏块的初始配置参数和实际编码数据量，重新确定所述视频帧中各个所述宏块的编码数据量和配置参数，以通过各个所述宏块重新确定的配置参数对所述视频帧进行编码。
9.根据权利要求8所述的系统，其特征在于，所述编码单元包括：
参数重新确定模块，用于重新确定所述视频帧中各个所述宏块的编码数据量和残差变换值；
量化偏置参数计算模块，用于根据所述映射关系，以及重新确定的各个所述宏块的编码数据量和残差变换值，计算各个所述宏块调整后的量化偏置参数，以通过各个所述宏块重新确定的残差变换值和计算得到的量化偏置参数对所述视频帧进行编码。
10.根据权利要求9所述的系统，其特征在于，所述映射关系建立单元包括：
样本处理模块，用于获取指定码率范围内的视频帧样本，并将所述视频帧样本划分为多个宏块；
训练模块，用于识别所述视频帧样本中各个宏块的编码数据量、残差变换值和量化偏置参数，并基于识别得到的编码数据量、残差变换值和量化偏置参数训练得到预估模型；
关系建立模块，用于将所述预估模型的输入数据和输出结果之间的数学关系，作为建立的宏块的编码数据量与宏块的残差变换值和量化偏置参数之间的映射关系。
11.根据权利要求9所述的系统，其特征在于，所述参数重新确定单元包括：
画质改善模块，用于在所述视频帧的各个宏块中确定位于所述目标区域内的目标宏块，并将所述目标宏块的实际编码数据量与所述画质改善系数的乘积，作为所述目标宏块重新确定后的编码数据量；
差值计算模块，用于计算各个所述目标宏块重新确定后的编码数据量之和，并计算所述视频帧的实际编码数据量与所述编码数据量之和的差值；
画质调整模块，用于确定所述视频帧中位于所述目标区域外的其它宏块的数量，并将所述差值与确定的所述数量之间的比值作为所述其它宏块重新确定后的编码数据量。
12.根据权利要求11所述的系统，其特征在于，所述参数重新确定单元还包括：
残差变换值改善模块，用于将所述目标宏块的初始残差变换值与所述画质改善系数的乘积，作为所述目标宏块重新确定后的残差变换值；
残差变换值调节模块，用于将计算得到的所述差值与所述其它宏块的实际编码数据量之和的比值，作为所述其它宏块的画质调节系数，并将所述其它宏块的初始残差变换值与所述画质调节系数的乘积，作为所述其它宏块重新确定后的残差变换值。
13.一种视频帧的码率配置设备，其特征在于，所述设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一所述的方法。
CN201910956977.3A 2019-10-10 2019-10-10 一种视频帧的码率配置方法、系统及设备 Active CN110769254B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910956977.3A CN110769254B (zh) 2019-10-10 2019-10-10 一种视频帧的码率配置方法、系统及设备
PCT/CN2019/118056 WO2021068341A1 (zh) 2019-10-10 2019-11-13 一种视频帧的码率配置方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910956977.3A CN110769254B (zh) 2019-10-10 2019-10-10 一种视频帧的码率配置方法、系统及设备

Publications (2)

Publication Number Publication Date
CN110769254A CN110769254A (zh) 2020-02-07
CN110769254B true CN110769254B (zh) 2022-04-22

Family

ID=69331580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910956977.3A Active CN110769254B (zh) 2019-10-10 2019-10-10 一种视频帧的码率配置方法、系统及设备

Country Status (2)

Country Link
CN (1) CN110769254B (zh)
WO (1) WO2021068341A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235576B (zh) * 2020-11-16 2024-04-30 北京世纪好未来教育科技有限公司 编码方法、装置、电子设备及存储介质
CN114745556B (zh) * 2022-02-07 2024-04-02 浙江智慧视频安防创新中心有限公司 编码方法、装置、数字视网膜系统、电子设备及存储介质
CN115174967A (zh) * 2022-07-04 2022-10-11 山东衡昊信息技术有限公司 一种基于带宽预估的码率动态分配方法
CN116760965B (zh) * 2023-08-14 2023-12-22 腾讯科技（深圳）有限公司 全景视频编码方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电（集团）有限公司中央研究院 基于人眼感知模型的码率控制方法
CN101867799A (zh) * 2009-04-17 2010-10-20 北京大学 一种视频帧处理方法和视频编码器
CN102271248A (zh) * 2011-08-15 2011-12-07 复旦大学 一种基于权重窗口模型的h.264/avc宏块级码率控制算法
CN106937118A (zh) * 2017-03-13 2017-07-07 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN108111857A (zh) * 2017-12-29 2018-06-01 广州海昇计算机科技有限公司 一种用于h.265码率控制的目标比特分配方法、系统及装置
CN109951706A (zh) * 2019-04-22 2019-06-28 湖南国科微电子股份有限公司 一种视频编码方法、装置及编码器
CN110177277A (zh) * 2019-06-28 2019-08-27 广东中星微电子有限公司 图像编码方法、装置、计算机可读存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572810A (zh) * 2008-04-29 2009-11-04 合肥坤安电子科技有限公司 一种基于感兴趣区的视频编码方法
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统
TWI491262B (zh) * 2010-09-14 2015-07-01 Alpha Imaging Technology Corp 影像編碼積體電路及其影像編碼資料傳輸方法
CN102438142B (zh) * 2011-11-08 2013-10-16 北京空间机电研究所 一种基于深空背景的自适应图像压缩方法
US9485506B2 (en) * 2012-09-11 2016-11-01 Texas Instruments Incorporated Method and system for constraining slice header processing overhead in video coding
JP6690254B2 (ja) * 2016-01-22 2020-04-28 沖電気工業株式会社 画像符号化装置、方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电（集团）有限公司中央研究院 基于人眼感知模型的码率控制方法
CN101867799A (zh) * 2009-04-17 2010-10-20 北京大学 一种视频帧处理方法和视频编码器
CN102271248A (zh) * 2011-08-15 2011-12-07 复旦大学 一种基于权重窗口模型的h.264/avc宏块级码率控制算法
CN106937118A (zh) * 2017-03-13 2017-07-07 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN108111857A (zh) * 2017-12-29 2018-06-01 广州海昇计算机科技有限公司 一种用于h.265码率控制的目标比特分配方法、系统及装置
CN109951706A (zh) * 2019-04-22 2019-06-28 湖南国科微电子股份有限公司 一种视频编码方法、装置及编码器
CN110177277A (zh) * 2019-06-28 2019-08-27 广东中星微电子有限公司 图像编码方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
WO2021068341A1 (zh) 2021-04-15
CN110769254A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110769254B (zh) 一种视频帧的码率配置方法、系统及设备
JP6286718B2 (ja) 高効率な次世代ビデオコーディングのためのフレーム階層応答型量子化を使用する、コンテンツ適応ビットレートおよび品質管理
TW221085B (zh)
Meddeb et al. Region-of-interest-based rate control scheme for high-efficiency video coding
CN110996099B (zh) 一种视频编码方法、系统及设备
TW404132B (en) A real-time single pass variable bit rate control strategy and encoder
US20220191520A1 (en) Information processing apparatus and method
US20180115787A1 (en) Method for encoding and decoding video signal, and apparatus therefor
CN104718761A (zh) 视频编码/解码方法、装置、程序、记录介质
US20150146776A1 (en) Video image encoding device, video image encoding method
CN104604229A (zh) 视频编码方法及装置、视频解码方法及装置以及它们的程序
KR20150095591A (ko) 시각적 인지 특성을 이용한 ｐｖｃ 방법
JP6042001B2 (ja) 動画像符号化装置及び動画像符号化方法
KR102059842B1 (ko) 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
US10666970B2 (en) Encoding apparatus, encoding method, and storage medium
CN112243129B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110933446B (zh) 一种感兴趣区域的识别方法、系统及设备
CN113973205A (zh) 基于视频内容特征的码率控制比特分配方法及存储介质
US11265553B2 (en) Obtaining a target representation of a time sample of a signal
Shen et al. A new rate control algorithm based on region of interest for HEVC
EP3844957A1 (en) Benefit-based bitrate distribution for video encoding
JP3560958B2 (ja) 動画符号化制御方法および装置
JP2020150422A (ja) 動画像符号化装置、動画像復号装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant