CN116320529A - 视频码率控制方法及装置、计算机可读存储介质 - Google Patents
视频码率控制方法及装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN116320529A CN116320529A CN202111508059.8A CN202111508059A CN116320529A CN 116320529 A CN116320529 A CN 116320529A CN 202111508059 A CN202111508059 A CN 202111508059A CN 116320529 A CN116320529 A CN 116320529A
- Authority
- CN
- China
- Prior art keywords
- code rate
- coding
- parameter
- video
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000013528 artificial neural network Methods 0.000 claims abstract description 67
- 238000013139 quantization Methods 0.000 claims abstract description 22
- 238000007906 compression Methods 0.000 claims abstract description 21
- 230000006835 compression Effects 0.000 claims abstract description 20
- 238000005192 partition Methods 0.000 claims abstract description 15
- 238000013441 quality evaluation Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 12
- 238000001303 quality assessment method Methods 0.000 claims description 11
- 230000006978 adaptation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004069 differentiation Effects 0.000 claims description 5
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 240000005369 Alstonia scholaris Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种视频码率控制方法及装置、计算机可读存储介质，其中，方法包括：将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据；根据码率关联数据确定用于控制视频编码码率的当前码率参数；其中，全局编码参考数据用于表征待压缩视频的压缩质量，码率关联数据包括如下类型中的至少一个：编码单元的划分信息、编码单元中的各个编码块的量化参数。本发明实施例中，基于码率关联数据得到适应于待压缩视频应用场景的宏块级的当前码率参数，有利于提升视频编码效率，优化用户观看体验，并且不显示引入标准关联信息，能够更好地适配多种编码标准。
Description
技术领域
本发明实施例涉及视频图像处理技术领域，尤其涉及一种视频码率控制方法及装置、计算机可读存储介质。
背景技术
随着网络技术的不断发展，设备接入请求和环境变得复杂多样，为克服带宽不稳定而导致的体验下降逐渐成为其中的一个重要课题。通常而言，受带宽不稳定影响最明显的属于持续流量传输，例如视频信号等；目前，相关技术中的视频编码方案较为固定，通常仅应用于特定的编码标准，在应对带宽变化的场景时，无法为同一编码内容提供适应的码率传输方案，因此编码效率较为低下，导致用户在观看视频时会经常出现视频卡顿、感兴趣区域ROI画面模糊或者主观体验明显下降等问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种视频码率控制方法及装置、计算机可读存储介质，能够提升视频编码效率，优化用户观看体验。
第一方面，本发明实施例提供了一种视频码率控制方法，包括：
将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据；
根据所述码率关联数据确定用于控制视频编码码率的当前码率参数；
其中，所述全局编码参考数据用于表征所述待压缩视频的压缩质量，所述码率关联数据包括如下类型中的至少一个：编码单元的划分信息、所述编码单元中的各个编码块的量化参数。
第二方面，本发明实施例还提供了一种视频码率控制装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的视频码率控制方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上第一方面所述的视频码率控制方法。
本发明实施例包括：将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据；根据码率关联数据确定用于控制视频编码码率的当前码率参数；其中，全局编码参考数据用于表征待压缩视频的压缩质量，码率关联数据包括如下类型中的至少一个：编码单元的划分信息、编码单元中的各个编码块的量化参数。根据本发明实施例提供的方案，通过图神经网络对待压缩视频的全局编码参考数据进行目标约束输出，得到全局优化情况下的码率关联数据，能够降低全局误差带来的码率波动影响，进而基于码率关联数据中的编码单元的划分信息或/和各个编码块的量化参数，得到适应于待压缩视频应用场景的宏块级的当前码率参数，有利于提升视频编码效率，优化用户观看体验，并且不显示引入标准关联信息，能够更好地适配多种编码标准。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的视频码率控制方法的流程图；
图2是本发明一个实施例提供的视频码率控制方法中，确定当前码率参数的流程图；
图3是本发明一个实施例提供的图神经网络的结构示意图；
图4是本发明一个实施例提供的视频码率控制方法中，输出码率关联数据的流程图；
图5是本发明另一个实施例提供的视频码率控制方法中，输出码率关联数据的流程图；
图6是本发明一个实施例提供的视频码率控制方法中，确定编码质量评估参数的流程图；
图7是本发明一个实施例提供的视频码率控制方法中，确定第一编码质量评估参数的流程图；
图8是本发明一个实施例提供的视频码率控制方法中，确定与重建帧对应的编码质量评估指标的流程图；
图9是本发明一个实施例提供的确定第一编码质量评估参数的执行流程图；
图10是本发明另一个实施例提供的视频码率控制方法中，确定编码质量评估参数的流程图；
图11是本发明一个实施例提供的确定第二编码质量评估参数的执行流程图；
图12是本发明一个实施例提供的视频码率控制方法中，得到第二码率关联数据的流程图；
图13是本发明一个实施例提供的视频码率控制方法中，得到第一码率关联数据的流程图；
图14是本发明一个实施例提供的视频码率控制方法中，输出码率关联数据之前的流程图；
图15是本发明一个实施例提供的视频码率控制方法中，确定当前码率参数之后的流程图；
图16是本发明一个实施例提供的视频码率控制装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要注意的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本发明提供了一种视频码率控制方法及装置、计算机可读存储介质，通过图神经网络对待压缩视频的全局编码参考数据进行目标约束输出，得到全局优化情况下的码率关联数据，能够降低全局误差带来的码率波动影响，进而基于码率关联数据中的编码单元的划分信息或/和各个编码块的量化参数，得到适应于待压缩视频应用场景的宏块级的当前码率参数，有利于提升视频编码效率，优化用户观看体验，并且不显示引入标准关联信息，能够更好地适配多种编码标准。
下面结合附图，对本发明实施例作进一步阐述。
如图1所示，图1是本发明一个实施例提供的视频码率控制方法的流程图，该视频码率控制方法包括但不限于步骤S100至S200。
步骤S100：将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据，其中，全局编码参考数据用于表征待压缩视频的压缩质量，码率关联数据包括如下类型中的至少一个：编码单元的划分信息、编码单元中的各个编码块的量化参数。
在一实施例中，通过图神经网络对待压缩视频的全局编码参考数据进行目标约束输出，得到全局优化情况下的码率关联数据，能够降低全局误差带来的码率波动影响，并且所得到的码率关联数据为编码单元的划分信息或/和编码单元中的各个编码块的量化参数，本领域技术人员可知上述两个参数为影响视频压缩的重要指标，以便基于编码单元的划分信息或/和编码单元中的各个编码块的量化参数确定相关的码率控制参数。
在一实施例中，待压缩视频的类型不限定，获取待压缩视频的全局编码参考数据的方式不限制，且为本领域技术人员所熟知，在此不作赘述；图神经网络(Graph NeuralNetwork，GNN)的类型不做限定，可以为已经训练好的，此时将全局编码参考数据输入到已经训练好的图神经网络，则由已经训练好的图神经网络输出码率关联数据，关于图神经网络的训练方式在下述各实施例中逐步说明。
在一实施例中，全局码率参考数据用于表征待压缩视频的压缩质量，因此所有影响待压缩视频的压缩质量的因素都可能被认为是全局码率参考数据，尤其是其中的非结构数据，独立性强，不会因为其他数据的变更、修改等受到影响，具有较好的参考性，例如全局码率参考数据可以包括但不限于如下类型中的至少一个：
与编码标准关联的码率约束信息；
感兴趣区域(Region Of Interest，ROI)信息；
编码类型信息；
编码器信息；
编码帧约束信息；
编码帧统计信息；
帧间信息。
需要说明的是，与编码标准关联的码率约束信息可以为预先设置好的，对于不同的编码标准存在相应的码率约束信息。
需要说明的是，ROI信息可以为预先设置好的，用于表征编码器支持的编码格式，以确定编码器是否支持ROI编码，如果支持该类编码策略，则将ROI进行优先级设定，例如根据优先级特性分别设定从0.1至1的初始值，1表示优先级最高，0.1表示优先级最低，此处考虑卷积特性，即使优先级最低也不采用0值进行描述。相反地，如果不支持ROI编码，则考虑将ROI矩阵初始化全为1，从而实现支持有无明确ROI的控制策越，很大程度缓解对非感兴趣区域(Non Region Of Interest，NROI)视频质量的过度退化，降低整体码率因控制偏差导致的波动性问题。
需要说明的是，编码类型信息可能造成视频压缩场景的不同，即会对视频码率产生影响；编码器信息体现编码器本身对于码率关联数据的编码影响，这可能是由于编码器自身的构造、规格等所产生的，对于具体编码器需要具体分析确定，这在本实施例中并未限制。
需要说明的是，编码帧约束信息体现编码过程中的编码帧信息影响，可以基于参考帧信息、当前帧信息等进行进一步判断得到。
需要说明的是，编码帧统计信息可以但不限于为宏块级的纹理信息、编码单元的纹理信息等，也可以不限于前后帧图像的纹理信息，可以参考编码单元匹配块之间的残差信息、异常值检测(Median Absolute Deviation，MAD)等，其中MAD用于表征编码块的残差编码难易程度。
需要说明的是，帧间信息体现帧间预测相关性，以便对视频编码过程进行更好地评估。
可以理解地是，全局码率参考数据还可以包括更多的类型、更广泛的数据，上述对全局码率参考数据的示例仅用于说明其原理特征，但不应理解为对其构成进行任意限制，本领域技术人员可以根据具体应用场景选择相关类型的全局码率参考数据进行单独或组合输入到图神经网络中，例如可以根据具体场景选择对ROI编码的优化设置以提升编码效果等，并且由于对编码标准没有强制依赖关系，因此可以不用考虑编码标准与全局码率参考数据之间的专配性，适用场景更为广泛。
在一实施例中，基于编码单元的划分信息可以确定待压缩视频中的编码单元划分情况，在一种情景下，在确定编码单元划分情况的情况下，进一步确定编码单元中的各个编码块的量化参数，有利于进一步确定宏块级的码率控制参数；可以理解地是，无论单独确认两者中的一个还是同时确认两者，对于本实施例的步骤执行均不会产生影响，只不过相应的侧重点不同，即可能侧重于控制编码单元的划分信息或者各个编码块的量化参数，这在本实施例中并未限制；此外，码率关联数据还可以为编码帧对主观压缩质量的影响数据，虽然上述各实施例中的码率控制作为强约束，但在码率参数输出迭代优化过程中，可以将编码帧对主观质量的影响作为输入参数加入网络训练过程中，解决在NROI中对编码块的过度压缩而导致主观质量极度恶化的问题。
在一实施例中，步骤S100可以作为一种具体功能呈现于逻辑实体中，该逻辑实体可以作为单独物理设备实体，也可以作为主机上的软件实体，该逻辑实体可以命名为数据准备单元，在于将获取到的待压缩视频的全局编码参考数据输入到图神经网络，从而获取到由图神经网络输出的码率关联数据。
步骤S200，根据码率关联数据确定用于控制视频编码码率的当前码率参数。
在一实施例中，通过图神经网络对待压缩视频的全局编码参考数据进行目标约束输出，得到全局优化情况下的码率关联数据，能够降低全局误差带来的码率波动影响，进而基于码率关联数据中的编码单元的划分信息或/和各个编码块的量化参数，得到适应于待压缩视频应用场景的宏块级的当前码率参数，有利于提升视频编码效率，优化用户观看体验，并且不显示引入标准关联信息，能够更好地适配多种编码标准。
可以理解地是，步骤S100和S200具有以下显著优点：
相比于相关技术中，通过对编码块的统计信息与码率需求关系进行数学建模，预估出特定码率要求下的量化参数信息，本实施例无需统一编码标准，适用于混合编码策略的视频编码方案，例如适用于H.26x、VP9、AV1、AVSx等编码标准，与编码标准和编码器能力之间无强耦合关系，更加便于实现硬件编码芯片集成。
相比于相关技术中，通过叠加ROI信息将NROI节省的目标编码比特数分配给位编码的ROI宏块，本实施例从全局出发进行考虑，充分考虑视觉过度的影响，能够缓解NROI经常导致的过度模糊情况，优化用户视频体验。
相比于相关技术中，基于深度学习的压缩方法实现端到端编码，例如对视频压缩参数的输出，通常输入视频输出码流，或者，对网络参数的估计，例如采用置信度等统计数据评估最低码率，本实施例能够提供宏块级的编码参数，并且无需依赖现有的码率控制方法，能够提升对场景的适应程度，优化用户视频体验。
在图2的示例中，在码率关联数据包括编码单元的划分信息和各个编码块的量化参数的情况下，步骤S200包括但不限于步骤S210。
步骤S210，在确定编码单元的划分信息的情况下，基于图神经网络对各个编码块的量化参数进行训练，得到用于控制视频编码码率的当前码率参数。
在一实施例中，考虑在确定编码单元的划分信息的场景下，通过优化量化参数配置实现对特定码率的控制调整，在这种情况下，编码单元作为固定值不参与图神经网络的训练过程，而是通过其他几个相关的全局编码参考数据的共同作用实现对量化参数的调整，该调整方式具有较强的针对性，且只需调整量化参数即可实现对应的宏块级的编码参数的输出，有利于更准确合理地得到当前码率参数。
可以理解地是，本实施例考虑了编码单元可训练的场景，在条件充分的情况下，可以采用基于先进编码搜索得到的结果作为真实值参与编码单元的训练，这在本实施例中并未限制。
以下给出具体示例对上述实施例进行说明。
示例一：
如图3所示，图3是本发明一个实施例提供的图神经网络的结构示意图。
在图3的示例中，该图神经网络可以但不限于应用于终端、智能互联等涉及视频编、解码的产品或应用设备，此次获取并输入的全局编码参考数据包括有码率约束信息、ROI信息、参考帧信息、当前帧信息以及相应帧的纹理统计信息，基于图3所示的图神经网络，根据输入的全局编码参考数据实现对纹理统计信息的应用，确定编码单元的划分信息和每个编码块的量化参数，进而由图神经网络对编码单元的划分信息和每个编码块的量化参数进行训练，输出所需的当前码率参数。
在图4的示例中，在图神经网络为根据获取到的全局编码参考数据训练得到的情况下，步骤S100包括但不限于步骤S110至S120。
步骤S110：基于图神经网络获取待压缩视频的编码帧信息和历史码率参数；
步骤S120：将全局编码参考数据、编码帧信息和历史码率参数输入到图神经网络，输出码率关联数据，历史码率参数为上一次确定的当前码率参数。
需要说明的是，图神经网络可以根据获取到的全局编码参考数据训练构建，在训练完成之后再将全局编码参考数据输入到构建好的图神经网络中，所构建的图神经网络能够匹配视频编码需求。
在一实施例中，考虑在全局编码参考数据的基础上优化输入数据，即通过图神经网络获取待压缩视频的编码帧信息和历史码率参数，并将其混合全局编码参考数据输入到图神经网络，以得到编码关联性更好的码率关联数据；其中，编码帧信息体现编码帧对于编码的具体影响，而基于上一次确定的当前码率参数进行优化，可以将码率参数的历史确定情景考虑在内，即相当于在码率参数的历史确定情景的基础上进一步输出码率关联数据，从而实现码率参数的优化输出。
在图5的示例中，步骤S120包括但不限于步骤S121至S122。
步骤S121，根据编码帧信息和历史码率参数确定编码质量评估参数；
步骤S122，将全局码率参考数据和编码质量评估参数输入到图神经网络，输出码率关联数据。
在一实施例中，通过编码帧信息和历史码率参数确定编码质量评估参数，进而通过编码质量评估参数的影响来进一步配合全局码率参考数据的影响，实现码率关联数据的优化输出，可以理解地是，当需要对码率关联数据进行优化时，可以采用本实施例的编码质量评估参数作为新的因素进行影响实现，换言之，若不需要进一步优化码率关联数据，则可以将编码质量评估参数设置为空值，这在本实施例中并未限制。
需要说明的是，在不同应用场景下，由于获取到的编码帧信息和历史码率参数是不同的，因此所确定的编码质量评估参数也不同；此外，即使在同一应用场景下，可以采用不同的计算方式以分别获取相应的编码质量评估参数，以根据特定的编码质量评估参数对码率关联数据的某一方面或多方面的内容进行输出优化，即各个编码质量评估参数也可以是不同的，这在本实施例中并未限制，以下给出具体实施例举例说明。
在图6的示例中，在编码帧信息包括参考帧信息，编码质量评估参数包括第一编码质量评估参数的情况下，步骤S121包括但不限于步骤S1211至S1213。
步骤S1211，根据历史码率参数确定与历史码率参数对应的编码码流；
步骤S1212，根据参考帧信息对编码码流进行解码，得到重建帧；
步骤S1213，根据重建帧确定第一编码质量评估参数。
在一实施例中，通过确定历史场景下的编码码流并对该编码码流进行解码，从而恢复出重建帧，实现依恢复原始帧为目标的重建策略，由于重建帧同时关联于参考帧信息以及与历史码率参数对应的编码码流，因此重建帧可以表征历史场景的编码情况和参考帧信息对应的编码情况，在这种条件下，基于重建帧所确定的第一编码质量评估参数具有良好的前向传播特性，能够满足基于图神经网络的优化训练需求，有利于改善码率参数结果输出。
在图7的示例中，在重建帧为多个，且每个重建帧对应一个编码码流的情况下，步骤S1213包括但不限于步骤S12131至S12132。
步骤S12131，对于每个重建帧，根据重建帧得到与重建帧对应的编码质量评估指标；
步骤S12132，从各个编码质量评估指标中，确定最大的编码质量评估指标为第一编码质量评估参数。
在一实施例中，对于每个编码码流需要评估其对应的解码数据帧的质量，即相当于需要获取与每个重建帧对应的编码质量评估指标，因此能够得到多个编码质量评估指标，进而针对重建帧在当前网络环境下的质量作为目标函数以更新图神经网络的训练参数，确定最大的编码质量评估指标为第一编码质量评估参数，说明第一编码质量评估参数对应的解码数据帧的质量最大，因此可以基于该参数来对图神经网络进行强化学习训练，以优化码率参数输出。
在图8的示例中，步骤S12131包括但不限于步骤S12133至S12134。
步骤S12133，根据重建帧确定与重建帧对应的重建质量参数、网络卡顿参数和切换状况参数；
步骤S12134，对重建质量参数、网络卡顿参数和切换状况参数进行加权叠加，得到与重建帧对应的编码质量评估指标。
在一实施例中，通过引入重建质量参数、网络卡顿参数和切换状况参数的加权叠加数值，可以准确得到与重建帧对应的编码质量评估指标，且编码质量评估指标只关联于重建帧自身的质量参数内容，不会掺杂其余杂质内容进行计算，因此误差波动相对较小。
以下给出具体示例以说明本实施例的原理。
示例二：
如图9所示，图9是本发明一个实施例提供的确定第一编码质量评估参数的执行流程图。
在图9的示例中，依次执行以下步骤：
步骤S300：根据从图神经网络中获取到的历史码率参数，得到与历史码率参数对应的编码码流；
步骤S400：引用参考帧，通过解码器对编码码流进行解码生成解码结果，得到重建帧；
步骤S500：基于重建帧确定第一编码质量评估参数。
其中，对应步骤3，采用直接针对恢复帧在当前网络环境下的质量作为目标函数来更新网络参数，例如可以综合引入重建质量、网络卡顿参数和切换状况的加权作为整体的体验质量(Quality of Experience，QoE)的评估指标，即
R(n)可以采用无参考图像质量评价指标，包括但不限于信息保真度准则(Information Fidelity Criterion，IFC)、基于深度学习的盲图像质量评估(Deep CNN-Based Blind Image Quality Predictor，DIQA)等。
可以理解地是，重建帧的主观质量也可以生成式对抗网络(GenerativeAdversarial Network，GAN)进行评估，可参考增强型超分辨率生成对抗网络(EnhancedGenerative Adversarial Network，ESRGAN)等高质量重构的网络架构。
本实施例提出的编码策略需要待压缩视频进行分区域编码，根据区域信息的差异(例如ROI、纹理统计信息等)设计不同的编码参数和策略，在整体码率控制下实现最终输出的编码帧质量退化最小，考虑如下的目标函数：
其中，GNN′(X)表示采用本示例所输出的编码码流，编码码流为多个，Q(GNN′(X))表示该编码码流经过解码得到的数据帧的质量，约束条件为BDGNN′(X)≤RATE，码率应当不大于规定的目标码率。将每一次满足约束的编码方案作为一个Action，将判别函数f作为评价机制，目标设定为寻找最大的f，则在该模型下可以基于强化学习的方式训练图神经网络，以便于实现在特定码率要求下对视频质量的最大保存。
在图10的示例中，在编码帧信息还包括当前帧信息，编码质量评估参数还包括第二编码质量评估参数的情况下，步骤S121还包括但不限于步骤S1214。
步骤S1214，对重建帧信息和当前帧信息进行差异化处理，得到第二编码质量评估参数，其中，重建帧信息与重建帧对应。
在一实施例中，在确定重建帧之后，配合当前帧信息对获取到的重建帧信息进行差异化处理，从而将当前帧信息对应的编码情况考虑在内，得到符合要求的第二编码质量评估参数，能够满足基于图神经网络的优化训练需求，有利于改善码率参数结果输出其中，基于差异化处理可以得到目标函数，进而基于所确定的目标函数对编码结果进行评估，以下给出具体示例以说明本实施例的原理。
示例三：
如图11所示，图11是本发明一个实施例提供的确定第二编码质量评估参数的执行流程图。
在图11的示例中，依次执行以下步骤：
步骤S600：根据从图神经网络中获取到的历史码率参数，得到与历史码率参数对应的编码码流；
步骤S700：引用参考帧，通过解码器对编码码流进行解码生成解码结果；
步骤S800：将该解码结果与当前帧的真实值进行比较，计算差异代价f，求取Loss(即第二编码质量评估参数)。
其中，Loss的求取方式根据具体应用场景而确定，这在本实施例中并未限制，以下进行举例说明。
f＝||x’-x||1
如上式所示，采用重构图像x’与未压缩图像x的L1范数作为Loss，或者，也可以采用隐式的判别方法，例如采用基于GAN的思想，设计判别网络分析编码图像的质量，即
f＝||g(h’(h(x)))-g(x)||1
其中h和h’分别表示编码单元和解码单元，由于h为有损压缩，所以恢复图像质量存在退化，通过重构目标函数g(x)，即GAN的判别器部分，或者，也可以采用ESRGAN的判别器网络的输出，对编码结果进行评估，以便于实现在特定码率要求下对视频质量的最大保存。
可以理解地是，基于当前帧与重建帧的Loss计算还可以采用多种类似方案，例如在步骤3中，采用重构图像x’与未压缩图像x的L2范数作为Loss等。
需要说明的是，示例二和示例三的执行流程可以作为一种具体功能呈现于逻辑实体中，该逻辑实体可以作为单独物理设备实体，也可以作为主机上的软件实体，该逻辑实体可以命名为模型训练单元，在于根据重建帧确定第一编码质量评估参数，以及对重建帧信息和当前帧信息进行差异化处理，得到第二编码质量评估参数。
在图12的示例中，在码率关联数据包括第二码率关联数据的情况下，步骤S122包括但不限于步骤S1221。
步骤S1221，将全局码率参考数据和第二编码质量评估参数输入到图神经网络，得到第二码率关联数据。
在一实施例中，通过将全局码率参考数据和第二编码质量评估参数输入到图神经网络，从而得到与第二编码质量评估参数对应的第二码率关联数据，相比于原有的码率关联数据，以第二编码质量评估参数作为训练参数优化图神经网络，能够得到优化效果更好的二码率关联数据，有利于提升视频压缩效果。
在图13的示例中，在码率关联数据包括第一码率关联数据的情况下，步骤S122包括但不限于步骤S1222。
步骤S1222，对于每个编码码流，将全局码率参考数据和第一编码质量评估参数输入到图神经网络，得到与编码码流对应的第一码率关联数据。
在一实施例中，对于每个编码码流，通过将全局码率参考数据和第一编码质量评估参数输入到图神经网络，从而得到与每个编码码流对应的第一码率关联数据，即在具体应用场景下，在一次视频压缩过程中，对于其中的每个编码码流对应的第一码率关联数据可以实现分别控制调节，能够避免同质化，从而显著提升视频压缩效果。
在图14的示例中，步骤S100之前还包括但不限于步骤S900。
步骤S900，在接收到与图神经网络对应的资源限制信息的情况下，对图神经网络进行规模压缩处理。
在一实施例中，资源限制信息可以为在应用平台进行资源限制的情景下形成的，在这种情景下，根据应用场景的要求对图神经网络进行规模压缩处理，包括但不限于蒸馏、量化、剪枝以及动态网络设计等，以降低整体图神经网络模型的规模和算力需求，相应地，在资源扩张处理的情景下，可以对图神经网络进行规模扩张处理，或者采用新的符合要求的图神经网络替代原有的图神经网络。
在图15的示例中，步骤S200之后还包括但不限于步骤S1000。
步骤S1000，在接收到与当前码率参数对应的模型适配信息的情况下，根据模型适配信息对当前码率参数进行优化处理。
在一实施例中，模型适配信息可以为在网络传输环境受到约束的情景下形成的，在这种情景下，根据模型适配信息对当前码率参数进行优化处理，包括但不限于优化编码参数，考虑在牺牲主观质量的情况下降低码率等，以对网络结构和模型参数进行适配。
需要说明的是，步骤S900和步骤S1000可以作为一种具体功能呈现于逻辑实体中，该逻辑实体可以作为单独物理设备实体，也可以作为主机上的软件实体，该逻辑实体可以命名为推理应用单元，在于结合轻量化策略进行部署优化，在资源限制的场景下对图神经网络进行规模压缩处理，以及在网络传输环境受到约束的情景下对当前码率参数进行优化处理，达到降低模型的算力消耗的目的。
另外，参照图16，本发明的一个实施例还提供了一种视频码率控制装置100，该视频码率控制装置100包括：存储器110、处理器120及存储在存储器110上并可在处理器120上运行的计算机程序。
处理器120和存储器110可以通过总线或者其他方式连接。
实现上述实施例的视频码率控制方法所需的非暂态软件程序以及指令存储在存储器110中，当被处理器120执行时，执行上述各实施例的视频码率控制方法，例如，执行以上描述的图1中的方法步骤S100至S200、图2中的方法步骤S210、图4中的方法步骤S110至S120、图5中的方法步骤S121至S122、图6中的方法步骤S1211至S1213、图7中的方法步骤S12131至S12132、图8中的方法步骤S12133至S12134、图9中的方法步骤S300至S500、图10中的方法步骤S1214、图11中的方法步骤S600至S800、图12中的方法步骤S1221、图13中的方法步骤S1222、图14中的方法步骤S900或图15中的方法步骤S1000。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器120或控制器执行，例如，被上述设备实施例中的一个处理器120执行，可使得上述处理器120执行上述实施例中的视频码率控制方法，例如，执行以上描述的图1中的方法步骤S100至S200、图2中的方法步骤S210、图4中的方法步骤S110至S120、图5中的方法步骤S121至S122、图6中的方法步骤S1211至S1213、图7中的方法步骤S12131至S12132、图8中的方法步骤S12133至S12134、图9中的方法步骤S300至S500、图10中的方法步骤S1214、图11中的方法步骤S600至S800、图12中的方法步骤S1221、图13中的方法步骤S1222、图14中的方法步骤S900或图15中的方法步骤S1000。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施方式进行的具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。
Claims (15)
1.一种视频码率控制方法，包括：
将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据；
根据所述码率关联数据确定用于控制视频编码码率的当前码率参数；
其中，所述全局编码参考数据用于表征所述待压缩视频的压缩质量，所述码率关联数据包括如下类型中的至少一个：编码单元的划分信息、所述编码单元中的各个编码块的量化参数。
2.根据权利要求1所述的码率控制方法，其特征在于，所述图神经网络为根据获取到的全局编码参考数据训练得到；所述将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据，包括：
基于所述图神经网络获取待压缩视频的编码帧信息和历史码率参数；
将所述全局编码参考数据、所述编码帧信息和所述历史码率参数输入到所述图神经网络，输出码率关联数据，所述历史码率参数为上一次确定的所述当前码率参数。
3.根据权利要求1所述的码率控制方法，其特征在于，所述码率关联数据包括所述编码单元的划分信息和所述各个编码块的量化参数；根据所述码率关联数据确定用于控制视频编码码率的当前码率参数，包括：
在确定所述编码单元的划分信息的情况下，基于所述图神经网络对所述各个编码块的量化参数进行训练，得到用于控制视频编码码率的当前码率参数。
4.根据权利要求1所述的码率控制方法，其特征在于，所述全局码率参考数据包括如下类型中的至少一个：
与编码标准关联的码率约束信息；
感兴趣区域ROI信息；
编码类型信息；
编码器信息；
编码帧约束信息；
编码帧统计信息；
帧间信息。
5.根据权利要求2所述的码率控制方法，其特征在于，所述将所述全局编码参考数据、所述编码帧信息和所述历史码率参数输入到所述图神经网络，输出码率关联数据,包括：
根据所述编码帧信息和所述历史码率参数确定编码质量评估参数；
将所述全局码率参考数据和所述编码质量评估参数输入到所述图神经网络，输出码率关联数据。
6.根据权利要求5所述的码率控制方法，其特征在于，所述编码帧信息包括参考帧信息，所述编码质量评估参数包括第一编码质量评估参数；所述根据所述编码帧信息和所述历史码率参数确定编码质量评估参数，包括：
根据所述历史码率参数确定与所述历史码率参数对应的编码码流；
根据所述参考帧信息对所述编码码流进行解码，得到重建帧；
根据所述重建帧确定所述第一编码质量评估参数。
7.根据权利要求6所述的码率控制方法，其特征在于，所述编码帧信息还包括当前帧信息，所述编码质量评估参数还包括第二编码质量评估参数；所述根据所述编码帧信息和所述历史码率参数确定编码质量评估参数，还包括：
对重建帧信息和所述当前帧信息进行差异化处理，得到所述第二编码质量评估参数，其中，所述重建帧信息与所述重建帧对应。
8.根据权利要求6所述的码率控制方法，其特征在于，所述重建帧为多个，每个所述重建帧对应一个所述编码码流；所述根据所述重建帧确定所述第一编码质量评估参数，包括：
对于每个所述重建帧，根据所述重建帧得到与所述重建帧对应的编码质量评估指标；
从各个所述编码质量评估指标中，确定最大的所述编码质量评估指标为所述第一编码质量评估参数。
9.根据权利要求8所述的码率控制方法，其特征在于，所述根据所述重建帧得到与所述重建帧对应的编码质量评估指标，包括：
根据所述重建帧确定与所述重建帧对应的重建质量参数、网络卡顿参数和切换状况参数；
对所述重建质量参数、所述网络卡顿参数和所述切换状况参数进行加权叠加，得到与所述重建帧对应的编码质量评估指标。
10.根据权利要求8所述的码率控制方法，其特征在于，所述码率关联数据包括第一码率关联数据；所述将所述全局码率参考数据和所述编码质量评估参数输入到所述图神经网络，输出码率关联数据，包括：
对于每个所述编码码流，将所述全局码率参考数据和所述第一编码质量评估参数输入到所述图神经网络，得到与所述编码码流对应的所述第一码率关联数据。
11.根据权利要求7所述的码率控制方法，其特征在于，所述码率关联数据包括第二码率关联数据；所述将所述全局码率参考数据和所述编码质量评估参数输入到所述图神经网络，输出码率关联数据，包括：
将所述全局码率参考数据和所述第二编码质量评估参数输入到所述图神经网络，得到所述第二码率关联数据。
12.根据权利要求1所述的码率控制方法，其特征在于，所述将获取到的待压缩视频的全局编码参考数据输入到图神经网络，输出码率关联数据之前，还包括：
在接收到与所述图神经网络对应的资源限制信息的情况下，对所述图神经网络进行规模压缩处理。
13.根据权利要求1所述的码率控制方法，其特征在于，所述根据所述码率关联数据确定用于控制视频编码码率的当前码率参数之后，还包括：
在接收到与所述当前码率参数对应的模型适配信息的情况下，根据所述模型适配信息对所述当前码率参数进行优化处理。
14.一种视频码率控制装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至13中任意一项所述的视频码率控制方法。
15.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至13中任意一项所述的视频码率控制方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111508059.8A CN116320529A (zh) | 2021-12-10 | 2021-12-10 | 视频码率控制方法及装置、计算机可读存储介质 |
| PCT/CN2022/080754 WO2023103200A1 (zh) | 2021-12-10 | 2022-03-14 | 视频码率控制方法及装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111508059.8A CN116320529A (zh) | 2021-12-10 | 2021-12-10 | 视频码率控制方法及装置、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116320529A true CN116320529A (zh) | 2023-06-23 |
Family
ID=86729546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111508059.8A Pending CN116320529A (zh) | 2021-12-10 | 2021-12-10 | 视频码率控制方法及装置、计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116320529A (zh) |
| WO (1) | WO2023103200A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118368433B (zh) * | 2024-06-20 | 2024-09-17 | 深圳金三立视频科技股份有限公司 | 基于带宽自适应的视频编码压缩方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105898331A (zh) * | 2016-05-12 | 2016-08-24 | 天津大学 | 一种深度视频编码的比特分配和码率控制方法 |
| CN107277520B (zh) * | 2017-07-11 | 2020-05-12 | 中国科学技术大学 | 帧内预测的码率控制方法 |
| CN110832856A (zh) * | 2017-11-30 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 用于减小视频编码波动的系统及方法 |
| CN109862356B (zh) * | 2019-01-17 | 2020-11-10 | 中国科学院计算技术研究所 | 一种基于感兴趣区域的视频编码方法及系统 |
| CN110248195B (zh) * | 2019-07-17 | 2021-11-05 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110650370B (zh) * | 2019-10-18 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 一种视频编码参数确定方法、装置、电子设备及存储介质 |
| CN111294595B (zh) * | 2020-02-04 | 2022-01-07 | 清华大学深圳国际研究生院 | 一种基于深度强化学习的视频编码帧内码率控制方法 |
| CN110996131B (zh) * | 2020-03-02 | 2020-11-10 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、计算机设备及存储介质 |
| CN111918066B (zh) * | 2020-09-08 | 2022-03-15 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、设备及存储介质 |
| US20210067785A1 (en) * | 2020-11-17 | 2021-03-04 | Intel Corporation | Video encoding rate control for intra and scene change frames using machine learning |
-
2021
- 2021-12-10 CN CN202111508059.8A patent/CN116320529A/zh active Pending
-
2022
- 2022-03-14 WO PCT/CN2022/080754 patent/WO2023103200A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023103200A1 (zh) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10623775B1 (en) | End-to-end video and image compression | |
| US8804815B2 (en) | Support vector regression based video quality prediction | |
| CN109688407B (zh) | 编码单元的参考块选择方法、装置、电子设备及存储介质 | |
| US20200068200A1 (en) | Methods and apparatuses for encoding and decoding video based on perceptual metric classification | |
| US20150334417A1 (en) | Coding a Sequence of Digital Images | |
| JP2009530892A (ja) | ビデオ画像シーケンスの時間的頻度を適合させる方法および装置 | |
| US8428124B2 (en) | Moving picture encoding apparatus and distribution system | |
| CN114793282B (zh) | 带有比特分配的基于神经网络的视频压缩 | |
| CN108012149A (zh) | 一种视频编码中码率控制的方法 | |
| CN113313777A (zh) | 一种图像压缩处理方法、装置、计算机设备和存储介质 | |
| CN111556318A (zh) | 数据传输方法及装置 | |
| WO2022021422A1 (zh) | 视频编码方法、编码器、系统以及计算机存储介质 | |
| US20190158885A1 (en) | Intelligent compression of grainy video content | |
| CN116320529A (zh) | 视频码率控制方法及装置、计算机可读存储介质 | |
| US20050254576A1 (en) | Method and apparatus for compressing video data | |
| TWI411305B (zh) | 動態參照訊框選擇方法和系統 | |
| CN113055676B (zh) | 基于深度网络视频编解码的后处理优化方法 | |
| CN117768647A (zh) | 图像处理方法、装置、设备及可读存储介质 | |
| CN107820084B (zh) | 一种视频感知编码方法及装置 | |
| CN112243129B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| US20240267541A1 (en) | Encoder and associated signal processing method | |
| CN112218086A (zh) | 编码、解码方法、传输方法、编码、解码装置及系统 | |
| Jadhav | Variable rate video compression using a hybrid recurrent convolutional learning framework | |
| CN118413675B (zh) | 一种基于上下文渐进式三平面编码图像压缩算法及终端设备 | |
| US11979587B2 (en) | Hybrid inter-frame coding using an autoregressive model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 518055, 2nd Floor, ZTE Industrial Park, No. 2 Chuangyan Road, Xili Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, China Applicant after: SANECHIPS TECHNOLOGY Co.,Ltd. Address before: 518057 Zhongxing Industrial Park, Liuxian Avenue, Xili Street, Nanshan District, Shenzhen, Guangdong Province Applicant before: SANECHIPS TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| SE01 | Entry into force of request for substantive examination |