CN116418988A - 视频流码率控制方法、装置、存储介质以及电子设备 - Google Patents
视频流码率控制方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN116418988A CN116418988A CN202111680192.1A CN202111680192A CN116418988A CN 116418988 A CN116418988 A CN 116418988A CN 202111680192 A CN202111680192 A CN 202111680192A CN 116418988 A CN116418988 A CN 116418988A
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- parameter
- coding
- pixel information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 55
- 238000013139 quantization Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 description 35
- 238000010801 machine learning Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010276 construction Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 235000013527 bean curd Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种视频流码率控制方法、装置、存储介质以及电子设备。方法包括：获取视频流中的第一视频帧和与第一视频帧相邻的前M个视频帧，M为正整数；基于第一视频帧的像素信息、预设编码码率、M个视频帧中每个视频帧的像素信息、以及每个视频帧的重建像素信息，确定第一视频帧的第一编码参数；利用第一编码参数对第一视频帧进行编码，得到第二视频帧；并基于第二视频帧的特征参数，得到第二视频帧的图像质量分数；基于第二视频帧的图像质量分数，更新第一编码参数，并基于更新后的第一编码参数对第一视频帧进行编码。采用本申请实施例，可以同时确保输出图像质量以及编码码率的稳定。
Description
技术领域
本申请涉及视频编解码技术领域，尤其涉及一种视频流码率控制方法、装置、存储介质以及电子设备。
背景技术
在视频传输过程中传输带宽通常都会受到限制，所以需要对视频编码过程中的速率进行控制，使得编码后码流的比特数与传输信道的带宽上限匹配并且同时也要兼顾传输视频的质量即使得编码后的失真尽可能的小。为了在有限的码率限制里尽可能地提升视频的质量，则需要选择较为合理的码率控制方法。
从信息论的角度而言，图像的压缩比越低，则压缩后图像的质量越好，图像压缩比例越高，则压缩后图像的质量越差。对于场景变化的真实场景，图像质量稳定，编码码率会波动；编码码率稳定，图像质量会波动。以高级视频编码(Advanced Video Coding，AVC)协议和高效率视频编码(High Efficiency Video Coding，HEVC)协议为例，通常图像的量化参数(Quantization Parameter，QP)越低，图像的质量越好，码率越高；图像的量化参数QP越高，图像质量越差，码率越低。
现有技术主要通过设置参考码率来实现对每帧图像的编码码率控制，但由于不同视频的图像质量差异较大，在保证图像质量的编码条件下，视频流中不同视频帧的编码码率差异较大。
发明内容
本申请实施例提供了一种视频流码率控制方法、装置、存储介质以及电子设备，可以在同时保证输出图像质量和编码码率的稳定。
第一方面，本申请提供了一种视频流码率控制方法，该方法包括：获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数；基于所述第二视频帧的图像质量分数，更新所述第一编码参数，并基于更新后的所述第一编码参数对所述第一视频帧进行编码。
从技术效果上看，本申请实施例通过当前视频帧(即第一视频帧)与其相邻的前若干个视频帧的特征参数来确定第一编码参数，使得第一编码参数与前若干个视频帧的编码参数较为接近，从而保证码率的稳定；同时，基于编码后的图像质量分数来进一步调整当前视频帧的第一编码参数，从而保证当前视频帧编码过程中图像质量和编码码率与前若干视频帧的编码参数想接近，即通过动态调整编码参数，来使得在有限码率限制里尽可能提升图像质量。
在一种可行的实施方式中，所述第二视频帧的特征参数包括所述第二视频帧的重建像素信息。
在一种可行的实施方式中，所述第一编码参数包括编码码率和量化参数QP。
从技术效果上看，本申请通过实施帧级码率控制，即同步动态调整视频流中每个视频帧的编码码率和量化参数，来确保视频流中每个视频帧的编码码率和图像质量处于稳定水平，即确保输出图像质量稳定的条件下，最大程度地保持编码码率的稳定。
在一种可行的实施方式中，所述方法还包括：在所述第一视频帧为所述视频流中第一个视频帧的情况下，基于所述第一视频帧的特征信息参数所述第一视频帧的第二编码参数；基于所述第二编码参数对所述第一视频帧进行编码。
从技术效果上看，在第一视频帧为视频流中第一个视频帧时，此时直接基于该视频帧本身的特征参数确定的编码参数更满足该视频帧的编码需求，可以获得较好质量的输出图像。
在一种可行的实施方式中，所述第一视频帧的特征参数包括所述第一视频帧的像素信息和重建像素信息。
在一种可行的实施方式中，所述第二编码参数包括编码码率和量化参数QP。
第二方面，本申请提供了一种视频流码率控制装置，所述装置包括：获取单元，用于获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；处理单元，用于基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；编码单元，用于利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；所述处理单元，还用于并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数，以及基于所述第二视频帧的图像质量分数，更新所述第一编码参数；所述编码单元，还用于基于更新后的所述第一编码参数对所述第一视频帧进行编码。
第三方面，本申请提供了一种计算机可读存储介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面中任一项所述的方法。
第四方面，本申请提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，第一方面中任一项所述的方法得以实现。
第五方面，本申请提供了一种电子设备，包括：处理器，用于存储可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行第一方面中任意一项所述的方法。
附图说明
以下对本申请实施例用到的附图进行介绍。
图1是本申请实施例中一种视频编码器实例的框图；
图2为本申请实施例中一种码率控制方法的流程示意图；
图3是本申请实施例中一种组合处理装置的结构示意图；
图4是本申请实施例的一种板卡的结构示意图；
图5是本申请实施例中一种视频流码率控制装置的结构示意图。
具体实施方式
下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为方便理解本方案，首先对本方案涉及的相关技术属于进行解释：
(1)量化参数(QP)：反映视频编解码过程中图像空间细节的压缩情况。如QP小，大部分的细节都会被保留；QP增大，一些细节丢失，码率降低，但图像失真加强和质量下降。也即，QP和比特率成反比的关系，而且随着视频源复杂度的提高，这种反比关系会更明显。
(2)图像纹理：纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。纹理具有三大标志：1)由某种局部序列性不断重复、非随机排列形成的，纹理区域内大致为均匀的统一体；2)纹理不同于灰度、颜色等图像特征，它通过像素及其周围空间邻域的灰度分布来表现，即：局部纹理信息；3)局部纹理信息不同程度的重复性，构成全局纹理信息。
(3)图像噪声：图像在摄取或传输时所受的随机信号干扰，是图像中各种妨碍人们对其信息接受的因素，可分为内部噪声和外部噪声。
(4)块效应：指视频经编码处理再解码显示的图像相比未经处理的图像常常出现小块边界处明显不连续的现象，看上去就像图片被划分成了一个个大小不一的豆腐块，在图像内容相对单一的区域(例如，大块的天空)时尤其明显。
(5)呼吸效应：呼吸效应是指视频中I帧和P/B帧切换时的图像质量差别较大，其中I帧图像清晰、主观感受较好，而P/B帧则相对模糊、主观感受较差。
(6)拖尾效应：指动态画面似乎不连贯，运动不够流畅，运动影像后面总有一部分拖尾的现象。
(7)峰值信噪比(Peak Signal to Noise Ratio，PSNR)：一种全参考的图像质量评价指标，它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。其单位是dB，数值越大表示失真越小。
(8)结构相似度(Structural Similarity，SSIM)：一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围[0,1]，值越大，表示图像失真越小。
请参见图1，图1为用于实现本申请实施例的视频编码器实例的框图。在图1的示例中，视频编码器100包括输入端(或输入接口)101、码率控制单元110、变换/量化单元120、反变换/反量化单元140、环路滤波器150、缓冲器160、运动估计单元170、运动补偿单元180、模式选择单元190、熵编码单元130和输出端(或输出接口)102。其中，模式选择单元190包括帧间预测单元191和帧内预测单元192。可选地，上述运动补偿单元180和运动估计单元170可以位于帧间预测单元191内部。图1所示的视频编码器100也可称为混合型视频编码器或基于混合型视频编解码器的视频编码器。
其中，码率控制单元110、变换/量化单元120和模式选择单元190组成编码器100的前向信号路径，而反变换/反量化单元140、环路滤波器150、缓冲器160、运动估计单元170、运动补偿单元180、帧间预测单元191和帧内预测单元192组成编码器的后向信号路径。此外，反变换/反量化单元140、环路滤波器150、缓冲器160、运动估计单元170、运动补偿单元180、帧间预测单元191和帧内预测单元192还组成视频编码器100的“内置解码器”。
下面参照图1描述本申请实施例中的编码过程：首先，对于输入视频中的当前帧(即本申请实施例中的第一视频帧)，经过码率控制单元110确定当前视频帧的相关编码参数(如编码码率、码率区间和量化参数等)；同时，当前帧被划分为不重叠的图像块并依据给定的顺序(例如行扫描顺序)依次处理每一图像块。其中，每个图像块为像素的集合。例如，若图像块大小为NxN，则表示该块是一个二维像素阵列，其水平与竖直方向大小均为N。然后，对图像块进行预测操作获取其中像素的预测值，得到图像块对应的预测块。进一步地，计算图像块像素的原始值与图像块对应的预测块的差值，得到图像块对应的残差块。残差块经过变换/量化单元120处理后，得到变换量化系数(Quantized TransformCoefficients)。最后，基于码率控制单元110输出的编码码率对变换量化系数进行熵编码操作并将熵编码输出的比特串写入码流。
与此同时，经过变换和量化之后的变换量化系数经过反变换/反量化单元140中的反量化、反变换操作得到重建后的残差块，然后将重建后的残差块与当前图像块的预测块相加得到该图像块的重建块。当前图像块的重建块会被用于预测后续图像块，该后续图像块可以是当前帧中的待处理图像块，也可以是后续待编码图像中的图像块。重建块经过环路滤波器150去除块效应、振铃效应等编码失真，输出滤波后的重建图像，并输入缓冲器160中，以用于后续编码图像的帧间预测参考。运动估计单元170接收当前图像块的重建块以及码率控制单元110输出的量化参数QP，已进行运动估计，并将估计结果输入运动补偿单元180进行处理，运动补偿单元180的输出结果用于后续帧间预测单元进行帧间预测。
视频编码中的预测一般可分为帧内预测和帧间预测两类。
帧内预测利用左边和上边已编码块的重建块来预测当前图像块。每一图像块可以从多种候选预测模式中选择最优预测模式来生成该块的预测。例如，HEVC标准规定了35种候选的帧内预测模式。预测模式信息也会经熵编码写入码流。帧间预测使用已编码图像的重建作为参考图像，并从参考图像中搜索确定与当前编码图像中编码块相似的图像块，并进行必要的插值滤波处理后获得编码块的预测。
帧间预测也包括多种预测模式，帧间预测模式集合取决于可用参考图像(即，例如前述存储在缓冲器160中的至少部分之前解码的图像)和其它帧间预测参数，例如取决于是否使用整个参考图像或只使用参考图像的一部分，例如当前块的区域附近的搜索窗口区域，来搜索最佳匹配参考块，和/或例如取决于是否执行半像素、四分之一像素和/或十六分之一内插的像素内插。除上述预测模式外，还可以采用跳过模式和/或直接模式。
请参见图2，图2为本申请实施例中一种码率控制方法的流程示意图。如图2所示，方法200包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210：获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数。
其中，上述视频流从输入端101输入。第一视频帧为视频流中当前待编码视频帧，与第一视频帧相邻的前M个视频帧为已编码视频帧，即第一视频帧可以为视频流中除第一个视频帧外的任意一个视频帧。
步骤S220：基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数。
其中，第一视频帧的像素信息为第一视频帧中每个像素点的像素值。预设编码码率为根据具体场景设置的码率，本申请对此不限定，例如，其可以是2M/s。M个视频帧中每个视频帧的像素信息为每个视频帧中各像素点的像素值，每个视频帧的重建像素信息为每个视频帧对应重建块中每个像素点的像素值。
上述确定第一编码参数的过程具体为：将第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息输入第一机器学习模型，以对第一视频帧和前M个视频帧中每个视频帧进行特征提取，然后基于提取到的特征确定第一视频帧的第一编码参数。
其中，上述利用第一机器学习模型得到第一编码参数的过程包括：数据集构建、模型训练以及模型应用三个过程。
(1)数据集构建
基于多个视频流构建第一机器学习模型的训练集和测试集。可选地，将该多个视频流中A个视频流用于构建训练集，剩余的视频流用于构建测试集。进一步，可选地，可以采用如下方式进行训练集的构建：对于A个视频流中每个视频流而言，将每个视频流中的前N个视频帧中每个视频帧的像素信息、前N个视频帧中每个视频帧的重建像素信息、第N+1个视频帧的像素信息，以及预设编码码率作为一个训练样本。其中，预设编码码率可以是前N个视频帧中每个视频帧对应编码码率的平均值或其它计算方式得到，本申请对此不进行限定。
可选地，该一个训练样本对应的标签采用如下方式得到：基于预设编码码率bps、第N+1个视频帧的像素信息，以及第N+1个视频帧的宽w和高h，计算初始量化参数QP，具体计算过程参见公式(1)：
其中，Table函数为视频编解码领域中计算量化参数QP的经验函数。应该理解，本申请也可采用其它方式计算初始QP，本申请对此不进行限定。
进一步地，利用编码器遍历初始QP周围的K个QP，分别对第N+1个视频帧进行编码，得到K个编码后的视频帧；计算与K个编码后的视频帧分别对应的K个峰值信噪比PSNR，然后从K个QP中确定小于或等于预设编码码率的L个QP，将该L个QP中峰值信噪比PSNR最大的QP作为第一QP；最后将该第一QP对应的编码码率作为第一编码码率。该第一QP和第一编码码率即为上述一个训练样本所对应的标签。
其中，上述编码器可以是H266、H265或H264中的VTM、HM和JM等编码器，本申请对此不限定。
其中，每个PSNR可以由域该PSNR对应的编码后视频帧的像素信息和第N+1个视频帧的像素信息进行计算得到，本申请对此不进行展开。
参照上述标签确定过程，可以基于A个视频流确定A个训练样本，以及对应的A个标签。同理，测试集的构建过程可以参见训练集的构建过程，此处不再赘述。
其中，上述多个视频流可以是YUV420P视频序列或其它视频序列，本申请对此不做限定。
其中，A、K、L为正整数。
(2)模型训练
上述第一机器学习模型可以为卷积神经网络(Convolutional Neural Network，CNN)或其它可行的网络模型，本申请对此不进行限定；其中，CNN的基础base模型包括但不限于可视化几何组网络-16(Visual Geometry Group Network 16，VGG16)，残差网络resNet等，最后通过全连接层进行输出。
利用构建好的数据集对第一机器学习模型进行训练，得到训练好的第一机器学习模型，本申请对具体训练过程不进行展开。
(3)模型应用
将第一视频帧的像素信息、预设编码码率、M个视频帧中每个视频帧的像素信息、以及M个视频帧中每个视频帧的重建像素信息，输入上述训练好的第一机器学习模型中，得到第一视频帧的第一编码参数。
可选地，第一编码参数包括第一视频帧的编码码率和第一视频帧的量化参数QP。
其中，后续熵编码单元130可以依据第一视频帧的编码码率对第一视频帧进行熵编码，得到输出的编码码流，即比特流。第一视频帧的量化参数QP后续会被发送到运动估计单元170进行运动估计，为后续帧间预测提供相应的帧间预测参数。
步骤S230：利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数。
具体地，在对第一视频帧进行编码的过程中，利用第一编码参数中的量化参数QP对第一视频帧进行相应地压缩，并基于第一编码参数中的编码码率对第一视频帧进行码率控制，得到第二视频帧。
其中，第二视频帧的特征参数包括第二视频帧的重建像素信息。
进一步地，上述基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数，包括：将第二视频帧的重建像素信息和第一视频帧的像素信息输入第二机器学习模型，对编码后的第二视频帧进行评估，得到第二视频帧的图像质量分数。
其中，图像质量分数用于表征对第一视频帧进行编码后得到的第二视频帧的图像质量。
其中，上述利用第二机器学习模型对第二视频帧进行质量评估的过程包括：数据集构建、模型训练以及模型应用三个过程。
(1)数据集构建
基于前述多个视频流中的A个视频流构建第二机器学习模型的训练集，基于剩余的视频流构建相应的测试集。
可选地，可以基于A个视频流中的每个视频流构建C个训练样本，每个视频流对应的C个训练样本的构建过程具体如下：从一个视频流中选取任一视频帧，利用预设的C个不同的量化参数QP分别对该视频帧进行编码，得到C个编码后的视频帧。该C个编码后的视频帧中每个视频帧与该任一视频帧构成一个训练样本，即一共可以构建C个训练样本。
进一步，可选地，对于C个编码后的视频帧中每个视频帧而言，基于每个视频帧的像素信息和该任一视频帧的像素信息，计算得到相应的5个评价参数：图像清晰度、块效应、呼吸效应、拖尾效应、色差。可选地，对计算得到的上述5个评价参数分别进行评分；然后，利用每个评价参数的评分乘以每个评价参数对应的权重，得到每个评价参数的目标评分；最后将所有评价参数的目标评分相加，得到C个编码后的视频帧中每个视频帧的图像质量分数，并将该图像质量分为作为相应的训练样本标签。
其中，上述每个评价参数对应的权重系数可以是根据具体应用场景设定，本申请对此不限定。
参照上述过程，可以基于每个视频流构建C个训练样本，共得到A*C个训练样本。同理，测试集的构建过程可对应参照训练集的构建过程，此处不再赘述。
其中，C为正整数。
(2)模型训练
第二机器学习模型可以是可以为卷积神经网络(Convolutional NeuralNetwork，CNN)或其它可行的网络模型，本申请对此不进行限定；其中，CNN的基础base模型包括但不限于可视化几何组网络-16(Visual Geometry Group Network 16，VGG16)，残差网络resNet等，最后通过全连接层进行输出。
利用构建好的数据集和测试集对第二机器学习模型进行训练，得到训练好的第二机器学习模型，本申请对具体训练过程不进行展开。
(3)模型应用
将第二视频帧的重建像素信息和第一视频帧的像素信息输入训练好的第二机器学习模型，得到第二视频帧的图像质量分数。
可选地，所述第二视频帧的特征参数包括所述第二视频帧的重建像素信息。
其中，第二视频帧的清晰度可以采用多种方法来进行计算。例如，在空域上，主要考察图像的领域对比度，即相邻像素间的灰度特征的梯度差；在频域中，主要考察图像的频率分量，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。清晰度计算函数可以包括：Brenner梯度函数、Tenengrad梯度函数和Laplacian梯度函数等，本申请对此不限定。
其中，色差指YUV色彩空间中两个色差信号U和V的差值。
步骤S240：基于所述第二视频帧的图像质量分数，更新所述第一编码参数，并基于更新后的所述第一编码参数对所述第一视频帧进行编码。
具体地，基于第二视频帧的图像质量分数更新第一视频帧的编码码率和量化参数。将第二视频帧的图像质量分数输入第三机器学习模型，得到更新后的第一编码参数。
其中，上述利用第三机器学习模型对第一编码参数进行更新的过程包括：数据集构建、模型训练以及模型应用三个过程。
(1)数据集构建
基于前述多个视频流中的A个视频流构建第三机器学习模型的训练集，基于剩余的视频流构建相应的测试集。
可选地，可以基于A个视频流中的每个视频流构建一个训练样本，具体地：对于A个视频流中任意一个视频流，基于第一机器学习模型和第二机器学习模型计算该视频流中前N个视频帧分别对应的图像质量分数，对该N个图像质量分数求取平均值，得到平均图像质量分数，并将其作为该视频流对应的训练样本。
进一步地，训练样本对应的标签计算过程如下：利用第N个视频帧的量化参数，及该量化参数周围的D个量化参数分别对第N+1个视频帧进行编码，得到D+1个编码后的视频帧。利用第二机器学习模型计算与该D+1个编码后的视频帧分别对应的D+1个图像质量分数。从第N个视频帧对应的量化参数和该量化参数周围的D个量化参数中选出E个量化参数，该E个量化参数的数值小于或等于上述初始量化参数QP。该E个量化参数分别对应E个图像质量分数，将E个图像质量分数中最接近平均图像质量分数的图像质量分数所对应量化参数作为第二QP，该第二QP对应的实际编码码率作为第二编码码率。该第二QP和第二编码码率即为训练样本对应的标签。
参照上述步骤，基于每个视频流构建一个训练样本或者测试样本，以及对应的标签。
其中，E为正整数。
(2)模型训练
第三机器学习模型可以是可以为卷积神经网络(Convolutional NeuralNetwork，CNN)或其它可行的网络模型，本申请对此不进行限定；其中，CNN的基础base模型包括但不限于可视化几何组网络-16(Visual Geometry Group Network 16，VGG16)，残差网络resNet等，最后通过全连接层进行输出。
利用构建好的数据集和测试集对第三机器学习模型进行训练，得到训练好的第三机器学习模型，本申请对具体训练过程不进行展开。
(3)模型应用
将第二视频帧的图像质量分数输入训练好的第三机器学习模型，得到目标量化参数和目标编码码率，并利用该目标量化参数和目标编码码率分别更新第一编码参数中的量化参数和编码参数。
具体地，第三机器学习模型可以在图像质量分数小于或等于预设值时，升高模型输出的编码码率，在图像质量分数高于预设值时，降低编码码率。其中，该预设值可以根据具体场景进行设置，本申请不做具体限定。
进一步地，利用更新后的第一编码参数对第一视频帧进行编码，得到第一视频帧对应的比特流，该比特流通过网络信道被传输到接收端网络设备。
应当理解，上述视频流中除第一个视频帧外的任意视频帧对应编码码率和量化参数的确定过程与上述第一视频帧对应编码码率和量化参数的确定过程对应相同，此处不再赘述。
可选地，在所述第一视频帧为所述视频流中第一个视频帧的情况下，基于所述第一视频帧的特征参数所述第一视频帧的第二编码参数；基于所述第二编码参数对所述第一视频帧进行编码。
可选地，第一视频帧的特征参数包括所述第一视频帧的像素信息和重建像素信息。
具体地，当第一视频帧为视频流中第一个视频帧时，可以直接基于第一视频帧的像素信息和重建像素信息确定第一视频帧的第二编码参数。
可选地，所述第二编码参数包括编码码率和量化参数QP。
具体地，第一视频帧的量化参数QP后续会被发送到运动估计单元170进行运动估计，为后续帧间预测提供相应的帧间预测参数。熵编码单元130可以依据第一视频帧的编码码率对第一视频帧进行熵编码，得到输出的编码码流，即比特流。该比特流经网络发送给接收端网络设备。
图3是示出根据本披露实施例的一种组合处理装置300的结构图。如图3中所示，该组合处理装置300包括计算处理装置302、接口装置304、其他处理装置306和存储装置308。根据不同的应用场景，计算处理装置中可以包括一个或多个计算装置310，该计算装置可以配置用于执行本文结合附图5所描述的操作。
在不同的实施例中，本披露的计算处理装置可以配置成执行用户指定的操作。在示例性的应用中，该计算处理装置可以实现为单核人工智能处理器或者多核人工智能处理器。类似地，包括在计算处理装置内的一个或多个计算装置可以实现为人工智能处理器核或者人工智能处理器核的部分硬件结构。当多个计算装置实现为人工智能处理器核或人工智能处理器核的部分硬件结构时，就本披露的计算处理装置而言，其可以视为具有单核结构或者同构多核结构。
在示例性的操作中，本披露的计算处理装置可以通过接口装置与其他处理装置进行交互，以共同完成用户指定的操作。根据实现方式的不同，本披露的其他处理装置可以包括中央处理器(central processing unit，CPU)、图形处理器(graphics processingunit,GPU)、人工智能处理器等通用和/或专用处理器中的一种或多种类型的处理器。这些处理器可以包括但不限于数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，并且其数目可以根据实际需要来确定。如前所述，仅就本披露的计算处理装置而言，其可以视为具有单核结构或者同构多核结构。然而，当将计算处理装置和其他处理装置共同考虑时，二者可以视为形成异构多核结构。
在一个或多个实施例中，该其他处理装置可以作为本披露的计算处理装置(其可以具体化为人工智能例如图结构运算的相关运算装置)与外部数据和控制的接口，执行包括但不限于数据搬运、对计算装置的开启和/或停止等基本控制。在另外的实施例中，其他处理装置也可以和该计算处理装置协作以共同完成运算任务。
在一个或多个实施例中，该接口装置可以用于在计算处理装置与其他处理装置间传输数据和控制指令。例如，该计算处理装置可以经由所述接口装置从其他处理装置中获取输入数据，写入该计算处理装置片上的存储装置(或称存储器)。进一步，该计算处理装置可以经由所述接口装置从其他处理装置中获取控制指令，写入计算处理装置片上的控制缓存中。替代地或可选地，接口装置也可以读取计算处理装置的存储装置中的数据并传输给其他处理装置。
附加地或可选地，本披露的组合处理装置还可以包括存储装置。如图中所示，该存储装置分别与所述计算处理装置和所述其他处理装置连接。在一个或多个实施例中，存储装置可以用于保存所述计算处理装置和/或所述其他处理装置的数据。例如，该数据可以是在计算处理装置或其他处理装置的内部或片上存储装置中无法全部保存的数据。
在一些实施例里，本披露还公开了一种芯片(例如图4中示出的芯片402)。在一种实现中，该芯片是一种系统级芯片(System on Chip，SoC)，并且集成有一个或多个如图3中所示的组合处理装置。该芯片可以通过对外接口装置(如图4中示出的对外接口装置406)与其他相关部件相连接。该相关部件可以例如是摄像头、显示器、鼠标、键盘、网卡或wifi接口。在一些应用场景中，该芯片上可以集成有其他处理单元(例如视频编解码器)和/或接口模块(例如DRAM接口)等。在一些实施例中，本披露还公开了一种芯片封装结构，其包括了上述芯片。在一些实施例里，本披露还公开了一种板卡，其包括上述的芯片封装结构。下面将结合图4对该板卡进行详细地描述。
图4是示出根据本披露实施例的一种板卡400的结构示意图。如图4中所示，该板卡包括用于存储数据的存储器件404，其包括一个或多个存储单元410。该存储器件可以通过例如总线等方式与控制器件408和上文所述的芯片402进行连接和数据传输。进一步，该板卡还包括对外接口装置406，其配置用于芯片(或芯片封装结构中的芯片)与外部设备46(例如服务器或计算机等)之间的数据中继或转接功能。例如，待处理的数据可以由外部设备通过对外接口装置传递至芯片。又例如，所述芯片的计算结果可以经由所述对外接口装置传送回外部设备。根据不同的应用场景，所述对外接口装置可以具有不同的接口形式，例如其可以采用标准PCIE接口等。
在一个或多个实施例中，本披露板卡中的控制器件可以配置用于对所述芯片的状态进行调控。为此，在一个应用场景中，该控制器件可以包括单片机(micro controllerunit，MCU)，以用于对所述芯片的工作状态进行调控。
根据上述结合图3和图4的描述，本领域技术人员可以理解本披露也公开了一种电子设备或装置，其可以包括一个或多个上述板卡、一个或多个上述芯片和/或一个或多个上述组合处理装置。
根据不同的应用场景，本披露的电子设备或装置可以包括服务器、云端服务器、服务器集群、数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、PC设备、物联网终端、移动终端、手机、行车记录仪、导航仪、传感器、摄像头、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、视觉终端、自动驾驶终端、交通工具、家用电器、和/或医疗设备。所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视等；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。本披露的电子设备或装置还可以被应用于互联网、物联网、数据中心、能源、交通、公共管理、制造、教育、电网、电信、金融、零售、工地、医疗等领域。进一步，本披露的电子设备或装置还可以用于云端、边缘端、终端等与人工智能、大数据和/或云计算相关的应用场景中。在一个或多个实施例中，根据本披露方案的算力高的电子设备或装置可以应用于云端设备(例如云端服务器)，而功耗小的电子设备或装置可以应用于终端设备和/或边缘端设备(例如智能手机或摄像头)。在一个或多个实施例中，云端设备的硬件信息和终端设备和/或边缘端设备的硬件信息相互兼容，从而可以根据终端设备和/或边缘端设备的硬件信息，从云端设备的硬件资源中匹配出合适的硬件资源来模拟终端设备和/或边缘端设备的硬件资源，以便完成端云一体或云边端一体的统一管理、调度和协同工作。
需要说明的是，为了简明的目的，本披露将一些方法及其实施例表述为一系列的动作及其组合，但是本领域技术人员可以理解本披露的方案并不受所描述的动作的顺序限制。因此，依据本披露的公开或教导，本领域技术人员可以理解其中的某些步骤可以采用其他顺序来执行或者同时执行。进一步，本领域技术人员可以理解本披露所描述的实施例可以视为可选实施例，即其中所涉及的动作或模块对于本披露某个或某些方案的实现并不一定是必需的。另外，根据方案的不同，本披露对一些实施例的描述也各有侧重。鉴于此，本领域技术人员可以理解本披露某个实施例中没有详述的部分，也可以参见其他实施例的相关描述。
在具体实现方面，基于本披露的公开和教导，本领域技术人员可以理解本披露所公开的若干实施例也可以通过本文未公开的其他方式来实现。例如，就前文所述的电子设备或装置实施例中的各个单元来说，本文在考虑了逻辑功能的基础上对其进行划分，而实际实现时也可以有另外的划分方式。又例如，可以将多个单元或组件结合或者集成到另一个系统，或者对单元或组件中的一些特征或功能进行选择性地禁用。就不同单元或组件之间的连接关系而言，前文结合附图所讨论的连接可以是单元或组件之间的直接或间接耦合。在一些场景中，前述的直接或间接耦合涉及利用接口的通信连接，其中通信接口可以支持电性、光学、声学、磁性或其它形式的信号传输。
在本披露中，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元示出的部件可以是或者也可以不是物理单元。前述部件或单元可以位于同一位置或者分布到多个网络单元上。另外，根据实际的需要，可以选择其中的部分或者全部单元来实现本披露实施例所述方案的目的。另外，在一些场景中，本披露实施例中的多个单元可以集成于一个单元中或者各个单元物理上单独存在。
在一些实现场景中，上述集成的单元可以采用软件程序模块的形式来实现。如果以软件程序模块的形式实现并作为独立的产品销售或使用时，所述集成的单元可以存储在计算机可读取存储器中。基于此，当本披露的方案以软件产品(例如计算机可读存储介质)的形式体现时，该软件产品可以存储在存储器中，其可以包括若干指令用以使得计算机设备(例如个人计算机、服务器或者网络设备等)执行本披露实施例所述方法的部分或全部步骤。前述的存储器可以包括但不限于U盘、闪存盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在另外一些实现场景中，上述集成的单元也可以采用硬件的形式实现，即为具体的硬件电路，其可以包括数字电路和/或模拟电路等。电路的硬件结构的物理实现可以包括但不限于物理器件，而物理器件可以包括但不限于晶体管或忆阻器等器件。鉴于此，本文所述的各类装置(例如计算装置或其他处理装置)可以通过适当的硬件处理器来实现，例如CPU、GPU、FPGA、DSP和ASIC等。进一步，前述的所述存储单元或存储装置可以是任意适当的存储介质(包括磁存储介质或磁光存储介质等)，其例如可以是可变电阻式存储器(resistive random access memory，RRAM)、动态随机存取存储器(dynamic randomaccess memory，DRAM)、静态随机存取存储器(static random access memory，SRAM)、增强动态随机存取存储器(enhanced dynamic random access memory，EDRAM)、高带宽存储器(high bandwidth memory，HBM)、混合存储器立方体(hybrid memory cube，HMC)、ROM和RAM等。
请参见图5，图5为本申请实施例中一种视频流码率控制装置的结构示意图。如图5所示，装置500包括：
获取单元501，用于获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；处理单元502，用于基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；编码单元503，用于利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；所述处理单元502，还用于并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数，以及基于所述第二视频帧的图像质量分数，更新所述第一编码参数；所述编码单元503，还用于基于更新后的所述第一编码参数对所述第一视频帧进行编码。
其中，视频流码率控制装置500的具体执行步骤可以参见图2方法实施例中的描述，此处不再赘述。
可选地，本申请提供了一种计算机可读存储介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行图2实施例中任一项所述的方法。
可选地，本申请提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，图2实施例中任一项所述的方法得以实现。
依据以下条款可更好地理解前述内容：
条款A1，一种视频流码率控制方法，该方法包括：获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数；基于所述第二视频帧的图像质量分数，更新所述第一编码参数，并基于更新后的所述第一编码参数对所述第一视频帧进行编码。
条款A2，根据条款A1所述的方法，所述第二视频帧的特征参数包括所述第二视频帧的重建像素信息。
条款A3，根据条款A1或A2所述的方法，所述第一编码参数包括编码码率和量化参数QP。
条款A4，根据条款A1或A2所述的方法，所述方法还包括：在所述第一视频帧为所述视频流中第一个视频帧的情况下，基于所述第一视频帧的特征信息参数所述第一视频帧的第二编码参数；基于所述第二编码参数对所述第一视频帧进行编码。
条款A5，根据条款A4所述的方法，所述第一视频帧的特征参数包括所述第一视频帧的像素信息和重建像素信息。
条款A6，根据条款A4所述的方法，所述第二编码参数包括编码码率和量化参数QP。
条款A7，一种视频流码率控制装置，所述装置包括：获取单元，用于获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；处理单元，用于基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；编码单元，用于利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；所述处理单元，还用于并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数，以及基于所述第二视频帧的图像质量分数，更新所述第一编码参数；所述编码单元，还用于基于更新后的所述第一编码参数对所述第一视频帧进行编码。
条款A8，一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如条款A1至条款A6中任一项所述的方法。
条款A9，一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，条款A1至条款A6中任一项所述的方法得以实现。
条款A10，一种电子设备，包括：处理器，用于存储可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行条款A1至条款A6中任意一项所述的方法。
虽然本文已经示出和描述了本披露的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本披露思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本披露的过程中，可以采用对本文所描述的本披露实施例的各种替代方案。所附权利要求书旨在限定本披露的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。
Claims (10)
1.一种视频流码率控制方法，其特征在于，所述方法包括：
获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；
基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；
利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数；
基于所述第二视频帧的图像质量分数，更新所述第一编码参数，并基于更新后的所述第一编码参数对所述第一视频帧进行编码。
2.根据权利要1所述的方法，其特征在于，所述第二视频帧的特征参数包括所述第二视频帧的重建像素信息。
3.根据权利要1或2所述的方法，其特征在于，所述第一编码参数包括编码码率和量化参数QP。
4.根据权利要1或2所述的方法，其特征在于，所述方法还包括：
在所述第一视频帧为所述视频流中第一个视频帧的情况下，基于所述第一视频帧的特征信息参数所述第一视频帧的第二编码参数；
基于所述第二编码参数对所述第一视频帧进行编码。
5.根据权利要4所述的方法，其特征在于，所述第一视频帧的特征参数包括所述第一视频帧的像素信息和重建像素信息。
6.根据权利要4所述的方法，其特征在于，所述第二编码参数包括编码码率和量化参数QP。
7.一种视频流码率控制装置，其特征在于，所述装置包括：
获取单元，用于获取视频流中的第一视频帧和与所述第一视频帧相邻的前M个视频帧，所述M为正整数；
处理单元，用于基于所述第一视频帧的像素信息、预设编码码率、所述M个视频帧中每个视频帧的像素信息、以及所述每个视频帧的重建像素信息，确定所述第一视频帧的第一编码参数；
编码单元，用于利用所述第一编码参数对所述第一视频帧进行编码，得到第二视频帧；
所述处理单元，还用于并基于所述第二视频帧的特征参数，得到所述第二视频帧的图像质量分数，以及基于所述第二视频帧的图像质量分数，更新所述第一编码参数；
所述编码单元，还用于基于更新后的所述第一编码参数对所述第一视频帧进行编码。
8.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1至6中任一项所述的方法。
9.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机设备上运行时，权利要求1至6中任一项所述的方法得以实现。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680192.1A CN116418988A (zh) | 2021-12-30 | 2021-12-30 | 视频流码率控制方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680192.1A CN116418988A (zh) | 2021-12-30 | 2021-12-30 | 视频流码率控制方法、装置、存储介质以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116418988A true CN116418988A (zh) | 2023-07-11 |
Family
ID=87055242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111680192.1A Pending CN116418988A (zh) | 2021-12-30 | 2021-12-30 | 视频流码率控制方法、装置、存储介质以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116418988A (zh) |
-
2021
- 2021-12-30 CN CN202111680192.1A patent/CN116418988A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688038B2 (en) | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image | |
| CN104244007B (zh) | 一种图像编码方法和装置及解码方法和装置 | |
| US9094681B1 (en) | Adaptive segmentation | |
| CN106170979A (zh) | 恒定质量视频编码 | |
| WO2019012363A1 (en) | PREDICTION OF QUANTIFICATION PARAMETER PRESERVING VISUAL QUALITY THROUGH DEEP NEURAL NETWORK | |
| KR20210103573A (ko) | 크로마 블록 예측 방법 및 디바이스 | |
| US11659193B2 (en) | Framework for video conferencing based on face restoration | |
| WO2018001208A1 (zh) | 编解码的方法及设备 | |
| KR102254986B1 (ko) | 구면 투영부들에 의한 왜곡을 보상하기 위한 등장방형 객체 데이터의 프로세싱 | |
| CN110741638B (zh) | 使用残差块能量分布的运动矢量代码化 | |
| US11070808B2 (en) | Spatially adaptive quantization-aware deblocking filter | |
| CN110121065A (zh) | 空间排序视频编码应用中的多向图像处理 | |
| CN116208770A (zh) | 用于视频编码的增强型实时视觉质量度量生成 | |
| CN111836046A (zh) | 视频编码方法及装置、电子设备和计算机可读存储介质 | |
| US20230071018A1 (en) | Parallel encoding of video frames without filtering dependency | |
| CN101426139B (zh) | 图像压缩装置 | |
| CN114745551A (zh) | 处理视频帧图像的方法及电子设备 | |
| CN116418988A (zh) | 视频流码率控制方法、装置、存储介质以及电子设备 | |
| KR20240024921A (ko) | 이미지 또는 비디오를 인코딩/디코딩하기 위한 방법들 및 장치들 | |
| WO2021263251A1 (en) | State transition for dependent quantization in video coding | |
| US11871018B2 (en) | Parallel processing of video frames during video encoding | |
| US20240267529A1 (en) | Context-aware quantization for high-performance video encoding | |
| US20240073425A1 (en) | Image encoding apparatus and image decoding apparatus both based on artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus | |
| US20240119637A1 (en) | Image synthesis method and system | |
| WO2023172851A1 (en) | Model adjustment for local illumination compensation in video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |