CN116634151A - 视频处理方法、装置、计算机设备、存储介质及程序产品 - Google Patents
视频处理方法、装置、计算机设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN116634151A CN116634151A CN202210129733.XA CN202210129733A CN116634151A CN 116634151 A CN116634151 A CN 116634151A CN 202210129733 A CN202210129733 A CN 202210129733A CN 116634151 A CN116634151 A CN 116634151A
- Authority
- CN
- China
- Prior art keywords
- target video
- video
- parameter
- video frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000013139 quantization Methods 0.000 claims abstract description 369
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 82
- 230000000694 effects Effects 0.000 claims description 55
- 238000013507 mapping Methods 0.000 claims description 33
- 230000002457 bidirectional effect Effects 0.000 claims description 32
- 238000005457 optimization Methods 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 53
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 7
- 108091026890 Coding region Proteins 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例提供了一种视频处理方法、装置、计算机设备、存储介质及程序产品,该视频处理方法包括:从目标视频中获取待编码的目标视频帧;获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数;根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数;对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数;根据目标视频帧的编码量化参数对目标视频帧进行编码处理。采用本申请实施例,可以针对性地确定编码量化参数进行视频编码。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及视频编码技术领域,具体涉及一种视频处理方法、装置、计算机设备、存储介质及程序产品。
背景技术
目前,视频编码技术在视频会话、视频点播、视频直播等视频业务中得到了非常广泛的应用,采用视频编码技术对视频进行编码处理能够在视频业务中节省视频占用的存储空间,提升视频传输效率。码率控制是视频编码技术中的关键一环,其通过在编码过程中调整QP(Quantizer Parameter,量化参数)来控制码率。采用合适的QP对视频进行编码处理,可以在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频呈现质量与QoE(Quality of Experience,体验质量)指标之间的达到最佳平衡,提升视频编码效果。因此,如何更好地确定编码量化参数(即QP)进行视频编码成为当前的研究热点。
发明内容
本申请实施例提供了一种视频处理方法、装置、计算机设备、存储介质及程序产品,可以针对性地确定编码量化参数进行视频编码。
一方面,本申请实施例提供了一种视频处理方法,该视频处理方法包括:
从目标视频中获取待编码的目标视频帧;获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数;根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数;对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数;根据目标视频帧的编码量化参数对目标视频帧进行编码处理。
相应地,本申请实施例提供了一种视频处理装置,该视频处理装置包括:
获取单元,用于从目标视频中获取待编码的目标视频帧;获取目标视频的视频属性特征;
处理单元,用于确定与视频属性特征相匹配的编码偏移参数;根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数;对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数;根据目标视频帧的编码量化参数对目标视频帧进行编码处理。
在一种实现方式中,视频属性特征包括目标视频的分辨率信息、目标视频所属的视频类型信息、目标视频的码率信息、以及目标视频的播放效果参考信息中的任一种或多种;其中,不同的视频属性特征所匹配的编码偏移参数不相同。
在一种实现方式中,处理单元,用于确定与视频属性特征相匹配的编码偏移参数时,具体用于执行如下步骤:
在参数匹配关系中确定与视频属性特征相匹配的属性特征指示信息,参数匹配关系包括多个属性特征指示信息和每个属性特征指示信息对应的参考偏移参数;将相匹配的属性特征指示信息对应的参考偏移参数,确定为与视频属性特征相匹配的编码偏移参数。
在一种实现方式中,目标视频帧的类型为关键帧类型;处理单元,用于根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数,N为正整数;根据指定类型的已编码视频帧的偏移量化参数和N个已编码视频帧中其他类型的已编码视频帧的编码量化参数,确定N个已编码视频帧的统计参数;其他类型的已编码视频帧是指:N个已编码视频帧中除指定类型的已编码视频帧外的其他已编码视频帧;根据N个已编码视频帧的统计参数和N个已编码视频帧的数量,确定目标视频帧的初始量化参数。
在一种实现方式中,编码偏移参数包括第一编码偏移参数和第二编码偏移参数;处理单元,用于根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数时,具体用于执行如下步骤:
若指定类型为关键帧类型,则根据第一编码偏移参数对关键帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到关键帧类型的已编码视频帧的偏移量化参数;若指定类型为双向差别帧类型,则根据第二编码偏移参数对双向差别帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到双向差别帧类型的已编码视频帧的偏移量化参数。
在一种实现方式中,目标视频帧的类型为双向差别帧类型;处理单元,用于根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
在目标视频中确定目标视频帧的参考视频帧;若参考视频帧的数量为一个,则将参考视频帧的参考量化参数确定为目标视频帧的初始量化参数;若参考视频帧的数量为M个,则获取M个参考视频帧中的每个参考视频帧的复杂度参数,并根据M个参考视频帧的复杂度参数对M个参考视频帧的参考量化参数进行加权求和计算,得到目标视频帧的初始量化参数,M为大于1的整数;其中,参考视频帧中的指定类型的参考视频帧的参考量化参数,是根据编码偏移参数对指定类型的参考视频帧的编码量化参数进行参数映射处理得到的;参考视频帧中的其他类型的参考视频帧的参考量化参数,是其他类型的参考视频帧的编码量化参数;其他类型的参考视频帧是指:参考视频帧中除指定类型的参考视频帧外的其他参考视频帧。
在一种实现方式中,处理单元,还用于执行如下步骤:
对目标视频帧进行类型检测;若目标视频帧的类型为关键帧类型或双向差别帧类型,则触发执行获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数的步骤;若目标视频帧的类型为前向差别帧类型,则获取目标视频帧的模糊复杂度参数,根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。
在一种实现方式中,处理单元,用于获取目标视频帧的模糊复杂度参数时,具体用于执行如下步骤:
获取目标视频帧的预测残差参数;根据目标视频的N个已编码视频帧的累积复杂度参数、N个已编码视频帧的累积帧数和目标视频帧的预测残差参数,确定目标视频帧的模糊复杂度参数,N为正整数;其中,累积复杂度参数是对N个已编码视频帧的复杂度参数进行加权累积得到的;累积帧数是对N个已编码视频帧的帧数进行加权累积得到的。
在一种实现方式中,处理单元,用于根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
获取目标视频帧的压缩因子,根据目标视频帧的模糊复杂度参数和所述压缩因子确定所述目标视频帧的量化等级参数;获取目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数;目标视频帧的累计分配信息量是对目标视频帧的分配信息量和N个已编码视频帧的分配信息量进行累计得到的;目标视频帧的累积复杂度参数是根据N个已编码视频帧的累积复杂度参数和目标视频帧的预测残差参数确定的;根据目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数,确定量化等级参数的优化因子;根据优化因子对量化等级参数进行优化,得到目标视频帧的初始量化参数。
在一种实现方式中,处理单元,用于对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数时,具体用于执行如下步骤:
根据目标视频中的N个已编码视频帧的累计编码信息量和N个已编码视频帧的累计分配信息量,确定对目标视频帧的初始量化参数的调整因子;N个已编码视频帧的累计编码信息量是对N个已编码视频帧的编码信息量进行累计得到的,N个已编码视频帧的累计分配信息量是对N个已编码视频帧的分配信息量进行累计得到的,N为正整数;根据调整因子对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
相应地,本申请实施例提供一种计算机设备,该计算机设备包括处理器和计算机可读存储介质;其中,处理器适于实现计算机程序,计算机可读存储介质存储有计算机程序,计算机可读存储介质中存储的计算机程序适于由处理器加载并执行上述的视频处理方法。
相应地,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被计算机设备的处理器读取并执行时,使得计算机设备执行上述的视频处理方法。
相应地,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的视频处理方法。
本申请实施例中,可以获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数,然后可以根据编码偏移参数对目标视频中待编码的目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数,然后可以对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数,从而可以根据目标视频帧的编码量化参数对目标视频帧进行编码处理;可见,本申请实施例中确定出的目标视频帧的编码量化参数与目标视频的视频属性特征相适配,也就是说,可以根据目标视频的视频属性特征针对性地确定出用于对目标视频帧进行编码处理的编码量化参数,这样可以在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频呈现质量与QoE(Quality ofExperience,体验质量)指标之间的达到最佳平衡,提升视频编码效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种码率控制的原理示意图;
图2是本申请实施例提供的一种码率控制的效果示意图;
图3是本申请实施例提供的一种视频处理系统的架构示意图;
图4是本申请实施例提供的一种视频处理方法的流程示意图;
图5是本申请实施例提供的另一种视频处理方法的流程示意图;
图6是本申请实施例提供的另一种视频处理方法的流程示意图;
图7a是本申请实施例提供的一种视频码率分布的统计示意图;
图7b是本申请实施例提供的另一种视频码率分布的统计示意图;
图8a是本申请实施例提供的一种视频处理方法的效果示意图;
图8b是本申请实施例提供的另一种视频处理方法的效果示意图;
图9是本申请实施例提供的一种视频处理装置的结构示意图;
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了清楚地理解本申请实施例提供的技术方案,在此对本申请实施例涉及的关键术语进行介绍:
(1)本申请实施例涉及视频。视频是由连续的视频帧构成的视频帧序列,由于眼睛的视觉暂留效应,当视频帧序列以一定的速率播放时,我们看到的就是动作连续的视频。视频中的各个视频帧以GOP(Group of Pictures,图像组)为单位进行组织,视频中可以包括多个GOP,每个GOP以I帧(I Frame,关键帧)开始,以下一个I帧结束,GOP中的第一个视频帧叫做IDR(InstantaneousDecoding Refresh,即时解码刷新)帧,IDR帧一定是I帧,但是I帧不一定是IDR帧,IDR帧会导致DPB(Decoded Picture Buffer,参考帧列表)清空,而I帧不会。GOP中可以包括多个I帧,编码顺序位于I帧之后的视频帧可以引用编码顺序位于I帧之间的视频帧做运动参考。GOP中还可以包括P帧(PFrame,前向差别帧)和B帧(BFrame,双向差别帧),P帧表示的是本帧与之前的一个I帧(或P帧)的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面,B帧记录的是本帧与前后帧的差别,B帧可以作其它B帧的参考帧,也可以不作为其它B帧参考帧。
(2)本申请实施例涉及视频编码技术。视频编码技术是指对视频进行压缩,使得编码后的视频文件的文件体积(即数据量)小于编码前的视频文件的文件体积的技术。由于视频中连续的视频帧之间相似性极高,每一个视频帧内部以及连续的视频帧之间均存在大量的冗余信息,因此在对视频进行存储或传输之前,往往需要采用视频编码技术对视频进行压缩编码,去除视频在空间、时间等维度上的冗余信息,以节省存储空间、提升视频传输效率。
视频编码技术中涉及量化,量化是指根据视频帧的QP,将视频帧中的连续取值(或者大量可能的离散取值)近似为有限多个(或较少的)离散值的过程。QP可以反映空间细节压缩情况,QP的值越小,量化程度越精细,图像中的大部分细节都会被保留,图像质量越高,产生的码率越大;与之相反地,QP的值越大,图像中的一些细节会丢失,码率降低,但图像的失真加强,质量下降。其中,码率也可以称为码流或码流率,是指视频在单位时间内使用的数据流量,通俗一点的理解就是取样率,是视频编码中画面质量控制中最重要的部分,一般采用的码率单位是Kb/s(千字节每秒)或者Mb/s(兆字节每秒);一般来说,同样分辨率下,视频文件的码率越大,压缩比就越小,画面质量就越高;码率越大,说明单位时间内取样率越大,数据流越大,精度就越高,恢复出的视频就越接近原始视频,图像质量越好,画质越清晰,要求播放设备的解码能力也越高。
(3)本申请实施例涉及码率控制。码率控制的本质是受限资源的优化分配问题,码率控制的基本原理可参见图1,码率控制是指利用视频的复杂度、编码实际产生的比特数目、及缓存器状态(例如缓存器当前剩余比特数目)等信息,对待编码的视频帧进行比特分配,调整待编码的视频帧的图像层QP和编码单元QP,从而在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频质量和QoE(Quality of Experience,体验质量)指标之间达到最优平衡的目的。码率控制的效果可参见图2,黑色虚线表示目标带宽,在进行码率控制之前,灰色实线所表示的视频码率会超出目标带宽,这样将导致编码器无法在实际环境中应用;而在进行码率控制后,黑色实线所表示的视频码率未超出目标带宽。其中,图像层QP是指对视频帧进行量化所采用的QP,编码单元QP是对视频帧的编码单元进行量化所采用的QP,编码单元是指对视频帧进行编码所采用的编码基本单元,编码单元例如可以是宏块,视频帧需要划分为多个宏块进行编码处理。
常见的码率控制模式可以包括:CRF(Constant Rate Factor,恒定质量因子)模式,此模式的优点是能够在保持视频质量稳定的同时,尽量减少消耗带宽,缺点是不知道编码得到的文件确切大小。ABR(Average Bitrate,平均码率)模式,此模式以减少视频总的码率控制误差为首要前提,目的是在码率控制精度尽量高的前提下提升视频的压缩性能。CBR(Constant Bitrate,恒定码率)模式,与CBR模式相对的是VBR(Variable Bitrate,可变码率)模式,CBR模式对于编码过程中的每秒峰值码率有着严格的要求,多用于视频直播场景中。CQP(ConstantQuantization Parameter,恒定量化参数)模式,此模式在业务中使用较少,多用于学术研究,由于其他几种模式(例如上述CRF模式、ABR模式、CBR模式等)均会调整QP,引发性能波动,因此在学术研究中针对某一具体算法的性能调优时,多用CQP模式表征。VBV(Video Buffering Verifier,视频缓冲校验)模式,此模式为CRF模式、ABR模式、CBR模式等提供缓存资源分配,相对于传统的码率控制模式,可以使得编码器的比特分配过程更加合理。Multi-pass(多路编码)模式,常用2-pass模式,即一个视频编码两遍,从而利用第一遍编码的结果指导第二遍的QP调整,使得编码器获得更加优秀的压缩性能。
(4)本申请实施例涉及QoE指标。QoE指标是业务相关产品运营和增长上最关注的一个指标,以视频业务为例,QoE指标的评价主体是视频消费对象,评价对象是视频业务和支撑视频业务的网络,QoE指标通过具体的指标值来表征视频消费对象对视频业务或视频业务产品(例如视频软件、视频应用程序、视频客户端等)的满意程度;在视频业务中,QoE指标可以包括但不限于以下至少一种:首帧时长、平均对象视频观看时长,视频画面质量、画面延迟、以及卡顿指标(例如卡顿感缓冲时间)等等。其中,首帧时长是指视频消费对象开始播放视频到视频消费对象观看到视频首帧画面所需时长;平均对象观看时长是指多个视频消费对象对视频的平均观看时长;视频画面质量是指视频消费对象是否可以欣赏高质量(例如高清晰度)或低质量(例如低清晰度)的视频,或者是指视频消费对象在观看视频的过程中是否会出现视频质量突然下降的情况;卡顿感缓冲时间是指视频在播放过程中出现卡顿到卡顿消除所需时长;画面延迟是指操作与其在屏幕上出现之间的时间延迟,例如实时体育直播时,即使是几秒钟的延迟,也可能导致观众在看到进球之前听到邻近公寓的欢呼声或在社交媒体上看到剧透。
视频业务的评价指标除QoE指标外,还可以包括QoS(Quality of Service,服务质量)指标,主要负责从网络的角度进行业务管理和提供业务的差异性,网络实体根据不同的质量需求来处理不同业务,比如常用QoS指标可以包括但不限于以下至少一种:卡顿率、卡顿时间、首帧时长等等。
在视频业务中,视频消费对象会使用各种各样的视频消费设备(例如手机、智能电视、机顶盒以及游戏主机等)来安装视频业务产品(例如视频软件、视频客户端、视频应用程序等),以在视频业务产品中观看视频;通常情况下,不同的视频消费设备所处的网络环境不相同,不同的视频消费设备支持的视频播放条件也存在差异,视频消费对象对不同类型视频的视频呈现效果的要求也不尽相同;因此,需要合适的编码配置(例如可以是QP)来对网络环境、视频播放条件、视频类型等进行适配,以针对性地提供更加优质高效的视频服务。基于此,本申请实施例提出一种视频处理方法,该视频处理方法可以对现有的码率控制方案进行优化,使得码率控制方案中确定出的QP能够与视频业务的网络环境、视频播放条件、视频类型等中的一种或多种进行适配,针对性地确定出QP来对视频进行编码处理,从而可以在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频呈现质量与QoE指标之间的达到最佳平衡,提升视频消费对象的视频观看体验。
下面结合图3对适于实现本申请实施例提供的视频处理方法的视频处理系统进行介绍,视频处理系统可以包括视频制作设备(编码端)301和视频消费设备(解码端)302,视频制作设备301与视频消费设备302之间可以通过有线通信方式进行直接连接,或者可以通过无线通信方式进行间接连接进行通信;针对目标视频中任一待编码的视频帧,视频制作设备301可以确定出合适的QP对该视频帧进行编码处理,并将编码处理后的目标视频发送至视频消费设备302;视频消费设备302可以对编码处理后的目标视频进行解码处理,解码出目标视频中包含的多个视频帧,并呈现解码出的各个视频帧,从而视频消费对象可以通过视频消费设备302观看目标视频。
其中,视频制作设备301可以是终端或服务器,视频消费设备301可以是终端;本申请实施例提及的终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等,但并不局限于此;本申请实施例提及的服务器可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据等基础云计算服务的云服务器。
本申请实施例提供的视频处理方法可以应用于视频会话、视频点播、视频直播等视频业务场景中。例如,在由会话对象A和会话对象B参与的视频会话中,会话对象A使用的终端可以作为视频制作设备,对采集到的包含会话对象A的会话视频进行编码处理,并将编码处理后的会话视频传输至会话对象B使用的终端;会话对象A使用的终端也可以作为视频消费设备,解码并播放包含会话对象B的会话视频;会话对象B使用的终端与会话对象A使用的终端类似,既可以作为视频制作设备,又可以作为视频消费设备;在视频会话场景中根据视频会话业务的特点为会话视频中的各个视频帧确定出合适的QP,可以提升视频会话效果,提升会话对象的视频会话体验。又如,视频点播场景中,视频处理服务器可以作为视频制作设备,对视频点播对象通过视频点播客户端点播的点播视频进行编码处理,并将编码处理后的点播视频传输至视频点播客户端;运行视频点播客户端的终端可以作为视频消费设备,对编码处理后的点播视频进行解码处理,并在视频点播客户端中播放点播视频;在视频点播场景中根据视频点播业务的特点为点播视频中的各个视频帧确定出合适的QP,可以提升视频点播效果,提升视频点播对象的视频观看体验。类似地,在视频直播场景中,主播对象所使用的终端可以作为视频制作设备,对直播视频进行编码处理,并将编码处理后的直播视频传输至观众对象所使用的终端;观众对象所使用的终端可以作为视频消费设备,对编码处理后的直播视频进行解码处理,并播放直播视频;在视频直播场景中根据视频直播业务的特点为直播视频中的各个视频帧确定出合适的QP,可以提升视频直播效果,提升观众对象的直播观看体验。
可以理解的是,本申请实施例描述的视频处理系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术对象可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
另外,本申请实施例提供的视频处理方法还可以与云技术(Cloud Technology)相结合,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术;云技术中的云计算(Cloud Computing)技术可以为视频处理过程提供计算支持,云技术中的云存储(Cloud Storage)技术可以为视频处理过程提供存储服务。本申请实施例提供的视频处理方法还可以部署为视频处理云服务,当需要对视频进行编码处理时,可以直接调用视频处理云服务对视频进行编码处理。
基于上述视频处理系统的相关描述,下面结合附图对本申请实施例提出的视频处理方法进行详细介绍。
本申请实施例提供一种视频处理方法,该视频处理方法主要介绍视频属性特征、确定与视频属性特征相匹配的编码偏移参数的过程、当目标视频帧为I帧时初始量化参数的确定过程,当目标视频帧为B帧时初始量化参数的确定过程等内容。该视频处理方法可以由上述提及的视频处理系统中的视频制作设备301来执行,请参见图4,该视频处理方法可以包括以下步骤S401-步骤S406:
S401,从目标视频中获取待编码的目标视频帧。
目标视频中可以包括多个视频帧,目标视频中的各个视频帧按照各自的编码顺序依次被编码,可以从目标视频中获取待编码的目标视频帧。
S402,获取目标视频的视频属性特征。
目标视频的视频属性特征可以包括以下任一种或多种:目标视频的分辨率信息、目标视频所属的视频类型信息、目标视频的码率信息、以及目标视频的播放效果参考信息,目标视频的视频属性特征可以是从目标视频中获取到待编码的目标视频帧时获取的。
其中:①目标视频的分辨率信息是指设置的目标视频在视频消费设备中进行播放时的分辨率大小;该分辨率信息可以是视频消费设备默认设置的,例如视频消费设备运行的视频业务产品(例如视频软件、视频应用程序、视频客户端等)中默认设置的分辨率为480P;或者,该分辨率信息可以是视频消费对象在视频消费设备中设置的,例如视频消费对象在视频消费设备运行的视频业务产品中设置的分辨率为1080P。②目标视频所属的视频类型信息是指目标视频所属的视频类型的标识,例如目标视频属于电视剧类型,或者目标视频属于电影类型,或者目标视频属于动漫类型等等。③目标视频的码率信息是指设置的编码得到的目标视频在单位时间(例如可以是1秒)内使用的数据流量大小,该码率信息可以设置为恒定码率(例如上述码率控制模式中的CBR模式),该码率信息也可以设置为平均码率(例如上述码率控制模式中的ABR模式);目标视频的码率信息可以是根据视频制作设备与视频消费设备之间的网络传输带宽(即前述内容中提及的目标带宽)设置的,目标视频的码率信息不能超过网络传输带宽。④目标视频的播放效果参考信息是指设置的目标视频在视频消费设备中的播放效果的描述信息,播放效果参考信息可以包括以下任一种:画质优先效果、码率优先效果、以及画质码率折中效果;该播放效果参考信息可以是视频消费设备默认设置的,例如视频消费设备运行的视频业务产品中默认设置的播放效果参考信息为码率优先效果;或者,该分辨率信息可以是视频消费对象在视频消费设备中设置的,例如视频消费对象在视频消费设备运行的视频业务产品中设置的播放效果参考信息为画质优先效果。
S403,确定与视频属性特征相匹配的编码偏移参数。
在获取到目标视频的视频属性特征后,可以确定与视频属性特征相匹配的编码偏移参数。确定与视频属性特征相匹配的编码偏移参数的过程,是指确定与视频属性特征相匹配的编码偏移参数的参数值的过程,编码偏移参数可以包括第一编码偏移参数(ipratio)和第二编码偏移参数(pbratio)。其中,第一编码偏移参数(ipratio)是指平均的I帧的量化器相比P帧量化器增值,第一编码偏移参数(ipratio)的参数值越高,意味着更高的I帧质量;第二编码参数(pbratio)是指平均的B帧的量化器相比P帧量化器减值,第二编码参数(pbratio)的参数值越高,意味着更低的B帧质量。
确定与视频属性特征相匹配的编码偏移参数的过程可以包括:在参数匹配关系中确定与视频属性特征相匹配的属性特征指示信息,参数匹配关系中可以包括多个属性特征指示信息和每个属性特征指示信息对应的参考偏移参数;将相匹配的属性特征指示信息对应的参考偏移参数,确定为与视频属性特征相匹配的编码偏移参数。下面分别对目标视频的视频属性特征包括目标视频的分辨率信息、目标视频的视频属性特征包括目标视频所属的类型信息、目标视频的视频属性特征包括目标视频的码率信息、以及目标视频的视频属性特征包括目标视频的播放效果参考信息这四种情况下,确定与视频属性特征相匹配的编码偏移参数的过程进行介绍:
(1)目标视频的视频属性特征可以包括目标视频的分辨率信息,不同的分辨率信息所匹配的编码偏移参数不相同。在此情况下,参考匹配关系中的属性特征指示信息是指分辨率区间,与视频属性特征相匹配的属性特征指示信息是指目标视频的分辨率信息所属的分辨率区间;也就是说,当目标视频的视频属性特征包括目标视频的分辨率信息时,可以在参数匹配关系中确定目标视频的分辨率信息所属的分辨率区间,然后可以将目标视频的分辨率信息所属的分辨率区间对应的参考偏移参数,确定为与目标视频的视频属性特征相匹配的编码偏移参数。目标视频的视频属性特征包括目标视频的分辨率信息时,一种示例性的参考匹配关系可参见如下表1:
表1
如上表1所示,当目标视频的分辨率信息属于分辨率区间[0P,480P]时,可以尽量以画质优先,将第一编码参数的参数值设置为1.8(即ipratio(1.8)),第二编码参数的参数值设置为1.5(即pbratio(1.5));当目标视频的分辨率信息属于分辨率区间(480P,1080P]时,可以考虑画质和码率折中,将第一编码参数的参数值设置为1.5,第二编码参数的参数值设置为1.3;当目标视频的分辨率信息属于分辨率区间(1080P,+∞)时,可以优先考虑码率分布,高码率高分辨率下的画质在目前的网络传输带宽和视频消费设备的配置阶段已经足够,可以将第一编码参数的参数值设置为1.2,第二编码参数的参数值设置为1.1。
(2)目标视频的视频属性特征可以包括目标视频所属的视频类型信息,不同的视频类型信息所匹配的编码偏移参数不相同。在此情况下,参考匹配关系中的属性特征指示信息是指参考视频类型标识,与视频属性特征相匹配的属性特征指示信息是指与目标视频所属的视频类型信息相匹配的参考视频类型标识;也就是说,当目标视频的视频属性特征包括目标视频所属的类型信息时,可以在参数匹配关系中确定与目标视频所属的视频类型信息相匹配的参考视频类型标识,然后可以将相匹配的参考视频类型标识对应的参考偏移参数,确定为与目标视频的视频属性特征相匹配的编码偏移参数。目标视频的视频属性特征包括目标视频所属的类型信息时,一种示例性的参考匹配关系可参见如下表2:
表2
如上表2所示,当目标视频所属的视频类型信息与秀场、动漫中的任一种相匹配时,可以尽量以画质优先,将第一编码参数的参数值设置为1.8,第二编码参数的参数值设置为1.5;当目标视频所属的视频类型信息与游戏、美食、体育、旅游中的任一种相匹配时,可以考虑画质和码率折中,将第一编码参数的参数值设置为1.5,第二编码参数的参数值设置为1.3;当目标视频所属的视频类型信息与电视剧、电影中的任一种相匹配时,可以优先考虑码率分布,高码率高分辨率下的画质在目前的网络传输带宽和视频消费设备的配置阶段已经足够,可以将第一编码参数的参数值设置为1.2,第二编码参数的参数值设置为1.1。
(3)目标视频的视频属性特征可以包括目标视频的码率信息,不同的码率信息所匹配的编码偏移参数不相同。在此情况下,参考匹配关系中的属性特征指示信息是指码率区间,与视频属性特征相匹配的属性特征指示信息是指目标视频的码率信息所属的码率区间;也就是说,当目标视频的视频属性特征包括目标视频的码率信息时,可以在参数匹配关系中确定目标视频的码率信息所属的码率区间,然后可以将目标视频的码率信息所属的码率区间对应的参考偏移参数,确定为与目标视频的视频属性特征相匹配的编码偏移参数。目标视频的视频属性特征包括目标视频的码率信息时,一种示例性的参考匹配关系可参见如下表3:
表3
如上表3所示,当目标视频的码率信息属于码率区间[0Mb/s,2Mb/s)时,可以尽量以画质优先,将第一编码参数的参数值设置为1.8,第二编码参数的参数值设置为1.5;当目标视频的码率信息属于码率区间[2Mb/s,10Mb/s)时,可以考虑画质和码率折中,将第一编码参数的参数值设置为1.5,第二编码参数的参数值设置为1.3;当目标视频的码率信息属于码率区间[10Mb/s,+∞)时,可以优先考虑码率分布,高码率高分辨率下的画质在目前的网络传输带宽和视频消费设备的配置阶段已经足够,可以将第一编码参数的参数值设置为1.2,第二编码参数的参数值设置为1.1。
(4)目标视频的视频属性特征可以包括目标视频的播放效果参考信息,不同的播放效果参考信息所匹配的编码偏移参数不相同。在此情况下,参考匹配关系中的属性特征指示信息是指参考播放效果标识,与视频属性特征相匹配的属性特征指示信息是指与目标视频的播放效果参考信息相匹配的参考播放效果标识;也就是说,当目标视频的视频属性特征包括目标视频的播放效果参考信息时,可以在参数匹配关系中确定与目标视频的播放效果参考信息相匹配的参考播放效果标识,然后可以将相匹配的参考播放效果标识对应的参考偏移参数,确定为与目标视频的视频属性特征相匹配的编码偏移参数。目标视频的视频属性特征包括目标视频的播放效果参考信息时,一种示例性的参考匹配关系可参见如下表4:
表4
如上表2所示,当目标视频的播放效果参考信息与画质优先效果相匹配时,可以将第一编码参数的参数值设置为1.8,第二编码参数的参数值设置为1.5;当目标视频的播放效果参考信息与画质码率折中效果相匹配时,可以将第一编码参数的参数值设置为1.5,第二编码参数的参数值设置为1.3;当目标视频的播放效果参考信息与码率优先效果相匹配时,可以将第一编码参数的参数值设置为1.2,第二编码参数的参数值设置为1.1。
需要说明的是,上述(1)-(4)分别介绍了目标视频的视频属性特征包括目标视频的分辨率信息、目标视频的视频属性特征包括目标视频所属的视频类型信息、目标视频的视频属性特征包括目标视频的码率信息、以及目标视频的视频属性特征包括目标视频的播放效果参考信息这四种情况下编码偏移参数的确定过程;但在实际视频编码场景中,目标视频的分辨率信息、目标视频所属的视频类型信息、目标视频的码率信息、以及目标视频的播放效果参考信息之间可以进行灵活组合;例如,目标视频的视频属性特征可以包括目标视频的分辨率信息和目标视频的码率信息,当目标视频的分辨率信息属于分辨率区间[0P,480P]、且目标视频的码率信息属于码率区间[0Mb/s,2Mb/s)时,可以尽量以画质优先,将第一编码参数的参数值设置为1.8,第二编码参数的参数值设置为1.5。
S404,根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。
目标视频帧的类型为关键帧类型(即I帧)和目标视频帧的类型为双向差别帧类型(即B帧)时,根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数的过程的过程是不相同的;下面分别介绍目标视频帧的类型为关键帧类型和目标视频帧的类型为双向差别帧类型时,根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数的过程:
(1)当目标视频帧的类型为关键帧类型时,根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数的过程可以包括:根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数,N为正整数;根据指定类型的已编码视频帧的偏移量化参数和N个已编码视频帧中其他类型的已编码视频帧的编码量化参数,确定N个已编码视频帧的统计参数;根据N个已编码视频帧的统计参数和N个已编码视频帧的数量,确定目标视频帧的初始量化参数。N个已编码视频帧是目标视频中编码顺序位于目标视频帧之前的N个已编码的视频帧,其他类型的已编码视频帧是指N个已编码视频帧中除指定类型的已编码视频帧外的其他已编码视频帧。
在此,对上述关键帧类型的目标视频帧的初始量化参数的确定过程进行进一步地解释:①参数映射处理的实质是根据编码偏移参数将指定类型的已编码视频帧的编码量化参数,统一映射至目标类型(即上述其他类型)的结果,本申请实施例以指定类型是关键帧类型或双向差别帧类型,其他类型是前向差别帧(即P帧)类型为例进行介绍,也就是说,本申请实施例以前向差别帧类型的已编码视频帧为基础单位,将关键帧类型的已编码视频帧的编码量化参数和双向差别帧类型的已编码视频帧的编码量化参数,统一映射至前向差别帧类型,得到关键帧类型的已编码视频帧的偏移量化参数和双向差别帧类型的已编码视频帧的偏移量化参数。②统计参数的实质是指定类型的已编码视频帧的偏移量化参数和其他类型的已编码视频帧的编码量化参数的叠加总和。③目标视频帧的初始量化参数可以等于N个已编码视频帧的统计参数与N个已编码视频帧的数量之间的比值。综上①-③可知,关键帧类型的目标视频帧的初始量化参数是,目标视频中编码顺序位于目标视频帧之前的N个已编码视频帧的编码量化参数的叠加总和,与N个已编码视频帧的数量之间的比值,并且在计算叠加总和的过程中,需要对N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,统一映射至目标类型后再进行叠加求和,通过参数映射处理,不仅可以使得目标视频帧的初始量化参数与目标视频的视频属性特征适配,还有利于在码率控制中进行归一化。
此处重点介绍参数映射处理过程,根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数的过程可以包括:若指定类型为关键帧类型,则可以根据第一编码偏移参数(即ipratio)对关键帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到关键帧类型的已编码视频帧的偏移量化参数;可参见下述公式1:
QP=QP+ipoffset=QP+6.0×log2(ipratio)公式1
在此上述公式1中的参数进行解释:第一个等号左边的QP表示关键帧类型的已编码视频帧的偏移量化参数;第一个等号右边和第二个等号右边的QP表示关键帧类型的已编码视频帧的编码量化参数;ipoffset表示第一偏移量,是根据第一编码偏移参数确定的;ipratio表示第一编码偏移参数;关键帧类型的首个已编码视频帧的编码量化参数可以设置为常数(例如可以是24)。
若指定类型为双向差别帧类型,则可以根据第二编码偏移参数(即pbratio)对双向差别帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到双向差别帧类型的已编码视频帧的偏移量化参数;参见下述公式2:
QP=QP+pboffset=QP+6.0×log2(pbratio)公式2
在此对上述公式2中的参数进行解释:第一个等号左边的QP表示双向差别帧类型的已编码视频帧的偏移量化参数;第一个等号右边和第二个等号右边的QP表示双向差别帧类型的已编码视频帧的编码量化参数;pboffset表示第二偏移量,是根据第二编码偏移参数确定的;pbratio表示第二编码偏移参数。
(2)当目标视频帧的类型为双向差别帧类型时,根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数的过程可以包括:在目标视频中确定目标视频帧的参考视频帧,参考视频帧的数量可以为一个或M个,M为大于1的整数;若参考视频帧的数量为一个,则可以将参考视频帧的参考量化参数确定为目标视频帧的初始量化参数;若参考视频帧的数量为M个,则可以获取M个参考视频帧中的每个参考视频帧的复杂度参数,并根据M个参考视频帧的复杂度参数对M个参考视频帧的参考量化参数进行加权求和计算,得到目标视频帧的初始量化参数;在进行加权求和计算时,任一个参考视频帧的参考量化参数的权重可以是根据该参考视频帧的复杂度参数与M个参考视频帧的复杂度参数的总和确定的,任一个参考视频帧的参考量化参数的权重可以等于该参考视频帧的复杂度参数与M个参考视频帧的复杂度参数的总和之间的比值。需要说明的是,参考视频帧的复杂度参数可以是指参考视频帧的模糊复杂度参数,参考视频帧的模糊复杂度参数的确定过程,与当目标视频帧的类型为前向差别帧类型时目标视频帧的模糊复杂度参数的确定过程相同,具体可参见图5所示实施例中关于目标视频帧的类型为前向差别帧类型时目标视频帧的模糊复杂度参数的确定过程的相关描述;或者,参考视频帧的复杂度参数也可以是参考视频帧的时间复杂度或空间复杂度中的任意一种或两种。
其中,参考视频帧中的指定类型的参考视频帧的参考量化参数,是根据编码偏移参数对指定类型的参考视频帧的编码量化参数进行参数映射处理得到的,指定类型的参考视频帧的编码量化参数的参数映射处理过程,与指定类型的已编码视频帧的编码量化参数的参数映射处理过程相同,具体可以参见前述内容中关于指定类型的已编码视频帧的编码量化参数的参数映射处理过程的相关描述,在此不再赘述;参考视频帧中的其他类型的参考视频帧的参考量化参数,是其他类型的参考视频帧的编码量化参数,其他类型的参考视频帧是指参考视频帧中除指定类型的参考视频帧外的其他参考视频帧。也就是说,双向差别帧类型的目标视频帧的初始量化参数是,目标视频帧的一个参考视频帧的参考量化参数,或者是对目标视频帧的M个参考视频帧的参考量化参数进行复杂度参数加权求和的结果;并且,当参考视频帧的类型为其他类型时,参考视频帧的参考量化参数等于参考视频帧的编码量化参数,无需进行参数映射处理;当参考视频帧的类型为指定类型时,需要根据编码偏移参数将指定类型的参考视频帧的编码量化参数,统一映射至目标类型,得到指定类型的参考视频帧的参考量化参数;通过参数映射处理,不仅可以使得目标视频帧的初始量化参数与目标视频的视频属性特征适配,还有利于在码率控制中进行归一化。
S405,对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
在根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数之后,还可以对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
S406,根据目标视频帧的编码量化参数对目标视频帧进行编码处理。
在对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数之后,可以根据目标视频帧的编码量化参数对目标视频帧进行编码处理。根据目标视频帧的编码量化参数对目标视频帧进行编码处理可以包括两个阶段,第一阶段是根据目标视频帧的编码量化参数对目标视频帧进行量化处理,得到量化处理后的目标视频帧,第二个阶段是对量化处理后的目标视频帧进行编码处理。
本申请实施例中,目标视频的视频属性特征可以是从目标视频中获取到待编码的目标视频帧时获取的,这样可以使得目标视频帧的编码量化参数与目标视频当前的视频属性特征的适配度更高,采用适配度更高的编码量化参数对目标视频帧进行编码处理,有利于提升视频消费端的QoE指标和视频观看体验。当目标视频的视频属性特征包括目标视频的分辨率信息时,可以使得目标视频帧的编码量化参数与目标视频的视频播放条件进行适配,当目标视频的视频属性特征包括目标视频的码率信息时,可以使得目标视频帧的编码量化参数与目标视频的网络环境进行适配,当目标视频的视频属性特征包括目标视频所属的视频类型信息时,可以使得目标视频帧的编码量化参数与目标视频的视频类型进行适配,当目标视频的视频属性特征包括目标视频的播放效果参考信息时,可以使得目标视频帧的编码量化参数与目标视频的期望播放效果进行适配,也就是说,本申请实施例中确定出目标视频帧的编码量化参数可以从视频业务的不同角度进行适配,其目的都是为了提升视频编码效果,使得目标视频在视频消费端的视频呈现质量与QoE指标之间的达到最佳平衡。
本申请实施例提供一种视频处理方法,该视频处理方法主要介绍当目标视频帧为P帧时初始量化参数的确定过程,对目标视频帧的初始量化参数进行调整的过程等内容。该视频处理方法可以由上述提及的视频处理系统中的视频制作设备301来执行,请参见图5,该视频处理方法可以包括以下步骤S501-步骤S509:
S501,从目标视频中获取待编码的目标视频帧。
本申请实施例中步骤S501的执行过程与上述图4所示实施例中步骤S401的执行过程相同,具体可参见上述图4所示实施例中步骤S401的相关描述,在此不再赘述。
S502,对目标视频帧进行类型检测;
从目标视频中获取待编码的目标视频帧之后,可以对目标视频帧的进行类型检测,目标视频帧的类型可以为关键帧类型、前向差别帧类型或双向差别帧类型中的任一种。若目标视频帧的类型为关键帧类型或双向差别帧类型,则可以触发执行步骤S503-步骤S505,步骤S505执行结束后可以执行步骤S508-步骤S509;若目标视频帧的类型为前向差别帧类型,则可以触发执行步骤S506-步骤S507,步骤S507执行结束后可以执行步骤S508-步骤S509。
S503,获取目标视频的视频属性特征。
S504,确定与视频属性特征相匹配的编码偏移参数。
S505,根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。
本申请实施例中步骤S503的执行过程与上述图4所示实施例中步骤S402的执行过程相同,步骤S504的执行过程与上述图4所示实施例中步骤S403的执行过程相同,步骤S505的执行过程与上述图4所示实施例中步骤S404的执行过程相同,具体可参见上述图4所示实施例中的相关描述,在此不再赘述。
S506,获取目标视频帧的模糊复杂度参数。
获取目标视频帧的复杂度参数的过程可以包括:获取目标视频帧的预测残差参数(SATD);根据目标视频的N个已编码视频帧的累积复杂度参数、N个已编码视频帧的累积帧数和目标视频帧的预测残差参数,确定目标视频帧的模糊复杂度参数,N个已编码视频帧是目标视频中编码顺序位于目标视频帧之前的N个已编码的视频帧,N为正整数。
其中,目标视频帧的预测残差参数的确定过程可以包括:对目标视频帧进行下采样处理,得到下采样视频帧,然后可以对下采样视频帧进行预测处理,得到预测视频帧,并计算预测视频帧与目标视频帧之间的残差,然后可以对预测视频帧与目标视频帧之间的残差进行变换处理后再进行绝对值求和,得到目标视频帧的预测残差参数;预测处理可以包括inter预测处理(即帧间预测处理)和intra预测处理(即帧内预测处理),intra预测处理是指视频帧内的预测块是基于已编码重建块和当前块形成的块,inter预测处理主要可以包括运动估计(例如运动搜索方法、运动估计准则、亚像素插值和运动矢量估计等)和运动补偿,是GOP粒度时序上的参考和预测插值补偿;变换处理具体可以是指对预测视频帧与目标视频帧之间的残差进行Hadamard变换(阿达马变换)。N个已编码视频帧的累积复杂度参数可以是对N个已编码视频帧的复杂度参数进行加权累积得到的,此处累积的含义可以理解为第二个已编码视频帧的复杂度参数等于第一个已编码视频帧的复杂度参数(例如可以是时间复杂度或空间复杂度中的任意一种或两种)乘以0.5加上第二个已编码视频帧的预测残差参数,第三个已编码视频帧的复杂度参数等于第二个已编码视频帧的复杂度参数乘以0.5加上第三个已编码视频帧的预测残差参数,以此类推得到N个已编码视频帧的累积复杂度参数;N个已编码视频帧的累积帧数可以是对N个已编码视频帧的帧数进行加权累积得到的。目标视频帧的复杂度参数的具体计算过程可参见下述公式3-公式5:
cplxsum[i]=cplxsum[i-1]×0.5+SATD[i]公式3
cplxcount[i]=cplxcount[i-1]×0.5+1公式4
blurred_complexity[i]=cplxsum[i]/cplxcount[i]公式5
在此对上述公式3-公式5中的参数进行解释:i表示目标视频帧;SATD[i]表示目标视频帧的预测残差参数;cplxsum[i-1]表示N个已编码视频帧的累积复杂度参数,cplxsum的初始值为0,cplxsum[i-1]是对N个已编码视频帧的复杂度参数进行加权累积得到,常数0.5为加权所采用的权重;cplxsum[i]表示目标视频帧的累积复杂度参数,是根据cplxsum[i-1]和SATD[i]确定的;cplxcount[i-1]表示N个已编码视频帧的累积帧数,cplxcount的初始值为0,是对N个已编码视频帧的帧数进行加权累积得到,常数0.5为加权所采用的权重;cplxcount[i]表示目标视频帧的累积帧数,是根据cplxcount[i-1]确定的,blurred_complexity[i]表示目标视频帧的模糊复杂度参数,是根据cplxsum[i]和cplxcount[i]确定的。
S507,根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。
在获取到目标视频帧的模糊复杂度参数之后,可以根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数可以包括:①获取目标视频帧的压缩因子,根据目标视频帧的模糊复杂度参数和压缩因子确定目标视频帧的量化等级参数。②获取目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数;目标视频帧的累计分配信息量是对目标视频帧的分配信息量和N个已编码视频帧的分配信息量进行累计得到的,此处的累计可以理解为目标视频帧的累计分配信息量等于目标视频帧的分配信息量和N个已编码视频帧的分配信息量相加得到的总和;目标视频帧的分配信息量是指为目标视频帧预分配的比特数目,已编码视频帧的分配信息量是指为已编码视频帧预分配的比特数目;目标视频帧的累积复杂度参数(即前述cplxsum[i])是根据N个已编码视频帧的累积复杂度参数(即前述cplxsum[i-1])和目标视频帧的预测残差参数(即前述SATD[i])确定的。③根据目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数,确定量化等级参数的优化因子。④根据优化因子对量化等级参数进行优化,得到目标视频帧的初始量化参数。根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数的过程具体可参见下述公式6-公式8:
qscale_raw[i]=blurred_complexity[i](1-qcompres0) 公式6
rate_factor[i]=wanted_bits_window[i]/cplxsum[i] 公式7
qscale_adjust[i]=qscale_raw[i]/rate_factor[i] 公式8
在此对上述公式6-公式8中的参数进行解释:i表示目标视频帧;qcompress表示压缩因子,在ABR模式中默认为0.6,可以表征目标视频帧的模糊复杂度参数与目标视频帧的量化等级参数之间的关系,用于调控目标视频帧的量化等级参数的幅度;blurred_complexity[i]表示目标视频帧的模糊复杂度参数;qscale_raw[i]表示目标视频帧的量化等级参数;rate_factor[i]表示量化等级参数的优化因子,wanted_bits_window[i]表示目标视频帧的累计分配信息量,cplxsum[i]表示目标视频帧的累积复杂度参数,rate_factor[i]等于wanted_bits_window[i]与cplxsum[i]之间的比值;qscale_adjust[i]表示目标视频帧的初始量化参数,qscale_adjust[i]等于qscale_raw[i]与rate_factor[i]之间的比值。
S508,对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
由前述内容可知,目标视频帧的类型可以为关键帧类型、前向差别帧类型、双向差别帧类型中的任一种,当目标视频帧的类型为关键帧类型、前向差别帧类型、双向差别帧类型中的任一种时,都需要对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数的过程可以包括:
(1)根据目标视频中的N个已编码视频帧的累计编码信息量和N个已编码视频帧的累计分配信息量,确定对目标视频帧的初始量化参数的调整因子。N个已编码视频帧的累计编码信息量是对N个已编码视频帧的编码信息量进行累计得到的,已编码视频帧的编码信息量是指对已编码视频帧实际编码产生的比特数目;N个已编码视频帧的累计分配信息量是对N个已编码视频帧的分配信息量进行累计得到的。
其中,根据目标视频中的N个已编码视频帧的累计编码信息量和N个已编码视频帧的累计分配信息量,确定对目标视频帧的初始量化参数的调整因子的过程可以包括:获取目标视频的码率信息和N个已编码视频帧的编码总时间,N个已编码视频帧的编码总时间可以是根据N个已编码视频帧的帧数和目标视频的帧率信息确定的,目标视频的帧率信息是指单位时间内传输的视频帧的数量;根据目标视频的码率信息和N个已编码视频帧的编码总时间,确定N个已编码视频帧的平均缓冲区信息;根据N个已编码视频帧的累计编码信息量、N个已编码视频帧的累计分配信息量和N个已编码视频帧的平均缓冲区信息,确定对目标视频帧的初始量化参数的调整因子。
(2)根据调整因子对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。其中,根据调整因子对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数的过程可以包括:根据调整因子对目标视频帧的初始量化参数进行调整,得到目标视频帧的调整量化参数;根据目标视频帧的调整量化参数确定目标视频帧的编码量化参数。
上述(1)-(2)的过程具体可参见下述公式9-公式12:
abr_buffer[i-1]=2×RT×sqrt(Ttotal) 公式9
overflow[i]=
clip3(0.5,2,1.0+(total_bits[i-1]-wanted_bits[i-1])/abr_buffer[i-1])公式10
qscale_adjust[i]=qscale_adjust[i]×overflow[i] 公式11
QP[i]=12+6×log2(qscale_adjust[i]/0.85) 公式12
在此对上述公式9-公式12中的参数进行解释:RT表示目标视频的码率信息;Ttotal表示N个已编码视频帧的编码总时间;sqrt(Ttotal)表示Ttotal的平方根;abr_buffer[i-1]表示N个已编码视频帧的平均缓冲区信息;total_bits[i-1]表示N个已编码视频帧的累计编码信息量;wanted_bits[i-1]表示N个已编码视频帧的累计分配信息量;clip3表示clip3函数;overflow[i]表示目标视频帧的初始量化参数调整因子;公式11中等式右边的qscale_adjust[i]表示目标视频帧的初始量化参数;公式11中等式左边的qscale_adjust[i]表示目标视频帧的调整量化参数;公式12中等式右边的qscale_adjust[i]表示目标视频帧的调整量化参数;QP[i]表示目标视频帧的编码量化参数。
S509,根据目标视频帧的编码量化参数对目标视频帧进行编码处理。
本申请实施例中步骤S509的执行过程与上述图4所示实施例中步骤S406的执行过程相同,具体可参见上述图4所示实施例中步骤S406的相关描述,在此不再赘述。在对目标视频帧进行编码处理后,可以按照本申请实施例提供的视频处理方法继续确定目标视频中编码顺序位于目标视频帧之后的视频帧的编码量化参数,以进行编码处理,直至对目标视频中的所有视频帧处理完成为止。
本申请实施例中,当目标视频帧的类型为前向差别帧类型时,可以根据目标视频帧的模糊复杂度参数估计目标视频帧的初始量化参数,使得目标视频帧的初始量化参数与目标视频帧的复杂度相适配。可以根据编码顺序位于目标视频帧之前的所有已编码视频帧的累计编码信息量和所有已编码视频帧的累计分配信息量来对目标视频帧的初始量化参数进行调整,可以保证整个编码过程中实际编码产生的编码信息量与预分配的编码信息量接近,提升整体编码效果。
上述图4和图5所示的视频处理方法可总结为图6所示的流程示意图,视频处理方法可以包括:
(1)从目标视频中确定待编码的目标视频帧,对目标视频帧进行类型检测,目标视频帧的类型可以包括关键帧类型、前向差别帧类型或双向差别帧类型中的任一种。
(2)当目标视频帧的类型为关键帧类型时,可以先进行重置判断;若确定需要进行重置,则可以对码率控制模型的模型参数进行重置(即初始化);若确定不需要进行重置,或者对码率控制模型的模型参数进行重置完成后,可以根据编码偏移参数将目标视频中编码顺序位于目标视频帧之前的N个已编码视频帧的编码量化参数映射至相同的帧类型(例如可以是前向差别帧类型)后叠加求取总和,得到统计参数,进一步采用统计参数除以N个已编码视频帧的数量,得到目标视频帧的初始量化参数;在确定出目标视频帧的初始量化参数后,可以采用调整因子(即前述提及的overflow[i])对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
(3)当目标视频帧的类型为前向差别帧类型时,可以先计算目标视频帧的模糊复杂度参数;然后可以进行重置判断,若确定需要进行重置,则可以对码率控制模型的模型参数进行重置(即初始化);若确定不需要进行重置,或者对码率控制模型的模型参数进行重置完成后,可以根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数;在确定出目标视频帧的初始量化参数后,可以采用调整因子(即前述提及的overflow[i])对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。可选的,在确定目标视频帧的编码量化参数后,可以根据目标视频中编码顺序与目标视频帧相邻的视频帧的编码量化参数,对目标视频帧的编码量化参数进行限制处理,例如,若相邻的视频帧的编码量化参数与目标视频帧的编码量化参数之间的差值的绝对值大于限制阈值,则可以对目标视频帧的编码量化参数进行限制处理,使得相邻的视频帧的编码量化参数与限制处理后的目标视频帧的编码量化参数之间的差值的绝对值小于或等于限制阈值,这样可以避免视频消费端在播放目标视频时视频质量大幅度变化,从而影响视频消费端的视频消费体验。
(4)当目标视频的类型为双向差别帧类型时,可以根据编码偏移参数将目标视频帧的参考视频帧的编码量化参数映射至相同的帧类型(例如可以是前向差别帧类型)后,根据映射后的参考视频帧的编码量化参数确定目标视频帧的初始量化参数;例如,可以将映射后的参考视频帧的编码量化参数确定为目标视频帧的初始量化参数(当参考视频帧的数量为一个时),或者,可以按照参考视频帧的复杂度参数对参考视频帧的编码量化参数进行加权求和,得到目标视频帧的初始量化参数(当参考视频帧的数量为两个时)。在确定目标视频帧的初始量化参数后,可以判断是否设置目标码率(即前述提及的码率信息),若设置目标码率,则可以采用调整因子(即前述提及的overflow[i])对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数;否则,可以将目标视频帧的初始量化参数确定为目标视频帧的编码量化参数。
(5)在确定出目标视频帧的编码量化参数后,还可以采用视频缓冲校验(即VBV)的方式进一步调整目标视频帧的编码量化参数,并输出进一步调整后的目标视频帧的编码量化参数,然后可以根据目标视频帧的编码量化参数对目标视频帧进行编码处理,还可以根据目标视频帧的编码结果调整例如关键帧的补偿窗口、码率控制模型的模型参数、缓存器状态、信息量估计模型的模型参数等等。
在图6所示的视频处理方案中,通过在确定目标视频帧的初始量化参数的过程中引入与目标视频的视频特征属性相匹配的编码偏移参数,可以使得确定得到的目标视频帧的初始量化参数与目标视频的视频属性特征相适配,这样可以在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频呈现质量与QoE(Quality of Experience,体验质量)指标之间的达到最佳平衡,提升视频编码效果。
为了更加直观地表达编码偏移参数与视频码率之间的关系,在此将不同的编码偏移参数(ipratio/pbratio)下的视频编码过程中的码率分布情况进行统计展示:图7a示出了ipratio(1.4)、pbratio(1.3)时视频中I帧、B帧和P帧的码率分布情况,图7a中横坐标表示时间、纵坐标表示码率,深灰色柱形表示视频中I帧的码率,浅灰色柱形表示视频中P帧的码率,白色柱形表示视频中B帧的码率,黑色折线表示目标码率。图7b示出了ipratio(1.8)、pbratio(1.1)时视频中I帧、B帧和P帧的码率分布情况,同样地,图7b中横坐标表示时间、纵坐标表示码率,深灰色柱形表示视频中I帧的码率,浅灰色柱形表示视频中P帧的码率,白色柱形表示视频中B帧的码率,黑色折线表示目标码率。通过图7a和图7b的直观对比可知,通过灵活控制编码偏移参数(ipratio/pbratio),能够灵活控制视频中各个I帧、P帧和B帧的码率大小,从而控制整个视频中各帧的码率大小波动;通过确定与视频属性特征相匹配的编码偏移参数,可以在编码得到的视频码率满足目标带宽的前提下,提升视频消费端的QoE指标(例如减少卡顿感缓冲时间、减少首帧时长、提升视频观看时长等等)。
为了更加直观地表达本申请实施例提供的视频处理方法在QoE指标和QoS指标中的提升效果,在此结合图8a所示的统计图对未采用编码偏移参数进行码率控制优化和采用编码偏移参数进行码率控制优化两种方式下的QoS指标进行对比,结合图8b所示的统计图对未采用编码偏移参数进行码率控制优化和采用编码偏移参数进行码率控制优化两种方式下的QoE指标进行对比。具体来说,图8a中的横坐标表示时间,纵坐标表示QoS指标(例如是百秒渲染卡顿时长,即百秒内存在卡顿的时长),黑色实线表示未采用编码偏移参数进行码率控制优化的方式下的百秒渲染卡顿时长,黑色虚线表示采用编码偏移参数进行码率控制优化的方式下的百秒渲染卡顿时长,不难看出,相比于未采用编码偏移参数进行码率控制优化的方式,采用编码偏移参数进行码率控制优化的方式下的百秒渲染卡顿时长明显降低。图8b中的横坐标表示时间,纵坐标表示QoE指标(例如是平均对象观看时长),黑色实线表示未采用编码偏移参数进行码率控制优化的方式下的平均对象观看时长,黑色虚线表示采用编码偏移参数进行码率控制优化的方式下的平均对象观看时长,不难看出,相比于未采用编码偏移参数进行码率控制优化的方式,采用编码偏移参数进行码率控制优化的方式下的平均对象观看时长明显提升。
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
请参见图9,图9是本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置可以设置于本申请实施例提供的计算机设备中。该视频处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),该计算机设备可以是前述所提及的视频制作设备,该视频处理装置可以用于执行图4、图5或图6所示的方法实施例中的相应步骤。请参见图9,该视频处理装置可以包括如下单元:
获取单元901,用于从目标视频中获取待编码的目标视频帧;获取目标视频的视频属性特征;
处理单元902,用于确定与视频属性特征相匹配的编码偏移参数;根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数;对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数;根据目标视频帧的编码量化参数对目标视频帧进行编码处理。
在一种实现方式中,视频属性特征包括目标视频的分辨率信息、目标视频所属的视频类型信息、目标视频的码率信息、以及目标视频的播放效果参考信息中的任一种或多种;其中,不同的视频属性特征所匹配的编码偏移参数不相同。
在一种实现方式中,处理单元902,用于确定与视频属性特征相匹配的编码偏移参数时,具体用于执行如下步骤:
在参数匹配关系中确定与视频属性特征相匹配的属性特征指示信息,参数匹配关系包括多个属性特征指示信息和每个属性特征指示信息对应的参考偏移参数;将相匹配的属性特征指示信息对应的参考偏移参数,确定为与视频属性特征相匹配的编码偏移参数。
在一种实现方式中,目标视频帧的类型为关键帧类型;处理单元902,用于根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数,N为正整数;根据指定类型的已编码视频帧的偏移量化参数和N个已编码视频帧中其他类型的已编码视频帧的编码量化参数,确定N个已编码视频帧的统计参数;其他类型的已编码视频帧是指:N个已编码视频帧中除指定类型的已编码视频帧外的其他已编码视频帧;根据N个已编码视频帧的统计参数和N个已编码视频帧的数量,确定目标视频帧的初始量化参数。
在一种实现方式中,编码偏移参数包括第一编码偏移参数和第二编码偏移参数;处理单元902,用于根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数时,具体用于执行如下步骤:
若指定类型为关键帧类型,则根据第一编码偏移参数对关键帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到关键帧类型的已编码视频帧的偏移量化参数;若指定类型为双向差别帧类型,则根据第二编码偏移参数对双向差别帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到双向差别帧类型的已编码视频帧的偏移量化参数。
在一种实现方式中,目标视频帧的类型为双向差别帧类型;处理单元902,用于根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
在目标视频中确定目标视频帧的参考视频帧;若参考视频帧的数量为一个,则将参考视频帧的参考量化参数确定为目标视频帧的初始量化参数;若参考视频帧的数量为M个,则获取M个参考视频帧中的每个参考视频帧的复杂度参数,并根据M个参考视频帧的复杂度参数对M个参考视频帧的参考量化参数进行加权求和计算,得到目标视频帧的初始量化参数,M为大于1的整数;其中,参考视频帧中的指定类型的参考视频帧的参考量化参数,是根据编码偏移参数对指定类型的参考视频帧的编码量化参数进行参数映射处理得到的;参考视频帧中的其他类型的参考视频帧的参考量化参数,是其他类型的参考视频帧的编码量化参数;其他类型的参考视频帧是指:参考视频帧中除指定类型的参考视频帧外的其他参考视频帧。
在一种实现方式中,处理单元902,还用于执行如下步骤:
对目标视频帧进行类型检测;若目标视频帧的类型为关键帧类型或双向差别帧类型,则触发执行获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数的步骤;若目标视频帧的类型为前向差别帧类型,则获取目标视频帧的模糊复杂度参数,根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。
在一种实现方式中,处理单元902,用于获取目标视频帧的模糊复杂度参数时,具体用于执行如下步骤:
获取目标视频帧的预测残差参数;根据目标视频的N个已编码视频帧的累积复杂度参数、N个已编码视频帧的累积帧数和目标视频帧的预测残差参数,确定目标视频帧的模糊复杂度参数,N为正整数;其中,累积复杂度参数是对N个已编码视频帧的复杂度参数进行加权累积得到的;累积帧数是对N个已编码视频帧的帧数进行加权累积得到的。
在一种实现方式中,处理单元902,用于根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
获取目标视频帧的压缩因子,根据目标视频帧的模糊复杂度参数和所述压缩因子确定所述目标视频帧的量化等级参数;获取目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数;目标视频帧的累计分配信息量是对目标视频帧的分配信息量和N个已编码视频帧的分配信息量进行累计得到的;目标视频帧的累积复杂度参数是根据N个已编码视频帧的累积复杂度参数和目标视频帧的预测残差参数确定的;根据目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数,确定量化等级参数的优化因子;根据优化因子对量化等级参数进行优化,得到目标视频帧的初始量化参数。
在一种实现方式中,处理单元902,用于对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数时,具体用于执行如下步骤:
根据目标视频中的N个已编码视频帧的累计编码信息量和N个已编码视频帧的累计分配信息量,确定对目标视频帧的初始量化参数的调整因子;N个已编码视频帧的累计编码信息量是对N个已编码视频帧的编码信息量进行累计得到的,N个已编码视频帧的累计分配信息量是对N个已编码视频帧的分配信息量进行累计得到的,N为正整数;根据调整因子对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
根据本申请的另一个实施例,图9所示的视频处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,资源处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图4、图5或图6所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)来构造如图9中所示的视频处理装置,以及来实现本申请实施例的视频处理方法。计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于上述计算设备中,并在其中运行。
本申请实施例中,可以获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数,然后可以根据编码偏移参数对目标视频中待编码的目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数,然后可以对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数,从而可以根据目标视频帧的编码量化参数对目标视频帧进行编码处理;可见,本申请实施例中确定出的目标视频帧的编码量化参数与目标视频的视频属性特征相适配,也就是说,可以根据目标视频的视频属性特征针对性地确定出用于对目标视频帧进行编码处理的编码量化参数,这样可以在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频呈现质量与QoE(Quality ofExperience,体验质量)指标之间的达到最佳平衡,提升视频编码效果。
基于上述方法以及装置实施例,本申请实施例提供了一种计算机设备,请参见图10,图10是本申请实施例提供的一种计算机设备的结构示意图。图10所示的计算机设备至少包括处理器1001、输入接口1002、输出接口1003以及计算机可读存储介质1004。其中,处理器1001、输入接口1002、输出接口1003以及计算机可读存储介质1004可通过总线或其他方式连接。
输入接口1002可以用于获取目标视频、获取目标视频的视频属性特征等等;输出接口1003可以用于输出编码处理得到的目标视频帧、编码处理得到的目标视频等等。
计算机可读存储介质1004可以存储在计算机设备的存储器中,计算机可读存储介质1004用于存储计算机程序,计算机程序包括计算机指令,处理器1001用于执行计算机可读存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(Non-VolatileMemory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。
计算机设备可以是前述提及的视频制作设备,可由处理器1001加载并执行计算机可读存储介质1004中存放的一条或多条计算机指令,以实现上述有关图4、图5或图6所示的视频处理方法的相应步骤。具体实现中,计算机可读存储介质1004中的计算机指令由处理器1001加载并执行如下步骤:
从目标视频中获取待编码的目标视频帧;获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数;根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数;对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数;根据目标视频帧的编码量化参数对目标视频帧进行编码处理。
在一种实现方式中,视频属性特征包括目标视频的分辨率信息、目标视频所属的视频类型信息、目标视频的码率信息、以及目标视频的播放效果参考信息中的任一种或多种;其中,不同的视频属性特征所匹配的编码偏移参数不相同。
在一种实现方式中,计算机可读存储介质1004中的计算机指令由处理器1001加载并执行确定与视频属性特征相匹配的编码偏移参数时,具体用于执行如下步骤:
在参数匹配关系中确定与视频属性特征相匹配的属性特征指示信息,参数匹配关系包括多个属性特征指示信息和每个属性特征指示信息对应的参考偏移参数;将相匹配的属性特征指示信息对应的参考偏移参数,确定为与视频属性特征相匹配的编码偏移参数。
在一种实现方式中,目标视频帧的类型为关键帧类型;计算机可读存储介质1004中的计算机指令由处理器1001加载并执行根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数,N为正整数;根据指定类型的已编码视频帧的偏移量化参数和N个已编码视频帧中其他类型的已编码视频帧的编码量化参数,确定N个已编码视频帧的统计参数;其他类型的已编码视频帧是指:N个已编码视频帧中除指定类型的已编码视频帧外的其他已编码视频帧;根据N个已编码视频帧的统计参数和N个已编码视频帧的数量,确定目标视频帧的初始量化参数。
在一种实现方式中,编码偏移参数包括第一编码偏移参数和第二编码偏移参数;计算机可读存储介质1004中的计算机指令由处理器1001加载并执行根据编码偏移参数对目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到指定类型的已编码视频帧的偏移量化参数时,具体用于执行如下步骤:
若指定类型为关键帧类型,则根据第一编码偏移参数对关键帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到关键帧类型的已编码视频帧的偏移量化参数;若指定类型为双向差别帧类型,则根据第二编码偏移参数对双向差别帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到双向差别帧类型的已编码视频帧的偏移量化参数。
在一种实现方式中,目标视频帧的类型为双向差别帧类型;计算机可读存储介质1004中的计算机指令由处理器1001加载并执行根据编码偏移参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
在目标视频中确定目标视频帧的参考视频帧;若参考视频帧的数量为一个,则将参考视频帧的参考量化参数确定为目标视频帧的初始量化参数;若参考视频帧的数量为M个,则获取M个参考视频帧中的每个参考视频帧的复杂度参数,并根据M个参考视频帧的复杂度参数对M个参考视频帧的参考量化参数进行加权求和计算,得到目标视频帧的初始量化参数,M为大于1的整数;其中,参考视频帧中的指定类型的参考视频帧的参考量化参数,是根据编码偏移参数对指定类型的参考视频帧的编码量化参数进行参数映射处理得到的;参考视频帧中的其他类型的参考视频帧的参考量化参数,是其他类型的参考视频帧的编码量化参数;其他类型的参考视频帧是指:参考视频帧中除指定类型的参考视频帧外的其他参考视频帧。
在一种实现方式中,计算机可读存储介质1004中的计算机指令由处理器1001加载并还用于执行如下步骤:
对目标视频帧进行类型检测;若目标视频帧的类型为关键帧类型或双向差别帧类型,则触发执行获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数的步骤;若目标视频帧的类型为前向差别帧类型,则获取目标视频帧的模糊复杂度参数,根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数。
在一种实现方式中,计算机可读存储介质1004中的计算机指令由处理器1001加载并执行获取目标视频帧的模糊复杂度参数时,具体用于执行如下步骤:
获取目标视频帧的预测残差参数;根据目标视频的N个已编码视频帧的累积复杂度参数、N个已编码视频帧的累积帧数和目标视频帧的预测残差参数,确定目标视频帧的模糊复杂度参数,N为正整数;其中,累积复杂度参数是对N个已编码视频帧的复杂度参数进行加权累积得到的;累积帧数是对N个已编码视频帧的帧数进行加权累积得到的。
在一种实现方式中,计算机可读存储介质1004中的计算机指令由处理器1001加载并执行根据目标视频帧的模糊复杂度参数对目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数时,具体用于执行如下步骤:
获取目标视频帧的压缩因子,根据目标视频帧的模糊复杂度参数和所述压缩因子确定所述目标视频帧的量化等级参数;获取目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数;目标视频帧的累计分配信息量是对目标视频帧的分配信息量和N个已编码视频帧的分配信息量进行累计得到的;目标视频帧的累积复杂度参数是根据N个已编码视频帧的累积复杂度参数和目标视频帧的预测残差参数确定的;根据目标视频帧的累计分配信息量和目标视频帧的累积复杂度参数,确定量化等级参数的优化因子;根据优化因子对量化等级参数进行优化,得到目标视频帧的初始量化参数。
在一种实现方式中,计算机可读存储介质1004中的计算机指令由处理器1001加载并执行对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数时,具体用于执行如下步骤:
根据目标视频中的N个已编码视频帧的累计编码信息量和N个已编码视频帧的累计分配信息量,确定对目标视频帧的初始量化参数的调整因子;N个已编码视频帧的累计编码信息量是对N个已编码视频帧的编码信息量进行累计得到的,N个已编码视频帧的累计分配信息量是对N个已编码视频帧的分配信息量进行累计得到的,N为正整数;根据调整因子对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数。
本申请实施例中,可以获取目标视频的视频属性特征,确定与视频属性特征相匹配的编码偏移参数,然后可以根据编码偏移参数对目标视频中待编码的目标视频帧进行量化参数估计,得到目标视频帧的初始量化参数,然后可以对目标视频帧的初始量化参数进行调整,得到目标视频帧的编码量化参数,从而可以根据目标视频帧的编码量化参数对目标视频帧进行编码处理;可见,本申请实施例中确定出的目标视频帧的编码量化参数与目标视频的视频属性特征相适配,也就是说,可以根据目标视频的视频属性特征针对性地确定出用于对目标视频帧进行编码处理的编码量化参数,这样可以在编码得到的视频码率满足目标带宽的前提下,使得视频消费端的视频呈现质量与QoE(Quality ofExperience,体验质量)指标之间的达到最佳平衡,提升视频编码效果。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选方式中提供的视频处理方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种视频处理方法,其特征在于,所述方法包括:
从目标视频中获取待编码的目标视频帧;
获取所述目标视频的视频属性特征,确定与所述视频属性特征相匹配的编码偏移参数;
根据所述编码偏移参数对所述目标视频帧进行量化参数估计,得到所述目标视频帧的初始量化参数;
对所述目标视频帧的初始量化参数进行调整,得到所述目标视频帧的编码量化参数;
根据所述目标视频帧的编码量化参数对所述目标视频帧进行编码处理。
2.如权利要求1所述的方法,其特征在于,所述视频属性特征包括所述目标视频的分辨率信息、所述目标视频所属的视频类型信息、所述目标视频的码率信息、以及所述目标视频的播放效果参考信息中的任一种或多种;其中,不同的视频属性特征所匹配的编码偏移参数不相同。
3.如权利要求1所述的方法,其特征在于,所述确定与所述视频属性特征相匹配的编码偏移参数,包括:
在参数匹配关系中确定与所述视频属性特征相匹配的属性特征指示信息,所述参数匹配关系包括多个属性特征指示信息和每个属性特征指示信息对应的参考偏移参数;
将所述相匹配的属性特征指示信息对应的参考偏移参数,确定为与所述视频属性特征相匹配的编码偏移参数。
4.如权利要求1所述的方法,其特征在于,所述目标视频帧的类型为关键帧类型;所述根据所述编码偏移参数对所述目标视频帧进行量化参数估计,得到所述目标视频帧的初始量化参数,包括:
根据所述编码偏移参数对所述目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到所述指定类型的已编码视频帧的偏移量化参数,N为正整数;
根据所述指定类型的已编码视频帧的偏移量化参数和所述N个已编码视频帧中其他类型的已编码视频帧的编码量化参数,确定所述N个已编码视频帧的统计参数;所述其他类型的已编码视频帧是指:所述N个已编码视频帧中除所述指定类型的已编码视频帧外的其他已编码视频帧;
根据所述N个已编码视频帧的统计参数和所述N个已编码视频帧的数量,确定所述目标视频帧的初始量化参数。
5.如权利要求4所述的方法,其特征在于,所述编码偏移参数包括第一编码偏移参数和第二编码偏移参数;所述根据所述编码偏移参数对所述目标视频的N个已编码视频帧中指定类型的已编码视频帧的编码量化参数进行参数映射处理,得到所述指定类型的已编码视频帧的偏移量化参数,包括:
若所述指定类型为关键帧类型,则根据所述第一编码偏移参数对所述关键帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到所述关键帧类型的已编码视频帧的偏移量化参数;
若所述指定类型为双向差别帧类型,则根据所述第二编码偏移参数对所述双向差别帧类型的已编码视频帧的编码量化参数进行参数映射处理,得到所述双向差别帧类型的已编码视频帧的偏移量化参数。
6.如权利要求1所述的方法,其特征在于,所述目标视频帧的类型为双向差别帧类型;所述根据所述编码偏移参数对所述目标视频帧进行量化参数估计,得到所述目标视频帧的初始量化参数,包括:
在所述目标视频中确定所述目标视频帧的参考视频帧;
若所述参考视频帧的数量为一个,则将所述参考视频帧的参考量化参数确定为所述目标视频帧的初始量化参数;
若所述参考视频帧的数量为M个,则获取M个参考视频帧中的每个参考视频帧的复杂度参数,并根据所述M个参考视频帧的复杂度参数对所述M个参考视频帧的参考量化参数进行加权求和计算,得到所述目标视频帧的初始量化参数,M为大于1的整数;
其中,所述参考视频帧中的指定类型的参考视频帧的参考量化参数,是根据编码偏移参数对所述指定类型的参考视频帧的编码量化参数进行参数映射处理得到的;所述参考视频帧中的其他类型的参考视频帧的参考量化参数,是所述其他类型的参考视频帧的编码量化参数;所述其他类型的参考视频帧是指:所述参考视频帧中除所述指定类型的参考视频帧外的其他参考视频帧。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标视频帧进行类型检测;
若所述目标视频帧的类型为关键帧类型或双向差别帧类型,则触发执行所述获取所述目标视频的视频属性特征,确定与所述视频属性特征相匹配的编码偏移参数的步骤;
若所述目标视频帧的类型为前向差别帧类型,则获取所述目标视频帧的模糊复杂度参数,根据所述目标视频帧的模糊复杂度参数对所述目标视频帧进行量化参数估计,得到所述目标视频帧的初始量化参数。
8.如权利要求7所述的方法,其特征在于,所述获取所述目标视频帧的模糊复杂度参数,包括:
获取所述目标视频帧的预测残差参数;
根据所述目标视频的N个已编码视频帧的累积复杂度参数、所述N个已编码视频帧的累积帧数和所述目标视频帧的预测残差参数,确定所述目标视频帧的模糊复杂度参数,N为正整数;
其中,所述累积复杂度参数是对所述N个已编码视频帧的复杂度参数进行加权累积得到的;所述累积帧数是对N个已编码视频帧的帧数进行加权累积得到的。
9.如权利要求8所述的方法,其特征在于,所述根据所述目标视频帧的模糊复杂度参数对所述目标视频帧进行量化参数估计,得到所述目标视频帧的初始量化参数,包括:
获取所述目标视频帧的压缩因子,根据所述目标视频帧的模糊复杂度参数和所述压缩因子确定所述目标视频帧的量化等级参数;
获取所述目标视频帧的累计分配信息量和所述目标视频帧的累积复杂度参数;所述目标视频帧的累计分配信息量是对所述目标视频帧的分配信息量和所述N个已编码视频帧的分配信息量进行累计得到的;所述目标视频帧的累积复杂度参数是根据所述N个已编码视频帧的累积复杂度参数和所述目标视频帧的预测残差参数确定的;
根据所述目标视频帧的累计分配信息量和所述目标视频帧的累积复杂度参数,确定所述量化等级参数的优化因子;
根据所述优化因子对所述量化等级参数进行优化,得到所述目标视频帧的初始量化参数。
10.如权利要求1所述的方法,其特征在于,所述对所述目标视频帧的初始量化参数进行调整,得到所述目标视频帧的编码量化参数,包括:
根据所述目标视频中的N个已编码视频帧的累计编码信息量和所述N个已编码视频帧的累计分配信息量,确定对所述目标视频帧的初始量化参数的调整因子;所述N个已编码视频帧的累计编码信息量是对所述N个已编码视频帧的编码信息量进行累计得到的,所述N个已编码视频帧的累计分配信息量是对所述N个已编码视频帧的分配信息量进行累计得到的,N为正整数;
根据所述调整因子对所述目标视频帧的初始量化参数进行调整,得到所述目标视频帧的编码量化参数。
11.一种视频处理装置,其特征在于,所述视频处理装置包括:
获取单元,用于从目标视频中获取待编码的目标视频帧;
所述获取单元,还用于获取所述目标视频的视频属性特征;
处理单元,用于确定与所述视频属性特征相匹配的编码偏移参数;
所述处理单元,还用于根据所述编码偏移参数对所述目标视频帧进行量化参数估计,得到所述目标视频帧的初始量化参数;
所述处理单元,还用于对所述目标视频帧的初始量化参数进行调整,得到所述目标视频帧的编码量化参数;
所述处理单元,还用于根据所述目标视频帧的编码量化参数对所述目标视频帧进行编码处理。
12.一种计算机设备,其特征在于,所述计算机设备包括:
处理器,适于实现计算机程序;
计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1至10任一项所述的视频处理方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1至10任一项所述的视频处理方法。
14.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至10任一项所述的视频处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210129733.XA CN116634151A (zh) | 2022-02-11 | 2022-02-11 | 视频处理方法、装置、计算机设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210129733.XA CN116634151A (zh) | 2022-02-11 | 2022-02-11 | 视频处理方法、装置、计算机设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116634151A true CN116634151A (zh) | 2023-08-22 |
Family
ID=87601375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210129733.XA Pending CN116634151A (zh) | 2022-02-11 | 2022-02-11 | 视频处理方法、装置、计算机设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116634151A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041581A (zh) * | 2023-09-22 | 2023-11-10 | 上海视龙软件有限公司 | 一种用于视频编码参数优化的方法、装置及设备 |
CN117440167A (zh) * | 2023-09-28 | 2024-01-23 | 书行科技(北京)有限公司 | 一种视频解码方法、装置、计算机设备、介质及产品 |
CN118646877A (zh) * | 2024-08-15 | 2024-09-13 | 浙江大华技术股份有限公司 | 一种视频编码码率调整方法、装置和图像处理系统 |
-
2022
- 2022-02-11 CN CN202210129733.XA patent/CN116634151A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041581A (zh) * | 2023-09-22 | 2023-11-10 | 上海视龙软件有限公司 | 一种用于视频编码参数优化的方法、装置及设备 |
CN117041581B (zh) * | 2023-09-22 | 2023-12-12 | 上海视龙软件有限公司 | 一种用于视频编码参数优化的方法、装置及设备 |
CN117440167A (zh) * | 2023-09-28 | 2024-01-23 | 书行科技(北京)有限公司 | 一种视频解码方法、装置、计算机设备、介质及产品 |
CN117440167B (zh) * | 2023-09-28 | 2024-05-28 | 书行科技(北京)有限公司 | 一种视频解码方法、装置、计算机设备、介质及产品 |
CN118646877A (zh) * | 2024-08-15 | 2024-09-13 | 浙江大华技术股份有限公司 | 一种视频编码码率调整方法、装置和图像处理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9398301B2 (en) | Parallel video encoding based on complexity analysis | |
US10390071B2 (en) | Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients | |
US9571827B2 (en) | Techniques for adaptive video streaming | |
US11297355B1 (en) | Content delivery of live streams with playback-conditions-adaptive encoding | |
CN116634151A (zh) | 视频处理方法、装置、计算机设备、存储介质及程序产品 | |
US10827181B1 (en) | Differential adaptive bitrate streaming based on scene complexity | |
CN108810545B (zh) | 用于视频编码的方法、装置、计算机可读介质及电子设备 | |
US10616590B1 (en) | Optimizing streaming video encoding profiles | |
CN103650509A (zh) | 基于照相机和背景运动的参考帧缓冲区的自适应配置 | |
US10897654B1 (en) | Content delivery of live streams with event-adaptive encoding | |
US20240283986A1 (en) | Live Streaming Media | |
EP3522544A1 (en) | Estimating video quality of experience | |
CN113038128A (zh) | 数据传输方法、装置、电子设备及存储介质 | |
WO2023142716A1 (zh) | 编码方法、实时通信方法、装置、设备及存储介质 | |
US20210306403A1 (en) | Method and apparatus for predicting video decoding time | |
CN113691814A (zh) | 视频编码方法、装置、电子装置和存储介质 | |
CN117714700A (zh) | 一种视频编码方法、装置、设备、可读存储介质及产品 | |
WO2023071469A1 (zh) | 视频处理方法、电子设备及存储介质 | |
CN107846595B (zh) | 一种视频编码的方法和视频编码器 | |
CN112004084A (zh) | 一种利用量化参数排序的码率控制优化方法及系统 | |
CN117082243A (zh) | 视频编码方法、装置、计算机设备和存储介质 | |
US11736730B2 (en) | Systems, methods, and apparatuses for video processing | |
US12058397B2 (en) | Method for dynamic computational resource management and apparatus for implementing the same | |
CN112004083B (zh) | 一种利用帧间预测特性优化码率控制方法及系统 | |
EP4213486A1 (en) | Method for dynamic computational resource management and apparatus for implementing the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091101 Country of ref document: HK |