CN112468816A - 固定码率系数预测模型建立及视频编码的方法 - Google Patents

固定码率系数预测模型建立及视频编码的方法 Download PDF

Info

Publication number
CN112468816A
CN112468816A CN201910841912.4A CN201910841912A CN112468816A CN 112468816 A CN112468816 A CN 112468816A CN 201910841912 A CN201910841912 A CN 201910841912A CN 112468816 A CN112468816 A CN 112468816A
Authority
CN
China
Prior art keywords
video
code rate
coded
coding
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910841912.4A
Other languages
English (en)
Other versions
CN112468816B (zh
Inventor
郑龙
王一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201910841912.4A priority Critical patent/CN112468816B/zh
Publication of CN112468816A publication Critical patent/CN112468816A/zh
Application granted granted Critical
Publication of CN112468816B publication Critical patent/CN112468816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了固定码率系数预测模型建立及视频编码的方法,属于视频处理技术领域。本发明通过将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;根据目标码率对样本视频进行编码,获取与目标码率对应的编码参数及相应的编码视频的第二视频质量分值;根据与目标码率对应的第一编码参数和固定码率系数对设定分类模型进行训练,生成目标码率对应的固定码率系数预测模型;采用该固定码率系数预测模型可实现将待编码视频快速有效的编码为目标码率的视频,效率高,用时短。

Description

固定码率系数预测模型建立及视频编码的方法
技术领域
本发明涉及视频处理技术领域,尤其涉及一种固定码率系数预测模型建立及视频编码的方法。
背景技术
CRF(constant rate factor,固定码率系数或固定码率因子)编码是一种常用的编码方式,CRF取值越小画面的视觉效果越好,相反CRF取值越大画面的压缩率越高,质量效果越差。对于CRF编码而言,若想得到某一视频质量分值的视频,需要选择不同的CRF模式对视频进行多次编码,以获取每一次编码后视频对应的视频质量分值,基于获得的视频质量分值找到最适合的CRF模式,耗时长且效率低。但是,CRF编码方式无法基于某一码率对视频进行快速有效的编码。
发明内容
针对现有CRF编码无法基于某一码率进行快速有效编码的问题,现提供一种旨在可根据码率对视频进行快速有效编码的固定码率系数预测模型建立及视频编码的方法。
本发明提供了一种固定码率系数预测模型建立方法,包括:
将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;
根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值;
将所述第一视频质量分值对应的固定码率系数作为学习类别;
将所述至少一个目标码率对应的编码参数作为训练特征;
采用所述训练特征及所述学习类别对设定分类模型进行训练,将训练后的所述分类模型作为与所述目标码率对应的固定码率系数预测模型。
优选的,根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值的步骤,包括:
根据所述至少一个目标码率对所述样本视频进行编码的过程中提取与所述目标码率对应的编码参数;
根据所述至少一个目标码率对所述待编码视频进行编码后,获取与所述目标码率对应的所述第一编码视频的第二视频质量分值。
优选的,所述编码参数包括:视频的高度、宽度、位率、帧内编码帧的比例、前向预测编码帧的比例、双向预测内插编码帧的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例。
优选的,所述固定码率系数预测模型为支持向量机。
本发明还提供了一种视频编码方法,包括下述步骤:
根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频;
将所述编码参数输入至预先训练的与所述目标码率对应的固定码率系数预测模型中,获取所述固定码率系数预测模型输出的预测固定码率系数,其中,所述固定码率系数预测模型由与至少两个样本视频关联的编码参数以及与所述至少两个样本视频对应的固定码率系数训练生成;
根据所述预测固定码率系数对所述待编码视频进行编码,获取第三编码视频;
判断所述第三编码视频的码率是否小于所述目标码率,若是,输出所述第三编码视频;若否,输出所述第二编码视频。
优选的,根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频的步骤,包括:
根据所述目标码率对所述待编码视频进行编码的过程中提取所述编码参数;
根据所述目标码率对所述待编码视频进行编码后,获取所述第二编码视频。
优选的,所述编码参数包括:视频的高度、宽度、位率、帧内编码帧的比例、前向预测编码帧的比例、双向预测内插编码帧的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例。
优选的,所述固定码率系数预测模型采用支持向量机。
本发明还提供了一种计算机设备,所述计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述固定码率系数预测模型建立方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现上述固定码率系数预测模型建立方法的步骤。
上述技术方案的有益效果:
本技术方案中,通过将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;根据目标码率对样本视频进行编码,获取与目标码率对应的编码参数及相应的编码视频的第二视频质量分值;根据与目标码率对应的编码参数和固定码率系数对设定分类模型进行训练,生成目标码率对应的固定码率系数预测模型;采用该固定码率系数预测模型可实现将待编码视频快速有效的编码为目标码率的视频,效率高,用时短。
附图说明
图1为本发明视频编码系统的一种实施例的架构图;
图2为本发明所述的固定码率系数预测模型建立方法的一种是实施例的流程图;
图3为本发明所述的固定码率系数预测模型建立方法的另一种是实施例的流程图;
图4为应用本发明所述的固定码率系数预测模型建立方法的一种是实施例的原理图;
图5为本发明所述的视频编码方法的一种实施例的流程图;
图6为应用本发明所述的视频编码方法的一种实施例的原理图;
图7为本发明所述的固定码率系数预测模型建立的系统的一种实施例的模块图;
图8为本发明所述的视频编码系统的一种实施例的模块图;
图9为本发明计算机设备的一个实施例的硬件架构图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,步骤前的数字标号并不标识执行步骤的前后顺序,仅用于方便描述本发明及区别每一步骤,因此不能理解为对本发明的限制。
本申请实施例的视频可以呈现于大型视频播放设备、游戏机、台式计算机、智能手机、平板电脑、MP3(MovingPictureExpertsGroupAudioLayerIII,动态影像专家压縮标准音频层)播放器、MP4(MovingPictureExpertsGroupAudioLayerlV,动态影像专家压縮标准音频层面)播放器、膝上型便携计算机、电子书阅读器以及其它显示终端等客户端。
本申请实施例的固定码率系数预测模型建立、视频编码方法可以应用在影视剧、纪录片、动漫、娱乐、生活(如:比赛类型的转播节目)、综艺(如:相亲节目及多方对抗的娱乐节目)等点播资源播放等多种类型点播播放中。本申请实施例以客户端上传视频,服务器对接收到的视频进行编码存储为例子,但是并不局限于此。
本申请实施例中,客户端将录制完成的自拍视频上传至服务器,服务器对接收到的视频根据目标码率进行编码,可以再由服务器将编码后的视频发送个各个观看端,实现在保证画质的前提下,以最小的带宽传输播放,节约线上资源。请参考图1,图1是本申请实施例提供的视频编码的系统架构图。如图1所示,A用户将录制完成的自拍视频传输给服务器W,服务器W将接收到的自拍视频根据目标码率进行编码存储,以便于对接收到的所述视频进行统一码率的管理,再经由服务器W将编码后的自拍视频发送至B用户、C用户、D用户和E用户观看。此处只给出一个服务器W和一个上传A用户,此处的应用场景还可以包括多台相互通讯的服务器以及多个上传用户。服务器W可以是云端服务器,还可以是本地服务器。A用户的设备不局限于图示的移动设备,所有可以进行上传视频的智能终端均可适用。
本发明为解决现有的CRF编码无法基于某一码率进行快速有效编码的缺陷,提出了固定码率系数预测模型建立、视频编码方法。参阅图2,其为一符合本发明一优选实施例的固定码率系数预测模型建立方法的流程示意图,从图中可以看出,本实施例中所提供的固定码率系数预测模型建立方法主要包括以下步骤:
S11.将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;
于本实施例中,固定码率系数集是指CRF取值的集合,以视频编码标准H.264为例:CRF的理论取值范围在0~51之间,当CRF=0时,编码的视频为无损视频;CRF的取值越大压视频的压缩率越好,画面的质量越差,当CRF=51时,视频的压缩率达到最大。
于本实施例中,视频质量分值是指VMAF(Visual Multimethod AssessmentFusion,视频质量多方法评价融合)分值。对于不同视频的特征的源内容、失真类型,以及扭曲程度,每个基本指标各有优劣,VMAF是通过使用机器学习算法(支持向量机(SupportVector Machine,SVM)回归因子)将基本指标“融合”为一个最终指标,可以为每个基本指标分配一定的权重,这样最终得到的指标就可以保留每个基本指标的所有优势,借此可得更精确得出对于视频质量评价的最终分数。
在步骤S11中,根据每一固定码率系数CRF对样本视频进行一次编码,以获取编码后视频对应的VMAF分值,每一固定码率系数CRF对应一VMAF分值。
需要说明的是,所述样本视频包括至少两个视频。
S12.根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值;
在本实施例中,采用固定码率编码的方式对样本视频进行编码,并获取编码后的视频对应的VMAF分值。
需要说明的是,固定码率即为目标码率,在步骤S12中基于目标码率对样本视频进行编码。
具体地,在所述步骤S12中,根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值的步骤,包括(参考图3):
S121.根据所述至少一个目标码率对所述样本视频进行编码的过程中提取与所述目标码率对应的编码参数;
S122.根据所述至少一个目标码率对所述待编码视频进行编码后,获取与所述目标码率对应的所述第一编码视频的第二视频质量分值。
其中,所述编码参数为样本视频在编码过程生成的中间参数,编码参数主要包括:视频的高度、宽度、位率、帧内编码帧(I帧)的比例、前向预测编码帧(P帧)的比例、双向预测内插编码帧(B帧)的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例等参数。
I帧是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码,可以简单理解为一张静态画面;视频序列中的第一个帧始终都是I帧,因为它是关键帧。P帧需要参考前面的I帧才能进行编码。表示的是当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别;解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。与I帧相比,P帧通常占用更少的数据位,但不足是,由于P帧对前面的P和I参考帧有着复杂的依耐性,因此对传输错误非常敏感。B帧记录的是本帧与前后帧的差别,也就是说要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高,但是对解码性能要求较高。
对三种不同类型的宏块(即:I帧、P帧、B帧宏块),分别显示区块中是I帧、P帧、B帧宏块的百分比。I区块的3个数分别代表16x16,8x8和4x4。P区块的5个数分别代表16x16,16x8/8x16,8x8,8x4/4x8和4x4。B区块的3个数分别代表16x16,16x8/8x16和8x8。
S13.将所述第一视频质量分值对应的固定码率系数作为学习类别,将所述至少一个目标码率对应的编码参数作为训练特征;
S14.采用所述训练特征及所述学习类别对设定分类模型进行训练,将训练后的所述分类模型作为与所述目标码率对应的固定码率系数预测模型。
其中,所述固定码率系数预测模型采用分类模型。
作为举例而非限定,固定码率系数预测模型可采用支持向量机或全连接神经网络等。经过试验验证支持向量机的预测的固定码率系数编码效果最好,且用时短。
于本实施例中,将编码参数作为训练特征输入至设定分类模型,将固定码率系数CRF作为学习类别,根据样本视频基于固定码率系数CRF每一编码对应的第一VMAF分值与样本视频基于目标码率编码后的获取的第一编码视频的第二VMAF分值进行匹配,根据匹配结果对编码参数对应固定码率系数CRF进行分类。
需要说明的是:在本实施例中可根据不同的目标码率训练不同的固定码率系数预测模型;每一固定码率系数预测模型对应一目标码率,采用固定码率系数预测模型可将待编码视频快速有效的编码为与固定码率系数预测模型对应的目标码率的视频。
作为举例而非限定,以固定码率系数预测模型采用支持向量机,目标码率为3M,固定码率系数集为{CRF21,CRF22,……,CRF40}为例(参考图4),进行如下说明:
将样本视频根据{CRF21,CRF22,……,CRF40}中的每一固定码率系数CRF分别进行编码,并获取相应的VMAF分值;根据3M对样本视频进行编码,获取与目标码率对应的编码参数及相应的3M视频的VMAF分值;将VMAF分值对应的CRF作为学习类别,将3M对应的编码参数作为训练特征;采用训练特征及学习类别对设定支持向量机进行训练,将训练后的分类模型作为与3M对应的支持向量机。
如图5所示,一种视频编码方法,包括下述步骤:
S21.根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频;
在本实施例中,采用固定码率编码的方式对待编码视频进行编码,并获取编码后的视频对应的VMAF分值。
需要说明的是,固定码率即为目标码率,在步骤S21中基于目标码率对待编码视频进行编码。
在所述步骤S21中根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频的步骤,包括:
根据所述目标码率对所述待编码视频进行编码的过程中提取所述编码参数;
根据所述目标码率对所述待编码视频进行编码后,获取所述第二编码视频。
其中,所述编码参数为样本视频在编码过程生成的中间参数,编码参数主要包括:视频的高度、宽度、位率、帧内编码帧的比例、前向预测编码帧的比例、双向预测内插编码帧的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例等参数。
I帧是一种自带全部信息的独立帧,无需参考其他图像便可独立进行解码,可以简单理解为一张静态画面;视频序列中的第一个帧始终都是I帧,因为它是关键帧。P帧需要参考前面的I帧才能进行编码。表示的是当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别;解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。与I帧相比,P帧通常占用更少的数据位,但不足是,由于P帧对前面的P和I参考帧有着复杂的依耐性,因此对传输错误非常敏感。B帧记录的是本帧与前后帧的差别,也就是说要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高,但是对解码性能要求较高。
对三种不同类型的宏块(即:I帧、P帧、B帧宏块),分别显示区块中是I帧、P帧、B帧宏块的百分比。I区块的3个数分别代表16x16,8x8和4x4。P区块的5个数分别代表16x16,16x8/8x16,8x8,8x4/4x8和4x4。B区块的3个数分别代表16x16,16x8/8x16和8x8。
S22.将所述编码参数输入至预先训练的与所述目标码率对应的固定码率系数预测模型中,获取所述固定码率系数预测模型输出的预测固定码率系数,其中,所述固定码率系数预测模型由与至少两个样本视频关联的编码参数以及与所述至少两个样本视频对应的固定码率系数训练生成;
其中,所述固定码率系数预测模型采用分类模型。
作为举例而非限定,固定码率系数预测模型可采用支持向量机或全连接神经网络。经过试验验证支持向量机的预测的固定码率系数编码效果最好,且用时短。
于本实施例中,固定码率系数预测模型为基于目标码率训练获取的,采用固定码率系数预测模型可将待编码视频快速有效的编码为与固定码率系数预测模型对应的目标码率的视频。
S23.根据所述预测固定码率系数对所述待编码视频进行编码,获取第三编码视频;
S24.判断所述第三编码视频的码率是否小于所述目标码率,若是,执行步骤S25;若否,执行步骤S26;
S25.输出所述第三编码视频;
S26.输出所述第二编码视频。
作为举例而非限定,以固定码率系数预测模型采用支持向量机,目标码率为3M,为例(参考图6),进行如下说明:
根据3M对待编码视频进行编码,获取编码参数及3M视频;将编码参数输入至预先训练的与3M对应的支持向量机中,获取预测固定码率系数CRF;根据预测固定码率系数CRF对待编码视频进行编码,获取第三编码视频;判断第三编码视频的码率是否小于3M,若是,输出第三编码视频;若否,输出3M视频,在不低于3M码率的情况下,实现了在画质的不变的情况下,选择最优的码率,以便于传输、存储。在本实施例中,通过将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的视频质量分值;根据目标码率对样本视频进行编码,获取与目标码率对应的编码参数及相应的编码视频的视频质量分值;根据与目标码率对应的编码参数和固定码率系数对设定分类模型进行训练,生成目标码率对应的固定码率系数预测模型;采用该固定码率系数预测模型可实现将待编码视频快速有效的编码为目标码率的视频,效率高,用时短。
本发明的视频编码方法旨在以结果为导向,在不低于目标码率的情况下进行编码,实现了在画质的不变的情况下,选择最优的码率,以便于传输、存储。
如图7所述,一种固定码率系数预测模型建立的系统3,包括:第一编码单元31、第二编码单元32和训练单元33,其中:
第一编码单元31,用于将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;
第二编码单元32,用于根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值;
于本实施例中,第二编码单元32用于根据所述至少一个目标码率对所述样本视频进行编码的过程中提取与所述目标码率对应的编码参数,第二编码单元32还用于根据所述至少一个目标码率对所述待编码视频进行编码后,获取与所述目标码率对应的所述第一编码视频的第二视频质量分值。
其中,所述编码参数为样本视频在编码过程生成的中间参数,编码参数主要包括:视频的高度、宽度、位率、帧内编码帧(I帧)的比例、前向预测编码帧(P帧)的比例、双向预测内插编码帧(B帧)的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例等参数。
训练单元33,用于将所述第一视频质量分值对应的固定码率系数作为学习类别,将所述至少一个目标码率对应的编码参数作为训练特征;采用所述训练特征及所述学习类别对设定分类模型进行训练,将训练后的所述分类模型作为与所述目标码率对应的固定码率系数预测模型。
其中,所述固定码率系数预测模型采用分类模型。
作为举例而非限定,固定码率系数预测模型可采用支持向量机或全连接神经网络。经过试验验证支持向量机的预测的固定码率系数编码效果最好,且用时短。
如图8所示,一种视频编码系统4,包括:第三编码单元41、处理单元42、第四编码单元43和判断单元44,其中:
第三编码单元41,用于根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频;
于本实施例中,所示第三编码单元41用于根据所述目标码率对所述待编码视频进行编码的过程中提取所述编码参数;所示第三编码单元41还用于根据所述目标码率对所述待编码视频进行编码后,获取所述第二编码视频。
处理单元42,用于将所述编码参数输入至预先训练的与所述目标码率对应的固定码率系数预测模型中,获取所述固定码率系数预测模型输出的预测固定码率系数,其中,所述固定码率系数预测模型由与至少两个样本视频关联的编码参数以及与所述至少两个样本视频对应的固定码率系数训练生成;
其中,所述固定码率系数预测模型采用分类模型。
作为举例而非限定,固定码率系数预测模型可采用支持向量机或全连接神经网络。经过试验验证支持向量机的预测的固定码率系数编码效果最好,且用时短。
第四编码单元43,用于根据所述预测固定码率系数对所述待编码视频进行编码,获取第三编码视频;
判断单元44,用于判断所述第三编码视频的码率是否小于所述目标码率,若是,输出所述第三编码视频;若否,输出所述第二编码视频。
在本实施例中,通过将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;根据目标码率对样本视频进行编码,获取与目标码率对应的编码参数及相应的编码视频的第二视频质量分值;根据与目标码率对应的编码参数和固定码率系数对设定分类模型进行训练,生成目标码率对应的固定码率系数预测模型;采用该固定码率系数预测模型可实现将待编码视频快速有效的编码为目标码率的视频,效率高,用时短。
如图9所示,一种计算机设备5,所述计算机设备5包括:
存储器51,用于存储可执行程序代码;以及
处理器52,用于调用所述存储器51中的所述可执行程序代码,执行步骤包括上述的监测视频直播敏感信息的方法。
图9中以一个处理器52为例。
存储器51作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的监测视频直播敏感信息的方法对应的程序指令/模块(例如,图7所示的第一编码单元31、第二编码单元32和训练单元33,或图8所示的第三编码单元41、处理单元42、第四编码单元43和判断单元44)。处理器52通过运行存储在存储器51中的非易失性软件程序、指令以及模块,从而执行计算机设备5的各种功能应用以及数据处理,即实现上述实施例固定码率系数预测模型建立方法,或视频编码方法。
存储器51可以包括存储程序区和存储数据区,其中,存储程序区可存储搡作系统、至少一个功能所需要的应用程序;存储数据区可存储用户在计算机设备5的播放信息。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器51可选包括相对于处理器52远程设置的存储器51,这些远程存储器51可以通过网络连接至视频编码系统4。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器51中,当被所述一个或者多个处理器52执行时,执行上述任意方法实施例中的固定码率系数预测模型建立方法,例如,执行以上描述的图2中的方法步骤S11至步骤S14,实现图7所示的第一编码单元31、第二编码单元32和训练单元33的功能。
所述一个或者多个模块存储在所述存储器51中,当被所述一个或者多个处理器52执行时,还可执行上述任意方法实施例中视频编码方法,例如,执行以上描述的图5中的方法步骤S21至步骤S26,实现图8所示的第三编码单元41、处理单元42、第四编码单元43和判断单元44的功能。上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的计算机设备5以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图9中的一个处理器52,可使得上述一个或多个处理器52可执行上述任意方法实施例中的固定码率系数预测模型建立方法,例如,执行以上描述的图2中的方法步骤S11至步骤S14,实现图7所示的第一编码单元31、第二编码单元32和训练单元33的功能。。
本申请实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图9中的一个处理器52,可使得上述一个或多个处理器52可执行上述任意方法实施例中的视频编码方法,例如,执行以上描述的图5中的方法步骤S21至步骤S26,实现图8所示的第三编码单元41、处理单元42、第四编码单元43和判断单元44的功能。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
实施例一、
视频编码方法可应用于服务器中,例如:客户端将录制完成的自拍视频上传至服务器,服务器对接收到的视频采用上述实施例中的视频编码方法利用固定码率系数预测模型,基于目标码率选择最优的编码方式进行编码,以便于服务器对各个客户端上传的不同的视频进行统一管理,实现了在画质的不变的情况下,选择最优的码率,以便于传输、存储。
实施例二、
视频编码方法还可以应用于客户端中,客户端对于本地存储的视频采用上述实施例中的视频编码方法利用固定码率系数预测模型,基于目标码率选择最优的编码方式进行编码,实现了在画质的不变的情况下,选择最优的码率的目的。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种固定码率系数预测模型建立方法,其特征在于,包括:
将样本视频根据固定码率系数集中的每一固定码率系数分别进行编码,并获取相应的第一视频质量分值;
根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值;
将所述第一视频质量分值对应的固定码率系数作为学习类别;
将所述至少一个目标码率对应的编码参数作为训练特征;
采用所述训练特征及所述学习类别对设定分类模型进行训练,将训练后的所述分类模型作为与所述目标码率对应的固定码率系数预测模型。
2.根据权利要求1所述的固定码率系数预测模型建立方法,其特征在于,根据至少一个目标码率对所述样本视频进行编码,获取与所述目标码率对应的编码参数及相应的第一编码视频的第二视频质量分值的步骤,包括:
根据所述至少一个目标码率对所述样本视频进行编码的过程中提取与所述目标码率对应的编码参数;
根据所述至少一个目标码率对所述待编码视频进行编码后,获取与所述目标码率对应的所述第一编码视频的第二视频质量分值。
3.根据权利要求1或2所述的固定码率系数预测模型建立方法,其特征在于,所述编码参数包括:视频的高度、宽度、位率、帧内编码帧的比例、前向预测编码帧的比例、双向预测内插编码帧的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例。
4.根据权利要求1所述的固定码率系数预测模型建立方法,其特征在于,所述固定码率系数预测模型为支持向量机。
5.一种视频编码方法,其特征在于,包括下述步骤:
根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频;
将所述编码参数输入至预先训练的与所述目标码率对应的固定码率系数预测模型中,获取所述固定码率系数预测模型输出的预测固定码率系数,其中,所述固定码率系数预测模型由与至少两个样本视频关联的编码参数以及与所述至少两个样本视频对应的固定码率系数训练生成;
根据所述预测固定码率系数对所述待编码视频进行编码,获取第三编码视频;
判断所述第三编码视频的码率是否小于所述目标码率,若是,输出所述第三编码视频;若否,输出所述第二编码视频。
6.根据权利要求5所述的视频编码方法,其特征在于,根据目标码率对待编码视频进行编码,获取编码参数及第二编码视频的步骤,包括:
根据所述目标码率对所述待编码视频进行编码的过程中提取所述编码参数;
根据所述目标码率对所述待编码视频进行编码后,获取所述第二编码视频。
7.根据权利要求5或6所述的视频编码方法,其特征在于,所述编码参数包括:视频的高度、宽度、位率、帧内编码帧的比例、前向预测编码帧的比例、双向预测内插编码帧的比例、帧内编码帧类型宏块的比例、前向预测编码帧类型宏块的比例和双向预测内插编码帧类型宏块的比例。
8.根据权利要求5所述的视频编码方法,其特征在于,所述固定码率系数预测模型采用支持向量机。
9.一种计算机设备,所述计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
CN201910841912.4A 2019-09-06 2019-09-06 固定码率系数预测模型建立及视频编码的方法 Active CN112468816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910841912.4A CN112468816B (zh) 2019-09-06 2019-09-06 固定码率系数预测模型建立及视频编码的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910841912.4A CN112468816B (zh) 2019-09-06 2019-09-06 固定码率系数预测模型建立及视频编码的方法

Publications (2)

Publication Number Publication Date
CN112468816A true CN112468816A (zh) 2021-03-09
CN112468816B CN112468816B (zh) 2022-07-19

Family

ID=74807151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910841912.4A Active CN112468816B (zh) 2019-09-06 2019-09-06 固定码率系数预测模型建立及视频编码的方法

Country Status (1)

Country Link
CN (1) CN112468816B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038129A (zh) * 2021-03-12 2021-06-25 上海视龙软件有限公司 一种用于机器学习的数据样本获取的方法及设备
CN113452996A (zh) * 2021-06-08 2021-09-28 杭州朗和科技有限公司 一种视频编码、解码方法及装置
CN117459733A (zh) * 2023-10-25 2024-01-26 书行科技(北京)有限公司 视频编码方法、装置、设备、可读存储介质及程序产品
CN117676156A (zh) * 2023-11-21 2024-03-08 书行科技(北京)有限公司 一种视频编码数据预测方法、视频编码方法及相关设备
CN117956157A (zh) * 2024-02-27 2024-04-30 书行科技(北京)有限公司 视频编码方法、装置、电子设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130094565A1 (en) * 2011-10-17 2013-04-18 Google Inc. Rate-distortion-complexity optimization of video encoding guided by video description length
US20130094564A1 (en) * 2011-10-17 2013-04-18 Google Inc. Rate-distortion-complexity optimization of video encoding
US20140092204A1 (en) * 2012-10-01 2014-04-03 The University Of Ottawa Dynamic rate control algorithm for high definition video conferencing
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN110139113A (zh) * 2019-04-30 2019-08-16 腾讯科技(深圳)有限公司 视频资源的传输参数分发方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130094565A1 (en) * 2011-10-17 2013-04-18 Google Inc. Rate-distortion-complexity optimization of video encoding guided by video description length
US20130094564A1 (en) * 2011-10-17 2013-04-18 Google Inc. Rate-distortion-complexity optimization of video encoding
CN103975601A (zh) * 2011-10-17 2014-08-06 谷歌公司 视频编码的速率-失真-复杂性优化
US20140092204A1 (en) * 2012-10-01 2014-04-03 The University Of Ottawa Dynamic rate control algorithm for high definition video conferencing
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN110139113A (zh) * 2019-04-30 2019-08-16 腾讯科技(深圳)有限公司 视频资源的传输参数分发方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038129A (zh) * 2021-03-12 2021-06-25 上海视龙软件有限公司 一种用于机器学习的数据样本获取的方法及设备
CN113452996A (zh) * 2021-06-08 2021-09-28 杭州朗和科技有限公司 一种视频编码、解码方法及装置
CN113452996B (zh) * 2021-06-08 2024-04-19 杭州网易智企科技有限公司 一种视频编码、解码方法及装置
CN117459733A (zh) * 2023-10-25 2024-01-26 书行科技(北京)有限公司 视频编码方法、装置、设备、可读存储介质及程序产品
CN117676156A (zh) * 2023-11-21 2024-03-08 书行科技(北京)有限公司 一种视频编码数据预测方法、视频编码方法及相关设备
CN117956157A (zh) * 2024-02-27 2024-04-30 书行科技(北京)有限公司 视频编码方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN112468816B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112468816B (zh) 固定码率系数预测模型建立及视频编码的方法
He et al. Rubiks: Practical 360-degree streaming for smartphones
WO2021147448A1 (zh) 一种视频数据处理方法、装置及存储介质
CN110248189B (zh) 一种视频质量预测方法、装置、介质和电子设备
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN110418177A (zh) 视频编码方法、装置、设备和存储介质
WO2023207205A1 (zh) 视频编码方法及装置
CN112104867B (zh) 一种视频处理方法、视频处理装置、智能设备及存储介质
US20170195617A1 (en) Image processing method and electronic device
CN109996080A (zh) 图像的预测方法、装置及编解码器
WO2023142716A1 (zh) 编码方法、实时通信方法、装置、设备及存储介质
WO2024169391A1 (zh) 一种视频数据处理方法、装置、计算机设备以及存储介质
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
Jiang et al. HD3: Distributed dueling DQN with discrete-continuous hybrid action spaces for live video streaming
US20090279614A1 (en) Apparatus and method for managing reference frame buffer in layered video coding
CN117459733B (zh) 视频编码方法、装置、设备、可读存储介质及程序产品
CN112351278B (zh) 一种视频的编码方法和装置,视频的解码方法和装置
WO2024139166A1 (zh) 视频编码方法及装置、电子设备和存储介质
CN106937127B (zh) 一种智能搜索准备的显示方法及其系统
WO2023147780A1 (zh) 视频帧的编码模式筛选方法、装置及电子设备
CN111918067A (zh) 一种数据处理方法、装置以及计算机可读存储介质
CN114466224B (zh) 视频数据的编解码方法和装置、存储介质及电子设备
CN116489385A (zh) 视频编码方法、解码方法、装置、电子设备及存储介质
US12010335B2 (en) Microdosing for low bitrate video compression
CN116437088A (zh) 图像缓存区的更新方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant