CN112565775A - 用于音视频转码的方法、装置及存储介质 - Google Patents
用于音视频转码的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112565775A CN112565775A CN202011355025.5A CN202011355025A CN112565775A CN 112565775 A CN112565775 A CN 112565775A CN 202011355025 A CN202011355025 A CN 202011355025A CN 112565775 A CN112565775 A CN 112565775A
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- videos
- candidate
- audios
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 230000007717 exclusion Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000007637 random forest analysis Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000019633 pungent taste Nutrition 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种用于音视频转码的方法、装置及存储介质。一种用于音视频转码的方法包括:以预定时间间隔获取具有高播放概率的候选音视频;针对获取的候选音视频执行特征提取以得到候选音视频的特征值;将候选音视频的特征值输入预测模型以获得针对候选音视频的特征预测值;根据候选音视频的特征预测值确定需要转码的音视频。根据本公开的方法和装置能够提高转码的时效性,可缓解由于资源和队列能力造成的转码任务的积压的状况。
Description
技术领域
本公开涉及互联网技术领域,尤其涉及一种用于音视频转码的方法、装置、电子设备及存储介质。
背景技术
在音视频领域,由于用户间网络带宽、设备性能及用户对音视频流畅度和清晰度要求的差异性,将同一个音视频通过转码转换成不同的音视频码流分发给不同的用户是通用做法。一般情况下,在音视频上传过程中会完成同步转码满足基本的播放需求,此过程耗时少速度快;同时为了给用户更极致的播放体验,需要对部分音视频进行异步转码获得更高压缩率更高清的音视视频码流,此过程耗时较久速度慢。
只对部分音视频进行异步转码的原因是因为转码资源有限,如果把所有的音视频进行转码是不现实的。另外,根据音视频播放量的分布显示存在非常明显的长尾效应:很少的音视频数贡献了90%以上的覆盖率,这样,如果对播放量很少的音视频进行转码则没有收益。因此,期望一种能够从所有被播放的音视频中高效精准地挑出适合转码的音视频目标的方法和装置,能够用更少的音视频覆盖获得更多观看量的收益。
在相关技术中,通常根据播放量和特定业务策略来确定需要转码的音视频。这样存在的问题在于:
1、时效性差:相关技术的异步转码例如根据将音视频的天级播放量超过100的音视频认为是热门音视频,在T+1进入转码流程。这意味着不管音视频的播放量量级是多少,一定会滞后1天+才可能进入转码流程。而某些音视频在上传1天内就能达到很高的播放量,这种方案会损失部分用户的播放体验。另外,即使播放量不是很高的音视频,如果根据音视频的播放时序特征,在音视频播放量达到顶峰时才进行转码,转码前的播放量远远高于转码后的播放量,此时进行转码的收益很小。
2、丢弃策略:相关技术的异步转码对进入转码队列的音视频只根据时间排序,没有优先级区别;如果进入队列的时间超过24小时则会直接丢弃,有可能会丢弃很多播放量较高的音视频而转码了一些播放量小的音视频,则转码的收益会大打折扣;
3、转码资源负载:相关技术的异步转码会在同一时间将大量的转码任务排入转码队列,容易造成任务堆积此时更容易造成丢弃;或者音视频的播放量已经进入下降趋势但转码任务还未丢弃造成资源浪费。
发明内容
本公开提供一种用于音视频转码的方法、装置、电子设备及存储介质,以至少解决相关技术中的确定需要转码的音视频的问题,也可不解决任何上述问题。
根据本公开的第一方面,提供了一种用于音视频转码的的方法,包括:以预定时间间隔获取具有高播放概率的候选音视频;针对获取的候选音视频执行特征提取以得到候选音视频的特征值;将候选音视频的特征值输入预测模型以获得针对候选音视频的特征预测值;根据候选音视频的特征预测值确定需要转码的音视频。
根据本公开的第一方面,所述以预定时间间隔获取具有高播放概率的候选音视频包括:定时获取上一个时间间隔内被播放过的所有音视频的相关信息;根据获取的音视频的相关信息筛选出符合预测标准的具有高播放概率的候选音视频。
根据本公开的第一方面,所述从获取的音视频中筛选出符合预测标准的具有高播放概率的候选音视频包括:将获取的音视频中满足以下条件之一的音视频排除并将排除后的剩余音视频确定为符合预测标准的音视频,其中,所述预定标准包括:所述音视频已经进行过转码;所述音视频在上个时间间隔内的播放量少于预定阈值;所述音视频被标记为是必须要转码的音视频。
根据本公开的第一方面,所述特征值是通过对预测模型的线下训练而确定的影响音视频在预定时间内的播放量的因素。
根据本公开的第一方面,所述预定时间间隔为一分钟,所述特征值包括音视频的最近一分钟播放量、最近一小时播放量、最近一分钟播放用户数、最近一分钟播放设备数和最近一分钟每次播放的时长均值中的至少一个。
根据本公开的第一方面,所述方法还包括:在获取音视频的特征值之后,从音视频的特征值数据去除错误的特征值数据并统一特征值数据的格式。
根据本公开的第一方面,所述据候选音视频的特征预测值确定需要转码的音视频包括:将特征预测值高于阈值的音视频确定为需要转码的音视频,并根据特征预测值对需要转码的音视频进行排序。
根据本公开的第一方面,所述预测模型采用随机森林决策树算法根据不同标准被训练,所述预测模型输出的特征预测值为所述音视频从上线开始的预定时间内的播放次数超过预定次数的概率值。
根据本公开的第二方面,一种用于音视频转码的装置包括:数据获取模块,被配置为以预定时间间隔获取具有高播放概率的候选音视频;特征提取模块,被配置为针对获取的候选音视频执行特征提取以得到候选音视频的特征值;预测模块,被配置为将候选音视频的特征值输入预测模型以获得针对候选音视频的特征预测值;确定模块,被配置为根据候选音视频的特征预测值确定需要转码的音视频。
根据本公开的第二方面,所述数据获取模块包括:抓取模块,被配置为定时获取上一个时间间隔内被播放过的所有音视频的相关信息;筛选模块,被配置为根据获取的音视频的相关信息筛选出符合预测标准的具有高播放概率的候选音视频。
根据本公开的第二方面,所述特征提取模块被配置为将获取的音视频中满足以下条件之一的音视频排除并将排除后的剩余音视频确定为符合预测标准的具有高播放概率的候选音视频,其中,所述预定标准包括:所述音视频已经进行过转码;所述音视频在上个时间间隔内的播放量少于预定阈值;所述音视频被业务侧认定为是必须要转码的音视频。
根据本公开的第二方面,所述特征值是通过热度预测模型的线下训练而确定的影响音视频在预定时间内的播放量的因素。
根据本公开的第二方面,所述预定时间间隔为一分钟,所述特征值包括音视频的最近一分钟播放量、最近一小时播放量、最近一分钟播放用户数、最近一分钟播放设备数和最近一分钟每次播放的时长均值中的至少一个。
根据本公开的第二方面,所述特征值提取模块还被配置为从音视频的特征值数据去除错误的特征值数据并统一特征值数据的格式。
根据本公开的第二方面,所述确定模块被配置为:将特征预测值高于阈值的音视频确定为需要转码的音视频,并根据特征预测值对需要转码的音视频进行排序。
根据本公开的第二方面,所述预测模型采用随机森林决策树算法根据不同标准被训练,所述预测模型输出的特征预测值为所述音视频从上线开始的预定时间内的播放次数超过预定次数的概率值。
根据本公开的第三方面,提供了一种电子设备,其特征在于,包括:至少一个处理器;至少一个存储计算机可执行指令的存储器,其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行如上所述的用于音视频转码的方法。
根据本公开的第四方面,提供了一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如上所述的用于音视频转码的方法。
根据本公开的第五方面,提供了一种计算机程序产品,其特征在于所述计算机程序产品中的指令被电子设备中的至少一个处理器运行以执行如上所述的用于音视频转码的方法。
根据本公开的实施例提供的技术方案至少带来以下有益效果:根据音视频的预测热度来实时地确定需要进行转码的音视频以及转码的类型,解决了热门音视频的延迟获得问题,并且即使音视频在刚生产的时候热度较低被丢弃但在一段时间之后达到高热度,也能够重新对该音视频进行转码。
根据本公开的确定需要转码的方法和装置能够提高音视频服务中的异步转码的时效性,缓解由于资源和队列能力造成的转码任务的积压的状况。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的实施用于音视频转码的方法的系统环境。
图2是根据一示例性实施例示出的用于音视频转码的方法的流程图。
图3是根据一示例性实施例示出的用于音视频转码的装置的框图。
图4是根据一示例性实施例示出的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是,在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况:(1)包括A;(2)包括B;(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”,即表示如下三种并列的情况:(1)执行步骤一;(2)执行步骤二;(3)执行步骤一和步骤二。
图1示出了根据本公开的示例性实施例的用于音视频转码的方法的系统环境。
在本公开的示例性实施例中,以提供音视频服务的提供商作为示例(例如,短视频应用服务提供商)进行说明。
如图1所示,该系统环境可包括多个终端设备100-1、100-2、…100-n、服务器200。这里,终端设备100可以是具有通信功能和相机功能的终端设备,例如,本公开实施例中的终端设备100可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、上网本、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备。在终端设备100上可运行音视频生产应用,诸如短视频应用、直播应用、在线教育应用等,用户可使用终端设备100上的应用来生产各种音视频。例如,用户可拍摄并制作短视频并将制作好的短视频上传到短视频服务提供商的服务器200。服务器200可在接收到上传的音视频之后执行同步转码以满足基本的播放需求。
另外,根据本公开的示例性实施例,服务器200还可按照预定时间间隔来预测当前服务器200上线的视频中可能会具有高热度的音视频,并对这部分音视频执行异步转码。通过这样的操作,服务器200可对上线的音视频中的低热度音视频只做快速的转码满足基本观看需求,对高热度音视频进行高规格转码,这样可以让短视频服务的用户在观看高热度视频时获得更好的观看体验。
应理解,服务器200可以以各种方式实现,例如,可以以分布式实现服务器集群,并且根据本公开的示例性实施例的确定转码的音视频的方法可以在存储音视频的服务器本地以外的分布式设备上实现。
下面将参照图2对根据本公开的示例性实施例的用于音视频转码的方法进行说明。根据本公开的示例性实施例的方法可在诸如音视频服务提供服务器中实现,或者在与所述服务器连接并进行通信的其他电子设备中实现。下面以在服务器中实现该方法作为示例进行说明。
首先,在步骤S201,以预定时间间隔获取具有高播放概率的候选音视频。这里,具有高播放概率的候选音视频将会用于后续的预测处理。具体地,一个音视频只要被消费(即,被用户观看),服务器就会将该次播放记录到实时播放日志中,因此,服务器可根据该实时播放日志定时(例如,每隔1分钟)获取在上一个时间间隔(例如,前一分钟内)所有被消费过的音视频的相关信息。
这里,根据本公开的示例性实施例,服务器还可对获取的音视频进行筛选以减少需要后续处理的音视频的数量。服务器可根据实时播放日志抓取上一个时间间隔内被播放过的所有音视频,然后根据这些音视频的相关信息来从中筛选出具有高播放概率的候选音视频(即,有可能需要进行热度预测的音视频)。例如,服务器可读取包括获取的音视频的各种指标的相关信息以用于筛选。这里,音视频的相关信息例如可包括:上线时间、总的播放次数、每次的播放时间、播放时长、内容类型、重要性、是否已经转码等。应理解,相关信息包括的信息类型不限于上述类型,本领域的技术人员可根据需要获取任何可用于筛选的信息并根据该信息来执行筛选。
根据本公开的示例性实施例,服务器可根据预定标准从抓取的音视频中确定满足预定标准的音视频,并将满足预定标准的音视频确定为具有高播放概率的候选音视频。例如,如果一个音视频在上一个时间间隔内被播放的次数超过预定次数并且该音视频还没有被进行过转码,则可将该音视频确定为候选对象。
根据本公开的示例性实施例,服务器还可将抓取的音视频中符合以下条件之一的音视频排除并将排除后的剩余音视频确定为需要进行热度预测的音视频:
条件1:该音视频已经进行过转码。服务器可从转码历史日志中确定一个音视频的转码历史。例如,如果一个音视频已经在之前进行了高规格的转码,则服务器可将该音视频排除在后续的操作流程之外。
条件2:该音视频在上个时间间隔内的播放量少于预定阈值。例如,根据统计可以知道,每一分钟的播放量少于或等于1次的音视频的数量相对于总的音视频的数量占比为约56%,这部分音视频的热度不高但是却占用了大量的带宽、存储和运算等机器资源,因此,需要将这部分视频排除。
条件3:该音视频被标记为是必须被转码的音视频。例如,该音视频是涉及到公共事务、紧急事务、法律规定事务、公益宣传、慈善宣传、音视频网站自产业务的音视频,这些音视频内容被认为是必须传播到更多覆盖人群、更多类型的终端设备的音视频,具有较高的优先级,因此必须进行转码。又例如,如果音视频的生产者的粉丝量达到预定数量,则由该生产者提供的所有音视频内容都可被认定为是必须要转码的音视频。例如,音视频的生产者的粉丝数量超过了1百万,则通常会认定该生产者具有很高的人气,其生产的音视频很大概率会具有很高的热度,因此有必要对该生产者提供的所有音视频内容进行转码。可通过该音视频的相关信息对该音视频进行标记来标识该音视频是否属于必须要转码的音视频。
应理解,以上标准仅是示意性的,本公开的示例性实施例不限于此。本领域的技术人员可根据需要设置用于确定候选音视频内容的标准或设置用于排除不需要进行预测的音视频的判断规则。
通过以上的过程,可以实时地抓取出需要进行热度预测的音视频而不必等待到一天或者更久的时间来进行热度判断,从而提高了时效性。
接下来,在步骤S203,针对获取的候选音视频执行特征提取以得到候选音视频的特征值。这里,音视频的特征值是通过线下训练确定的影响音视频的最终热度概率值(例如,在预定时间内被播放的次数超过预定次数的概率)的因素。特征值的选择是经过线下对大量关于音视频的相关数据(例如,播放相关数据和热度相关数据)的训练和尝试的结果。根据本公开的示例性实施例,特征值可包括最近一分钟播放量、最近一小时播放量、最近一分钟播放用户数、最近一分钟播放设备数和最近一分钟每次播放的时长均值中的至少一个。应理解,这里的特征值指标仅是示例性的,本领域的技术人员知道可根据实际情况通过线下和/或线上的音视频内容的相关数据的统计情况来获取可用于预测音视频热度的特征值指标。
根据本公开的示例性实施例,在提取了候选音视频的特征值之后,还可从提取的音视频的特征值数据去除错误的特征值数据并统一特征值数据的格式。例如,将缺少特征值、特征值不正确或超出范围的数据去除或者统一处理为符合要求的数据,从而用于后续处理。
然后,在步骤S205,候选音视频的特征值输入预测模型以获得针对候选音视频的特征预测值。这里,预测模型可以是根据人工智能技术训练和构建的用于根据音视频的特征值预测音视频的热度的模型。这里,人工智能技术可包括机器学习、深度学习等技术。
通过学习创建可指因为通过使用多个学习数据的学习算法来训练基本人工智能模块,而创建用于执行期望的特征(或目的)的预定义的操作规则或人工智能模型。学习可在执行根据实施例的人工智能的机器本身中执行,或者通过单独的服务器和/或系统执行。学习算法的示例可包括监督学习、无监督学习、半监督学习或强化学习,但是实施例不限于此。人工智能模型可包括多个神经网络层。多个神经网络层中的每个神经网络层可包括多个权重值,并且可通过前一层的处理结果与多个权重值之间的处理来执行神经网络处理。可通过人工智能模型的学习结果对多个神经网络层中包括的多个权重值进行优化。例如,多个权重值可针对训练过程中人工智能模型获得的损失值或成本值进行更新,以减少或优化损失值或成本值。人工神经网络可包括深度神经网络(DNN),并且人工神经网络的示例可包括卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向递归深度神经网络(BRDNN)、Deep-Q网络等,但是实施例不限于上述示例。
根据本公开的示例性实施例,可采用随机森林决策树算法来构建预测模型。针对不同的音视频提供产品、不同的特征值、不同的预期标准,可训练得到不同形态和结构的决策树,因而得到的特征预测值也会不同。例如,不同的音视频服务提供商的产品可能在目标人群、内容风格、热度评价方面具有不同的指标,因此需要根据历史统计数据和预期目标来构建和训练预测模型。
根据本公开的示例性实施例,预测模型可采用随机森林决策树算法根据不同的标准被训练,而预测模型输出的特征预测值为音视频从上线开始的预定时间内的播放次数超过预定次数的概率值。根据本公开的实施例,可通过直接调用python函数来实现随机森林决策树算法的预测模型。应理解,实现预测模型的方式不限于上述方式。另外,预测模型可根据音视频的播放数据的更新而被更新。
例如,在一个短视频服务提供产品中,通过统计发现在该产品中上线的所有视频中,三天累计播放量大于等于1000次的视频的视频数占比为14%,播放覆盖为82%。因此,可将这一指标值设定为热门视频的标准。也就是说,一个视频如果从上线开始在未来三天内可以达到1000次播放,则将该视频认定是热门视频。按照此标准使用音视频服务提供产品的历史数据对热度预测模型进行训练后,可得到一个符合该热度标准的预测模型。然后,可将该预测模型上线,从而可使用该预测模型来预测一个新视频在未来三天达到1000次播放的可能性,即得到该视频在未来三天内达到1000次播放的概率值,将该概率值作为该视频的特征预测值。
最后,在步骤S207,根据候选音视频的特征预测值确定需要转码的音视频。具体地,可根据特征预测值对音视频分配优先级,并根据音视频的优先级确定对音视频进行转码的顺序。例如,如果抓取的上一分钟的需要进行热度预测的音视频总量为10000个并且通过热度预测模型得到了这10000个视频从上线起的三天之内达到预定播放次数(例如,1000次)的概率值,则可通过对得到的10000个概率值进行排序,并按照概率值顺序在这10000个音视频中确定需要转码的音视频。例如,可将预测得到的概率值高于75%的音视频确定为需要转码的音视频,并输出这些音视频的ID。这样,转码端可按照概率值从高到低的顺序将确定的需要转码的音视频放入转码的队列中以进行转码。应理解,以上的排序和转码方式只是示例,本领域的技术人员知道可采用其他的方式来根据热度预测值确定最终需要转码的音视频。
通过以上的方法,可获得因为实时性而带来的收益。根据本公开的示例性实施例,预测模型可采用分钟级别预测,在资源充足的情况下可实现刚发布且满足预定条件即进行转码。例如,某视频id的生产日期为2020-09-1514:02,经过一分钟之后该视频就被预测模型预测为热门视频且预测值为0.76(范围区间是0-1),即,在未来预定时间内播放超过预定次数的概率为0.76。相较原策略的隔一天才能查询出需要转码的音视频,分钟级别的预测大大提前了热门音视频被转码的时间,不会让音视频在最热的时候因热度触发策略而错失为用户提升消费体验的机会。实时的收益不仅体现在更早的发现热门音视频,同时也能及时地将热门音视频输出给后端转码侧。例如,相关技术中的触发转码策略是:今日去查询昨天播放量大于等于100次的视频,然后今天把查出来的热门视频一并全部交给转码队列,这样造成的问题就是一天的视频累计的太多,一并交付给队列的时候如果资源爆满就无法记住所有的视频,那些今天还没转的视频就会堆积到第二日,当第二日的视频进入队列的时候因资源不够就会丢弃掉一部分,同时队列只能将未转的视频保留24小时,超过时间仍然没排到的视频同样会被丢弃。而根据本公开的示例性实施例的预测模型的分钟级别的传递消息就会大大缓解累积的情况。
另外,通过以上的方法,还可获得因触发规则带来的收益。根据本公开的示例性实施例,只要音视频有被消费,它就会进入到预测模型的流程中。这样的触发规则可以解决两个问题:其一是,某些音视频服务提供产品的消费周期较长,更新迭代速度较慢,一个视频在刚生产出来的近10天内的可能都不会被大量消费,但是在10天后突然会被大量观看,所以如果在音视频的生产阶段去预测该视频的热度会大大降低预测为热门的可能,并且会被抛弃。根据本公开的示例性实施例的预测模型不会因为前期的低消费而抛弃视频,同时又能在将要起量的时候及时发现该音视频。其二是,还可以起到兜底的作用,即不会错过任何一个还未达到热度的音视频。
另外,通过以上的方法,还可获得因输出信息完整带来的收益:根据本公开的示例性实施例可对需要转码的音视频根据热度预测值(概率值)进行优先级排序,从而缓解因资源有限和队列能力带来的压力。
另外,通过以上的方法,还可获得因预测准确带来的收益:与相关技术的转码策略比,根据本公开的示例性实施例的预测模型预测出来的热门音视频个数更少,但是其消费占比却更高,也就是说,根据本公开的预测模型预测出的音视频更加精准,同时也节省了转码资源。
图3是根据一示例性实施例示出的用于音视频转码的装置的框图。根据本公开的用于音视频转码的装置可以在音视频提供服务器中实现。
如图3所示,根据本公开的示例性实施例的确定需要转码的装置300可包括:数据获取模块310、特征提取模块320、预测模块330和确定模块340。
数据获取模块310被配置为以以预定时间间隔获取具有高播放概率的候选音视频。
根据本公开的示例性实施例,数据获取模块310可包括抓取模块311和筛选模块313。抓取模块311可被配置为根据该实时播放日志定时(例如,每隔1分钟)获取在上一个时间间隔(例如,前一分钟内)所有被消费过的音视频的相关信息。筛选模块313被配置为根据获取的音视频的相关信息筛选出符合预测标准的具有高播放概率的候选音视频。例如,筛选模块313可根据实时播放日志抓取上一个时间间隔内被播放过的所有音视频,然后根据这些音视频的相关信息来从中筛选出符合预测标准的具有高播放概率的候选音视频。
根据本公开的示例性实施例,筛选模块313被配置为可根据预定标准从抓取的音视频中确定满足预定标准的音视频,并将满足预定标准的音视频确定为具有高播放概率的候选音视频。
根据本公开的示例性实施例,筛选模块313被配置可将抓取的音视频中符合以下条件之一的音视频排除并将排除后的剩余音视频确定为候选音视频:
条件1:该音视频已经进行过转码。
条件2:该音视频在上个时间间隔内的播放量少于预定阈值。
条件3:该音视频被标记为是必须要转码的音视频。
以上已经参照图2说明了关于筛选符合预测标准的音视频的过程的示例,在此不再进行详细描述。
特征提取模块320被配置为针对获取的候选音视频执行特征提取以得到候选音视频的特征值。这里,音视频的特征值可以是通过线下训练确定的影响音视频的在预定时间内的播放量的因素。根据本公开的示例性实施例,特征值可包括最近一分钟播放量、最近一小时播放量、最近一分钟播放用户数、最近一分钟播放设备数和最近一分钟每次播放的时长均值中的至少一个。
预测模块330被配置为将所述音视频的特征值输入预测模型以获得针对所述音视频的特征预测值。这里,预测模块330可采用随机森林决策树算法来构建预测模型。针对不同的音视频提供产品、不同的特征值、不同的预期热度标准,可预先训练得到不同形态和结构的决策树,因而不同的决策树所预测的特征预测值也会不同。根据本公开的示例性实施例,预测模型可采用随机森林决策树算法根据不同的标准被训练,而预测模型输出的特征预测值为音视频从上线开始的预定时间内的播放次数超过预定次数的概率值。根据本公开的实施例,可通过直接调用python函数来实现随机森林决策树算法的预测模型。应理解,实现预测模型的方式不限于上述方式。
确定模块340被配置为根据候选音视频的特征预测值确定需要转码的音视频。确定模块340可根据特征预测值对音视频分配优先级,并根据音视频的优先级确定对音视频进行转码的顺序。例如,确定模块340可将特征预测值高于阈值的音视频确定为需要转码的音视频,并根据特征预测值对需要转码的音视频进行排序。这样,转码端可根据确定的顺序将需要转码的音视频放入转码的队列中以进行转码。
图4示出了用于确定需要转码的音视频的电子设备400的结构框图。例如,电子设备400可以被提供为一服务器。参照图4,电子设备400包括一个或多个处理处理器410以及存储器420。存储器420可以包括用于执行以上的用于音视频转码的方法的一个或一个以上的程序。电子设备400还可以包括一个电源组件430被配置为执行电子设备400的电源管理,一个有线或无线网络接口440被配置为将电子设备400连接到网络,和一个输入输出(I/O)接口450。电子设备400可以操作基于存储在存储器420的操作系统,例如WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或类似。
根据本公开的实施例,还可提供一种存储指令的计算机可读存储介质,其中,当指令被至少一个处理器运行时,促使至少一个处理器执行根据本公开的音视频转码方法。这里的计算机可读存储介质的示例包括:只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如,多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置,所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行,此外,在一个示例中,计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上,使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的实施例中,还可提供一种计算机程序产品,该计算机程序产品中的指令可由计算机设备的处理器执行以实现上述的用于音视频转码的方法。
根据本公开的实施例的方法、装置、服务器、计算机可读存储介质可以大大提前热门音视频被转码的时间,不会让音视频在最热的时候因热度触发策略而错失为用户提升消费体验的机会,提高了时效性和用户体验。另外,由于可根据热度预测值进行排序,从而可缓解由于资源和队列能力造成的转码任务的积压的状况。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种用于音视频转码的方法,其特征在于,包括:
以预定时间间隔获取具有高播放概率的候选音视频;
针对获取的候选音视频执行特征提取以得到候选音视频的特征值;
将候选音视频的特征值输入预测模型以获得针对候选音视频的特征预测值;
根据候选音视频的特征预测值确定需要转码的音视频。
2.如权利要求1所述的方法,其特征在于,所述以预定时间间隔获取候选音视频包括:
定时获取上一个时间间隔内被播放过的所有音视频的相关信息;
根据获取的音视频的相关信息筛选出符合预测标准的具有高播放概率的候选音视频。
3.如权利要求2所述的方法,所述从获取的音视频中筛选出符合预测标准的具有高播放概率的候选音视频包括:将获取的音视频中满足以下条件之一的音视频排除并将排除后的剩余音视频确定为符合预测标准的候选音视频,其中,所述预定标准包括:
所述音视频已经进行过转码;
所述音视频在上个时间间隔内的播放量少于预定阈值;
所述音视频被标记为是必须要转码的音视频。
4.如权利要求1所述的方法,其特征在于,所述特征值是通过对预测模型的线下训练而确定的影响音视频在预定时间内的播放量的因素。
5.如权利要求4所述的方法,其特征在于,所述预定时间间隔为一分钟,所述特征值包括音视频的最近一分钟播放量、最近一小时播放量、最近一分钟播放用户数、最近一分钟播放设备数和最近一分钟每次播放的时长均值中的至少一个。
6.如权利要求1所述的方法,其特征在于,所述根据候选音视频的特征预测值确定需要转码的音视频包括:
将特征预测值高于阈值的音视频确定为需要转码的音视频,并根据特征预测值对需要转码的音视频进行排序。
7.一种用于音视频转码的装置,其特征在于,包括:
数据获取模块,被配置为以预定时间间隔获取具有高播放概率的候选音视频;
特征提取模块,被配置为针对获取的候选音视频执行特征提取以得到候选音视频的特征值;
预测模块,被配置为将候选音视频的特征值输入预测模型以获得针对候选音视频的特征预测值;
确定模块,被配置为根据候选音视频的特征预测值确定需要转码的音视频。
8.如权利要求7所述的装置,其特征在于,所述数据获取模块包括:
抓取模块,被配置为定时获取上一个时间间隔内被播放过的所有音视频的相关信息;
筛选模块,被配置为根据获取的音视频的相关信息筛选出符合预测标准的具有高播放概率的候选音视频。
9.一种电子设备,其特征在于,包括:
至少一个处理器;
至少一个存储计算机可执行指令的存储器,
其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行如权利要求1到6中的任一权利要求所述的方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011355025.5A CN112565775B (zh) | 2020-11-26 | 2020-11-26 | 用于音视频转码的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011355025.5A CN112565775B (zh) | 2020-11-26 | 2020-11-26 | 用于音视频转码的方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112565775A true CN112565775A (zh) | 2021-03-26 |
CN112565775B CN112565775B (zh) | 2023-09-05 |
Family
ID=75046076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011355025.5A Active CN112565775B (zh) | 2020-11-26 | 2020-11-26 | 用于音视频转码的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112565775B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114297156A (zh) * | 2021-12-27 | 2022-04-08 | 北京达佳互联信息技术有限公司 | 多媒体文件清理方法、装置、电子设备和存储介质 |
CN114339311A (zh) * | 2021-12-09 | 2022-04-12 | 北京邮电大学 | 一种视频云转码及分发联合决策方法及系统 |
WO2023029986A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字跳网络技术有限公司 | 多媒体资源处理方法、装置、电子设备以及可读存储介质 |
WO2023185175A1 (zh) * | 2022-03-28 | 2023-10-05 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150281301A1 (en) * | 2014-03-28 | 2015-10-01 | Pelco, Inc. | Dynamic Media Transcoding for P2P Communications |
CN109286825A (zh) * | 2018-12-14 | 2019-01-29 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
CN111314737A (zh) * | 2018-12-11 | 2020-06-19 | 阿里巴巴集团控股有限公司 | 一种视频转码方法及装置 |
CN111565316A (zh) * | 2020-07-15 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
CN111757118A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 视频转码处理方法、装置、设备和介质 |
-
2020
- 2020-11-26 CN CN202011355025.5A patent/CN112565775B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150281301A1 (en) * | 2014-03-28 | 2015-10-01 | Pelco, Inc. | Dynamic Media Transcoding for P2P Communications |
CN106233732A (zh) * | 2014-03-28 | 2016-12-14 | 派尔高公司 | 用于p2p通信的动态媒体转码 |
CN111314737A (zh) * | 2018-12-11 | 2020-06-19 | 阿里巴巴集团控股有限公司 | 一种视频转码方法及装置 |
CN109286825A (zh) * | 2018-12-14 | 2019-01-29 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
CN111757118A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 视频转码处理方法、装置、设备和介质 |
CN111565316A (zh) * | 2020-07-15 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023029986A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字跳网络技术有限公司 | 多媒体资源处理方法、装置、电子设备以及可读存储介质 |
CN114339311A (zh) * | 2021-12-09 | 2022-04-12 | 北京邮电大学 | 一种视频云转码及分发联合决策方法及系统 |
CN114297156A (zh) * | 2021-12-27 | 2022-04-08 | 北京达佳互联信息技术有限公司 | 多媒体文件清理方法、装置、电子设备和存储介质 |
WO2023185175A1 (zh) * | 2022-03-28 | 2023-10-05 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112565775B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112565775B (zh) | 用于音视频转码的方法、装置及存储介质 | |
CN110909205B (zh) | 一种视频封面确定方法、装置、电子设备及可读存储介质 | |
WO2017096877A1 (zh) | 一种推荐方法和装置 | |
US9462313B1 (en) | Prediction of media selection consumption using analysis of user behavior | |
CN109862397B (zh) | 一种视频分析方法、装置、设备和存储介质 | |
CN109299265B (zh) | 潜在回流用户筛选方法、装置以及电子设备 | |
CN111125429B (zh) | 一种视频推送方法、装置和计算机可读存储介质 | |
KR102592402B1 (ko) | 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 | |
CN110856037B (zh) | 一种视频封面确定方法、装置、电子设备及可读存储介质 | |
CN112860943A (zh) | 一种教学视频审核方法、装置、设备及介质 | |
US9830668B1 (en) | Identifying top fans | |
CN110413867B (zh) | 用于内容推荐的方法及系统 | |
WO2023185175A1 (zh) | 视频处理方法及装置 | |
CN111062527B (zh) | 一种视频集流量预测方法及装置 | |
US11457288B1 (en) | Rewind and fast forward of content | |
CN111327967B (zh) | 视频智能倍速播放方法、系统及存储介质 | |
CN111858969A (zh) | 多媒体数据推荐方法、装置、计算机设备和存储介质 | |
CN108595526B (zh) | 资源推荐方法及装置 | |
CN111046298A (zh) | 推送应用程序的方法、装置、计算机设备和存储介质 | |
WO2022247849A1 (zh) | 多媒体数据处理方法及装置、设备、存储介质 | |
CN112202849A (zh) | 内容分发方法、装置、电子设备和计算机可读存储介质 | |
CN113742580B (zh) | 目标类型数据的召回方法、装置、电子设备及存储介质 | |
CN112749299A (zh) | 确定视频类型的方法、装置、电子设备及可读存储介质 | |
CN114845149B (zh) | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 | |
CN112804566A (zh) | 节目推荐方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |