CN112422977A - 音视频转码任务的分配方法和分配装置 - Google Patents
音视频转码任务的分配方法和分配装置 Download PDFInfo
- Publication number
- CN112422977A CN112422977A CN202010903427.8A CN202010903427A CN112422977A CN 112422977 A CN112422977 A CN 112422977A CN 202010903427 A CN202010903427 A CN 202010903427A CN 112422977 A CN112422977 A CN 112422977A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- parameter
- resource
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013468 resource allocation Methods 0.000 claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 12
- 239000002699 waste material Substances 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本申请提供一种音视频转码任务的分配方法和分配装置,所述方法包括:响应于当前音视频转码任务请求,获取待转码的源音视频文件;获取所述源音视频文件的第一音视频参数;根据所述第一音视频参数和业务类型确定与所述源音视频文件对应的目标音视频文件的第二音视频参数;将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数;根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。本申请可以有效提高任务处理速度,避免任务分配时产生资源浪费和资源不足的情况。
Description
技术领域
本申请涉及音视频处理技术领域,特别涉及一种音视频转码任务的分配方法和分配装置。
背景技术
音视频转码是指将已经压缩编码的音频和/或视频码流转换成另一个音频和/或视频码流,以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。目前为了满足大量转码任务的需求,通常结合云计算技术在大规模服务器集群上批量执行音视频转码任务。
在执行云转码任务过程时,需要事先将转码任务分配CPU、内存、存储、网络等计算资源。传统的音视频转码任务通常是使用预设的静态值进行资源分配,即为每个转码任务分配固定的资源量。然而实际上,不同转码任务之间需要的计算资源是存在较大差异的。现有技术中按照固定资源量分配任务的方式,一方面可能会为资源需求低的转码任务分配远超出任务实际利用的资源,造成计算资源的闲置和浪费,另一方面可能会为资源需求高的转码任务分配远低于任务实际需求的资源,从而严重影响转码任务的执行速度,使得转码任务的执行效率不高。
因此,如何提供一种更加合理的转码任务分配方案,可以同时兼顾计算资源的合理利用和转码任务的高效处理,成为领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种能够合理分配计算资源,提高音视频转码任务的处理效率的技术方案,以解决现有技术中存在的上述问题。
为实现上述目的,本申请提供一种音视频转码任务的分配方法,包括:
响应于当前音视频转码任务请求,获取待转码的源音视频文件;
获取所述源音视频文件的第一音视频参数;
根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数;
将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数;
根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。
根据本申请提供的分配方法,所述音视频转码任务请求中包括业务类型,所述根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数的步骤包括:
根据所述第一音视频参数和所述业务类型确定所述第二音视频参数。
根据本申请提供的分配方法,所述根据所述第一音视频参数和业务类型确定与所述源音视频文件对应的目标音视频文件相关的第二音视频参数的步骤包括:
根据业务类型确定第二音视频参数的候选范围;
根据所述第一音视频参数从所述候选范围中确定目标参数。
根据本申请提供的分配方法,所述资源参数包括CPU核数、内存容量、磁盘容量或网络传输速度中的至少任一项。
根据本申请提供的分配方法,所述资源分配模型通过以下步骤训练得到:
获取样本数据,所述样本数据包括执行历史音视频转码任务时确定的第一历史参数、第二历史参数和历史资源参数;其中,所述第一历史参数包括所述历史音视频转码任务对应的历史源音视频文件的音视频参数,所述第二历史参数包括所述历史音视频转码任务对应的历史目标音视频文件的音视频参数,所述历史资源参数包括执行所述历史音视频转码任务实际占用的CPU核数、内存容量、磁盘容量或网络传输速度中的至少任一项;
将所述第一历史参数和所述第二历史参数作为输入数据,将所述历史资源参数作为输出数据训练神经网络模型,基于优化算法确定所述神经网络模型中的转码参数。
根据本申请提供的分配方法,所述方法还包括:
将所述当前音视频转码任务中确定的所述第一音视频参数、所述第二音视频参数和执行所述当前音视频转码任务时实际占用的资源参数加入所述样本数据中;
当满足触发条件时,根据新加入的所述样本数据训练所述资源分配模型,以重新确定所述资源分配模型中的权重参数。
根据本申请提供的分配方法,所述获取样本数据的步骤之后,还包括:
判断所述第二历史参数中的每一项是否在预设范围之内;
若否,删除所述样本数据。
根据本申请提供的分配方法,所述根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点的步骤包括:
确定每个硬件节点的可用剩余资源;
选择所述可用剩余资源与所述资源参数最匹配的硬件节点作为目标节点,将所述视频转码任务分配到所述目标节点中。
为实现上述目的,本申请还提供一种音视频转码任务的分配装置,包括:
请求模块,适应于响应于当前音视频转码任务请求,获取待转码的源音视频文件;
第一参数模块,适用于获取所述源音视频文件的第一音视频参数;
第二参数模块,适用于根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数;
资源参数模块,适用于将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数;
任务分配模块,适用于根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。
为实现上述目的,本申请还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的,本申请还提供计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本申请提供的音视频转码任务的分配方法和分配装置,与大数据机器学习技术相结合,提供了一种合理分配音视频转码任务的方案。一方面,本申请通过向训练好的资源分配模型输入源音视频文件的第一音视频参数和目标音视频文件的第二音视频参数,可以输出音视频转码任务对应的准确的资源参数。通过按照确定的资源参数分配任务,可以有效提高任务处理速度,避免资源浪费和资源不足的情况。另一方面,本申请将历史执行的音视频转码任务不断加入样本数据库,根据新增的样本数据定期矫正资源分配模型,可以进一步提高资源分配模型的准确性。
附图说明
图1为本申请的音视频转码任务的分配方法实施例一的流程图;
图2为本申请实施例一中根据资源参数为音视频转码任务分配硬件节点的示意性流程图;
图3为本申请实施例一中训练资源分配模型的示意性流程图;
图4为本申请的音视频转码任务的分配装置实施例一的程序模块示意图;
图5为本申请实施例一的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的音视频转码任务的分配方法和分配装置,与大数据机器学习技术相结合,提供了一种合理分配音视频转码任务的方案。一方面,本申请通过向训练好的资源分配模型输入源音视频文件的第一音视频参数和目标音视频文件的第二音视频参数,可以输出音视频转码任务对应的准确的资源参数。通过按照确定的资源参数分配任务,可以有效提高任务处理速度,避免资源浪费和资源不足的情况。另一方面,本申请将历史执行的音视频转码任务不断加入样本数据库,根据新增的样本数据定期矫正资源分配模型,可以进一步提高资源分配模型的准确性。
实施例一
请参阅图1,本实施例提出一种音视频转码任务的分配方法,包括以下步骤:
S100:响应于当前音视频转码任务请求,获取待转码的源音视频文件。
本实施例中的当前音视频转码任务请求,可以是基于用户实时发起的请求,也可以是基于系统自动定时发起的请求。例如,当用户将自己拍摄的音视频文件上传到本申请的视频播放平台中时发起当前音视频转码任务请求,用于将自己拍摄的音视频文件的格式转化为适合本申请的视频播放平台的格式。或者是系统根据预设的定时任务批量处理已存储的与本申请的视频播放平台的格式不同的音视频文件,例如每天零点零分系统自动发起当前音视频转码任务请求。
其中,当前音视频转码任务请求中可以包含待转码的源音视频文件本身,或者是待转码的源音视频文件的存储位置。因此本步骤可以根据当前音视频转码任务请求直接或者间接获取待转码的源音视频文件。
S200:获取所述源音视频文件的第一音视频参数。
可以通过对源音视频文件解码的方式获取第一音视频参数。第一音视频参数用于表征源音视频文件的格式信息,具体的,可以包括与源音视频文件相关的第一播放时长、第一编码格式、第一视频帧率、第一视频分辨率、第一视频码率、第一音频采样率、第一音频位宽或第一音频通道数中的至少任一项。
S300:根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数。
目标视频文件指的是将源音视频文件转码之后得到的、符合本申请的视频播放平台的视频文件。第二音视频参数用于表征目标音视频文件的格式信息,具体的,可以包括与目标音视频文件相关的第二编码格式、第二视频帧率、第二视频分辨率、第二视频码率、第二音频采样率、第二音频位宽或第二音频通道数中的至少任一项。
可以理解,第二音视频参数是与本申请的视频播放平台的播放器相适应的,通常不同的播放器对应不同的音视频参数,当然也有一些播放器具有良好的兼容性,可以同时适应多种音视频参数。因此,本申请中的第二音视频参数可以和第一音视频参数相同,也可以和第一音视频参数不同。进一步,可以是第二音视频参数中的个别参数和第一音视频参数中的个别参数不同,也可以第二音视频参数中的所有参数和第一音视频参数中的所有参数均不同。例如第一编码格式为MPEG格式,第二编码格式为H.26X格式;第一视频分辨率为1080P,第二视频分辨率为720P等。
在默认设置的情况下,可以认为业务类型是唯一的,此时可以直接根据第一音视频参数确定第二音视频参数参数。在另外的一些示例中也可以包含不同的业务类型,此时不同的业务类型对应的参数也不相同。在视频播放平台的播放器确定的基础上,本实施例还可以根据第一音视频参数以及不同的业务类型来设置不同的第二音视频参数范围。其中,本申请中的业务类型可以直接包含在音视频转码任务请求中,具体可以包括例如用户投稿音视频业务和平台自制音视频业务。由于用户自己录制音视频时采用的设备型号比较多样,因此用户投稿音视频业务对于最终生成的目标音视频文件的分辨率可能要求较低,例如将第二视频分辨率的候选范围定在360P到1080P之间。另一方面,本申请对于平台自制音视频业务的要求就更高一些,例如将第二视频分辨率的候选范围定在720P到4K之间。这样,在获得业务类型的基础上,就已经确定了第二音视频参数的候选范围。
进一步,本实施例会根据所述第一音视频参数从所述候选范围中确定目标参数。这样做的目的是为了保证第二音视频参数和第一音视频参数之间的差距不会太大,避免第二音视频参数选取过高二造成不必要的资源浪费。例如已知用户投稿的某源音视频文件的第一视频分辨率为360P,对应目标音视频文件的第二视频分辨率的候选范围在360P到1080P之间。这种情况下可以从候选范围中选择与第一视频分辨率最接近的数值作为第二视频分辨率,即选择360P作为第二视频分辨率,这样既可以保证源音视频文件的播放质量不受影响,又可以最大限度节省计算资源,避免资源浪费。
S400:将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数。
资源分配模型是基于机器学习技术,通过对神经网络模型训练得到的。该资源分配模型根据输入的第一音视频参数和所述第二音视频参数,可以直接输出执行当前转码任务所需要的资源参数。
具体的,本实施例中的资源参数可以包括CPU核数、内存容量、磁盘容量或网络传输速度中的至少任一项。可以理解,CPU核数越多、内存容量越大,处理速度就越快;磁盘容量越大,可以容纳的音视频文件的播放时长就越长;网络传输速度越快,音视频文件的上传及下载时间就越短。总之,CPU核数、内存容量、磁盘容量以及网络传输速度与第一音视频参数和第二音视频参数之间存在一定的对应关系。本申请通过训练好的资源分配模型来合理诠释这种对应关系,从而输出将源音视频文件转码为目标音视频文件所需要的准确的资源参数。
S500:根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。
本实施例中的硬件节点可以是大规模服务器集群中的某台计算机。可以理解,不同计算机的资源配置不同,处理音视频转码任务时的效率也各不相同。理想情况下,硬件节点的资源配置与音视频转码任务所需的资源参数恰好相同或相近,此时既可以保证音视频转码任务顺利进行,又可以避免资源浪费。然而实际上,每个计算节点对应的资源配置可能各不相同,而且当多个转码任务同时进行时,更加无法保证每个计算节点的资源配置与每个音视频转码任务所需的资源参数相适应。为此,本步骤进一步提出了根据资源参数为音视频转码任务分配硬件节点的方法,如图2所示,包括以下步骤:
S510:确定每个硬件节点的可用剩余资源。
可用剩余资源指的是硬件节点中除去当前运行任务所占用的资源之外剩余空闲部分。例如,假设硬件节点1的资源配置中包含8核CPU、5G内存容量以及20G磁盘空间。若硬件节点1上当前正在运行转码任务1,执行该转码任务1需占用2核CPU、1G内存和4G磁盘空间。如此,将硬件节点1的资源配置与转码任务1占用的资源相减,可以得到硬件节点1的剩余资源包括6核CPU、4G内存核16G磁盘空间。
S520:选择所述可用剩余资源与所述资源参数最匹配的硬件节点作为目标节点,将所述视频转码任务分配到所述目标节点中。
本步骤所称可用剩余资源与资源参数最匹配的硬件节点,可以是可用剩余资源比资源参数多出一定范围的硬件节点。可以理解,不同的转码任务所需要的资源参数以及可用剩余资源各不相同。对于复杂的转码任务,通常需要设置更多的可用剩余资源,这样能够避免因任务溢出而造成的资源消耗过量。对于简单的转码任务,则无需设置较多的可用剩余资源,这样可以最大程度上做到合理利用资源避免浪费。在一个示例中,可以根据不同业务类型的转码任务来确定资源参数和可用剩余资源之间的最高比例。例如对于用户投稿音视频业务,可以设置资源参数和可用剩余资源之间的最高比例为0.8:1,对于平台自制音视频业务,可以设置资源参数和可用剩余资源之间的最高比例为0.5:1。通过上述设置,可以保证不同业务类型的转码任务可以合理有效地使用计算资源。例如当资源参数和可用剩余资源之间的最高比例为0.8:1时,相当于可用剩余资源中的每一项比资源参数中的每一项至少多出20%。以CPU核数为例,相当于可用剩余资源至少包含5核CPU,以满足资源参数中需占用4核CPU的任务需求。一方面,可用剩余资源比资源参数略大,可以保证当前音视频转码任务可以顺利执行,即使有一定程度上的溢出也可以负担;另一方面,可用剩余资源不会比所需资源参数超出太多,从而避免空闲资源浪费。满足上述匹配条件的节点即为本实施例中的当前音视频转码任务要分配的目标节点。
通过上述步骤,本实施例可以准确获得视频转码任务所需要的资源参数,并按照资源参数为视频转码任务分配合适的计算节点,既可以保证音视频转码任务的顺利执行,有能有效避免资源浪费,从而提高音视频转码任务的处理效率和计算资源的利用率。
图3示出了本申请实施例一中训练资源分配模型的示意性流程图。如图3所示,本申请中的资源分配模型通过以下步骤训练得到:
S310:获取样本数据,所述样本数据包括执行历史音视频转码任务时确定的第一历史参数、第二历史参数和历史资源参数。
历史音视频转码任务指的是大规模服务器集群中已完成的音视频转码任务。对于历史音视频转码任务,可以直接获得其在执行过程中的各个实际参数值。其中,第一历史参数包括所述历史音视频转码任务对应的历史源音视频文件的音视频参数,例如播放时长、编码格式、视频帧率、视频分辨率、视频码率、音频采样率、音频位宽或音频通道数中的至少任一项,第二历史参数包括所述历史音视频转码任务对应的历史目标音视频文件的音视频参数,例如播放时长、编码格式、视频帧率、视频分辨率、视频码率、音频采样率、音频位宽或音频通道数中的至少任一项,历史资源参数包括执行所述历史音视频转码任务实际占用的CPU核数、内存容量、磁盘容量或网络传输速度中的至少任一项。
S320:将所述第一历史参数和所述第二历史参数作为输入数据,将所述历史资源参数作为输出数据训练神经网络模型,基于优化算法确定所述神经网络模型中的转码参数。
本实施例中的神经网络模型可以是现有的任意模型,例如径向基神经网络模型、支撑矢量机模型、小波神经网络模型等,本申请对此不做限制。资源分配模型在训练过程中,将第一历史参数和第二历史参数作为输入数据,将历史资源参数作为输出数据。可以通过反向传播算法或梯度下降算法等优化算法调整神经网络模型中的转码参数,以使神经网络模型在训练数据集上的损失函数达到较小值。上述转码参数可以是神经网络模型中每个神经元对应的权重值。
通过上述步骤,可以得到比较准确的资源分配模型。该资源分配模型根据输入的与源音视频文件对应的第一音视频参数和与目标音视频文件对应的第二音视频参数,可以直接输出将源音视频参数转码为目标音视频参数所需占用的资源参数从而为转码任务的合理分配调度提供数据支撑。
随着处理的转码任务不断增多,本申请会不断根据执行完成的音视频转码任务增加样本数据,例如将上述当前音视频转码任务确定的所述第一音视频参数、所述第二音视频参数和执行所述当前音视频转码任务时实际占用的资源参数加入所述样本数据中。当满足触发条件时,根据新加入的所述样本数据训练所述资源分配模型,以重新确定所述资源分配模型中的转码参数。该触发条件可以以时间为基准或者以任务量为基准,例如每隔两个月触发一次训练,或者每当新增音视频转码任务达到两百万条触发一次训练。
可以理解,不是所有的音视频转码任务都能够顺利执行。因此本申请在获取到样本数据之后,还包括了对样本数据进行筛选的过程,从而去除不合理数据以提高资源分配模型的准确性。具体筛选步骤包括:
判断所述第二历史参数中的每一项是否在预设范围之内;若否,删除所述样本数据。
上述预设范围可以根据经验数据进行设置,例如CPU核数在2-20核之间,内存容量在1-20G之间,磁盘空间在1-20G之间。如果样本数据中包含的历史资源参数超出上述范围,则表明对应的音视频转码任务可能未顺利执行。这种情况下就可以删除对应的样本数据,避免对资源分配模型的训练造成干扰。
请继续参阅图4,示出了一种音视频转码任务的分配装置,在本实施例中,音视频转码任务的分配装置40可以包括或被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请,并可实现上述音视频转码任务的分配方法。本申请所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述音视频转码任务的分配装置40在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能:
请求模块41,适应于响应于当前音视频转码任务请求,获取待转码的源音视频文件;
第一参数模块42,适用于获取所述源音视频文件的第一音视频参数;
第二参数模块43,适用于根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数;
资源参数模块44,适用于将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数;
任务分配模块45,适用于根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。
本实施例还提供一种计算机设备,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的计算机设备50至少包括但不限于:可通过系统总线相互通信连接的存储器51、处理器52,如图5所示。需要指出的是,图5仅示出了具有组件51-52的计算机设备50,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器51(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器51可以是计算机设备50的内部存储单元,例如该计算机设备50的硬盘或内存。在另一些实施例中,存储器51也可以是计算机设备50的外部存储设备,例如该计算机设备50上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器51还可以既包括计算机设备50的内部存储单元也包括其外部存储设备。本实施例中,存储器51通常用于存储安装于计算机设备50的操作系统和各类应用软件,例如实施例一的音视频转码任务的分配装置40的程序代码等。此外,存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器52在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制计算机设备50的总体操作。本实施例中,处理器52用于运行存储器51中存储的程序代码或者处理数据,例如运行音视频转码任务的转码装置50,以实现实施例一的音视频转码任务的转码方法。
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储音视频转码任务的转码装置40,被处理器执行时实现实施例一的音视频转码任务的转码方法。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
本技术领域的普通技术人员可以理解,实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种音视频转码任务的分配方法,其特征在于,包括:
响应于当前音视频转码任务请求,获取待转码的源音视频文件;
获取所述源音视频文件的第一音视频参数;
根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数;
将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数;
根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。
2.根据权利要求1所述的分配方法,其特征在于,所述音视频转码任务请求中包括业务类型,所述根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数的步骤包括:
根据所述第一音视频参数和所述业务类型确定所述第二音视频参数。
3.根据权利要求2所述的分配方法,其特征在于,所述根据所述第一音视频参数和业务类型确定与所述源音视频文件对应的目标音视频文件相关的第二音视频参数的步骤包括:
根据业务类型确定第二音视频参数的候选范围;
根据所述第一音视频参数从所述候选范围中确定目标参数。
4.根据权利要求2所述的分配方法,其特征在于,所述资源参数包括CPU核数、内存容量、磁盘容量或网络传输速度中的至少任一项。
5.根据权利要求4所述的分配方法,其特征在于,所述资源分配模型通过以下步骤训练得到:
获取样本数据,所述样本数据包括执行历史音视频转码任务时确定的第一历史参数、第二历史参数和历史资源参数;其中,所述第一历史参数包括所述历史音视频转码任务对应的历史源音视频文件的音视频参数,所述第二历史参数包括所述历史音视频转码任务对应的历史目标音视频文件的音视频参数,所述历史资源参数包括执行所述历史音视频转码任务实际占用的CPU核数、内存容量、磁盘容量或网络速度中的至少任一项;
将所述第一历史参数和所述第二历史参数作为输入数据,将所述历史资源参数作为输出数据训练神经网络模型,基于优化算法确定所述神经网络模型中的转码参数。
6.根据权利要求5所述的分配方法,其特征在于,所述方法还包括:
将所述当前音视频转码任务中确定的所述第一音视频参数、所述第二音视频参数和执行所述当前音视频转码任务时实际占用的资源参数加入所述样本数据中;
当满足触发条件时,根据新加入的所述样本数据训练所述资源分配模型,以重新确定所述资源分配模型中的转码参数。
7.根据权利要求5所述的分配方法,其特征在于,所述获取样本数据的步骤之后,还包括:
判断所述第二历史参数中的每一项是否在预设范围之内;
若否,删除所述样本数据。
8.根据权利要求1所述的分配方法,其特征在于,所述根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点的步骤包括:
确定每个硬件节点的可用剩余资源;
选择所述可用剩余资源与所述资源参数最匹配的硬件节点作为目标节点,将所述视频转码任务分配到所述目标节点中。
9.一种音视频转码任务的分配装置,其特征在于,包括:
请求模块,适应于响应于当前音视频转码任务请求,获取待转码的源音视频文件;
第一参数模块,适用于获取所述源音视频文件的第一音视频参数;
第二参数模块,适用于根据所述第一音视频参数确定与所述源音视频文件对应的目标音视频文件的第二音视频参数;
资源参数模块,适用于将所述第一音视频参数和所述第二音视频参数输入资源分配模型,输出将所述源音视频文件转码为所述目标音视频文件所需要的资源参数;
任务分配模块,适用于根据所述资源参数,将所述视频转码任务分配到满足所述资源参数的硬件节点。
10.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903427.8A CN112422977A (zh) | 2020-09-01 | 2020-09-01 | 音视频转码任务的分配方法和分配装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903427.8A CN112422977A (zh) | 2020-09-01 | 2020-09-01 | 音视频转码任务的分配方法和分配装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112422977A true CN112422977A (zh) | 2021-02-26 |
Family
ID=74855002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010903427.8A Pending CN112422977A (zh) | 2020-09-01 | 2020-09-01 | 音视频转码任务的分配方法和分配装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112422977A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473183A (zh) * | 2021-06-29 | 2021-10-01 | 华夏城视网络电视股份有限公司 | 一种应用于融合媒体的动静态媒体流批处理方法 |
CN114024973A (zh) * | 2021-11-01 | 2022-02-08 | 上海绚显科技有限公司 | 直播云转码的资源调度方法、装置、服务器及系统 |
CN115174948A (zh) * | 2022-06-30 | 2022-10-11 | 上海哔哩哔哩科技有限公司 | 基于转码资源的调度方法及装置 |
WO2023024410A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 任务调度方法、装置、设备、存储介质及计算机程序产品、计算机程序 |
CN117714744A (zh) * | 2023-12-15 | 2024-03-15 | 广州速启科技有限责任公司 | 音视频流的数据处理方法及其云后台、云服务器和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469370A (zh) * | 2013-09-17 | 2015-03-25 | 中国普天信息产业股份有限公司 | 一种视频转码的方法和装置 |
CN104702969A (zh) * | 2013-12-09 | 2015-06-10 | 杭州海康威视数字技术股份有限公司 | 进行视音频数据被动转码的方法、系统及转码服务器 |
CN105827448A (zh) * | 2016-03-31 | 2016-08-03 | 乐视控股(北京)有限公司 | 一种资源分配方法和装置 |
CN105992020A (zh) * | 2015-07-24 | 2016-10-05 | 乐视云计算有限公司 | 一种分配视频转换资源的方法及系统 |
US20160380908A1 (en) * | 2013-12-18 | 2016-12-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Resource Prediction for Cloud Computing |
US20170026311A1 (en) * | 2015-07-24 | 2017-01-26 | Le Holdings (Beijing) Co., Ltd. | Method and system for allocating video transcoding resources |
-
2020
- 2020-09-01 CN CN202010903427.8A patent/CN112422977A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469370A (zh) * | 2013-09-17 | 2015-03-25 | 中国普天信息产业股份有限公司 | 一种视频转码的方法和装置 |
CN104702969A (zh) * | 2013-12-09 | 2015-06-10 | 杭州海康威视数字技术股份有限公司 | 进行视音频数据被动转码的方法、系统及转码服务器 |
US20160380908A1 (en) * | 2013-12-18 | 2016-12-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Resource Prediction for Cloud Computing |
CN105992020A (zh) * | 2015-07-24 | 2016-10-05 | 乐视云计算有限公司 | 一种分配视频转换资源的方法及系统 |
US20170026311A1 (en) * | 2015-07-24 | 2017-01-26 | Le Holdings (Beijing) Co., Ltd. | Method and system for allocating video transcoding resources |
CN105827448A (zh) * | 2016-03-31 | 2016-08-03 | 乐视控股(北京)有限公司 | 一种资源分配方法和装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473183A (zh) * | 2021-06-29 | 2021-10-01 | 华夏城视网络电视股份有限公司 | 一种应用于融合媒体的动静态媒体流批处理方法 |
WO2023024410A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 任务调度方法、装置、设备、存储介质及计算机程序产品、计算机程序 |
CN114024973A (zh) * | 2021-11-01 | 2022-02-08 | 上海绚显科技有限公司 | 直播云转码的资源调度方法、装置、服务器及系统 |
CN114024973B (zh) * | 2021-11-01 | 2023-11-24 | 上海绚显科技有限公司 | 直播云转码的资源调度方法、装置、服务器及系统 |
CN115174948A (zh) * | 2022-06-30 | 2022-10-11 | 上海哔哩哔哩科技有限公司 | 基于转码资源的调度方法及装置 |
CN115174948B (zh) * | 2022-06-30 | 2023-12-15 | 上海哔哩哔哩科技有限公司 | 基于转码资源的调度方法及装置 |
CN117714744A (zh) * | 2023-12-15 | 2024-03-15 | 广州速启科技有限责任公司 | 音视频流的数据处理方法及其云后台、云服务器和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112422977A (zh) | 音视频转码任务的分配方法和分配装置 | |
CN110889492B (zh) | 用于训练深度学习模型的方法和装置 | |
CN110147251B (zh) | 用于计算神经网络模型的系统、芯片及计算方法 | |
WO2020258290A1 (zh) | 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统 | |
CN107295090B (zh) | 一种资源调度的方法和装置 | |
WO2017166643A1 (zh) | 一种任务资源的量化方法和装置 | |
CN110413412B (zh) | 一种基于gpu集群资源分配的方法和装置 | |
CN112380020A (zh) | 一种算力资源分配方法、装置、设备及存储介质 | |
CN112540841B (zh) | 任务调度的方法、装置、处理器与电子设备 | |
WO2022048204A1 (zh) | 图像生成方法、装置、电子设备及计算机可读存储介质 | |
CN115292016A (zh) | 基于人工智能的任务调度方法及相关设备 | |
US20220229701A1 (en) | Dynamic allocation of computing resources | |
CN111193622B (zh) | 一种非对称配置的管理方法、装置、设备及可读存储介质 | |
CN114896068A (zh) | 资源分配方法、资源分配装置、电子设备及存储介质 | |
CN112416568A (zh) | 音视频转码任务的时长预估方法和时长预估装置 | |
CN112148458A (zh) | 任务调度方法、装置 | |
CN110096339B (zh) | 一种基于系统负载实现的扩缩容配置推荐系统及方法 | |
CN115586961A (zh) | 一种ai平台计算资源任务调度方法、装置及介质 | |
CN113377488A (zh) | 一种资源迁移的方法、系统及设备 | |
US10503548B2 (en) | Resource and latency estimation-based scheduling in a distributed computing environment | |
CN111510715B (zh) | 视频处理方法、系统、计算机设备及存储介质 | |
CN115344359A (zh) | 算力资源分配方法、装置、计算机可读存储介质及设备 | |
CN112156453A (zh) | 实例自适应调整方法、装置、计算机可读存储介质及设备 | |
CN117834614B (zh) | 一种云计算环境中gpu资源调度方法 | |
CN117785486B (zh) | 环境资源调配方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |