CN102325255A - 一种多核心cpu视频转码调度方法及系统 - Google Patents

Abstract

本发明公开一种多核心CPU视频转码调度方法，属于视频转码领域，在调度方案实施前对转码服务器进行静态压力测试，测量出单个CPU核心所能承受的最大转码任务并发数；调度方案实施开始，初始化所有CPU核心的当前执行任务数为0，判断如果有新转码任务到达，则按照新任务的分配调度方法进行调度；判断如果有转码任务停止，则按照已有任务分配调度方法进行调度；判断如果收到终止所有转码任务的通知，则退出程序，否则重新判断是否有新转码任务到达，进行循环处理。本发明使得转码任务尽量保持在同一CPU核心中运行，有效提高了CPU cache的命中率，提升了系统的运算效率，还可以使各个CPU核心之间负载尽可能的均衡。

Description

一种多核心CPU视频转码调度方法及系统

技术领域

本发明涉及视频转码领域，尤其涉及一种多核心CPU视频转码调度方法 

及系统。 

背景技术

目前在交通、安防、生产监控、环保等领域有大量的网络监控视频流。这些视频流一般具有较高的分辨率和较大的码率，以便更细致地记录现场情况。然而随着移动互联网的发展，人们希望通过手机也能很方便的观看远程现场情况。由于移动信道传输的带宽有限，以及手机终端的解码能力比较弱，因此需要对原始的监控视频流进行转码，把视频的分辨率、帧率、码率等参数都降低，使得视频可以更流畅的在移动信道传输以及在于机终端解码播放。 

在目前服务器CPU领域，基本都使用了多核心的架构。多核心CPU具有很强的多任务并发执行能力。由于手机视频所要求的分辨率、码率等参数都不高，转码所需要的运算量不大，在单台服务器上究全可以并发进行多个转码任务。但如果不对这些任务使用硬亲和性(hard affinity)进行调度，这些转码任务可能不会在固定的CPU核心中运行，尤其是当转码任务并发量大的时候，该现象更为明显。转码进程在多个CPU核心之间米回切换会使得CPU的cache命中率下降，降低系统的整体运行效率，同时也可能导致各个CPU核心之间负载不均衡。 

发明内容

本发明实施例的目的在于提出一种多核心CPU视频转码调度方法，旨在解决现有技术中当转码任务并发量大时，转码任务可能不会在固定的CPU核心中运行，使得CPU的cache命中率下降，系统的整体运行效率不高的问题。 

本发明实施例的方法是这样实现的，一种多核心CPU视频转码调度方法，所述方法包括以下步骤： 

初始化每一个CPU核心执行任务数为0； 

判断是否有新转码任务到达，是则进行新转码任务分配调度，否则判断是否有转码任务停止， 

若判定有转码任务停止，则进行已有任务分配调度，若没有转码任务停止，则返回步骤“判断是否有新转码任务到达，是则进行新转码任务分配调度，否则判断是否有转码任务停止”。 

优选地，所述多核心CPU视频转码调度方法还包括； 

判断是否收到终止所有转码任务的通知，是则终止所有转码任务，否则进入步骤“判断是否有新转码任务到达，是则进行新转码任务分配调度，否则判断是否有转码任务停止”。 

优选地，所述步骤“初始化每一个CPU核心执行任务数为0”之前还包括： 

测量出单个CPU核心所能承受的最大转码任务并发数。 

本发明实施例的另一目的在于提出一种多核心CPU视频转码调度系统，所述系统包括：CPU核心初始化模块和任务调度模块；所述任务调度模块包括检测单元、新任务分配调度单元、已有任务分配调度单元和转码任务终止单元； 

CPU核心初始化模块，用于在转码任务调度前，初始化所有CPU核心，初始化每一个CPU核心执行任务数为0； 

任务调度模块，用于根据对转码任务执行情况的检测结果，执行相应的分配调度方法，当检测为有新转码任务到达时，则进行新转码任务分配调度，当检测为有转码任务停止时，则进行已有任务分配调度，当收到终止所有转码任务的通知时，终止所有转码任务； 

检测单元，与所述CPU核心初始化模块、新任务分配调度单元、已有任务分配调度单元和转码任务终止单元相连，用于对转码任务的执行情况进行检测，并将检测结果反馈给任务调度模块； 

新任务分配调度单元，与检测单元和CPU核心初始化模块相连，用于根据检测单元的反馈结果，当有新转码任务到达时，进行新转码任务分配调度； 

已有任务分配调度单元，与检测单元和CPU核心初始化模块相连，用于根据检测单元的反馈结果，当有转码任务停止，进行已有任务分配调度； 

转码任务终止单元，与检测单元相连，用于根据检测单元的反馈结果，当收到终止转码任务的通知，终止所有转码任务。 

本发明的有益效果 

在本发明实施例中，转码服务器有两个或两个以上CPU核心，在调度方案实施前对转码服务器进行静态压力测试，测量出单个CPU核心所能承受的最大转码任务并发数；调度方案实施开始，初始化所有CPU核心的当前执行任务数为0，判断如果有新转码任务到达，则按照新任务的分配调度方法进行调度；判断如果有转码任务停止，则按照已有任务分配调度方法进行调度；判断如果收到终止所有转码任务的通知，则退出程序，否则重新判断是否有新转码任务到达，进行循环处理。本发明方法使得转码任务尽量保持在同一CPU核心中运行，有效提高了CPU cache的命中率，从而提升了系统的运算效率；同时该方法可以使各个CPU核心之间负载尽可能的均衡。 

附图说明

图1是本发明优选实施例一种多核心CPU视频转码调度方法流程图； 

图2是本发明优选实施例有新转码任务时视频转码调度方法流程图； 

图3是本发明优选实施例有新转码任务时，新转码任务分配调度示意图； 

图4是本发明优选实施例有转码任务停止时，视频转码调度方法流程图； 

图5是本发明优选实施例有转码任务停止时，已有转码任务分配调度示意图； 

图6是本发明优选实施例一种多核心CPU视频转码调度系统结构图； 

图7是图6所示系统中的新任务分配调度单元结构示意图； 

图8是图6所示系统中的已有任务分配调度单元结构示意图。 

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。 

在本发明方法中，转码服务器有两个或两个以上CPU核心，在调度方案实施前对转码服务器进行静态压力测试，测量出单个CPU核心所能承受的最大转码任务并发数；调度方案实施开始，初始化所有CPU核心的当前执行任务数为0，判断如果有新转码任务到达，则按照新任务的分配调度方法进行调度； 判断如果有转码任务停止，则按照已有任务分配调度方法进行调度；判断如果收到终止所有转码任务的通知，则退出程序，否则重新判断是否有新转码任务到达，进行循环处理。本发明方法使得转码任务尽量保持在同一CPU核心中运行，有效提高了CPU cache的命中率，从而提升了系统的运算效率；同时该方法可以使各个CPU核心之间负载尽可能的均衡。 

如图1所示为本发明优选实施例一种多核心CPU视频转码调度方法流程图。 

在进行视频转码调度之前，对转码服务器进行静态压力测试，测量出单个CPU核心所能承受的最大转码任务并发数为C。设本发明实施例中的转码服务器共有N个CPU核心，N为自然数。设每一个CPU核心当前执行任务数为T_i，其中1≤i≤N，其中i为CPU核心的编号。 

所述多核心CPU视频转码调度方法包括以下步骤： 

S101、初始化所有CPU核心，初始化每一个CPU核心执行任务数T_i为0； 

S102、判断是否有新转码任务到达，是则进行新转码任务分配调度，否则进入步骤S103； 

所述新转码任务的数量可以为一个或一个以上，若所述新转码任务的数量为一个以上，则在处理完一个新转码任务的分配调度后，循环返回至步骤S102进行新转码任务是否到达的判断，直至所有新转码任务的分配调度处理完毕。 

S103、判断是否有转码任务停止，是则进行已有任务分配调度，否则进入步骤S104； 

转码任务停止的数量可以为一个或一个以上，若所述转码任务停止的数量为一个以上，则根据有一个转码任务停止进行已有任务分配调度后，循环返回至步骤S102，再进入步骤S103进行是否有转码任务停止的判断，直至所有停止的转码任务的分配调度处理完毕。 

S104、是否收到终止所有转码任务的通知，是则终止所有转码任务，结束；否则进入步骤S102。 

步骤S102中，当有新转码任务到达时，进行新转码任务分配调度包括以下步骤：(如图2所示) 

S11、从各个CPU核心中，找出当前执行任务数最少的CPU核心j，满足T_j＝min{T_i，1≤i≤N} 

其中j为CPU核心的编号，T_j为编号为j的CPU核心当前执行任务数。 

S12、判断如果T_j＝C，调度结束，否则进入步骤S13； 

当T_j＝C，说明所有CPU核心都处于满负荷工作，可告知添加任务者任务添加失败。C为单个CPU核心所能承受的最大转码任务并发数，T_j为编号为j的CPU核心当前执行任务数，故T_j的值不可能大于C，如果判定“T_j≠C”，则T_j必然小于C。 

S13、启动新转码任务，将新转码任务绑定到CPU核心j中执行。 

此处可利用操作系统的硬亲和性API将新转码任务绑定到CPU核心j中执行。2.6版本的Linux内核包含了一种机制，其让开发人员可以编程实现硬CPU亲和性(affinity)，应用程序可以显式地指定进程在哪个(或哪些)处理器上运行。 

S14、T_j←T_j+1，其中“←”表示赋值。 

为进一步说明，以下列举具体实施例对进行新转码任务分配调度进行详细说明，如图3所示是本发明优选实施例有新转码任务时，新转码任务分配调度示意图。 

设转码服务器共有4个CPU核心，每个CPU核心所能承受的最大转码任务并发数为4。新转码任务到达前，第一、第四个CPU核心分别运行了2个转码任务，第二、第三个CPU核心分别运行了3个转码任务。 

新任务到达后，从4个CPU核心中，找出当前执行任务数最少的CPU核心，CPU1和CPU4当前执行任务数最少，均为2，且均小于每个CPU核心所能承受的最大转码任务并发数4，此时可任意选一当前执行任务数最少的CPU核心，本实施例中选择的CPU核心为CPU1，将一新转码任务绑定到当前转码任务数最少的CPU1中执行。调度结束后，CPU1变成了3个转码任务在运行，其他CPU核心转码任务数不变。 

步骤S103中，转码任务停止，进行已有任务分配调度包括以下步骤：(如图4所示)。 

S21、找出待结束转码任务所绑定的CPU核心k，k为CPU核心编号； 

S22、结束所述待结束转码任务，更新T_k←T_k-1，其中“←”表示赋值，T_k为编号为k的CPU核心当前执行任务数。 

S23、从各个CPU核心中，找出当前执行任务数最多的CPU核心j，满足 T_j＝max {T_i，1≤i≤N} 

S24、判断T_j-T_k≥2是否成立，是则进入步骤S25，否则调度结束； 

S25、从CPU核心j中取出一转码任务，将取出的转码任务从CPU核心j中解除绑定； 

S26，将取出的转码任务重新绑定到CPU核心k中； 

S27、更新T_k←T_k+1，T_j←T_j-1。 

为进一步说明，以下列举具体实施例对有转码任务停止时，对已有转码任务进行分配调度进行详细说明，如图3所示是有转码任务停止时，已有转码任务分配调度示意图； 

设转码服务器共有4个CPU核心，每个CPU核心所能承受的最大转码任务并发数为4。转码任务均在运行时，第一、第四个CPU核心分别运行了2个转码任务，第二、第三个CPU核心运行了3个转码任务。 

随后，CPU核心4中的一个转码任务结束了，则CPU核心4上面的转码任务数变成1了。从4个CPU核心中，找出当前执行任务数最多的CPU核心，CPU2和CPU2当前执行任务数最少多，均为3，此时可任意选一当前执行任务数最多的CPU核心，本实施例中选择的CPU核心为CPU2，CPU核心2上面有3个转码任务，比CPU核心4多了2个。因此从CPU核心2中迁移一个转码任务到CPU核心4当中。调度结束后，CPU核心2和核心4上面的转码任务数都变成了2个。 

本发明实施例方法可使得转码任务尽量保持在同一CPU核心中运行，有效提高了CPU cache的命中率，从而提升了系统的运算效率；同时该方法可以使各个CPU核心之间负载尽可能的均衡。 

如图5所示图6是本发明优选实施例一种多核心CPU视频转码调度系统结构图。 

所述系统包括CPU核心初始化模块和任务调度模块；所述任务调度模块包括检测单元、新任务分配调度单元、已有任务分配调度单元和转码任务终止单元。 

CPU核心初始化模块，用于在转码任务调度前，初始化所有CPU核心，初始化每一个CPU核心执行任务数为0； 

任务调度模块，用于根据对转码任务执行情况的检测结果，执行相应的 分配调度方法。当检测为有新转码任务到达时，则进行新转码任务分配调度，当检测为有转码任务停止时，则进行已有任务分配调度，当收到终止所有转码任务的通知时，终止所有转码任务。 

检测单元，与所述CPU核心初始化模块、新任务分配调度单元、已有任务分配调度单元和转码任务终止单元相连，用于对转码任务的执行情况进行检测，并将检测结果反馈给任务调度模块；所述检测结果包括3种情况；有新转码任务到达、有转码任务停止和收到终止转码任务的通知。 

新任务分配调度单元，与检测单元和CPU核心初始化模块相连，用于根据检测单元的反馈结果，当有新转码任务到达时，进行新转码任务分配调度； 

已有任务分配调度单元，与检测单元和CPU核心初始化模块相连，用于根据检测单元的反馈结果，当有转码任务停止，进行已有任务分配调度； 

转码任务终止单元，与检测单元相连，用于根据检测单元的反馈结果，当收到终止转码任务的通知，终止所有转码任务； 

所述新任务分配调度单元包括第一查找子单元、第一判断子单元、第一绑定子单元、第一更新子单元。 

第一查找子单元，用于从各个CPU核心中，找出当前执行任务数最少的CPU核心； 

第一判断子单元，用于判断当前执行任务数最少的CPU核心的执行任务数是否等于单个CPU核心所能承受的最大转码任务并发数，若相等，则通知任务调度模块结束调度，若不相等，则将结果发送给第一绑定子单元； 

第一绑定子单元，用于启动新转码任务，将新转码任务绑定到当前执行任务数最少的CPU核心中执行； 

第一更新子单元，用于更新CPU核心的执行任务数。 

所述已有任务分配调度单元包括第二查找子单元、待结束转码任务终止子单元、第三查找子单元、第二判断子单元、解除绑定子单元、第二绑定子单元、第二更新于单元。 

第二查找子单元，用于找出待结束转码任务所绑定的CPU核心； 

待结束转码任务终止子单元，用于结束所述待结束转码任务，并更新所述待结束转码任务所绑定的CPU核心的执行任务数； 

第三查找子单元，用于找出当前执行任务数最多的CPU核心； 

第二判断子单元，用于判断当前执行任务数最多的CPU核心执行任务数，与更新后的待结束转码任务所绑定的CPU核心执行任务数的差值是否大于或等于2，是则将结果发送给解除绑定子单元，否则通知任务调度模块结束调度，； 

解除绑定子单元，用于从当前执行任务数最多的CPU核心中取出一转码任务，将其解除绑定； 

第二绑定子单元，用于将将取出的转码任务重新绑定到所述待结束转码任务所绑定的CPU核心中； 

第二更新子单元，用于更新所述待结束转码任务所绑定的CPU核心执行任务数和所述当前执行任务数最多的CPU核心执行任务数。 

本发明实施例可使得转码任务尽量保持在同一CPU核心中运行，有效提高了CPU cache的命中率，从而提升了系统的运算效率；同时该方法可以使各个CPU核心之间负载尽可能的均衡。 

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (8)

1.一种多核心CPU视频转码调度方法，其特征在于，所述方法包括以下步骤：

初始化每一个CPU核心执行任务数为0；

判断是否有新转码任务到达，是则进行新转码任务分配调度，否则判断是否有转码任务停止，

若判定有转码任务停止，则进行已有任务分配调度，若没有转码任务停止，则返回步骤“判断是否有新转码任务到达，是则进行新转码任务分配调度，否则判断是否有转码任务停止”。

2.如权利要求1所述的多核心CPU视频转码调度方法，其特征在于，所述方法还包括：

判断是否收到终止所有转码任务的通知，是则终止所有转码任务，否则进入步骤“判断是否有新转码任务到达，是则进行新转码任务分配调度，否则判断是否有转码任务停止”。

3.如权利要求1所述的多核心CPU视频转码调度方法，其特征在于，所述步骤“初始化每一个CPU核心执行任务数为0”之前还包括：

测量出单个CPU核心所能承受的最大转码任务并发数。

4.如权利要求1所述的多核心CPU视频转码调度方法，其特征在于，所述进行新转码任务分配调度包括以下步骤：

从各个CPU核心中，找出当前执行任务数最少的CPU核心j，满足T_j＝min{T_i，1≤i≤N}，其中j为CPU核心的编号，T_j为编号为j的CPU核心当前执行任务数，i为CPU核心的编号，T_i为编号为i的CPU核心当前执行任务数，N为转码服务器的CPU核心数量，N为自然数。

判断T_j＝C是否成立，是则结束调度，否则启动新转码任务，将新转码任务绑定到CPU核心j中执行，其中C为单个CPU核心所能承受的最大转码任务并发数；

T_j←T_j+1，其中“←”表示赋值。

5.如权利要求1所述的多核心CPU视频转码调度方法，其特征在于，所述已有任务分配调度包括以下步骤：

找出待结束转码任务所绑定的CPU核心k，k为CPU核心编号；

结束所述待结束转码任务，更新T_k←R_k-1，其中“←”表示赋值，T_k为编号为k的CPU核心当前执行任务数；

从各个CPU核心中，找出当前执行任务数最多的CPU核心j，满足T_j＝max{T_i，1≤i≤N}，其中j为CPU核心的编号，T_j为编号为j的CPU核心当前执行任务数，i为CPU核心的编号，T_i为编号为i的CPU核心当前执行任务数，N为转码服务器的CPU核心数量，N为自然数；

判断T_j-T_k≥2是否成立，否则结束调度，是则从CPU核心j中取出一转码任务，将取出的转码任务从CPU核心j中解除绑定；

将取出的转码任务重新绑定到CPU核心k中；

更新T_k←T_k+1，T_j←T_j-1，其中“←”表示赋值。

6.一种多核心CPU视频转码调度系统，其特征在于，所述系统包括：所述系统包括CPU核心初始化模块和任务调度模块；所述任务调度模块包括检测单元、新任务分配调度单元、已有任务分配调度单元和转码任务终止单元；

CPU核心初始化模块，用于在转码任务调度前，初始化所有CPU核心，初始化每一个CPU核心执行任务数为0；

任务调度模块，用于根据对转码任务执行情况的检测结果，执行相应的分配调度方法，当检测为有新转码任务到达时，则进行新转码任务分配调度，当检测为有转码任务停止时，则进行已有任务分配调度，当收到终止所有转码任务的通知时，终止所有转码任务；

检测单元，与所述CPU核心初始化模块、新任务分配调度单元、已有任务分配调度单元和转码任务终止单元相连，用于对转码任务的执行情况进行检测，并将检测结果反馈给任务调度模块；

新任务分配调度单元，与检测单元和CPU核心初始化模块相连，用于根据检测单元的反馈结果，当有新转码任务到达时，进行新转码任务分配调度；

已有任务分配调度单元，与检测单元和CPU核心初始化模块相连，用于根据检测单元的反馈结果，当有转码任务停止，进行已有任务分配调度；

转码任务终止单元，与检测单元相连，用于根据检测单元的反馈结果，当收到终止转码任务的通知，终止所有转码任务。

7.如权利要求6所述的多核心CPU视频转码调度系统，其特征在于，

所述新任务分配调度单元包括第一查找子单元、第一判断子单元、第一绑定子单元、第一更新子单元。

第一查找子单元，用于从各个CPU核心中，找出当前执行任务数最少的CPU核心；

第一判断子单元，用于判断当前执行任务数最少的CPU核心的执行任务数是否等于单个CPU核心所能承受的最大转码任务并发数，若相等，则通知任务调度模块结束调度，若不相等，则将结果发送给第一绑定子单元；

第一绑定子单元，用于启动新转码任务，将新转码任务绑定到当前执行任务数最少的CPU核心中执行；

第一更新子单元，用于更新CPU核心的执行任务数。

8.如权利要求6所述的多核心CPU视频转码调度系统，其特征在于，

所述已有任务分配调度单元包括第二查找子单元、待结束转码任务终止子单元、第三查找子单元、第二判断子单元、解除绑定子单元、第二绑定子单元、第二更新子单元。

第二查找子单元，用于找出待结束转码任务所绑定的CPU核心；

待结束转码任务终止子单元，用于结束所述待结束转码任务，并更新所述待结束转码任务所绑定的CPU核心的执行任务数；

第三查找子单元，用于找出当前执行任务数最多的CPU核心；

第二判断子单元，用于判断当前执行任务数最多的CPU核心执行任务数，与更新后的待结束转码任务所绑定的CPU核心执行任务数的差值是否大于或等于2，是则将结果发送给解除绑定子单元，否则通知任务调度模块结束调度；

解除绑定子单元，用于从当前执行任务数最多的CPU核心中取出一转码任务，将其解除绑定；

第二绑定子单元，用于将将取出的转码任务重新绑定到所述待结束转码任务所绑定的CPU核心中；

第二更新子单元，用于更新所述待结束转码任务所绑定的CPU核心执行任务数和所述当前执行任务数最多的CPU核心执行任务数。

Images