CN1913621A - 一种在会议电视系统中实现图像处理的资源调度方法 - Google Patents

Abstract

本发明公开了一种在会议电视系统中实现图像处理的资源调度方法，包括如下步骤：系统初始化，并将系统中各媒体处理芯片的当前使用情况设置为空闲状态；系统根据所检测到的当前会议各终端视频速率和多画面数得到召开该组会议需要的媒体处理芯片数目；判断当前系统中空闲的媒体处理芯片的数目是否大于所需媒体处理芯片数目，若大于，将被该组会议使用的各媒体处理芯片的当前使用情况设置为该组会议的标识，否则返回相应的消息，说明当前视频资源不足，拒绝召开该组会议；重复上述步骤，直至多组会议的资源调度完成。采用本发明能灵活有效地调度系统资源，使系统中多个媒体处理芯片能相互配合运行，从而实现多组会议多画面两速率的图像处理。

Description

一种在会议电视系统中实现图像处理的资源调度方法

技术领域

本发明涉及会议电视系统，尤其是涉及一种在会议电视系统中实现图像处理的资源调度方法。

背景技术

在会议电视系统中，接入会议的终端都需要通过MCU(MultipointControl Unit，多点控制单元)进行交互，MCU主要包括MC(MultipointController，多点控制器)和MP(Multipoint Processor，多点处理器)两大功能实体，其中，MC用以提供多点会议的控制，MP则提供多点会议中音频、视频和数据流的集中处理。

众所周知，MCU中接入终端的声音处理的主要方法是混音，可以通过MP中的APU(语音编/解码处理单元)和MIX(语音混合处理单元)来实现。但是，对于视频图像处理，却仅仅局限于图像广播和图像切换等简单处理，现有技术中MCU产品仅支持单组会议的多画面，且采用的硬件系统多为PC工控机，无法满足多媒体电信级的可运营、高稳定性等要求。

目前，随着高性能图像处理芯片技术的成熟，MCU系统中已逐步采用高性能图像处理芯片(一般采用数字信号处理芯片，简称为DSP芯片)来实现多个终端的图像混合(多画面)以及图像格式和速率的匹配，但是单个DSP芯片的处理能力有限，于是需要多个DSP芯片并行处理，然而，由于缺乏灵活有效的资源调度方法，即如何对系统中多个DSP芯片进行调度，使之能相互配合实现多组会议多画面两速率的图像处理，从而导致采用多个媒体处理芯片的技术方案难以实施。

发明内容

本发明需要解决的技术问题是提供一种在会议电视系统中实现图像处理的资源调度方法，采用该方法能灵活有效地调度系统资源，使系统中多个媒体处理芯片能共同运行，从而实现多组会议多画面两速率的图像处理。

为了解决上述技术问题，本发明提供了一种在会议电视系统中实现图像处理的资源调度方法，包括如下步骤：

(a)系统初始化，并将系统中各媒体处理芯片的当前使用情况设置为空闲状态；

(b)系统检测请求视频资源的当前一组会议的各终端视频速率，并且根据所检测到的视频速率和该组会议所需的多画面数得到召开该组会议需要的媒体处理芯片数目；

(c)计算系统中处于空闲状态的媒体处理芯片的数目，判断当前系统中处于空闲状态的媒体处理芯片的数目是否大于步骤(b)中所得到的召开当前该组会议需要的媒体处理芯片数目，若大于，执行步骤(d)，否则执行步骤(e)；

(d)将被该组会议使用的各媒体处理芯片的当前使用情况设置为该组会议的标识，并且计算召开当前会议后系统中剩下的处于空闲状态的媒体处理芯片的数目，执行步骤(f)；

(e)返回相应的消息，说明当前视频资源不足，拒绝召开该组会议；

(f)系统对请求视频资源的下一组会议进行资源调度，重复步骤(b)至(e)，直至系统所需同时召开的多组会议的资源调度完成。

进一步地，本发明还具有如下特点：当系统初始化时，构造一个用于调度资源的基于多画面数、第一视频速率和第二视频速率的三维数组表，并且存储所述三维数组表。

进一步地，本发明还具有如下特点：当系统检测当前一组会议的各终端视频速率时，检测到的第一个视频速率设为第一视频速率，检测到的与第一视频速率不同的视频速率设为第二视频速率，若检测到三个或三个以上互不相同的视频速率，则返回视频资源不足，数据库配置出错的消息。

进一步地，本发明还具有如下特点：系统根据所检测到的第一视频速率、第二视频速率和该组会议所需的多画面数，查询所述三维数组表得到召开该组会议需要的媒体处理芯片数目。

进一步地，本发明还具有如下特点：构造所述用于调度资源的三维数组表的决定因素包括媒体处理芯片的视频解码能力，根据由多画面数决定的解码路数和媒体处理芯片的视频解码能力可计算得到相应的视频解码所需媒体处理芯片数。

进一步地，本发明还具有如下特点：构造所述用于调度资源的三维数组表的决定因素包括媒体处理芯片的视频编码能力，根据由不同视频速率的终端种类数决定的编码路数和媒体处理芯片的视频编码能力可计算得到相应的视频编码所需媒体处理芯片数。

进一步地，本发明还具有如下特点：构造所述用于调度资源的三维数组表的决定因素包括视频缩放滤波系数和视频合成系数。

进一步地，本发明还具有如下特点：所述用于调度资源的三维数组表能根据软硬件能力系数的变化而进行适当地调整。

进一步地，本发明还具有如下特点：所述视频速率包括视频格式和视频码率的信息。

进一步地，本发明还具有如下特点：当一组会议结束后，系统关闭该组会议，将被该组会议使用的各媒体处理芯片的当前使用情况设置为空闲状态。

与现有技术相比，本发明具有以下优点：

A、本发明根据所检测到的请求资源的当前会议各终端的视频速率和该组会议所需的多画面数，得到召开该组会议需要的媒体处理芯片数目，并将其与系统中处于空闲状态的媒体处理芯片数目比较，判断出系统资源是否满足召开该组会议的需要，若满足则分配相应的资源，并设置用于该组会议的标识，否则拒绝召开该组会议，从而能灵活有效地调度系统资源，使系统中多个媒体处理芯片能共同运行，实现多组会议多画面两速率的图像处理；

B、本发明中用于调度资源的三维数组表能根据软硬件能力系数的变化而进行适当地调整，所以具有良好的扩展性。

附图说明

图1是会议电视系统中多画面的常见样式和大小画面布局情况示意图；

图2是本发明中1画面2速率情况下的三维数组表；

图3是本发明中2画面2速率情况下的三维数组表；

图4是本发明中3画面2速率情况下的三维数组表；

图5是本发明中4画面2速率情况下的三维数组表；

图6是本发明中4+1画面2速率情况下的三维数组表；

图7是本发明中5+1画面2速率情况下的三维数组表；

图8是本发明中9画面2速率情况下的三维数组表；

图9是本发明中16画面2速率情况下的三维数组表；

图10是本发明的实施例中DSP芯片的视频解码能力参数表；

图11是本发明的实施例中DSP芯片的视频编码能力参数表；

图12是根据本发明的实施例对当前会议进行资源调度的流程图；

图13是根据本发明的实施例关闭会议释放资源的流程图；

图14是根据本发明的实施例，在采用3片媒体处理器情况下芯片互连的硬件连线示意图。

具体实施方式

为深入了解本发明，下面结合附图及具体实施例对本发明进行详细说明。

本发明的解决途径可以通过检测到的各终端的视频速率和请求资源的会议所需多画面数，按照媒体处理芯片的编解码能力及相应参数实时计算得到召开当前会议所需的媒体处理芯片的数目来完成对系统资源的调度，也可以先建立一个基于多画面、第一视频速率和第二视频速率的三维数组表，然后根据请求资源的当前会议的具体情况(如需要的多画面数、各终端的视频速率等)查询该三维数组表，得到召开当前会议所需的媒体处理芯片的数目，然后通过与系统中可用资源进行比较，判定是否可召开当前会议，从而完成对系统资源的调度。由于采用三维数组表的方法更为便于用户使用，因此如下的实施例将针对后一种解决途径进行详细描述。然而，对于前一种解决途径，可参照三维数组表的生成方法(即三维数组表中资源数目的赋值方法)或规则，由硬件执行相应的程序实时计算得到召开会议所需的资源，然后通过与系统中可用资源进行比较，判定是否可召开当前会议，从而完成对系统资源的调度。

本发明的实施例中，因为需要建立一个用于调度资源的基于多画面数、第一视频速率和第二视频速率的三维数组表，且系统在运行过程中需要对该三维数组表进行查询，所以需要预先考虑尽可能多的情况，假定媒体处理芯片的数目为n个，采用的媒体处理芯片为DSP芯片(n＞＝2)；多组会议的数目假定为i组(i＞＝2)；多画面假定为j个画面混合(1＝＜j＜＝16)，会议电视系统中多画面的常见样式和大小画面布局情况如图1所示，自上向下、自左向右分别代表1画面、2画面、2+1画面(代表2小画面加1大画面)、4画面、4+1画面(代表4小画面加1大画面)、5+1画面(代表5小画面加1大画面)、4+3画面(代表4小画面加3大画面)、7+1画面(代表7小画面加1大画面)、9画面、8+2画面(代表8小画面加2大画面)、12+1画面(代表12小画面加1大画面)、16画面等12种。

在本发明中，三维数组表的三个变量分别指多画面数、第一视频速率和第二视频速率。所以，为了便于建立和查询，需要将多画面数进行抽象，例如1画面抽象对应的元素值为0，2画面抽象对应的元素值为1，3画面抽象对应的元素值为2，4画面抽象对应的元素值为3，4+1画面抽象对应的元素值为4，5+1画面抽象对应的元素值为5，9画面抽象对应的元素值为6，16画面抽象对应的元素值为7等，共8种，而7+1、4+3按照9画面计算资源，8+2、12+1按照16画面计算资源。因此，本实施例中建立的三维数组表中涉及多画面数的变量为8个，即共有8张以第一视频速率和第二视频速率为变量的数组表，如图2至图9所示。

此外，还需要将会议各终端的视频速率也进行高度抽象，视频速率包括视频格式和视频码率的两部分信息，第一视频速率定义为系统检测当前一组会议的各终端视频速率时所检测到的第一个视频速率，而第二视频速率定义为系统检测到的与第一视频速率不同的视频速率，若检测到三个或三个以上互不相同的视频速率，则系统判定为用户数据库配置出错，

在本实施例中，需要针对不同视频速率的视频格式进行抽象，例如对于第一视频速率，视频格式H263_QCIF抽象对应的元素值为0，H263_CIF抽象对应的元素值为1，H263_4CIF抽象对应的元素值为2，H264_CIF抽象对应的元素值为3，如图2至图9所示的H263_QCIF1(0)、H263_CIF1(1)、H263_4CIF1(2)、H264_CIF1(3)，共4种视频速率。而对于第二视频速率，无第二视频速率的情况抽象对应的元素值为0，视频格式H263_QCIF抽象对应的元素值为1，H263_CIF抽象对应的元素值为2，H263_4CIF抽象对应的元素值为3，H264_CIF抽象对应的元素值为4，如图2至图9所示的无第二视频速率(0)、H263_QCIF2(1)、H263_CIF2(2)、H263_4CIF2(3)、H264_CIF2(4)，共5种视频速率。

在当前的技术条件下，DSP芯片对不同的码率和视频格式的处理能力并不相同，本实施例充分考虑到当前常用的4种视频格式，以及当前常用的视频码率(会议终端的接入视频码率一般在1M以下，常用为384kbps和768kbps)，如图10所示，其表格赋值表示一片DSP芯片能处理多少路会议终端的图像数据解码，例如，在视频码率1M以下且视频格式为H263_QCIF的情况，一片DSP芯片能解码8路会议终端的图像数据；如图11所示，其表格赋值表示一片DSP芯片能处理多少路会议终端的图像数据编码，例如，在视频码率1M以下且视频格式为H263_QCIF的情况，一片DSP芯片能编码4路会议终端的图像数据，图10和图11中表格内的其它赋值以此类推。

对于图2至图9中表格内的赋值(即代表DSP芯片数目)，需要参照图10和图11中所示的DSP芯片的视频解码和编码能力参数表来进行计算，此外还需要加上适当视频缩放滤波系数和视频合成系数，具体方法如下所述：

首先，根据多画面数确定解码路数，例如，16路H263_CIF 384kbps或16路H263_QCIF 768kbps，或它们之间的混合会议，由于在多画面情况下，需要多画面轮训，应当预留最大资源才能实现轮训，因此资源估算的解码路数以16路H263_CIF 384kbps为准。

其次，根据不同视频速率的终端种类数确定编码路数，上面的例子需要1路H263_QCIF 768kbps和1路H263_CIF 384kbps编码。

然后，确定视频缩放滤波系数和视频合成系数，一般来说取值范围在0.3～0.5之间。

最后，根据上述的几种参数，可计算出三维数组表中相应元素的赋值(即在上述多画面数、视频速率的情况下，召开当前会议需要的DSP芯片数目)：16路H263_CIF 384kbps解码需要16×1/8＝2片(其中1/8是指如图10所示的DSP芯片视频解码能力参数表内与视频码率1M以下且视频格式为H263_CIF的情况相对应元素的值)；1路H263_QCIF 768kbps和1路H263_CIF 384kbps编码需要1×1/4+1×1/4＝0.5片(其中前后2个1/4分别是指DSP芯片的视频编码能力参数表内与在视频码率1M以下且视频格式为H263_QCIF的情况下和与在视频码率1M以下且视频格式为H263_CIF的情况下相对应元素的值)；加上0.3的视频缩放滤波系数和视频合成系数，总共需要2+0.5+0.3＝2.8片，实际分配3片以提高软件运行的可靠性，因此在图9中(图9是16画面2速率情况下的三维数组表)，视频速率1(第一视频速率)为H263_QCIF1(0)和视频速率2(第二视频速率为)H263_CIF2(2)所对应的元素赋值为3，或是视频速率1(第一视频速率)为H263_CIF1(1)和视频速率2(第二视频速率为)H263_QCIF2(1)所对应的元素赋值为3。

根据上述的方法或规则，可以完成图2至图9中各数组元素的赋值，从而建立所述用于调度资源的基于多画面数、第一视频速率和第二视频速率的三维数组表，即图2至图9分别列举出1画面、2画面、2+1画面、4画面、4+1画面、5+1画面、9画面、16画面等在2速率情况下召开会议所需的DSP芯片数目。

所述三维数组表可预先生成，当会议电视系统运行后加载至多点控制单元(MCU)的寄存器中，这样可以方便用户操作。此外，该三维数组表可以根据软硬件能力系数的变化(即媒体处理芯片的处理能力，包括硬件方面和软件方面)而进行适当调整，因此具体良好的扩展性。

下面将结合图12，进一步详细说明根据本发明的实施例对当前一组会议进行资源调度的具体流程：首先系统初始化，建立用于表示系统中n个媒体处理芯片的当前使用情况的数组Used[n]，并将其初始化为Used[n]＝“0xff0xff......0xff”，代表n个媒体处理芯片都处于空闲状态；并且加载预先建立的用于调度资源的三维数组表至MCU的寄存器中；

步骤101，开始当前会议，会议ID为ConfID；

步骤102，当前会议通过MCU的网管系统中的会议召集用户页面向MC发起视频资源请求；

步骤103，MC从请求消息中获取当前会议所需的多画面数；

步骤104，系统检测到视频速率1(第一视频速率)，并将其抽象赋值；

步骤105，系统检测到视频速率2(第二视频速率)，并将其抽象赋值；

步骤106，MC根据会议终端提供的多画面数、抽象赋值后的视频速率1和视频速率2对三维数组表进行查询，得到召开当前会议需要的媒体处理芯片数目a1；

步骤107，MC计算系统中剩下的处于空闲状态的媒体处理芯片数目，该数目等于数组Used[n]中元素为0xff的数目b1；

步骤108，MC判断召开当前会议需要的媒体处理芯片数目a1是否小于或等于系统中剩下的处于空闲状态的媒体处理芯片数目b1，若小于或等于，执行步骤109，否则执行步骤110；

步骤109，a1＜＝b1的情况说明当前视频资源足够，请求资源的当前本组会议可以成功召开，MC将被使用媒体处理芯片对应的当前使用状态的数组元素赋值为本组会议的会议ID(ConfID)，计算当前剩下的处于空闲状态的媒体处理芯片数目b2，b2＝b1-a1，执行步骤111；

步骤110，返回相应的消息，说明当前视频资源不足，拒绝召开请求资源的当前本组会议；

步骤111，结束。

其中，第一视频速率和第二视频速率的抽象赋值方法是：对请求资源的会议中所有的终端逐个检测，第一个终端视频速率抽象成一个word型数字，例如H263_CIF 384kbps抽象为0x0106，其中高字节代表编解码格式H263_CIF，低字节代表码率384kbps，同时将第一视频速率的数组元素赋值为1；接着对剩下来的终端逐个计算其视频速率值，若为0x0106，表示与第一个终端视频速率值相同，否则根据视频速率值计算其第二视频速率的值，例如H263_4CIF 384kbps为0x0206，此时第二视频速率的数组元素赋值为3；此时若再出现非0x0106和0x0206，则由于大于两速率，视频资源不足，表示用户配置数据库出错。

若需要同时召开i组会议，系统对请求视频资源的下一组会议进行资源调度，重复图12所示的上述步骤，直至系统所需同时召开的多组会议的资源调度完成。此时，召开多组会议需要的媒体处理芯片的值应当小于或等于n，即a1+a2+...+ai＜＝n。

图13是根据本发明的实施例关闭会议释放资源的具体流程，包括如下步骤：

步骤201，关闭会议，会议ID为ConfID；

步骤202，MC将数组Used[n]中的元素值为ConfID的赋值为0xff，释放资源；

步骤203，计算当前系统剩下的媒体处理芯片数目b2，b2＝b1+a1，b1为关闭会议前系统中剩下的处于空闲状态的媒体处理芯片的数目，a1为关闭会议前数组Used[n]中的元素值为ConfID的元素数目；

步骤204，结束。

图14示意当某系统使用的媒体处理器个数为3时的硬件连线示意图(三角形连线)，当系统使用的媒体处理器个数为4、5、6等情况时，硬件连线分别为四边形、五边形、六边形等环形或对角连线，对于本技术领域中的熟练人员，这应当是显而易见的。

综上所述，本实施例是把预先想到的所有多画面组合需要的DSP芯片数目制成一张三维数组表，当召开会议需要多画面资源时，根据会议能力查表决定需要多少个DSP芯片，再查看当前系统剩下的空闲DSP芯片数目及其组合情况来决定当前会议申请能否被允许召开。如此类推下一组会议的能否召开，从而实现多组会议的MCU多画面处理。

本方法灵活简便，既方便用户使用，而且可靠性好，具有良好的扩展性。

Claims (10)

1、一种在会议电视系统中实现图像处理的资源调度方法，包括如下步骤：

(a)系统初始化，并将系统中各媒体处理芯片的当前使用情况设置为空闲状态；

(b)系统检测请求视频资源的当前一组会议的各终端视频速率，并且根据所检测到的视频速率和该组会议所需的多画面数得到召开该组会议需要的媒体处理芯片数目；

(c)计算系统中处于空闲状态的媒体处理芯片的数目，判断当前系统中处于空闲状态的媒体处理芯片的数目是否大于步骤(b)中所得到的召开当前该组会议需要的媒体处理芯片数目，若大于，执行步骤(d)，否则执行步骤(e)；

(d)将被该组会议使用的各媒体处理芯片的当前使用情况设置为该组会议的标识，并且计算召开当前会议后系统中剩下的处于空闲状态的媒体处理芯片的数目，执行步骤(f)；

(e)返回相应的消息，说明当前视频资源不足，拒绝召开该组会议；

(f)系统对请求视频资源的下一组会议进行资源调度，重复步骤(b)至(e)，直至系统所需同时召开的多组会议的资源调度完成。

2、根据权利要求1所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：当系统初始化时，构造一个用于调度资源的基于多画面数、第一视频速率和第二视频速率的三维数组表，并且存储所述三维数组表。

3、根据权利要求2所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：当系统检测当前一组会议的各终端视频速率时，检测到的第一个视频速率设为第一视频速率，检测到的与第一视频速率不同的视频速率设为第二视频速率，若检测到三个或三个以上互不相同的视频速率，则返回视频资源不足，数据库配置出错的消息。

4、根据权利要求3所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：系统根据所检测到的第一视频速率、第二视频速率和该组会议所需的多画面数，查询所述三维数组表得到召开该组会议需要的媒体处理芯片数目。

5、根据权利要求2所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：构造所述用于调度资源的三维数组表的决定因素包括媒体处理芯片的视频解码能力，根据由多画面数决定的解码路数和媒体处理芯片的视频解码能力可计算得到相应的视频解码所需媒体处理芯片数。

6、根据权利要求5所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：构造所述用于调度资源的三维数组表的决定因素包括媒体处理芯片的视频编码能力，根据由不同视频速率的终端种类数决定的编码路数和媒体处理芯片的视频编码能力可计算得到相应的视频编码所需媒体处理芯片数。

7、根据权利要求6所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：构造所述用于调度资源的三维数组表的决定因素包括视频缩放滤波系数和视频合成系数。

8、根据权利要求7所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：所述用于调度资源的三维数组表能根据软硬件能力系数的变化而进行适当地调整。

9、根据权利要求1所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：所述视频速率包括视频格式和视频码率的信息。

10、根据权利要求1所述的在会议电视系统中实现图像处理的资源调度方法，其特征在于：当一组会议结束后，系统关闭该组会议，将被该组会议使用的各媒体处理芯片的当前使用情况设置为空闲状态。

Images