CN1874483A - 一种基于远程摄像机遥控功能的视频会议自主控制的方法 - Google Patents

Abstract

本发明涉及一种基于远程摄像机遥控功能的视频会议自主控制的方法。目前视频终端产品里，仅有个别产品支持单分屏工作模式下的远程摄像机控制功能或者申请发言的功能，但此两项功能只能应用其一，不能同时实现。本发明可使与会终端通过远程摄像机的控制界面或遥控器上的组合按钮对远程摄像机进行控制，利用远程摄像机控制协议，在MCU上实现主席选择听众、主席选择下一轮主席、一般听众申请发言、选中听众申请主席、呼叫/挂断、分屏模式切换以及多分屏工作模式下的远程摄像机控制和多画面的切换等问题。这些会议自主控制功能的实现，可以帮助会议的组织者或使用者能更加快捷、自主地召开和组织多点会议。

Description

一种基于远程摄像机遥控功能的视频会议自主控制的方法

                        技术领域

本发明涉及数据通信技术领域，具体是一种基于远程摄像机遥控功能的视频会议自主控制的方法。

                        背景技术

多点控制单元(MCU)是宽带网络上为不限于一个企业或机构的众多用户提供多点视频会议服务的关键设备。在一个MCU上能同时召开几十个、甚至几百个独立的多点视频会议，这些会议的使用者可能隶属不同的行业、不同的机构。

图1所示为多点控制单元集中式控制网络上多点视频会议系统的结构示意图。MCU101通过IP网络102与视频会议终端103相连。在一个视频会议系统中，依据终端所处的状态可将终端分为类：主席终端、选中听众终端和一般听众终端。主持会议方为主席并进入视频画面，在视频画面内除去主席画面的其它画面为选中听众，所有未进入画面的与会者为一般听众。在单分屏模式下，一般听众所看到的是主席终端的画面，主席看到的是选中听众终端的画面；在多分屏模式下，所有与会者所看到的是主席终端和选中听众终端的画面。对于大多数标准的视频会议终端，都具有远程摄像机104控制功能(FECC)，可以使用会议终端遥控器在本地控制远程会议终端上的摄像机运动。远程摄像机控制功能发生在相互可视的两个视频会议终端之间，即主席终端与选中听众终端之间。

通常，MCU有两种工作模式：一种是单分屏工作模式，即每个终端仅显示一个远程画面；另一种是多分屏工作模式，即每个终端同时显示多个画面，多分屏的画面数量一般为二画面、四画面、六画面、七画面、八画面、九画面、十画、十三画面和十六画面等(见图29)。在单分屏工作模式下，采用CIF(Common Intermediate Format)图像格式，CIF格式的图像分辨率是352×288，它由12个块组(GOB)组成。在多分屏工作模式下，MCU将组成多画面的各个视频流解码成YUV或RGB格式图像，再将它们像素调整后拼接成一个CIF格式的视频图像，然后对其进行编码，即形成一个包含多个视频画面的视频流，在终端上解码后在一个屏幕上就显示出多个远程终端的视频画面。

在实际应用中，会议的控制权利大都集中在MCU上，视频会议终端的远程摄像机控制的权限非常有限。目前市场上几大流行的视频终端产品里，仅有个别产品支持单分屏工作模式下的远程摄像机控制功能或者申请发言的功能，但此两项功能只能应用其一，不能同时实现。而在多点视频会议中经常会有通过终端实现呼叫/挂断、请求发言、申请主席、分屏模式切换、主席指定某终端发言或指定下一轮主席等功能需求，以及在多分屏工作模式下，如何实现远程摄像机控制和切换多画面等功能需求。所以单纯依靠多点视频终端本身已有的远程摄像机控制功能已经远远不能满足新一代视频会议的需求，迫切需要一种能够利用已有的远程摄像机控制功能在MCU上实现上述多项自主控制功能的方法。

                        发明内容

有鉴于此，本发明提供一种基于远程摄像机遥控功能的视频会议自主控制的方法。利用远程摄像机控制协议，在MCU上实现主席选择听众、主席选择下一轮主席、一般听众申请发言、选中听众申请主席、呼叫/挂断、分屏模式切换以及多分屏工作模式下的远程摄像机控制和多画面的切换等问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种用远程摄像机控制在多点控制单元上实现会议自主控制功能的方法，该方法包括以下步骤：

a、与会终端利用远程摄像机控制功能向多点控制单元发送申请控制信号；

b、多点控制单元收到该信号后，判断发送申请控制信号的与会终端的身份是一般听众、选中听众还是主席，并动态生成与该身份的控制要求相应的控制菜单，将该控制菜单以透明字幕的方式与发往相应目的终端的视频流相叠加，形成一个具有动态控制字幕的视频流；

c、目的终端的屏幕上显示经解码后的多点控制单元发来的叠加了控制菜单字幕的视频图像，操作者通过会议终端遥控器选择并确认所要实现的控制操作，同时MCU根据需要适时生成新的控制菜单，并突显所选择的功能；

d、目的终端将带有最终选择确认信息的信号再次发送给多点控制单元，使多点控制单元依据该信息完成相关终端呼叫、挂断、远程摄像机控制及画面的切换等会议管理控制功能。

e、在会议系统设置需要呼入终端的密码认证的情况，当有终端呼叫MCU要求参加某个会议时，MCU向该终端发送呼入密码认证对话框，终端使用遥控器输入密码并经过MCU认证通过后，MCU将它安排到与密码相关联的特定会议，如果需要还可以指定该终端在会议中的身分；在会议系统设置不需要呼入终端的密码认证的情况，MCU向呼入终端发送可选会列表，呼入终端使用遥控器选择要参加的会议，确认后直接被安排到选定的会议组。

较佳地，步骤a所述利用远程摄像机控制功能是通过远程摄像机控制界面或视频终端的遥控器，采用组合键方式向多点控制单元发送申请控制信号。

较佳地，该方法进一步包括：步骤b所述的多点控制单元判断与会终端的身份之前，先根据自身设置画面个数的参数判断与会终端的分屏模式，如果是单分屏模式，则执行单分屏模式下与会终端相应身份的多点控制单元自主控制功能的处理步骤，如果是多分屏模式，则执行多分屏模式下与会终端相应身份的多点控制单元自主控制功能的处理步骤。

较佳地，所述步骤b为：

单分屏模式下一般听众发送申请控制信号，则相关控制字幕为该一般听众的用户名加申请发言的字幕，目的终端为主席；多分屏模式下一般听众发送申请控制信号，则相关控制字幕为该一般听众的用户名加申请加入多分屏的字幕，目的终端为主席；

所述步骤d为：单分屏模式下，主席终端收到该字幕后，进入控制状态并确认是否接受该申请，如果接受，则多点控制单元向该一般听众发送接受申请的字幕信息，并将该一般听众切换为选中听众，否则，多点控制单元向该一般听众发送拒绝申请的字幕信息；多分屏模式下，主席终端收到该字幕后，进入控制状态并确认是否接受该申请，如果接受，则在确定被替换画面后，多点控制单元向该一般听众发送接受申请的字幕，并将该一般听众切换为选中听众，否则，多点控制单元向该一般听众发送拒绝申请的字幕信息。

较佳地，所述步骤d进一步包括：

单分屏模式下，主席终端收到该字幕后，多点控制单元判断主席终端的响应时间是否超时，如果是，则多点控制单元直接向该一般听众发送接受申请的字幕信息，并将该一般听众终端切换为选中听众终端，否则按主席终端的意图执行；

多分屏模式下，主席终端收到该字幕信息后，多点控制单元判断主席终端的响应时间是否超时，如果是，则多点控制单元向该一般听众发送接受申请的字幕信息后，按预定策略将该一般听众终端切换为选中听众终端，否则按主席终端的意图执行。

较佳地，所述步骤b为：

单分屏模式下选中听众发送申请控制信号，则相关字幕为申请远程摄像机控制和申请主席的字幕(如图22)，目的终端分别为选中听众本身和主席终端；多分屏模式下选中听众发送申请控制信号，则相关字幕为申请远程摄像机控制的字幕，目的终端为选中听众本身；

所述步骤d为：

单分屏模式下，若选中听众选择远程摄像机控制，则多点控制单元根据选中听众所发的控制消息实现对远程摄像机的控制，若选中听众选择申请主席，则多点控制单元向主席终端发送该选中听众的用户名加申请主席的字幕，并判断主席终端是否接受该申请，如果接受，则向该选中听众发送接受申请的字幕，并将该选中听众切换为主席，将主席切换为选中听众，否则，向该选中听众发送拒绝申请的字幕信息；多分屏模式下，选中听众首先确定被控画面，然后向多点控制单元发送控制消息实现对远程摄像机的控制。

较佳地，所述步骤d进一步包括：单分屏模式下，多点控制单元判断主席终端响应时间是否超时，如果是，则多点控制单元直接向该选中听众发送接受申请的字幕信息，并将该选中听众终端切换为主席，将主席切换为选中听众，否则按主席终端的意图执行。

较佳地，所述步骤b为：

在单分屏模式下，主席发送申请控制信号，则相关字幕信息为申请远程摄像机控制、切换选定听众、指定下一轮主席、呼叫/挂断终端和分屏模式切换的字幕，目的终端为主席终端；在多分屏模式下，主席发送申请控制信号，则相关控制字幕为申请远程摄像机控制、邀请一般听众加入多分屏、呼叫/挂断终端和分屏模式切换的字幕，目的终端为主席终端。

所述步骤d为：

单分屏模式下，若主席选择远程摄像机控制，则多点控制单元根据主席所发的控制消息实现对远程摄像机的控制；若主席选择切换选定听众，则多点控制单元将一般听众的注册信息列表发送给主席终端，主席确定其所要选择的一般听众，多点控制单元依据主席终端所发的确认信息，将主席所选的一般听众切换为选中听众；若主席选择指定下一轮主席，则多点控制单元向选中听众发送你被指定为主席的字幕信息，并将该选中听众切换为主席，将主席切换为选中听众；若主席选择呼叫/挂断终端，则多点控制单元将在其注册的所有终端信息列表字幕发送给主席终端，主席确定其所要选择呼叫或挂断的终端，多点控制单元依据主席终端所发的确认信息判断所选的终端是在线还是离线。若该终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若该终端是在在线状态，则将其挂断；若主席选择分屏模式切换，则多点控制单元将当前可用的所有分屏模式图标发送给主席终端，主席使用会议终端遥控器确定其所要选择的分屏模式，多点控制单元依据主席终端所发的确认信息将分屏模式由当前分屏模式切换到所选择的分屏模式。

多分屏模式下，若主席选择远程摄像机控制，则首先确定被控画面，然后向多点控制单元发送控制消息实现对远程摄像机的控制，若主席选择邀请一般听众进入多分屏，则首先确定被替换画面，然后多点控制单元将一般听众的注册信息列表发送给主席终端，主席确定其所要选择的一般听众后，多点控制单元依据主席终端所发的确认信息，将所选的一般听众切换为选中听众；若主席选择呼叫/挂断终端，则多点控制单元将“1.呼叫/挂断会议组/2.直接输入被呼叫/挂断终端号码/3.呼叫/挂断列表中的终端”字幕发送给主席终端，供主席选择不同的呼叫/挂断终端的方式。主席终端用户确定其所要选择呼叫或挂断的终端，多点控制单元依据主席终端所发的确认信息判断所选的终端是在线还是离线。若该终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若该终端是在在线状态，则将其挂断；若主席选择分屏模式切换，则多点控制单元将当前可用的所有分屏模式图标发送给主席终端，主席使用会议终端遥控器确定其所要选择的分屏模式，多点控制单元依据主席终端所发的确认信息将分屏模式由当前分屏模式切换到所选择的分屏模式。

较佳地，所述步骤d进一步包括，多分屏模式下，多点控制单元判断主席终端选择被替换画面的响应时间是否超时，如果是，则多点控制单元直接按预定策略替换满足条件画面，否则按主席的意图执行。

较佳地，所述预定策略是用一般听众替换掉未发言时间最长的选中听众，或最先进入多分屏的选中听众。

较佳地，所述步骤d在多分屏模式下所确定的被替换画面是除去主席画面的其它几个画面之一。

较佳地，步骤d所述主席呼叫或挂断终端的方式：如果选择“呼叫/挂断会议组”选项，MCU向主席终端发送所有会议组列表，主席终端用户使用左移键“←”和右移键“→”选择所需的会议组，使用下移键“↓”确认所做的选择，使用上移键“↑”结束会议组的选择并执行呼叫或挂断操作。若该会议组是在离线状态，则将该会议组中的所有终端呼叫上来；若该会议组是在在线状态，则将该会议组中的所有终端挂断；

较佳地，步骤d所述主席呼叫或挂断终端的方式：如果选择“呼叫/挂断列表中的终端”选项，MCU将功能选择字幕和所有终端注册信息列表列表组成的字幕列表发送给主席终端，这个字幕列表的第二行是“呼叫所有终端”字幕，第三行是“挂断所有终端”，最后一行是“退出呼叫/挂断”字幕，其它行是由终端用户名、终端号码和IP地址加星号“*”分隔符组成的终端注册信息列表字幕(如图20)，主席终端用户使用左移键“←”和右移键“→”选择所需的功能或要被呼叫/挂断的终端，使用下移键“↓”确认所做的选择，使用上移键“↑”结束功能或终端选择并向MCU发送选择消息。多点控制单元接收到该消息后，首先判断所选的终端是在线还是离线，若被操作的终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若被操作的终端是在在线状态，则将其挂断，同时多点控制单元生成新的字幕——被呼上和被挂断终端的用户名加上“已呼通”/“已挂断”字幕，并发送给主席终端。。若选择呼叫所有终端或挂断所有终端选项，MCU将该会议组的所有终端呼叫或挂断。这时主席可以选择退出呼叫/挂断，也可以选择继续呼叫或挂断其它终端。

较佳地，步骤d所述主席呼叫或挂断终端的方式：若主席终端选择“直接输入终端号码”选项，多点控制单元向主席终端发送0——9十个数字按钮图标，在主席终端屏幕上就显示出0——9十个数字按钮(见图30)。使用左移键“←”和右移键“→”选择所需的数字，使用下移键“↓”确认所做的选择，使用上移键“↑”结束终端号码输入并执行呼叫或挂断操作。若该终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若该终端是在在线状态，则将其挂断。若该终端不在注册终端列表中，则将其加入到注册终端列表中；

较佳地，步骤d所述分屏模式切换的方式：多点控制单元按在线终端的呼叫先后顺序构成呼叫列表，当主席将画面数较少的分屏模式切换到画面数较多的分屏模式时，多出来的画面位置依次由呼叫列表中排在前面并且不在当前多分屏的终端来占据；当主席将画面数较多的分屏模式切换到画面数较少的分屏模式时，首先保留主席的画面，其它画面位置依次由呼叫列表中排在前面的终端来占据。

较佳地，步骤d所述在终端注册信息列表中，用不同颜色的字幕来区别终端是在线，还是离线。

较佳地，所述步骤d终端屏幕不能容纳所有终端信息列表字幕时，通过左移键或右移键将终端信息列表字幕上移或下移，以便能够在一个有限的屏幕上显示所有的终端信息列表字幕。

较佳地，所述步骤b是根据与会终端的注册信息判断发送申请控制信号的与会终端身份。

较佳地，所述注册信息至少包括用户名、别名、终端IP地址、终端型号及属性和和当前状态。

较佳地，所述步骤c目的终端对由MCU发来的视频流解码后，在屏幕上就显示出已经叠加了控制字幕的视频图像，操作者通过终端遥控器的远程摄像机控制键“FAR”、左移键“←”或右移键“→”来选择所要的功能，多点控制单元接收到目的终端发来的控制信息后，改变、增强或闪烁字幕背景色来突显所选定的功能，MCU将改变后控制字幕回传给目的终端，以便使操作者知道自己完成了哪些操作。通过上移键“↑”、下移键“↓”确认所选功能，MCU收到确认信息后，或执行相应的控制操作或产生下一级控制字幕。

所述步骤e为：

在系统设置成需要密码认证的情况，如果有终端在会议的准备过程中呼入MCU，MCU首先与该终端建立连接，然后将叠加了要求呼叫认证的对话框的视频图像回传给该终端。终端用户通过遥控器输入会议密码。MCU验证密码并确认是有权用户后，根据所输入的密码将该终端分配对应的会议组并指定为选中听众或一般听众。在系统设置成不需要密码认证的情况，例如视频聊天等应用，MCU将可选会议组列表字幕发送给该终端(见图33)。终端用户通过遥控器选择所要加入的会议组并向MCU发送确认信息。MCU收到确认信息后，将该终端分配给到所选定的会议组。

较佳地，所述步骤e如果密码验证没有通过，MCU通过字幕提示终端用户重新输入密码。如果密码验证N次都没有通过，则MCU拒绝该终端加入会议。N是一个大于1的一个整数。

较佳地，所述步骤e终端呼入密码不仅可以与特定的会议组相关联，进一步还将终端呼入密码与该终端在会议的身分相关联。当某一终端呼叫MCU，MCU则向该终端发送要求输入密码的对话框(如图32)，终端输入密码并通过MCU的认证后，MCU将该终端安排在与呼入密码对应的会议中，同时还指定该终端在会议中的身分，如主席、或选中听众或一般听众。

较佳地，所述步骤e如果呼入终端是指定会议组的第一个呼入并建立连接的终端，在不需要用呼入密码确定呼入终端身分的情况下，该终端可以被指定为该会议组的主席。

较佳地，所述步骤e在会议的进行中，有终端呼入申请加入会议，如果系统设置需要会议主席的准许，则MCU完成终端密码认证后向会议主席发送某某终端申请加入会议的字幕(如图31)。如果会议主席准许该终端加入会议，则MCU将它分配到该会议组中。如果会议主席拒绝该终端加入会议，则MCU向它发送拒绝加入会议的字幕信息并拆掉与它的连接。

较佳地，所述步骤e还可以将呼入密码认证与通过会议列表选择会议过程相结合。终端呼入密码认证仅作为安全认证的一种手段，与具体参加的会议无关联。如前所述，当有终端呼叫MCU要求参加某个会议时，MCU向该终端发送呼入密码认证对话框及0-9十个数字按钮图标，终端使用遥控器在十个数字按钮中选择所需的数字，并通过改变、增强或闪烁数字按钮的背景色来突显所选择的数字，输入完密码并经过MCU认证通过后，MCU向呼入终端发送由会议名称组成的可选会列表，呼入终端使用遥控器在可选会议列表中选择要参加的会议，MCU通过改变、增强或闪烁字幕背景色来突显所选择的会议，确认后直接被安排到所选定的会议组。

较佳地，所述步骤e终端呼入密码是由会议管理人员制定、保管和分发的由0-9十个数字按照一定规则组成的长度大于四的数字串。一个密码对一个会议，一个会议可以有多个密码。一个会议的多个不同密码可以表征使用不同密码的终端在会议具有不同的身分和其它特征。

应用本发明，可使与会终端通过远程摄像机的控制界面或遥控器上的组合按钮对远程摄像机进行控制，利用远程摄像机控制协议ITU H.281，使MCU根据用户的注册信息，为每一个与会终端生成会议控制所需的各种控制字幕、图标和对话框，然后将其与发往目的终端的视频流叠加，形成一个带有动态控制字幕的视频流，目的终端在接收到的控制字母中选择主席、选择听众、主席选择下一轮主席、一般听众申请发言、选中听众申请主席以及多分屏工作模式下的远程摄像机控制和多画面的切换等所要实现的会议自主控制功能。

应用本发明，利用远程摄像机控制等协议，通过与会终端与MCU互发信息，使得任何一组会议的与会终端通过上述会议控制功能实现了自我管理自我控制，这对于公众的视讯业务的开展是必不可少的。这些会议自主控制功能的实现，可以帮助会议的组织者或使用者能更加快捷、自主地召开和组织多点会议。

                            附图说明

图1为多点控制单元集中式控制网络上多点视频会议系统示意图；

图2为终端向MCU发送的控制远程摄像机的控制消息结构图；

图3为MCU处理会议自主控制功能的总体流程框图；

图4为在单分屏模式下主席终端接受一般听众终端申请发言的信号流程图；

图5为在单分屏模式下一般听众申请选中听众主席终端超时无应答的信号流程图；

图6为在单分屏模式下主席终端接受选中听众终端申请主席的信号流程图；

图7为在单分屏模式下主席终端拒绝选中听众申请主席的信号流程图；

图8为在单分屏模式下选中听众申请主席主席终端超时无应答的信号流程图；

图9为在多分屏模式下主席终端接受一般听众终端申请加入多分屏的信号流程图；

图10为在多分屏模式下一般听众申请加入多分屏主席终端超时无应答的信号流程图；

图11为在多分屏模式下主席邀请一般听众加入多分屏的信号流程图；

图12为主席终端呼叫终端的信号流程图；

图13为主席终端挂断终端的信号流程图；

图14为在单分屏模式下主席切换选中听众的信号流程图；

图15为在单分屏模式下主席指定下一轮主席的信号流程图；

图16为主席切换分屏模式的信号流程图；

图17为需要密码认证的终端呼叫MCU的信号流程图；

图18为不需要密码认证的终端呼叫MCU的信号流程图；

图19为在多分屏模式下远程摄像机控制的信号流程图；

图20为主席终端呼叫/挂断的控制字幕；

图21为单分屏模式下一般听众申请选中听众的字幕；

图22为单分屏模式下选中听众申请主席或远程摄像机控制的字幕；

图23为单分屏模式下选中听众申请主席的字幕；

图24为单分屏模式下主席申请远程摄像机控制或指定下一轮主席或切换选中听众或呼叫/挂断终端或切换分屏模式的字幕；

图25为多分屏模式下一般听众申请加入多分屏的字幕；

图26为多分屏模式下本画面被替换的字幕；

图27为多分屏模式下主席申请远程摄像机控制或邀请一般听众加入多分屏或呼叫/挂断终端或切换分屏模式的字幕；

图28为多分屏模式下申请远程摄像机控制的字幕；

图29为主席切换分屏模式的字幕；

图30为主席直接输入被叫/挂终端号码的字幕；

图31为会议进行中终端申请加入会议的字幕；

图32为终端呼叫MCU时输入认证密码的字幕；

图33为终端呼叫MCU时选择会议组的字幕。

                        具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明做进一步详细说明。

在本实施例中，规定主持会议方为主席并进入视频画面，在视频画面内除去主席画面的其它画面为选中听众，所有未进入画面的与会者为一般听众。在单分屏模式下，一般听众所看到的是主席终端的画面，主席看到的是选中听众终端的画面；在多分屏模式下，所有与会者所看到的是主席终端和选中听众终端的画面。

MCU依据基于分组交换的多媒体通信标准(ITU-T H.323 Annex Q)和远程摄像机控制协议(ITU-TH.281)可以与标准H.323终端之间进行远程摄像机控制。当终端用户按下远程摄像机的控制界面或终端遥控器上的远控按钮“FAR”以及控制摄像机上下左右旋转按钮中的任意一个时，终端在承载ITU-T H.281信息的ITU-T H.224通道中向MCU发送H.281控制远程摄像机的控制消息(H.281 FECC Action Message)。MCU捕获每个与会终端发来的远程摄像机控制消息，并动态生成与控制要求相关的控制字幕菜单字幕，将该控制菜单以透明字幕的方式与发往相应目的终端的视频流相叠加，并采用常用的视频编解码器(ITU-T H.261、H.263、H.263+、H.264等)其进行编码。当终端接收到MCU发来的编码视频流后，按照既定的视频编解码格式对其解码，控制字幕以透明的方式被叠加在原有的视频图像上，与动态的视频图像组成一个完整的视频图像，目的终端依据视频图像上的控制字幕提示做出选择，并将该信息发送到MCU上，从而利用远程摄像机控制协议在MCU上实现多项会议自主控制功能。

图2所示为终端向MCU发送的控制远程摄像机的控制消息结构图。在该消息结构图中，P(Pan)即盘，表示控制摄像头底盘左右转，T(Tilt)即倾斜，表示控制摄像头上下转，Z(Zoom)即缩放表示控制镜机缩放，调节远近，F(Focus)即聚焦，表示控制摄像机调节聚焦远近，不同的取值组合成不同的控制消息，每个消息对应着摄像机的一个活动，如上转，下转等。Timeout项是四位二进制数，为超时参数，Reserved为保留部分。

在MCU启动后，操作员根据每个终端用户提供的注册信息在MCU上为每个视频会议终端进行注册。注册表的信息主要包括用户名、别名、终端IP地址、终端型号及属性和呼叫带宽等。注册完毕后，MCU根据用户的注册信息及控制会议的需要动态生成各种控制字幕。

基于上述原理，并结合流程图具体说明实现MCU的会议自主控制功能的方法。

图3所示为MCU处理会议自主控制功能的总体流程。

步骤200，MCU接收到任一个在线与会终端向它发送远程摄像机控制信号(简称，远控信号)，其具体操作为先按键“FAR”，再按上移键“↑”、下移键“↓”、左移键“←”或右移键“→”的其中之一，或任一个离线终端呼入信号；

步骤201，MCU收到上述信号后，判断是在线终端的远控信号还是离线终端的呼入信号，如果是远控信号，执行步骤202，如果是呼入信号，执行步骤218；

步骤202，MCU收到远控信号后，根据自身设置画面个数的参数判断该与会终端是单分屏还是多分屏，如果是单分屏面，执行步骤210，如果是多分屏，执行步骤203；

步骤203，MCU依据终端的注册信息判断发控制信号者的身份，如果是一般听众发出的控制信号，则执行步骤204，如果是主席发出的控制信号，则执行步骤206，如果是选中听众发出的控制信号，则执行步骤205；

在多分屏模式下，主席终端始终位于多分屏之一，且不参与切换。远程摄像机控制发生在相互可视的终端之间，即主席终端和选中听众终端之间，一般听众只能看到主席和选中听众，而主席和选中听众不能够看到一般听众，因此，一般听众发控制信息，只能是申请进入多分屏并成为选中听众，选中听众发控制信息，只能是申请远程摄像机控制，主席发控制信息可能是申请远程摄像机控制，或邀请一般听众进入多分屏(切换多画面)，或呼叫/挂断终端，或分屏模式切换。

步骤206，MCU向主席终端发送选择“1、远程摄像机控制，2、邀请一般听众进入多分屏，3、呼叫/挂断终端，4、分屏模式切换”的字幕(见图27)；

主席收到多点控制单元发来的上述字幕后，向多点控制单元发选择信息，其具体操作为主席按左移键“←”或右移键“→”选择所需要的功能，通过改变或增强底色或闪烁来突显所选定的功能，按上移键“↑”或下移键“↓”确定所选功能，同时将选定信息发到MCU上；

步骤207，MCU接收主席终端返回的功能选择信息；

步骤208，MCU判断主席终端所选功能，如果选择“1、远程摄像机控制”，则执行步骤205，如果选择“2、邀请一般听众进入多分屏”，则执行步骤223，如果选择“3、呼叫/挂断终端”，则执行步骤215，如果选择“4、分屏模式切换”，则执行步骤209；

至此，在多分屏模式下，主席申请远程摄像机控制，或主席邀请一般听众进入多分屏，或呼叫/挂断终端，或分屏模式切换的处理过程结束。

步骤210，MCU依据终端的注册信息判断发控制信号者的身份，如果是一般听众发出的控制信号，则执行步骤212，如果是选中听众发出的控制信号，则执行步骤219，如果是主席发出的控制信号，则执行步骤211；

由于远程摄像机控制只能发生在相互可视的终端之间，在单分屏模式下，即发生在主席终端和选中听众终端之间。一般听众只能看到主席，而没有哪一个听众能够看到他，因此，一般听众不具有远程摄像机控制能力。所以，一般听众发控制信息，只能是申请成为选中听众，如果是一般听众申请主席，该听众必须先申请成为选中听众，再申请主席。选中听众发控制信息，可以申请远程摄像机控制或申请主席。主席发控制信息可能是申请远程摄像机控制，或申请切换选中听众，或指定下一轮主席，呼叫/挂断终端，或分屏模式切换。

步骤219，MCU向该选中听众终端发送选择“1、远程摄像机控制，2、申请主席”的控制字幕(见图22)；

该选中听众收到多点控制单元发来的上述字幕后，向多点控制单元发选择信息，其具体操作为该选中听众按左移键“←”或右移键“→”来选择所要申请的功能，通过改变或增强底色来突显所选定的功能。使用上移键“↑”或下移键“↓”确定所选功能，同时将选定的信息发到MCU上；

步骤220，MCU接收选中听众终端返回的功能选择信息；

步骤221，MCU判断该选中听众终端所选功能，如果选择“1、远程摄像机控制”则执行步骤224，如果选择“2、申请主席”则执行步骤222；

至此，在单分屏模式下，选中听众终端申请远程摄像机控制或申请主席的过程结束。

步骤211，MCU向主席终端发送选择“1、远程摄像机控制，2、切换选中听众，3、指定下一轮主席，4、呼叫/挂断终端，5、分屏模式切换”的字幕(见图24)；

主席终端收到多点控制单元发来的上述字幕后，向多点控制单元发选择信息，其具体操作为主席按左移键“←”或右移键“→”选择所需要的功能，通过改变或增强底色来突显所选定的功能，步骤328，主席按通过上移键“↑”或下移键“↓”确定所选功能，同时将选定信息发到MCU上；

步骤213，MCU接收主席终端返回的功能选择信息；

步骤214，MCU判断主席终端所选功能，如果选择“1、远程摄像机控制”，则执行步骤224，如果选择“2、切换选中听众”，则执行步骤216，如果选择“3、指定下一轮主席”，则执行步骤217，如果选择“4、呼叫/挂断终端”，则执行步骤215，如果选择“5、分屏模式切换”，则执行步骤209；

至此，在单分屏模式下，主席终端申请远程摄像机控制，或切换选中听众，或指定下一轮主席的控制，或呼叫/挂断终端，或分屏模式切换的处理过程结束。

图4、图5所示为单分屏模式下一般听众申请选中听众的信号流程。

在这里我们分别给出了主席接受选中听众和主席无应答的情况。

图4所示为单分屏模式下主席接受一般听众申请选中听众的信号流程。

步骤300，MCU向该一般听众终端发送“申请选中听众”的字幕；

步骤301，MCU收到该一般听众的确认反馈信息后，向主席终端发送“XX申请选中听众/接受/拒绝”的字幕(见图21)；

步骤302，主席按键“FAR”，主席终端向MCU发送启动远控信号，建立主席终端到MCU的远控信道；

步骤303，主席按左移键“←”或右移键“→”来选择接受该请求，按上移键“↑”或下移键“↓”确定所选信息，同时将选定信息发到MCU上；

步骤304，MCU向该一般听众终端发送“接受申请选中终端”字幕；

步骤305，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除主席终端到MCU的远控信道；

步骤306，MCU将该申请选中听众的一般听众切换为选定听众，原来的选中听众切换为一般听众；

步骤305，当前的选中终端按键“NEAR”，向MCU发送结束远控信号，拆除当前的选中终端到MCU的远控信道。

图5所示为单分屏模式下一般听众申请选中听众主席无应答的信号流程。

步骤310，MCU向该一般听众终端发送“申请选中听众”的字幕；

步骤311，MCU收到该一般听众的确认反馈信息后，向主席终端发送“XX申请选中听众/接受/拒绝”的字幕(见图21)；

步骤312，在预先设置的时间N秒内，MCU判断主席终端超时无应答；

步骤313，MCU向该一般听众终端发送“接受申请选中终端”字幕；

步骤314，MCU将该申请选中听众的一般听众切换为选定听众，原来的选中听众切换为一般听众；

步骤315，当前的选中终端按键“NEAR”，向MCU发送结束远控信号，拆除当前的选中终端到MCU的远控信道。

至此，在单分屏模式下，一般听众申请选中听众的信号流程结束

图6、图7、图8所示为单分屏模式下选中听众申请主席的信号流程。

在这里我们分别给出单分屏模式下主席接受选中听众申请主席、主席拒绝选中听众申请主席和主席无应答三种情况。

图6所示为单分屏模式下主席接受选中听众申请主席的信号流程。

步骤320，MCU向主席终端发送“XX申请主席/接受/拒绝”的字幕(见图23)；

步骤321，主席按键“FAR”，主席终端向MCU发送启动远控信号，建立主席终端到MCU的远控信道；

步骤322，主席按左移键“←”或右移键“→”来选择接受该请求，按上移键“↑”或下移键“↓”确定所选信息，同时将选定信息发到MCU上；

步骤323，MCU向该选中听众终端发送“接受申请主席”的字幕；

步骤324，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除主席终端到MCU的远控信道。

步骤325，MCU将该选中听众切换为主席，而原来的主席切换为选中听众；

步骤326，选中听众终端按键“NEAR”，向MCU发送结束远控信号，拆除主席终端到MCU的远控信道。

图7所示为单分屏模式下主席拒绝选中听众申请主席的信号流程。

步骤330，MCU向主席终端发送“XX申请主席/接受/拒绝”的字幕(见图23)；

步骤331，主席按键“FAR”，主席终端向MCU发送启动远控信号，建立主席终端到MCU的远控信道；

步骤332，主席按左移键“←”或右移键“→”来选择拒绝该请求，按上移键“↑”或下移键“↓”确定所选信息，同时将选定信息发到MCU上；

步骤333，MCU向该选中听众终端发送“拒绝申请主席”的字幕；

步骤334，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除主席终端到MCU的远控信道；

步骤335，选中听众终端按键“NEAR”，向MCU发送结束远控信号，拆除选中听众终端到MCU的远控信道。

图8所示为单分屏模式下主席对选中听众申请主席无应答的信号流程。

步骤340，MCU向主席终端发送“XX申请主席/接受/拒绝”的字幕(见图23)；

步骤341，在预先设置的时间N秒内，MCU判断主席终端超时无应答；

步骤342，MCU向该选中听众终端发送“接受申请主席”的字幕；

步骤343，MCU将该选中听众切换为主席，而原来的主席切换为选中听众；

步骤344，选中听众终端按键“NEAR”，向MCU发送结束远控信号，拆除选中听众终端到MCU的远控信道。

至此，在单分屏模式下，选中听众终端申请主席的信号流程结束。

图9、图10所示为多分屏模式下一般听众申请加入多分屏的信号流程。

在这里我们分别给出多分屏模式下一般听众申请加入多分屏和主席终端超时无应答两种情况。

图9所示为多分屏模式下一般听众申请加入多分屏的信号流程。

步骤350，MCU向该一般听众终端发送“申请加入多分屏”字幕；

步骤351，MCU向主席终端发送“XX申请加入多分屏/接受/拒绝”的字幕(见图25)；

步骤352，主席终端按键“FAR”，向MCU发送启动远控信号，建立主席终端到MCU的远控信道。

步骤353，主席按左移键“←”或右移键“→”来选择是否接受该请求，按上移键“↑”或下移键“↓”确定所选信息，同时将选定信息发到MCU上；

步骤354，MCU判断主席终端是否接受该申请，如果接受，则向该一般听众终端发送“接受加入多分屏请求”字幕；

步骤355，MCU向主席终端发送“本画面被替换”字幕(见图26)；

步骤356，在主席终端除了主席画面的其它几个画面之一上弹出“本画面被替换”字幕(见图26)，主席按左移键“←”或右移键“→”移动该字幕，在主席终端的多分屏中选择被替换的视频画面，按上移键“↑”或下移键“↓”确定所选信息，同时将选定信息发送给MCU；

步骤357，MCU将该一般听众终端切换为选中听众并加入到多分屏中替换主席指定的视频画面；该选中听众和主席按键“NEAR”，结束此控制过程；

步骤358和359，主席终端和一般听众终端分别按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

图10所示为主席终端超时无应答的信号流程。

步骤360，MCU向该一般听众终端发送“申请加入多分屏”字幕；

步骤361，MCU向主席终端发送“XX申请加入多分屏/接受/拒绝”的字幕(见图25)；

步骤362，在预先设置的时间N秒内，MCU判断主席终端超时无应答；

步骤363，MCU向该一般听众终端发送“接受加入多分屏请求”字幕；

步骤364，MCU将该一般听众终端切换为选中听众并加入到多分屏中按预定条件替换满足条件的画面，该预定条件可以是最久未发言者所在的画面被替换，或是最先进入多分屏者所在的画面被替换；

步骤365，该一般听众终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

至此，在多分屏模式下，一般听众申请加入多分屏的信号流程结束。

图11所示为在多分屏模式下主席终端邀请一般听众加入多分屏的信号流程。

步骤370，MCU将“本画面被替换”的字幕叠加到发往主席终端的视频流上，在除了主席终端画面的其它几个画面的任一画面中显示“本画面被替换”字幕(见图26)；

步骤371，主席按左移键“←”或右移键“→”移动上述字幕到被替换的视频画面，按上移键“↑”或下移键“↓”确定所做的选择，同时将选定信息发到MCU上；

步骤372，MCU按照终端注册的先后顺序，将一般听众列表发送给主席；

步骤373，主席按左移键“←”或右移键“→”在一般终端列表中选择要邀请加入多分屏的一般听众，按上移键“↑”或下移键“↓”确认上述选择，同时将选择信息发送给MCU；

步骤374，步骤362，主席按上移键“↑”或下移键“↓”确认上述选择，同时发送信息给MCU，MCU收到主席终端的选择信息后，将该一般听众切换为选中听众，即被邀请该一般听众进加入多分屏；

步骤375，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

图12、图13所示为主席终端呼叫挂断/终端的信号流程。

在这里我们分别给出主席终端呼叫终端和主席终端挂断终端两种情况。

图12所示为主席终端呼叫终端的信号流程。

步骤380，MCU将“1.呼叫/挂断会议组/2.直接输入被呼叫/挂断终端号码/3.呼叫/挂断列表中的终端”字幕发送给主席终端，供主席选择不同的呼叫/挂断终端的方式；

步骤381，主席终端通过左移键“←”或右移键“→”选择三个选项之一，在本实施例中，主席终端选择“直接输入被呼叫/挂断终端号码”，按上移键“↑”或下移键“↓”确认上述选择，同时将该信息发送给MCU；

步骤382，MCU向主席终端发送0——9十个数字按钮图标(见图30)；

步骤383，主席终端使用左移键“←”和右移键“→”在0——9十个数字按钮中选择所需的数字，使用下移键“↓”确认所做的选择，使用上移键“↑”结束终端号码输入并向MCU发送所输入的被叫终端号码；

步骤384，MCU将所确定终端发起呼叫，并将呼上的终端指定为选中听众；

步骤385，随后向主席终端发送“用户名+已呼通”字幕(见图20)；

步骤386，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

图13所示为主席终端挂断终端的信号流程。

步骤390，MCU将“1.呼叫/挂断会议组/2.直接输入被呼叫/挂断终端号码/3.呼叫/挂断列表中的终端”字幕发送给主席终端，供主席选择不同的呼叫/挂断终端的方式；；

步骤391，主席终端通过左移键“←”或右移键“→”选择三个选项之一，在本实施例中，主席终端选择“呼叫/挂断列表中的终端”，按上移键“↑”或下移键“↓”确认上述选择，同时将该信息发送给MCU；

步骤392，MCU将所选择终端挂断，随后向主席终端发送“用户名+已挂断”字幕；

步骤393，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

至此，主席呼叫/挂断终端的信号流程结束。

图14所示为在单分屏模式下主席切换选中听众的信号流程。

步骤400，MCU将在其注册的一般听众列表字幕发送给主席终端；

步骤401，主席按左移键“←”或右移键“→”选择所要切换的一般听众，按上移键“↑”或下移键“↓”确认上述选择，同时将该信息发送给MCU；

步骤402，MCU将该一般听众被切换为选中听众，原选中听众切换为一般听众；

步骤403，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

至此，在单分屏模式下，主席终端切换选中听众的处理过程结束。

图15所示为在单分屏模式下指定下一轮主席的信号流程。

步骤410，MCU向新指定的主席终端即选定听众终端发送“你被指定为主席”字幕；

步骤411，MCU将新指定的主席终端即选中听众终端切换为主席终端，将原来的主席终端切换为选中听众终端；

步骤412，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

至此，在单分屏模式下指定下一轮主席的处理过程结束。

图16所示为主席终端切换分屏模式的信号流程。

步骤420，MCU向主席终端发送可用分屏模式图标(见图29)；

步骤421，主席终端使用遥控器选择所要的分屏模式并发送给MCU，具体的方法是使用左移键“←”或右移键“→”在在可用分屏模式中选择所要的分屏模式，使用下移键“↓”确认其选择，使用上移键“↑”结束分屏模式选择并将选择结果发送给MCU；

步骤422，MCU收到分屏选择信息后，将该分屏模式由当前分屏模式切换到选定的分屏模式；

步骤423，主席终端向MCU发送结束远控信号，拆除终端到MCU的远控信道；

图17、图18所示为终端呼叫MCU的信号流程。

终端呼叫MCU的处理流程分为需要密码认证和不需要密码认证两种情况。

图17为需要密码认证的终端呼叫MCU的信号流程图。

步骤430，MCU向呼入终端发送密码认证对话框字幕(见图32)；

步骤431，呼入终端向MCU发送远控信号，建立终端到MCU的远控信道；

步骤432，呼入终端使用遥控器输入由0-9组成的密码并发送给MCU，具体的方法是使用左移键“←”或右移键“→”在0-9中选择具体的数字，使用下移键“↓”确认其选择，使用上移键“↑”结束密码输入并将密码发送给MCU；

步骤433，MCU收到密码并认证通过后，将该终端分配到密码所对应的会议组，同时将该终端指定为选中听众；

步骤434，呼入终端向MCU发送结束远控信号，拆除终端到MCU的远控信道；

图18为不需要密码认证的终端呼叫MCU的信号流程图。

步骤440，MCU向呼入终端发送可选会议列表字幕(见图33)；

步骤441，呼入终端向MCU发送远控信号，建立终端到MCU的远控信道；

步骤442，呼入终端使用遥控器选择所要加入的会议组并将会议组选择信息发送给MCU，具体的方法是使用左移键“←”或右移键“→”在会议列表中选择所要加入的会议组，使用下移键“↓”或上移键“↑”确认其选择将会议组选择信息发送给MCU；

步骤443，MCU根据收到的会议组选择信息，将该终端分配到对应的会议组，同时将该终端指定为选中听众；

步骤444，呼入终端向MCU发送结束远控信号，拆除终端到MCU的远控信道；

图19所示为多分屏模式下远程摄像机控制的信号流程。

步骤450，MCU将“远程摄像机控制”的字幕叠加到发往主席终端的视频流上；

步骤451在主席终端的第一分屏上闪烁显示“远程摄像机控制”的字幕(见图28)，主席使用左移键“←”或右移键“→”移动该字幕到被控远程摄像机的视频画面，使用上移键“↑”或下移键“↓”确定所选功能，同时将选定信息发送到MCU上；

步骤452，MCU根据主席终端发来的选择被控摄像机信息，将“远程摄像机控制”字幕移动到多分屏的指定指定画面上；

步骤453，这时主席就可以通过上移键“↑”、下移键“↓”、左移键“←”、右移键“→”和缩放键“Zoom”实现对远程摄像机的控制；

步骤453，主席终端按键“NEAR”，向MCU发送结束远控信号，拆除终端到MCU的远控信道。

至此，在多分屏模式下，主席或选中听众申请远程摄像机控制的信号流程结束。

单分屏模式下远程摄像机控制的信号流程比较简单，是H.323标准终端和MCU所具有的基本功能。在本发明中，它的具体操作过程是：主席或选中听众终端收到多点控制单元发来的“远程摄像机控制”的字幕后，通过上移键“↑”、下移键“↓”、左移键“←”、右移键“→”和缩放键“Zoom”就可实现对选中听众或主席的远程摄像机的控制，按键“NEAR”，结束此控制过程；

本发明所提出的方法适用于具有远程摄像机控制功能的所有H.323视频会议系统。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1、一种基于远程摄像机遥控功能的视频会议自主控制的方法，其特征在于该方法包括以下步骤：

a、与会终端利用远程摄像机控制功能向多点控制单元发送申请控制信号；

b、多点控制单元收到该信号后，判断发送申请控制信号的与会终端的身份是一般听众、选中听众还是主席，并动态生成与该身份的控制要求相应的控制菜单，将该控制菜单以透明字幕、图标或对话框的方式与发往相应目的终端的视频流相叠加；

c、目的终端的屏幕上显示经解码后的多点控制单元发来的叠加了控制菜单字幕的视频图像，操作者通过会议终端遥控器选择并确认所要实现的控制操作，同时MCU根据需要适时生成新的下一级控制字幕，并通过改变、增强或闪烁字幕背景色来突显所选择的功能；

d、目的终端将带有最终选择确认信息的信号再次发送给多点控制单元，使多点控制单元依据该信息完成相关终端呼叫、挂断、远程摄像机控制、分屏及画面的切换会议管理控制功能。

e、在会议系统设置需要呼入终端的密码认证的情况，当有终端呼叫MCU要求参加某个会议时，MCU向该终端发送呼入密码认证对话框，终端使用遥控器输入密码并经过MCU认证通过后，MCU将它安排到与密码相关联的特定会议，如果需要还可以指定该终端在会议中的身分；在会议系统设置不需要呼入终端的密码认证的情况，MCU向呼入终端发送可选会列表，呼入终端使用遥控器选择要参加的会议，确认后直接被安排到选定的会议组。

2、根据权利要求1所述的方法，其特征在于步骤a所述利用远程摄像机控制功能是通过远程摄像机控制界面或视频会议终端的遥控器，采用组合键方式向多点控制单元发送申请会议自主控制信号。

3、根据权利要求1或2所述的方法，其特征在于该方法进一步包括：步骤b所述的多点控制单元判断与会终端的身份之前，先根据自身设置画面个数的参数判断与会终端的分屏模式，如果是单分屏模式，则执行单分屏模式下与与会终端身份相对应的多点控制单元会议自主控制功能的处理步骤，如果是多分屏模式，则执行多分屏模式下与与会终端身份相对应的多点控制单元会议自主控制功能的处理步骤。

4、根据权利要求1所述的方法，其特征在于，

所述步骤b为：

单分屏模式下一般听众发送申请控制信号，则相关控制字幕为该一般听众的用户名加申请选中听众的控制菜单字幕，目的终端为主席；

多分屏模式下一般听众发送申请控制信号，则相关控制字幕为该一般听众的用户名加申请加入多分屏的控制菜单字幕，目的终端为主席；

所述步骤d为：

单分屏模式下，主席终端收到该控制字幕后，进入控制状态并确认是否接受该申请，如果接受，则多点控制单元向该一般听众发送接受申请的字幕，并将该一般听众切换为选中听众，否则，多点控制单元向该一般听众发送拒绝申请的字幕信息；

多分屏模式下，主席终端收到该控制字幕后，进入控制状态并确认是否接受该申请，如果接受，则在确定被替换画面后，多点控制单元向该一般听众发送接受申请的字幕信息，并将该一般听众切换为选中听众，否则，多点控制单元向该一般听众发送拒绝申请的字幕信息。

5、根据权利要求4所述的方法，其特征还在于，所述步骤d在多分屏模式下所确定的被替换画面是除去主席画面的其它几个画面之一。

6、根据权利要求4所述的方法，其特征在于所述步骤d进一步包括：

单分屏模式下，主席终端收到该控制字幕后，多点控制单元判断主席终端的响应时间是否超时，如果是，则多点控制单元直接向该一般听众发送接受申请的字幕，并将该一般听众终端切换为选中听众终端，否则按主席终端的意图执行；

多分屏模式下，主席终端收到该控制字幕后，多点控制单元判断主席终端的响应时间是否超时，如果是，则多点控制单元向该一般听众发送接受申请的字幕后，按预定策略将该一般听众终端切换为选中听众终端，否则按主席终端的意图执行；

上述预定策略是用一般听众替换掉未发言时间最长的选中听众，或最先进入多分屏的选中听众。

7、根据权利要求1所述的方法，其特征在于，

所述步骤b为：

单分屏模式下选中听众发送申请控制信号，则相关控制字幕为申请远程摄像机控制和申请主席的字幕，目的终端分别为选中听众本身和主席终端；

多分屏模式下选中听众发送申请控制信号，则相关字幕为申请远程摄像机控制的字幕，目的终端为选中听众本身；

所述步骤d为：

单分屏模式下，若选中听众选择远程摄像机控制，则多点控制单元根据选中听众所发的控制消息实现对远程摄像机的控制，若选中听众选择申请主席，则多点控制单元向主席终端发送该选中听众的用户名加申请主席的字幕，并判断主席终端是否接受该申请，如果接受，则向该选中听众发送接受申请的字幕，并将该选中听众切换为主席，将主席切换为选中听众，否则，向该选中听众发送拒绝申请的字幕；

多分屏模式下，选中听众首先确定被控画面，然后向多点控制单元发送控制消息实现对远程摄像机的控制。

8、根据权利要求7所述的方法，其特征在于，所述步骤d进一步包括：单分屏模式下，多点控制单元判断主席终端响应时间是否超时，如果是，则多点控制单元直接向该选中听众发送接受申请的字幕信息，并将该选中听众终端切换为主席，将主席切换为选中听众，否则按主席终端的意图执行。

9、根据权利要求1所述的方法，其特征在于，

所述步骤b为：

单分屏模式主席发送申请控制信号，则相关字幕为申请远程摄像机控制、切换选定听众、指定下一轮主席、呼叫/挂断终端和分屏模式切换的字幕，目的终端为主席终端；

多分屏模式主席发送申请控制信号，则相关字标为申请远程摄像机控制、邀请一般听众加入多分屏、呼叫/挂断终端和分屏模式切换的字幕，目的终端为主席终端；

所述步骤d为：

单分屏模式下，若主席选择远程摄像机控制，则多点控制单元根据主席所发的控制消息实现对远程摄像机的控制；若主席选择切换选定听众，则多点控制单元将一般听众的注册信息列表字幕发送给主席终端，主席使用会议终端遥控器确定其所要选择的一般听众，多点控制单元依据主席终端所发的确认信息，将主席所选的一般听众切换为选中听众；若主席选择指定下一轮主席，则多点控制单元向选中听众发送你被指定为主席的字幕信息，并将该选中听众切换为主席，将主席切换为选中听众；若主席选择呼叫/挂断终端，则多点控制单元将在其注册的所有终端注册信息列表和会议组列表字幕发送给主席终端，主席使用会议终端遥控器确定其所要选择呼叫或挂断的终端或会议组，或直接输入被呼叫/挂断终端的号码，多点控制单元依据主席终端所发的确认信息判断所选的终端或会议组是在线还是离线。若该终端或会议组是在离线状态，则将其呼叫上来。进一步如果呼上来的是一个终端，则将其指定为选中听众；若该终端或会议组是在在线状态，则将其挂断；若主席选择分屏模式切换，则多点控制单元将当前可用的所有分屏模式图标发送给主席终端，主席使用会议终端遥控器确定其所要选择的分屏模式，多点控制单元依据主席终端所发的确认信息将分屏模式由当前分屏模式切换到所选择的分屏模式。

在多分屏模式下，若主席选择远程摄像机控制，则首先确定被控画面，然后向多点控制单元发送控制消息实现对远程摄像机的控制；若主席选择邀请一般听众加入多分屏，则首先确定被替换画面，多点控制单元将一般听众的注册信息列表字幕发送给主席终端，主席确定其所要选择的一般听众后，多点控制单元依据主席终端所发的确认信息，将所选的一般听众切换为选中听众；若主席选择呼叫/挂断终端，则多点控制单元将在其注册的所有终端注册信息列表和会议组列表字幕发送给主席终端，主席使用会议终端遥控器确定其所要选择呼叫或挂断的终端或会议组，或直接输入被呼叫/挂断终端的号码，多点控制单元依据主席终端所发的确认信息判断所选的终端或会议组是在线还是离线。若该终端或会议组是在离线状态，则将其呼叫上来。进一步如果呼上来的是一个终端，则将其指定为选中听众；若该终端或会议组是在在线状态，则将其挂断；若主席选择分屏模式切换，则多点控制单元将当前可用的所有分屏模式图标发送给主席终端，主席使用会议终端遥控器确定其所要选择的分屏模式，多点控制单元依据主席终端所发的确认信息将分屏模式由当前分屏模式切换到所选择的分屏模式。

上述步骤d终端注册信息列表字幕是由一系列终端用户名和终端的E.164号码或终端IP地址构成的终端注册信息组成的序列。

上述步骤d会议组列表是由一系列会议组组成的序列，会议组是由一系列参加同一个会议的终端注册信息组成的序列，是这些终端要参加的会议的会议名称。

上述步骤d终端屏幕不能容纳所有终端注册信息列表或会议组列表字幕时，通过左移键或右移键将终端信息列表字幕上移或下移，以便能够在一个有限的屏幕上显示所有的终端注册信息列表或会议组列表字幕信息。

上述步骤d多点控制单元的当前可用的分屏模式是由所在会议的当前在线终端数量、多点控制单元的能力和能力设置决定的。

上述步骤d多点控制单元按在线终端的呼叫先后顺序构成呼叫列表，当主席将画面数较少的分屏模式切换到画面数较多的分屏模式时，多出来的画面位置依次由呼叫列表中排在前面并且不在当前多分屏的终端来占据；当主席将画面数较多的分屏模式切换到画面数较少的分屏模式时，首先保留主席的画面，其它画面位置依次由呼叫列表中排在前面的终端来占据。

上述步骤d若主席选择呼叫/挂断终端，则多点控制单元将“1.呼叫/挂断会议组/2.直接输入被呼叫/挂断终端号码/3.呼叫/挂断列表中的终端”字幕发送给主席终端，供主席选择不同的呼叫/挂断终端的方式。如果选择“1.呼叫/挂断会议组”，MCU向主席终端发送所有会议组列表，主席终端用户使用左移键“←”和右移键“→”选择所需的会议组，使用下移键“↓”确认所做的选择，使用上移键“↑”结束会议组的选择并执行呼叫或挂断操作。若该会议组是在离线状态，则将该会议组中的所有终端呼叫上来；若该会议组是在在线状态，则将该会议组中的所有终端挂断；如果选择“2.直接输入被呼叫/挂断终端号码”，MCU向主席终端发送0--9十个数字按钮图标，在主席终端屏幕上就显示出0--9十个数字按钮。主席终端用户使用左移键“←”和右移键“→”选择所需的数字，使用下移键“↓”确认所做的选择，使用上移键“↑”结束终端号码输入并向MCU发送选择消息，由MCU执行呼叫或挂断操作。若该终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若该终端是在在线状态，则将其挂断。若该终端不在注册终端列表中，则将其加入到注册终端列表中；如果选择“3.呼叫/挂断列表中的终端”，MCU将功能选择字幕和所有终端注册信息列表列表组成的字幕列表发送给主席终端，这个字幕列表的第二行是“呼叫所有终端”字幕，第三行是“挂断所有终端”，最后一行是“退出呼叫/挂断”字幕，其它行是由终端用户名、终端号码和IP地址加星号“*”分隔符组成的终端注册信息列表字幕，主席终端用户使用左移键“←”和右移键“→”选择所需的功能或要被呼叫/挂断的终端，使用下移键“↓”确认所做的选择，使用上移键“↑”结束功能或终端选择并向MCU发送选择消息。多点控制单元接收到该消息后，首先判断所选的终端是在线还是离线，若被操作的终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若被操作的终端是在在线状态，则将其挂断。若选择呼叫所有终端或挂断所有终端选项，MCU将该会议组的所有终端呼叫或挂断；

上述步骤d在多分屏模式下所确定的被替换画面是除去主席画面的其它几个画面之一。

10、根据权利要求9所述的方法，其特征在于所述步骤d进一步包括，多分屏模式下，多点控制单元判断主席终端选择被替换画面的响应时间是否超时，如果是，则多点控制单元直接按预定策略替换满足条件画面，否则按主席的意图执行；

上述预定策略是用一般听众替换掉未发言时间最长的选中听众，或最先进入多分屏的选中听众。

11、根据权利要求9所述的方法，其特征在于，步骤d所述主席呼叫或挂断终端的方式：主席依据终端注册信息列表中的IP地址、E.164号码、终端用户名或别名选择被叫或被挂终端；多点控制单元接收到该消息后，首先判断所选的终端是在线还是离线，若该终端是在离线状态，则将其呼叫上来，并将其指定为选中听众；若该终端是在在线状态，则将其挂断，同时多点控制单元生成新的字幕——被呼上和被挂断终端的用户名加上“已呼通”/“已挂断”字幕，它们之间用*号隔开，并发送给主席终端。这时主席可以选择退出呼叫/挂断，也可以选择继续呼叫或挂断其它终端。

上述在终端注册信息列表中，用不同颜色的字幕来区别终端是在线，还是离线。

12、根据权利要求1所述的方法，其特征在于，所述步骤b是根据与会终端的注册信息判断发送申请控制信号的与会终端身份。

13、根据权利要求9或12所述的方法，其特征在于，所述注册信息至少包括终端的E.164号码、用户名、别名、终端IP地址、终端型号及属性和当前状态。

14、根据权利要求1所述的方法，其特征在于，

所述步骤b是将控制菜单以透明字幕、图标或对话框的方式叠加在发往相应目的终端的视频流上；

所述步骤c为：目的终端对由MCU发来的视频流解码后，在屏幕上就显示出已经叠加了控制字幕、图标或对话框的视频图像，操作者通过终端遥控器的远程摄像机控制键“FAR”、左移键“←”或右移键“→”来选择所要的功能，多点控制单元接收到目的终端发来的控制信息后，改变、增强或闪烁字幕颜色或字幕背景色来突显所选定的功能，MCU将改变后控制字幕回传给目的终端，以便使操作者知道自己完成了哪些操作。通过上移键“↑”、下移键“↓”确认所选功能，MCU收到确认信息后，或执行相应的控制操作或产生下一级控制字幕。

15、根据权利要求1所述的方法，其特征在于，

所述步骤e公开了一种呼入终端安全认证和在多个会议组中选择进入指定会议组的方法；

上述方法进一步包括：步骤e所述在会议系统设置需要呼入终端的密码认证的情况，当有终端呼叫MCU要求参加某个会议时，MCU向该终端发送呼入密码认证对话框及0-9十个数字按钮图标，终端使用遥控器在十个数字按钮中选择所需的数字，并通过改变、增强或闪烁数字按钮的背景色来突显所选择的数字，输入完密码并经过MCU认证通过后，MCU将它安排到与密码相关联的特定会议。终端的呼入密码与特定的会议是直接关联的，MCU能够识别该呼入密码与所有在线会议组中某一个会议组的对应关系，并据此将该呼入终端安排到与密码对应的会议中；

上述方法进一步包括：步骤e所述将终端呼入密码不仅与特定的会议组相关联，进一步还将终端呼入密码与该终端在会议的身分相关联。当某一终端呼叫MCU，MCU则向该终端发送要求输入密码的对话框，终端输入密码并通过MCU的认证后，MCU将该终端安排在于呼入密码对应的会议中，同时还指定该终端在会议中的身分，如主席、或选中听众或一般听众；

上述方法进一步包括：步骤e所述在会议系统设置不需要呼入终端的密码认证的情况，MCU向呼入终端发送由会议名称组成的可选会列表，呼入终端使用遥控器在可选会议列表中选择要参加的会议，MCU通过改变、增强或闪烁字幕背景色来突显所选择的会议，确认后直接被安排到所选定的会议组。会议名称可以由汉字、英文、数字串、字母串或这几种的混合组成；

上述方法进一步包括：在步骤e中还可以将呼入密码认证与通过会议列表选择会议过程相结合。终端呼入密码认证仅作为安全认证的一种手段，与具体参加的会议无关联。如前所述，当有终端呼叫MCU要求参加某个会议时，MCU向该终端发送呼入密码认证对话框及0-9十个数字按钮图标，终端使用遥控器在十个数字按钮中选择所需的数字，并通过改变、增强或闪烁数字按钮的背景色来突显所选择的数字，输入完密码并经过MCU认证通过后，MCU向呼入终端发送由会议名称组成的可选会列表，呼入终端使用遥控器在可选会议列表中选择要参加的会议，MCU通过改变、增强或闪烁字幕背景色来突显所选择的会议，确认后直接被安排到所选定的会议组；

上述方法进一步包括：步骤e所述在会议的进行中，有终端呼入申请加入会议，如果系统设置需要会议主席的准许，则MCU完成终端密码认证后向会议主席某某终端发送申请加入会议的字幕。如果会议主席准许该终端加入会议，则MCU将它分配到该会议组中。如果会议主席拒绝该终端加入会议，则MCU向它发送拒绝加入会议的字幕信息并拆掉与它的连接。

上述方法进一步包括：步骤e所述呼入密码是由会议管理人员制定、保管和分发的由0-9十个数字按照一定规则组成的长度大于四的数字串。一个密码对一个会议，一个会议可以有多个密码。一个会议的多个不同密码可以表征使用不同密码的终端在会议具有不同的身分和其它特征。

Images