CN101572794B - 会议终端、会议服务器、会议系统及数据处理方法 - Google Patents

Abstract

本发明实施例提供一种会议终端、会议服务器、会议系统及数据处理方法，其中，会议终端包括：标记获取模块，用于获取标记数据信号；图像获取模块，用于获取图像数据信号；叠加模块，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；输出模块，用于输出所述混合图像数据信号。通过采用本发明的实施例，可以提高视频会议用户的参与感，提高讨论效率。

Description

会议终端、会议服务器、会议系统及数据处理方法

技术领域

本发明涉及视频会议系统，特别是指一种会议终端、会议服务器、会议系统及数据处理方法。

背景技术

在最早的视频会议中，人们只能通过图像和声音进行交互，后来H.261协议允许视频会议的参与者通过活动视频通道传递4CIF大小的静止图文，以便参与者之间分享胶片，但是这种分享是通过抢占活动视频通道来实现的，一方面胶片分辨率不高，另一方面传输胶片时会引起活动视频出现停顿。

后来，H.239标准协议的出现，参与者可以创建一个辅流通道单独传输胶片，而用主流通道来传输活动视频，使得活动视频和胶片传送互不影响。一种典型的应用场景如图1所示，会议终端12同时接收到摄像机11摄入的会议图像和计算机10的文件(如PPT或Word文档)，并对摄像机11摄入的会议图像和计算机10的文件经过视频编码(通常采用H.263或者H.264等编码标准)后，通过H.239协议标准提供的通道将两路视频流同时发送给MCU(多点控制单元)13，MCU 13再转发给其他的与会终端14，终端14在接收到两路视频流后，进行解码，即可得出两路不同的视频图像，并在投影仪16或者电视机15上进行显示。通过这种方式，任意一个与会者都可以向所有人共享自己的文档，实现了一个简单的数据交互。然而，H.239的这种胶片共享的方式最大缺点是：参与者不能交互，主讲者在对胶片进行阐述时，其它的参与者只能看胶片，不能在胶片上作标记，因此降低了讨论效率，讨论者参与感不强。

针对这种现象，在现有技术中，出现了一种利用在电子白板上做标记，以达到视频会议的参与者相互交互的目的，如图2所示，在会议服务器侧放置一台电子白板服务器20，每一个视频会议终端放置一台电子白板客户端，如客户端21，客户端22，客户端23，客户端24和客户端25等，这些客户端通常为一台PC，有的客户端还可以是会议子系统中的会议服务器或者会议客户机等，所有的客户端都通过网络连接在到该电子白板服务器20上，该电子白板服务器20启动一个电子白板，该电子白板可以是空白背景，也可以以图片或者胶片作为背景；电子白板服务器20将电子白板上的内容以图片的方式发送给所有客户端，因此，每个客户端都可以看到相同的内容；与会者通过客户端在电子白板上做一些标记：如画线、画圆、输入文字等操作，这些操作都被传到电子白板服务器20上；电子白板服务器20接收客户端的操作后，更新电子白板的内容，再把更新后的电子白板内容发送给所有客户端，因此实现了所有的参与者共享白板进行讨论的目的。但这种方式在使用范围上受到限制，如用户不能在胶片上进行做标记，即该系统无法实现共享作标记的胶片，另外，该系统需要再建一套电子白板系统，每个会场至少配备一台计算机，增加了系统复杂度和建设成本。

现有技术中，与上述在电子白板上做标记的方式相似的还有一种远程协作的方法，如图3所示，该系统中包括一个远程协作服务器30，每一个视频会场配备一台计算机，如计算机31，计算机32，计算机33，计算机34等，这些计算机通过网络与远程协作服务器30连接，需要共享自己桌面的会场开启一个远程协作服务，将自己的计算机桌面图像(如PPT，Word文档等)共享给所有与会者；其他会场的与会者可通过本地计算机连接到远程协作服务器30后，就可看到远程协作服务器30共享的计算机桌面，并且通过本地的鼠标、键盘等操作也会传给远程协作服务器30，因此所有的与会者可以共同操作同一个应用程序，如PPT、Word等。但这种系统同样需要再建一套远程协作的系统，每个会场至少配备一台计算机，增加系统的复杂度和成本；更重要的是，需要为每个会场的每台计算机中配置特殊的远程协作参数，且使用者需要操作两套系统，如一个共享的远程系统，一个本地的系统，并且要共享PPT、Word等文档需要事先拷贝到会场的计算机中，不能实现笔记本电脑这样的计算机即插即用的特性，操作不方便。

综上，发明人在实现本发明的过程中，发现现有技术至少存在如下问题：

在视频会议系统中，与会者进行数据交互时，现有的视频会议系统为与会者提供的交互数据受到限制，如在电子白板的系统中，为胶片做标记就不能实现，且电子白板等视频会议系统复杂，成本高。

发明内容

本发明要解决的技术问题是提供一种会议终端、会议服务器、会议系统及数据处理方法，在不增加会议系统复杂度的情况下，允许任意会议终端之间进行数据交互，提高会议用户的讨论效率。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一方面，提供一种会议终端，包括：

标记获取模块，用于获取标记数据信号；

图像获取模块，用于获取图像数据信号；

叠加模块，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；

输出模块，用于输出所述混合图像数据信号。

另一方面，提供一种会议服务器，包括：

图像数据接收模块，用于接收会议终端发送的图像数据信号；

标记接收模块，用于接收会议终端发送的标记数据信号；

叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

发送模块，用于发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。

再一方面，提供一种会议系统，包括：第一会议终端，会议服务器和至少一个第二会议终端；其中，

所述第一会议终端包括：

图像获取模块，用于获取所述会议服务器发送图像数据信号；

标记发送模块，用于获取标记数据信号，并向所述会议服务器发送标记数据信号；

所述会议服务器包括：

图像数据接收模块，用于接收所述图像数据信号；

标记接收模块，用于接收所述标记数据信号；

叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

发送模块，用于向所述第一会议终端和所述至少一个第二会议终端发送所述混合图像数据。

所述至少一个第二会议终端，用于接收并显示所述混合图像数据。

还提供一种会议系统，包括：第一会议终端，会议服务器和至少一个第二会议终端；其中，所述第一会议终端包括：

图像获取模块，用于获取所述会议服务器发送图像数据信号；

标记发送模块，用于获取标记数据信号，并向所述会议服务器发送所述标记数据信号；

所述会议服务器用于接收所述图像数据信号和所述标记数据信号，并转发；

所述至少一个第二会议终端包括：

第一定时器，用于产生第一时间间隔值；

图像获取模块，用于获取所述会议服务器转发的图像数据信号；

第一外部标记获取模块，用于获取所述会议服务器转发的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第一叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第一混合图像数据信号；

显示模块，用于显示所述第一混合图像数据信号。

还提供一种会议系统，包括：第一会议终端，会议服务器和至少一个第二会议终端；其中，所述第一会议终端包括：

第一定时器，用于产生第一时间间隔值；

第二定时器，用于产生第二时间间隔值；

第一内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第二内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号；

第二叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据；

第二发送模块，用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据，或者通过辅流通道向所述会议服务器发送所述第二混合图像数据；

所述会议服务器，用于接收所述第二混合图像数据，并转发；

所述第二会议终端，用于接收所述第二混合图像数据并显示。

本发明的实施例还提供一种数据处理方法，包括：

获取图像数据信号；

获取标记数据信号；

将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；

输出所述混合图像数据信号。

本发明的实施例还提供一种数据处理方法，包括：

接收会议终端发送的图像数据信号和标记数据信号；

对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。

本发明的实施例具有以下有益效果：

上述技术方案中，会议终端将其获取的图像数据信号和标记数据信号进行叠加，生成混合图像数据信号，如该混合图像数据信号为添加了标记的胶片，在不增加会议系统复杂度的情况下，该会议终端允许与会者在观看胶片的时候，同时在胶片上画上自己的标记，提高视频会议用户的参与感，提高讨论效率。

附图说明

图1为现有技术中会议系统的应用场景结构示意图；

图2为现有技术中会议系统中，利用电子白板进行交互的应用场景结构示意图；

图3为现有技术中的会议系统，利用远程协作服务器进行交互的应用场景结构示意图；

图4为本发明的实施例会议终端的整体结构示意图；

图5为图4所示的会议终端的一具体结构示意图；

图6为图5所示的会议终端接收本地标记数据信号，并在本地叠加，形成混合图像数据的一具体结构示意图；

图7为图5所示的会议终端在发送本地的标记数据信号时，第一令牌控制模块从H.239的辅流通道中先申请令牌，得到令牌后再开始记录和发送标记数据信号的结构示意图；

图8为图5所示的会议终端接收外部标记数据信号，并在本地叠加，形成混合图像数据的一具体结构示意图；

图9为图8中的第一外部标记获取模块的具体结构示意图；

图10为图5所示的会议终端在进行本地叠加时，第二令牌控制模块从H.239的辅流通道中先申请令牌，得到令牌后再进行叠加，形成混合图像数据的结构示意图；

图11为图1所示会议终端的另一具体结构示意图；

图12为会议终端的一具体结构示意图；

图13为会议终端的一具体应用场景示意图；

图14为会议终端的另一具体应用场景示意图；

图15为会议终端的又一具体应用场景示意图；

图16为本发明的实施例会议服务器的结构示意图；

图17为图16所示会议服务器的一具体实施例结构示意图；

图18为本发明的实施例的一种会议系统结构示意图；

图19为图18所示会议系统的多MCU级联的应用场景示意图；

图20为本发明的实施例的另一种会议系统结构示意图；

图21为图20所示会议系统的多MCU级联的应用场景示意图；

图22为本发明的实施例的又一种会议系统结构示意图；

图23为图22所示会议系统的多MCU级联的应用场景示意图；

图24为本发明的实施例的数据处理方法的流程示意图；

图25为本发明的实施例的另一数据处理方法流程示意图。

具体实施方式

为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明的实施例针对现有技术中不能将H.239标准的双流功能和类似电子白板任意添加标记的功能结合起来，使用户的参与感不强的问题，提供一种会议终端，会议服务器，会议系统及会议系统中数据处理的方法。

会议终端的实施例一：

如图4所示，为会议终端的实施例结构示意图，本发明的实施例会议终端40包括：

标记获取模块41，用于获取标记数据信号；

图像获取模块42，用于获取图像数据信号；

叠加模块43，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；

输出模块44，用于输出所述混合图像数据信号，该混合图像数据信号既可以输出到本地会议终端的显示屏上进行显示，也可以输出到会议服务器，如MCU，再由MCU转发给其他的会议终端。

这里的会议终端40可以为视频会议中的某一会场的终端，具体来讲，可以为一个会议终端服务器，负责对会场中多个输入设备的信号进行管理，该输入设备可以是一个音频输入设备、视频输入设备、电子白板或者书写屏等，当然该会场中，还可以包括：用于视频信号输出的图像显示设备(如普通显示器)、用于音频信号输出的音箱等；图像数据信号可以为胶片或者类似胶片的文件等，标记数据信号为圆圈，批注等，该会议终端40将其接收的图像数据信号和标记数据信号进行叠加，生成混合图像数据信号，如该混合图像数据信号为添加了标记的胶片，在不增加会议系统复杂度的情况下，该会议终端允许与会者在观看胶片的时候，同时在胶片上画上自己的标记，提高视频会议用户的参与感，提高讨论效率。

会议终端实施例二：

如图5所示，在会议终端实施例一的基础上，该会议终端40还可以包括：第一定时器45，用于产生第一时间间隔值；第二定时器46，用于产生第二时间间隔值；这两个定时器在具体实现时，也可以为同一定时器，该定时器可以输出两个时间间隔值；

相应的，上述标记获取模块41包括：第一标记获取模块411，用于接收所述标记数据信号，并按照该第一时间间隔值输出上述标记数据信号，产生第一标记数据信号；该第一时间间隔值是用来控制标记数据信号在本地会议终端的显示屏幕上显示的，保证了本地显示屏的实时显示效果，该第一时间间隔值一般设得比较短，如果该会议终端40的显示屏幕为一电视机，则该第一时间间隔值的最佳间隔是与该电视机的帧间隔相同。

第二标记获取模块412，用于获取上述标记数据信号，并按照该第二时间间隔值输出上述标记数据信号，产生第二标记数据信号；由于该标记数据信号发送到远端的会议终端时，需要在H.239辅流通道中进行传输，因此该第二时间间隔值不宜设定的太短，为了降低传输的数据量，可以将该第二时间间隔值设定的大一些，如1秒一次。

会议终端实施例三：

如图6所示，上述会议终端实施例二中的第一标记接收模块411可以具体为：第一内部标记获取模块4110，用于获取本地会议终端发送的标记数据信号，并按照该第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；如用户通过本地会议终端的触摸屏幕在图像获取模块42所接收的图像数据信号(如胶片，该胶片可以是本地的胶片，也可以是接收到远端会议终端发送的胶片)上，添加了圆圈标记，该第一内部标记获取模块4110就会按照第一时间间隔值输出该圆圈标记，产生第一标记数据信号。

另外，上述第二标记获取模块412也可以具体为：第二内部标记获取模块4120，用于接收本地会议终端发送的标记数据信号，并按照上述第二时间间隔值输出该标记数据信号，产生第二标记数据信号。

该会议终端还包括一标记编码模块47和标记发送模块48，其中上述第二内部标记获取模块4110所产生的第二标记数据信号传输至该标记编码模块47，该标记编码模块47将该第二标记数据信号进行编码，产生第三标记数据信号；该第三标记数据信号传输至该标记发送模块48，该标记发送模块48通过H.239协议的辅流通道向会议系统中的会议服务器发送该第三标记数据信号，再由该会议服务器转发给其他的会议终端。

会议终端的实施例四：

如图7所示，在上述会议终端的实施例中，会议终端在与会议服务器和其他会议终端进行传输数据的过程中，采用H.239协议的辅流通道或者自定义通道进行传输，而H.239的主流用于传输活动视频，这样，使静态图像数据的传输和活动视频的传输不冲突。而采用H.239的辅流通道进行传输上述本地会议终端产生的标记数据信号或者混合图像数据时，为了保证会议系统中各个会议终端之间的传输不混乱，采用令牌互斥的方式进行，先判断该H.239的辅流通道是否支持标记辅流，如果支持，则该会议终端40还可包括：

第一令牌控制模块49，用于在所述H.239协议的辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第一控制信号；

上述标记发送模块48根据该第一控制信号通过H.239协议的一个辅流通道向会议服务器发送该第三标记数据信号。

也就是说，当前会议终端T1在发送自己的标记数据信号前，先申请一令牌后，自己的标记数据信号才允许在本地显示和发送到远端会议服务器，再由会议服务器转发给其他的会议终端；而系统中的其它会议终端T2要想发送自己的标记数据信号，也必须先申请令牌后，才可以发送自己的标记数据信号，当前的令牌拥有者由会议终端T1变成了会议终端T2，这样可以保证多个会议终端发送标记数据信号不被打乱。

会议终端的实施例五：

如图8所示，上述所有会议终端的实施例中，该会议终端还应当具有接收功能，具体来讲，上述第一标记获取模块411具体为：

第一外部标记获取模块4111，用于接收会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号，并按照上述第一定时器45产生的第一时间间隔值输出该标记数据信号，产生第一标记数据信号。

该叠加模块43具体为：第一叠加模块430，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第一混合图像数据信号；

上述输出模块44具体为：第一发送模块440，用于向本地会议终端的显示屏幕上发送该第一混合图像数据，并显示。

会议终端实施例六：

如图9所示，在一个讨论过程中，可能会有多个会场的会议终端需要同时作标记，为了保证不同会场的标记数据信号的顺序不被打乱，需要进行互斥处理，在上述会议终端实施例五的基础上，当该第一标记获取模块411接收到多个会议终端发送的标记数据信号时，该第一外部标记获取模块4111包括：

第一外部标记获取子模块41110，用于接收会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号；

至少一个解码器，如解码器1，解码器2，解码器3等，这里的每一个解码器对应一个会场，也就是说，一个会场(即一个其他会议终端)发送来的标记数据信号均进入一个解码器进行解码，各个解码器对接收到的标记数据信号解码后，生成一标记数据信号队列；

标记输出模块41111，用于按照上述第一时间间隔值和该标记数据信号队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。之后再将这些第一标记数据信号顺序送入第一叠加模块430中进行叠加，为了保证在叠加时，能够区分出是那个会议终端发送的标记数据信号，每个会议终端在发送自己的标记数据信号时，要包括自己的会议号，终端号和相应的标记数据信号的内容，这些标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图；在使用矢量图或二值位图的时候，可以由会议服务器MCU随机给每个会议终端分配一种填充颜色，会议终端的叠加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充；在使用YUV、RGB等彩色位图表示轨迹的时候，系统中必须统一指定一种透明颜色，以便接收端能正确识别出轨迹的位置与胶片叠加，这样可以保证标记数据信号和图像数据信号叠加后，每一个会场的混合图像数据的完整性。

在一会议终端接收到其他的会议终端发送的标记数据信号时，同时该会议终端又收到了一个图像数据信号，此时该会议终端就会将其接收到的图像数据信号和标记数据信号进行叠加，形成完整的混合图像数据，这样该会议终端也就知道对方对当前的图像数据作了那些标记。

会议终端的实施例七：

如图10所示，当会议系统不支持标记辅流时，此时会议终端只能向其他终端发送混合图像数据，而该混合图像数据是在本地会议终端上叠加生成的，为了保证各个终端发送的混合图像数据的顺序，上述会议终端40还可包括：

第二令牌控制模块50，用于在H.239协议的另一个辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第二控制信号，叠加模块43在得到该第二控制信号时，就可以开始记录标记数据信号和图像数据信号，并对图像数据信号和标记数据信号进行叠加，生成混合图像数据信号。

也就是说，会议终端T1在其接收到的胶片上添加标记之前，先申请H.239辅流通道控制令牌，在得到令牌后，开始记录用户添加的标记数据信号，并将该标记数据信号叠加到胶片上，形成一混合图像数据，将编码后的混合图像数据通过辅流通道发送给会议服务器，再由会议服务器转发给其他的会议终端。其他会议中的会议终端如果想添加自己的标记数据信号，也进行同样的动作，这样通过不断的切换H.239辅流通道发送令牌，各个会场的会议终端都可以将自己的标记添加到该胶片上。

相应的，上述叠加模块43具体为：第二叠加模块431，用于根据上述第二令牌控制模块50产生的第二控制信号，将上述图像数据信号和该第一标记数据信号进行叠加，生成第二混合图像数据，如添加了标记的胶片；

上述输出模块44具体为：第二发送模块441，用于向该本地会议终端的显示屏幕上发送该第二混合图像数据，或者通过H.239协议的辅流通道向会议服务器发送所述第二混合图像数据。这样，该第二混合图像数据可以本地会议终端上显示，用户在触摸屏上添加标记之后，就会及时地看到自己绘制的标记轨迹，也同样可以通过H.239协议的辅流通道向会议服务器发送该第二混合图像数据，再由该会议服务器转发给其他的会议终端，这样其他的会议终端就能看到当前该用户添加标记后的胶片了。

会议终端的实施例八：

如图11所示，上述各图中所示实施例的会议终端40中，还可包括：

图像数据保存模块51，用于在本地会议终端上保存所述混合图像数据。在会议进行过程中，每一个添加过标记的胶片都可以在本地会议终端上保存，以便记录会议的过程。

标记擦除模块52，用于将所述混合图像中的标记数据信号进行擦除；用户在添加标记数据信号的过程中，可以将其已经添加的标记数据信号擦除，在令牌控制模式下，令牌所有者可以发一条指令让叠加模块43擦除已经添加的标记；

图像发送模块53，用于将内部图像获取模块420所接收的本地会议终端的图像数据信号向会议服务器发送，再由会议服务器转发给其他的会议终端，这样其他的会议终端均可以观看到本地会议终端的图像数据。

另外，上述图像获取模块42包括：内部图像获取模块420，用于获取本地会议终端发送的图像数据信号；外部图像获取模块421，用于获取会议服务器发送的其他会议终端的图像数据信号；

在上述的所有实施例中，图像获取模块42所接收的图像数据信号除了可以为胶片，还可以为一白色背景，该白色背景由会议终端的输入设备产生，如通过触摸屏绘制标记后系统自动生成一白色背景，所有用户标记数据信号都会叠加在该白色背景上，这样用户使用起来更加方便和随意。

会议终端的实施例九：

如图12所示，在上述所有实施例中，会议终端40所在会场中，可包括多个输入设备，这些输入设备可以为：音频输入设备、视频输入设备、电子白板或者书写屏等，这些输入设备可以直接与该会议终端连接，也可以间接与该会议终端连接：为了使该会议终端40所在会场中的多个输入设备之间相互切换，则该会议终端40可以通过令牌互斥方式控制该会场中的多个输入设备，因此，该会议终端还可包括：

令牌管理模块54，用于接收本地会议终端所在会场中的一输入设备的子令牌申请，确认所述子令牌申请成功后，分配一子令牌给所述输入设备；

则上述第一内部标记获取模块4110，根据所述子令牌，获取所述本地会议终端所在会场中的所述输入设备的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

上述第二内部标记获取模块4112，根据所述子令牌，获取所述本地会议终端所在会场中的所述输入设备的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号。

也就是说，会场中，与该会议终端40连接的多个输入设备，谁得到了令牌，该会议终端就接收谁的标记数据信号；当然，对于视/音频信号，该会议终端也可以采用该令牌互斥控制方式进行控制。

另外，该会议终端40所在会场中的一个输入设备需要与一目标输入设备进行私密会话时，该会议终端40还可包括：

一私密令牌控制模块55，用于接收本地会议终端所在会场中的一个输入设备发起的与一目标输入设备进行私密会议的私密令牌申请，确认所述私密令牌申请成功后，启用一辅流通道或者自定义通道，分配一私密令牌给该输入设备。这样，该输入设备就可以通过该辅流通道或者自定义通道与目标输入设备进行私密会话。

这里的目标输入设备即可以是除该会议终端40所在会场外的其它会场中的一输入设备，也可以是该会议终端40所在会场中的一个输入设备。

另外，上述会议终端40中的标记获取模块41可以具体为一实时标记获取模块，可以实时获取标记数据信号；也可以具体为一手动标记获取模块，可以提供手动接收选项，所述手动接收选项被选择时，获取标记数据信号；

上述会议终端40中的图像获取模块42可以具体为一实时图像获取模块，可以实时获取图像数据信号；也可以具体为一手动图像获取模块，可以提供手动接收选项，所述手动接收选项被选择时，获取图像数据信号。

会议终端实施例十：

下面结合图13说明，该会议终端40所在会场的一具体应用场景，如图所示：会议终端40与多点控制单元(MCU)130连接，该会议终端经网络向多点控制单元130传送本会场中的视音频信号和数据信号(包括传统数据信号和互动电子白板产生的互动数据信号)；并接收多点控制单元130发送过来的其它会场的视音频信号和数据信号，以传送给本会场输出设备进行显示。

本会场中，还包括：至少一个输入设备，这些输入设备包括：

对于视音频信号：

音频输入设备131，通常为麦克风，捕捉本会场中的声音信号并传送给会议终端40；

视频输入设备132，通常为一个或者多个摄像头，捕捉本会场中的视频信号并传送给会议终端40；

会议终端40将接收到的视音频信号进行编码后通过网络发送给多点控制单元(MCU)130，再由多点控制单元130将会场中的编码后信号发送给其它会场进行显示。

对于数据信号：

在会场中布置一数据服务器135与会议终端40相连；作为发送端，会场中的用户在电子白板133和书写屏134上的操作数据，如添加标记数据信号等，通过一数据服务器135，发送到会议终端40；再由会议终端40发送给多点控制单元130的同时，并由多点控制单元130同时分发给其它会场中的会议终端40。

作为接收端，会议终端40将从多点控制单元(MCU)130接收到的数据信号传送给会场中的数据服务器135，数据服务器135再把数据信号传递给会场中的电子白板133和会场中的一个或者多个书写屏134；

该会场中，还包括一些信号输出设备，对于视音频信号，作为接收端，其中音频输出设备136通常为立体声扬声器，将会议终端设备40传送出来的声音信号呈现给会场中的与会者；而视频输出设备(图中未示出)，通常为一个或者多个显示屏或投影仪，将会议终端40传送过来的视频信号呈现给会场中的与会者。

在需要协作的会议中，需要与会者不断的变化角色，有可能从演讲者转变为非演讲者，也可能从非演讲者转变为演讲者。考虑现实中的真实的会议场景，演讲人通常是一个人操作完毕后，才能切换为另一个人。因此，作为优选的方案，本发明给出了如何使用控制令牌进行角色切换的操作方法：

a)整个会议系统设置一个控制总令牌，该会议系统包括至少两个会场，每个会场中设置有会议终端40，各个会场的会议终端40通过MCU130连接，并传输信号，该控制总令牌相当于上述会场令牌，一个会场中的演讲者申请得到了该会场令牌，意味着该会场目前是可以发表演讲的会场，如下述应用场景：

当前会场1中的第一演讲人已经获得了会场令牌，并在演讲当中；此时会场2中的第二演讲人请求获得会场令牌，其获得会场令牌后，第二演讲人切换为主演讲人，其所演讲的内容发送到本会场的其它终端和其它会场中的会议终端。

对应此情况，每一个人机交互设备(电子白板或者书写屏)都可以发出控制令牌申请。除主动申请令牌外，也可主动将控制令牌转移给本会场和其它会场的交互会议终端。

b)设置分级控制令牌，一个用于会议系统级的总控制令牌(相当于上述的会场令牌)，每一个会场内的与会者对应一个子令牌，此方法考虑到存有如下的应用场景：

首先在本地会场产生一个方案，获得会场内一致同意后，再将最终形成的方案分发给其它会场，此时分两种情况：

第一种情况，第一演讲人和第二演讲人在同一个会场中，第一演讲人正在演讲，在此情况下，第二演讲人申请到本会场的子令牌后，即可切换为主演讲人；第一演讲人也可主动将子令牌转交给本地会场中的第二演讲人。

第二种情况，第一演讲人和第二演讲人不在同一个会场当中，第一演讲人正在演讲，在此情况下，第二演讲人发出令牌申请后，先申请该第二演讲人所在会场的会场令牌，申请成功后；再申请会场内的子令牌，获得子令牌后，开始切换为主演讲人；第一演讲人也可主动将会场令牌转给第二演讲人所在的会场，第二演讲人所在的会场再把本地子令牌分发给第二演讲者。

特殊的，对于如下的应用场景：首先在本地会场产生一个方案，获得会场内一致同意后，再将最终形成的方案分发给其它会场，在没有在本会场取得一致意见，并启动传送功能以前，本会场中的数据服务器135并不把未完成的标记信息发送给会议终端40，而是仅仅发送给本会场中的其它与会者。在启动传送功能后，会议终端40就将获得的标记信号传递给多点控制单元130，再由多点控制单元130传递给其它会场。

该实施例中，会议终端40与多点控制单元130之间传输数据时，需要采用H.239协议，H.239协议给出了控制信道、主流通道和辅流通道，其中，主流通道用来传送会场之间的视频信号，而辅流通道则可以用于传送PPT、Word或者标记等数据信号，在传送这些数据信号时，其传输方法如上述会议终端40的实施例一至十中所述的方法，在此不再赘述，如：

a)将PPT和标注信息叠加后一起编码，在同一个信道中进行传送。

b)将PPT数据和标注信息分别编码，并在不同的信道中传送。但也可以给编码后的PPT数据和标注信息加上不同的标志，在同一个信道中进行传送。

c)演讲者为了更准确的描述展示思想，往往需要多种工具，例如不同的颜色，不同的在电子白板上的操作会实时的反映到其它会场中的显示设备上。

每一个会场中的会议终端40，接收MCU130传送来的视音频信号或者数据信号时，实时或者手动接收的应用场景如下：

1)作为发送端的会场，对应书写屏134，实时或者手动操作传送批注等数据信号：使用书写屏134的人作为演讲人，讲解PPT的同时，并在上面进行标记，例如画了一条直线，每隔固定间隔的时间就将该演讲人动作所产生的图像发送给数据服务器135或者由演讲人手动启动传输功能，数据服务器135再将此图像发送给本地会场中的电子白板133和其它的书写屏，以及会议终端40，会议终端40再发送给多点控制单元130，再由多点控制单元130转发给其它会场中的会议终端40；

作为接收端的会场，该其它会场的该会议终端40可以实时或者手动接收该多点控制单元130转发来的数据信号。

2)对应使用电子白板，并实时或者手动传送传送批注：使用电子白板133的人作为演讲人，讲解PPT的同时，并在上面进行标记，例如画了一条直线，每隔固定间隔的时间就将该演讲人动作所产生的图像发送给数据服务器135或者由演讲人手动启动传输功能，数据服务器135再将此图像发送给本地会场中的书写屏134，以及会议终端40，会议终端40再发送给多点控制单元130，再由多点控制单元130转发给其它会场中的会议终端40；

作为接收端的会场，该其它会场的该会议终端40可以实时或者手动接收该多点控制单元130转发来的数据信号。

3)在上述场景中，非演讲人所使用的电子白板、书写屏所对应的其它与会者可能需要对讲演做批注，其它与会者在接收到的屏幕上进行自己的批注。

考虑演讲人演讲和本会场和其它与会者进行批注的速度不可能时刻保持一致，此时有可能发生如下两种情况：

其它与会者在批注的第一页面和演讲者正在讲演的第二页面是同一页面。

其它与会者在批注的第一页面和演讲者正在讲演的第二页面不是同一页面。

作为一解决方案，此时需要给其它与会者的接收终端提供模态切换开关，如果仅是希望被动的接受，则可以将运行模态切换到即时更新模式，在即时更新模式下，接收终端所显示的内容随演讲者的变化而变化，此时其它与会者不能进行批注操作；如果希望进行批注，则将模式切换到批注保持模式，此时该终端的内容不随演讲者的内容进行更新，其它与会者可以进行批注。待批注完成后，将状态切换到更新模式即可。

4)在场景1～2中，批注者可能希望随时将自己的批注或者传送过来的页面进行保存，已备会议后进行总结或者回顾。简单的方法，批注者所操作的电子白板或者书写屏在启用保存功能后，将当前的批注保存到本地会场中的数据服务器135中。

5)考虑到出于保密或私下交谈的需要，可能会议当中的某两个与会者需要进行私密的交流，在此应用场景下，需要给需要进行私密交流的与会者之间启动一路辅流，在该辅流中建立一个私密令牌，两个私密交流者获得该私密令牌后，首先私密交流者1发送批注给私密交流者2；私密交流者2收到私密交流者1发送过来的批注后，再发送自己的批注信息给私密交流者1，以进行私密的交流。

如图14，作为对图13的一种变形，电子白板133和书写屏134直接和会场中的会议终端40相连，数据服务器135仅用来存储要演讲的PPT等传统数据或者批注信息。

如图15，作为对图13的另一种变形，以会议终端40为中心，电子白板133和书写屏134仅和会场中的会议终端40相连，数据服务器135和会议终端40相连，数据服务器135仅作为电子白板133中演示的数据或者演讲的PPT等传统数据或者批注信息等的存储设备。

当然该会议终端40也可以具有一存储模块，代替该数据服务器135，对数据信号进行保存；特别的，电子白板133这样的输入设备也可以具有存储功能，存储自己产生的数据信号或者其接收的会议终端转发来的其它与会者的数据信号。

上述的各个会议终端的实施例，无需增加其他的设备，在现有的H.239双流的基础上实现与会者之间的数据协作，实现会场中多个输入源，如电子白板、书写屏，与其它会场中的输入源之间的动态交互，提高用户的参与感，提高讨论效率。

会议服务器的实施例一：

如图16所示，本发明的实施例还提供一种会议服务器60，该会议服务器通常为一MCU(多点控制单元)，用在视频会议中，为视频会议中的各个会议终端提供数据的转发和服务。该会议服务器60包括：

图像数据接收模块61，用于接收会议终端发送的图像数据信号；

标记接收模块62，用于接收会议终端发送的标记数据信号；

叠加模块63，用于对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

发送模块64，用于向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。

会议服务器的实施例二：

如图17所示，上述叠加模块63在对图像数据信号和标记数据信号进行叠加时，可能会收到多个会议终端发送的标记数据信号，该叠加模块63需要对每个会议终端发送的标记数据信号进行区分，该叠加模块63具体包括：

填充模块631，用于为所述标记数据信号分配填充颜色或者透明颜色，并利用所述填充颜色或者透明颜色对所述标记数据信号进行处理，产生颜色标记数据信号；标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图表示；在使用矢量图或二值位图的时候，可以随机给每个会议终端的标记数据信号分配一种填充颜色，叠加模块63在叠加不同会场轨迹的时候使用上述填充颜色进行填充；在使用YUV、RGB等彩色位图表示标记数据信号的时候，MCU须指定一种透明颜色，以便接收会议终端能正确识别出轨迹的位置，这样可以保证标记数据信号和图像数据信号叠加后，每一个会场的混合图像数据的完整性。

处理模块632，用于将所述图像数据信号和所述颜色标记数据信号进行叠加，生成混合图像数据。

该会议服务器60在向会议终端发送混合图像数据或者标记数据信号时，还可包括：发送控制模块65，用于选择H.239协议的一辅流通道，控制所述发送模块64通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数据信号；

具体实现时，该会议服务器60还可包括：一令牌管理模块66，用于接收会议终端发送的会场令牌申请，确认所述会场令牌申请成功后，向该会议终端返回一会场令牌；该发送控制模块65根据该会场令牌，选择H.239协议的一辅流通道，控制所述发送模块64通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数据信号；

当系统中有多个会议服务器的情况下，该会议服务器还可将其叠加的混合图像数据或者会议终端发送过来的标记数据信号或者会议终端发送过来的图像数据信号转发给其他的会议服务器，再由其他的会议服务器发送给与该其他的会议服务器连接的会议终端。

该会议服务器60在会议终端不具有叠加功能时，将各个会议终端发送的图像数据信号(如胶片)和标记数据信号进行叠加，然后再转发给其他的会议终端，使会议系统中的各个会议终端都能够看到其他会议终端添加的标记，实现与会者之间的协作，提高用户的参与感，提高用户的讨论效率。

会议系统的实施例：

下面将上述的会议终端和会议服务器组成的会议系统进行介绍：

上述的会议终端和会议服务器主要可以组成以下三种应用场景：

一，会议终端1将共享的图像数据信号发送给会议服务器，会议终端2将本地的标记数据信号也发送给会议服务器，由会议服务器对图像数据信号和标记数据信号叠加后，形成一混合图像数据，再发送给所有的会议终端，会议终端接收到会议服务器发送的混合图像数据时，对该混合图像数据进行解码并显示；

二，会议终端1将共享的图像数据信号发送给会议服务器，会议终端2将本地的标记数据信号发送给会议服务器，再由会议服务器转发给所有的会议终端，会议终端在接收到图像数据信号和标记数据信号时，对图像数据信号和标记数据信号进行叠加，并显示；

三，会议终端1将共享的图像数据信号(该图像数据信号可为本地的图像数据，也可为接收到的远端的图像数据)和本地的标记数据信号在本地叠加后，生成一混合图像数据，再将混合图像数据通过H.239辅流通道发送给会议服务器，再由会议服务器转发给其他的会议终端2，其他的会议终端2接收到混合图像数据时，对该混合图像数据进行解码并显示。

上述各种应用场景中，各会议终端都是对等的，会议终端1具有在本地叠加的能力，会议终端2也具有在本地叠加的能力，会议终端1具有发送本地图像数据和标记数据信号的能力，会议终端2也具有发送本地图像数据和标记数据信号的能力。

会议系统的实施例一：

如图18所示，为上述第一种应用场景的会议系统结构示意图，该会议系统包括：会议终端71，与该会议终端71连接的一笔记本电脑72；会议服务器73；会议终端74，与会议终端74连接的带触摸屏的显示器75；会议终端76，与会议终端76连接的普通显示器77，该会议终端的个数不作限制，这里的每一个会议终端都代表一个会场；其中，上述会议终端71包括：

图像发送模块53，用于向会议服务器73发送图像数据信号；

上述会议终端74包括：

标记发送模块48，用于向会议服务器73发送标记数据信号；

会议服务器73如上述会议服务器60，包括：

图像数据接收模块61，用于接收图像发送模块53发送的图像数据信号；

标记接收模块62，用于接收所述标记发送模块48发送的标记数据信号；

叠加模块63，用于对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

发送模块64，用于向会议终端71，会议终端74，会议终端76发送所述混合图像数据。

会议终端71和会议终端76，用于接收并显示所述混合图像数据。

具体来讲，该应用场景主要包括以下流程：

1)会议终端71是需要和其他与会者共享胶片的会场，使用者只需要将笔记本电脑通过普通的VGA电缆连接到会议终端71，再通过H.239辅流通道将自己的胶片发送给会议服务器73，再由会议服务器73将该胶片发送给会议终端74和会议终端76；

2)会议终端74是一个接有带触摸屏显示器75的会场，该会场用户在观看胶片的过程中发现有一个地方有疑问需要与其他人讨论，因此，他在显示器75上需要讨论的地方画了一个圆圈，该圆圈被显示器上的触摸屏记录下来，并且通过会议终端74传递给会议服务器73；当然，在会议服务器73没有该会议终端74的用户所观看的胶片时，该会议终端74还需要将该胶片也发送给会议服务器73。

3)会议服务器73接收到会议终端74发送过来的圆圈标记后，先将胶片视频流进行解码，得到胶片图像；再将会议终端72发送的圆形标记叠加到胶片图像上；将叠加圆形标记的混合图像进行编码；把编码后的混合图像码流通过H.239辅流通道发送给所有会场；

4)会议终端76是一个普通会场，该会议终端76连接一普通的显示器77，该会场通过H.239辅流通道接收到会议服务器73发送的混合图像视频码流，进行解码后即可看到叠加了会议终端74会场发送的圆形标记的胶片图像。

同样，会议终端71和其他所有会场也会接收到和会议终端76一样的胶片图像。如果有其他会场具备会议终端74一样的标记输入设备，其他会场也可以发送自己的标记并且被所有的会场看到。

会议系统的实施例二：

如图19所示，在上述会议系统的实施例一的基础上，描述会议系统中多会议服务器级联的应用场景，该图中的双箭头表示混合图像数据流的传输：

当系统中的会议服务器为多个时，这多个会议服务器之间采用级联的方式连接，每一个会议服务器下都可连接一个或者多个会议终端，其中一个会议服务器为主会议服务器，而其他的会议服务器为从会议服务器，会议终端发送的共享图像数据信号和添加的标记数据信号的叠加由主会议服务器进行；

该实施例中，以两个MCU(会议服务器)级联的实例进行说明，其中包括：MCU1，MCU2，会议终端T1，会议终端T2，会议终端T3；MCU1为主MCU，MCU2为从MCU，多于2个MCU级联的情况，也是如此，其中一个MCU为主MCU，其他MCU为从MCU；

会议中，会议终端T1将共享图像数据信号发送给与其相连的MCU2，会议终端T2也将它的标记数据信号发送给与其相连的MCU2上，从MCU2将T1的共享图像数据信号和T2的标记数据信号，转发给会议系统中的主MCU，即MCU1，由会议系统中主MCU(MCU1)完成对图像数据信号和标记数据信号的叠加，压缩形成混合图像数据，然后再转发给会议系统中的各个会议终端，对于连接在从MCU(MCU1)上的会议终端，混合图像数据由主MCU先发送给会议中的各个从MCU，然后由从MCU进行转发。会议系统中的各个终端收到混合图像数据时，对其进行解码并显示。

对于更多级的MCU级联，与上面类似，会议中图像数据信号和标记数据信号的叠加工作，是由级联会议系统中的主MCU完成。

上述描述的是系统中多MCU级联时一个可以为主MCU，其他的均为从MCU的情况，当然，系统中的多个MCU也可均为主MCU。即每个MCU均可以进行叠加和转发的工作，为了使多个MCU能够协调的工作，系统中还可以包括：控制单元，用于获取所述标记数据信号的发送时间，按照所述标记数据信号的发送时间的先后顺序，产生一控制信号；

所述至少两个主会议服务器中的所述叠加模块，根据所述控制信号对所述图像数据信号和所述标记数据信号进行叠加，生成所述混合图像数据，并将混合图像数据信号发送给系统中的各会议终端。上述的控制单元可以通过系统中的GATEKEEPER(网守，是一种采用软交换方式的交换服务器，负责VoIP网路上的讯号交换及控制功能)来实现，当然采用其他类似功能的控制模块也可以实现。

当然，除了上述GATEKEEPER来控制各个会议服务器之间进行协调工作外，还可以采用令牌控制的方式，系统中，将各个会议终端发送标记数据信号的时间通知各个主会议服务器，主会议服务器根据该标记信号的发送时间主动获取一控制令牌，当该主会议服务器完成叠加工作之后，按照各个会议终端发送的标记数据信号的时间先后顺序，下一个主会议服务器获取该控制令牌，继续进行叠加工作，直到最后一个主会议服务器完成叠加，将最终的混合图像数据信号发送给系统中的各个会议终端；上述控制令牌是各个主会议服务器主动获取的，当然也可以由GATEKEEPER主动将控制令牌分配给各个主会议服务器使用。

会议系统的实施例三：

如图20所示，为上述第二种应用场景的会议系统结构示意图，该会议系统包括：会议终端81，与该会议终端81连接的一笔记本电脑82和一普通显示器83；会议服务器84；会议终端85，与会议终端85连接的带触摸屏的显示器86；会议终端87，与会议终端87连接的普通显示器88；这里的每一个会议终端都代表一个会场；该会议终端的个数不作限制，其中，上述会议终端81包括：

图像发送模块53，用于向会议服务器83发送图像数据信号；

会议终端85包括：

标记发送模块48，用于向会议服务器83发送标记数据信号；

会议服务器83将接收图像数据信号和标记数据信号转发会议终端87和会议终端81；

会议终端87和会议终端81均包括：

第一定时器45，用于产生第一时间间隔值；

图像获取模块42，用于接收所述会议服务器转发的图像数据信号；

第一外部标记获取模块4111，用于接收所述会议服务器83转发的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第二叠加模块431，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据信号；

显示模块，如显示器88，用于显示所述第二混合图像数据信号。

会议终端87在接收到多个会议终端的标记数据信号时，为了保证接收方在叠加时，能够区分出是哪个会议终端发送的标记数据信号，每个会议终端在发送自己的标记数据信号时，要包括自己的会议号，终端号和相应的标记数据信号的内容，这些标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图；在使用矢量图或二值位图的时候，可以由会议服务器随机给每个会议终端分配一种颜色，会议终端的叠加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充；在使用YUV、RGB等彩色位图表示轨迹的时候，系统中必须统一指定一种透明颜色，以便接收端能正确识别出标记轨迹的位置与胶片叠加。具体讲上述第一外部标记获取模块4111包括：

第一外部标记获取子模块41110，用于接收所述会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号，根据上述标记数据信号中会议号，终端号等信息找到相应的解码器，并发送属于该解码器的标记数据信号；

至少一个解码器，用于对所述至少一个其他会议终端的标记数据信号分别进行解码，生成一标记数据信号队列；

标记输出模块41111，用于按照所述第一时间间隔值和所述标记数据信号队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。

该应用场景主要包括以下流程：

1)会议终端81是需要跟其他与会者共享胶片的会场，使用者只需将笔记本电脑(目前一般是通过VGA线缆)连接到第一会议终端81，再通过H.239辅流通道将自己的胶片发送给所有与会者；

2)会议终端85是一个接有带触摸屏显示器86的会场，该会场的用户在观看胶片的过程中发现有一个地方有疑问需要与其他人讨论，因此他在显示器上需要讨论的地方画了一个圆圈，该圆圈被显示器上的触摸屏记录下来，并且通过会议终端85传递给会议服务器84；

3)会议服务器84将会议终端85发送的圆形标记发送给会议终端87和会议终端81。

4)会议终端87是一个普通会场，该会场同时收到会议终端81发送的胶片码流和会议终端85发送的圆形标记，会议终端87对胶片码流进行解码后得到胶片图像，再将圆形标记叠加到该胶片图像上即可看到叠加了圆形标记的胶片图像。

如果有其他会场具备会议终端85一样的标记输入设备，其他会场也可以发送自己的标记并且被所有的会场看到。

会议系统实施例四：

如图21所示，在上述会议系统的实施例三的基础上，描述会议系统中多会议服务器级联的应用场景，该图中的双箭头表示混合图像数据流的传输：

假设，系统中有两个MCU进行级联，其中MCU1为主MCU，MCU2为从MCU，多于2个MCU级联的情况，与此类似，其中一个MCU为主MCU，其他MCU为从MCU；

会议系统中，会议终端T1将共享的图像数据信号发送给会议系统中与其相连的MCU2，会议终端T2将本地的标记数据信号发送给与其相连的MCU2，从MCU2将T1的共享图像数据信号和T2的标记数据信号，转发给会议系统中的主MCU，即MCU1，由会议系统中主MCU直接将接收到的共享图像数据信号和标记数据信号转发给会议系统中的各个会议终端，对于连接在从MCU上的会议终端，共享图像数据信号和标记数据信号由主MCU先发送给会议系统中的各个从MCU，然后由从MCU进行转发。会议系统中的各个会议终端收到共享图像数据信号和标记数据信号后，对其进行叠加，然后显示。

对于更多级的MCU级联，操作与上面类似，发送给会议系统中各个会议终端的共享图像数据信号和标记数据信号，是由级联会议中的主MCU来统一收集、转发来完成的。

该实施例中，若多个MCU均为主MCU时，同样MCU会按照标记数据信号的添加时间先后顺序，产生一控制信号，各主MCU根据该控制信号将其接收到的标记数据信号顺序转发给接收端的会议终端，由接收端的会议终端进行叠加，并显示。当然也可以按照各标记数据信号的添加时间先后顺序获取一控制令牌，该控制令牌即可以是主MCU主动获取，也可以是系统的中的控制单元进行下发，各主MCU根据该控制令牌对其接收到的标记数据信号进行转发，由各个接收端会议终端接收并进行叠加。

会议系统的实施例五：

如图22所示，为上述第三种应用场景的会议系统结构示意图，该会议系统包括：会议终端91，与该会议终端91连接的一笔记本电脑92；会议服务器93；会议终端94，与会议终端94连接的带触摸屏的显示器95；会议终端96，与会议终端96连接的普通显示器97；这里的每一个会议终端都代表一个会场，该会议终端的个数不作限制，其中，上述会议终端91包括：

第二定时器46，用于产生第二时间间隔值；

第一内部标记接收模块4110，用于接收本地会议终端发送的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第二内部标记接收模块4120，用于接收本地会议终端发送的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号。

第一叠加模块430，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第一混合图像数据；

第一发送模块440，用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据，或者通过H.239协议的辅流通道向所述会议服务器发送所述第一混合图像数据；

所述会议服务器93，用于接收所述至少一个会议终端94发送的所述第一混合图像数据，并转发；

所述会议终端96和会议终端91，用于接收所述第一混合图像数据，对所述第一混合图像数据进行解码，并显示。

具体来讲，该应用场景主要包括以下流程：

1)在初始状态下，会议终端91连接笔记本电脑，并且申请到H.239辅流令牌，通过辅流通道向其他会场共享胶片(相当于把共享胶片通过辅流通道发送其他终端)，因此会议终端94和会议终端96都看到会议终端91的胶片。

2)当观看到某个胶片时，会议终端94的用户想在胶片上做一个标记，为了能将自己的标记传给其他人，会议终端94的操作过程如下

2.1)申请H.239辅流通道控制令牌；

2.2)判断会议控制者(当前令牌拥有者)是否同意申请，若是，得到令牌，开始记录会议终端94的触摸屏95的标记数据信号，并将该标记数据信号叠加到该会议终端94所观看的胶片图像上；

2.3)将叠加标记数据信号后的胶片进行编码；

2.4)将编码后的胶片码流通过H.239辅流通道发送会议服务器93。

此时会议终端94为H.239辅流的发送者，其他会场如果想添加自己的标记，也做同样操作，这样通过不断切换H.239辅流发送令牌，各个会场都可以将自己的标记添加到该胶片上。

当然，在该种系统中，会议终端94也可以采用令牌控制的方式单独发送通过触摸屏95所添加的标记，将标记作为H.239的第二路辅流(胶片传输为第一路辅流)，在会议召开时能力交换需要增加两个参数：1.是否支持第二路辅流；2.第二路辅流是否是标记信息；

如果第二路辅流是标记信息，则默认使用令牌的方式进行控制。也就是说，发送标记时，也采用申请令牌的方式进行，本方案中所说“第二路”仅表明一个序号，区别胶片辅流，实际上可以是任意一个辅流。

采用令牌控制方式发送标记的流程如下：

3.1)申请标记辅流控制令牌；

3.2)申请成功，则得到一令牌，开始记录通过触摸屏95所添加的标记数据信号；

3.3)将用户的标记数据信号(标记轨迹)作为单独辅流发送给会议服务器93，再由会议服务器93转发给其他的会议终端。

当然在实际的使用过程中，可以将上述令牌控制标记数据信号发送的方式和令牌控制混合胶片的方式结合起来。

会议系统的实施例六：

如图23所示，在上述会议系统的实施例五的基础上，描述会议系统中多会议服务器级联的应用场景，该图中的双箭头表示混合图像数据流的传输：

假设，系统有两个MCU进行级联，其中MCU1为主MCU，MCU2为从MCU，多于2个MCU级联的情况，与此类似，其中一个MCU必定为主MCU，其他MCU为从MCU；

会议终端T1将共享的图像数据信号和本地的标记数据信号在本地叠加之后生成一混合图像数据，在将混合图像数据通过H.239辅流通道发送给MCU2，MCU2将其转发给会议中的主MCU(MCU1)，会议中主MCU(MCU1)将收到的混合图像数据发送给会议系统中的各个从MCU，连接在会议系统中从MCU上的会议终端，通过从MCU接收该从MCU转发的混合图像数据。

对于更多的MCU级联，操作与上面类似，发送给会议系统中各个会议终端的混合图像数据，是由级联会议中的主MCU来统一转发来完成的，当然系统中的各个MCU也都可以为主MCU，为了保证系统中网络不被拥塞，各个MCU之间需要以一定的顺序进行转发，并选择其中一个MCU将混合图像数据进行最后的转发。

在上述会议系统的所有实施例中，会议终端与会议服务器之间进行数据传输时，当网络出现拥塞或者是丢包的时候，可以采用如下方法解决网络拥塞或者丢包的问题，使会议系统中的用户有更好的参与体验：

1)采用可靠的传输，如：图像数据信号、混合图像数据信号等数据量较大的数据采用UDP协议进行传输，不致出现网络的拥塞；

2)采用抗丢包技术，使用一些丢包恢复技术，进行冗余数据传输，当出现小丢包时，如标记数据信号，因为其数据量较小，接收端通过冗余数据及收到的数据一同恢复出被丢失的数据，可以使用可靠的传输协议TCP协议来进行传输，以确保标记数据信号能够安全地在各个设备间传输；当然，标记数据信号，也可以使用可靠的传输，如使用UDP协议进行传输。

所有的现有系统上的抗丢包技术，都可以应用到本交互应用上来，以改善丢包或是网络拥塞情况下的应用体验。

在标记数据信号由会议终端发送给会议服务器，再由会议服务器转发给其他的会议终端时，可以通过如上述IP网的TCP协议、UDP协议，当然也可以采用如H.320系统的HMLP协议进行传输，为了保证实时性，在IP网络中通常使用UDP协议进行传输。

当然，在MCU侧或者接收侧的会议终端侧，也可以通过记录接收到数据的时间，并按照接收时间的先后顺序对接收到的图像数据信号和标记数据信号进行叠加，以保证各个会议终端添加的标记数据信号能够被正确的叠加，提高用户的体验；或者会议终端在发送图像数据信号、标记数据信号时，添加一时间戳，记录发送的时间，MCU接收到该图像数据信号或者标记数据信号时，可以获取该时间戳，尤其是对于标记数据信号，按照标记数据信号的发送时间对图像数据进行叠加，使各个会议终端的标记数据信号与图像数据信号能够被正确的叠加，提高用户的体验和参与感。

在上述的几种会议系统，在实现用户相互协作交互的过程中，无需另外构造数据会议系统和设备，在现有的H.239双流的基础上实现与会者之间的数据协作，提高用户的参与感和讨论效率。

方法的实施例：

如图24，本发明的实施例还提供一种数据处理方法，包括：

步骤S160，获取图像数据信号；

步骤S161，获取标记数据信号；

步骤S162，将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；

步骤S163，输出所述混合图像数据信号，该混合图像数据即可以输出到本地会议终端上进行显示，也可以输出到会议服务器，再由会议服务器转发给其他的会议终端。

该方法通过将获取的图像数据信号和标记数据信号进行叠加，生成混合图像数据信号，如该混合图像数据信号为添加了标记的胶片，该允许与会者在观看胶片的时候，同时在胶片上画上自己的标记，提高视频会议用户的参与感，提高讨论效率。

下面为上述图24所示的方法的一具体实现过程：

步骤S170，获取图像数据信号；

步骤S171，获取本地会议终端输入的标记数据信号；

步骤S172，产生第一时间间隔值；

步骤S173，产生第二时间间隔值；

步骤S174，按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

步骤S175，按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号，并对该第二标记数据信号进行编码，生成第三标记数据信号；

步骤S176，判断是否支持标记辅流，若支持，执行步骤S177，若不支持执行步骤S178或者通过自定义通道发送所述第三标记数据信号；

步骤S177，在H.239协议的辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第一控制信号，根据所述第一控制信号通过H.239协议的一个辅流通道向会议服务器发送所述第三标记数据信号；

步骤S178，在H.239协议的另一个辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第二控制信号，根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加，生成第一混合图像数据；

步骤S179，向所述本地会议终端的显示屏幕上发送所述第一混合图像数据，或者通过H.239协议的辅流通道向会议服务器发送所述第一混合图像数据，再由会议服务器转发给其他的会议终端。

该实现过程中，步骤S171之前还可包括：接收本地会议终端所在会场中的一输入设备的子令牌申请，确认所述子令牌申请成功后，分配一子令牌给该输入设备；则步骤S171可具体为：根据该子令牌，获取本地会议终端所在会场中的所述输入设备的标记数据信号。

另外，若接收的标记数据信号为其他终端发送的标记数据信号时，上述图24所示的方法的另一具体实现过程：

步骤S180，获取图像数据信号；

步骤S181，获取会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号；具体来讲，可以实时或者手动接收，会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号；

步骤S182，产生第一时间间隔值；

步骤S183，对所述至少一个其他会议终端的标记数据信号分别进行解码，生成一标记数据信号队列；

步骤S184，按照所述第一时间间隔值，根据所述标记数据信号队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号；

步骤S185，将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据信号；

步骤S186，向本地会议终端的显示屏幕上发送所述第二混合图像数据。

其中上述标记数据信号包括：会议标号，会议终端标号和标记数据信号内容；其中，会议标号，会议终端标号主要为了保证接收方在叠加时，能够区分出是那个会议终端发送的标记数据信号；而标记数据信号内容用矢量图、二值位图、YUV色彩位图或者RGB色彩位图来表示，在使用矢量图或二值位图的时候，可以由会议服务器随机给每个会议终端分配一种颜色，会议终端的叠加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充；在使用YUV、RGB等彩色位图表示轨迹的时候，系统中必须统一指定一种透明颜色，以便接收端能正确识别出标记数据信号的位置与胶片叠加。

另一方法的实施例：

如图25所示，本发明的实施例还提供一种数据处理方法，包括：

步骤S190，接收会议终端发送的图像数据信号和标记数据信号；

步骤S191，对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

步骤S192，向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。

步骤S191包括：为所述标记数据信号分配填充颜色或者透明颜色，并利用所述填充颜色或者透明颜色对所述标记数据信号进行处理，产生颜色标记数据信号；标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图表示；

将所述图像数据信号和所述颜色标记数据信号进行叠加，生成混合图像数据。在使用矢量图或二值位图的时候，可以随机给每个会议终端的标记数据信号分配一种填充颜色，在叠加不同会场轨迹的时候使用上述填充颜色进行填充；在使用YUV、RGB等彩色位图表示标记数据信号的时候，MCU须指定一种透明颜色，以便接收会议终端能正确识别出轨迹的位置，这样可以保证标记数据信号和图像数据信号叠加后，每一个会场的混合图像数据的完整性。

步骤S192之前还可包括：接收会议终端发起的会场令牌申请，确认所述会场令牌申请成功后，向该会议终端返回一会场令牌；则步骤S192中，根据该会场令牌，向会议终端发送所述混合图像数据或者所述标记数据信号时，该会议服务器可选择H.239协议的一辅流通道，通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数据信号。支持H.239协议，系统结构简单，且使会议系统中的各个会议终端都能够看到其他会议终端添加的标记，实现与会者之间的协作，提高用户的参与感，提高用户的讨论效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (35)

1.一种会议终端，其特征在于，包括：

标记获取模块，用于获取标记数据信号；

图像获取模块，用于获取图像数据信号；

叠加模块，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；

输出模块，用于输出所述混合图像数据信号；

所述会议终端还包括：

第一定时器，用于产生第一时间间隔值；

第二定时器，用于产生第二时间间隔值；

所述标记获取模块具体包括：

第一标记获取模块，用于获取所述标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第二标记获取模块，用于获取所述标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号；

所述叠加模块具体为：

第一叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第一混合图像数据信号；

所述输出模块具体为：

第一发送模块，用于向本地会议终端的显示屏幕上发送所述第一混合图像数据。

2.根据权利要求1所述的会议终端，其特征在于，

所述第一标记获取模块具体为：

第一内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

所述第二标记获取模块具体为：

第二内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号。

3.根据权利要求2所述的会议终端，其特征在于，还包括：

标记编码模块，用于将所述第二标记数据信号进行编码，产生第三标记数据信号；

标记发送模块，用于通过辅流通道或者自定义通道向会议服务器发送所述第三标记数据信号。

4.根据权利要求3所述的会议终端，其特征在于，还包括：

第一令牌控制模块，用于在所述辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第一控制信号；

所述标记发送模块根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第三标记数据信号。

5.根据权利要求1所述的会议终端，其特征在于，

所述第一标记获取模块具体为：

第一外部标记获取模块，用于获取会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号。

6.根据权利要求5所述的会议终端，其特征在于，

所述第一外部标记获取模块包括：

第一外部标记获取子模块，用于获取所述会议服务器发送的至少一个所述其他会议终端的标记数据信号；

至少一个解码器，用于对所述至少一个所述其他会议终端的标记数据信号分别进行解码，生成一标记数据信号队列；

标记输出模块，用于按照所述标记数据信号队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。

7.根据权利要求2所述的会议终端，其特征在于，还包括：

第二令牌控制模块，用于在辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第二控制信号。

8.根据权利要求7所述的会议终端，其特征在于，

所述叠加模块具体为：

第二叠加模块，用于根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据；

所述输出模块具体为：

第二发送模块，用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据，或者通过所述辅流通道向会议服务器发送所述第二混合图像数据。

9.根据权利要求2所述的会议终端，其特征在于，还包括：

令牌管理模块，用于接收本地会议终端所在会场中的一输入设备的子令牌申请，确认所述子令牌申请成功后，分配一子令牌给所述输入设备；

所述第一内部标记获取模块根据所述子令牌，获取所述本地会议终端所在会场中的所述输入设备的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

所述第二内部标记获取模块根据所述子令牌，获取所述本地会议终端所在会场中的所述输入设备的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号。

10.根据权利要求1所述的会议终端，其特征在于，

所述标记获取模块具体为：

实时标记获取模块，用于实时获取标记数据信号；

所述图像获取模块具体为：

实时图像获取模块，用于实时获取图像数据信号。

11.根据权利要求1所述的会议终端，其特征在于，

所述标记获取模块具体为：

手动标记获取模块，用于提供手动接收选项，所述手动接收选项被选择时，获取标记数据信号；

所述图像获取模块具体为：

手动图像获取模块，用于提供手动接收选项，所述手动接收选项被选择时，获取图像数据信号。

12.根据权利要求1-11任一项所述的会议终端，其特征在于，还包括：

私密令牌控制模块，用于接收本地会议终端所在会场中的一输入设备发起的与一目标输入设备进行私密会议的私密令牌申请，确认所述私密令牌申请成功后，启用一辅流通道或者自定义通道，并分配一私密令牌给所述输入设备。

13.一种会议系统，其特征在于，包括：第一会议终端，会议服务器和至少一个第二会议终端；其中，

所述第一会议终端包括：

图像获取模块，用于获取所述会议服务器转发的图像数据信号；

标记发送模块，用于获取标记数据信号，并向所述会议服务器发送标记数据信号；

所述会议服务器包括：

图像数据接收模块，用于接收系统中任一会议终端发送的图像数据信号；

标记接收模块，用于接收所述标记数据信号；

叠加模块，用于对所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据；

发送模块，用于向所述第一会议终端和所述至少一个第二会议终端发送所述混合图像数据；

所述至少一个第二会议终端，用于接收并显示所述混合图像数据；

所述会议服务器为至少两个级联的会议服务器。

14.根据权利要求13所述的系统，其特征在于，所述至少两个会议服务器包括：一主会议服务器和至少一个从会议服务器；

所述主会议服务器，向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送所述混合图像数据；

所述从会议服务器，将其接收到的所述混合图像数据向与所述从会议服务器连接的会议终端发送。

15.根据权利要求13所述的系统，其特征在于，所述至少两个会议服务器均为主会议服务器，所述系统还包括：

控制单元，用于获取所述标记数据信号的发送时间，按照所述标记数据信号的发送时间的先后顺序，产生一控制信号；

所述至少两个主会议服务器中的所述叠加模块，根据所述控制信号对所述图像数据信号和所述标记数据信号进行叠加，生成所述混合图像数据。

16.根据权利要求15所述的系统，其特征在于，所述至少两个主会议服务器根据所述控制信号，获取一控制令牌，所述叠加模块根据所述控制令牌对所述图像数据信号和所述标记数据信号进行叠加，生成所述混合图像数据。

17.一种会议系统，其特征在于，包括：第一会议终端，会议服务器和至少一个第二会议终端；其中，

所述第一会议终端包括：

图像获取模块，用于获取所述会议服务器发送图像数据信号；

标记发送模块，用于获取标记数据信号，并向所述会议服务器发送所述标记数据信号；

所述会议服务器用于接收所述图像数据信号和所述标记数据信号，并转发；

所述至少一个第二会议终端包括：

第一定时器，用于产生第一时间间隔值；

图像获取模块，用于获取所述会议服务器转发的图像数据信号；

第一外部标记获取模块，用于获取所述会议服务器转发的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第一叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第一混合图像数据信号；

显示模块，用于显示所述第一混合图像数据信号。

18.根据权利要求17所述的系统，其特征在于，所述第一外部标记获取模块包括：

第一外部标记获取子模块，用于获取所述会议服务器转发的至少一个其他会议终端的标记数据信号；

至少一个解码器，用于对所述至少一个其他会议终端的标记数据信号分别进行解码，生成一标记数据信号队列；

标记输出模块，用于按照所述第一时间间隔值和所述标记数据信号队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。

19.根据权利要求17或18所述的系统，其特征在于，所述会议服务器为至少两个级联的会议服务器。

20.根据权利要求19所述的系统，其特征在于，所述至少两个会议服务器包括：一主会议服务器和至少一个从会议服务器；

所述主会议服务器，向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送所述图像数据信号和所述标记数据信号；

所述从会议服务器，将其接收到的所述图像数据信号或所述标记数据信号向与所述从会议服务器连接的会议终端发送。

21.根据权利要求19所述的系统，其特征在于，所述至少两个会议服务器均为主会议服务器，所述系统还包括：

控制单元，用于获取所述标记数据信号的发送时间，按照所述标记数据信号的发送时间的先后顺序，产生一控制信号；

所述至少两个主会议服务器根据所述控制信号转发所述图像数据信号和所述标记数据信号。

22.根据权利要求21所述的系统，其特征在于，所述至少两个主会议服务器根据所述控制信号，获取一控制令牌，并根据所述控制令牌对所述图像数据信号和所述标记数据信号进行转发。

23.一种会议系统，其特征在于，包括：第一会议终端，会议服务器和至少一个第二会议终端；其中，

所述第一会议终端包括：

第一定时器，用于产生第一时间间隔值；

第二定时器，用于产生第二时间间隔值；

第一内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

第二内部标记获取模块，用于获取本地会议终端发送的标记数据信号，并按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号；

第二叠加模块，用于将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据；

第二发送模块，用于向所述本地会议终端的显示屏幕上发送所述第二混合图像数据，或者通过辅流通道向所述会议服务器发送所述第二混合图像数据；

所述会议服务器，用于接收所述第二混合图像数据，并转发；

所述至少一个第二会议终端，用于接收所述第二混合图像数据并显示。

24.根据权利要求23所述的系统，其特征在于，所述第一会议终端还包括：

第二令牌控制模块，用于在另一个辅流通道中申请会场令牌，申请成功并得到一会场令牌后，产生第二控制信号；

所述第二叠加模块根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据。

25.根据权利要求23或24所述的系统，其特征在于，所述会议服务器为至少两个级联的会议服务器。

26.根据权利要求25所述的系统，其特征在于，所述至少两个会议服务器包括：一主会议服务器和至少一个从会议服务器；

所述主会议服务器，向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送所述第二混合图像数据；

所述从会议服务器，将其接收到的所述第二混合图像数据向与所述从会议服务器连接的会议终端发送。

27.一种数据处理方法，其特征在于，包括：

获取图像数据信号；

获取标记数据信号；

将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号；

输出所述混合图像数据信号；

所述获取标记数据信号的步骤之后还包括：

产生第一时间间隔值；

产生第二时间间隔值；

按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号；

按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号；

所述将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号的步骤具体为：

将所述图像数据信号和所述至少一个第一标记数据信号进行叠加，生成第一混合图像数据信号；

所述输出所述混合图像数据信号的步骤具体为：

向本地会议终端的显示屏幕上发送所述第一混合图像数据。

28.根据权利要求27所述的方法，其特征在于，所述获取标记数据信号的步骤具体为：

获取本地会议终端发送的标记数据信号。

29.根据权利要求28所述的方法，其特征在于，所述按照所述第二时间间隔值输出所述标记数据信号，产生第二标记数据信号的步骤之后还包括：

将所述第二标记数据信号进行编码，产生第三标记数据信号；

通过辅流通道向会议服务器发送所述第三标记数据信号。

30.根据权利要求29所述的方法，其特征在于，所述通过辅流通道向会议服务器发送所述第三标记数据信号的步骤具体为：

在所述辅流通道中申请令牌，申请成功并得到一令牌后，产生第一控制信号；

根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第三标记数据信号。

31.根据权利要求27所述的方法，其特征在于，所述获取标记数据信号的步骤具体为：

获取会议服务器发送的除本地会议终端之外的至少一个其他会议终端的标记数据信号。

32.根据权利要求31所述的方法，其特征在于，所述获取会议服务器发送的除本地会议终端之外的至少一个其他会议终端的标记数据信号的步骤之后还包括：

对所述至少一个其他会议终端的标记数据信号分别进行解码，生成一标记数据信号队列；

按照所述第一时间间隔值，根据所述标记数据信号队列的顺序输出所述标记数据信号，生成至少一个第一标记数据信号。

33.根据权利要求28所述的方法，其特征在于，按照所述第一时间间隔值输出所述标记数据信号，产生第一标记数据信号的步骤后还包括：

在辅流通道中申请令牌，申请成功并得到一令牌后，产生第二控制信号；

所述将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号的步骤具体为：

根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加，生成第二混合图像数据；

所述输出所述混合图像数据信号的步骤具体为：

向所述本地会议终端的显示屏幕上发送所述第二混合图像数据，或者通过辅流通道向会议服务器发送所述第二混合图像数据。

34.根据权利要求28所述的方法，其特征在于，所述获取本地会议终端发送的标记数据信号之前还包括：

接收本地会议终端所在会场中的一输入设备的子令牌申请，确认所述子令牌申请成功后，分配一子令牌给所述输入设备；

所述获取本地会议终端发送的标记数据信号的步骤具体为：

根据所述子令牌，获取所述本地会议终端所在会场中的所述输入设备的标记数据信号。

35.根据权利要求31所述的方法，其特征在于，所述获取会议服务器发送的除本地会议终端之外的至少一个其他会议终端的标记数据信号的步骤具体为：

实时或者手动接收所述会议服务器发送来的，除所述本地会议终端之外的至少一个其他会议终端的标记数据信号。

Images