CN101370115A - 会议终端、会议服务器、会议系统及数据处理方法 - Google Patents
会议终端、会议服务器、会议系统及数据处理方法 Download PDFInfo
- Publication number
- CN101370115A CN101370115A CNA2008102243727A CN200810224372A CN101370115A CN 101370115 A CN101370115 A CN 101370115A CN A2008102243727 A CNA2008102243727 A CN A2008102243727A CN 200810224372 A CN200810224372 A CN 200810224372A CN 101370115 A CN101370115 A CN 101370115A
- Authority
- CN
- China
- Prior art keywords
- data signal
- flag data
- conference
- signal
- conference terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例提供一种会议终端、会议服务器、会议系统及数据处理方法,其中,会议终端包括:标记获取模块,用于获取标记数据信号;图像获取模块,用于获取图像数据信号;叠加模块,用于将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;输出模块,用于输出所述混合图像数据信号。通过采用本发明的实施例,可以提高视频会议用户的参与感,提高讨论效率。
Description
技术领域
本发明涉及视频会议系统,特别是指一种会议终端、会议服务器、会议系统及数据处理方法。
背景技术
在最早的视频会议中,人们只能通过图像和声音进行交互,后来H.261协议允许视频会议的参与者通过活动视频通道传递4CIF大小的静止图文,以便参与者之间分享胶片,但是这种分享是通过抢占活动视频通道来实现的,一方面胶片分辨率不高,另一方面传输胶片时会引起活动视频出现停顿。
后来,H.239标准协议的出现,参与者可以创建一个辅流通道单独传输胶片,而用主流通道来传输活动视频,使得活动视频和胶片传送互不影响。一种典型的应用场景如图1所示,会议终端12同时接收到摄像机11摄入的会议图像和计算机10的文件(如PPT或Word文档),并对摄像机11摄入的会议图像和计算机10的文件经过视频编码(通常采用H.263或者H.264等编码标准)后,通过H.239协议标准提供的通道将两路视频流同时发送给MCU(多点控制单元)13,MCU 13再转发给其他的与会终端14,终端14在接收到两路视频流后,进行解码,即可得出两路不同的视频图像,并在投影仪16或者电视机15上进行显示。通过这种方式,任意一个与会者都可以向所有人共享自己的文档,实现了一个简单的数据交互。然而,H.239的这种胶片共享的方式最大缺点是:参与者不能交互,主讲者在对胶片进行阐述时,其它的参与者只能看胶片,不能在胶片上作标记,因此降低了讨论效率,讨论者参与感不强。
针对这种现象,在现有技术中,出现了一种利用在电子白板上做标记,以达到视频会议的参与者相互交互的目的,如图2所示,在会议服务器侧放置一台电子白板服务器20,每一个视频会议终端放置一台电子白板客户端,如客户端21,客户端22,客户端23,客户端24和客户端25等,这些客户端通常为一台PC,有的客户端还可以是会议子系统中的会议服务器或者会议客户机等,所有的客户端都通过网络连接在到该电子白板服务器20上,该电子白板服务器20启动一个电子白板,该电子白板可以是空白背景,也可以以图片或者胶片作为背景;电子白板服务器20将电子白板上的内容以图片的方式发送给所有客户端,因此,每个客户端都可以看到相同的内容;与会者通过客户端在电子白板上做一些标记:如画线、画圆、输入文字等操作,这些操作都被传到电子白板服务器20上;电子白板服务器20接收客户端的操作后,更新电子白板的内容,再把更新后的电子白板内容发送给所有客户端,因此实现了所有的参与者共享白板进行讨论的目的。但这种方式在使用范围上受到限制,如用户不能在胶片上进行做标记,即该系统无法实现共享作标记的胶片,另外,该系统需要再建一套电子白板系统,每个会场至少配备一台计算机,增加了系统复杂度和建设成本。
现有技术中,与上述在电子白板上做标记的方式相似的还有一种远程协作的方法,如图3所示,该系统中包括一个远程协作服务器30,每一个视频会场配备一台计算机,如计算机31,计算机32,计算机33,计算机34等,这些计算机通过网络与远程协作服务器30连接,需要共享自己桌面的会场开启一个远程协作服务,将自己的计算机桌面图像(如PPT,Word文档等)共享给所有与会者;其他会场的与会者可通过本地计算机连接到远程协作服务器30后,就可看到远程协作服务器30共享的计算机桌面,并且通过本地的鼠标、键盘等操作也会传给远程协作服务器30,因此所有的与会者可以共同操作同一个应用程序,如PPT、Word等。但这种系统同样需要再建一套远程协作的系统,每个会场至少配备一台计算机,增加系统的复杂度和成本;更重要的是,需要为每个会场的每台计算机中配置特殊的远程协作参数,且使用者需要操作两套系统,如一个共享的远程系统,一个本地的系统,并且要共享PPT、Word等文档需要事先拷贝到会场的计算机中,不能实现笔记本电脑这样的计算机即插即用的特性,操作不方便。
综上,发明人在实现本发明的过程中,发现现有技术至少存在如下问题:
在视频会议系统中,与会者进行数据交互时,现有的视频会议系统为与会者提供的交互数据受到限制,如在电子白板的系统中,为胶片做标记就不能实现,且电子白板等视频会议系统复杂,成本高。
发明内容
本发明要解决的技术问题是提供一种会议终端、会议服务器、会议系统及数据处理方法,在不增加会议系统复杂度的情况下,允许任意会议终端之间进行数据交互,提高会议用户的讨论效率。
为解决上述技术问题,本发明的实施例提供技术方案如下:
一方面,提供一种会议终端,包括:
标记获取模块,用于获取标记数据信号;
图像获取模块,用于获取图像数据信号;
叠加模块,用于将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;
输出模块,用于输出所述混合图像数据信号。
另一方面,提供一种会议服务器,包括:
图像数据接收模块,用于接收会议终端发送的图像数据信号;
标记接收模块,用于接收会议终端发送的标记数据信号;
叠加模块,用于对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
发送模块,用于发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
再一方面,提供一种会议系统,包括:第一会议终端,会议服务器和至少一个第二会议终端;其中,
所述第一会议终端包括:
图像获取模块,用于获取所述会议服务器发送图像数据信号;
标记发送模块,用于获取标记数据信号,并向所述会议服务器发送标记数据信号;
所述会议服务器包括:
图像数据接收模块,用于接收所述图像数据信号;
标记接收模块,用于接收所述标记数据信号;
叠加模块,用于对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
发送模块,用于向所述第一会议终端和所述至少一个第二会议终端发送所述混合图像数据。
所述至少一个第二会议终端,用于接收并显示所述混合图像数据。
还提供一种会议系统,包括:第一会议终端,会议服务器和至少一个第二会议终端;其中,所述第一会议终端包括:
图像获取模块,用于获取所述会议服务器发送图像数据信号;
标记发送模块,用于获取标记数据信号,并向所述会议服务器发送所述标记数据信号;
所述会议服务器用于接收所述图像数据信号和所述标记数据信号,并转发;
所述至少一个第二会议终端包括:
第一定时器,用于产生第一时间间隔值;
图像获取模块,用于获取所述会议服务器转发的图像数据信号;
第一外部标记获取模块,用于获取所述会议服务器转发的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第一叠加模块,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第一混合图像数据信号;
显示模块,用于显示所述第一混合图像数据信号。
还提供一种会议系统,包括:第一会议终端,会议服务器和至少一个第二会议终端;其中,所述第一会议终端包括:
第一定时器,用于产生第一时间间隔值;
第二定时器,用于产生第二时间间隔值;
第一内部标记获取模块,用于获取本地会议终端发送的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第二内部标记获取模块,用于获取本地会议终端发送的标记数据信号,并按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号;
第二叠加模块,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据;
第二发送模块,用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据,或者通过辅流通道向所述会议服务器发送所述第二混合图像数据;
所述会议服务器,用于接收所述第二混合图像数据,并转发;
所述第二会议终端,用于接收所述第二混合图像数据并显示。
本发明的实施例还提供一种数据处理方法,包括:
获取图像数据信号;
获取标记数据信号;
将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;
输出所述混合图像数据信号。
本发明的实施例还提供一种数据处理方法,包括:
接收会议终端发送的图像数据信号和标记数据信号;
对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
本发明的实施例具有以下有益效果:
上述技术方案中,会议终端将其获取的图像数据信号和标记数据信号进行叠加,生成混合图像数据信号,如该混合图像数据信号为添加了标记的胶片,在不增加会议系统复杂度的情况下,该会议终端允许与会者在观看胶片的时候,同时在胶片上画上自己的标记,提高视频会议用户的参与感,提高讨论效率。
附图说明
图1为现有技术中会议系统的应用场景结构示意图;
图2为现有技术中会议系统中,利用电子白板进行交互的应用场景结构示意图;
图3为现有技术中的会议系统,利用远程协作服务器进行交互的应用场景结构示意图;
图4为本发明的实施例会议终端的整体结构示意图;
图5为图4所示的会议终端的一具体结构示意图;
图6为图5所示的会议终端接收本地标记数据信号,并在本地叠加,形成混合图像数据的一具体结构示意图;
图7为图5所示的会议终端在发送本地的标记数据信号时,第一令牌控制模块从H.239的辅流通道中先申请令牌,得到令牌后再开始记录和发送标记数据信号的结构示意图;
图8为图5所示的会议终端接收外部标记数据信号,并在本地叠加,形成混合图像数据的一具体结构示意图;
图9为图8中的第一外部标记接收模块的具体结构示意图;
图10为图5所示的会议终端在进行本地叠加时,第二令牌控制模块从H.239的辅流通道中先申请令牌,得到令牌后再进行叠加,形成混合图像数据的结构示意图;
图11为图1所示会议终端的另一具体结构示意图;
图12为本发明的实施例会议服务器的结构示意图;
图13为图12所示会议服务器的一具体实施例结构示意图;
图14为本发明的实施例的一种会议系统结构示意图;
图15为图14所示会议系统的多MCU级联的应用场景示意图;
图16为本发明的实施例的另一种会议系统结构示意图;
图17为图16所示会议系统的多MCU级联的应用场景示意图;
图18为本发明的实施例的又一种会议系统结构示意图;
图19为图18所示会议系统的多MCU级联的应用场景示意图;
图20为本发明的实施例的数据处理方法的流程示意图;
图21为本发明的实施例的另一数据处理方法流程示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明的实施例针对现有技术中不能将H.239标准的双流功能和类似电子白板任意添加标记的功能结合起来,使用户的参与感不强的问题,提供一种会议终端,会议服务器,会议系统及会议系统中数据处理的方法。
会议终端的实施例一:
如图4所示,为会议终端的实施例结构示意图,本发明的实施例会议终端40包括:
标记获取模块41,用于获取标记数据信号;
图像获取模块42,用于获取图像数据信号;
叠加模块43,用于将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;
输出模块44,用于输出所述混合图像数据信号,该混合图像数据信号既可以输出到本地会议终端的显示屏上进行显示,也可以输出到会议服务器,如MCU,再由MCU转发给其他的会议终端。
这里的会议终端40可以为视频会议中的某一会场的终端,图像数据信号可以为胶片或者类似胶片的文件等,标记数据信号为圆圈,批注等,该会议终端40将其接收的图像数据信号和标记数据信号进行叠加,生成混合图像数据信号,如该混合图像数据信号为添加了标记的胶片,在不增加会议系统复杂度的情况下,该会议终端允许与会者在观看胶片的时候,同时在胶片上画上自己的标记,提高视频会议用户的参与感,提高讨论效率。
会议终端实施例二:
如图5所示,在会议终端实施例一的基础上,该会议终端40还可以包括:第一定时器45,用于产生第一时间间隔值;第二定时器46,用于产生第二时间间隔值;这两个定时器在具体实现时,也可以为同一定时器,该定时器可以输出两个时间间隔值;
相应的,上述标记获取模块41包括:第一标记获取模块411,用于接收所述标记数据信号,并按照该第一时间间隔值输出上述标记数据信号,产生第一标记数据信号;该第一时间间隔值是用来控制标记数据信号在本地会议终端的显示屏幕上显示的,保证了本地显示屏的实时显示效果,该第一时间间隔值一般设得比较短,如果该会议终端40的显示屏幕为一电视机,则该第一时间间隔值的最佳间隔是与该电视机的帧间隔相同。
第二标记获取模块412,用于获取上述标记数据信号,并按照该第二时间间隔值输出上述标记数据信号,产生第二标记数据信号;由于该标记数据信号发送到远端的会议终端时,需要在H.239辅流通道中进行传输,因此该第二时间间隔值不宜设定的太短,为了降低传输的数据量,可以将该第二时间间隔值设定的大一些,如1秒一次。
会议终端实施例三:
如图6所示,上述会议终端实施例二中的第一标记接收模块411可以具体为:第一内部标记获取模块4110,用于获取本地会议终端发送的标记数据信号,并按照该第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;如用户通过本地会议终端的触摸屏幕在图像接收模块42所接收的图像数据信号(如胶片,该胶片可以是本地的胶片,也可以是接收到远端会议终端发送的胶片)上,添加了圆圈标记,该第一内部标记获取模块4110就会按照第一时间间隔值输出该圆圈标记,产生第一记数据信号。
另外,上述第二标记获取模块412也可以具体为:第二内部标记获取模块4120,用于接收本地会议终端发送的标记数据信号,并按照上述第二时间间隔值输出该标记数据信号,产生第二标记数据信号。
该会议终端还包括一标记编码模块47和标记发送模块48,其中上述第二内部标记获取模块所产生的第二标记数据信号传输至该标记编码模块47,该标记终端编码模块47将该第二标记数据信号进行编码,产生第三标记数据信号;该第三标记数据信号传输至该标记发送模块48,该标记发送模块通过H.239协议的辅流通道向会议系统中的会议服务器发送该第三标记数据信号,再由该会议服务器转发给其他的会议终端。
会议终端的实施例四:
如图7所示,在上述会议终端的实施例中,会议终端在与会议服务器和其他会议终端进行传输数据的过程中,采用H.239协议的辅流通道或者自定义通道进行传输,而H.239的主流用于传输活动视频,这样,使静态图像数据的传输和活动视频的传输不冲突。而采用H.239的辅流通道进行传输上述本地会议终端产生的标记数据信号或者混合图像数据时,为了保证会议系统中各个会议终端之间的传输不混乱,采用令牌互斥的方式进行,先判断该H.239的辅流通道是否支持标记辅流,如果支持,则该会议终端40还可包括:
第一令牌控制模块49,用于在所述H.239协议的辅流通道中申请令牌,申请成功并得到一令牌后,产生第一控制信号;
上述标记发送模块48根据该第一控制信号通过H.239协议的一个辅流通道向会议服务器发送该第三标记数据信号。
也就是说,当前会议终端T1在发送自己的标记数据信号前,先申请一令牌后,自己的标记数据信号才允许在本地显示和发送到远端会议服务器,再由会议服务器转发给其他的会议终端;而系统中的会议终端T2要想发送自己的标记数据信号,也必须先申请令牌后,才可以发送自己的标记数据信号,当前的令牌拥有者由会议终端T1变成了会议终端T2,这样可以保证多个会议终端发送标记数据信号不被打乱。
会议终端的实施例五:
如图8所示,上述所有会议终端的实施例中,该会议终端还应当具有接收功能,具体来讲,上述第一标记获取模块411具体为:
第一外部标记获取模块4111,用于接收会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号,并按照上述第一定时器45产生的第一时间间隔值输出该标记数据信号,产生第一标记数据信号。
该叠加模块43具体为:第二叠加模块431,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据信号;
上述输出模块44具体为:第二发送模块441,用于向本地会议终端的显示屏幕上发送该第二混合图像数据,并显示。
会议终端实施例六:
如图9所示,在一个讨论过程中,可能会有多个会场的会议终端需要同时作标记,为了保证不同会场的标记数据信号的顺序不被打乱,需要进行互斥处理,在上述会议终端实施例五的基础上,当该第一标记获取模块411接收到多个会议终端发送的标记数据信号时,该第一外部标记获取模块4111包括:
第一外部标记获取子模块41110,用于接收会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号;
至少一个解码器,如解码器1,解码器2,解码器3等,这里的每一个解码器对应一个会场,也就是说,一个会场(即一个其他会议终端)发送来的标记数据信号均进入一个解码器进行解码,各个解码器对接收到的标记数据信号解码后,生成一标记数据信号队列;
标记输出模块41111,用于按照上述第一时间间隔值和该标记数据信号队列的顺序输出所述标记数据信号,生成至少一个第一标记数据信号。之后再将这些第一标记数据信号顺序送入第二叠加模块431中进行叠加,为了保证在叠加时,能够区分出是那个会议终端发送的标记数据信号,每个会议终端在发送自己的标记数据信号时,要包括自己的会议号,终端号和相应的标记数据信号的内容,这些标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图;在使用矢量图或二值位图的时候,可以由会议服务器MCU随机给每个会议终端分配一种填充颜色,会议终端的叠加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充;在使用YUV、RGB等彩色位图表示轨迹的时候,系统中必须统一指定一种透明颜色,以便接收端能正确识别出轨迹的位置与胶片叠加,这样可以保证标记数据信号和图像数据信号叠加后,每一个会场的混合图像数据的完整性。
在一会议终端接收到其他的会议终端发送的标记数据信号时,同时该会议终端又收到了一个图像数据信号,此时该会议终端就会将其接收到的图像数据信号和标记数据信号进行叠加,形成完整的混合图像数据,这样该会议终端也就知道对方对当前的图像数据作了那些标记。
会议终端的实施例七:
如图10所示,当会议系统不支持标记辅流时,此时会议终端只能向其他终端发送混合图像数据,而该混合图像数据是在本地会议终端上叠加生成的,为了保证各个终端发送的混合图像数据的顺序,上述会议终端40还可包括:
第二令牌控制模块50,用于在H.239协议的另一个辅流通道中申请令牌,申请成功并得到一令牌后,产生第二控制信号,叠加模块43在得到该第二控制信号时,就可以开始记录标记数据信号和图像数据信号,并对图像数据信号和标记数据信号进行叠加,生成混合图像数据信号。
也就是说,会议终端T1在其接收到的胶片上添加标记之前,先申请H.239辅流通道控制令牌,在得到令牌后,开始记录用户添加的标记数据信号,并将该标记数据信号叠加到胶片上,形成一混合图像数据,将编码后的混合图像数据通过辅流通道发送给会议服务器,再由会议服务器转发给其他的会议终端。其他会议中的会议终端如果想添加自己的标记数据信号,也进行同样的动作,这样通过不断的切换H.239辅流通道发送令牌,各个会场的会议终端都可以将自己的标记添加到该胶片上。
相应的,上述叠加模块43具体为:第一叠加模块430,用于将上述图像数据信号和该第一标记数据信号进行叠加,生成第一混合图像数据,如添加了标记的胶片;
上述输出模块44具体为:第一发送模块440,用于向该本地会议终端的显示屏幕上发送该第一混合图像数据,或者通过H.239协议的辅流通道向会议服务器发送所述第一混合图像数据。这样,用户在触摸屏上添加标记之后,就会及时地看到自己绘制的标记轨迹,该第一混合图像数据不仅可以本地会议终端上显示,也同样可以通过H.239协议的辅流通道向会议服务器发送该第一混合图像数据,再由该会议服务器转发给其他的会议终端,这样其他的会议终端就能看到当前该用户添加标记后的胶片了。
会议终端的实施例八:
如图11所示,上述各图中所示实施例的会议终端40中,还可包括:
图像数据保存模块51,用于在本地会议终端上保存所述混合图像数据。在会议进行过程中,每一个添加过标记的胶片都可以在本地会议终端上保存,以便记录会议的过程。
标记擦除模块52,用于将所述混合图像中的标记数据信号进行擦除;用户在添加标记数据信号的过程中,可以将其已经添加的标记数据信号擦除,在令牌控制模式下,令牌所有者可以发一条指令让叠加模块43擦除已经添加的标记;
图像发送模块53,用于将图像内部接收模块420所接收的本地会议终端的图像数据信号向会议服务器发送,再由会议服务器转发给其他的会议终端,这样其他的会议终端均可以观看到本地会议终端的图像数据。
另外,上述图像获取42模块包括:内部图像获取模块420,用于获取本地会议终端发送的图像数据信号;外部图像获取模块421,用于获取会议服务器发送的其他会议终端的图像数据信号;
在上述的所有实施例中,图像获取模块42所接收的图像数据信号除了可以为胶片,还可以为一白色背景,该白色背景由会议终端的输入设备产生,如通过触摸屏绘制标记后系统自动生成一白色背景,所有用户标记数据信号都会叠加在该白色背景上,这样用户使用起来更加方便和随意。
上述的各个会议终端的实施例,无需增加其他的设备,在现有的H.239双流的基础上实现与会者之间的数据协作,提高用户的参与感,提高讨论效率。
会议服务器的实施例一:
如图12所示,本发明的实施例还提供一种会议服务器60,该会议服务器通常为一MCU(多点控制单元),用在视频会议中,为视频会议中的各个会议终端提供数据的转发和服务。该会议服务器60包括:
图像数据接收模块61,用于接收会议终端发送的图像数据信号;
标记接收模块62,用于接收会议终端发送的标记数据信号;
叠加模块63,用于对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
发送模块64,用于向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
会议服务器的实施例二:
如图13所示,上述叠加模块63在对图像数据信号和标记数据信号进行叠加时,可能会收到多个会议终端发送的标记数据信号,该叠加模块63需要对每个会议终端发送的标记数据信号进行区分,该叠加模块63具体包括:
填充模块631,用于为所述标记数据信号分配填充颜色或者透明颜色,并利用所述填充颜色或者透明颜色对所述标记数据信号进行处理,产生颜色标记数据信号;标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图表示;在使用矢量图或二值位图的时候,可以随机给每个会议终端的标记数据信号分配一种填充颜色,叠加模块63在叠加不同会场轨迹的时候使用上述填充颜色进行填充;在使用YUV、RGB等彩色位图表示标记数据信号的时候,MCU须指定一种透明颜色,以便接收会议终端能正确识别出轨迹的位置,这样可以保证标记数据信号和图像数据信号叠加后,每一个会场的混合图像数据的完整性。
处理模块632,用于将所述图像数据信号和所述颜色标记数据信号进行叠加,生成混合图像数据。
该会议服务器60在向会议终端发送混合图像数据或者标记数据信号时,还可包括:发送控制模块,用于选择H.239协议的一辅流通道,控制所述发送模块64通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数据信号;当系统中有多个会议服务器的情况下,该会议服务器还可将其叠加的混合图像数据或者会议终端发送过来的标记数据信号或者会议终端发送过来的图像数据信号转发给其他的会议服务器,再由其他的会议服务器发送给与该其他的会议服务器连接的会议终端。
该会议服务器60在会议终端不具有叠加功能时,将各个会议终端发送的图像数据信号(如胶片)和标记数据信号进行叠加,然后再转发给其他的会议终端,使会议系统中的各个会议终端都能够看到其他会议终端添加的标记,实现与会者之间的协作,提高用户的参与感,提高用户的讨论效率。
会议系统的实施例:
下面将上述的会议终端和会议服务器组成的会议系统进行介绍:
上述的会议终端和会议服务器主要可以组成以下三种应用场景:
一,会议终端1将共享的图像数据信号发送给会议服务器,会议终端2将本地的标记数据信号也发送给会议服务器,由会议服务器对图像数据信号和标记数据信号叠加后,形成一混合图像数据,再发送给所有的会议终端,会议终端接收到会议服务器发送的混合图像数据时,对该混合图像数据进行解码并显示;
二,会议终端1将共享的图像数据信号发送给会议服务器,会议终端2将本地的标记数据信号发送给会议服务器,再由会议服务器转发给所有的会议终端,会议终端在接收到图像数据信号和标记数据信号时,对图像数据信号和标记数据信号进行叠加,并显示;
三,会议终端1将共享的图像数据信号(该图像数据信号可为本地的图像数据,也可为接收到的远端的图像数据)和本地的标记数据信号在本地叠加后,生成一混合图像数据,再将混合图像数据通过H.239辅流通道发送给会议服务器,再由会议服务器转发给其他的会议终端2,其他的会议终端2接收到混合图像数据时,对该混合图像数据进行解码并显示。
上述各种应用场景中,各会议终端都是对等的,会议终端1具有在本地叠加的能力,会议终端2也具有在本地叠加的能力,会议终端1具有发送本地图像数据和标记数据信号的能力,会议终端2也具有发送本地图像数据和标记数据信号的能力。
会议系统的实施例一:
如图14所示,为上述第一种应用场景的会议系统结构示意图,该会议系统包括:会议终端71,与该会议终端71连接的一笔记本电脑72;会议服务器73;会议终端74,与会议终端74连接的带触摸屏的显示器75;会议终端76,与会议终端76连接的普通显示器77,该会议终端76的个数不作限制,这里的每一个会议终端都代表一个会场;其中,上述会议终端71包括:
图像发送模块53,用于向会议服务器73发送图像数据信号;
上述会议终端74包括:
标记发送模块48,用于向会议服务器73发送标记数据信号;
会议服务器73如上述会议服务器60,包括:
图像数据接收模块61,用于接收图像发送模块53发送的图像数据信号;
标记接收模块62,用于接收所述标记发送模块48发送的标记数据信号;
叠加模块63,用于对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
发送模块64,用于向会议终端71,会议终端74,会议终端76发送所述混合图像数据。
会议终端71和会议终端76,用于接收并显示所述混合图像数据。
具体来讲,该应用场景主要包括以下流程:
1)会议终端71是需要和其他与会者共享胶片的会场,使用者只需要将笔记本电脑通过普通的VGA电缆连接到会议终端71,再通过H.239辅流通道将自己的胶片发送给会议服务器73,再由会议服务器73将该胶片发送给会议终端74和会议终端76;
2)会议终端74是一个接有带触摸屏显示器75的会场,该会场用户在观看胶片的过程中发现有一个地方有疑问需要与其他人讨论,因此,他在显示器75上需要讨论的地方画了一个圆圈,该圆圈被显示器上的触摸屏记录下来,并且通过会议终端74传递给会议服务器73;当然,在会议服务器73没有该会议终端74的用户所观看的胶片时,该会议终端74还需要将该胶片也发送给会议服务器73。
3)会议服务器73接收到会议终端74发送过来的圆圈标记后,先将胶片视频流进行解码,得到胶片图像;再将会议终端72发送的圆形标记叠加到胶片图像上;将叠加圆形标记的混合图像进行编码;把编码后的混合图像码流通过H.239辅流通道发送给所有会场;
4)会议终端76是一个普通会场,该会议终端76连接一普通的显示器77,该会场通过H.239辅流通道接收到会议服务器73发送的混合图像视频码流,进行解码后即可看到叠加了会议终端74会场发送的圆形标记的胶片图像。
同样,会议终端71和其他所有会场也会接收到和会议终端76一样的胶片图像。如果有其他会场具备会议终端74一样的标记输入设备,其他会场也可以发送自己的标记并且被所有的会场看到。
会议系统的实施例二:
如图15所示,在上述会议系统的实施例一的基础上,描述会议系统中多会议服务器级联的应用场景,该图中的双箭头表示混合图像数据流的传输:
当系统中的会议服务器为多个时,这多个会议服务器之间采用级联的方式连接,每一个会议服务器下都可连接一个或者多个会议终端,其中一个会议服务器为主会议服务器,而其他的会议服务器为从会议服务器,会议终端发送的共享图像数据信号和添加的标记数据信号的叠加由主会议服务器进行;
该实施例中,以两个MCU(会议服务器)级联的实例进行说明,其中包括:MCU1,MCU2,会议终端T1,会议终端T2,会议终端T3;MCU1为主MCU,MCU2为从MCU,多于2个MCU级联的情况,也是如此,其中一个MCU为主MCU,其他MCU为从MCU;
会议中,会议终端T1将共享图像数据信号发送给与其相连的MCU2,会议终端T2也将它的标记数据信号发送给与其相连的MCU2上,从MCU2将T1的共享图像数据信号和T2的标记数据信号,转发给会议系统中的主MCU,即MCU1,由会议系统中主MCU(MCU1)完成对图像数据信号和标记数据信号的叠加,压缩形成混合图像数据,然后再转发给会议系统中的各个会议终端,对于连接在从MCU(MCU1)上的会议终端,混合图像数据由主MCU先发送给会议中的各个从MCU,然后由从MCU进行转发。会议系统中的各个终端收到混合图像数据时,对其进行解码并显示。
对于更多级的MCU级联,与上面类似,会议中图像数据信号和标记数据信号的叠加工作,是由级联会议系统中的主MCU完成。
上述描述的是系统中多MCU级联时一个可以为主MCU,其他的均为从MCU的情况,当然,系统中的多个MCU也可均为主MCU。即每个MCU均可以进行叠加和转发的工作,为了使多个MCU能够协调的工作,系统中还可以包括:控制单元,用于获取所述标记数据信号的发送时间,按照所述标记数据信号的发送时间的先后顺序,产生一控制信号;
所述至少两个主会议服务器中的所述叠加模块,根据所述控制信号对所述图像数据信号和所述标记数据信号进行叠加,生成所述混合图像数据,并将混合图像数据信号发送给系统中的各会议终端。上述的控制单元可以通过系统中的GATEKEEPER(网守,是一种采用软交换方式的交换服务器,负责VoIP网路上的讯号交换及控制功能)来实现,当然采用其他类似功能的控制模块也可以实现。
当然,除了上述GATEKEEPER来控制各个会议服务器之间进行协调工作外,还可以采用令牌控制的方式,系统中,将各个会议终端发送标记数据信号的时间通知各个主会议服务器,主会议服务器根据该标记信号的发送时间主动获取一控制令牌,当该主会议服务器完成叠加工作之后,按照各个会议终端发送的标记数据信号的时间先后顺序,下一个主会议服务器获取该控制令牌,继续进行叠加工作,直到最后一个主会议服务器完成叠加,将最终的混合图像数据信号发送给系统中的各个会议终端;上述控制令牌是各个主会议服务器主动获取的,当然也可以由GATEKEEPER主动将控制令牌分配给各个主会议服务器使用。
会议系统的实施例三:
如图16所示,为上述第二种应用场景的会议系统结构示意图,该会议系统包括:会议终端81,与该会议终端81连接的一笔记本电脑82和一普通显示器83;会议服务器84;会议终端85,与会议终端85连接的带触摸屏的显示器86;会议终端87,与会议终端87连接的普通显示器88;这里的每一个会议终端都代表一个会场;会议终端87的个数不作限制,其中,上述会议终端81包括:
图像发送模块53,用于向会议服务器83发送图像数据信号;
会议终端85包括:
标记发送模块48,用于向会议服务器83发送标记数据信号;
会议服务器83将接收图像数据信号和标记数据信号转发会议终端87和会议终端81;
会议终端87和会议终端81均包括:
第一定时器45,用于产生第一时间间隔值;
第二定时器46,用于产生第二时间间隔值;
图像接收模块42,用于接收所述会议服务器转发的图像数据信号;
第一外部标记接收模块4111,用于接收所述会议服务器83转发的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第二叠加模块431,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据信号;
显示模块,如显示器88,用于显示所述第二混合图像数据信号。
会议终端87在接收到多个会议终端的标记数据信号时,为了保证接收方在叠加时,能够区分出是哪个会议终端发送的标记数据信号,每个会议终端在发送自己的标记数据信号时,要包括自己的会议号,终端号和相应的标记数据信号的内容,这些标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图;在使用矢量图或二值位图的时候,可以由会议服务器随机给每个会议终端分配一种颜色,会议终端的叠加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充;在使用YUV、RGB等彩色位图表示轨迹的时候,系统中必须统一指定一种透明颜色,以便接收端能正确识别出标记轨迹的位置与胶片叠加。具体讲上述第一外部标记接收模块4111包括:
第一外部标记接收子模块41110,用于接收所述会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号,根据上述标记数据信号中会议号,终端号等信息找到相应的解码器,并发送属于该解码器的标记数据信号;
至少一个解码器,用于对所述至少一个其他会议终端的标记数据信号分别进行解码,生成一标记数据信号队列;
标记输出模块41111,用于按照所述第一时间间隔值和所述标记数据信号队列的顺序输出所述标记数据信号,生成至少一个第一标记数据信号。
该应用场景主要包括以下流程:
1)会议终端81是需要跟其他与会者共享胶片的会场,使用者只需将笔记本电脑(目前一般是通过VGA线缆)连接到第一会议终端81,再通过H.239辅流通道将自己的胶片发送给所有与会者;
2)会议终端85是一个接有带触摸屏显示器86的会场,该会场的用户在观看胶片的过程中发现有一个地方有疑问需要与其他人讨论,因此他在显示器上需要讨论的地方画了一个圆圈,该圆圈被显示器上的触摸屏记录下来,并且通过会议终端85传递给会议服务器84;
3)会议服务器84将会议终端85发送的圆形标记发送给会议终端87和会议终端81。
4)会议终端87是一个普通会场,该会场同时收到会议终端81发送的胶片码流和会议终端85发送的圆形标记,会议终端87对胶片码流进行解码后得到胶片图像,再将圆形标记叠加到该胶片图像上即可看到叠加了圆形标记的胶片图像。
如果有其他会场具备会议终端85一样的标记输入设备,其他会场也可以发送自己的标记并且被所有的会场看到。
会议系统实施例四:
如图17所示,在上述会议系统的实施例三的基础上,描述会议系统中多会议服务器级联的应用场景,该图中的双箭头表示混合图像数据流的传输:
假设,系统中有两个MCU进行级联,其中MCU1为主MCU,MCU2为从MCU,多于2个MCU级联的情况,与此类似,其中一个MCU为主MCU,其他MCU为从MCU;
会议系统中,会议终端T1将共享的图像数据信号发送给会议系统中与其相连的MCU2,会议终端T2将本地的标记数据信号发送给与其相连的MCU2,从MCU2将T1的共享图像数据信号和T2的标记数据信号,转发给会议系统中的主MCU,即MCU1,由会议系统中主MCU直接将接收到的共享图像数据信号和标记数据信号转发给会议系统中的各个会议终端,对于连接在从MCU上的会议终端,共享图像数据信号和标记数据信号由主MCU先发送给会议系统中的各个从MCU,然后由从MCU进行转发。会议系统中的各个会议终端收到共享图像数据信号和标记数据信号后,对其进行叠加,然后显示。
对于更多级的MCU级联,操作与上面类似,发送给会议系统中各个会议终端的共享图像数据信号和标记数据信号,是由级联会议中的主MCU来统一收集、转发来完成的。
该实施例中,若多个MCU均为主MCU时,同样MCU会按照标记数据信号的添加时间先后顺序,产生一控制信号,各主MCU根据该控制信号将其接收到的标记数据信号顺序转发给接收端的会议终端,由接收端的会议终端进行叠加,并显示。当然也可以按照各标记数据信号的添加时间先后顺序获取一控制令牌,该控制令牌即可以是主MCU主动获取,也可以是系统的中的控制单元进行下发,各主MCU根据该控制令牌对其接收到的标记数据信号进行转发,由各个接收端会议终端接收并进行叠加。
会议系统的实施例五:
如图18所示,为上述第三种应用场景的会议系统结构示意图,该会议系统包括:会议终端91,与该会议终端91连接的一笔记本电脑92;会议服务器93;会议终端94,与会议终端94连接的带触摸屏的显示器95;会议终端96,与会议终端96连接的普通显示器97;这里的每一个会议终端都代表一个会场,会议终端96的个数不作限制,其中,上述会议终端91包括:
第一定时器45,用于产生第一时间间隔值;
第二定时器46,用于产生第二时间间隔值;
第一内部标记接收模块4110,用于接收本地会议终端发送的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第二内部标记接收模块4120,用于接收本地会议终端发送的标记数据信号,并按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号。
第一叠加模块430,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第一混合图像数据;
第一发送模块440,用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据,或者通过H.239协议的辅流通道向所述会议服务器发送所述第一混合图像数据;
所述会议服务器93,用于接收所述至少一个会议终端94发送的所述第一混合图像数据,并转发;
所述会议终端96和会议终端91,用于接收所述第一混合图像数据,对所述第一混合图像数据进行解码,并显示。
具体来讲,该应用场景主要包括以下流程:
1)在初始状态下,会议终端91连接笔记本电脑,并且申请到H.239辅流令牌,通过辅流通道向其他会场共享胶片(相当于把共享胶片通过辅流通道发送其他终端),因此会议终端94和会议终端96都看到会议终端91的胶片。
2)当观看到某个胶片时,会议终端94的用户想在胶片上做一个标记,为了能将自己的标记传给其他人,第一会议终端的操作过程如下
2.1)申请H.239辅流通道控制令牌;
2.2)判断会议控制者(当前令牌拥有者)是否同意申请,若是,得到令牌,开始记录会议终端94的触摸屏95的标记数据信号,并将该标记数据信号叠加到该会议终端94所观看的胶片图像上;
2.3)将叠加标记数据信号后的胶片进行编码;
2.4)将编码后的胶片码流通过H.239辅流通道发送会议服务器93。
此时会议终端94为H.239辅流的发送者,其他会场如果想添加自己的标记,也做同样操作,这样通过不断切换H.239辅流发送令牌,各个会场都可以将自己的标记添加到该胶片上。
当然,在该种系统中,会议终端94也可以采用令牌控制的方式单独发送通过触摸屏95所添加的标记,将标记作为H.239的第二路辅流(胶片传输为第一路辅流),在会议召开时能力交换需要增加两个参数:1.是否支持第二路辅流;2.第二路辅流是否是标记信息;
如果第二路辅流是标记信息,则默认使用令牌的方式进行控制。也就是说,发送标记时,也采用申请令牌的方式进行,本方案中所说“第二路”仅表明一个序号,区别胶片辅流,实际上可以是任意一个辅流。
采用令牌控制方式发送标记的流程如下:
3.1)申请标记辅流控制令牌;
3.2)申请成功,则得到一令牌,开始记录通过触摸屏95所添加的标记数据信号;
3.3)将用户的标记数据信号(标记轨迹)作为单独辅流发送给会议服务器93,再由会议服务器93转发给其他的会议终端。
当然在实际的使用过程中,可以将上述令牌控制标记数据信号发送的方式和令牌控制混合胶片的方式结合起来。
会议系统的实施例六:
如图19所示,在上述会议系统的实施例五的基础上,描述会议系统中多会议服务器级联的应用场景,该图中的双箭头表示混合图像数据流的传输:
假设,系统有两个MCU进行级联,其中MCU1为主MCU,MCU2为从MCU,多于2个MCU级联的情况,与此类似,其中一个MCU必定为主MCU,其他MCU为从MCU;
会议终端T1将共享的图像数据信号和本地的标记数据信号在本地叠加之后生成一混合图像数据,在将混合图像数据通过H.239辅流通道发送给MCU2,MCU2将其转发给会议中的主MCU(MCU1),会议中主MCU(MCU1)将收到的混合图像数据发送给会议系统中的各个从MCU,连接在会议系统中从MCU上的会议终端,通过从MCU接收该从MCU转发的混合图像数据。
对于更多的MCU级联,操作与上面类似,发送给会议系统中各个会议终端的混合图像数据,是由级联会议中的主MCU来统一转发来完成的,当然系统中的各个MCU也都可以为主MCU,为了保证系统中网络不被拥塞,各个MCU之间需要以一定的顺序进行转发,并选择其中一个MCU将混合图像数据进行最后的转发。
在上述会议系统的所有实施例中,会议终端与会议服务器之间进行数据传输时,当网络出现拥塞或者是丢包的时候,可以采用如下方法解决网络拥塞或者丢包的问题,使会议系统中的用户有更好的参与体验:
1)采用可靠的传输,如:图像数据信号、混合图像数据信号等数据量较大的数据采用UDP协议进行传输,不致出现网络的拥塞;
2)采用抗丢包技术,使用一些丢包恢复技术,进行冗余数据传输,当出现小丢包时,如标记数据信号,因为其数据量较小,接收端通过冗余数据及收到的数据一同恢复出被丢失的数据,可以使用可靠的传输协议TCP协议来进行传输,以确保标记数据信号能够安全地在各个设备间传输;当然,标记数据信号,也可以使用可靠的传输,如使用UDP协议进行传输。
所有的现有系统上的抗丢包技术,都可以应用到本交互应用上来,以改善丢包或是网络拥塞情况下的应用体验。
在标记数据信号由会议终端发送给会议服务器,再由会议服务器转发给其他的会议终端时,可以通过如上述IP网的TCP协议、UDP协议,当然也可以采用如H.320系统的HMLP协议进行传输,为了保证实时性,在IP网络中通常使用UDP协议进行传输。
当然,在MCU侧或者接收侧的会议终端侧,也可以通过记录接收到数据的时间,并按照接收时间的先后顺序对接收到的图像数据信号和标记数据信号进行叠加,以保证各个会议终端添加的标记数据信号能够被正确的叠加,提高用户的体验;或者会议终端在发送图像数据信号、标记数据信号时,添加一时间戳,记录发送的时间,MCU接收到该图像数据信号或者标记数据信号时,可以获取该时间戳,尤其是对于标记数据信号,按照标记数据信号的发送时间对图像数据进行叠加,使各个会议终端的标记数据信号与图像数据信号能够被正确的叠加,提高用户的体验和参与感。
在上述的几种会议系统,在实现用户相互协作交互的过程中,无需另外构造数据会议系统和设备,在现有的H.239双流的基础上实现与会者之间的数据协作,提高用户的参与感和讨论效率。
方法的实施例:
如图20,本发明的实施例还提供一种数据处理方法,包括:
步骤S160,获取图像数据信号;
步骤S161,获取标记数据信号;
步骤S162,将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;
步骤S163,输出所述混合图像数据信号,该混合图像数据即可以输出到本地会议终端上进行显示,也可以输出到会议服务器,再由会议服务器转发给其他的会议终端。
该方法通过将获取的图像数据信号和标记数据信号进行叠加,生成混合图像数据信号,如该混合图像数据信号为添加了标记的胶片,该允许与会者在观看胶片的时候,同时在胶片上画上自己的标记,提高视频会议用户的参与感,提高讨论效率。
下面为上述图20所示的方法的一具体实现过程:
步骤S170,获取图像数据信号;
步骤S171,获取本地会议终端输入的标记数据信号;
步骤S172,产生第一时间间隔值;
步骤S173,产生第二时间间隔值;
步骤S174,按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
步骤S175,按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号,并对该第二标记数据信号进行编码,生成第三标记数据信号;
步骤S176,判断是否支持标记辅流,若支持,执行步骤S177,若不支持执行步骤S178或者通过自定义通道发送所述第三标记数据信号;
步骤S177,在H.239协议的辅流通道中申请令牌,申请成功并得到一令牌后,产生第一控制信号,根据所述第一控制信号通过H.239协议的一个辅流通道向会议服务器发送所述第三标记数据信号;
步骤S178,在H.239协议的另一个辅流通道中申请令牌,申请成功并得到一令牌后,产生第二控制信号,根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加,生成第一混合图像数据;
步骤S179,向所述本地会议终端的显示屏幕上发送所述第一混合图像数据,或者通过H.239协议的辅流通道向会议服务器发送所述第一混合图像数据,再由会议服务器转发给其他的会议终端。
另外,若接收的标记数据信号为其他终端发送的标记数据信号时,上述图17所示的方法还可以具体为:
上述图20所示的方法的另一具体实现过程:
步骤S180,获取图像数据信号;
步骤S181,获取会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号;
步骤S182,产生第一时间间隔值;
步骤S183,对所述至少一个其他会议终端的标记数据信号分别进行解码,生成一标记数据信号队列;
步骤S184,按照所述第一时间间隔值,根据所述标记数据信号队列的顺序输出所述标记数据信号,生成至少一个第一标记数据信号;
步骤S185,将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据信号;
步骤S186,向本地会议终端的显示屏幕上发送所述第二混合图像数据。
其中上述标记数据信号包括:会议标号,会议终端标号和标记数据信号内容;其中,会议标号,会议终端标号主要为了保证接收方在叠加时,能够区分出是那个会议终端发送的标记数据信号;而标记数据信号内容用矢量图、二值位图、YUV色彩位图或者RGB色彩位图来表示,在使用矢量图或二值位图的时候,可以由会议服务器随机给每个会议终端分配一种颜色,会议终端的叠加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充;在使用YUV、RGB等彩色位图表示轨迹的时候,系统中必须统一指定一种透明颜色,以便接收端能正确识别出标记数据信号的位置与胶片叠加。
另一方法的实施例:
如图21所示,本发明的实施例还提供一种数据处理方法,包括:
步骤S190,接收会议终端发送的图像数据信号和标记数据信号;
步骤S191,对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
步骤S192,向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
步骤S191包括:为所述标记数据信号分配填充颜色或者透明颜色,并利用所述填充颜色或者透明颜色对所述标记数据信号进行处理,产生颜色标记数据信号;标记数据信号的内容可以用矢量图、二值位图、YUV或者RGB等彩色位图表示;
将所述图像数据信号和所述颜色标记数据信号进行叠加,生成混合图像数据。在使用矢量图或二值位图的时候,可以随机给每个会议终端的标记数据信号分配一种填充颜色,在叠加不同会场轨迹的时候使用上述填充颜色进行填充;在使用YUV、RGB等彩色位图表示标记数据信号的时候,MCU须指定一种透明颜色,以便接收会议终端能正确识别出轨迹的位置,这样可以保证标记数据信号和图像数据信号叠加后,每一个会场的混合图像数据的完整性。
步骤S192中,向会议终端发送所述混合图像数据或者所述标记数据信号时,该会议服务器可选择H.239协议的一辅流通道,通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数据信号。支持H.239协议,系统结构简单,且使会议系统中的各个会议终端都能够看到其他会议终端添加的标记,实现与会者之间的协作,提高用户的参与感,提高用户的讨论效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一可读取存储介质中,该程序在执行时,包括如上述方法实施例的步骤。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (45)
1.一种会议终端,其特征在于,包括:
标记获取模块,用于获取标记数据信号;
图像获取模块,用于获取图像数据信号;
叠加模块,用于将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;
输出模块,用于输出所述混合图像数据信号。
2.根据权利要求1所述的会议终端,其特征在于,还包括:
第一定时器,用于产生第一时间间隔值;
第二定时器,用于产生第二时间间隔值;
所述标记获取模块具体包括:
第一标记获取模块,用于获取所述标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第二标记获取模块,用于获取所述标记数据信号,并按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号。
3.根据权利要求2所述的会议终端,其特征在于,
所述第一标记获取模块具体为:
第一内部标记获取模块,用于获取本地会议终端发送的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
所述第二标记获取模块具体为:
第二内部标记获取模块,用于获取本地会议终端发送的标记数据信号,并按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号。
4.根据权利要求3所述的会议终端,其特征在于,还包括:
标记编码模块,用于将所述第二标记数据信号进行编码,产生第三标记数据信号;
标记发送模块,用于通过辅流通道或者自定义通道向会议服务器发送所述第三标记数据信号。
5.根据权利要求4所述的会议终端,其特征在于,还包括:
第一令牌控制模块,用于在所述辅流通道中申请令牌,申请成功并得到一令牌后,产生第一控制信号;
所述标记发送模块根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第三标记数据信号。
6.根据权利要求2所述的会议终端,其特征在于,
所述第一标记获取模块具体为:
第一外部标记获取模块,用于获取会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号。
7.根据权利要求6所述的会议终端,其特征在于,
所述第一外部标记获取模块包括:
第一外部标记获取子模块,用于获取所述会议服务器发送的至少一个所述其他会议终端的标记数据信号;
至少一个解码器,用于对所述至少一个所述其他会议终端的标记数据信号分别进行解码,生成一标记数据信号队列;
标记输出模块,用于按照所述标记数据信号队列的顺序输出所述标记数据信号,生成至少一个第一标记数据信号。
8.根据权利要求7所述的会议终端,其特征在于,
所述叠加模块具体为:
第一叠加模块,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第一混合图像数据信号;
所述输出模块具体为:
第一发送模块,用于向本地会议终端的显示屏幕上发送所述第一混合图像数据。
9.根据权利要求3所述的会议终端,其特征在于,还包括:
第二令牌控制模块,用于在辅流通道中申请令牌,申请成功并得到一令牌后,产生第二控制信号。
10.根据权利要求9所述的会议终端,其特征在于,
所述叠加模块具体为:
第二叠加模块,用于根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据;
所述输出模块具体为:
第二发送模块,用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据,或者通过所述辅流通道向会议服务器发送所述第二混合图像数据。
11.根据权利要求1-10任一项所述的会议终端,其特征在于,还包括:
标记擦除模块,用于将所述混合图像中的标记数据信号进行擦除;或
图像数据保存模块,用于在本地会议终端上保存所述混合图像数据;或
图像发送模块,用于向会议服务器发送图像数据信号。
12.根据权利要求1-10任一项所述的会议终端,其特征在于,所述图像获取模块包括:
内部图像获取模块,用于获取本地会议终端发送的图像数据信号;
外部图像获取模块,用于获取会议服务器发送的除本地会议终端外的其他会议终端的图像数据信号。
13.一种会议服务器,其特征在于,包括:
图像数据接收模块,用于接收会议终端发送的图像数据信号;
标记接收模块,用于接收会议终端发送的标记数据信号;
叠加模块,用于对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
发送模块,用于发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
14.根据权利要求13所述的会议服务器,其特征在于,所述叠加模块包括:
填充模块,用于为所述标记数据信号分配填充颜色或者透明颜色,并利用所述填充颜色或者透明颜色对所述标记数据信号进行处理,产生颜色标记数据信号;
处理模块,用于将所述图像数据信号和所述颜色标记数据信号进行叠加,生成混合图像数据。
15.根据权利要求13或14所述的会议服务器,其特征在于,还包括:
发送控制模块,用于选择辅流通道,控制所述发送模块通过所述辅流通道向会议终端或者其他会议服务器发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
16.一种会议系统,其特征在于,包括:第一会议终端,会议服务器和至少一个第二会议终端;其中,
所述第一会议终端包括:
图像获取模块,用于获取所述会议服务器转发的图像数据信号;
标记发送模块,用于获取标记数据信号,并向所述会议服务器发送标记数据信号;
所述会议服务器包括:
图像数据接收模块,用于接收系统中任一会议终端发送的图像数据信号;
标记接收模块,用于接收所述标记数据信号;
叠加模块,用于对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
发送模块,用于向所述第一会议终端和所述至少一个第二会议终端发送所述混合图像数据;
所述至少一个第二会议终端,用于接收并显示所述混合图像数据。
17.根据权利要求16所述的系统,其特征在于,所述会议服务器为至少两个级联的会议服务器。
18.根据权利要求17所述的系统,其特征在于,所述至少两个会议服务器包括:一主会议服务器和至少一个从会议服务器;
所述主会议服务器,向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送所述混合图像数据;
所述从会议服务器,将其接收到的所述混合图像数据向与所述从会议服务器连接的会议终端发送。
19.根据权利要求17所述的系统,其特征在于,所述至少两个会议服务器均为主会议服务器,所述系统还包括:
控制单元,用于获取所述标记数据信号的发送时间,按照所述标记数据信号的发送时间的先后顺序,产生一控制信号;
所述至少两个主会议服务器中的所述叠加模块,根据所述控制信号对所述图像数据信号和所述标记数据信号进行叠加,生成所述混合图像数据。
20.根据权利要求19所述的系统,其特征在于,所述至少两个主会议服务器根据所述控制信号,获取一控制令牌,所述叠加模块根据所述控制令牌对所述图像数据信号和所述标记数据信号进行叠加,生成所述混合图像数据。
21.一种会议系统,其特征在于,包括:第一会议终端,会议服务器和至少一个第二会议终端;其中,
所述第一会议终端包括:
图像获取模块,用于获取所述会议服务器发送图像数据信号;
标记发送模块,用于获取标记数据信号,并向所述会议服务器发送所述标记数据信号;
所述会议服务器用于接收所述图像数据信号和所述标记数据信号,并转发;
所述至少一个第二会议终端包括:
第一定时器,用于产生第一时间间隔值;
图像获取模块,用于获取所述会议服务器转发的图像数据信号;
第一外部标记获取模块,用于获取所述会议服务器转发的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第一叠加模块,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第一混合图像数据信号;
显示模块,用于显示所述第一混合图像数据信号。
22.根据权利要求21所述的系统,其特征在于,所述第一外部标记获取模块包括:
第一外部标记获取子模块,用于获取所述会议服务器转发的至少一个其他会议终端的标记数据信号;
至少一个解码器,用于对所述至少一个其他会议终端的标记数据信号分别进行解码,生成一标记数据信号队列;
标记输出模块,用于按照所述第一时间间隔值和所述标记数据信号队列的顺序输出所述标记数据信号,生成至少一个第一标记数据信号。
23.根据权利要求21或22所述的系统,其特征在于,所述会议服务器为至少两个级联的会议服务器。
24.根据权利要求23所述的系统,其特征在于,所述至少两个会议服务器包括:一主会议服务器和至少一个从会议服务器;
所述主会议服务器,向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送所述图像数据信号和所述标记数据信号;
所述从会议服务器,将其接收到的所述图像数据信号或所述标记数据信号向与所述从会议服务器连接的会议终端发送。
25.根据权利要求23所述的系统,其特征在于,所述至少两个会议服务器均为主会议服务器,所述系统还包括:
控制单元,用于获取所述标记数据信号的发送时间,按照所述标记数据信号的发送时间的先后顺序,产生一控制信号;
所述至少两个主会议服务器根据所述控制信号转发所述图像数据信号和所述标记数据信号。
26.根据权利要求25所述的系统,其特征在于,所述至少两个主会议服务器根据所述控制信号,获取一控制令牌,并根据所述控制令牌对所述图像数据信号和所述标记数据信号进行转发。
27.一种会议系统,其特征在于,包括:第一会议终端,会议服务器和至少一个第二会议终端;其中,
所述第一会议终端包括:
第一定时器,用于产生第一时间间隔值;
第二定时器,用于产生第二时间间隔值;
第一内部标记获取模块,用于获取本地会议终端发送的标记数据信号,并按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
第二内部标记获取模块,用于获取本地会议终端发送的标记数据信号,并按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号;
第二叠加模块,用于将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据;
第二发送模块,用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据,或者通过辅流通道向所述会议服务器发送所述第二混合图像数据;
所述会议服务器,用于接收所述第二混合图像数据,并转发;
所述至少一个第二会议终端,用于接收所述第二混合图像数据并显示。
28.根据权利要求27所述的系统,其特征在于,所述第一会议终端还包括:
第二令牌控制模块,用于在另一个辅流通道中申请令牌,申请成功并得到一令牌后,产生第二控制信号;
所述第二叠加模块根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据。
29.根据权利要求27或28所述的系统,其特征在于,所述会议服务器为至少两个级联的会议服务器。
30.根据权利要求29所述的系统,其特征在于,所述至少两个会议服务器包括:一主会议服务器和至少一个从会议服务器;
所述主会议服务器,向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送所述第二混合图像数据;
所述从会议服务器,将其接收到的所述第二混合图像数据向与所述从会议服务器连接的会议终端发送。
31.一种数据处理方法,其特征在于,包括:
获取图像数据信号;
获取标记数据信号;
将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号;
输出所述混合图像数据信号。
32.根据权利要求31所述的方法,其特征在于,所述获取标记数据信号的步骤之后还包括:
产生第一时间间隔值;
产生第二时间间隔值;
按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号;
按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号。
33.根据权利要求32所述的方法,其特征在于,所述获取标记数据信号的步骤具体为:
获取本地会议终端发送的标记数据信号。
34.根据权利要求33所述的方法,其特征在于,所述按照所述第二时间间隔值输出所述标记数据信号,产生第二标记数据信号的步骤之后还包括:
将所述第二标记数据信号进行编码,产生第三标记数据信号;
通过辅流通道向会议服务器发送所述第三标记数据信号。
35.根据权利要求34所述的方法,其特征在于,所述通过辅流通道向会议服务器发送所述第三标记数据信号的步骤具体为:
在所述辅流通道中申请令牌,申请成功并得到一令牌后,产生第一控制信号;
根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第三标记数据信号。
36.根据权利要求32所述的方法,其特征在于,所述获取标记数据信号的步骤具体为:
获取会议服务器发送的除本地会议终端之外的至少一个其他会议终端的标记数据信号。
37.根据权利要求36所述的方法,其特征在于,所述接收会议服务器发送的至少一个其他会议终端的标记数据信号的步骤之后还包括:
对所述至少一个其他会议终端的标记数据信号分别进行解码,生成一标记数据信号队列;
按照所述第一时间间隔值,根据所述标记数据信号队列的顺序输出所述标记数据信号,生成至少一个第一标记数据信号。
38.根据权利要求37所述的方法,其特征在于,所述将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号的步骤具体为:
将所述图像数据信号和所述至少一个第一标记数据信号进行叠加,生成第一混合图像数据信号;
所述输出所述混合图像数据信号的步骤具体为:
向本地会议终端的显示屏幕上发送所述第一混合图像数据。
39.根据权利要求33所述的方法,其特征在于,按照所述第一时间间隔值输出所述标记数据信号,产生第一标记数据信号的步骤后还包括:
在辅流通道中申请令牌,申请成功并得到一令牌后,产生第二控制信号;
将所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据信号的步骤具体为:
根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加,生成第二混合图像数据;
所述输出所述混合图像数据信号的步骤具体为:
向所述本地会议终端的显示屏幕上发送所述第二混合图像数据,或者通过辅流通道向会议服务器发送所述第二混合图像数据。
40.根据权利要求31至39任一项所述的方法,其特征在于,所述标记数据信号包括:会议标号,会议终端标号和标记数据信号内容。
41.根据权利要求40所述的方法,其特征在于,所述标记数据信号内容用矢量图、二值位图、YUV色彩位图或者RGB色彩位图表示。
42.根据权利要求31至39任一项所述的方法,其特征在于,所述图像数据信号为胶片图像数据或者白色背景图像数据。
43.一种数据处理方法,其特征在于,包括:
接收会议终端发送的图像数据信号和标记数据信号;
对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据;
向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。
44.根据权利要求43所述的方法,其特征在于,所述对所述图像数据信号和所述标记数据信号进行叠加,生成混合图像数据的步骤包括:
为所述标记数据信号分配填充颜色或者透明颜色,并利用所述填充颜色或者透明颜色对所述标记数据信号进行处理,产生颜色标记数据信号;
将所述图像数据信号和所述颜色标记数据信号进行叠加,生成混合图像数据。
45.根据权利要求43或44所述的会议服务器,其特征在于,所述向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号的步骤具体为:
选择一辅流通道,通过所述辅流通道向会议终端发送所述混合图像数据或者所述标记数据信号。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008102243727A CN101370115A (zh) | 2008-10-20 | 2008-10-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN2011102640117A CN102291562B (zh) | 2008-10-20 | 2009-05-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN2009102028496A CN101572794B (zh) | 2008-10-20 | 2009-05-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
KR1020127022649A KR101243065B1 (ko) | 2008-10-20 | 2009-10-16 | 회의 단말기, 회의 서버, 회의 시스템 및 데이터 처리 방법 |
EP09821578.3A EP2348671B1 (en) | 2008-10-20 | 2009-10-16 | Conference terminal, conference server, conference system and method for data processing |
KR1020117010848A KR101227625B1 (ko) | 2008-10-20 | 2009-10-16 | 회의 단말기, 회의 서버, 회의 시스템 및 데이터 처리 방법 |
JP2011532485A JP5472882B2 (ja) | 2008-10-20 | 2009-10-16 | 会議端末、会議サーバー、会議システム、およびデータ処理方法 |
PCT/CN2009/074492 WO2010045857A1 (zh) | 2008-10-20 | 2009-10-16 | 会议终端、会议服务器、会议系统及数据处理方法 |
US13/090,343 US8860776B2 (en) | 2008-10-20 | 2011-04-20 | Conference terminal, conference server, conference system and data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008102243727A CN101370115A (zh) | 2008-10-20 | 2008-10-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101370115A true CN101370115A (zh) | 2009-02-18 |
Family
ID=40413706
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008102243727A Pending CN101370115A (zh) | 2008-10-20 | 2008-10-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN2011102640117A Active CN102291562B (zh) | 2008-10-20 | 2009-05-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN2009102028496A Active CN101572794B (zh) | 2008-10-20 | 2009-05-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102640117A Active CN102291562B (zh) | 2008-10-20 | 2009-05-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN2009102028496A Active CN101572794B (zh) | 2008-10-20 | 2009-05-20 | 会议终端、会议服务器、会议系统及数据处理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8860776B2 (zh) |
EP (1) | EP2348671B1 (zh) |
JP (1) | JP5472882B2 (zh) |
KR (2) | KR101243065B1 (zh) |
CN (3) | CN101370115A (zh) |
WO (1) | WO2010045857A1 (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010045857A1 (zh) * | 2008-10-20 | 2010-04-29 | 华为终端有限公司 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN101931783A (zh) * | 2010-09-21 | 2010-12-29 | 天地阳光通信科技(北京)有限公司 | 一种视频会议双流发送系统及方法 |
CN102073415A (zh) * | 2010-11-29 | 2011-05-25 | 广东威创视讯科技股份有限公司 | 触摸系统、辅助装置及其输入方法 |
CN102215117A (zh) * | 2010-04-09 | 2011-10-12 | 夏普株式会社 | 电子会议系统、电子会议运用方法以及会议运用终端 |
CN102360491A (zh) * | 2011-10-25 | 2012-02-22 | 深圳市万兴软件有限公司 | 一种基于电子终端的图片处理方法和装置 |
WO2013123892A1 (zh) * | 2012-02-22 | 2013-08-29 | 华为技术有限公司 | 视频会议中电子名片交换方法及系统 |
WO2014000428A1 (zh) * | 2012-06-26 | 2014-01-03 | 华为技术有限公司 | 可视通话的数据处理方法、终端和系统 |
CN103548339A (zh) * | 2011-05-19 | 2014-01-29 | 甲骨文国际公司 | 用于会议的时间相关的活动流 |
CN103843323A (zh) * | 2012-09-29 | 2014-06-04 | 华为技术有限公司 | 一种多媒体会议实现方法、相关设备及系统 |
CN103984512A (zh) * | 2014-04-01 | 2014-08-13 | 广州视睿电子科技有限公司 | 远程批注方法及系统 |
CN104104898A (zh) * | 2013-04-03 | 2014-10-15 | 联想(北京)有限公司 | 一种数据处理方法、装置和电子设备 |
CN104601930A (zh) * | 2015-01-09 | 2015-05-06 | 西安融成科技有限公司 | 一种视频图像和桌面图像自动切换显示的系统及方法 |
CN104811319A (zh) * | 2014-01-29 | 2015-07-29 | 莘翔四海(北京)科技有限公司 | 显示描述信息发送方法和装置 |
CN104935861A (zh) * | 2014-03-19 | 2015-09-23 | 成都鼎桥通信技术有限公司 | 一种多方多媒体通信方法 |
TWI574542B (zh) * | 2014-12-10 | 2017-03-11 | 圓展科技股份有限公司 | 視訊會議裝置及其控制方法 |
CN107220017A (zh) * | 2016-03-22 | 2017-09-29 | 知识体科技股份有限公司 | 远程互动方法与系统 |
CN107534704A (zh) * | 2015-05-07 | 2018-01-02 | 株式会社理光 | 信息处理设备、信息处理方法和信息处理程序 |
WO2018010504A1 (zh) * | 2016-07-13 | 2018-01-18 | 中兴通讯股份有限公司 | 视频会议的控制方法、装置及系统 |
CN108366223A (zh) * | 2018-04-26 | 2018-08-03 | 天清(沧州)科技有限公司 | 基于移动设备的多方视频会议系统和方法 |
CN109150806A (zh) * | 2017-06-19 | 2019-01-04 | 中兴通讯股份有限公司 | 一种视频会议处理方法、装置和系统 |
CN109889759A (zh) * | 2019-02-02 | 2019-06-14 | 视联动力信息技术股份有限公司 | 一种视联网视频会议的交互方法及系统 |
CN110719434A (zh) * | 2019-09-29 | 2020-01-21 | 视联动力信息技术股份有限公司 | 一种视频会议的方法和装置 |
WO2020135851A1 (zh) * | 2018-12-29 | 2020-07-02 | 中兴通讯股份有限公司 | 实现远程协助的方法及相关设备 |
CN112698759A (zh) * | 2020-12-28 | 2021-04-23 | 北京字跳网络技术有限公司 | 标注方法、装置和电子设备 |
CN113132670A (zh) * | 2019-12-31 | 2021-07-16 | 明基智能科技(上海)有限公司 | 视讯会议系统 |
CN113132671A (zh) * | 2019-12-31 | 2021-07-16 | 明基智能科技(上海)有限公司 | 视讯会议系统 |
CN115720660A (zh) * | 2020-11-20 | 2023-02-28 | 互动解决方案公司 | 会议支持系统 |
TWI809604B (zh) * | 2021-12-15 | 2023-07-21 | 瑞軒科技股份有限公司 | 視訊會議裝置與其操作方法 |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012005107A (ja) * | 2010-05-17 | 2012-01-05 | Ricoh Co Ltd | 多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体 |
US20130198399A1 (en) * | 2010-10-15 | 2013-08-01 | Hewlett-Packard Development Company, L.P. | Input/output communication |
EP2525533B1 (en) * | 2011-05-16 | 2014-02-26 | Alcatel Lucent | Method and apparatus for providing bidirectional communication between segments of a home network |
JP2013026878A (ja) * | 2011-07-22 | 2013-02-04 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
US11258676B2 (en) | 2011-09-14 | 2022-02-22 | Barco N.V. | Electronic tool and methods for meetings |
US8756348B2 (en) | 2011-09-14 | 2014-06-17 | Barco N.V. | Electronic tool and methods for meetings |
US10762002B2 (en) | 2011-09-14 | 2020-09-01 | Barco N.V. | Electronic tool and methods with audio for meetings |
DE202012013707U1 (de) * | 2011-09-14 | 2019-12-09 | Barco N.V. | Elektronisches Werkzeug für Meetings |
JP6051549B2 (ja) * | 2012-03-16 | 2016-12-27 | 株式会社リコー | 通信制御システム、制御装置、プログラムおよび電子情報ボード |
CN103475846B (zh) | 2012-06-06 | 2018-09-04 | 腾讯科技(深圳)有限公司 | 一种视频通讯的方法及用于视频通讯的终端、服务器 |
US8990303B2 (en) * | 2013-01-31 | 2015-03-24 | Paramount Pictures Corporation | System and method for interactive remote movie watching, scheduling, and social connection |
CN104038722B (zh) * | 2013-03-06 | 2018-04-06 | 中兴通讯股份有限公司 | 一种视频会议的内容交互方法及系统 |
US20160063651A1 (en) * | 2013-04-17 | 2016-03-03 | Gyan Prakash Kesarwani | Method and system for enhancing social positioning and importance through personal and professional attributes |
CN104427293B (zh) * | 2013-08-23 | 2018-10-02 | 南京中兴新软件有限责任公司 | 一种建立视频会议界面的方法、装置及视频终端 |
US9596282B2 (en) | 2013-09-27 | 2017-03-14 | Ricoh Company, Ltd. | Delivery managing device, terminal, and delivery managing method |
CN103595715B (zh) * | 2013-11-08 | 2017-02-15 | 腾讯科技(成都)有限公司 | 用于桌面直播的信息共享方法及装置 |
KR101638227B1 (ko) * | 2014-04-01 | 2016-07-20 | 한승훈 | 포인트 기반 콘텐츠 공유 방법 |
CN104092553A (zh) * | 2014-07-23 | 2014-10-08 | 天脉聚源(北京)教育科技有限公司 | 数据处理方法、装置及会议系统 |
US9628529B2 (en) * | 2014-08-18 | 2017-04-18 | Cisco Technology, Inc. | Region on interest selection |
TWI589160B (zh) * | 2015-01-09 | 2017-06-21 | 廣達電腦股份有限公司 | 視訊會議系統及其互動顯示方法 |
KR102163742B1 (ko) | 2015-12-11 | 2020-10-12 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
CN105487778B (zh) * | 2015-12-18 | 2019-01-29 | 广东威创视讯科技股份有限公司 | 一种远程桌面标注方法、控制终端、被控终端和系统 |
US10142422B2 (en) * | 2016-05-13 | 2018-11-27 | Sap Se | Clustering websocket communications with configurable master-slave servers |
CN105979196B (zh) * | 2016-06-07 | 2018-10-30 | 华为技术有限公司 | 对摄像设备进行控制的方法及装置 |
CN107888391B (zh) * | 2016-09-29 | 2019-05-03 | 视联动力信息技术股份有限公司 | 一种网络会议操作方法和网络会议中心管理系统 |
CN107888791A (zh) * | 2016-09-29 | 2018-04-06 | 联想企业解决方案(新加坡)有限公司 | 具有来自参与者的非语言反馈的电话会议 |
JP2018067248A (ja) * | 2016-10-21 | 2018-04-26 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
US10348784B2 (en) * | 2017-02-15 | 2019-07-09 | Microsoft Technology Licensing, Llc | Conferencing server directly accessible from public internet |
JP6984648B2 (ja) * | 2017-03-08 | 2021-12-22 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
CN108769782A (zh) * | 2018-06-20 | 2018-11-06 | 广州华欣电子科技有限公司 | 一种多设备间屏幕内容同步批注的方法及系统 |
CN109348161B (zh) * | 2018-09-21 | 2021-05-18 | 联想(北京)有限公司 | 显示标注信息方法和电子设备 |
CN110457264B (zh) * | 2019-08-15 | 2022-04-01 | 深圳市威屏科技有限公司 | 会议文件处理方法、装置、设备及计算机可读存储介质 |
CN110598188A (zh) * | 2019-09-11 | 2019-12-20 | 北京多禾聚元科技有限公司 | 一种显示批注的方法、装置和计算机可读存储介质 |
CN110708492A (zh) * | 2019-09-12 | 2020-01-17 | 福建星网智慧软件有限公司 | 一种视频会议内容交互方法及系统 |
CN111885345B (zh) * | 2020-08-14 | 2022-06-24 | 广州视睿电子科技有限公司 | 远程会议实现方法、装置、终端设备和存储介质 |
CN113727054A (zh) * | 2021-07-22 | 2021-11-30 | 海南视联通信技术有限公司 | 视频会议中共享信息的方法及装置、计算机可读存储介质 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06276335A (ja) * | 1993-03-22 | 1994-09-30 | Sony Corp | データ処理装置 |
JPH06339139A (ja) * | 1993-05-26 | 1994-12-06 | Sony Corp | データ伝送装置 |
JPH089075A (ja) * | 1994-06-20 | 1996-01-12 | Canon Inc | 画像入出力装置及び画像入出力システム |
JPH08237628A (ja) * | 1995-02-24 | 1996-09-13 | Ricoh Co Ltd | 通信会議装置 |
JPH08293925A (ja) * | 1995-04-24 | 1996-11-05 | Mitsubishi Electric Corp | 電子会議システム |
JP2751923B1 (ja) | 1997-02-05 | 1998-05-18 | 日本電気株式会社 | 多地点テレビ会議システムおよび多地点テレビ会議装置 |
JPH11215126A (ja) | 1998-01-28 | 1999-08-06 | Sharp Corp | 情報処理装置 |
JPH11341458A (ja) * | 1998-05-25 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 多地点間通信会議システム,会議用サーバ装置,会議用クライアント装置およびそれらのプログラム記録媒体 |
US6466250B1 (en) * | 1999-08-09 | 2002-10-15 | Hughes Electronics Corporation | System for electronically-mediated collaboration including eye-contact collaboratory |
TW527833B (en) * | 2000-05-19 | 2003-04-11 | Sony Corp | Network conferencing system, participation authorization method and presenting method |
JP2003008805A (ja) | 2001-06-26 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 電子黒板システム |
CN1218574C (zh) | 2001-10-15 | 2005-09-07 | 华为技术有限公司 | 交互式视频设备及其字幕叠加方法 |
JP4321751B2 (ja) * | 2003-04-25 | 2009-08-26 | パイオニア株式会社 | 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム |
US7391910B2 (en) * | 2003-07-31 | 2008-06-24 | Seiko Epson Corporation | LAPE: layered presentation system utilizing compressed-domain image processing |
CN1722075A (zh) | 2004-07-12 | 2006-01-18 | 英业达股份有限公司 | 电子白板及其运作方法 |
US20070020604A1 (en) | 2005-07-19 | 2007-01-25 | Pranaya Chulet | A Rich Media System and Method For Learning And Entertainment |
KR100747895B1 (ko) * | 2005-12-29 | 2007-08-08 | 주식회사 팬택 | 다자간 화상 통화 방법 |
KR100748700B1 (ko) * | 2006-01-18 | 2007-08-13 | 삼성전자주식회사 | 화이트보드를 이용한 원격회의 시스템 및 그 방법 |
US8872879B2 (en) | 2006-01-26 | 2014-10-28 | Polycom, Inc. | System and method for controlling videoconference with touch screen interface |
JP4997783B2 (ja) | 2006-02-15 | 2012-08-08 | 富士ゼロックス株式会社 | 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法 |
JP5211430B2 (ja) * | 2006-03-02 | 2013-06-12 | 富士ゼロックス株式会社 | 電子会議システム、電子会議支援プログラム、電子会議支援方法、電子会議制御装置、会議サーバコンピュータ |
JP4735384B2 (ja) * | 2006-04-11 | 2011-07-27 | 富士ゼロックス株式会社 | 電子会議システム、電子会議用端末、電子会議システムの制御方法及び電子会議用端末の制御プログラム |
JP2007286780A (ja) | 2006-04-14 | 2007-11-01 | Fuji Xerox Co Ltd | 電子会議システム、電子会議支援プログラム及び方法、電子会議制御装置 |
JP2008084110A (ja) | 2006-09-28 | 2008-04-10 | Toshiba Corp | 情報表示装置、情報表示方法及び情報表示プログラム |
CN101115183B (zh) * | 2007-09-06 | 2011-06-01 | 杭州华三通信技术有限公司 | 辅流发送的控制方法、mcu、主席终端及视频终端 |
CN101370115A (zh) * | 2008-10-20 | 2009-02-18 | 深圳华为通信技术有限公司 | 会议终端、会议服务器、会议系统及数据处理方法 |
CN101441539B (zh) | 2008-12-30 | 2013-06-12 | 华为终端有限公司 | 电子白板系统、输入装置、处理装置及处理方法 |
-
2008
- 2008-10-20 CN CNA2008102243727A patent/CN101370115A/zh active Pending
-
2009
- 2009-05-20 CN CN2011102640117A patent/CN102291562B/zh active Active
- 2009-05-20 CN CN2009102028496A patent/CN101572794B/zh active Active
- 2009-10-16 KR KR1020127022649A patent/KR101243065B1/ko active IP Right Grant
- 2009-10-16 EP EP09821578.3A patent/EP2348671B1/en active Active
- 2009-10-16 KR KR1020117010848A patent/KR101227625B1/ko active IP Right Grant
- 2009-10-16 JP JP2011532485A patent/JP5472882B2/ja active Active
- 2009-10-16 WO PCT/CN2009/074492 patent/WO2010045857A1/zh active Application Filing
-
2011
- 2011-04-20 US US13/090,343 patent/US8860776B2/en active Active
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010045857A1 (zh) * | 2008-10-20 | 2010-04-29 | 华为终端有限公司 | 会议终端、会议服务器、会议系统及数据处理方法 |
US8860776B2 (en) | 2008-10-20 | 2014-10-14 | Huawei Device Co., Ltd | Conference terminal, conference server, conference system and data processing method |
CN102215117A (zh) * | 2010-04-09 | 2011-10-12 | 夏普株式会社 | 电子会议系统、电子会议运用方法以及会议运用终端 |
CN101931783A (zh) * | 2010-09-21 | 2010-12-29 | 天地阳光通信科技(北京)有限公司 | 一种视频会议双流发送系统及方法 |
CN102073415A (zh) * | 2010-11-29 | 2011-05-25 | 广东威创视讯科技股份有限公司 | 触摸系统、辅助装置及其输入方法 |
CN103548339A (zh) * | 2011-05-19 | 2014-01-29 | 甲骨文国际公司 | 用于会议的时间相关的活动流 |
CN102360491B (zh) * | 2011-10-25 | 2013-07-31 | 深圳万兴信息科技股份有限公司 | 一种基于电子终端的图片处理方法和装置 |
CN102360491A (zh) * | 2011-10-25 | 2012-02-22 | 深圳市万兴软件有限公司 | 一种基于电子终端的图片处理方法和装置 |
WO2013123892A1 (zh) * | 2012-02-22 | 2013-08-29 | 华为技术有限公司 | 视频会议中电子名片交换方法及系统 |
WO2014000428A1 (zh) * | 2012-06-26 | 2014-01-03 | 华为技术有限公司 | 可视通话的数据处理方法、终端和系统 |
CN103517029A (zh) * | 2012-06-26 | 2014-01-15 | 华为技术有限公司 | 可视通话的数据处理方法、终端和系统 |
CN103843323B (zh) * | 2012-09-29 | 2017-06-20 | 华为技术有限公司 | 一种多媒体会议实现方法、相关设备及系统 |
CN103843323A (zh) * | 2012-09-29 | 2014-06-04 | 华为技术有限公司 | 一种多媒体会议实现方法、相关设备及系统 |
US9693016B2 (en) | 2013-04-03 | 2017-06-27 | Beijing Lenovo Software Ltd. | Data processing method, data processing apparatus and electronic device |
CN104104898A (zh) * | 2013-04-03 | 2014-10-15 | 联想(北京)有限公司 | 一种数据处理方法、装置和电子设备 |
CN104104898B (zh) * | 2013-04-03 | 2017-06-27 | 联想(北京)有限公司 | 一种数据处理方法、装置和电子设备 |
CN104811319A (zh) * | 2014-01-29 | 2015-07-29 | 莘翔四海(北京)科技有限公司 | 显示描述信息发送方法和装置 |
CN104935861A (zh) * | 2014-03-19 | 2015-09-23 | 成都鼎桥通信技术有限公司 | 一种多方多媒体通信方法 |
CN104935861B (zh) * | 2014-03-19 | 2019-04-19 | 成都鼎桥通信技术有限公司 | 一种多方多媒体通信方法 |
CN103984512B (zh) * | 2014-04-01 | 2018-01-16 | 广州视睿电子科技有限公司 | 远程批注方法及系统 |
CN103984512A (zh) * | 2014-04-01 | 2014-08-13 | 广州视睿电子科技有限公司 | 远程批注方法及系统 |
TWI574542B (zh) * | 2014-12-10 | 2017-03-11 | 圓展科技股份有限公司 | 視訊會議裝置及其控制方法 |
CN104601930A (zh) * | 2015-01-09 | 2015-05-06 | 西安融成科技有限公司 | 一种视频图像和桌面图像自动切换显示的系统及方法 |
CN107534704B (zh) * | 2015-05-07 | 2020-11-06 | 株式会社理光 | 一种经由通信网络连接的信息处理方法、设备和介质 |
CN107534704A (zh) * | 2015-05-07 | 2018-01-02 | 株式会社理光 | 信息处理设备、信息处理方法和信息处理程序 |
CN107220017A (zh) * | 2016-03-22 | 2017-09-29 | 知识体科技股份有限公司 | 远程互动方法与系统 |
WO2018010504A1 (zh) * | 2016-07-13 | 2018-01-18 | 中兴通讯股份有限公司 | 视频会议的控制方法、装置及系统 |
CN109150806A (zh) * | 2017-06-19 | 2019-01-04 | 中兴通讯股份有限公司 | 一种视频会议处理方法、装置和系统 |
CN108366223A (zh) * | 2018-04-26 | 2018-08-03 | 天清(沧州)科技有限公司 | 基于移动设备的多方视频会议系统和方法 |
CN111381918A (zh) * | 2018-12-29 | 2020-07-07 | 中兴通讯股份有限公司 | 一种实现远程协助的方法及相关设备 |
WO2020135851A1 (zh) * | 2018-12-29 | 2020-07-02 | 中兴通讯股份有限公司 | 实现远程协助的方法及相关设备 |
CN109889759A (zh) * | 2019-02-02 | 2019-06-14 | 视联动力信息技术股份有限公司 | 一种视联网视频会议的交互方法及系统 |
CN110719434A (zh) * | 2019-09-29 | 2020-01-21 | 视联动力信息技术股份有限公司 | 一种视频会议的方法和装置 |
CN113132670A (zh) * | 2019-12-31 | 2021-07-16 | 明基智能科技(上海)有限公司 | 视讯会议系统 |
CN113132671A (zh) * | 2019-12-31 | 2021-07-16 | 明基智能科技(上海)有限公司 | 视讯会议系统 |
CN113132671B (zh) * | 2019-12-31 | 2023-08-25 | 明基智能科技(上海)有限公司 | 视讯会议系统 |
US11895437B2 (en) | 2019-12-31 | 2024-02-06 | Benq Corporation | Video conference system |
CN115720660A (zh) * | 2020-11-20 | 2023-02-28 | 互动解决方案公司 | 会议支持系统 |
CN115720660B (zh) * | 2020-11-20 | 2023-12-05 | 互动解决方案公司 | 会议支持系统 |
CN112698759A (zh) * | 2020-12-28 | 2021-04-23 | 北京字跳网络技术有限公司 | 标注方法、装置和电子设备 |
TWI809604B (zh) * | 2021-12-15 | 2023-07-21 | 瑞軒科技股份有限公司 | 視訊會議裝置與其操作方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5472882B2 (ja) | 2014-04-16 |
KR101243065B1 (ko) | 2013-03-13 |
US8860776B2 (en) | 2014-10-14 |
CN102291562A (zh) | 2011-12-21 |
KR101227625B1 (ko) | 2013-01-30 |
CN102291562B (zh) | 2013-04-17 |
EP2348671A1 (en) | 2011-07-27 |
EP2348671B1 (en) | 2016-02-24 |
EP2348671A4 (en) | 2012-09-12 |
US20110193932A1 (en) | 2011-08-11 |
CN101572794B (zh) | 2011-08-24 |
JP2012506224A (ja) | 2012-03-08 |
CN101572794A (zh) | 2009-11-04 |
KR20120102821A (ko) | 2012-09-18 |
WO2010045857A1 (zh) | 2010-04-29 |
KR20110069875A (ko) | 2011-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101572794B (zh) | 会议终端、会议服务器、会议系统及数据处理方法 | |
CN112543297B (zh) | 一种视频会议直播方法、装置和系统 | |
CN104038722B (zh) | 一种视频会议的内容交互方法及系统 | |
CN104427296B (zh) | 视频会议中媒体流的传输方法与装置 | |
WO2020238441A1 (zh) | 多端投屏方法、计算机设备及存储介质 | |
Wilcox et al. | Video Communications: The Whole Picture | |
CN102333201B (zh) | 远程呈现的字幕传输方法、终端及系统 | |
CN110475094B (zh) | 视频会议处理方法、装置及可读存储介质 | |
CN104580995A (zh) | 一种用于视频会议的通讯方法和装置 | |
CN109862308B (zh) | 一种批注处理方法和系统 | |
CN101946511A (zh) | 用于为多媒体会议事件生成视觉合成的技术 | |
CN103109528A (zh) | 用于控制和管理多点会议的系统和方法 | |
CN107357585A (zh) | 视频获取方法、装置、视频设备及存储介质 | |
CN104283857A (zh) | 多媒体会议的建立方法、装置及系统 | |
WO2014177082A1 (zh) | 一种视频会议中处理视频的方法及终端 | |
CN101350908A (zh) | 用于网络视频会议的视频数据传输系统及方法 | |
CN101083752A (zh) | 一种视频会议中会场名称的显示方法及视频终端 | |
WO2016206471A1 (zh) | 多媒体业务处理方法、系统及装置 | |
CN113709577B (zh) | 视频会话方法 | |
CN110445759B (zh) | 一种电子白板共享方法和装置 | |
CN203984567U (zh) | 一种可在终端进行主场指挥的视频会议系统 | |
Roesler et al. | A new multimedia synchronous distance learning system: the IVA study case | |
Deshpande et al. | An interactive virtual classroom-multimedia distance learning system | |
CN117097865A (zh) | 一种无延时感的远程会议系统及方法 | |
Osawa et al. | Multipoint multimedia conferencing system with group awareness support and remote management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |