CN102572218A - 基于网络视频会议系统的视频标注方法 - Google Patents

Abstract

本发明提供了一种基于网络会议系统的视频标注方法，它包括主持人终端打开视频标签页的步骤、主持人终端打开一路会议采用的视频，并打开该路视频标注的步骤；针对一路已开启标注的视频，所述标注方法包括主持人终端发起的选择工具条选项的步骤，以及，工具条模块根据被选项向标注模块发送相对应的指令，标注模块根据收到的指令和视频参数对视频进行标注的步骤；以及，主持人终端通过控制路径经会议服务器来控制与会者终端是否具有标注权限的步骤以实现网络视频会议中多路视频独立标注的功能。本发明通过采用网络路径机制，实现了视频画面的独立标注，能够对多路视频标注而不会混淆。

Description

基于网络视频会议系统的视频标注方法

技术领域

本发明涉及网络视频会议系统领域，特别涉及一种基于网络视频会议的视频标注方法。

背景技术

标注，是人们在日常生活中经常使用的一种便于别人了解及明白自己所指或所讲的事物的方法。 在计算机中，同样的也需要采用这一方法。如Word、AutoCad、pdf阅读器等很多软件，都添加了标注功能。这些都是基于本地文档或者本地图片的标注实现。

目前，随着计算机网络的发展，网络视频会议系统已经广泛应用于各行各业。在网络中上传视频已经成为一种趋势，大规模的培训活动或者会议可以随时的展开，所有人员只要在自己的电脑前就可以看到其他人的表情、动作以及其它信息。不止如此，随着远程监控摄像头的集成应用，所有与会人员将都能看到相同的视频场景。所以，人们讨论的对象也不再局限于文档、图片，而是视频。那么视频标注也就自然而然的为人们所需。

网络会议中的视频标注与普通的文档、图片标注是有区别的，其一，是其标注背景是视频，是动态的；其二，网络会议中的视频是多路的，每一路的视频都得有独立的标注数据；其三，网络会议中的标注数据是实时的、共享的，要求人们能实时地看到其他人的标注。

因此，如何在网络会议中实现视频标注的功能，是目前网络视频会议领域中需要解决的问题。

发明内容

本发明的目的在于提供一种基于网络会议系统的视频标注方法，以实现网络视频会议中多路视频独立标注的功能。为此，本发明采用以下技术方案： 

所述网络视频会议系统包括：

会议服务器，会议服务器作为所有会议终端的连接器，将会议中各会议终端的信息发送到指定的会议终端，负责保存会议信息、同步会议中所有的会议终端信息；

会议远程视频服务器，用于将会议所关注的监控摄像头所采集到的视频数据转送到所有终端或者指定终端；

会议终端，所述会议终端中包括主持人终端和与会者终端；所述会议终端与会议服务器和会议视频服务器均建立数据通讯联系；

所述会议终端中设有视频模块，所述视频模块是用于处理视频数据的接收、显示和管理，以及标注模块与工具条模块的加载、卸载；所述工具条模块是用户与会议终端交互的通道；所述标注模块提供多种标注功能并通过工具条模块显示其选项，所述标注模块用于实现给用户提供的所有标注功能及标注数据的发送接收；

所述标注方法包括以下步骤：

所述主持人终端打开视频标签页的步骤，包括加载视频模块，并由视频模块加载标注模块及工具条模块，同时视频模块创建控制路径，并经会议服务器，通知其余与会者终端加载视频模块、标注模块及工具条模块；

所述主持人终端打开一路会议采用的视频，并打开该路视频标注的步骤，包括所述视频模块向标注模块发送视频本身的参数的步骤和标注模块为该路视频创建一个数据路径的步骤，该数据路径用于各终端标注模块之间的数据传输，以及在该路视频上显示工具条的步骤； 

针对一路已开启标注的视频，所述标注方法包括以下步骤：

所述主持人终端发起的选择工具条选项的步骤，以及，工具条模块根据被选项向标注模块发送相对应的指令，标注模块根据收到的指令和视频参数对视频进行标注的步骤；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端通过控制路径经会议服务器来控制与会者终端是否具有标注权限的步骤；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端广播一路视频的步骤，包括主持人终端的视频模块根据当前要广播的视频的参数创建一个唯一数据路径，并向会议服务器注册，该数据路径用于各终端视频模块之间的数据传输；所有与会者终端的视频模块通过该数据路径获取到主持人终端所规定的权利，根据该权利向视频服务器申请视频数据以及接受从会议服务器中传来的标注数据，并加载标注模块；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端停止广播一路视频的步骤，包括主持人终端销毁对应视频的所述两个数据路径，并从会议服务器中注销，所有与会者终端与视频服务器断开连接并停止接收视频数据，并卸载工具条模块、标注模块； 

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端关闭一路已打开的视频的步骤，包括该路视频标注功能的关闭和所述两个数据路径的销毁，并经会议服务器通知其余与会者关闭该路视频和标注的步骤； 

所述标注方法包括以下步骤：

所述主持人终端关闭视频标签页的步骤，包括视频模块的卸载、标注模块的卸载和工具条模块的卸载，以及控制路径的销毁。

视频数据，是指所述会议中采用的摄像头采集到的视频内容。

视频参数，是指所述会议中一路视频的特征值。

本发明中，视频数据与标注数据通过所述不同的数据路径传递，视频数据通过其数据路径由视频服务器单独发送至所有与会者终端，标注数据通过其数据路径经会议服务器从一个会议终端发送至其余会议终端，会议终端的标注数据由标注模块经会议服务器发送与接收；会议终端在发送标注数据时，将对应视频的数据路径及标注数据一起通过标注数据的数据路径，经会议服务器发送到其它与会者终端，与会者终端在接收到数据后，解析其中的数据路径，将标注数据显示到对应的视频上。

本发明中，通过所述的主持人终端通过控制路径经会议服务器来控制与会者终端是否具有标注权限的步骤，以设定与会者终端是否有标注权限；所述主持人终端如果没有给其他与会者终端视频标注的权限，则其他与会者终端只能看到主持人作的视频标注数据，其本身没有视频标注的能力；如果作为主持人终端给予其他与会者视频标注的权限，则相应的与会者终端都能对已开启视频标注的视频进行标注。

本发明中，所述控制路径及数据路径的组成部分包括会议号、模块标识、视频标签号、视频ID；其中控制路径的格式为：会议号/模块标识/视频标签号/；数据路径的格式为：会议号/模块标识/视频标签号/视频ID/；且控制路径与数据路径是相互独立的；数据路径是在所述主持人广播每路视频时创建，关闭每路视频或者停止广播时销毁；控制路径是在所述主持人在打开视频界面时创建，关闭视频界面时销毁。

本发明中，每个与会者终端都有一个标注权限标志，标注权限标志的更改只能由主持人终端修改，主持人终端对与会者终端的标注权限标志的修改通过会议服务器通知其余终端并修改终端的标注权限标志。

由于采用本发明的技术方案，基于本发明所提供的基于网络会议系统，通过采用网络路径机制，实现了视频画面的独立标注，能够对多路视频标注而不会混淆，当发送标注信息时，只要根据这个网络路径，就能准确的将数据显示到正确的视频窗口上。

附图说明

图1为本发明采用的网络视频会议系统的基本架构示意图。

图2为本发明采用的网络视频会议系统中视频模块与工具条模块、标注模块的示意框图。

图3为本发明的视频标注的开启流程图。

图4为本发明的视频标注的关闭流程图。

图5为本发明的视频标注的广播流程图。

图6为本发明的视频标注的停止广播流程图。

图7为本发明的视频标注功能选择工具条实施例示意图。

具体实施方式

以下将通过具体的实施例来详细说明本发明的网络会议系统的视频标注过程。

请参阅图1。本发明采用的网络视频会议系统的基本框架如图1所示，所述网络视频会议系统具有主持人终端、多台与会者终端、会议服务器以及远程视频服务器。其中，会议服务器作为所有会议终端的连接器，将会议中各会议终端的信息发送到指定的会议终端，负责保存会议信息、同步会议中所有的会议终端信息；远程视频服务器将会议所关注的监控摄像头所采集到的视频数据转送到所有终端或者指定终端。主持人终端和与会者终与会议服务器和会议视频服务器均建立数据通讯联系；

所述会议终端中设有视频模块；请参阅图2，图2为本发明采用的网络视频会议系统中，会议与视频模块、标注模块、工具条模块的组合关系框图。图中表明，标注模块和工具条模块是由视频模块管理的，视频模块负责处理视频数据的接收、显示和管理，标注模块及工具条模块的加载与卸载；所述工具条模块是用户与会议终端交互的通道，所述标注模块提供多种标注功能并通过工具条模块显示其选项；所述标注模块用于实现给用户提供的所有标注功能及标注数据的发送接收；

所述标注方法包括以下步骤：

所述主持人终端打开视频标签页的步骤，包括加载视频模块，并由视频模块加载标注模块及工具条模块，同时视频模块创建控制路径，并经会议服务器，通知其余与会者终端加载视频模块、标注模块及工具条模块；

所述主持人终端打开一路会议采用的视频，并打开该路视频标注的步骤，参照图3，它包括所述视频模块向标注模块发送该路视频本身的参数的步骤和标注模块为该路视频创建一个数据路径的步骤，该数据路径用于各终端标注模块之间的数据传输，以及在该路视频上显示工具条的步骤； 

具体地，视频模块可以先判断当前终端是不是作为主持人的终端或者拥有标注权限，如果是主持人或者有标注权限，则显示工具条并将工具条停靠到该路视频窗口上，并由视频模块设置该路视频的标注状态为标注中；反之，则不显示工具条，并由视频模块设置该路视频的标注状态为等待标注权限。然后，视频模块为该路视频分配存储区，并将该路视频的视频ID号、播放窗口大小、视频的分辨率及存储区等视频本身参数传递给标注模块。接着，标注模块将该路视频放入维护列表中，并根据视频ID创建所述数据路径，向会议服务器注册。接着，等待会议终端标注。

针对一路已开启标注的视频，所述标注方法包括以下步骤：

所述主持人会议终端发起的选择工具条选项的步骤，以及，工具条模块根据被选项向标注模块发送相对应的指令，标注模块根据收到的指令和视频参数对视频进行标注的步骤；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端通过控制路径经会议服务器来控制与会者终端是否具有标注权限的步骤；

参照图5，针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端广播一路视频的步骤，包括主持人终端的视频模块根据当前要广播的视频的参数创建一个唯一数据路径，并向会议服务器注册，该数据路径用于各终端视频模块之间的数据传输；所有与会者终端的视频模块通过该数据路径获取到主持人终端所规定的权利，根据该权利向视频服务器申请视频数据以及接受从会议服务器中传来的标注数据，并加载标注模块；

参照图6，针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端停止广播一路视频的步骤，只有作为主持人的会议终端有停止广播的权利。,包括主持人终端销毁对应视频的所述两个数据路径，并从会议服务器中注销，所有与会者终端与视频服务器断开连接并停止接收视频数据，并卸载工具条模块、标注模块；

请参阅图4，针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端关闭一路已打开的视频的步骤，包括该路视频标注功能的关闭和所述两个数据路径的销毁，并经会议服务器通知其余与会者关闭该路视频和标注的步骤；

所述该路视频标注功能的关闭包括：1）隐藏工具条，2）视频模块将该路视频的标注状态设置为停止标注，并将原先分配的存储区销毁。3）标注模块将该路视频从维护列表中删除，并清除该路视频的所有标注数据。

所述标注方法包括以下步骤：

所述主持人终端关闭视频标签页的步骤，包括视频模块的卸载、标注模块的卸载和工具条模块的卸载，以及控制路径的销毁。

最后参阅图7，本实施例的视频标注功能选择工具条如图7所示，具有7个功能按钮，分别是：1）权限控制按钮，只有该按钮只存在在作为主持人的终端上，当按下该按钮，那么所有与会者将拥有标注能力，能在所有开启了标注功能的视频上进行标注。2）箭头，按下该按钮，那么将能在视频上作箭头指示。3）画笔，按下该按钮，那么将能在视频上绘画。4）橡皮擦，按下该按钮，那么能将视频上已存在的标注清楚。5）线条粗细按钮，按下该按钮，将弹出一列表框，能选择不同粗细的线条来绘画。6）颜色选择按钮，按下该按钮，将弹出一列表框，能选择不同颜色的画笔来绘画。7）关闭按钮，按下该按钮，那么就将对应视频的标注功能关闭并清楚已存在的标注数据。

以上工具条的功能说明仅为更形象地描述工具条功能而做的例举，并不代表对工具条功能种类的限定，在实际应用中，根据需要，所述工具条的功能按钮可以做增加和减少或改变。

根据一个具体的实施例来说明本发明的视频标注过程：

采用本网络会议系统开始一个会议，并对一路视频标注与广播。具有一个主持人终端，二个与会者终端作为与会者终端1、与会者终端2。会议终端加载视频模块时，视频模块会加载标注模块及工具条模块。会议号为1，视频模块标识为Surv，视频标签号为1，标注模块标识为Ant，视频ID为1。

首先，主持人终端打开视频界面，主持人终端视频模块创建一个控制路径：1/Surv/1/，并将打开视频界面的消息及控制路径通过会议服务器发送给其它与会者。当与会者终端1和与会者终端2收到会议服务器的通知后，也会打开视频界面。

其次，主持人终端打开一路视频，默认是停止广播状态，当开启该路视频标注时，视频模块会为该视频分配一块存储区，用以保存标注数据，设置该视频的标注状态为标注中，并将该视频的ID号、播放窗口大小、视频的分辨率及存储区等视频参数传递给标注模块。标注模块会将其放入一个标注数据维护列表中，并为该视频创建一个数据路径，且向会议服务器注册，数据路径：1/Ant/1/1/。同时，视频模块会通知工具条模块将工具条停靠在该视频的窗口上。

进一步地，存储区用于给标注模块储存该视频的标注数据，视频ID用于数据路径的创建以及作为标注数据与视频的关联点，播放窗口大小与视频的分辨率用于使标注与视频的同比例缩放功能的实现。

然后，主持人终端点击工具条上的一个按键，以画笔为例，工具条模块会向标注模块发送画笔消息，标注模块会将鼠标设置为画笔模式。

然后，当作为主持人的终端在该路视频上进行标注，视频模块会将获取到的鼠标消息发送给标注模块。标注模块根据鼠标消息以及当前画笔属性得到标注信息，将其放入存储区中，再通知视频模块将存储区的标注数据绘到视频的表层。

接着，当主持人终端将该路视频广播时，视频模块会根据该视频的ID为该路视频创建一个数据路径，并向会议服务器注册，数据路径：1/Surv/1/1/，其附带参数作为开启标注的标志。当与会者终端1、与会者终端2从会议服务器中接收到这个广播消息时，会通知视频模块开启视频ID为1的那路视频并开启其标注，默认没有标注权限。与会者终端开启标注的方式和主持的终端开启标注的方式一样，但还需要判断是否有标注的权限。若没有权限，则工具条不显示，且标注状态为无权限标注；若有权限，则显示工具条并设置标注状态为标注中。

接着，当主持人终端给所有与会者打开标注权限时，会经过会议服务器向所有与会者发送标注权限，与会者终端1、与会者终端2会将工具条显示到ID为1的视频窗口上，并设置其标注状态为标注中。

接着，当主持人终端关闭ID为1的视频时，视频模块会先通知标注模块将ID为1的视频从其维护列表中删除，销毁自身创建的数据路径并向会议服务器注销，并清除所有该视频的标注数据；同时视频模块也会销毁之前本模块为该路视频创建的数据路径，并从会议服务器中注销该数据路径；所有与会者停止ID号为1的视频及其标注，停止标注的过程与作为主持人的终端停止标注的过程一样。

最后，主持人终端关闭会议或者关闭视频界面时，主持人终端会销毁之前创建的控制路径：1/Surv/1/，并在会议服务器中将其注销。网络会议系统中的各终端再卸载视频模块，同时视频模块需要卸载标注模块和工具条模块，完成所有清除工作。

综上所述，本发明的视频标注方法能很好的应用于网络视频会议中，操作方便，性能稳定。

Claims (5)

1.基于网络视频会议系统的视频标注方法，其特征在于所述网络视频会议系统包括：

会议服务器，会议服务器作为所有会议终端的连接器，将会议中各会议终端的信息发送到指定的会议终端，负责保存会议信息、同步会议中所有的会议终端信息；

会议远程视频服务器，用于将会议所关注的监控摄像头所采集到的视频数据转送到所有终端或者指定终端；

会议终端，所述会议终端中包括主持人终端和与会者终端；所述会议终端与会议服务器和会议视频服务器均建立数据通讯联系；

所述会议终端中设有视频模块，所述视频模块是用于处理视频数据的接收、显示和管理，以及标注模块与工具条模块的加载、卸载；所述工具条模块是用户与会议终端交互的通道；所述标注模块提供多种标注功能并通过工具条模块显示其选项，所述标注模块用于实现给用户提供的所有标注功能及标注数据的发送接收；

所述标注方法包括以下步骤：

所述主持人终端打开视频标签页的步骤，包括加载视频模块，并由视频模块加载标注模块及工具条模块，同时视频模块创建控制路径，并经会议服务器，通知其余与会者终端加载视频模块、标注模块及工具条模块；

所述主持人终端打开一路会议采用的视频，并打开该路视频标注的步骤，包括所述视频模块向标注模块发送视频本身的参数的步骤和标注模块为该路视频创建一个数据路径的步骤，该数据路径用于各终端标注模块之间的数据传输，以及在该路视频上显示工具条的步骤； 

针对一路已开启标注的视频，所述标注方法包括以下步骤：

所述主持人终端发起的选择工具条选项的步骤，以及，工具条模块根据被选项向标注模块发送相对应的指令，标注模块根据收到的指令和视频参数对视频进行标注的步骤；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端通过控制路径经会议服务器来控制与会者终端是否具有标注权限的步骤；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端广播一路视频的步骤，包括主持人终端的视频模块根据当前要广播的视频的参数创建一个唯一数据路径，并向会议服务器注册，该数据路径用于各终端视频模块之间的数据传输；所有与会者终端的视频模块通过该数据路径获取到主持人终端所规定的权利，根据该权利向视频服务器申请视频数据以及接受从会议服务器中传来的标注数据，并加载标注模块；

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端停止广播一路视频的步骤，包括主持人终端销毁对应视频的所述两个数据路径，并从会议服务器中注销，所有与会者终端与视频服务器断开连接并停止接收视频数据，并卸载工具条模块、标注模块； 

针对一路已开启标注的视频，所述标注方法还包括以下步骤：

所述主持人终端关闭一路已打开的视频的步骤，包括该路视频标注功能的关闭和所述两个数据路径的销毁，并经会议服务器通知其余与会者关闭该路视频和标注的步骤； 

所述标注方法包括以下步骤：

所述主持人终端关闭视频标签页的步骤，包括视频模块的卸载、标注模块的卸载和工具条模块的卸载，以及控制路径的销毁。

2.如权利要求1所述的基于网络视频会议系统的视频标注方法，其特征在于视频数据与标注数据通过所述不同的数据路径传递，视频数据通过其数据路径由视频服务器单独发送至所有与会者终端，标注数据通过其数据路径经会议服务器从一个会议终端发送至其余会议终端，会议终端的标注数据由标注模块经会议服务器发送与接收；会议终端在发送标注数据时，将对应视频的数据路径及标注数据一起通过标注数据的数据路径，经会议服务器发送到其它与会者终端，与会者终端在接收到数据后，解析其中的数据路径，将标注数据显示到对应的视频上。

3.如权利要求1所述的基于网络视频会议系统的视频标注方法，其特征在于它通过所述的主持人终端通过控制路径经会议服务器来控制与会者终端是否具有标注权限的步骤，以设定与会者终端是否有标注权限；所述主持人终端如果没有给其他与会者终端视频标注的权限，则其他与会者终端只能看到主持人作的视频标注数据，其本身没有视频标注的能力；如果作为主持人终端给予其他与会者视频标注的权限，则相应的与会者终端都能对已开启视频标注的视频进行标注。

4.如权利要求1所述的基于网络视频会议系统的视频标注方法，其特征在于所述控制路径及数据路径的组成部分包括会议号、模块标识、视频标签号、视频ID；其中控制路径的格式为：会议号/模块标识/视频标签号/；数据路径的格式为：会议号/模块标识/视频标签号/视频ID/；且控制路径与数据路径是相互独立的；数据路径是在所述主持人广播每路视频时创建，关闭每路视频或者停止广播时销毁；控制路径是在所述主持人在打开视频界面时创建，关闭视频界面时销毁。

5.如权利要求3所述的基于网络视频会议系统的视频标注方法，其特征在于每个与会者终端都有一个标注权限标志，标注权限标志的更改只能由主持人终端修改，主持人终端对与会者终端的标注权限标志的修改通过会议服务器通知其余终端并修改终端的标注权限标志。

Images