CN102843543B - 视频会议提醒方法、装置和视频会议系统 - Google Patents

Abstract

本发明提供一种视频会议提醒方法、装置和视频会议系统。该方法包括：获取视频会议中的各会场的音频信息和/或视频信息；对各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；对所述相关会场进行提醒。本发明实施例可对视频会议进程进行监控，获得影响会议秩序的相关会场，并可对相关会场进行提醒，可有效确保会议秩序的正常进行。

Description

视频会议提醒方法、装置和视频会议系统

技术领域

本发明实施例涉及视频会议技术，尤其涉及一种视频会议提醒方法、装置和视频会议系统。

背景技术

视频会议系统是一种可进行多点（即多个会场）多人（每个会场有1个参会者或者多个参会者）参与的会议系统，不同地点的人员，可通过视频会议系统来举行会议，降低企业成本，增加人员之间的沟通效率，被越来越多的企业等各种机构所采用。

其中，如图1A所示，视频会议系统通常由2个或者2个以上的会场构成（作为举例，图1A中包括四个会场），如图1B所示，每个会场包括1个或者多个会议终端（作为举例，图1B中包括三个会议终端），并且一个会场包括至少1个显示器（作为举例，图1B示出了三个）、至少1个扬声器（作为举例，图1B示出了2个）、至少1个麦克风（作为举例，图1B示出了三个，即MIC1、MIC2和MIC3）、至少1个摄像头（作为举例，图1B示出了三个摄像头构成的摄像机组），对于某一个会场而言，该会场的会议终端接收到其他会场通过网络传输过来的音频信号以及视频信号，并对音频和视频信号进行解码，将解码后的音频信号送到扬声器进行播放，将解码后的视频信号进行显示，并且该会场的摄像头（或者摄像机）用来采集本会场的视频图像，该会场的麦克风用来采集本会场的音频信号，通过本会场的会议终端对这些采集到的音视频信号进行音视频信号的处理，以及编码，通过网络发送给其他的会场。这样，各个会场的参会人员就可实时听到其他会场的声音和看到其他会场的图像，从而实现视频会议的功能。

但是，现有视频会议系统中，由于系统自身的局限性，无法对会议秩序进行有效控制，特别是在会场较多，参与人员较多的场合，常常因秩序混乱而导致会议效率降低，甚至会议无法正常进行。

发明内容

本发明实施例提供一种视频会议提醒方法、装置和视频会议系统，可对扰乱会议秩序情况进行及时处理，提醒与会人员，确保会议秩序的正常进行。

本发明实施例提供一种视频会议提醒方法，包括：

获取视频会议中的各会场的音频信息和/或视频信息；

对所述各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；

对所述影响会议秩序的相关会场进行提醒

本发明实施例还提供一种视频会议提醒装置，包括：

信息获取模块，用于获取视频会议中的各会场的音频信息和/或视频信息；

相关会场确定模块，用于对所述各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；

提醒模块，用于对所述影响会议秩序的相关会场进行提醒。

本发明实施例进一步地提供一种视频会议系统，包括：

多个视频会议终端，分别设置在各会场中，用于播放和采集视频信息以及音频信息；

视频会议提醒装置，用于获取各会场的音频信息和/或视频信息，并对所述各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场，并通过视频会议终端对所述影响会议秩序的相关会场进行提醒。

本发明实施例提供的视频会议提醒方法、装置和视频会议系统，通过对各会场的音频和/或视频进行分析，以确定影响会议秩序的相关会场，并可对相关会场进行及时提醒，从而可对视频会议系统的会议秩序进行有效控制，避免会议秩序混乱，确保会议的正常进行，提高会议效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为现有技术中的视频会议系统的组网示意图；

图1B为现有技术中的一个视频会议会场的布局示意图；

图2为本发明实施例一提供的视频会议提醒方法的流程示意图；

图3为本发明实施例二提供的视频会议提醒方法的流程示意图；

图4A为本发明实施例三提供的视频会议提醒方法的流程示意图；

图4B为本实施例中获取的各会场的语音状态的示意图；

图5A为本发明实施例四提供的视频会议提醒方法的流程示意图；

图5B为本发明实施例中对会议中的讲话时间段统计的示意图；

图6为本发明实施例五提供的视频会议提醒方法的流程示意图；

图7为本发明实施例六提供的视频会议提醒方法的流程示意图；

图8为本发明实施例七提供的视频会议提醒方法的流程示意图；

图9为本发明实施例八提供的视频会议提醒装置的结构示意图；

图10为本发明实施例九提供的视频会议提醒装置的结构示意图；

图11为本发明实施例十提供的视频会议提醒装置的结构示意图；

图12为本发明实施例十一提供的视频会议提醒装置的结构示意图；

图13为本发明实施例十二提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图14为本发明实施例十三提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图15为本发明实施例十四提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图16为本发明实施例十五提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图17为本发明实施例十六提供的视频会议提醒装置中相关会场确定单元的结构示意图；

图18为本发明实施例十七提供的视频会议提醒装置的结构示意图；

图19为本发明实施例十八提供的视频会议提醒装置的结构示意图；

图20为本发明实施例十九提供的视频会议系统的结构示意图；

图21为本发明实施例二十提供的视频会议系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2为本发明实施例一提供的视频会议提醒方法的流程示意图。如图2所示，本实施例方法可包括如下步骤：

步骤101、获取视频会议系统中的各会场的音频信息和/或视频信息；

步骤102、对各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；

步骤103、对影响会议秩序的相关会场进行提醒。

本实施例可对视频会议系统中各会场的音频信息和视频信息进行分析，以根据对音频信息和/或视频信息的分析，确定是否有干扰会议正常进行的相关会场，并可对影响会议秩序的相关会场进行提醒，确保会议的正常进行，可有效提高视频会议系统的会议效率。

本实施例中，对相关会场进行提醒，具体可以是通过语音方式进行提醒，或者以视频方式在视频会议终端上进行提醒，例如可以文字播放等方式进行视频提醒。

本实施例提供的视频会议提醒方法，通过对各会场的音频和/或视频进行分析，以确定影响会议秩序的相关会场，并可对相关会场进行及时提醒，从而可对视频会议系统的会议秩序进行有效控制，避免会议秩序混乱，确保会议的正常进行，提高会议效果。

图3为本发明实施例二提供的视频会议提醒方法的流程示意图。如图3所示，本实施例可基于预设时间段内的音频信息确定相关会场，具体地，如图3所示，本实施例可包括如下步骤：

步骤201、获取预设时间段内，视频会议中的各会场的音频信息；

步骤202、对预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场；

步骤203、对影响会议秩序的相关会场进行提醒。

本实施例可统计预设时间段内各会场的音频信息，并可对统计的预设时间段内各会场的音频信息进行分析，例如音量大小、讲话时间等，以确定相关会场。其中，所述的预设时间段的长度可根据需要而选择合适的长度，例如，2分钟、10分钟等，本实施例并不做限制。

下面将以基于预设时间段内的音频信息确定相关会场具体分析实例对本发明技术方案做详细的说明。

图4A为本发明实施例三提供的视频会议提醒方法的流程示意图。本实施例可通过对各会场的音频信息进行分析，根据各会场参会人员的并行讲话时间，来确定是否出现影响会议秩序的相关会场，具体地，如图4A所示，本实施例可包括以下步骤：

步骤301、获取视频会议系统中各会场的音频信息；

步骤302、根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

步骤303、预设时间段内，两个或两个以上的会场的语音状态均为讲话状态时，判定该两个或两个以上的会场为影响会议秩序的相关会场。

上述步骤302中，获取各会场的语音状态，具体是根据各会场的音频信息，来确定各会场是否处于讲话的语音状态，实际应用中，对于一个会场而言，在某一时刻，若根据音频信息，判定为语音时，则可确定该会场在该时刻的语音活动度为1，表示会场处于讲话状态，有人在进行讲话，否则，语音活动度为0，表示会场中没有人讲话，为非讲话状态。

图4B为本实施例中获取的各会场的语音状态的示意图。本实施例中，以具有4个会场的会议为例，来说明各会场的语音状态，具体地，如图4B所示，为对视频会议系统中的4个会场，即会场1、会场2、会场3和会场4的语音状态进行说明，其中，横坐标表示会议持续时间，纵坐标表示各会场的语音状态是处于讲话状态还是非讲话状态，0表示没有人讲话，1表示有人讲话。可以看出，在t1-t15这一时间段内，其中在t1~t4阶段，会场3和会场4处于交替讲话的状态，这可以认为是两个会场中的人处于交替讲话的状态，整个会议处于正常的状态；在t6～t7时刻，会场4和会场2处于同时讲话的状态，可以认为在此阶段，会场4和会场2是影响会议秩序的相关会场；同样的，在t9-t10阶段，会场2和会场3处于同时讲话的状态，可以认为在此阶段，会场2和会场3是影响会议秩序的相关会场；而在t12～t13阶段，会场1、会场2和会场3这三个会场均处于同时讲话的状态，在此情况下，则会场1、会场2和会场3均是影响会议秩序的相关会场。

本领域技术人员可以理解，在进行会议时，通常是只有一个会场中的人员进行讲解，正常的会议秩序应该是各会场的讲话是交替进行的，因此，当出现2个会场或者多个会场出现同时讲话的情况，则说明会议进入了无序的状态，通过对各会场并行讲话进行分析，从而可确定出影响会议秩序的相关会场。

上述步骤304中，对相关会场进行提醒，具体可采用语音提醒的方式，以提醒相关会场的与会人员注意会场秩序。较佳的，为了不影响会议的过程，还可以采用图像显示，或者信号灯的方式对相关的会场进行提醒。

本领域技术人员可以理解，在对相关会场进行提醒前，还可通过向主持会议的主会场的主持人发出提醒，以确定是否需要对相关会场发出提醒，待主持人确定后，可向相关会场发出提醒，以避免发出错误的提醒。

可以看出，本实施例是基于并行讲话时间来确定是否有同时讲话的会场，以将同时讲话的会场作为影响会议秩序的相关会场。

图5A为本发明实施例四提供的视频会议提醒方法的流程示意图。本实施例可根据各会场的音频信息，确定整个会议中的讲话时间所占的比率，来确定会议秩序是否正常，以确定影响会议秩序的相关会场，具体地，如图5A所示，本实施例方法可包括以下步骤：

步骤401、获取视频会议系统中各会场的音频信息；

步骤402、根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

步骤403、预设时间段内，统计各会场中语音状态为讲话状态的若干会场的讲话时间段；

步骤404、获得该若干会场的讲话时间段占用预设时间段的比率，并在该比率小于预设比率阈值时，判定会议的主会场或所有会场为相关会场。

上述步骤402和步骤403中，统计各会场中的语音状态为讲话状态的多个会场的讲话时间段，具体可为：某一时刻，只要会议中的一个会场的语音状态为讲话状态，即根据音频信息确定为语音时，则可将该时刻下的会议的活动度记为1，然后计算在预设时间段内会议的活动度为1的总时间段，即讲话时间段。

图5B为本发明实施例中对会议中的讲话时间段统计的示意图。如图5B所示，其中横坐标标识会议进行时间，纵坐标表示各会场的语音状态，可以看出，在t1-t2时间段内，会场3的处于讲话状态，t3-t4时间段内，会场2处于讲话状态，则会议在0-t时间段内，各会场中，讲话时间段为t1-t2和t3-t4两个时间段之和，因此，根据该时间统计，就可以计算出讲话时间段在整个t时间段内的比率，也可称为会议处于活动状态的概率。当该比率较低时，则表明会议中，会议中时间利用不充分，会议节奏缓慢，会议秩序不正常，此时，就可以将参与的主会场判定为相关会场，或者将所有会场均判定为相关会场，并向相关会场发出提醒，例如可以发出需要加快会议进度等提示信息，以便会议正常进行。本领域技术人员可以理解，其中预设比率阈值的大小可根据实际需要选择适合的数值，本实施例并不做特别限制。

可以看出，本实施例是基于多个会场的讲话时间的占用率来确定会议节奏是否缓慢，以在会议节奏缓慢时确定影响会议秩序的相关会场。

本领域技术人员可以理解，本实施例可与图3A所示的实施例结合起来，确定影响会议秩序的相关会场，例如可将会议节奏缓慢时，处于并行讲话的会场作为相关会场等，对此本发明实施例并不做特别限制。

图6为本发明实施例五提供的视频会议提醒方法的流程示意图。与上述图5A和图5B所示实施例技术方案不同的是，本实施例可对一个会场的讲话时间段进行统计，以确定相关会场，具体地，如图6所示，本实施例方法可包括：

步骤501、获取视频会议系统的各会场的音频信息；

步骤502、根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

步骤503、预设时间段内，当检测出一会场的语音状态为讲话状态时，统计该一会场处于讲话状态的讲话时间段；

步骤504、获得该讲话时间段占用预设时间段的比率，并在该比率大于预设比率阈值时，判定该一会场为相关会场。

本领域技术人员可以理解，当会议进行过程中，若一个会场的讲话时间过多，则表明其他会场的讲话时间较短，会议互动较差，因此，可将该会场或者所有会场判定为相关会场，以提醒会议互动较差。

进一步的，可以理解，由于不同会议的主题以及内容不同，会导致不同的会议状态，譬如：宣讲式的会议，很可能出现某一个会场一直处于讲话状态，而其他会场则处于非讲话状态，在这种情况下，通过系统的设置，使得该图6所公开的方法对应的系统功能处于关闭状态。而对于讨论式的会议，由于需要各个会场的讨论，则可以将图6所公开的方法对应的系统功能打开。

可以看出，本实施例是基于一会场的讲话时间的占用率来确定会场互动是否较差，以在会议互动较差时确定影响会议秩序的相关会场。

本领域技术人员可以理解，本实施例可与图3A和/或图4A所示的实施例结合起来，即通过多种手段相结合来确定影响会议秩序的相关会场，对此本发明实施例并不做特别限制。

图7为本发明实施例六提供的视频会议提醒方法的流程示意图。本实施例可根据预设的关键词对各会场的讲话情况进行判断，以确定会场讲话是否围绕会议主题进行，以便确定会场是否为影响会议秩序的相关会场，具体地，如图7所示，本实施例方法可包括如下步骤：

步骤601、获取预设时间段内各会场的音频信息；

步骤602、对各会场的音频信息中的语音进行语音到文字的识别；

步骤603、将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场。

本实施例中，可预先设置会议所要讨论内容的关键字，这样，识别各会场的语音对应的文字后，就可以与关键字语音进行比较，当会场中的人员讨论的内容不涉及，即不包括该关键字语音时，可确定该会场正在讨论与会议无关的内容，则可将该会场判定为影响会议秩序的相关会场。例如，某一会议的议题为召开电信行业的大会准备，这样，可根据会议议题，预先为该议题确定一些关键词，例如电信、参与者、地点、酒店、时间、材料、邀请函、议程安排等，这样，在会议开始后，就可以对各会场的语音进行识别和语义分析，当发现与会者的发言中不包括与预先设置的关键词时，则认为相应会场的讨论的话题偏离了会议主题，则可判定该会场影响了会议的正常进行，为影响会议秩序的相关会场，可对该会场进行提醒。

本领域技术人员可以理解，对语音进行识别可采用传统的语音识别技术，以确定各语音对应的文字，并根据该识别出的文字与预设的关键词进行比对，一旦发现会场中的语音不涉及和会议主题相关的关键词时，就可以判定该会场讨论偏离会议主题，可对其进行提醒。

可以看出，本实施例是基于会场的语音是否超与关键词匹配，来确定会场的讲话是否超出会议主题，以在超出会议主题时确定影响会议秩序的相关会场。

同样地，本实施例也可与图4A、图5A和/或图6所示实施例结合起来，确定影响会议秩序的相关会场，对此本实施例并不做特别限制。

图8为本发明实施例七提供的视频会议提醒方法的流程示意图。本实施例可根据各会场的语音的音量，来判定会场是否为影响会议秩序的相关会场，具体地，如图8所示，本实施例方法可包括如下步骤：

步骤701、获取视频会议系统内各会场的音频信息；

步骤702、根据各会场的音频信息，获取预设时间段内各会场的音频音量；

步骤703、将音频音量大于预设音量阈值的会场判定为影响会议秩序的相关会场。

本实施例中，可根据各会场的音量，来确定各会场的讲话是否正常，例如音量过高，则认为不能正常的会议讲话，可能是争吵等，因此，可将音量过高的会场判定为影响会议秩序的相关会场，并对这些影响会议秩序的相关会场进行提醒。

实际应用中，可预先设定音量阈值，例如80分贝或90分贝，当会场的音量超过该预设音量阈值时，就可判定会场音量过大。

同样地，本实施例也可与上述图4A、图5A、图6和/或图7所示的实施例结合起来，确定影响会议秩序的相关会场，对此本发明实施例并不做特别限制。实际应用中可根据会议的类型等，选择图4A、图5A、图6、图7和图8任一实施例或任意两个以上的实施例结合起来，确定影响会议秩序的相关会场。

图9为本发明实施例八提供的视频会议提醒方法的流程示意图。本实施例可根据各会场的视频信息，通过人脸表情识别，来判定会场是否为影响会议秩序的相关会场，具体地，如图9所示，本实施例方法可包括如下步骤：

步骤801、获取视频会议系统中各会场的视频信息；

步骤802、根据各会场的视频信息，提取各会场中与会人员的脸部图像信息；

步骤803、利用人脸识别技术，对与会人员的脸部图像信息进行与会人员的表情的识别，并将人脸表情异常的与会人员所在会场判定为影响会议秩序的相关会场。

本实施例中，对人脸进行识别时可采用传统人脸识别技术，以确定人脸表情是否异常，包括人脸表情库的建立和人脸表情的识别，其中，人脸表情库的建立可采用美国CMU机器人研究所和心理学系共同建立的人脸表情库（Cohn-Kanade AU-Coded Facial Expression Image Database，CKACFEID)，或者采用日本ATR建立的日本女性表情数据库(JAFFE)；而人脸表情识别可包括人脸图像获取、图像预处理、图像特征提取以及分类判别，其中，本实施例中通过会议室中的视频设备采集人脸图像，图像预处理主要是对图像的大小和灰度的归一化处理，图像特征提取可采用几何特征、统计特征、频率域特征和运动特征等的提取，图像分类判别可采用线性分类器、神经网络分类器、支持向量机（SVM）分类算法、隐马尔可夫模型（Hidden Markov Models，HMM）等方法来实现。具体地，本实施例人脸表情识别方法可与现有技术相同或类似，在此不再赘述。

可以看出，本实施例可基于人脸表情识别来确定与会人员的人脸表情，以根据与会人员的人脸表情来确定影响会议秩序的相关会场。

图10为本发明实施例九提供的视频会议提醒方法的流程示意图。本实施例可基于视频信息来确定各会场与会人员的肢体动作，以判定会场是否为影响会议秩序的相关会场，具体地，如图10所示，本实施例方法可包括如下步骤：

步骤901、获取视频会议系统中各会场的视频信息；

步骤902、根据各会场的视频信息，提取各会场中与会人员的肢体动作；

步骤903、将肢体动作大于预设动作阈值的与会人员所在的会场判定为影响会议秩序的相关会场。

本实施例中，根据各会场的视频信息，提取各会场中与会人员的肢体动作，具体可采用深度摄像机来检测人体姿态、手势等肢体动作信息，例如可基于微软的Kinect体感摄像机来检测人体肢体动作，其具体实现与现有技术相同或类似，在此不再赘述。

本实施例中，可根据与会人员的手势识别以及动作识别等肢体动作，来判定与会人员是否干扰了会议正常进行，例如手势动作大于预设动作阈值，和/或动作姿势的变化是否大于预设变化阈值等，来确定是否判定与会人员所在会场为影响会议秩序的相关会场。

可以看出，本实施例可基于人的姿态检测确定与会人员的肢体动作，以根据与会人员的肢体动作来确定影响会议秩序的相关会场。

本领域技术人员可以理解，实际应用中，也可将图8和图9所示实施例结合起来，来确定影响会议秩序的相关会场，即可将同时满足人脸异常和肢体动作过大的会场作为相关会场，或者，将只要出现人脸异常或肢体动作的会场均作为相关会场。

本领域技术人员可以理解，实际应用中，也可将上述图3-图8所示的基于音频信息来确定相关会场与图9和图10基于视频信息确定相关会场结合起来，对此本发明实施例并不做特别限制。

本领域技术人员可以理解，上述的音频信息和视频信息均可由会议终端采集得到，其中，会议终端上设置有摄像头和麦克风，从而可实时采集所在会场的音频和视频信息。

图11为本发明实施例十提供的视频会议提醒装置的结构示意图。如图11所示，本实施例提醒装置包括信息获取模块1、相关会场确定模块2和提醒模块3，其中：

信息获取模块1，用于获取视频会议中的各会场的音频信息和/或视频信息；

相关会场确定模块2，用于对各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；

提醒模块3，用于对影响会议秩序的相关会场进行提醒。

本实施例中，相关会场确定模块2可根据信息获取模块1获取到的视频信息或音频信息，来确定相干会场，并由提醒模块3向各相关会场发出提醒，以确保会议的正常进行，其具体实现可参见上述本发明方法实施例的说明，在此不再赘述。

图12为本发明实施例十一提供的视频会议提醒装置的结构示意图。本实施例可基于预设时间段内的音频信息来确定相关会场，具体地，如图12所示，上述图11中所示的相关会场确定模块2具体可包括信息获取单元21和相关会场确定单元22，其中：

信息获取单元21，用于获取预设时间段内各会场的音频信息；

相关会场确定单元22，用于对预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场。

本实施例中，可基于预设时间段内的音频信息来确定相关会场，其具体实现可参见上述本发明方法实施例二至七的说明，在此不再赘述。

图13为本发明实施例十二提供的视频会议提醒装置中相关会场确定单元的结构示意图。如图13所示，本实施例中，上述图12中的相关会场确定单元22具体可包括第一获取子单元221和第一判定子单元222，其中：

第一获取子单元221，用于根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

第一判定子单元222，用于检测到两个或两个以上的会场的语音状态均为讲话状态时，判定该两个或两个以上的会场为影响会议秩序的相关会场。

本实施例装置可通过对各会场的音频信息进行分析，根据各会场参会人员的并行讲话时间，来确定相关会场，其具体实现可参见上述本发明方法实施例三的说明，在此不再赘述。

图14为本发明实施例十三提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图13所示实施例技术方案不同的是，本实施例中，相关会场确定单元22具体可包括第二获取子单元223、第二统计子单元224和第二判定子单元225，其中：

第二获取子单元223，用于根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

第二统计子单元224，用于统计各会场中的语音状态为讲话状态的若干会场的讲话时间段；

第二判定子单元225，用于获得若干会场的讲话时间段占用预设时间段的比率，并在比率小于预设比率阈值时，判定会议的主会场或所有会场为相关会场。

本实施例装置可根据各会场的音频信息，确定整个会议中的若干会场的讲话时间所占的比率，来确定会议秩序是否正常，以确定影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例四的说明，在此不再赘述。

图15为本发明实施例十四提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图14所示实施例技术方案不同的是，本实施例中，相关会场确定单元22具体可包括第三获取子单元226、第三统计子单元227和第三判定子单元228，其中：

第三获取子单元226，用于根据各会场的音频信息，获取各会场的语音状态，该语音状态包括讲话状态和非讲话状态；

第三统计子单元227，用于当检测出一会场的语音状态为讲话状态时，统计该一会场处于讲话状态的讲话时间段；

第三判定子单元228，用于获得该讲话时间段占用预设时间段的比率，并在该比率大于预设比率阈值时，判定该一会场或所有会场为相关会场。

本实施例装置可根据各会场的音频信息，确定整个会议中的一会场的讲话时间所占的比率，来确定会议秩序是否正常，以确定影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例五的说明，在此不再赘述。

图16为本发明实施例十五提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图13所示实施例技术方案不同的是，本实施例中，相关会场确定单元22具体可包括：语音识别子单元229和第四判定子单元2210，其中：

语音识别子单元229，用于对各会场的音频信息中的语音进行语音到文字的识别；

第四判定单元2210，用于将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场。

本实施例装置可根据预设的关键词对各会场的讲话情况进行判断，以确定会场讲话是否围绕会议主题进行，以便确定会场是否为影响会议秩序的相关会场，具体实现可参见上述本发明方法实施例六的说明，在此不再赘述。

图17为本发明实施例十六提供的视频会议提醒装置中相关会场确定单元的结构示意图。与上述图13所示实施例技术方案不同的是，本实施例中，相关会场确定单元22具体可包括第五获取子单元2211和第五判定子单元2212，其中：

第五获取子单元2211，用于根据各会场的音频信息，获取各会场的音频音量；

第五判定子单元2212，用于将音频音量大于预设音量阈值的会场判定为影响会议秩序的相关会场。

本实施例装置可根据各会场的语音的音量，来判定会场是否为影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例七的说明，在此不再赘述。

图18为本发明实施例十七提供的视频会议提醒装置的结构示意图。本实施例可基于视频信息来确定相关会场，具体地，如图18所示，图11中所示的相关会场确定模块2具体可包括脸部信息提取单元23和第一判定单元24，其中：

脸部信息提取单元23，用于根据各会场的视频信息，提取各会场中与会人员的脸部图像信息；

第一判定单元24，用于利用人脸识别技术，对与会人员的脸部图像信息进行与会人员的表情识别，并将人脸表情异常的与会人员所在会场判定为影响会议秩序的相关会场。

本实施例装置可根据各会场的视频信息，通过人脸表情识别，来判定会场是否为影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例八的说明，在此不再赘述。

图19为本发明实施例十八提供的视频会议提醒装置的结构示意图。与上述图18所示实施例技术方案不同的是，本实施例中，相关会场确定模块2具体可包括肢体动作提取单元25和第二判定单元26，其中：

肢体动作提取单元25，用于根据各会场的视频信息，提取各会场中与会人员的肢体动作；

第二判定单元26，用于将肢体动作大于预设动作阈值的与会人员所在的会场判定为影响会议秩序的相关会场。

本实施例装置可基于视频信息来确定各会场与会人员的肢体动作，以判定会场是否为影响会议秩序的相关会场，其具体实现可参见上述本发明方法实施例九的说明，在此不再赘述。

图20为本发明实施例十九提供的视频会议系统的结构示意图。如图20所示，本实施例视频会议系统包括多个视频会议终端10和视频会议提醒装置20，其中：

该多个视频会议终端10分别设置在不同的会场中，用于播放和采集视频信息以及音频信息；

视频会议提醒装置20，用于获取各会场的音频信息或/或视频信息，并对各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场，并通过视频会议终端对影响会议秩序的相关会场进行提醒。

本实施例视频会议系统可基于视频会议提醒装置20，监控各会场的会议情况，确定影响会议秩序的相关会场，并可基于视频会议终端10对相关会场作出提醒，确保会议的正常进行。其中，所述的视频会议提醒装置20具体可以为上述本发明装置各实施例提供的视频会议提醒装置，具体结构可参见上述本发明各装置实施例的说明在此不再赘述。

图21为本发明实施例二十提供的视频会议系统的结构示意图。如图21所示，为本实施例视频会议系统的实际应用场景示意图，该视频会议系统包括：会场100、会场200、会场300、网络处理设备400和会议管理中心设备500，其中网络处理设备400用于接收会场采集到的音视频信息，并将接收到的音视频信息转发到其他会场；会议管理中心设备500可通过网络处理设备400控制各会场的接入或断开。

本实施例中，如图21所示，会场100包括显示设备1001、视频采集设备1002、麦克风设备1003、扬声器设备1004以及控制设备1005，其中，显示设备1001用于显示视频及图像；视频采集设备1002用于采集本会场的视频信息；麦克风设备1003用于采集本会场参会人员的声音；扬声器设备1004用于播放其他会场以及本会场的声音；控制设备1005与本会场的其他设备连接，用于接收采集的本会场的视频信息、音频信息等，并传输至挽留过处理设备400，同时，该控制设备1005还用于接收网络处理设备400发送的其他会场的音视频信息等会场信息，并发送至显示设备1001进行视频的播放或图像的显示，发送至扬声器设备1004进行声音的播放。

本实施例中，上述的网络处理设备400可以为微型计算机处理设备，用于与其他设备通过网络进行连接，并可处理其他会场发送来的信息，会议管理中心设备500也可以是微型计算机处理设备。

本实施例视频会议系统可与现有的会议系统相同，不同的是，网络处理设备400上可集成有上述本发明各实施例提供的视频会议提醒装置；或者，该视频会议系统中，也可单独设置有视频会议提醒装置，例如，可设置在与网络处理设备400的相同位置或各会场中。

本领域技术人员可以理解，视频会议系统中的会场的数量处理如图21所示的3个外，也可以为4个或4个以上，实际应用中可根据需要设置合适数量的会场；各会场均可采集各自会场的音视频信息，并可及时通过网络处理设备传送至其他会场，并可通过集成在网络处理设备内的视频会议提醒装置，检测影响会议秩序的相关会场，并可向相关会场发送提醒。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种视频会议提醒方法，其特征在于，包括：

获取视频会议中的各会场的音频信息和/或视频信息；

对所述各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；

对所述影响会议秩序的相关会场进行提醒；

其中，对所述各会场的音频信息进行分析，确定影响会议秩序的相关会场包括：

获取预设时间段内各会场的音频信息；

对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场，包括：

根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；统计各会场中的语音状态为讲话状态的若干会场的讲话时间段；获得所述若干会场的讲话时间段占用所述预设时间段的比率，并在所述比率小于预设比率阈值时，判定会议的主会场或所有会场为相关会场；

或者，根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；当检测出一会场的语音状态为讲话状态时，统计所述一会场处于讲话状态的讲话时间段；获得所述讲话时间段占用所述预设时间段的比率，并在所述比率大于预设比率阈值时，判定所述一会场或所有会场为相关会场；

或者，对各会场的音频信息中的语音进行语音到文字的识别；将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场；

或者，根据各会场的音频信息，获取各会场的音频音量；将音频音量大于预设音量阈值的会场判定为影响会议秩序的相关会场；

对所述各会场的视频信息进行分析，确定影响会议秩序的相关会场包括：

根据各会场的视频信息，提取各会场中与会人员的肢体动作；将肢体动作大于预设动作阈值的与会人员所在的会场判定为影响会议秩序的相关会场。

2.一种视频会议提醒装置，其特征在于，包括：

信息获取模块，用于获取视频会议中的各会场的音频信息和/或视频信息；

相关会场确定模块，用于对所述各会场的音频信息和/或视频信息进行分析，确定影响会议秩序的相关会场；

提醒模块，用于对所述影响会议秩序的相关会场进行提醒；

其中，所述相关会场确定模块包括：

信息获取单元，用于获取预设时间段内各会场的音频信息；

相关会场确定单元，用于对所述预设时间段内各会场的音频信息进行分析，确定影响会议秩序的相关会场，包括：

第二获取子单元，用于根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；第二统计子单元，用于统计各会场中的语音状态为讲话状态的若干会场的讲话时间段；第二判定子单元，用于获得所述若干会场的讲话时间段占用所述预设时间段的比率，并在所述比率小于预设比率阈值时，判定会议的主会场或所有会场为相关会场；

或者，第三获取子单元，用于根据各会场的音频信息，获取各会场的语音状态，所述语音状态包括讲话状态和非讲话状态；第三统计子单元，用于当检测出一会场的语音状态为讲话状态时，统计所述一会场处于讲话状态的讲话时间段；第三判定子单元，用于获得所述讲话时间段占用所述预设时间段的比率，并在所述比率大于预设比率阈值时，判定所述一会场或所有会场为相关会场；

或者，语音识别子单元，用于对各会场的音频信息中的语音进行语音到文字的识别；第四判定子单元，用于将识别出的各会场的语音对应的文字与预设的关键词进行比对，将未出现关键词的会场判定为影响会议秩序的相关会场；

或者，第五获取子单元，用于根据各会场的音频信息，获取各会场的音频音量；第五判定子单元，用于将音频音量大于预设音量阈值的会场判定为影响会议秩序的相关会场；

所述相关会场确定模块还包括：

肢体动作提取单元，用于根据各会场的视频信息，提取各会场中与会人员的肢体动作；第二判定单元，用于将肢体动作大于预设动作阈值的与会人员所在的会场判定为影响会议秩序的相关会场。

3.一种视频会议系统，其特征在于，包括：如权利要求2所述的视频会议提醒装置；

多个视频会议终端，分别设置在各会场中，用于播放和采集视频信息以及音频信息。