CN105306868A - 视频会议系统及方法 - Google Patents

Abstract

本发明公开了一种视频会议系统及方法，其中，该方法包括：获取当前会议现场的环境信息和/或音频信息，以及指示视频会议画面内容的数据信息；根据环境信息和/或音频信息，生成控制信息；根据控制信息和数据信息，分别投影多个视频会议画面，其中，控制信息用于指示多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小。通过本发明，解决了视频会议系统中视频会议画面投影的显示大小和/或显示位置固定导致的用户操作或体验差的问题，提高了用户体验。

Description

视频会议系统及方法

技术领域

本发明涉及通信领域，具体而言，涉及一种视频会议系统及方法。

背景技术

松下公司目前公布了其空中触摸显示屏(FID)的实现方法。空中触摸显示屏技术主要包括空中成像技术和激光飞行时间(TOF)测位技术，其中空中成像技术通过投射板将图像源投射的画面在投射板的上方形成实像；激光飞行时间测位技术通过多个画面捕捉装置获取激光飞行时间，并根据激光飞行时间计算距物体的距离。通过激光飞行时间测位技术可以捕获用户在空中成像技术所成实像上的操作动作。

目前视频会议大多是采用会议终端+显示设备方式。在该方式中，一般采用鼠标、键盘的方式进行视频投影的控制或文字、图像的输入；即使现在有的显示设备已经增加了触控功能，但因触控位置固定、显示大小固定，仍然存在控制单一，交互单一等问题。

针对相关技术中视频会议系统中视频会议画面投影的显示大小和/或显示位置固定导致的用户操作或体验差的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种视频会议系统及方法，以至少解决视频会议系统中视频会议画面投影的显示大小和/或显示位置固定导致的用户操作或体验差的问题。

根据本发明的一个方面，提供了一种视频会议系统，包括：控制处理装置、多个投影显示装置、多个图像捕捉装置和多个音频捕捉装置，其中，所述多个投影显示装置，在当前会议现场中心面向四周设置，用于根据所述控制处理装置发送的控制信息和数据信息，分别投影多个视频会议画面，其中，所述控制信息用于指示所述多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小；所述多个图像捕捉装置，用于捕捉所述当前会议现场的环境信息，并将所述环境信息发送给所述控制处理装置；所述多个音频捕捉装置，用于捕捉所述当前会议现场的音频信息，并将所述音频信息发送给所述控制处理装置；所述控制处理装置，分别与所述多个投影显示装置、所述多个图像捕捉装置和所述多个音频捕捉装置连接，用于根据接收的所述环境信息和/或所述音频信息，生成所述控制信息，并将所述控制信息发送至所述投影显示装置。

可选地，所述投影显示装置包括：显示位置调整单元，用于根据所述控制信息，调整所述多个视频会议画面投影显示的位置；和/或显示大小调整单元，用于根据所述控制信息，调整所述多个视频会议画面投影显示的大小。

可选地，所述多个图像捕捉装置，在所述当前会议现场的四周面向会议现场中心设置，或者在所述当前会议现场的中心面向四周设置。

可选地，所述多个音频捕捉装置，在所述当前会议现场的四周面向会议现场中心设置，或者在所述当前会议现场的中心面向四周设置。

可选地，所述控制处理装置包括：信号接收单元、第一处理单元和/或第二处理单元、控制信息生成单元、信号发送单元，其中，所述信号接收单元，用于接收所述环境信息和/或所述音频信息；所述第一处理单元，用于根据对应的图像捕捉装置发送的所述环境信息中的图像特征，确定所述环境信息对应的图像捕捉装置的捕捉范围内的参会人数信息；所述第二处理单元，用于根据所述多个音频捕捉装置发送的所述音频信息，确定所述音频信息中对应的一个或多个音源的位置信息；所述控制信息生成单元，用于根据所述参会人数信息确定对应的图像捕捉装置的捕捉方向上对应的视频会议画面的显示大小，和/或根据所述位置信息确定与其对应的视频会议画面的显示大小和/或显示位置，并根据确定的显示大小和/或显示位置生成所述控制信息；所述信号发送单元，用于向所述投影显示装置发送所述控制信息和用于生成所述视频会议画面的所述数据信息。

可选地，所述音频信息包括音量信息，以及以下至少之一：频率信息、音色信息。

可选地，所述多个投影显示装置分别应用空中成像技术形成所述多个视频会议画面。

可选地，所述投影显示装置还包括：操作动作捕获单元，用于捕获用户在所述多个视频会议画面上执行的操作动作；操作动作发送单元，用于将所述操作动作的信息发送至所述控制处理装置。

可选地，所述控制处理装置还包括：操作动作解析单元，用于解析所述操作动作为操作指令，其中，所述操作指令包括用于指示当前操作的视频会议画面的显示大小和/或显示位置的操作指令，和/或用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作指令；其中，所述控制信息生成单元，还用于根据所述操作指令指示的当前操作的视频会议画面的显示大小和/或显示位置生成所述控制信息。

可选地，所述控制处理装置还包括：数据信息处理单元，用于根据用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作，更新所述数据信息。

可选地，所述视频会议系统还包括：网络交互装置，与所述控制处理装置连接，用于所述控制处理装置与其他如上述的视频会议系统中的控制处理装置交互所述数据信息和/或用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作指令。

根据本发明的另一个方面，还提供了一种视频会议方法，包括：获取当前会议现场的环境信息和/或音频信息，以及指示视频会议画面内容的数据信息；根据所述环境信息和/或所述音频信息，生成控制信息；根据所述控制信息和所述数据信息，分别投影多个视频会议画面，其中，所述控制信息用于指示所述多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小。

可选地，所述方法还包括：应用空中成像技术形成所述多个视频会议画面。

通过本发明，采用获取当前会议现场的环境信息和/或音频信息，以及指示视频会议画面内容的数据信息；根据环境信息和/或音频信息，生成控制信息；根据控制信息和数据信息，分别投影多个视频会议画面，其中，控制信息用于指示多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小的方式，解决了视频会议系统中视频会议画面投影的显示大小和/或显示位置固定导致的用户操作或体验差的问题，提高了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频会议方法的流程示意图；

图2是根据本发明实施例的视频会议系统的结构示意图；

图3是根据本发明实施例的视频会议系统的优选结构示意图；

图4是根据本发明实施例的视频会议初始模型0示意图；

图5是根据本发明实施例的视频会议初始模型1示意图；

图6是根据本发明实施例的视频会议互动模型示意图；

图7是根据本发明实施例的视频会议互动模型-互动同方向示意图；

图8是根据本发明实施例的视频会议互动模型-多人共享交互示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例提供了一种视频会议方法，图1是根据本发明实施例的视频会议方法的流程示意图，如图1所示，包括如下的步骤：

步骤S102，获取当前会议现场的环境信息和/或音频信息，以及指示视频会议画面内容的数据信息；

步骤S104，根据环境信息和/或音频信息，生成控制信息；

步骤S106，根据控制信息和数据信息，分别投影多个视频会议画面，其中，控制信息用于指示多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小。

通过上述步骤，通过采集环境信息和/或音频信息进行不同位置和/或大小的视频会议画面投影显示，从而解决了视频会议系统中视频会议画面投影的显示大小和/或显示位置固定导致的用户操作或体验差的问题，提升了用户体验。其中，在采用空中成像技术和激光飞行时间测位技术进行用户操作采集的情况下通过调整视频会议画面投影的显示大小和/或显示位置，可以使得用户操作更加灵活和方便。

优选地，在上述方法中应用空中成像技术形成多个视频会议画面。其中的空中成像技术包括但不限于松下公司所披露的技术或其他公知的空中成像技术。

为了实现上述方法，在本实施例中提供了一种视频会议系统。需要说明的是，系统实施例中描述的视频会议系统对应于上述的视频会议方法实施例，其系统中具体的模块或单元的结构可能并不是公知的，但是本领域技术人员可以参照公知的技术以及本实施例中披露的技术内容得以轻松实现。此外，在系统实施例中举例的模块或单元的功能可以作为上述方法实施例的实现步骤，并结合现有步骤得以实施。

图2是根据本发明实施例的视频会议系统的结构示意图，如图2所示，该视频会议系统包括：控制处理装置22、多个投影显示装置24、多个图像捕捉装置26和多个音频捕捉装置28，其中，多个投影显示装置24，在当前会议现场中心面向四周设置，用于根据控制处理装置22发送的控制信息和数据信息，分别投影多个视频会议画面，其中，控制信息用于指示多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小；多个图像捕捉装置26，用于捕捉当前会议现场的环境信息，并将环境信息发送给控制处理装置22；多个音频捕捉装置28，用于捕捉当前会议现场的音频信息，并将音频信息发送给控制处理装置22；控制处理装置22，分别与多个投影显示装置24、多个图像捕捉装置26和多个音频捕捉装置28连接，用于根据接收的环境信息和/或音频信息，生成控制信息，并将控制信息发送至投影显示装置24。

本发明的实施例中所涉及到的模块、单元可以通过软件的方式实现，也可以通过硬件的方式来实现。本实施例中的所描述的模块、单元也可以设置在处理器中，例如，可以描述为：一种处理器包括控制处理装置22、多个投影显示装置24、多个图像捕捉装置26和多个音频捕捉装置28。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，控制处理装置22还可以被描述为“用于根据接收的环境信息和/或音频信息，生成控制信息，并将控制信息发送至投影显示装置24的模块”。

其中，控制处理装置22与多个投影显示装置24、多个图像捕捉装置26和多个音频捕捉装置28的连接方式包括有线连接和无线连接，其中，无线连接包括但不限于：蓝牙连接、WiFi连接等连接方式。

可选地，上述的投影显示装置24包括：显示位置调整单元，用于根据控制信息，调整多个视频会议画面投影显示的位置；和/或显示大小调整单元，用于根据控制信息，调整多个视频会议画面投影显示的大小。

可选地，多个图像捕捉装置26，在当前会议现场的四周面向会议现场中心设置，或者在当前会议现场的中心面向四周设置。

可选地，多个音频捕捉装置28，在当前会议现场的四周面向会议现场中心设置，或者在当前会议现场的中心面向四周设置。

可选地，控制处理装置22包括：信号接收单元、第一处理单元和/或第二处理单元、控制信息生成单元、信号发送单元，其中，信号接收单元，用于接收环境信息和/或音频信息；第一处理单元，用于根据对应的图像捕捉装置26发送的环境信息中的图像特征，确定环境信息对应的图像捕捉装置26的捕捉范围内的参会人数信息；第二处理单元，用于根据多个音频捕捉装置28发送的音频信息，确定音频信息中对应的一个或多个音源的位置信息；控制信息生成单元，用于根据参会人数信息确定对应的图像捕捉装置26的捕捉方向上对应的视频会议画面的显示大小，和/或根据位置信息确定与其对应的视频会议画面的显示大小和/或显示位置，并根据确定的显示大小和/或显示位置生成控制信息；信号发送单元，用于向投影显示装置24发送控制信息和用于生成视频会议画面的数据信息。

可选地，音频信息包括音量信息，以及以下至少之一：频率信息、音色信息。通过不同的频率信息或音色信息可以用于识别不同的音源，同时结合音量信息，实现不同音源的分别定位。

可选地，多个投影显示装置24分别应用空中成像技术形成多个视频会议画面。

可选地，投影显示装置24还包括：操作动作捕获单元，用于捕获用户在多个视频会议画面上执行的操作动作；操作动作发送单元，用于将操作动作的信息发送至控制处理装置22。

可选地，控制处理装置22还包括：操作动作解析单元，用于解析操作动作为操作指令，其中，操作指令包括用于指示当前操作的视频会议画面的显示大小和/或显示位置的操作指令，和/或用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作指令；其中，控制信息生成单元，还用于根据操作指令指示的当前操作的视频会议画面的显示大小和/或显示位置生成控制信息。

可选地，控制处理装置22还包括：数据信息处理单元，用于根据用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作，更新数据信息。其中，输入的图形和/或文字信息根据对应的输入位置被叠加到数据信息中，并通过控制处理装置22分别分发给多个投影显示装置24进行显示。

图3是根据本发明实施例的视频会议系统的优选结构示意图，如图3所示，可选地，视频会议系统还包括：网络交互装置30，与控制处理装置22连接，用于控制处理装置22与其他如上述的视频会议系统中的控制处理装置交互数据信息和/或用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作指令。通过该方式实现了与网络上的远程视频会议系统的信息交互。

为了使本发明的技术方案和实现方法更加清楚，下面将结合优选的实施例对其实现过程进行详细描述。

本优选实施例针对当前会议的局限，采用声音定位、摄像头全方位会议室图像信息采集；在一些优选方式中还可以通过手势控制显示图像大小及输入要交互的信息。

本优选提供一种视频会议显示、互动、控制的方法包括：会议终端根据会议人数直接投影到会议室中央，根据人数动态显示默认投影大小。同时根据声音源拉近投影距离，当前宣讲人根据手势可以在投影上写下相关信息。相关信息通过处理后显示处理。该融入式视频会议方法通过全方位摄像头组扫描会议室当前信息，通过声音传感器定位当前会议发言人，通过投影扫描设备进行互动交互显示会议状态。其中，投影采集设备和摄像头组可以通过USB、WiFi、蓝牙等方式接入到终端设备。通过上述方法可以实现会议图像适应性显示、信息输入的灵活控制。

在本优选实施例中采用了下列技术或方法：

1、采用360度全景摄像头组进行会议室环境采集。目前的会议电视采用单摄像头，固定在会议室一个角落，此设计只能采集特定方向环境信息。本优选实施例中采用具有多个摄像头的摄像头组，可以固定在会议桌子中央，实现会议室全景信息采集。

2、带有声音定位传感器的麦克风，进行声音采集及声源定位。目前的麦克风仅实现了声音输入和声音输出。本优选实施例中通过声音定位传感器确定各个方面会议当前发言人具体位置。

3、投影采集输入设备(相当于上述的操作动作捕获单元)识别手势轨迹跟踪定位控制。目前会议电视通过Web界面控制或红外遥控器控制。图像通过电视或投影等显示设备显示。白板操作需要到会议室固定的白板上用笔操作，同时开会的对方没有办法直接更改对方白板上有异议的地方。即使现在出现的电子白板技术也仅能解决开会的对方可以直接更改对方白板上有异议的地方，但需要修改人要走到电子白板区域进行信息交互。本优选实施例通过投影采集设备(相当于上述的操作动作捕获单元)识别当前发言人的手势就直接控制终端设备。也可以根据手势改变投影的区域的大小，以及投影图像距离发言人的远近。同时根据手势就可以直接进行电子白板信息交流。

本优选实施例的核心思想是：改善视频会议用户体验和近距离参与便捷。传统互动需要借助油性笔在白板设备上输入，同时要手动控制摄像头采集白板内容。即使最近电子白板设备也收到设备位置固定，互动时需要走进到电子白板范围才可以操作的局限。同时显示图像的大小受到显示设备的限制。但优选实施例为了改善用户体验，和用户使用智能输入设备的便捷性，发明一种任意位置上实现随意互动体验。

本优选实施例提供的一种视频会议显示场景，通过立体显示会议状态。例如通过松下的空中成像技术形成的立体显示画面。

会议开始时，终端会根据会议人数的分布情况采用是单方位显示还是(东、南、西、北)多方位显示(如会议初始状态默认东、南、西、北参会人员一样显示会议状态)，如图4所示；根据某一方向参会人员的多少改变默认显示图像的大小(比如会议初始状态1通过摄像头采集信息发现东面的参会人员比较多，东面投影图像默认就要更大一些，如图5所示)。同时特定方向人员可以通过投影采集设备控制单方向显示图像的大小。

会议中某一方向发言人需要互动时，如图6和图7所示的会议互动状态；终端设备会根据声音传感设备确定当前发言人位置，通过投影采集设备识别发言人的手势拉近、拉远投影采集设备显示距离，可以通过手势滑动可以调节投影的大小。投影采集设备当前就相当一块大小可控的触摸，发表人就可以在是投影范围内通过手指输入发表内容(如同用粉笔在黑板上写字一样)。投影采集设备把采集信息传送到终端(相当于控制处理装置22)，终端经过处理后分别显示到各方向显示设备上个/或通过网络设备传输到远端会议设备上。

其他人需要修改当前显示内容，只需把本方向的投影图像拉近，在投影设备上直接输入信息，如图8所示的会议互动模型—多人共享交互。意见发表完后，发言人可以同时挥动手势，摄像头根据收到的信息控制投影画面远离发言人。会议回复到如图4或图5所示的会议初始模型。

本方向人需要修改当前显示内容，直接把投影图像拉近自己，在投影设备上直接输入信息，如图7所示的会议互动模型—互动同方向。修改完后根据手势，投影图像居中。

发表人结束会议，图像退回会议初始模型0或初始模型1。

综上所述，根据本发明的上述实施例，采用获取当前会议现场的环境信息和/或音频信息，以及指示视频会议画面内容的数据信息；根据环境信息和/或音频信息，生成控制信息；根据控制信息和数据信息，分别投影多个视频会议画面，其中，控制信息用于指示多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小的方式，解决了视频会议系统中视频会议画面投影的显示大小和/或显示位置固定导致的用户操作或体验差的问题，提高了用户体验。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种视频会议系统，其特征在于包括：控制处理装置、多个投影显示装置、多个图像捕捉装置和多个音频捕捉装置，其中，

所述多个投影显示装置，在当前会议现场中心面向四周设置，用于根据所述控制处理装置发送的控制信息和数据信息，分别投影多个视频会议画面，其中，所述控制信息用于指示所述多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小；

所述多个图像捕捉装置，用于捕捉所述当前会议现场的环境信息，并将所述环境信息发送给所述控制处理装置；

所述多个音频捕捉装置，用于捕捉所述当前会议现场的音频信息，并将所述音频信息发送给所述控制处理装置；

所述控制处理装置，分别与所述多个投影显示装置、所述多个图像捕捉装置和所述多个音频捕捉装置连接，用于根据接收的所述环境信息和/或所述音频信息，生成所述控制信息，并将所述控制信息发送至所述投影显示装置。

2.根据权利要求1所述的视频会议系统，其特征在于，所述投影显示装置包括：

显示位置调整单元，用于根据所述控制信息，调整所述多个视频会议画面投影显示的位置；和/或

显示大小调整单元，用于根据所述控制信息，调整所述多个视频会议画面投影显示的大小。

3.根据权利要求1所述的视频会议系统，其特征在于，所述多个图像捕捉装置，在所述当前会议现场的四周面向会议现场中心设置，或者在所述当前会议现场的中心面向四周设置。

4.根据权利要求1所述的视频会议系统，其特征在于，所述多个音频捕捉装置，在所述当前会议现场的四周面向会议现场中心设置，或者在所述当前会议现场的中心面向四周设置。

5.根据权利要求1所述的视频会议系统，其特征在于，所述控制处理装置包括：信号接收单元、第一处理单元和/或第二处理单元、控制信息生成单元、信号发送单元，其中，

所述信号接收单元，用于接收所述环境信息和/或所述音频信息；

所述第一处理单元，用于根据对应的图像捕捉装置发送的所述环境信息中的图像特征，确定所述环境信息对应的图像捕捉装置的捕捉范围内的参会人数信息；

所述第二处理单元，用于根据所述多个音频捕捉装置发送的所述音频信息，确定所述音频信息中对应的一个或多个音源的位置信息；

所述控制信息生成单元，用于根据所述参会人数信息确定对应的图像捕捉装置的捕捉方向上对应的视频会议画面的显示大小，和/或根据所述位置信息确定与其对应的视频会议画面的显示大小和/或显示位置，并根据确定的显示大小和/或显示位置生成所述控制信息；

所述信号发送单元，用于向所述投影显示装置发送所述控制信息和用于生成所述视频会议画面的所述数据信息。

6.根据权利要求1所述的视频会议系统，其特征在于，所述音频信息包括音量信息，以及以下至少之一：频率信息、音色信息。

7.根据权利要求1至6中任一项所述的视频会议系统，其特征在于，所述多个投影显示装置分别应用空中成像技术形成所述多个视频会议画面。

8.根据权利要求7所述的视频会议系统，其特征在于，所述投影显示装置还包括：

操作动作捕获单元，用于捕获用户在所述多个视频会议画面上执行的操作动作；

操作动作发送单元，用于将所述操作动作的信息发送至所述控制处理装置。

9.根据权利要求8所述的视频会议系统，其特征在于，所述控制处理装置还包括：

操作动作解析单元，用于解析所述操作动作为操作指令，其中，所述操作指令包括用于指示当前操作的视频会议画面的显示大小和/或显示位置的操作指令，和/或用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作指令；

其中，所述控制信息生成单元，还用于根据所述操作指令指示的当前操作的视频会议画面的显示大小和/或显示位置生成所述控制信息。

10.根据权利要求9所述的视频会议系统，其特征在于，所述控制处理装置还包括：

数据信息处理单元，用于根据用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作，更新所述数据信息。

11.根据权利要求1至6、8至10中任一项所述的视频会议系统，其特征在于，所述视频会议系统还包括：

网络交互装置，与所述控制处理装置连接，用于所述控制处理装置与其他如权利要求1至6、8至10中任一项所述的视频会议系统中的控制处理装置交互所述数据信息和/或用于向当前显示的视频会议画面中的对应位置输入图形和/或文字信息的操作指令。

12.一种视频会议方法，其特征在于包括：

获取当前会议现场的环境信息和/或音频信息，以及指示视频会议画面内容的数据信息；

根据所述环境信息和/或所述音频信息，生成控制信息；

根据所述控制信息和所述数据信息，分别投影多个视频会议画面，其中，所述控制信息用于指示所述多个视频会议画面中部分或全部视频会议画面投影显示的位置和/或大小。

13.根据权利要求12所述的视频会议方法，其特征在于，所述方法还包括：应用空中成像技术形成所述多个视频会议画面。