CN107948577A - 一种全景视讯会议的方法及其系统 - Google Patents

Abstract

一种全景视讯会议方法及其系统，该全景视讯会议方法包括获取音视频信息、得到声源定位信息和图像定位信息、确定定位图像的步骤，使得发言人的定位图像直接从全景视频信息中自动获得，并利用实现发言人的图像在显示器上自动切换的功能。该全景视讯会议系统由于采用了全景拍摄模块，可快速获得会议现场的全景图像，避免了多台摄像机共同拍摄的现象，此外，还采用了语音拾取模块，使得获取声源定位信息成为可能，进而结合全景视讯会议方法得到发言人的定位图像，该系统增强了远程与会人员与会议现场发言人之间的互动效果。

Description

一种全景视讯会议的方法及其系统

技术领域

本发明涉及视频通信技术，具体涉及一种全景视讯会议的方法及其系统。

背景技术

随着摄像机和网络技术的发展，使得远程实时视频会议成为可能，现有视讯会议系统支持音频和视频的同步传输功能，可将会议现场的音视频信号发送至远离会议现场的音视频播放器上，从而帮助远程与会人员参与或旁听会议。以往的视讯会议多采用单幅图像的平铺显示方式，这种方式的视频没有景深效果，而且难以获得发言人的近距离正面图像，使得视讯会议的实时互动效果大打折扣。为使得视讯会议现场能够进行全景显示，往往需要多台摄像机进行不同角度的拍摄，同时，将所拍摄的图像在视频显示器上进行切换显示，或者采用一台或多台摄像机聚焦发言人进行特定画面显示。采用多台摄像机切换或特定显示时，虽然达到了全景视讯的效果，但是这种方式需要多台摄像机和专门的操作人员来完成，大大增加了视讯会议的成本和复杂度，而且，显示器上的视讯图像与摄像机的拍摄位置有关，不利于视讯图像的自动切换操作，使得全景视讯会议的体验感大大降低。

发明内容

本发明主要解决的技术问题是如何实现全景视讯会议图像的自动切换操作功能。为解决上述问题，本发明提供了一种全景视讯会议方法，所述方法包括以下步骤：

获取会议现场的全景视频信息，并同步获取会议现场的音频信息；根据所述音频信息得到声源定位信息；根据所述声源定位信息得到在全景视频信息中的图像定位信息；根据所述图像定位信息匹配出定位图像；将所述定位图像投送至显示器。

为实现上述全景视讯会议方法，本发明还提供了一种全景视讯会议系统，所述系统包括：全景拍摄模块、语音拾取模块、音视频发送模块、音视频接收模块、视频显示控制模块和音视频播放模块。

所述全景拍摄模块与所述音视频发送模块通信连接，用于采集全景视频信息；所述语音拾取模块与所述音视频发送模块通信连接，用于采集音频信息，以及获取声源定位信息；所述音视频发送模块和音视频接收模块通信连接，两者分别用于发送、接收音视频信息；所述视频显示控制模块与音视频接收模块通信连接，用于匹配所述音频信息和所述全景视频信息，并控制所述音视频播放模块播放视频和声音。

依据上述实施例的全景视讯会议方法，结合声源定位技术获得发言人(声源)在全景图像中的定位画面，利于自动获取发言人(声源)的定位图像。此外，上述实施例的全景视讯会议系统，由于采用了全景拍摄模块，可快速获得会议现场的全景图像，避免了多台摄像机共同拍摄的现象，而且，还采用了语音拾取模块，使得获取声源定位信息成为可能，进而利用声源定位信息得到发言人在全景视频图像中的定位图像，从而使得定位图像可在显示器上进行自动播放，增强了远程与会人员与视讯会议现场发言人之间的互动效果。

附图说明

图1为全景视讯会议方法的流程示意图；

图2为全景视讯会议系统的结构示意图；

图3为功能模块在视讯会议现场的的分布示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

实施例一、全景视讯会议方法，如图1所述。

所述方法包括以下步骤：

101、获取全景视频信息和音频信息。

全景视频信息是指360度会议现场图像的信息，该信息可由某种全景视频采集设备得到。360度图像可以是以点为中心向四周看的视觉图像，也可以是从四周向中心点看的视觉图像，这些视觉图像中往往包括了四周所有的景物画面，而画面中的景物又是以一点为中心的分布状态，使得这些景物在图像中呈现一定的分布规律，如果在图像的中心点处建立一个坐标系，那么，每个景物相对中心点都存在一个旋转角度。因此，全景视频信息包括一局部图像相对于会议现场中心的图像角度值(该图像角度值可由全景图像相对于初始拍摄位置的转动角度确定)，如图像中的一个与会者相对于图像中心和图像拍摄起始位置处存在一个夹角。

音频信息为声源的发声信息，该信息可由某种声音采集设备得到。为实现视频和声音的同步传输能力，采集视频信息时，应同步采集音频信息。

在本实施例中，获取全景视频信息和音频信息的过程是指某一功能部件获取视频和音频数据流的过程。

102、根据所述音频信息得到声源定位信息。

由于声源的方位不同，声音采集设备采集到声音的时间和强度就会存在差别，在声源采集设备的位置处建立坐标系时，通过这种差别就可以得到得声源的角度值或者坐标值。因此，可使用多个声音采集设备置于声源的周围以采集多路音频信息，声音达到不同声音采集设备时存在相同或不同的延时时长，比较各个延时时长可计算得到相对于到多个声音采集设备几何中心位置的声源定位信息，该声源定位信息是主要是指声源角度值。

在本实施例中，由于声音和声源位置可以是连续变化的，所以，为实现声源定位信息和音频信息的一一匹配功能，将音频信息和声源定位信息进行数据打包处理，既保证了两者之间的匹配效果，又减少了信息传输的容量(或者数据带宽)。

在本实施例中，从音频信息中得到声源定位信息是指从音频数据流中得到声源定位信息的过程。

103、根据所述声源定位信息得到在全景视频信息中的图像定位信息。

当全景图像的中心和声音采集设备的几何中心在同一个位置时，或者两者存在明确的位置关系时，根据声源角度值可以得到相对应的图像角度值，即根据声源定位信息可得到图像定位信息。

104、根据所述图像定位信息匹配出定位图像。

由于图像定位信息中有一确定的图像角度值，因此，可在360度会议现场图像中得到该图像角度值对应的图像，截取该图像角度值在内的一段角度内的图像就可得到定位图像。

105、将所述定位图像投送至显示器。

定位图像是会议现场的一个局部画面，即声源位置的画面，因此，将定位图像投送至显示器上进行显示时，显示的画面为发言人的特写画面。

在本实施例中，为简化步骤的执行主体，步骤101至105在某一功能模块上进行实现。

在另一个实施例中，全景视频信息(不包括图像定位信息)和图像定位信息可以采用不同的数据流或者数据传输通道进行传输，只要处理视频信息的功能部件能够从不同数据流或者不同数据传输通道中获取这些信息即可。同样，音频信息(不包括声源定位信息)和声源定位信息可以采用不同的数据流或者数据传输通道进行传输，只要处理音频信息的功能部件能够获取这些信息即可。

实施例二、一种全景视讯会议系统，如图2所示。

该全景视讯会议系统包括：全景拍摄模块201、语音拾取模块202、音视频发送模块203、音视频接收模块204、视频显示控制模块205和音视频播放模块206。

在本实施例中，全景拍摄模块201为具有多个镜头的全景相机，镜头分布在全景相机的多个面上，每个镜头都具有广角拍摄角度，各个镜头的广角拍摄角度之和等于或大于360度，所有镜头拍摄的图像可组成全景相机四周的全景图像，为区别局部图像在全景图像的拍摄角度，该全景图像往往具有指定的拍摄开始角度，而且，该角度信息往往合成与全景图像信息中。见图3，全景拍摄模块201置于会议现场的中心位置，为便于得到与会者的正面图像，该全景拍摄模块201的安装高度适应于与会者的坐姿高度。全景拍摄模块201连续摄影会议现场时，可形成连续帧全景图像，即形成了全景视频信息。

在本实施例中，至少有三个语音拾取模块202，优选地使用四个，这些语音识别模块分布在视讯会议现场的四周，见图3。为便于设置语音识别模块202和全景拍摄模块201的位置关系，将四个语音识别模块202的几何中心置于全景拍摄模块201对应的垂线上，或者该几何中心靠近全景拍摄模块201。每个语音识别模块202可采集一路音频信息，根据多路所述音频信息的延时时长比较得到声源定位信息，该声源定位信息是发言人(声源)相对于几何中心位置的角度值。

见图2，全景拍摄模块201与音视频发送模块202通信连接，该全景拍摄模块201用于采集全景视频信息(包括360度会议现场图像和图像定位信息)，该全景视频信息形成数字流并传输到音视频发送模块。语音拾取模块202与音视频发送模块203通信连接，用于采集音频信息，该语音拾取模块202利用采集到的音频信息得到声源定位信息，并将音频信息和声源定位信息合成数字流传输到音视频发送模块。音视频发送模块203和音视频接收模块204通信连接，两者分别用于发送、接收音视频信息对应的数字流，而且，两者的通信方式可以是互联网、广播、数字电视、蜂窝网络等通信手段。视频显示控制模块205与音视频接收模块204通信连接，接收来自音视频接收模块204的全景视频信息和音频信息，该视频显示控制模块205匹配所述音频信息和所述全景视频信息以得到发言人(声源)的定位图像，具体实现过程参考实施例一中的步骤101至步骤104，这里不再一一说明。视频显示控制模块205将获得的定位图像投送至与通信连接的音视频播放模块206。音视频播放模块206包括用于显示图像显示器和用于播放声音的喇叭，该音视频播放模块206还应满足图像和声音的同步播放的功能。为增强与会人面对音视频播放模块206时的互动体验感，定位图像可以显示于显示器的中央位置，而360度会议现场图像可以以背景或者小窗口的形式显示在显示器上，而且，该显示器上还可以以小窗口的方式显示本地视讯会议现场的图像。图像在音视频播放模块206的显示器上的显示方式可以根据用户需求而自由设置，具体的设置过程和设置结果不做限制。

在本实施例中，各个功能模块之间的通信连接方式可以是数字串行或并行的数据通信形式，也可以是有线或无线的通信形式，具体的通信连接方式不做限制。

在另一个实时例中，全景拍摄模块206可以是分布在视讯会议现场四周的一个或多个摄像机组成的拍摄系统。当该拍摄系统只有一个摄像机时，那么该摄像机应具有沿会议现场四周循环移动的能力，所拍摄的图像能够组成四周向中心看的视觉图像。当该拍摄系统为多个摄像机时，多个摄像机应呈环形固定分布于四周，所拍摄的图像能够组成四周向中心看的视觉图像。

在另一个实施例中，根据语音拾取模块202得到语音定位信息的过程发生在视频显示控制模块205，语音拾取模块202仅传输音频信息和多路音频信息的延时时长至视频显示控制模块205，而视频显示控制模块205根据多路音频信息的延时时长计算出声源定位信息。

在另一个实施例中，采用具有语音识别定位功能的设备代替语音拾取模块202，该具有语音识别定位功能的设备可以是单个设备，也可以放置于视讯会议现场的任何位置，只要能够实现声源的定位功能即可。采用这种设备时可以减少实施例二中所述的多个语音拾取模块202设置于特定位置所带来的操作复杂性。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种全景视讯会议方法，其特征在于，包括：

获取会议现场的全景视频信息，并同步获取会议现场的音频信息；

根据所述音频信息得到声源定位信息；

根据所述声源定位信息得到在全景视频信息中的图像定位信息；

根据所述图像定位信息匹配出定位图像；

将所述定位图像投送至显示器。

2.如权利要求1所述的全景视讯会议方法，其特征在于，所述声源定位信息由多路所述音频信息比较得到。

3.如权利要求2所述的全景视讯会议方法，其特征在于，所述声源定位信息包括声源相对于会议现场中心的声源角度值。

4.如权利要求3所述的全景视讯会议方法，其特征在于，所述全景视频信息包括图像相对于会议现场中心的图像角度值。

5.如权利要求4所述的全景视讯会议方法，其特征在于，所述图像定位信息由所述声源角度值和所述图像角度值的比较结果得到。

6.如权利要求5所述的全景视讯会议方法，其特征在于，所述定位图像为声源位置的画面。

7.一种全景视讯会议系统，其特征在于，包括全景拍摄模块、语音拾取模块、音视频发送模块、音视频接收模块、视频显示控制模块和音视频播放模块；

所述全景拍摄模块与所述音视频发送模块通信连接，用于采集全景视频信息；

所述语音拾取模块与所述音视频发送模块通信连接，用于采集音频，以及获取声源定位信息；

所述音视频发送模块和音视频接收模块通信连接，两者分别用于发送、接收音视频信息；

所述视频显示控制模块与音视频接收模块通信连接，用于匹配所述音频信息和所述全景视频信息，并控制所述音视频播放模块播放视频和声音。

8.如权利要求6所述的全景视讯会议系统，其特征在于，所述全景拍摄模块置于会议现场中心位置，且有多个摄像头，所述摄像头拍摄的画面组合成360度会议现场图像。

9.如权利要求7所述的全景视讯会议系统，其特征在于，所述语音拾取模块有多个，每个语音拾取模块采集一路音频信息，该语音拾取模块根据多路所述音频信息的延时时长比较得到声源定位信息。

10.如权利要求9所述的全景视讯会议系统，其特征在于，所述视频显示控制模块具有图像定位信息获取功能，该功能用于从所述全景视频信息中获取声源的定位图像。