CN114567747A - 一种会议数据传输方法及会议系统 - Google Patents

一种会议数据传输方法及会议系统 Download PDF

Info

Publication number
CN114567747A
CN114567747A CN202011358057.0A CN202011358057A CN114567747A CN 114567747 A CN114567747 A CN 114567747A CN 202011358057 A CN202011358057 A CN 202011358057A CN 114567747 A CN114567747 A CN 114567747A
Authority
CN
China
Prior art keywords
client
data
conference
identity
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011358057.0A
Other languages
English (en)
Inventor
吕明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feinno Communication Technology Co Ltd
Original Assignee
Beijing Feinno Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feinno Communication Technology Co Ltd filed Critical Beijing Feinno Communication Technology Co Ltd
Priority to CN202011358057.0A priority Critical patent/CN114567747A/zh
Publication of CN114567747A publication Critical patent/CN114567747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种会议数据传输方法及会议系统,在会议系统中,用户控制平台根据预存的用户权限来管控第一客户端以及第二客户端的数量,进而管控传输会议数据所占用的网络带宽。媒体云服务器向各第一客户端和目标CDN发送会议数据,其中,第一客户端可以直接展示接收到的会议数据,各第二客户端可以从目标CDN中获取到会议数据,这样,第二客户端也可以旁听会议数据。同时,第二客户端获取会议数据的方式不占用第一客户端与媒体云服务器之间通信网络的带宽资源,因此,可以支持更多的第二客户端进行会议旁听,从而实现千人级别参与会议的效果。

Description

一种会议数据传输方法及会议系统
技术领域
本申请涉及通信技术领域,尤其涉及一种会议数据传输方法及会议系统。
背景技术
在工作中,经常会需要多个用户同时参与网络会议,以交换彼此的信息,此时,需要参与会议的各用户实时上传自己的音频和视频数据至媒体云服务器,再由媒体云服务器对各用户上传的音频和视频数据进行处理,并将处理后的数据发送至参与会议的其他用户,这样就实现了参与会议的各个用户之间的发言数据传输。
但是,这种由用户实时上传音频和视频数据再由云端服务器分发至其他用户的会议数据传输方法,一旦参与会议的用户与媒体云服务器之间建立了数据传输通道,该数据传输通道就会持续占用会议网络的带宽。由于会议网络的总可用带宽有限,因此,需要对参与会与的用户的数量严格加以限制,以保证声音、画面的流畅,即无法实现千人级别共同参与会议的效果。
发明内容
本申请提供了一种会议数据传输方法及会议系统,以有效增加参与会议的用户数量。
第一方面,本申请提供了一种会议数据传输方法,应用于用户控制平台,所述方法包括:
通过信令通道接收客户端发送的接入会议请求,根据预存的用户权限判断所述客户端的类别;
若所述客户端为第一客户端,则为所述客户端连接数据传输通道,以使所述客户端通过所述数据传输通道接收媒体云服务器发送的会议数据,并在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器,所述会议数据为经过所述媒体云服务器处理后的发言数据;
若所述客户端为第二客户端,则为所述客户端发送会议对应的拉流地址,以使所述客户端根据所述拉流地址,从目标CDN拉流所述会议数据以旁听会议。
可选的,所述在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器包括:
检测所述发言数据的分贝值是否符合预设分贝阈值;
若所述发言数据的分贝值大于或者等于所述预设分贝阈值,则通过所述数据传输通道将所述发言数据传输至所述媒体云服务器。
可选的,所述在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器还包括:
若所述发言数据的分贝值小于所述预设分贝阈值,则通过声音激励技术提高所述发言数据的分贝值,以使激励后的分贝值大于或者等于所述预设分贝阈值。
可选的,所述预设发言规则为所述客户端对应的用户身份符合预设用户身份、所述客户端对应的用户身份权重符合预设用户身份权重、所述客户端对应的用户身份符合主持人对发言用户的管控策略中一种或者几种的组合,其中,所述主持人具有用户发言管理权限。
可选的,所述方法还包括:
通过所述信令通道接收待切换客户端发送的身份切换请求,所述待切换客户端为第一客户端;
根据预存的用户权限判断所述待切换客户端是否符合预设身份切换条件;
若所述待切换客户端符合所述预设身份切换条件,则生成身份切换指令,并通过所述信令通道将所述身份切换指令发送至所述待切换客户端,以使所述待切换客户端切换至目标身份,所述目标身份包括第二客户端和离场身份。
可选的,所述方法还包括:
通过所述信令通道接收待切换客户端发送的身份切换请求;
根据预存的用户权限判断所述待切换客户端是否符合预设身份切换条件;
如果所述待切换客户端符合所述预设身份切换条件,则生成身份切换指令,并通过所述信令通道将所述身份切换指令发送至所述待切换客户端,以使所述待切换客户端切换至目标身份,所述目标身份包括第一客户端和离场身份。
可选的,所述预设身份切换条件包括切换后客户端类型所对应的总客户端数量小于或者等于预设数量阈值、所述待切换客户端对应的用户身份符合预设用户身份、所述待切换客户端对应的用户身份权重符合预设用户身份权重、或者所述待切换客户端对应的用户身份符合主持人对用户身份的管控策略中一种或者几种的组合,其中,所述主持人具有用户身份管理权限。
可选的,所述方法还包括:所述用户控制平台与所述第一客户端和所述第二客户端之间采用MQTT协议在所述信令通道传输指令。
可选的,所述会议数据通过RTMP实时推送到目标CDN,以使所述第二客户端从所述目标CDN获取所述会议数据。
第二方面,本申请提供了一种会议系统,所述会议系统包括:用户控制平台、多个客户端、媒体云服务器和目标CDN;
所述用户控制平台用于通过信令通道接收客户端发送的接入会议请求,根据预存的用户权限判断所述客户端的类别;
若所述客户端为第一客户端,则为所述客户端连接数据传输通道,以使所述客户端通过所述数据传输通道接收云端服务器发送的会议数据,并在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述云端服务器,所述会议数据为经过所述媒体云服务器处理后的发言数据;
若所述客户端为第二客户端,则为所述客户端发送会议对应的拉流地址,以使所述客户端根据所述拉流地址,从目标CDN拉流所述会议数据以旁听会议;
所述媒体云服务器用于接收所述第一客户端通过所述数据传输通道上传的发言数据,并进行音视频同步处理,处理得到的会议数据通过数据通道分别发送至各个第一客户端,并通过RTMP协议实时推送到所述目标CDN;
所述目标CDN用于接收所述媒体云服务器推送的会议数据,以使各个第二客户端从所述目标CDN拉流旁听。
由以上技术可知,本申请提供了一种会议数据传输方法及会议系统,在会议系统中,用户控制平台根据预存的用户权限来管控第一客户端以及第二客户端的数量,进而管控传输发言数据所占用的网络带宽。媒体云服务器向各第一客户端和目标CDN发送会议数据,其中,第一客户端可以直接展示接收到的会议数据,各第二客户端可以从目标CDN中获取到会议数据,这样,第二客户端也可以旁听会议数据。同时,第二客户端获取会议数据的方式不占用第一客户端与媒体云服务器之间通信网络的带宽资源,因此,可以支持更多的第二客户端进行会议旁听,从而实现千人级别参与会议的效果。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种会议系统的结构示意图;
图2为本申请实施例提供的一种会议数据传输方法的流程示意图;
图3为本申请实施例提供的一种确定目标第一客户端的流程示意图;
图4为本申请实施例提供的一种第一客户端上传发言数据的流程示意图;
图5为本申请实施例提供的一种处理发言数据的流程示意图;
图6为本申请实施例提供的一种确定目标第二客户端的流程示意图;
图7为本申请实施例提供的一种确定展示界面数据的流程示意图;
图8为本申请实施例提供的一种第一客户端切换身份的流程示意图;
图9为本申请实施例提供的一种客户端切换身份的流程示意图。
图示说明:
其中,1-用户控制平台,2-第一客户端,3-媒体云服务器,4-目标CDN,5-第二客户端。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种会议系统的结构示意图,如图1所示,会议系统包括用户控制平台1、第一客户端2、媒体云服务器3、目标CDN4和第二客户端5。其中,用户控制平台1可以是服务器、计算平台、计算机等具有信令收发、信令处理功能、数据处理功能的设备;参与用户是指加入目标会议,且具有发言数据上传和接收会议数据两项权限的用户,目标会议是指参与用户所加入的会议,第一客户端2和第二客户端5可以是手机、计算机、平板电脑、虚拟现实设备等具有信令收发、数据收发、数据处理功能的设备,同时,由于后续第一客户端2与第二客户端5之间可以进行身份切换,因此,第一与第二的描述仅用于区分客户端在一定条件下所对应的身份,不用于限制客户端的数量以及客户端的具体功能;媒体云服务器3可以是服务器、计算机、计算平台等具有数据收发功能、数据处理功能的设备;目标CDN4为具有数据收发和数据存储功能的虚拟网络,且本实施例中的目标CDN4是指对应于目标会议的CDN。
图2为本申请实施例提供的一种会议数据传输方法的流程示意图,如图2所示,具体过程如下:
S101、通过信令通道接收客户端发送的接入会议请求,根据预存的用户权限判断所述客户端的类别。
可以将会议系统中会议数据传输分为两部分,即针对第一客户端2的会议数据传输,以及针对第二客户端5的会议数据传输,现针对第一客户端2的会议数据传输过程进行描述。
用户控制平台1中设有登录注册中心(register),用户在加入会议之前,需要通过客户端在用户控制平台1中注册个人信息,例如,用户通过客户端向用户控制平台1发送注册信息,该注册信息可以包括:用户的用户信息、用户账户、用户密码、目标会议信息、设备标识等,这样,用户控制平台1在接收到注册信息之后通过内部设置的鉴权中心(auth)对各用户的身份进行审查,并在用户的身份合法时,确定该用户具有参与会议的资格。在本申请中参与会议的资格可以指在会议中同时兼具开麦发声和接收会议数据的资格以及在会议中仅具有接收会议数据的资格两种情况,针对用户的不同需求,用户可以通过客户端向用户控制平台1发送相应的请求,在一种情况下,如果用户想要具有开麦资格,则需要通过客户端向用户控制平台1发送第一参会请求,第一参会请求用于申请可以具备在会议中开麦的权利,当用户控制平台1同意这些用户具备在会议中可以具备开麦的权利时,这些用户对应的客户端可以称为第一客户端2(由于用户与客户端之间具有映射关系,为了方便后续表达,直接使用客户端来代替用户),而此时第一客户端2是否真正可以开麦(向云端服务器3发送发言数据),还需要用户控制平台1进一步判断。在另一种情况下,如果用户仅想要具有观看和收听会议的资格,无需开麦,即旁听,则需要通过客户端向用户控制平台1发送第二参会请求,第二参会请求用于申请旁听权利,这些用户对应的客户端可以称为第二客户端5,而此时第二客户端5是否真正可以进行旁听,还需要用户控制平台1进一步判断。需要注意的是,第一客户端2具有参与会议的资格是指第一客户端2当前这些用户仅具备参与会议的资格,即具有开麦(上传发言数据)的权限,但是,在会议中是否可以开麦,还需要用户控制平台1的进一步管控。
图3为本申请实施例提供的一种确定目标第一客户端的流程示意图,如图3所示,所述方法包括:
S201、所述用户控制平台通过所述信令通道接收所述第一客户端发送的发言请求;
S202、所述用户控制平台判断所述第一客户端是否符合预设发言规则;
S203、如果所述第一客户端符合所述预设发言规则,则将所述第一客户端确定为目标第一客户端,并生成发言数据上传指令,其中,所述发言数据上传指令包括所述目标第一客户端对应的设备标识。
对于第一客户端2,在会议开始前,各个第一客户端2可以通过信令通道向用户控制平台1发送发言请求,以申请在会议中上传发言数据的资格,发言请求可以包括设备标识,还可以包括用户信息等。此时,用户控制平台1可以通过内部设置的会议会控管理中心(conference)对第一客户端2进行审核。用户控制平台1可以预先设定一些发言规则,以防发言人数过多,而造成的带宽资源占用压力。
在一种实现方式中,如果带宽资源足够丰富,且不会影响会议视听质量(如:多人同时说话),那么用户控制平台1可以将全部第一客户端2设定为目标第一客户端,其中,目标第一客户端是指在会议中真正上传发言数据至媒体云服务器3的第一客户端。
在一种实现方式中,如果带宽资源比较紧张,无法供给过多数量的第一客户端上传发言数据,或者过多数量的第一客户端同时展示的发言数据会对彼此造成干扰(如:多人同时讲话,扰乱视听)等情况,就需要用户控制平台1根据预设发言规则来确定目标第一客户端,进而减轻带宽压力、保证会议质量。例如,用户控制平台1同时接收到多个第一客户端1发送的发言请求,如同时接收到10个第一客户端1发送的发言请求。如果用户控制平台1设定的预设发言人数为4,则需要从上述10个第一客户端1中选择4个作为目标第一客户端,从而控制目标第一客户端上传发言数据所占用的带宽资源。
预设发言规则可以预设发言规则为所述客户端对应的用户身份符合预设用户身份、所述客户端对应的用户身份权重符合预设用户身份权重、所述客户端对应的用户身份符合主持人对发言用户的管控策略中一种或者几种的组合,其中,所述主持人具有用户发言管理权限。
具体地,针对所述预设发言规则为第一客户端对应的用户身份符合预设发言用户的用户身份。由于会议中通常需要一些具有特殊身份的用户发言,例如,嘉宾、主持人等,为了防止由于确定了目标第一客户端之后,具有特殊身份的用户进入会议,而此时发言人数达到上限,而无法发言等情况,用户控制中心1可以采取预留规则,即仅开放一定的发言人数,允许普通身份的用户(不具有上述特殊身份的待发言参与用户)发言,但是当普通身份的用户的发言人数达到开放的发言人数时,则禁止更多的普通身份的用户发言。此时,就可以直接指定具有特殊身份的用户发言。例如,预设发言人数为4人,根据预留规则,设定开放的发言人数为2人,则允许普通身份的用户发言的人数最多为2人,当发言的普通身份的用户的人数达到2人时,则禁止其他普通身份的用户发言,此时,可以直接指定具有特殊身份的用户发言。
针对所述预设发言规则为第一客户端1对应用户的身份权重符合所述用户控制平台1的预设发言用户的身份权重。用户控制平台1陆续接收第一客户端1发送的发言请求,当用户控制平台1接收到发言请求的数量大于剩余发言人数量时,则识别所述发言请求对应的用户的身份权重,确定较高身份权重对应的第一客户端1为目标第一客户端。其中,身份权重可以根据预设维度进行计算,例如是否为会员、是否为会议特殊邀请、是否存在不良记录等。例如,预设发言人数量为4人,现已经确定的发言人数量为2人,则剩余发言人数量为2人。现有10个发言请求,则获取该10个发言请求对应的用户的身份权重,例如,10个用户的身份权重分别为85、60、80、90、91、92、70、74、78、80,则可以确定身份权重为91和92的用户所对应的第一客户端1为目标第一客户端。
在一种实现方式中,所述预设发言条件为所述待发言参与用户对应的用户信息符合主持人管控策略,所述主持人为具有用户管理权限的参与用户,所述主持人管控策略为所述主持人设定的用户权限。会议中会存在具有管理权限的参与用户,可以称为主持人,如图1中所示的黑色人物,主持人具有一定的用户管理权限,例如,控制用户上麦(可以上传发言数据)、下麦(禁止上传发言数据)等,当用户控制平台1接收到发言数据上传请求之后,识别发言数据上传请求中用户信息是否与主持人管控策略冲突,确定不冲突的用户标识所对应的发言数据上传请求为目标发言数据上传请求。例如,主持人管控策略为禁止普通参与用户上麦,则用户控制平台1会针对全部发言数据上传请求生成禁止上传发言数据指令;主持人管控策略为禁止身份权重低于90的待发言参与用户上传发言数据,如果发言数据上传请求对应的待发言参与用户的身份权重为80,则生成禁止上传发言数据指令,如果发言数据上传请求对应的待发言参与用户的身份权重为95,则该发言数据上传请求为目标发言数据上传请求。
针对所述预设发言规则为第一客户端1对应的用户身份符合主持人的管控策略。所述主持人为具有用户管理权限的第一客户端1,其中,所述主持人管控策略为所述主持人设定的用户权限。会议中通常存在具有管理权限的用户,可以称为主持人,如图1中所示的黑色人物,主持人具有一定的用户管理权限,例如,控制用户上麦(可以上传发言数据)、下麦(禁止上传发言数据)等,当用户控制平台1接收到发言请求之后,识别发言请求是否与主持人管控策略冲突,确定不冲突的发言请求对应的第一客户端1为目标第一客户端。例如,主持人管控策略为禁止普通身份的用户上麦,则用户控制平台1会针对全部普通身份的用户对应的第一客户端成为目标第一客户端;主持人管控策略为禁止身份权重低于90的用户上传发言数据,如果发言请求对应的用户的身份权重为80,则生成禁止发言指令,如果发言请求对应的用户的身份权重为95,则该发言请求对应的第一客户端1为目标第一客户端。
预设发言规则还可以当前发言人数量小于预设发言人数量。用户控制平台1获取当前目标第一客户端的数量,如果所述当前目标第一客户端的数量达到预设发言人数量,则用户控制平台1对后续接收到的发言请求生成禁止发言指令,或者等待发言指令等,从而避免过多目标第一客户端同时占用带宽资源。例如,用户控制平台1的预设发言人数量为4,用户控制平台1在接收到10个发言请求时,当前目标第一客户端的数量已经为4个,则用户控制平台1需要针对这10个发言请求生成禁止发言指令或者等待发言指令。
当然,还可以根据各种实际情况设定相应的预设发言规则,此处不一一列举。这些预设发言规则可以单独或者以组合的形式使用,在以组合的形式使用时,可以根据需要为各个预设发言规则设定优先权,例如,主持人的管控策略优先于用户管理平台1设定的其它发言规则等。
进一步地,第一客户端1也可以在会议进行中随时向用户控制平台1发送发言请求,发言请求的节点可以为第一客户端1采集到用户的音频数据,或者采集到用户下发的指令等,此时,用户控制平台1需要按照上述过程判断这些第一客户端1是否可以成为目标第一客户端,进而实现对会议系统的动态调控。
可见,通过用户控制平台1以及主持人的协同管控,可以有效控制目标第一客户端的数量,从而控制上传发言数据所占用的带宽资源,同时,还能够有效管控发言的用户的身份,满足对发言人员的身份要求。
S102、若所述客户端为第一客户端,则为所述客户端连接数据传输通道,以使所述客户端通过所述数据传输通道接收媒体云服务器发送的发言数据,并在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器。
具体地,图4为本申请实施例提供的一种第一客户端上传发言数据的流程示意图,如图4所示,所述方法包括:
S301、所述第一客户端通过拾音技术采集用户的音频数据;
S302、当所述音频数据存在时,所述第一客户端采集所述用户的视频数据;
S303、所述第一客户端通过所述数据传输通道将发言数据传输至所述媒体云服务器,所述发言数据包括所述音频数据和所述视频数据。
发言数据通常包括音频数据和视频数据,通常认为发言数据中的音频数据比较重要,认为只有产生了音频数据,才会触发第一客户端继续采集视频数据。第一客户端采用音频拾音技术来采集用户的音频数据,只有当第一客户端采集到了音频数据,第一客户端继续采集用户的视频数据。这样,就可以避免直接采集数据量过大的视频数据进行上传,而无音频数据所造成的会议数据无效、且浪费较多带宽资源的问题,当第一客户端采集到音频数据和视频数据之后,将音频数据和视频数据打包作为发言数据通过数据传输通道传输至媒体云服务器3。
为了保证发言数据的质量,需要对上传的发言数据进行筛选,即只有满足预设发言规则的客户端,才能够上传其发言数据,具体如下:
用户控制平台1接收各第一客户端2发送的发言数据,并检测这些发言数据的分贝值是否符合预设分贝阈值,只有当发言数据的分贝值大于或者等于预设分贝阈值时,才允许第一客户端2继续通过数据传输通道将发言数据上传至媒体云服务器3。
为了进一步提高发言数据的质量,当所述音频数据对应的分贝值小于预设分贝阈值,则通过声音激励技术提高所述音频数据对应的分贝值,以使激励后的音频数据的分贝值大于或者等于所述预设分贝阈值,然后继续通过数据传输通道将激励后的音频数据上传至媒体云服务器3。
例如,当第一客户端2检测到参与用户的声音质量比较差,比如音量较小、音色较差、声音空间感较差等,此时,可以采用声音激励技术,通过追踪所检测到的声源,对音频数据进行适当的优化,以提高声音质量。此时,再对优化后的音频数据进行上传,这样,就能够有效提高音频数据的质量。
更进一步地,在第一客户端采集用户的音频数据时,需要对用户的音频数据进行去杂处理,例如设定更加细化的分贝阈值,如第一分贝值和第二分贝值,当采集到的音频数据小于第一分贝值时,说明该音频数据不是人声,可能是翻书等更加细小的音频数据,为杂音,需要去除,当音频数据大于或者等于第一分贝值时,音频数据才有可能是人声,此时,需要对采集到的音频数据进行进一步处理,由于第一分贝值小于第二分贝值,当音频数据介于第一分贝值与第二分贝值之间时,说明音量较小,此时,需要通过声音激励技术来提高音频数据的分贝值。实际应用中,可以适用其它去杂手段,此处不加以限制。
S103、若所述客户端为第二客户端,则为所述客户端发送会议对应的拉流地址,以使所述客户端根据所述拉流地址,从目标CDN拉流会议数据以旁听会议。
媒体云服务器3接收到第一客户端发送的发言数据之后,如果发言数据仅包括音频数据,则媒体云服务器3可以直接将音频数据作为会议数据向各第一客户端1和目标CDN4发送;如果发言数据同时包括音频数据和视频数据,则媒体云服务器3需要对发言数据进行音视频同步处理后,得到会议数据后再进行分发。图5为本申请实施例提供的一种处理发言数据的流程示意图,如图5所示,所述方法包括:
S401、媒体云服务器识别每一份发言数据中携带的设备标识;
S402、媒体云服务器获取目标发言数据,所述发言会议数据包括具有同一个设备标识的音频数据和视频数据;
S403、媒体云服务器对所述目标发言数据中的音频数据和视频数据进行同步合成处理,得到会议数据。
每一份发言数据均携带对应的设备标识,这样可以有效区分不同第一客户端上传的会议数据,避免不同的发言数据之间的混淆和干扰。媒体云服务器3对接收到的每一份发言数据均进行上述合成处理,这样可以得到音画同步的会议数据,从而保证会议数据的展示效果。
媒体云服务器3将会议数据下发至各个第一客户端2以及目标CDN4。
媒体云服务器3可以将会议数据推流至目标CDN4,目标CDN4是构建在会议对应的网络之上的智能虚拟网络,目标CDN4可以依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取发言数据,可以有效降低网络拥堵,从而提高用户访问响应速度和体验,尤其适用于需要从不同地方不同网络拉取大量流媒体数据的使用场景。通常,媒体云服务器3通过RTMP协议将待展示会议数据实时推流至目标CDN4。
针对第二客户端5的数据传输部分,由上文可知,第二客户端5仅具有获取会议数据的权限,不具有上传发言数据的权限。但是,处于对目标CDN安全性、会议安全性、用户安全性、会议人员容量、会议质量等的考虑,也需要用户控制平台1对第二客户端5进行进一步地筛选,以确定目标第二客户端来真正在会议中获取会议数据。
图6为本申请实施例提供的一种确定目标第二客户端的流程示意图,如图6所示,所述方法包括:
S501、所述用户控制平台通过所述信令通道接收所述第二客户端发送的旁听请求;
S502、所述用户控制平台判断所述第二客户端是否符合预设旁听规则;
S503、如果所述第二客户端符合所述预设旁听规则,则将所述第二客户端确定为目标第二客户端,并生成会议数据获取指令,其中,所述会议数据获取指令包括所述目标CDN的地址。
用户控制平台1可以通过预先设置旁听规则来管控目标第二客户端的数量和质量。例如,预设旁听规则可以为旁听人数禁止超出预设旁听人数,也可以为仅允许预设用户身份、预设身份权重的用户进行旁听,也可以根据主持人管控策略来控制旁听人数等,具体过程可以参考用户控制平台1管控发言人数的过程,此处不再赘述。如果用户控制平台1判定第二客户端5符合预设旁听规则,则用户控制平台1将该第二客户端5确定为目标第二客户端,并生成对应的会议数据获取指令。用户控制平台1将通过信令通道将会议数据获取指令发送至对应的目标第二客户端,以供目标第二客户端获取会议数据。
通常,用户控制平台1可以同时控制多个会议,目标第二客户端所需会议数据对应的会议可以称为目标会议,不同会议对应不同的目标CDN,因此,为了目标第二客户端可以准确获取所需的会议数据,同样也是为了避免会议数据向外泄露,会议数据获取指令中会带有目标CDN的地址,这样,目标第二客户端就可以根据目标CDN的地址从对应的目标CDN准确获取所需的会议数据。
本申请实施例可以通过目标CDN4大量增加可以获得会议数据的人数,而不会占用会议所在网络的带宽资源,从而保证会议数据在会议所在网络中的传输质量。
第一客户端与目标第二客户端获得会议数据之后,需要进行相应的展示,如图7所示,以第一客户端为例进行阐述:
S601、第一客户端获取会议数据中的设备标识;
S602、第一客户端根据所述设备标识从各会议数据中确定目标会议数据,所述目标会议数据为最终展示于第一客户端上的会议数据;
S603、第一客户端根据所述目标会议数据的份数,设定展示界面中子界面的数量,所述子界面用于展示每一份目标会议数据;
S604、第一客户端在各所述子界面上展示对应的目标会议数据。
第一客户端2会接收到多份会议数据,用户可以选择同时展示全部会议数据,也可以根据自己的实际需要展示部分会议数据。例如,一共有4份会议数据,如果用户选择展示全部会议数据,则目标会议数据一共有4份,对应的,需要设定展示界面中子界面的数量为4,例如4宫格,并在每一个子界面中展示对应的目标会议数据。如果用户仅选择展示部分会议数据,例如只展示领导和嘉宾这两份会议数据,那么,就可以通过识别会议数据中携带的设备标识来确定会议数据所对应的用户身份,其中,领导和嘉宾对应的会议数据即为目标会议数据,可见,目标会议数据的数量为2,那么展示界面中子界面的数量也应该为2。当然,目标会议数据可以根据用户的需要自行设定,此处不再赘述其它情况。
媒体云服务器3推流至目标CDN4的会议数据可以为已经完成设定的展示界面数据,例如与主持人的展示界面相同,此时,目标第二客户端从目标CDN4中获取的会议数据即为可以直接使用的展示界面数据,无需在目标第二客户端中自行处理生成展示界面数据。媒体云服务器3推流至目标CDN4的会议数据也可以为多个目标第一客户端对应的会议数据,并未形成对应的展示界面数据,此时,目标第二客户端可以参照如上第一客户端生成展示界面数据的过程生成展示界面数据。
进一步地,本实施例提供的会议系统是一个动态系统,即第一客户端与第二客户端的身份可以根据需要进行调整,具体如下:
图8为本申请实施例提供的一种客户端切换身份的流程示意图,如图8所示,所述方法包括:
S701、通过所述信令通道接收待切换客户端发送的身份切换请求,所述待切换客户端为第一客户端;
S702、根据预存的用户权限判断所述待切换客户端是否符合预设身份切换条件;
S703、若所述待切换客户端符合所述预设身份切换条件,则生成身份切换指令,并通过所述信令通道将所述身份切换指令发送至所述待切换客户端,以使所述待切换客户端切换至目标身份,所述目标身份包括第二客户端和离场身份。
图9为本申请实施例提供的一种客户端切换身份的流程示意图,如图9所示,所述方法包括:
S801、通过所述信令通道接收待切换客户端发送的身份切换请求,所述待切换客户端为第二客户端;
S802、根据预存的用户权限判断所述待切换客户端是否符合预设身份切换条件;
S803、如果所述待切换客户端符合所述预设身份切换条件,则生成身份切换指令,并通过所述信令通道将所述身份切换指令发送至所述待切换客户端,以使所述待切换客户端切换至目标身份,所述目标身份包括第一客户端和离场身份。
待切换客户端包括:第一客户端1和第二客户端5通过信令通道将身份切换请求发送至用户控制平台1。用户控制平台1通过判断待切换客户端是否符合预设身份切换条件,进而生成相应的指令。例如,如果符合预设身份切换条件,则用户控制平台1生成身份切换指令,并通过信令通道将所述身份切换指令发送至对应的待切换客户端,所述待切换客户端就可以根据身份切换指令切换至相应的目标身份,目标身份可以为第二客户端、第一客户端、主持人、离场身份等,例如,第一客户端2切换至第二客户端或者离场身份,第二客户端5切换至第一客户端或者离场身份,甚至第一客户端2和第二客户端5切换至主持人身份。
这样,用户控制平台1就可以动态调整第一客户端2和第二客户端5的身份,以满足用户的实际需求。其中,预设身份切换条件可以根据实际情况设定,其设定规则可以参考预设发言规则和预设旁听规则从,此处将不再赘述。
在本申请实施例中,第一客户端2、第二客户端5与用户控制平台1之间可以采用消息队列遥测传输协议(Message Queuing Telemetry Transport,MQTT)进行信令传输,MQTT是一种低开销、低带宽占用的即时通讯协议,能够满足物联网、小型设备、移动应用等方面的信令传输。当然,第一客户端2和第二客户端5与用户控制平台1之间也支持WebSocket或SocketIO进行信令传输。
用户控制平台1还具有音视频录制模块,支持将会议数据持久化到云服务,这样会议结束之后也可以进行回放。用户控制平台1还具有缓存模块,用户控制平台1采用缓存机制将热点数据缓存到Redis Cluster中,从而可以提高平台响应速度,支持高并发。用户控制平台1还具有DB数据库模块,这样可以将会议数据持久化到MySQL中,便于查询和统计等。用户控制平台1还可以具有其它功能模块,以为会议系统提供不同的功能,可以根据实际需求进行设计,此处不再赘述。
由以上技术可知,本申请提供了一种会议数据传输方法及会议系统,在会议系统中,用户控制平台根据预存的用户权限来管控第一客户端以及第二客户端的数量,进而管控传输发言数据所占用的网络带宽。媒体云服务器向各第一客户端和目标CDN发送会议数据,其中,第一客户端可以直接展示接收到的会议数据,各第二客户端可以从目标CDN中获取到会议数据,这样,第二客户端也可以旁听会议数据。同时,第二客户端获取会议数据的方式不占用第一客户端与媒体云服务器之间通信网络的带宽资源,因此,可以支持更多的第二客户端进行会议旁听,从而实现千人级别参与会议的效果。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种会议数据传输方法,其特征在于,应用于用户控制平台,所述方法包括:
通过信令通道接收客户端发送的接入会议请求,根据预存的用户权限判断所述客户端的类别;
若所述客户端为第一客户端,则为所述客户端连接数据传输通道,以使所述客户端通过所述数据传输通道接收媒体云服务器发送的会议数据,并在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器,所述会议数据为经过所述媒体云服务器处理后的发言数据;
若所述客户端为第二客户端,则为所述客户端发送会议对应的拉流地址,以使所述客户端根据所述拉流地址,从目标CDN拉流所述会议数据以旁听会议。
2.根据权利要求1所述的方法,其特征在于,所述在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器包括:
检测所述发言数据中音频数据的分贝值是否符合预设分贝阈值;
若所述音频数据的分贝值大于或者等于所述预设分贝阈值,则通过所述数据传输通道将所述发言数据传输至所述媒体云服务器。
3.根据权利要求2所述的方法,其特征在于,所述在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述媒体云服务器还包括:
若所述音频数据的分贝值小于所述预设分贝阈值,则通过声音激励技术提高所述音频数据的分贝值,以使激励后的所述音频数据的分贝值大于或者等于所述预设分贝阈值。
4.根据权利要求1所述的方法,其特征在于,所述预设发言规则为所述客户端对应的用户身份符合预设用户身份、所述客户端对应的用户身份权重符合预设用户身份权重、所述客户端对应的用户身份符合主持人对发言用户的管控策略中一种或者几种的组合,其中,所述主持人具有用户发言管理权限。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述信令通道接收待切换客户端发送的身份切换请求,所述待切换客户端为第一客户端;
根据预存的用户权限判断所述待切换客户端是否符合预设身份切换条件;
若所述待切换客户端符合所述预设身份切换条件,则生成身份切换指令,并通过所述信令通道将所述身份切换指令发送至所述待切换客户端,以使所述待切换客户端切换至目标身份,所述目标身份包括第二客户端和离场身份。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述信令通道接收待切换客户端发送的身份切换请求,所述待切换客户端为第二客户端;
根据预存的用户权限判断所述待切换客户端是否符合预设身份切换条件;
如果所述待切换客户端符合所述预设身份切换条件,则生成身份切换指令,并通过所述信令通道将所述身份切换指令发送至所述待切换客户端,以使所述待切换客户端切换至目标身份,所述目标身份包括第一客户端和离场身份。
7.根据权利要求5或6所述的方法,其特征在于,所述预设身份切换条件包括切换后客户端类型所对应的总客户端数量小于或者等于预设数量阈值、所述待切换客户端对应的用户身份符合预设用户身份、所述待切换客户端对应的用户身份权重符合预设用户身份权重、或者所述待切换客户端对应的用户身份符合主持人对用户身份的管控策略中一种或者几种的组合,其中,所述主持人具有用户身份管理权限。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述用户控制平台与所述第一客户端和所述第二客户端之间采用MQTT协议在所述信令通道传输指令。
9.根据权利要求1所述的方法,其特征在于,所述会议数据通过RTMP实时推送到目标CDN,以使所述第二客户端从所述目标CDN获取所述会议数据。
10.一种会议系统,其特征在于,所述会议系统包括:用户控制平台、多个客户端、媒体云服务器和目标CDN;
所述用户控制平台用于通过信令通道接收客户端发送的接入会议请求,根据预存的用户权限判断所述客户端的类别;
若所述客户端为第一客户端,则为所述客户端连接数据传输通道,以使所述客户端通过所述数据传输通道接收云端服务器发送的会议数据,并在所述客户端满足预设发言规则时,通过所述数据传输通道将发言数据传输至所述云端服务器,所述会议数据为经过所述媒体云服务器处理后的发言数据;
若所述客户端为第二客户端,则为所述客户端发送会议对应的拉流地址,以使所述客户端根据所述拉流地址,从目标CDN拉流所述会议数据以旁听会议;
所述媒体云服务器用于接收所述第一客户端通过所述数据传输通道上传的发言数据,并进行音视频同步处理,处理得到的会议数据通过数据通道分别发送至各个第一客户端,并通过RTMP协议实时推送到所述目标CDN;
所述目标CDN用于接收所述媒体云服务器推送的会议数据,以使各个第二客户端从所述目标CDN拉流旁听。
CN202011358057.0A 2020-11-27 2020-11-27 一种会议数据传输方法及会议系统 Pending CN114567747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011358057.0A CN114567747A (zh) 2020-11-27 2020-11-27 一种会议数据传输方法及会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358057.0A CN114567747A (zh) 2020-11-27 2020-11-27 一种会议数据传输方法及会议系统

Publications (1)

Publication Number Publication Date
CN114567747A true CN114567747A (zh) 2022-05-31

Family

ID=81712060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358057.0A Pending CN114567747A (zh) 2020-11-27 2020-11-27 一种会议数据传输方法及会议系统

Country Status (1)

Country Link
CN (1) CN114567747A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469261A (zh) * 2014-12-26 2015-03-25 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法
WO2016184118A1 (zh) * 2015-05-19 2016-11-24 华为技术有限公司 实现多媒体会议的方法及装置
CN107995501A (zh) * 2017-12-18 2018-05-04 杭州雅顾科技有限公司 视频连麦方法及系统
CN108063911A (zh) * 2017-12-30 2018-05-22 深圳市潮流网络技术有限公司 一种视频会议扩容方法
CN109286775A (zh) * 2018-10-29 2019-01-29 视联动力信息技术股份有限公司 一种多人会议控制方法及系统
CN109996024A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 一种交互方法及装置
CN111212259A (zh) * 2020-03-24 2020-05-29 腾讯科技(深圳)有限公司 一种音视频会议的实现方法、系统和相关装置
CN111935443A (zh) * 2020-10-12 2020-11-13 融智通科技(北京)股份有限公司 一种视频会议实时直播分享到即时通讯工具的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469261A (zh) * 2014-12-26 2015-03-25 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法
WO2016184118A1 (zh) * 2015-05-19 2016-11-24 华为技术有限公司 实现多媒体会议的方法及装置
CN107995501A (zh) * 2017-12-18 2018-05-04 杭州雅顾科技有限公司 视频连麦方法及系统
CN108063911A (zh) * 2017-12-30 2018-05-22 深圳市潮流网络技术有限公司 一种视频会议扩容方法
CN109996024A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 一种交互方法及装置
CN109286775A (zh) * 2018-10-29 2019-01-29 视联动力信息技术股份有限公司 一种多人会议控制方法及系统
CN111212259A (zh) * 2020-03-24 2020-05-29 腾讯科技(深圳)有限公司 一种音视频会议的实现方法、系统和相关装置
CN111935443A (zh) * 2020-10-12 2020-11-13 融智通科技(北京)股份有限公司 一种视频会议实时直播分享到即时通讯工具的方法和装置

Similar Documents

Publication Publication Date Title
CN108235042B (zh) 一种多人网络直播方法、装置、加入装置、系统、服务器和计算机可读存储介质
US9030523B2 (en) Flow-control based switched group video chat and real-time interactive broadcast
WO2013163951A1 (zh) 多人会话时数据呈现的方法、服务器、用户端及系统
US20070121526A1 (en) Method, UE and system for providing simulateneous multiple session PoC multimedia service in PoC system
WO2017036194A1 (zh) 一种数据传输的方法、系统以及相关设备
US9300808B2 (en) Method and system for interoperation between multiple conference systems
CN108667798A (zh) 一种虚拟观影的方法及系统
CN109194904B (zh) 一种适用于指挥调度业务的移动视频会商系统
US9374232B2 (en) Method and a device for optimizing large scaled video conferences
JP3752932B2 (ja) 通信システムおよび通信方法
US9402056B2 (en) Collaboration extension system
US20230077971A1 (en) Parallel online meetings
JPWO2006104040A1 (ja) プッシュツートーク通信システム及びプッシュツートーク通信方法
US9549154B1 (en) Multipoint communication system and method
US9013537B2 (en) Method, device, and network systems for controlling multiple auxiliary streams
CN106301812B (zh) 多媒体会议实现方法、装置及系统
EP2271997A1 (en) Communication between scheduled and in progress event attendees
JP2003223407A (ja) コンテンツ共有支援システム、ユーザ端末装置、コンテンツ共有支援サーバ、複数のユーザ間でコンテンツを共有するための方法、そのプログラム並びにプログラム記録媒体
JP2008187283A (ja) 通信システム、サーバ装置、及び端末装置
KR102069695B1 (ko) 분산 텔레프레즌스 서비스 제공 방법 및 장치
CN114567747A (zh) 一种会议数据传输方法及会议系统
CN105959126A (zh) 语音聊天室中动态背景分享方法及装置
CN112804267A (zh) 分级会议处理方法及装置、电子设备和存储介质
CN117955945B (zh) 同场景下用户间的多音频线路同步方法、系统及存储介质
CN113411327B (zh) 语音直播的音频调整方法、系统、装置、设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination