CN109547732A - 一种音视频处理方法、装置、服务器及视频会议系统 - Google Patents
一种音视频处理方法、装置、服务器及视频会议系统 Download PDFInfo
- Publication number
- CN109547732A CN109547732A CN201811555642.2A CN201811555642A CN109547732A CN 109547732 A CN109547732 A CN 109547732A CN 201811555642 A CN201811555642 A CN 201811555642A CN 109547732 A CN109547732 A CN 109547732A
- Authority
- CN
- China
- Prior art keywords
- audio
- terminal
- video
- information
- frequency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25875—Management of end-user data involving end-user authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及多媒体处理技术领域，尤其涉及一种音视频处理方法、装置、服务器及视频会议系统。本实施例提供的音视频处理方法、装置、服务器及视频会议系统，通过获取至少一个终端的音频信息，再根据音频信息确定音频信息的能量值，并且，根据能量值的大小顺序从中选定预设数量的终端为主终端，除主终端以外的其他终端为辅助终端，然后，获取主终端的视频信息，从而将主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过根据音频信息的能量值实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
Description
技术领域
本发明涉及多媒体处理技术领域，尤其涉及一种音视频处理方法、装置、服务器及视频会议系统。
背景技术
视频会议系统，是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体，将声音、影像及文件资料互传，实现即时且互动的沟通，以实现远程会议的系统。传统实现视频会议系统的方式为将所有终端的音视频信息发送至服务器，通过在服务器中进行混音和混屏，再通过一路音频和一路视频发送至其他客户端。
但是，当客户端数量较大时，会造成传统的服务器的处理压力过大，从而无法音视频信息实现数据的处理。
发明内容
本发明实施例提供一种音视频处理方法、装置、服务器及视频会议系统，以降低服务器的资源消耗，从而适用于大规模的视频会议系统。
第一方面，本发明实施例提供了一种音视频信息处理方法，应用于服务器，所述服务器应用于视频会议系统，所述视频会议系统还包括与所述服务器连接的至少一个终端，所述方法包括：
获取所述至少一个终端的音频信息；
根据所述音频信息确定所述音频信息的能量值；
根据所述能量值的大小顺序从中选定预设数量的终端为主终端；除所述主终端以外的其他终端为辅助终端；
获取所述主终端的视频信息；
将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。
可选地，所述方法还包括：与所述至少一个终端均建立视频预发送通道；
所述获取所述主终端的视频信息，包括：
通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息。
可选地，所述根据所述音频信息确定所述音频信息的能量值，包括：
解析所述音频信息，获取所述音频信息的能量值。
可选地所述根据所述音频信息确定所述音频信息的能量值，包括：
解析所述音频信息，获取所述音频信息的分贝值；
计算所述分贝值，获取能量值。
可选地，在所述基于所述能量值，选取预设数量的终端为主终端之后且获取所述主终端发送的视频信息，并将所述视频信息发送至辅终端之前，包括：
发送视频传输信号至所述主终端。
第二方面，本发明实施例提供了一种音视频信息处理装置，用于视频会议系统，其特征在于，所述装置包括：
第一信息获取模块，用于获取所述至少一个终端的音频信息；
确定模块，用于根据所述音频信息确定所述音频信息的能量值；
选定模块，用于根据所述能量值的大小顺序从中选定预设数量的终端为主终端；除所述主终端以外的其他终端为辅助终端；
第二信息获取模块，用于获取所述主终端的视频信息；
信息发送模块，用于将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。
可选地，所述第一信息获取模块具体用于通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息。
可选地，所述确定模块包括：
第一解析单元，用于解析所述音频信息，获取所述音频信息的能量值。
可选地，所述确定模块包括：
第二解析单元，用于解析所述音频信息，获取所述音频信息的分贝值；
计算单元，用于计算所述分贝值，获取能量值。
可选地，所述音视频处理装置还包括：
信号发送模块，用于发送视频传输信号至所述主终端。
第三方面，本发明实施例提供了一种服务器，所述服务器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述的方法。
第四方面，本发明实施例提供了一种视频会议系统，所述系统包括：至少一个终端以及与如上述的服务器；
所述至少一个终端与所述服务器连接，用于音视频信息的收发和播放。
第五方面，本申请实施例提供一种存储介质，所述存储介质存储有可执行指令，所述可执行指令被智能终端执行时，使所述智能终端执行如上所述的音视频处理方法。
第六方面，本申请实施例还提供了一种程序产品，所述机程序产品包括存储在存储介质上的程序，所述程序包括程序指令，当所述程序指令被智能终端执行时，使所述智能终端执行如上所述的音视频处理方法。
本发明实施例的有益效果在于：本实施例提供的音视频处理方法、装置、服务器及视频会议系统，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的音视频处理方法的其中一种应用环境的示意图；
图2是本发明实施例提供的一种音视频处理方法的流程示意图；
图3是本发明实施例提供的一种音视频处理方法的流程示意图；
图4是本发明实施例提供的一种音视频处理装置的结构示意图；
图5是本发明实施例提供的一种音视频处理装置的结构示意图；
图6是本发明实施例提供的服务器的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
图1是本申请实施例提供的音视频信息处理方法的其中一种应用环境的示意图。其中，该应用环境中包括：至少一个终端：终端10、终端 20、终端30、终端40、终端50、终端60，以及与至少一个终端连接的服务器2。
其中，终端10、终端20、终端30、终端40、终端50及终端60为可进行音视频信息发送与播放的硬件设备，服务器为为用于提供计算服务的硬件设备或硬件组件。
一般地，当至少一个终端需要进行视频会议时，所述至少一个终端通过服务器2传输音视频信息。传统的视频会议的处理方式为：至少一个终端均传输音视频信息至服务器2，服务器2对所有至少一个终端的音视频信息进行混音与混屏。在所述音频信息进行混音与混屏之后，服务器2将混音与混屏之后的音视频信息发送至除与该音频信息对应的终端以外的其他终端。举个例子：终端10的音视频信息发送至服务器 2进行混音与混屏处理，服务器2将处理完成之后的音视频信息发送至终端20、终端30、终端40、终端50及终端60，从而实现多个终端之间的视频会议。
当至少一个终端的数量为较大数字，基于服务器2的处理性能有一定限制，是无法实现几千终端的庞大数据处理。现有做法是通过用户自身手动开启与关闭终端，实现在发言时开启音视频信息发送以及不发言时手动关闭终端，避免音视频造成服务器2的不必要负荷；或者，在终端另设一个控制终端开关的控制平台，通过终端向控制平台申请发言资格，有控制平台控制终端的开启与关闭，人为的选择音视频信息的传送，降低服务器的预算压力。
但当至少一个终端的数量较庞大时，比如几千个终端，同时进行视频会议时，通过用户自身开关终端还是通过人为的控制平台的方式去实现该种大并发会议是不现实的，上述两种方式只是适用于用户终端数量适中类型的视频会议，类似几十个用户终端类型，才能达到真正的控制。而当几千个终端同时进行大并发会议时，上述两种方式均会造成会议的失控。
基于此，本申请实施例提供了一种音视频处理方法、装置、服务器及视频会议系统。
其中，本申请施例提供的应用于服务器的设备配置方法是一种能够降低了服务器的资源消耗，实现大规模的大并发视频会议系统的方法，具体为：通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
其中，本申请实施例提供的运行服务器的音视频处理处理装置是由软件程序构成的能够实现本申请实施例提供的应用于服务器的音视频处理的虚拟装置，其与本申请实施例提供的应用于服务器的音视频处理方法基于相同的发明构思，具有相同的技术特征以及有益效果。
其中，本申请实施例提供的服务器可以是网络连接中的任意类型的服务器，比如：网络服务器等等。该服务器能够执行本申请实施例提供的音视频处理方法，或者，运行本申请实施例提供的音视频处理装置。
其中，本申请实施例提供的视频会议系统是由本申请实施例提供的服务器与至少一个终端配合组成。该系统能够执行本申请实施例提供的音视频处理方法，或者，运行本申请实施例提供的音视频处理装置。
需要说明的是，本申请实施例提供的设备配置方法还可以进一步的拓展到其他合适的应用环境中，而不限于图1中所示的应用环境。在实际应用过程中，该应用环境还可以包括更多或者更少的客户终端设备。其中，所述服务器也不限于图1所示的应用场景，所述服务器也可以为多个级联的服务器，具体服务器数量可按需求进行设置。并且，多个服务器级联能够使得同时处理的音视频信息的数量倍增，例如一个服务器能够同时处理1000个音视频信息，两个服务器级联之后则可实现同时处理2000个音视频信息。
图2为本发明实施例提供的音视频信息处理方法的一个实施例的流程图，所述音视频信息处理方法可由图1中的服务器2执行。如附图2 所示，所述音视频信息处理方法包括：
S210：获取所述至少一个终端的音频信息；
在本实施例中，至少一个终端在登录了会议系统之后，会主动发送采集到的音频信息至服务器，及至少一个终端采集的音频信息默认发送至服务器2。需要说明的是，相对于服务器2，音频信息的压力非常小，服务器2默认接收所有至少一个终端的音频信息对服务器2造成的压力较小，对服务器2的整体运行压力所造成的影响也较小，相对于处理视频信息而言，可忽略不计。
其中，在获取所述至少一个终端的音频信息之前，服务器2会接收至少一个终端发送的请求加入信息，服务器2通过发送一个验证信息至该终端，通过字符密码或者其他验证方式对用户身份进行验证，在验证成功之后，服务器2实时接收该终端采集的音频信息。
需要说明的是，服务器2发送验证信息至至少一个终端是为了避免因用户的误操作或者其他无关人员的自行加入会议而造成资料泄露。并且，可在服务器2中自行设置不同类型验证信息，以提升会议的保密性。所述不同类型的验证信息包括字符密码验证信息、人脸识别验证信息、指纹验证信息。可依据会议的重要程度设置不同的验证信息，提升会议的保密性，防止会议信息的泄露。
S220：根据所述音频信息确定所述音频信息的能量值；
在本实施例中，所述能量值是指预设的一定时间之内的音频信息的能量值的平均值。所述音频信息可包括该音频信息的能量值或者用于计算音频信息的参数。所述服务器2解析所述音频信息，获取所述音频信息的能量值；
需要说明的是，当所述音频信息包括音频信息的能量值时，所述能量值是在终端中已经计算完成，并把该能量值设置在音频信息中并发送至服务器2。当服务器2接收到该音频信息并对所述音频信息进行解析时，即可获取该音频信息的能量值。
S230:根据所述能量值的大小顺序从中选定预设数量的终端为主终端；除所述主终端以外的其他终端为辅助终端；
在本实施例中，所述服务器2在确定了音频信息的能量值之后，先对所述能量值进行从大到小的排序。再依据所述排序，以从大到小的顺序选定预设数量的能量值，也即选取能量值较大的预设数量的能量值，将选定的能量值对应的终端设为主终端，除主终端以外的其他终端设为辅助终端。具体步骤如下：
将所述能量值按照从大到小进行排序；
确定排序靠前的预设数量的能量值为主能量值；
确定所述主能量值对应的终端为主终端，以及除所述主终端以外的终端设备为辅终端。
进一步地，以能量值较大的方式选取主终端，能够进一步避免因不必要的音视频信息而造成服务器2的负担，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
S240：获取所述主终端的视频信息；
在本实施例中，所述视频信息为与先发送至服务器2的音频信息相对应。所述终端在发送音频信息时，先将所述视频信息预存在预设位置，防止因终端数量过大，每个终端都将视频信息发送至服务器会带来服务器2的超负荷，从而无法实现音视频信息的分发。
具体地，服务器2在将终端划分为主终端与辅助终端后，发送视频传输信号至所述主终端。所述主终端接收到视频传输信号之后，发送存储在预设位置的视频信息至所述服务器2。需要说明的是，主终端数量受到能量值的限制，服务器2接收的视频信息只是能量值较大的几个主终端发送的视频信息，其余视频信息均没有经过服务器2。该种方式能够使得服务器2智能的选择必要且有用的音视频信息进行传输，而将其余能量值较小的视频信息停留在终端，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
S250：将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。
在本实施例中，服务器2在接收到主终端发送的视频信息之后，将与该视频信息对应的音频信息以及所述视频信息发送至其他所有的辅助终端，使得其他辅助终端能够接受到主终端的音视频信息，从而实现视频会议。
另外，因传输时延的原因，辅助终端通常先接收到服务器2发送的视频信息，再接收到音频信息，辅助终端会根据主终端打包的时间戳进行播放，保证辅助终端在播放音视频信息时同步效果。
需要说明的是，在所服务器2接受到主终端发送的视频信息后，服务器2发送请求下载信号至每个辅助终端，所述辅助终端在接收到请求下载信号之后，到服务器2拉取主终端发送音视频信息，从而实现视频会议。该种方式实现了服务器策略性的选取主要终端的音视频信息获取与传输至其他终端，避免了所有终端的视频信息均发送至服务器而造成服务器的过载，从而因性能的限制而无法进行音视频信息的分发。也即是说，该种方式降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
本实施例提供的音视频处理方法，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
本申请另外一种实施例提供的一种音视频处理方法的流程示意图，该方法可以由图1中的服务器2执行。
所述音视频处理方法还包括：与所述至少一个终端均建立视频预发送通道；
所述获取所述主终端的视频信息，包括：
通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息。
在本实施例中，所述服务器2与所述至少一个终端均均建立视频预发送通道。当所述终端进过验证登录视频会议系统时，所述终端开始获取音视频信息。所述终端将采集的音频信息直接发送至服务器2，将与该音频信息对应的视频信息发送至该终端与服务器2预先建立的视频预发送通道。进一步地，当所述终端接收到服务器2发送的视频传输信息时，将该终端与服务器2对应的视频预发送通道中的视频信息发送至服务器2。
需要说明的是，因服务器2只是承载音视频信息分发作用，不再进行混音与混屏，当终端采集到音视频信息，并将视频信息与音频信心分别发送至视频预发送通道与服务器2之前，终端会对所述音视频信息进行打时间戳，以实现在接收终端播放该音视频信息时能够音视频同步播放。也即在视频预发送通道中的视频信息已经打包了时间戳，视频预发送通道相当于发送端的作用，不再对视频信息进行处理。而设立视频预发送通道目的是实现音视频同步以及视频信息发送的实时性，使得终端在接收到服务器2发送的视频传输信息之后能够直接通过视频预发送通道进行视频信息的发送，而无需再进行视频通道的建立过程以及视频信息在终端进行处理的时间，有效的降低了视频信息的传输时延，同时还降低了服务器2的运算压力。
本实施例提供的音视频处理方法，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，所述获取主终端的视频信息为通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
图3是本申请实施例提供的一种音视频处理方法的流程示意图，该方法可以由图1中的服务器2执行。
具体地，请参阅图3，该方法可以包括但不限于如下步骤：
S310：解析所述音频信息，获取所述音频信息的分贝值；
在本实施例中，所述音频信息没有包括能量值，所述能量值需要服务器2进行计算才能获得。而音频信息会附带计算能量值的计算参数—分贝值。在服务器2接收到该音频信息之后，对该音频信息进行解析，获取与该音频信息中用于计算该音频信息能量值的分贝值，并通过该分贝值进行预设过程的计算，从而获取能量值。需要说明的是，对该音频信息进行解析不影响所述音频信息的时间戳。
需要说明的是，当音频信息包括了能量值时，说明终端已经计算过该音频信息的能量值，服务器2只需要对所述音频信息进行解析即可获取该能量值。而当音频信息没有包括能量值时，说明终端没有计算该音频信息的能量值，需要服务器2提取该音频信息的计算参数进行能量值的计算。在终端计算能量值，服务器2只是通过解析即可获取能量值，能够进一步减轻服务器2的运行负载，降低服务器2的消耗。
S320：计算所述分贝值，获取能量值。
具体地，无论在终端或者服务器2中计算所述能量值，计算过程均为一致。具体过程如下：
先获取音频信息的分贝值，然后再归一化到0-100区间，再依据预设的计算公式，算出能量值，计算公式如下：
其中，音频采样位深为16bit，其中，avg取一段时间音频采样绝对值的平均值，时间段的长度可以根据需要选择，典型值可以取100ms。
本实施例提供的音视频处理方法，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，所述能量值为服务器计算所述音频信息的分贝值所获得。并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
相应地，如附图4所示，本发明实施例还提供了一种音视频信息处理装置，所述音视频信息处理装置4用于图1所示的服务器2，如图4 示，一种音视频信息处理装置4，应用于服务器2，所述服务器2应用于视频会议系统，所述视频会议系统还包括与所述服务器2连接的至少一个终端，其特征在于，所述装置4包括：
第一信息获取模块41，用于获取所述至少一个终端的音频信息；
确定模块42，用于根据所述音频信息确定所述音频信息的能量值；
选定模块43，用于根据所述能量值的大小顺序从中选定预设数量的终端为主终端；除所述主终端以外的其他终端为辅助终端；
第二信息获取模块44，用于获取所述主终端的视频信息；
信息发送模块45，用于将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。
具体地，所述第一信息获取模块41具体用于通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息。
具体地，所述确定模块42包括：
第一解析单元，用于解析所述音频信息，获取所述音频信息的能量值。
具体地，如附图5所示，所述确定模块5包括：
第二解析单元51，用于解析所述音频信息，获取所述音频信息的分贝值；
计算单元52，用于计算所述分贝值，获取能量值。
具体地，所述音视频处理装置4还包括：
信号发送模块46，用于发送视频传输信号至所述主终端。
其中，所述服务器2通过第一信息获取模块获取至少一个终端采集并发送的音频信息，与该音频信息对应的视频信息存储在该终端与服务器2建立的视频预发送通道上。服务器2在接收到所述音频信息之后，通过确定模块对所述音频信息的能量值进行确定，需要说明的是，确定音频信息的能量值包括两种方式，其中一种是所述音频信息的能量值在终端中已经经过计算，并附在音频信息中，服务器2只需要对该音频信息进行解析即可获得。另外一种是通过获取音频信息中的计算参数，服务通过计算参数以及预设的计算过程进行计算，从而确定能量值。在所述服务器2获得能量值之后，对每个终端对应的能量值进行排序，再通过选定模块根据能量值的大小顺序选定排序靠前的终端为主终端，也即较大的预设数量的能量值对应的终端为主终端，除所述主终端以外的其他终端为辅助终端。并且，服务器2还通过第二信息获取模块获取与所述主终端对应的视频预发送通道中的视频信息，最后通过信息发送模块将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。因此，实现服务器2策略性的选取主要的终端进行音视频信息获取与传输，从而降低了服务器的资源消耗，能够适应大规模的大并发视频会议系统。
本实施例提供的音视频处理方法，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
需要说明的是，上述音视频处理装置可执行本发明实施例所提供的音视频处理方法，具备执行方法相应的功能模块和有益效果。未在音视频处理装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的音视频处理方法。
本发明实施例还提供了一种服务器6，图6是本发明实施例提供的服务器6的硬件结构示意图，如图6所示，该服务器6包括：
至少一个处理器61；以及，
与所述至少一个处理器61通信连接的存储器62；其中，
所述存储器62存储有可被所述至少一个处理器61执行的指令，所述指令被所述至少一个处理器61执行，以使所述至少一个处理器61能够执行如前述的音视频处理方法。
具体地，以附图6中一个处理器61为例。处理器61和存储器62 可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的音视频处理方法对应的程序指令/模块(例如，附图2所示的步骤 S210-S250)。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的音视频处理方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62 可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至服务器上。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中，当被所述一个或者多个处理器61执行时，执行上述任意方法实施例中的音视频处理方法，例如，执行以上描述的图2中的方法步骤S210至步骤S250，图3中的方法步骤S310至步骤S320。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
本实施例提供的服务器，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值。并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
本发明实施例还提供了一种视频会议系统，其特征在于，所述系统包括：至少一个终端以及与如前述的服务器；
所述至少一个终端与所述服务器连接，用于音视频信息的收发和播放。
本实施例提供的视频会议系统，通过获取所述至少一个终端的音频信息，再根据所述音频信息确定所述音频信息的能量值，并且，根据所述能量值的大小顺序从中选定预设数量的终端为主终端，除所述主终端以外的其他终端为辅助终端，然后，获取所述主终端的视频信息，从而将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。本发明实施例通过音频信息的能量值将终端划分为主终端与辅助终端，进而获取主终端的视频信息，并将主终端的音视频信息发送至辅助终端，实现策略性的选取主要的终端进行音视频信息获取与传输，降低了服务器的资源消耗，从而适用于大规模的大并发视频会议系统。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现所述实施例方法中的全部或部分流程是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如所述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图6中的一个处理器61，可使得上述一个或多个处理器可执行上述任意方法实施例中的音视频处理方法，例如，执行以上描述的图2中的方法步骤S210至步骤S250，图3中的方法步骤S320至步骤S330；实现图4中的模块41-46，图5中的单元51-52的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体 (RandomAccessMemory,RAM)等。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种音视频信息处理方法，应用于服务器，所述服务器应用于视频会议系统，所述视频会议系统还包括与所述服务器连接的至少一个终端，其特征在于，所述方法包括：
获取所述至少一个终端的音频信息；
根据所述音频信息确定所述音频信息的能量值；
根据所述能量值的大小顺序从中选定预设数量的终端为主终端；除所述主终端以外的其他终端为辅助终端；
获取所述主终端的视频信息；
将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。
2.根据权利要求1所述的音视频信息处理方法，其特征在于：所述方法还包括：与所述至少一个终端均建立视频预发送通道；
所述获取所述主终端的视频信息，包括：
通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息。
3.根据权利要求1所述的音视频信息处理方法，其特征在于，所述根据所述音频信息确定所述音频信息的能量值，包括：
解析所述音频信息，获取所述音频信息的能量值。
4.根据权利要求1所述的音视频信息处理方法，其特征在于，所述根据所述音频信息确定所述音频信息的能量值，包括：
解析所述音频信息，获取所述音频信息的分贝值；
计算所述分贝值，获取能量值。
5.根据权利要求1-4任一项所述的音视频信息处理方法，其特征在于，在所述基于所述能量值，选取预设数量的终端为主终端之后且获取所述主终端发送的视频信息，并将所述视频信息发送至辅终端之前，包括：
发送视频传输信号至所述主终端。
6.一种音视频信息处理装置，应用于服务器，所述服务器应用于视频会议系统，所述视频会议系统还包括与所述服务器连接的至少一个终端，其特征在于，所述装置包括：
第一信息获取模块，用于获取所述至少一个终端的音频信息；
确定模块，用于根据所述音频信息确定所述音频信息的能量值；
选定模块，用于根据所述能量值的大小顺序从中选定预设数量的终端为主终端；除所述主终端以外的其他终端为辅助终端；
第二信息获取模块，用于获取所述主终端的视频信息；
信息发送模块，用于将所述主终端的视频信息以及与视频信息对应的音频信息发送至辅助终端。
7.根据权利要求6所述的音视频信息处理装置，其特征在于：
所述第一信息获取模块具体用于通过与所述主终端对应的视频预发送通道获取所述主终端的视频信息。
8.根据权利要求6所述的音视频信息处理装置，其特征在于：所述确定模块包括：
第一解析单元，用于解析所述音频信息，获取所述音频信息的能量值。
9.根据权利要求6所述的音视频信息处理装置，其特征在于：所述确定模块包括：
第二解析单元，用于解析所述音频信息，获取所述音频信息的分贝值；
计算单元，用于计算所述分贝值，获取能量值。
10.根据权利要求6-9任一项所述的音视频信息处理装置，其特征在于，所述音视频处理装置还包括：
信号发送模块，用于发送视频传输信号至所述主终端。
11.一种服务器，其特征在于，所述服务器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。
12.一种视频会议系统，其特征在于，所述系统包括：至少一个终端以及与如权利要求11所述的服务器；
所述至少一个终端与所述服务器连接，用于音视频信息的收发和播放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811555642.2A CN109547732A (zh) | 2018-12-19 | 2018-12-19 | 一种音视频处理方法、装置、服务器及视频会议系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811555642.2A CN109547732A (zh) | 2018-12-19 | 2018-12-19 | 一种音视频处理方法、装置、服务器及视频会议系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109547732A true CN109547732A (zh) | 2019-03-29 |
Family
ID=65855539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811555642.2A Pending CN109547732A (zh) | 2018-12-19 | 2018-12-19 | 一种音视频处理方法、装置、服务器及视频会议系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109547732A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570698A (zh) * | 2019-08-21 | 2019-12-13 | 北京大米科技有限公司 | 一种在线教学控制方法、装置、存储介质以及终端 |
| CN111083137A (zh) * | 2019-12-12 | 2020-04-28 | 青岛海尔科技有限公司 | 物联网终端设备状态调整的方法、装置及操作系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1713717A (zh) * | 2004-06-25 | 2005-12-28 | 北京中星微电子有限公司 | 摄像机拍摄方位数字声控定向方法 |
| CN101080000A (zh) * | 2007-07-17 | 2007-11-28 | 华为技术有限公司 | 视频会议中显示发言人的方法、系统、服务器和终端 |
| CN101179693A (zh) * | 2007-09-26 | 2008-05-14 | 深圳市丽视视讯科技有限公司 | 一种会议电视系统的混音处理方法 |
| CN101442654A (zh) * | 2008-12-26 | 2009-05-27 | 深圳华为通信技术有限公司 | 视频通信中视频对象切换的方法、装置及系统 |
| CN102077586A (zh) * | 2008-06-25 | 2011-05-25 | 环球Ip解决方案(Gips)有限责任公司 | 视频选择器 |
| CN102404542A (zh) * | 2010-09-09 | 2012-04-04 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
| CN104038725A (zh) * | 2010-09-09 | 2014-09-10 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
| US20150334350A1 (en) * | 2014-05-13 | 2015-11-19 | Hideki Tamura | Communication management system |
| CN105376515A (zh) * | 2014-09-02 | 2016-03-02 | 华为技术有限公司 | 用于视频通讯的通讯信息的呈现方法、装置及系统 |
-
2018
- 2018-12-19 CN CN201811555642.2A patent/CN109547732A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1713717A (zh) * | 2004-06-25 | 2005-12-28 | 北京中星微电子有限公司 | 摄像机拍摄方位数字声控定向方法 |
| CN101080000A (zh) * | 2007-07-17 | 2007-11-28 | 华为技术有限公司 | 视频会议中显示发言人的方法、系统、服务器和终端 |
| CN101179693A (zh) * | 2007-09-26 | 2008-05-14 | 深圳市丽视视讯科技有限公司 | 一种会议电视系统的混音处理方法 |
| CN102077586A (zh) * | 2008-06-25 | 2011-05-25 | 环球Ip解决方案(Gips)有限责任公司 | 视频选择器 |
| CN101442654A (zh) * | 2008-12-26 | 2009-05-27 | 深圳华为通信技术有限公司 | 视频通信中视频对象切换的方法、装置及系统 |
| CN102404542A (zh) * | 2010-09-09 | 2012-04-04 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
| CN104038725A (zh) * | 2010-09-09 | 2014-09-10 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
| US20150334350A1 (en) * | 2014-05-13 | 2015-11-19 | Hideki Tamura | Communication management system |
| CN105376515A (zh) * | 2014-09-02 | 2016-03-02 | 华为技术有限公司 | 用于视频通讯的通讯信息的呈现方法、装置及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570698A (zh) * | 2019-08-21 | 2019-12-13 | 北京大米科技有限公司 | 一种在线教学控制方法、装置、存储介质以及终端 |
| CN111083137A (zh) * | 2019-12-12 | 2020-04-28 | 青岛海尔科技有限公司 | 物联网终端设备状态调整的方法、装置及操作系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106161219B (zh) | 消息处理方法及装置 | |
| US20230067099A1 (en) | Method and server for performing game battle in live broadcast room, and storage medium | |
| CN110213601A (zh) | 一种基于云游戏的直播系统及直播方法、直播互动方法 | |
| WO2017181601A1 (zh) | 直播流的处理方法、装置、电子设备及系统 | |
| CN107623723B (zh) | 视频直播数据的传输方法和装置、存储介质及电子装置 | |
| CN102185856B (zh) | 组队游戏中组队视频方法、装置及系统 | |
| US20170171585A1 (en) | Method and Electronic Device for Recording Live Streaming Media | |
| CN112379769A (zh) | 虚拟场景业务信息的处理方法、系统以及云管理平台 | |
| CN108702486A (zh) | 一种低延时音视频传输方法、装置及计算机可读存储介质 | |
| CN110856011A (zh) | 一种分组进行直播互动的方法、电子设备及存储介质 | |
| CN109547732A (zh) | 一种音视频处理方法、装置、服务器及视频会议系统 | |
| CN113741762A (zh) | 一种多媒体播放方法、装置、电子设备和存储介质 | |
| CN110351569A (zh) | 一种直播内容处理方法、装置、设备及介质 | |
| CN113630618B (zh) | 视频处理方法、装置及系统 | |
| WO2015010644A1 (en) | Method, apparatus, and system for achieving privilege separation | |
| CN105743788A (zh) | 数据包转发方法及装置 | |
| CN111600808A (zh) | 一种用于即时通讯的信息处理方法和装置 | |
| WO2017185618A1 (zh) | 一种实现平民解说的方法及装置 | |
| Zimmermann et al. | Spatialized audio streaming for networked virtual environments | |
| CN113271474B (zh) | 一种流媒体服务器的测试方法、装置、设备和存储介质 | |
| CN108471547A (zh) | 媒体播放切换方法和服务器装置 | |
| CN111212253B (zh) | 视频会议中的监控处理方法、装置、电子设备及存储介质 | |
| CN108347624A (zh) | 在线直播过程的监控方法、装置、系统及在线直播系统 | |
| CN111726658A (zh) | 一种多媒体数据传输方法及装置 | |
| CN107846634B (zh) | 音视频文件共享方法、装置及系统、存储介质、终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |
|
| RJ01 | Rejection of invention patent application after publication |