CN106328149B - 一种混音处理方法及相关设备 - Google Patents
一种混音处理方法及相关设备 Download PDFInfo
- Publication number
- CN106328149B CN106328149B CN201610702024.0A CN201610702024A CN106328149B CN 106328149 B CN106328149 B CN 106328149B CN 201610702024 A CN201610702024 A CN 201610702024A CN 106328149 B CN106328149 B CN 106328149B
- Authority
- CN
- China
- Prior art keywords
- audio data
- target
- server
- target audio
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000015572 biosynthetic process Effects 0.000 claims 4
- 238000003786 synthesis reaction Methods 0.000 claims 4
- 230000008569 process Effects 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例公开了一种混音处理方法及相关设备，用于解决现有通过服务器做混音处理所带来的计算量大、复杂度高的问题。本发明实施例方法包括：服务器获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；所述服务器将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
Description
技术领域
本发明涉及混音技术领域，具体涉及一种混音处理方法及相关设备。
背景技术
在各类互动的视频直播业务场景(例如：视频会议)中，经常会出现多人同时语音的情况，而网页的流媒体(英文全称：FLASH VIDEO，缩写：FLV)格式的音频由于不需要安装额外的插件就能播放已成为一种趋势。
目前，如图1所示，服务器接收音频采集端发送的的多个音频数据，该多个音频数据经过音频采集端的一次编码，然后服务器通过混音算法对接收到的多个音频数据进行二次编码，并将二次编码后的混音数据采用FLV格式进行封装，然后将FLV格式封装后的混音数据通过内容分发网络(英文全称：Content Delivery Network，缩写：CDN)发送到终端，终端通过一个FLV格式的播放器对该FLV格式封装后的混音数据进行解码播放。
但是，服务器做混音处理时需要通过混音算法对接收到的多个音频数据进行二次编码，计算量大，复杂度高。
发明内容
本发明实施例提供了一种混音处理方法及相关设备，用于解决现有通过服务器做混音处理所带来的计算量大、复杂度高的问题，无需服务器通过混音算法对接收到的多个音频数据进行二次编码，从而节约了服务器的资源消耗，由于混音算法计算量大、复杂度高，从而降低混音解码出错的概率。
本发明第一方面提供一种混音处理方法，包括：
服务器获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
所述服务器将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
本发明第二方面提供一种混音处理方法，包括：
终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
本发明第三方面提供一种服务器，包括：
获取模块，用于获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
发送模块，用于将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
本发明第四方面提供一种终端，包括：
接收模块，用于终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
解码模块，用于通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
从以上技术方案可以看出，本发明实施例具有以下优点：
服务器获取N个目标音频数据，其中，该N个目标音频数据被封装成目标格式，与现有技术不同的是，该服务器直接将该N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。可见，服务器无需对该N个目标音频数据做混音处理，利用终端的N个目标播放器分别对N个目标音频数据进行解码，从而节约了服务器的资源消耗，由于混音算法计算量大、复杂度高，而目标播放器与目标音频数据的目标格式对应，这样通过目标播放器直接对目标音频数据解码，无需安装其他插件，从而降低混音解码出错的概率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中混音处理的一个实施例示意图；
图2为本发明实施例中服务器的一个结构示意图；
图3为本发明实施例中混音处理方法的一个应用场景示意图；
图4为本发明实施例中混音处理方法的另一个应用场景示意图；
图5为本发明实施例中混音处理方法的一个实施例示意图；
图6为本发明实施例中混音处理方法的另一个实施例示意图；
图7为本发明实施例中混音处理方法的另一个实施例示意图；
图8为本发明实施例中混音处理方法的另一个实施例示意图；
图9为本发明实施例中混音处理方法的另一个实施例示意图；
图10为本发明实施例中服务器的另一个结构示意图；
图11为本发明实施例中终端的一个结构示意图。
具体实施方式
本发明实施例提供了一种混音处理方法及相关设备，用于解决现有通过服务器做混音处理所带来的计算量大、复杂度高的问题，无需服务器通过混音算法对接收到的多个音频数据进行二次编码，从而节约了服务器的资源消耗，由于混音算法计算量大、复杂度高，从而降低混音解码出错的概率。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明实施例之前，先介绍一下本发明中的服务器，如图2所示，所述服务器包括：射频(英文全称：Radio Frequency，缩写：RF)电路110、存储器120、处理器130、以及电源140等部件。本领域技术人员可以理解，图2中示出的服务器100的结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
RF电路110可用于收发信息，例如：信号的接收和发送，通常，RF电路110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：Low NoiseAmplifier，缩写：LNA)、双工器等。此外，RF电路110还可以通过无线通信与网络和终端等其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，缩写：GPRS)、码分多址(英文全称：CodeDivision Multiple Access，缩写：CDMA)、宽带码分多址(英文全称：Wideband CodeDivision Multiple Access，缩写：WCDMA)、长期演进(英文全称：Long Term Evolution，缩写：LTE)、电子邮件、短消息服务(英文全称：Short Messaging Service，缩写：SMS)等。
存储器120可用于存储软件程序以及模块，处理器130通过运行存储在存储器120的软件程序以及模块，从而执行服务器100的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器100的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器130是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行服务器100的各种功能和处理数据，从而对服务器100进行整体监控。可选的，处理器130可包括一个或多个处理单元；优选的，处理器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器130中。
服务器100还包括给各个部件供电的电源140(比如电池)，优选的，电源可以通过电源管理系统与处理器130逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，所述服务器100还可以包括输入单元、显示单元等，在此不再赘述。
在本发明实施例中，所述存储器120用于存储处理器130执行的软件程序；
所述处理器130用于获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
所述RF电路110用于将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
在一些可能的实现方式中，所述RF电路110还用于接收音频采集端发送的所述N个目标音频数据。
在一些可能的实现方式中，所述RF电路110还用于接收音频采集端发送的N个原始音频数据；
所述处理器130还用于对所述N个原始音频数据进行封装得到所述N个目标音频数据。
在另一些可能的实现方式中，所述RF电路110用于通过目标网络将所述N个目标音频数据发送至所述终端。
基于上述对服务器的描述，在实际应用中，该服务器通信连接终端，其中，一个服务器上可连接多个终端，该终端可以包括个人电脑(英文全称：Personal Computer，缩写：PC)，手机，笔记本，个人数字助理(英文全称：Personal Digital Assistant，缩写：PDA)、车载电脑等任意终端设备，此处不做具体限定。另外，所述终端的操作系统可以为Windows系列操作系统、Unix类操作系统、Linux类操作系统、Mac操作系统等，此处不做具体限定。
请继续参阅图2，本发明涉及的终端与如图2所示的服务器的结构框架相似，所述终端也包括图2所示的结构：
存储器用于存储处理器执行的软件程序；
RF电路用于接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
所述处理器用于通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
在一些可能的实现方式中，所述处理器用于确定N个目标播放器与N个目标音频数据之间的对应关系；通过每个目标播放器对对应的目标音频数据进行解码。
可见，服务器获取N个目标音频数据，其中，该N个目标音频数据被封装成目标格式，与现有技术不同的是，该服务器直接将改N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。可见，服务器无需对该N个目标音频数据做混音处理，由于混音算法计算量大、复杂度高，从而降低混音解码出错的概率，利用终端多个播放器分别对各个音频数据进行解码，从而节约了服务器的资源消耗。
如图3所示，为本发明实施例中混音处理方法的一个应用场景示意图：
在日常生活中，很多用户喜欢玩游戏，用户可以在个人电脑上下载安装多种类型的游戏应用，然后通过打开个人电脑上的游戏应用来玩游戏，从而丰富了用户的业余生活。以游戏“纵横九州”为例，很多用户在个人电脑上安装该游戏，在基于网页使用该游戏开黑(通过语音互动，一起组队打游戏)时，多个用户在该游戏中语音交流，可能会涉及多个用户同时语音的情况，例如：用户A在该游戏中的身份为“尊敬的国王殿下”，则用户A可以通过语音指挥其他一起玩该游戏的队友，有时其他队友可能针对用户A的语音发表自己的看法，假设多个用户同时语音，因此，为了分辨清楚每个用户的语音，涉及到混音处理方法，用户A对应的个人电脑M接收到N个目标音频数据，N为大于1的整数，其中，该N个目标音频数据被封装为FLV格式，个人电脑M上安装N个FLV播放器，每个播放器解码一个目标音频数据，这样，N个FLV播放器同时解码N个目标音频数据，与此同时，个人电脑M的操作系统对N个FLV播放器同时解码N个目标音频数据的过程中出现的干扰音进行消除，从而使得用户A听到的每个目标音频数据是清晰的，有辨识度的。
如图4所示，为本发明实施例中混音处理方法的另一个应用场景示意图：
在终端上可能安装一些游戏(例如：“英雄联盟”，“QQ飞车”，“QQ炫舞”等)，在这些游戏的秀场中，可能涉及多个用户语音的情况，例如：用户昵称为“飞儿”作为主播在秀场中视频直播，此时，可能涉及其他用户(听众)与该用户“飞儿”同时语音，因此，为了使得用户“飞儿”分辨清楚每个用户的语音，涉及到混音处理方法，用户“飞儿”使用游戏的终端(例如：电脑，笔记本等)B接收到N个目标音频数据(N个听众的目标音频数据)，N为大于1的整数，其中，该N个目标音频数据被封装为FLV格式，终端B上安装N个FLV播放器，每个播放器解码一个目标音频数据，这样，N个FLV播放器同时解码N个目标音频数据，然后，终端B的操作系统对N个FLV播放器同时解码N个目标音频数据的过程中出现的干扰音进行消除，从而使得用户“飞儿”听到的每个目标音频数据是清晰的。
还有一些场景中，例如：视频会议中，可能涉及多名参会者同时语音交流的情况，还有一些场景中，可能涉及多个应用同时播放语音，例如：QQ音乐应用在播放某首歌曲，企鹅FM应用在播放某段相声等，都会涉及到混音处理，与图3和图4中的应用场景中混音处理的方法相似，具体可参阅图3和图4中的描述，此处不再赘述。
请参阅图5，本发明实施例中混音处理方法的一个实施例示意图，具体流程如下：
步骤501、服务器获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式。
在本发明实施例中，例如：用户A和用户B在对话过程中，可以听到彼此的语音，该语音经过编码器编码后，转换成音频数据(例如：数字信号)，该数字信号通过通信传输的方式传输至服务器，这样，服务器就可以对接收到的数字信号进行处理。
在实际应用中，服务器可通过多种方式获取N个目标音频数据，其中，该N个目标音频数据为编码后的音频数据，该N个目标音频数据被封装成目标格式，由于在终端上安装该目标格式的播放器，这样，后续直接通过终端上安装的目标格式的播放器就可以对该N个目标音频数据进行混音解码。
步骤502、所述服务器将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
与现有技术不同的是，无需服务器对获取的该N个目标音频数据通过混音算法进行混音处理，因此，不会产生混音算法计算量大、复杂度高的问题，服务器直接将该N个目标音频数据发送至终端，从而节约了服务器的资源消耗。
请参阅图6，本发明实施例中混音处理方法的另一个实施例示意图，具体流程如下：
步骤601、服务器接收音频采集端发送的所述N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式。
在本发明实施例中，服务器可通过音频采集端获取N个目标音频数据，其中，该音频采集端可以是采集原始音频数据的终端(例如：手机，笔记本，电脑等)，例如：用户A通过手机M上安装的微信应用与用户B视频，手机M可通过麦克风采集用户A的语音，则手机M就是音频采集端，手机M将采集到的用户A的语音进行编码成音频数据，再将音频数据封装成目标音频数据，后将目标音频数据发送至服务器。假设用户B使用电脑N与用户微信视频，则电脑N作为音频采集端采集用户B的语音，并将采集到的语音进行编码成音频数据，再将音频数据封装成目标音频数据，后将目标音频数据发送至服务器。这样，假设有N个音频采集端，则服务器接收N个音频采集端发送的N个目标音频数据。
该N个目标音频数据被封装成目标格式，由于在终端上安装该目标格式的播放器，这样，后续直接通过终端上安装的目标格式的播放器就可以对该N个目标音频数据进行混音解码。
在一些可能的实现方式中，所述目标格式为流媒体FLV格式。
例如：当该目标格式为FLV格式时，则直接可通过终端上安装的Flash播放器对目标音频数据进行混音解码。
步骤602、所述服务器将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
与现有技术不同的是，无需服务器对获取的该N个目标音频数据通过混音算法进行混音处理，因此，不会产生混音算法计算量大、复杂度高的问题，服务器直接将该N个目标音频数据发送至终端，从而节约了服务器的资源消耗。
在一些可能的实现方式中，所述服务器通过目标网络将所述N个目标音频数据发送至所述终端。
在本发明实施例中，服务器通过目标网络将该N个目标音频数据发送至终端，以达到快速传输数据的目的。
在一些可能的实现方式中，所述目标网络为内容分发网络CDN。
CDN是一种新型网络体系，尽可能避开互联网上影响数据传输速度和稳定性的瓶颈和环节，使数据传输的更快、更稳定。通过在网络各节点处设置节点服务器，构成在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到终端的距离和响应时间等综合信息将终端的请求重新导向离终端最近的节点服务器上。其目的是使终端可就近取得所需数据，解决互联网网络拥挤的状况，提高终端访问数据的响应速度。
可见，服务器通过CDN将该N个目标音频数据发送至终端，传输速度快，从而使得终端快速接收该N个目标音频数据后，对该N个目标音频数据进行混音处理，减少了数据传输的时间，从而将更多的时间提供给终端进行混音处理。
请参阅图7，本发明实施例中混音处理方法的另一个实施例示意图，具体流程如下：
步骤701、服务器接收音频采集端发送的N个原始音频数据，其中，N为大于1的整数。
与图6所示实施例不同的是，服务器没有直接接收音频采集端发送的N个目标音频数据，而接收的是音频采集端发送的N个原始音频数据。
在本发明实施例中，原始音频数据是指采集端采集的语音进行编码后的音频数据，还未进行封装处理。例如：用户A通过手机M上安装的QQ应用与用户B视频，手机M可通过麦克风采集用户A的语音，则手机M就是音频采集端，手机M将采集到的用户A的语音进行编码成原始音频数据，再将原始音频数据发送至服务器。假设用户B使用电脑N与用户QQ视频，则电脑N作为音频采集端采集用户B的语音，并将采集到的语音进行编码成原始音频数据，再将原始音频数据发送至服务器。这样，假设有N个音频采集端，则服务器接收N个音频采集端发送的N个原始音频数据。
步骤702、所述服务器对所述N个原始音频数据进行封装得到所述N个目标音频数据，其中，所述N个目标音频数据被封装为目标格式。
与图6所示实施例不同的是，服务器接收音频采集端发送的N个原始音频数据，该N个原始音频数据未进行封装处理，是通过服务器对接收到的该N个原始音频数据进行封装得到所述N个目标音频数据。
该N个目标音频数据被封装成目标格式，由于在终端上安装该目标格式的播放器，这样，后续直接通过终端上安装的目标格式的播放器就可以对该N个目标音频数据进行混音解码。
在一些可能的实现方式中，所述目标格式为流媒体FLV格式。
例如：当该目标格式为FLV格式时，则直接可通过终端上安装的Flash播放器对目标音频数据进行混音解码。
步骤703、所述服务器将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
与现有技术不同的是，无需服务器对获取的该N个目标音频数据通过混音算法进行混音处理，因此，不会产生混音算法计算量大、复杂度高的问题，服务器直接将该N个目标音频数据发送至终端，从而节约了服务器的资源消耗。
在一些可能的实现方式中，所述服务器通过目标网络将所述N个目标音频数据发送至所述终端。
在本发明实施例中，服务器通过目标网络将该N个目标音频数据发送至终端，以达到快速传输数据的目的。
在一些可能的实现方式中，所述目标网络为内容分发网络CDN。
可见，服务器通过CDN将该N个目标音频数据发送至终端，传输速度快，从而使得终端快速接收该N个目标音频数据后，对该N个目标音频数据进行混音处理，减少了数据传输的时间，从而将更多的时间提供给终端进行混音处理。
图5至图7从服务器侧对混音处理方法进行了描述，下面从终端侧对混音处理方法进行描述，请参阅图8，本发明实施例中混音处理方法的另一个实施例示意图，具体流程如下：
步骤801、终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式。
在本发明实施例中，该N个目标音频数据可以是通过服务器封装成目标格式，也可以是通过音频采集端封装成目标格式并发送至服务器，并通过服务器将该N个目标音频数据发送至终端，则终端接收服务器发送的N个目标音频数据。
该N个目标音频数据被封装成目标格式，由于在终端上安装该目标格式的播放器，这样，直接通过终端上安装的目标格式的播放器就可以对该N个目标音频数据进行混音解码。
步骤802、所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
在本发明实施例中，终端上安装N个目标播放器，则通过该N个目标播放器对该N个目标音频数据进行混音解码，无需安装插件，无需按照混音算法对目标音频数据进行解码，从而降低混音解码出错的概率，无需服务器对获取的该N个目标音频数据通过混音算法进行混音处理，因此，不会产生混音算法计算量大、复杂度高的问题，也节约了服务器的资源消耗。
请参阅图9，本发明实施例中混音处理方法的另一个实施例示意图，具体流程如下：
步骤901、终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式。
在本发明实施例中，该N个目标音频数据可以是通过服务器封装成目标格式，也可以是通过音频采集端封装成目标格式并发送至服务器，并通过服务器将该N个目标音频数据发送至终端，则终端接收服务器发送的N个目标音频数据。
在一些可能的实现方式中，所述目标格式为流媒体FLV格式。
例如：当该目标格式为FLV格式时，则直接可通过终端上安装的Flash播放器对目标音频数据进行混音解码。
步骤902、所述终端确定N个目标播放器与N个目标音频数据之间的对应关系。
在本发明实施例中，每个目标播放器对应一个目标音频数据。例如：终端上安装5个目标播放器，当终端接收到4个目标音频数据时，则终端选取其中4个目标播放器，并将每个目标播放器对应一个目标音频数据。
步骤903、所述终端通过每个目标播放器对对应的目标音频数据进行解码。
在本发明实施例中，每个目标播放器对对应的目标音频数据进行解码，则N个目标播放器分别对N个目标音频数据进行解码，其中，解码是与编码相对，例如：将数据信号转换成用户可以识别的语音。
在实际应用中，继续参考上述步骤902的示例，假设该目标播放器为Flash播放器，该目标音频数据为FLV格式的音频数据，当每个Flash播放器对对应的目标音频数据进行解码，则4个Flash播放器解码出4路语音，无需安装插件，无需按照混音算法对目标音频数据进行解码，从而降低混音解码出错的概率，与此同时，终端的操作系统对4个Flash播放器同时解码4个目标音频数据的过程中出现的干扰音进行消除，这样，用户就可以清楚地识别该4路语音。
为便于更好的实施本发明实施例的上述相关方法，下面还提供用于配合上述方法的相关装置。
请参阅图10，本发明实施例中服务器1000的一个结构示意图，所述服务器1000包括：获取模块1010和发送模块1020。
获取模块1010，用于获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
发送模块1020，用于将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
所述获取模块具体用于接收音频采集端发送的所述N个目标音频数据。
在一些可能的实现方式中，所述获取模块1010具体用于接收音频采集端发送的N个原始音频数据；对所述N个原始音频数据进行封装得到所述N个目标音频数据。
在一些可能的实现方式中，所述发送模块1020具体用于通过目标网络将所述N个目标音频数据发送至所述终端。
在一些可能的实现方式中，所述目标格式为流媒体FLV格式。
在一些可能的实现方式中，所述目标网络为内容分发网络CDN。
请参阅图11，本发明实施例中终端1100的一个结构示意图，所述终端1100包括：接收模块1110和解码模块1120。
接收模块1110，用于终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
解码模块1120，用于通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。
在一些可能的实现方式中，所述解码模块1120具体用于确定N个目标播放器与N个目标音频数据之间的对应关系；通过每个目标播放器对对应的目标音频数据进行解码。
在一些可能的实现方式中，所述目标格式为流媒体FLV格式。
综上，服务器获取N个目标音频数据，其中，该N个目标音频数据被封装成目标格式，与现有技术不同的是，该服务器直接将该N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应。可见，服务器无需对该N个目标音频数据做混音处理，利用终端的N个目标播放器分别对N个目标音频数据进行解码，从而节约了服务器的资源消耗，由于混音算法计算量大、复杂度高，而目标播放器与目标音频数据的目标格式对应，这样通过目标播放器直接对目标音频数据解码，无需安装其他插件，从而降低混音解码出错的概率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种混音处理方法，其特征在于，包括：
服务器获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
所述服务器将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应；
所述服务器获取N个目标音频数据包括：
所述服务器接收音频采集端发送的所述N个目标音频数据；
或，
所述服务器接收音频采集端发送的N个原始音频数据；
所述服务器对所述N个原始音频数据进行封装得到所述N个目标音频数据；
所述服务器将所述N个目标音频数据发送至终端包括：
所述服务器根据目标网络的网络综合信息将所述N个目标音频数据发送至与所述终端最近的节点网元，通过所述节点网元将所述N个目标音频数据发送至所述终端，所述目标网络为内容分发网络CDN。
2.根据权利要求1所述的方法，其特征在于，所述目标格式为流媒体FLV格式。
3.一种混音处理方法，其特征在于，包括：
终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
所述终端确定N个目标播放器与N个目标音频数据之间的对应关系；
所述终端通过每个目标播放器对对应的目标音频数据进行解码；
所述终端接收服务器发送的N个目标音频数据，包括：
所述终端通过节点网元接收所述服务器发送的N个目标音频数据，所述节点网元为所述服务器根据目标网络的网络综合信息确定的与所述终端最近的节点网元，所述目标网络为内容分发网络CDN。
4.根据权利要求3所述的方法，其特征在于，所述目标格式为流媒体FLV格式。
5.一种服务器，其特征在于，包括：
获取模块，用于获取N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
发送模块，用于将所述N个目标音频数据发送至终端，以使得所述终端通过N个目标播放器对所述N个目标音频数据进行混音解码，其中，所述目标播放器与所述目标格式对应；
所述获取模块具体用于接收音频采集端发送的所述N个目标音频数据；
或，
所述获取模块具体用于接收音频采集端发送的N个原始音频数据；对所述N个原始音频数据进行封装得到所述N个目标音频数据；
所述发送模块，具体用于根据目标网络的网络综合信息将所述N个目标音频数据发送至与所述终端最近的节点网元，通过所述节点网元将所述N个目标音频数据发送至所述终端，所述目标网络为内容分发网络CDN。
6.根据权利要求5所述的服务器，其特征在于，所述目标格式为流媒体FLV格式。
7.一种终端，其特征在于，包括：
接收模块，用于终端接收服务器发送的N个目标音频数据，其中，N为大于1的整数，所述N个目标音频数据被封装为目标格式；
解码模块，用于确定N个目标播放器与N个目标音频数据之间的对应关系；通过每个目标播放器对对应的目标音频数据进行解码；
所述接收模块，具体用于通过节点网元接收所述服务器发送的N个目标音频数据，所述节点网元为所述服务器根据目标网络的网络综合信息确定的与所述终端最近的节点网元，所述目标网络为内容分发网络CDN。
8.根据权利要求7所述的终端，其特征在于，所述目标格式为流媒体FLV格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610702024.0A CN106328149B (zh) | 2016-08-22 | 2016-08-22 | 一种混音处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610702024.0A CN106328149B (zh) | 2016-08-22 | 2016-08-22 | 一种混音处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106328149A CN106328149A (zh) | 2017-01-11 |
| CN106328149B true CN106328149B (zh) | 2018-09-07 |
Family
ID=57741153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610702024.0A Active CN106328149B (zh) | 2016-08-22 | 2016-08-22 | 一种混音处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106328149B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448740B (zh) * | 2018-12-18 | 2022-05-27 | 网易（杭州）网络有限公司 | 语音音效的处理方法、装置以及语音系统 |
| CN110536171B (zh) * | 2019-08-26 | 2022-03-11 | 腾讯科技（深圳）有限公司 | 互动场景中的多媒体处理方法、装置及电子设备 |
| CN112165648B (zh) * | 2020-10-19 | 2022-02-01 | 腾讯科技（深圳）有限公司 | 一种音频播放的方法、相关装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101466043A (zh) * | 2008-12-30 | 2009-06-24 | 深圳华为通信技术有限公司 | 一种多路音频信号处理的方法、设备及系统 |
| CN101697644A (zh) * | 2009-10-29 | 2010-04-21 | 青岛海信移动通信技术股份有限公司 | 移动终端的输出混音方法及相关装置 |
| WO2013086994A1 (en) * | 2011-12-13 | 2013-06-20 | Huawei Technologies Co., Ltd. | Method to select active channels in audio mixing for multi-party teleconferencing |
-
2016
- 2016-08-22 CN CN201610702024.0A patent/CN106328149B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101466043A (zh) * | 2008-12-30 | 2009-06-24 | 深圳华为通信技术有限公司 | 一种多路音频信号处理的方法、设备及系统 |
| CN101697644A (zh) * | 2009-10-29 | 2010-04-21 | 青岛海信移动通信技术股份有限公司 | 移动终端的输出混音方法及相关装置 |
| WO2013086994A1 (en) * | 2011-12-13 | 2013-06-20 | Huawei Technologies Co., Ltd. | Method to select active channels in audio mixing for multi-party teleconferencing |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106328149A (zh) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8463233B2 (en) | Methods and apparatus for collecting information about portable device usage | |
| US8321556B1 (en) | Method and system for collecting data on a wireless device | |
| CN104380684B (zh) | 提供混合单播广播服务的方法和装置 | |
| CN104980788A (zh) | 视频解码方法及装置 | |
| CN104837057A (zh) | 视频文件播放方法、装置和系统 | |
| CN106328149B (zh) | 一种混音处理方法及相关设备 | |
| CN105025314A (zh) | 多媒体直播方法与装置 | |
| JP2010508776A (ja) | 複数の無線通信機器間でメディアファイルを通信するための方法及び装置 | |
| CN104183250A (zh) | 同步智能设备音乐播放器功能的方法、系统及蓝牙耳机 | |
| CN101981922B (zh) | 在移动通信系统中用于终端的软件更新的方法和设备 | |
| CN104918069A (zh) | 一种播放场景还原方法、系统、播放终端及控制终端 | |
| CN109451537B (zh) | 网络分流方法及相关设备 | |
| CN109217980B (zh) | 一种编解码能力配置方法、设备和计算机存储介质 | |
| CN104320435A (zh) | 一种云服务器控制方法及系统 | |
| CN104092658B (zh) | 音频数据播放方法及装置 | |
| CN109995743A (zh) | 一种多媒体文件的处理方法和终端 | |
| CN105681905A (zh) | 一种智能电视及其提高应用程序的适配性的方法和装置 | |
| CN104966526A (zh) | 一种随机播放方法及装置 | |
| CN106231051A (zh) | 一种视频解码的测试方法及相关设备 | |
| CN104971494A (zh) | 智能骰盅与智能特效系统 | |
| CN108134957A (zh) | 一种投屏方法、终端和计算机存储介质 | |
| CN110035436B (zh) | 信息监控方法、装置、设备及存储介质 | |
| CN106095132A (zh) | 播放设备按键功能设置方法及装置 | |
| CN101197739B (zh) | 一种移动多媒体广播电子业务指南的传输系统 | |
| CN104978981A (zh) | 一种音乐随机播放方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |