CN105721469A - 音频数据处理方法、服务器、客户端以及系统 - Google Patents

音频数据处理方法、服务器、客户端以及系统 Download PDF

Info

Publication number
CN105721469A
CN105721469A CN201610092373.5A CN201610092373A CN105721469A CN 105721469 A CN105721469 A CN 105721469A CN 201610092373 A CN201610092373 A CN 201610092373A CN 105721469 A CN105721469 A CN 105721469A
Authority
CN
China
Prior art keywords
voice data
client
audio mixing
audio
strange land
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610092373.5A
Other languages
English (en)
Other versions
CN105721469B (zh
Inventor
王新亮
李斌
陈静聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610092373.5A priority Critical patent/CN105721469B/zh
Publication of CN105721469A publication Critical patent/CN105721469A/zh
Priority to US15/764,737 priority patent/US11196868B2/en
Priority to MYPI2018700977A priority patent/MY189870A/en
Priority to PCT/CN2017/073483 priority patent/WO2017140235A1/zh
Application granted granted Critical
Publication of CN105721469B publication Critical patent/CN105721469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/50Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/5072Multiple active speakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种音频数据处理方法,其包括:接收客户端的音频数据;接收请求客户端的音频数据请求,并根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型;根据请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理;以及将混音预处理后的音频数据发送至请求客户端,以便请求客户端获取混音处理后的音频数据。本发明还提供一种音频数据处理服务器、客户端以及系统,本发明的音频数据处理服务器、客户端以及系统根据请求客户端的音频数据混音类型进行混音处理,可兼容不同混音方式的音频数据。

Description

音频数据处理方法、服务器、客户端以及系统
技术领域
本发明涉及音频数据处理领域,特别是涉及一种音频数据处理方法、服务器、客户端以及系统。
背景技术
在多人通话系统中,由于有多方参与,如何处理多路语音数据的混音问题是一个关键环节。现有的混音方式包括客户端混音以及服务器混音。
客户端混音是指多路语音数据在客户端进行解码以及混音操作。这种混音方式对客户端的带宽以及处理能力要求较高。
服务器混音是指客户端只进行一路语音数据的解码以及播放,通信服务器对多个客户端的语音数据进行解码、混音以及编码操作。这样混音方式对客户端的要求较低,但是由于语音数据多经过一次编码以及解码过程,容易引起语音数据的失真以及延迟。
各种用户会根据自己的需要选择相应的混音方式进行语音数据的混音处理,这样导致不同混音方式的用户难以在同一通话系统中进行通话。
发明内容
本发明实施例提供一种可兼容不同混音方式的音频数据处理方法、服务器、客户端以及系统;以解决现有的音频数据处理方法、服务器、客户端以及系统中不同混音方式的用户难以在同一通话系统中进行通话的技术问题。
本发明实施例提供一种音频数据处理方法,其包括:
接收客户端的音频数据;
接收请求客户端的音频数据请求,并根据所述请求客户端的音频数据请求,获取所述请求客户端的音频数据混音类型;
根据所述请求客户端的音频数据混音类型,对所述音频数据请求对应的客户端的音频数据进行混音预处理;以及
将混音预处理后的音频数据发送至所述请求客户端,以便所述请求客户端获取混音处理后的音频数据。
本发明实施例还提供一种音频数据处理服务器,其包括:
音频数据接收模块,用于接收客户端的音频数据;
混音类型获取模块,用于接收请求客户端的音频数据请求,并根据所述请求客户端的音频数据请求,获取所述请求客户端的音频数据混音类型;
混音预处理模块,用于根据所述请求客户端的音频数据混音类型,对所述音频数据请求对应的客户端的音频数据进行混音预处理;以及
发送模块,用于将混音预处理后的音频数据发送至所述请求客户端,以便所述请求客户端获取混音处理后的音频数据。
本发明实施例还提供一种音频数据处理系统,其包括上述任一的音频数据处理服务器以及多个客户端。
本发明实施例还提供一种音频数据处理方法,其包括:
接收异地音频数据,其中所述异地音频数据包括一客户端标识符;
从所述异地音频数据获取所述客户端标识符,根据所述客户端标识符,确定所述异地音频数据的混音类型;以及
根据所述异地音频数据的混音类型,对所述异地混音数据进行播放处理。
本发明实施例还提供一种音频数据处理客户端,其包括:
异地音频数据接收模块,用于接收异地音频数据,其中所述异地音频数据包括一客户端标识符;
混音类型确定模块,用于从所述异地音频数据获取所述客户端标识符,根据所述客户端标识符,确定所述异地音频数据的混音类型;以及
音频数据播放模块,用于根据所述异地音频数据的混音类型,对所述异地混音数据进行播放处理。
本发明实施例还提供一种音频数据处理系统,其包括多个上述的音频数据处理客户端以及至少一个音频数据处理服务器。
相较于现有技术的音频数据处理方法、服务器、客户端以及系统,本发明的音频数据处理方法、服务器以及系统根据请求客户端的音频数据混音类型进行混音处理,可兼容不同混音方式的音频数据。同时本发明的音频数据处理方法、服务器以及系统通过客户端标识符对音频数据的混音类型进行识别,因此可对不同混音方式的音频数据进行播放操作;解决了现有的音频数据处理方法、服务器、客户端以及系统中不同混音方式的用户难以在同一通话系统中进行通话的技术问题。
附图说明
图1为本发明的音频数据处理方法的第一优选实施例的流程图;
图2为本发明的音频数据处理方法的第二优选实施例的流程图;
图3为本发明的音频数据处理方法的第二优选实施例的步骤S203的流程图;
图4为本发明的音频数据处理服务器的第一优选实施例的结构示意图;
图5为本发明的音频数据处理服务器的第二优选实施例的结构示意图;
图6为本发明的音频数据处理服务器的第二优选实施例的混音预处理模块的结构示意图;
图7为本发明的音频数据处理服务器的第二优选实施例的混音预处理模块的第二音频数据处理单元的结构示意图;
图8为本发明的音频数据处理系统的第一优选实施例的结构示意图;
图9为本发明的音频数据处理方法的第三优选实施例的流程图;
图10为本发明的音频数据处理方法的第四优选实施例的流程图;
图11为本发明的音频数据处理方法的第四优选实施例的步骤S1002的流程图;
图12为本发明的音频数据处理方法的第四优选实施例的步骤S1003的流程图;
图13为本发明的音频数据处理客户端的第一优选实施例的结构示意图;
图14为本发明的音频数据处理客户端的第二优选实施例的结构示意图;
图15为本发明的音频数据处理客户端的第二优选实施例的混音类型确定模块的结构示意图;
图16为本发明的音频数据处理客户端的第二优选实施例的音频数据播放模块的结构示意图;
图17为本发明的音频数据处理系统的第二优选实施例的结构示意图;
图18为本发明的音频数据处理服务器及客户端所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明,除非另有述明。因此,其将可了解到这些步骤及操作,其中有数次提到为由计算机执行,包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处,其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的解码装置可使用各种电子设备进行实施,该电子设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。但该电子设备优选为音频数据处理服务器或音频数据处理客户端,以实现不同混音方式的音频数据的兼容处理。
请参照图1,图1为本发明的音频数据处理方法的第一优选实施例的流程图。本优选实施例的音频数据处理方法可使用上述的电子设备,特别是音频数据处理服务器进行实施,该音频数据处理方法包括:
步骤S101,接收客户端的音频数据;
步骤S102,接收请求客户端的音频数据请求,并根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型;
步骤S103,根据请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理;
步骤S104,将混音预处理后的音频数据发送至请求客户端,以便请求客户端获取混音处理后的音频数据。
下面详细说明本优选实施例的音频数据处理方法的各步骤的具体流程。
在步骤S101中,音频数据处理服务器接收各个客户端的音频数据,该音频数据可为客户端发送给其他客户端的语音数据或音乐数据等。随后转到步骤S102。
在步骤S102中,音频数据处理服务器接收请求客户端的音频数据请求,请求客户端为请求接收其他客户端的语音数据或音乐数据的客户端,音频数据请求为请求接收其他客户端的语音数据或音乐数据的请求。随后音频数据处理服务器根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型。这里的音频数据混音类型可包括客户端混音以及服务器混音等。随后转到步骤S103。
在步骤S103中,音频数据处理服务器根据步骤S102获取的请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理。以便相应的客户端可对混音预处理后的音频数据进行正常播放。随后转到步骤S104。
在步骤S104中,音频数据处理服务器将在步骤S103中混音预处理后的音频数据发送至请求客户端,以便请求客户端获取混音处理后的音频数据。即请求客户端获取相应的混音预处理后的音频数据,随后采用相应的音频提取方式获取相应的混音处理后的音频数据,最后对获取的混音处理后的音频数据进行播放操作。
这样即完成了本优选实施例的音频数据处理方法的音频数据处理过程。
本优选实施例的音频数据处理方法根据请求客户端的音频数据混音类型进行混音处理,可兼容不同混音方式的音频数据。
请参照图2,图2为本发明的音频数据处理方法的第二优选实施例的流程图。本优选实施例的音频数据处理方法可使用上述的电子设备,特别是音频数据处理服务器进行实施,该音频数据处理方法包括:
步骤S201,接收客户端的音频数据;
步骤S202,接收请求客户端的音频数据请求,并根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型;
步骤S203,根据请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理;
步骤S204,将混音预处理后的音频数据发送至所述请求客户端,以便所述请求客户端获取混音处理后的音频数据。
下面详细说明本优选实施例的音频数据处理方法的各步骤的具体流程。
在步骤S201中,音频数据处理服务器接收各个客户端的音频数据,该音频数据可为客户端发送给其他客户端的语音数据或音乐数据等。随后转到步骤S202。
在步骤S202中,音频数据处理服务器接收请求客户端的音频数据请求,请求客户端为请求接收其他客户端的语音数据或音乐数据的客户端,音频数据请求为请求接收其他客户端的语音数据或音乐数据的请求。随后音频数据处理服务器根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型。
这里的音频数据混音类型包括客户端混音以及服务器混音。客户端混音为音频数据处理客户端进行多个音频数据的混音操作,然后音频数据处理客户端对混音操作后的音频数据进行播放操作。服务器混音为音频数据处理服务器进行多个音频数据的混音操作,然后服务器将混音操作后的音频数据发送至音频数据处理客户端,由音频数据处理客户端进行播放操作。随后转到步骤S203。
在步骤S203中,音频数据处理服务器根据步骤S202获取的请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理。
具体为:
如音频数据混音类型为客户端混音时,音频数据处理服务器则直接对音频数据请求对应的客户端的音频数据进行采集操作;这里采集音频数据,并不对音频数据进行任何处理。
如音频数据混音类型为服务器混音时,音频数据处理服务器则对音频数据请求对应的客户端的音频数据依次进行解码、混音以及编码处理。具体请参照图3,图3为本发明的音频数据处理方法的第二优选实施例的步骤S203的流程图。该步骤S203包括:
步骤S301,音频数据处理服务器根据音频数据的丢包情况,对所有客户端的音频数据进行解码处理。
即音频数据处理服务器接收到音频数据码流后,确定该音频数据的丢包情况,如没有丢包的情况下,则直接使用相应的解码器对该音频数据进行解码,得到解码处理后的音频数据。如具有丢包的情况下,则使用FEC(前向纠错,ForwardErrorCorrection)冗余包恢复丢失的语音包,再使用相应的解码器对该恢复后的音频数据进行解码,得到解码处理后的音频数据。如无法对丢包进行恢复,则使用丢包补偿算法直接计算丢包前的语音包,再使用相应的解码器对计算出的音频数据进行解码。随后转到步骤S302。
步骤S302,音频数据处理服务器从步骤S301获取的解码处理后的音频数据中获取音频数据请求对应的客户端的音频数据。这里音频数据处理服务器可以将每个客户端的音频数据均存放在一数据缓冲区中,以备随时调用。这样音频数据处理服务器可根据音频数据请求获取相应的客户端的音频数据。随后转到步骤S303。
步骤S303,音频数据处理服务器将音频数据请求对应的客户端的音频数据转换为预设格式的音频数据。由于每个客户端的音频数据的格式可能与编码器的要求不一致,因此这里对所有的音频数据的格式进行统一转换,均转换为预设格式的音频数据,以便后续对应音频数据进行编码操作。随后转到步骤S304。
步骤S304,音频数据处理服务器对步骤S303获取的多路预设格式的音频数据进行混音处理,以生成一路混音处理后的音频数据。随后转到步骤S305。
步骤S305,音频数据处理服务器根据当前网络请求,对步骤S304获取的混音处理后的音频数据进行压缩编码处理。即音频数据处理服务器根据网络丢包以及网络延迟抖动情况,对混音处理后的音频数据进行FEC编码,以生成相应的音频数据编码包,以便对音频数据进行网络安全传输。随后转到步骤S204。
在步骤S204中,音频数据处理服务器将在步骤S203中获取的音频数据编码包发送至请求客户端,以便请求客户端获取混音处理后的音频数据。
如请求客户端的音频数据混音类型为客户端混音,则请求客户端获取的混音预处理后的音频数据为未经处理的多路音频数据,这样请求客户端对上述多路音频数据进行混音以及播放处理。
如请求客户端的音频数据混音类型为服务器混音,则请求客户端获取的混音预处理后的音频数据为音频数据编码包,则请求客户端可直接对音频数据编码包进行解码以及播放处理。
这样即完成了本优选实施例的音频数据处理方法的音频数据处理过程。
优选的,本优选实施例的音频数据处理方法还包括步骤:音频数据处理服务器接收请求客户端的混音类型转换请求,并根据该请求客户端的混音类型转换请求,设定请求客户端的音频数据混音类型。
即音频数据处理服务器可根据请求客户端的混音类型转换请求对请求客户端的音频数据混音类型进行转换,如将客户端混音类型的请求客户端转换为服务器混音类型的请求客户端等。
在第一优选实施例的基础上,本优选实施例的音频数据处理方法会对音频数据进行编码处理,以便对音频数据进行网络安全传输;同时还可根据请求客户端的混音类型转换请求对客户端的音频数据混音类型进行及时切换,进一步提高了不同混音方式的音频数据的传输安全性以及处理兼容性。
本发明还提供一种音频数据处理服务器,请参照图4,图4为本发明的音频数据处理服务器的第一优选实施例的结构示意图。本优选实施例的音频数据处理服务器可使用上述的音频数据处理方法的第一优选实施例进行实施。该音频数据处理服务器40包括音频数据接收模块41、混音类型获取模块42、混音预处理模块43以及发送模块44。
音频数据接收模块41用于接收客户端的音频数据。混音类型获取模块42用于接收请求客户端的音频数据请求,并根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型。混音预处理模块43用于根据请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理。发送模块44用于将混音预处理后的音频数据发送至请求客户端,以便请求客户端获取混音处理后的音频数据。
本优选实施例的音频数据处理服务器40使用时,首先音频数据接收模块41接收各个客户端的音频数据,该音频数据可为客户端发送给其他客户端的语音数据或音乐数据等。
随后混音类型获取模块42接收请求客户端的音频数据请求,请求客户端为请求接收其他客户端的语音数据或音乐数据的客户端,音频数据请求为请求接收其他客户端的语音数据或音乐数据的请求。随后混音类型获取模块42根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型。这里的音频数据混音类型可包括客户端混音以及服务器混音等。
然后混音预处理模块43根据混音类型获取模块42获取的请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理。以便相应的客户端可对混音预处理后的音频数据进行正常播放。
最后发送模块44将在混音预处理模块43中混音预处理后的音频数据发送至请求客户端,以便请求客户端获取混音处理后的音频数据。即请求客户端获取相应的混音预处理后的音频数据,随后采用相应的音频提取方式获取相应的混音处理后的音频数据,最后对获取的混音处理后的音频数据进行播放操作。
这样即完成了本优选实施例的音频数据处理服务器40的音频数据处理过程。
本优选实施例的音频数据处理服务器根据请求客户端的音频数据混音类型进行混音处理,可兼容不同混音方式的音频数据。
请参照图5,图5为本发明的音频数据处理服务器的第二优选实施例的结构示意图。本优选实施例的音频数据处理服务器可使用上述的音频数据处理方法的第二优选实施例进行实施。该音频数据处理服务器50包括音频数据接收模块51、混音类型获取模块52、混音预处理模块53、发送模块54以及混音类型转换模块55。
音频数据接收模块51用于接收客户端的音频数据。混音类型获取模块52用于接收请求客户端的音频数据请求,并根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型。混音预处理模块53用于根据请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理。发送模块54用于将混音预处理后的音频数据发送至请求客户端,以便请求客户端获取混音处理后的音频数据。混音类型转换模块55用于接收请求客户端的混音类型转换请求,并根据请求客户端的混音类型转换请求设定请求客户端的音频数据混音类型。
请参照图6,图6为本发明的音频数据处理服务器的第二优选实施例的混音预处理模块的结构示意图。该混音预处理模块53包括第一音频数据处理单元61以及第二音频数据处理单元62。
第一音频数据处理单元61用于如请求客户端的音频数据混音类型为客户端混音,则对音频数据请求对应的客户端的音频数据进行采集处理。第二音频数据处理单元62用于如请求客户端的音频数据混音类型为服务器混音,则对音频数据请求对应的客户端的音频数据依次进行解码、混音以及编码处理。
请参照图7,图7为本发明的音频数据处理服务器的第二优选实施例的混音预处理模块的第二音频数据处理单元的结构示意图。该第二音频数据处理单元62包括解码子单元71、音频数据获取子单元72、格式转换子单元73、混音处理子单元74以及压缩编码子单元75。
解码子单元71用于根据音频数据的丢包情况,对所有客户端的音频数据进行解码处理。音频数据获取子单元72用于从解码处理后的音频数据中获取音频数据请求对应的客户端的音频数据。格式转换子单元73用于将音频数据请求对应的客户端的音频数据转换为预设格式的音频数据。混音处理子单元74用于对预设格式的音频数据进行混音处理。压缩编码子单元75用于根据当前网络情况,对混音处理后的音频数据进行压缩编码处理。
本优选实施例的音频数据处理服务器50使用时,首先音频数据接收模块51接收各个客户端的音频数据,该音频数据可为客户端发送给其他客户端的语音数据或音乐数据等。
随后混音类型获取模块52接收请求客户端的音频数据请求,请求客户端为请求接收其他客户端的语音数据或音乐数据的客户端,音频数据请求为请求接收其他客户端的语音数据或音乐数据的请求。随后混音类型获取模块52根据请求客户端的音频数据请求,获取请求客户端的音频数据混音类型。
这里的音频数据混音类型包括客户端混音以及服务器混音。客户端混音为音频数据处理客户端进行多个音频数据的混音操作,然后音频数据处理客户端对混音操作后的音频数据进行播放操作。服务器混音为音频数据处理服务器进行多个音频数据的混音操作,然后服务器将混音操作后的音频数据发送至音频数据处理客户端,由音频数据处理客户端进行播放操作。
然后混音预处理模块53根据混音类型获取模块52获取的请求客户端的音频数据混音类型,对音频数据请求对应的客户端的音频数据进行混音预处理。
具体为如音频数据混音类型为客户端混音时,混音预处理模块53的第一音频数据处理单元61对则直接对音频数据请求对应的客户端的音频数据进行采集操作;这里采集音频数据,并不对音频数据进行任何处理。
如音频数据混音类型为服务器混音时,混音预处理模块53的第二音频数据处理单元62则对音频数据请求对应的客户端的音频数据依次进行解码、混音以及编码处理。该解码、混音以及编码处理的过程具体为:
第二音频数据处理单元62的解码子单元71根据音频数据的丢包情况,对所有客户端的音频数据进行解码处理。
即解码子单元71接收到音频数据码流后,确定该音频数据的丢包情况,如没有丢包的情况下,则直接使用相应的解码器对该音频数据进行解码,得到解码处理后的音频数据。如具有丢包的情况下,则使用FEC(前向纠错,ForwardErrorCorrection)冗余包恢复丢失的语音包,再使用相应的解码器对该恢复后的音频数据进行解码,得到解码处理后的音频数据。如无法对丢包进行恢复,则使用丢包补偿算法直接计算丢包前的语音包,再使用相应的解码器对计算出的音频数据进行解码。
第二音频数据处理单元62的音频数据获取子单元72从解码子单元71获取的解码处理后的音频数据中获取音频数据请求对应的客户端的音频数据。这里音频数据处理服务器可以将每个客户端的音频数据均存放在一数据缓冲区中,以备随时调用。这样音频数据处理服务器可根据音频数据请求获取相应的客户端的音频数据。
第二音频数据处理单元62的格式转换子单元73将音频数据请求对应的客户端的音频数据转换为预设格式的音频数据。由于每个客户端的音频数据的格式可能与编码器的要求不一致,因此这里对所有的音频数据的格式进行统一转换,均转换为预设格式的音频数据,以便后续对应音频数据进行编码操作。
第二音频数据处理单元62的混音处理子单元74对格式转换子单元73获取的多路预设格式的音频数据进行混音处理,以生成一路混音处理后的音频数据。
第二音频数据处理单元62的压缩编码子单元75根据当前网络请求,对混音处理子单元74获取的混音处理后的音频数据进行压缩编码处理。即音频数据处理服务器根据网络丢包以及网络延迟抖动情况,对混音处理后的音频数据进行FEC编码,以生成相应的音频数据编码包,以便对音频数据进行网络安全传输。
最后混音类型转换模块54将在发送模块53获取的音频数据编码包发送至请求客户端,以便请求客户端获取混音处理后的音频数据。
如请求客户端的音频数据混音类型为客户端混音,则请求客户端获取的混音预处理后的音频数据为未经处理的多路音频数据,这样请求客户端对上述多路音频数据进行混音以及播放处理。
如请求客户端的音频数据混音类型为服务器混音,则请求客户端获取的混音预处理后的音频数据为音频数据编码包,则请求客户端可直接对音频数据编码包进行解码以及播放处理。
这样即完成了本优选实施例的音频数据处理服务器50的音频数据处理过程。
优选的,本优选实施例的音频数据处理服务器50的混音类型转换模块55还可接收请求客户端的混音类型转换请求,并根据该请求客户端的混音类型转换请求,设定请求客户端的音频数据混音类型。
即混音类型转换模块55可根据请求客户端的混音类型转换请求对请求客户端的音频数据混音类型进行转换,如将客户端混音类型的请求客户端转换为服务器混音类型的请求客户端等。
在第一优选实施例的基础上,本优选实施例的音频数据处理服务器会对音频数据进行编码处理,以便对音频数据进行网络安全传输;同时还可根据请求客户端的混音类型转换请求对客户端的音频数据混音类型进行及时切换,进一步提高了不同混音方式的音频数据的传输安全性以及处理兼容性。
本发明还提供一种音频数据处理系统,请参照图8,图8为本发明的音频数据处理系统的第一优选实施例的结构示意图。该音频数据处理系统80包括音频数据处理服务器81以及多个客户端82、83、84。
该音频数据处理服务器81的具体工作原理与上述的音频数据处理服务器的优选实施例中的描述相同或相似,具体请参见上述音频数据处理服务器的优选实施例中的相关描述。该音频数据处理系统80中的客户端可为现有技术中的用于进行音频数据处理的客户端,如通话语音客户端等。
本优选实施例的音频数据处理系统根据请求客户端的音频数据混音类型进行混音处理,可兼容不同混音方式的音频数据。
下面通过一具体实施例说明本发明的音频数据处理系统的具体工作原理。请参照图8,图8的音频数据处理系统包括音频数据处理服务器81以及多个客户端82、83、84,其中客户端包括可进行多路音频数据的混音操作的客户端以及只能进行一路音频数据的播放操作的客户端。
本具体实施例的音频数据处理系统的工作流程包括:
一、音频数据处理服务器81保存所有客户端的音频数据混音类型。
二、音频数据处理服务器81接收某个客户端的音频数据请求,并获取该客户端的音频数据混音类型,如客户端混音或服务器混音。
三、音频数据处理服务器81根据客户端的音频数据请求,获取相应的客户端的音频数据,如客户端82同时请求客户端83和客户端84的音频数据,则音频数据处理服务器根据客户端82的音频数据请求,获取客户端83和客户端84的音频数据。
四、如客户端82的音频数据混音类型为客户端混音,则音频数据处理服务器81直接对获取的客户端83和客户端84的音频数据进行采集以及编码处理,并将编码后的音频数据发送至客户端82;
如客户端82的音频数据混音类型为服务器混音,则音频数据处理服务器81对获取的客户端83和客户端84的音频数据进行解码、混音以及编码处理,并将编码后的音频数据发送至客户端82。
五、如客户端82的音频数据混音类型为客户端混音,则客户端82接收到编码后的音频数据后,进行解码、混音以及播放处理;
如客户端82的音频数据混音类型为服务器混音,则客户端82接收到编码后的音频数据后,进行解码以及播放处理。
六、客户端82还可向音频数据处理服务器81发送混音类型转换请求,将客户端82的音频数据混音类型由客户端混音转换为服务器混音,或由服务器混音转换为客户端混音。
这样即完成了本具体实施例的音频数据处理系统80的音频数据处理过程。
本发明还提供一种音频数据处理方法,请参照图9,图9为本发明的音频数据处理方法的第三优选实施例的流程图。本优选实施例的音频数据处理方法可使用上述的电子设备,特别是音频数据处理客户端进行实施,该音频数据处理方法包括:
步骤S901,接收异地音频数据,其中异地音频数据包括一客户端标识符;
步骤S902,从异地音频数据获取客户端标识符,并根据客户端标识,确定异地音频数据的混音类型;
步骤S903,根据异地音频数据的混音类型,对异地混音数据进行播放处理。
下面详细说明本优选实施例的音频数据处理方法的各步骤的具体流程。
在步骤S901中,音频数据处理客户端接收异地音频数据,该异地音频数据可为从其他音频数据处理客户端或音频数据处理服务器上传输来的音频数据,具体可为根据音频数据处理客户端发出的音频数据请求获取的其他音频数据处理客户端上的音频数据。
该异地音频数据包括一客户端标识符,即每个音频数据处理客户端将本地音频数据发送至其他客户端或服务器时,均会在发送出去的本地音频数据上设置本地客户端标识符,以便其他客户端获知该音频数据的来源。如音频数据处理服务器对音频数据进行处理后再发送至其他客户端,则会在发送出去的音频数据上设置目的地客户端标识符,以便目的地客户端获知该音频数据经过音频数据处理服务器的处理。随后转到步骤S902。
在步骤S902中,音频数据处理客户端从步骤S901中获取异地音频数据中获取客户端标识符,并根据该客户端标识符,确定异地音频数据的混音类型。这里异地音频数据的混音类型可包括客户端混音以及服务器混音等。随后转到步骤S903。
在步骤S903中,音频数据处理客户端根据步骤S902获取的异地音频数据的混音类型,对异地混音数据进行播放处理。这样即可针对不同的混音类型的异地音频数据采用相应的播放方式进行音频数据的播放。
这样即完成了本优选实施例的音频数据处理方法的音频数据处理过程。
本发明的音频数据处理方法通过客户端标识符对音频数据的混音类型进行识别,因此可对不同混音方式的音频数据进行播放操作。
请参照图10,图10为本发明的音频数据处理方法的第四优选实施例的流程图。本优选实施例的音频数据处理方法可使用上述电子设备,特别是音频数据处理客户端进行实施,该音频数据处理方法包括:
步骤S1001,接收异地音频数据,其中异地音频数据包括一客户端标识符;
步骤S1002,从异地音频数据获取客户端标识符,并根据客户端标识,确定异地音频数据的混音类型;
步骤S1003,根据异地音频数据的混音类型,对异地混音数据进行播放处理。
下面详细说明本优选实施例的音频数据处理方法的各步骤的具体流程。
在步骤S1001中,音频数据处理客户端接收异地音频数据,该异地音频数据可为从其他音频数据处理客户端或音频数据处理服务器上传输来的音频数据,具体可为根据音频数据处理客户端发出的音频数据请求获取的其他音频数据处理客户端上的音频数据。
该异地音频数据包括一客户端标识符,即每个音频数据处理客户端将本地音频数据发送至其他客户端或服务器时,均会在发送出去的本地音频数据上设置本地客户端标识符,以便其他客户端获知该音频数据的来源。如音频数据处理服务器对音频数据进行处理后再发送至其他客户端,则会在发送出去的音频数据上设置目的地客户端标识符,以便目的地客户端获知该音频数据经过音频数据处理服务器的处理。因此如移动音频数据为客户端混音类型,则客户端标识符由其他音频数据处理客户端设置,如移动音频数据为服务器混音类型,则客户端标识符由音频数据处理服务器设置。随后转到步骤S1002。
在步骤S1002中,音频数据处理客户端从步骤S1001中获取异地音频数据中获取客户端标识符,并根据该客户端标识符,确定异地音频数据的混音类型。这里异地音频数据的混音类型可包括客户端混音以及服务器混音等。确定异地音频数据的混音类型的具体步骤请参照图11,图11为本发明的音频数据处理方法的第四优选实施例的步骤S1002的流程图。该步骤S1002包括:
步骤S1101,音频数据处理客户端判断客户端标识符是否为本地客户端标识符,如为本地客户端标识符,则转到步骤S1102;如不是本地客户端标识符,则转到步骤S1103;
步骤S1102,由于客户端标识符为本地客户端标识符,则说明异地音频数据经过音频数据处理服务器的处理,因此确定该异地音频数据为服务器混音类型;
步骤S1103,由于客户端标识符不是本地客户端标识符,则说明异地音频数据没有经过音频数据处理服务器的处理,因此确定该异地音频数据为客户端混音类型。随后转到步骤S1003。
在步骤S1003中,音频数据处理客户端根据步骤S1002获取的异地音频数据的混音类型,对异地混音数据进行播放处理。这样即可针对不同的混音类型的异地音频数据采用相应的播放方式进行音频数据的播放。具体请参照图12,图12为本发明的音频数据处理方法的第四优选实施例的步骤S1003的流程图。该步骤S1003包括:
步骤S1201,当音频数据为服务器混音类型时,由于该音频数据已经由音频数据处理服务器进行混音处理,因此音频数据处理客户端只需要对异地音频数据进行解码以及播放处理。
步骤S1202,当音频数据为客户端混音类型时,由于该音频数据没有进行混音处理,因此音频数据处理客户端需要对多路异地音频数据进行解码、混音以及播放处理。
这样即完成了本优选实施例的音频数据处理方法的音频数据处理过程。
在第一优选实施例的基础上,本优选实施例的音频数据处理方法通过本地客户端标识符的设置,对音频数据的混音类型进行识别,从而对服务器混音和客户端混音两种混音方式的音频数据进行兼容性的播放操作,进一步提高了不同混音方式的音频数据的处理兼容性。
本发明还提供一种音频数据处理客户端,请参照图13,图13为本发明的音频数据处理客户端的第一优选实施例的结构示意图。本优选实施例的音频数据处理客户端可使用上述的音频数据处理方法的第三优选实施例进行实施,该音频数据处理客户端1300包括异地音频数据接收模块1301、混音类型确定模块1302以及音频数据播放模块1303。
异地音频数据接收模块1301用于接收异地音频数据,其中异地音频数据包括一客户端标识符。混音类型确定模块1302用于从异地音频数据获取所述客户端标识符,根据客户端标识符,确定异地音频数据的混音类型。音频数据播放模块1303用于根据异地音频数据的混音类型,对异地混音数据进行播放处理。
本优选实施例的音频数据处理客户端1300使用时,首先异地音频数据接收模块1301接收异地音频数据,该异地音频数据可为从其他音频数据处理客户端或音频数据处理服务器上传输来的音频数据,具体可为根据音频数据处理客户端1300发出的音频数据请求获取的其他音频数据处理客户端上的音频数据。
该异地音频数据包括一客户端标识符,即每个音频数据处理客户端将本地音频数据发送至其他客户端或服务器时,均会在发送出去的本地音频数据上设置本地客户端标识符,以便其他客户端获知该音频数据的来源。如音频数据处理服务器对音频数据进行处理后再发送至其他客户端,则会在发送出去的音频数据上设置目的地客户端标识符,以便目的地客户端获知该音频数据经过音频数据处理服务器的处理。
随后混音类型确定模块1302从异地音频数据接收模块1301获取异地音频数据中获取客户端标识符,并根据该客户端标识符,确定异地音频数据的混音类型。这里异地音频数据的混音类型可包括客户端混音以及服务器混音等。
最后音频数据播放模块1303根据混音类型确定模块1302获取的异地音频数据的混音类型,对异地混音数据进行播放处理。这样即可针对不同的混音类型的异地音频数据采用相应的播放方式进行音频数据的播放。
这样即完成了本优选实施例的音频数据处理客户端1300的音频数据处理过程。
本发明的音频数据处理客户端通过客户端标识符对音频数据的混音类型进行识别,因此可对不同混音方式的音频数据进行播放操作。
请参照图14,图14为本发明的音频数据处理客户端的第二优选实施例的结构示意图。本优选实施例的音频数据处理客户端可使用上述的音频数据处理方法的第四优选实施例进行实施,该音频数据处理客户端1400包括异地音频数据接收模块1401、混音类型确定模块1402、音频数据播放模块1403、标识符设定模块1404以及音频数据发送模块1405。
异地音频数据接收模块1401用于接收异地音频数据,其中异地音频数据包括一客户端标识符。混音类型确定模块1402用于从异地音频数据获取客户端标识符,根据客户端标识符,确定异地音频数据的混音类型。音频数据播放模块1403用于根据异地音频数据的混音类型,对异地混音数据进行播放处理。标识符设定模块1404用于在本地音频数据上设置本地客户端标识符。音频数据发送模块1405用于将本地音频数据发送至其他客户端或服务器。
请参照图15,图15为本发明的音频数据处理客户端的第二优选实施例的混音类型确定模块的结构示意图。该混音类型确定模块1402包括标识符判断单元1501、第一混音类型确定单元1502以及第二混音类型确定单元1503。
标识符判断单元1501用于判断客户端标识符是否为本地客户端标识符。第一混音类型确定单元1502用于如客户端标识符为本地客户端标识符,则确定异地音频数据为服务器混音类型。第二混音类型确定单元1503用于如客户端标识符为非本地客户端标识,则确定异地音频数据为客户端混音类型。
请参照图16,图16为本发明的音频数据处理客户端的第二优选实施例的音频数据播放模块的结构示意图。该音频数据播放模块1403包括第一音频数据播放单元1601以及第二音频数据播放单元1602。
第一音频数据播放单元1601用于当音频数据为服务器混音类型时,对异地音频数据进行解码以及播放处理。第二音频数据播放单元1602用于当音频数据为客户端混音类型时,对异地音频数据进行解码、混音以及播放处理。
本优选实施例的音频数据处理客户端1400使用时,首先异地音频数据接收模块1401接收异地音频数据,该异地音频数据可为从其他音频数据处理客户端或音频数据处理服务器上传输来的音频数据,具体可为根据音频数据处理客户端发出的音频数据请求获取的其他音频数据处理客户端上的音频数据。
该异地音频数据包括一客户端标识符,即每个音频数据处理客户端的音频数据发送模块1405将本地音频数据发送至其他客户端或服务器时,均会通过标识符设定模块1404在发送出去的本地音频数据上设置本地客户端标识符,以便其他客户端获知该音频数据的来源。如音频数据处理服务器对音频数据进行处理后再发送至其他客户端,则会在发送出去的音频数据上设置目的地客户端标识符,以便目的地客户端获知该音频数据经过音频数据处理服务器的处理。因此如移动音频数据为客户端混音类型,则客户端标识符由其他音频数据处理客户端设置,如移动音频数据为服务器混音类型,则客户端标识符由音频数据处理服务器设置。
随后混音类型确定模块1402从异地音频数据接收模块1401获取异地音频数据中获取客户端标识符,并根据该客户端标识符,确定异地音频数据的混音类型。这里异地音频数据的混音类型可包括客户端混音以及服务器混音等。确定异地音频数据的混音类型具体流程包括:
混音类型确定模块1401的标识符判断单元1501判断客户端标识符是否为本地客户端标识符。
如为本地客户端标识符,则说明异地音频数据经过音频数据处理服务器的处理,因此混音类型确定模块1401的第一混音类型确定单元1502确定该异地音频数据为服务器混音类型。
如不是本地客户端标识符,则说明异地音频数据没有经过音频数据处理服务器的处理,因此混音类型确定模块1401的第二混音类型确定单元1503确定该异地音频数据为客户端混音类型。
然后音频数据播放模块1403根据混音类型确定模块获取的异地音频数据的混音类型,对异地混音数据进行播放处理。这样即可针对不同的混音类型的异地音频数据采用相应的播放方式进行音频数据的播放。具体流程包括:
当音频数据为服务器混音类型时,由于该音频数据已经由音频数据处理服务器进行混音处理,因此音频数据播放模块1403的第一音频数据播放单元1601只需要对异地音频数据进行解码以及播放处理。
当音频数据为客户端混音类型时,由于该音频数据没有进行混音处理,因此音频数据播放模块1403的第二音频数据播放单元1602需要对多路异地音频数据进行解码、混音以及播放处理。
这样即完成了本优选实施例的音频数据处理客户端1400的音频数据处理过程。
在第一优选实施例的基础上,本优选实施例的音频数据处理客户端通过本地客户端标识符的设置,对音频数据的混音类型进行识别,从而对服务器混音和客户端混音两种混音方式的音频数据进行兼容性的播放操作,进一步提高了不同混音方式的音频数据的处理兼容性。
本发明还提供一种音频数据处理系统,请参照图17,图17为本发明的音频数据处理系统的第二优选实施例的结构示意图。该音频数据处理系统1700包括音频数据处理服务器1701以及多个音频数据处理客户端1702、1703、1704。
该音频数据处理客户端的具体工作原理与上述的音频数据处理客户端的优选实施例中的描述相同或相似,具体请参见上述音频数据处理客户端的优选实施例中的相关描述。该音频数据处理系统1700中的音频数据处理服务器1701可为现有技术中的用于进行音频数据处理或音频数据转送的服务器,如通话语音服务器等。
本优选实施例的音频数据处理系统通过客户端标识符对音频数据的混音类型进行识别,因此可对不同混音方式的音频数据进行播放操作。
下面通过一具体实施例说明本发明的音频数据处理系统的具体工作原理。请参照图17,图17的音频数据处理系统包括音频数据处理服务器1701以及多个音频数据处理客户端1702、1703、1704,其中音频数据处理服务器包括可进行多路音频数据的混音操作的服务器以及只能进行音频数据转送的服务器。
本具体实施例的音频数据处理系统1700的工作流程包括:
一、音频数据处理服务器1701接收某个音频数据处理客户端的音频数据请求。
二、音频数据处理服务器1701根据音频数据处理客户端的音频数据请求,获取相应的音频数据处理客户端的音频数据,如音频数据处理客户端1702同时请求音频数据处理客户端1703和音频数据处理客户端1704的音频数据,则音频数据处理服务器1701根据音频数据处理客户端1702的音频数据请求,获取音频数据处理客户端1703和音频数据处理客户端1704的音频数据。
三、如音频数据处理服务器1701可对音频数据处理客户端1703和音频数据处理客户端1704的音频数据进行解码、混音以及编码处理,同时在生成编码后的音频数据上设置一音频数据处理客户端1702的客户端标识符,这样该音频数据的混音类型为服务器混音;
如音频数据处理服务器仅对音频数据处理客户端1703和音频数据处理客户端1704的音频数据分别进行编码处理,这样编码后的音频数据处理客户端1703的音频数据上依旧具有音频数据处理客户端1703的客户端标识符,编码后的音频数据处理客户端1704的音频数据上依旧具有音频数据处理客户端1704的客户端标识符,这样该音频数据的混音类型为客户端混音。
四、音频数据处理客户端1702接收到音频数据处理服务器1701发送的音频数据后,如该音频数据上设置的是音频数据处理客户端1702的客户端标识符,则判断该音频数据为服务器混音,这样对该音频数据进行解码以及播放处理。
如该音频数据上设置的是音频数据处理客户端1703和音频数据处理客户端1704的客户端标识符,则判断该音频数据为客户端混音,这样对该音频数据进行解码、混音以及播放处理。
这样即完成了本具体实施例的音频数据处理系统1700的音频数据处理过程。
本发明的音频数据处理方法、服务器以及系统根据请求客户端的音频数据混音类型进行混音处理,可兼容不同混音方式的音频数据。同时本发明的音频数据处理方法、服务器以及系统通过客户端标识符对音频数据的混音类型进行识别,因此可对不同混音方式的音频数据进行播放操作;解决了现有的音频数据处理方法、服务器、客户端以及系统中不同混音方式的用户难以在同一通话系统中进行通话的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体:硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示,运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内,并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
而且,要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任意组合以控制计算机实现所公开的主题的方法、装置或制造品。本文所使用的术语“制造品”旨在包含可从任意计算机可读设备、载体或介质访问的计算机程序。当然,本领域技术人员将认识到可以对该配置进行许多修改,而不脱离要求保护的主题的范围或精神。
图18和随后的讨论提供了对实现本发明所述的音频数据处理服务器及客户端所在的电子设备的工作环境的简短、概括的描述。图18的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1812包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。
尽管没有要求,但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块,比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地,该计算机可读指令的功能可以在各种环境中随意组合或分布。
图18图示了包括本发明的音频数据处理服务器及客户端的一个或多个实施例的电子设备1812的实例。在一种配置中,电子设备1812包括至少一个处理单元1816和存储器1818。根据电子设备的确切配置和类型,存储器1818可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图18中由虚线1814图示。
在其他实施例中,电子设备1812可以包括附加特征和/或功能。例如,设备1812还可以包括附加的存储装置(例如可移除和/或不可移除的),其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图18中由存储装置1820图示。在一个实施例中,用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1820中。存储装置1820还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1818中由例如处理单元1816执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1818和存储装置1820是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1812访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1812的一部分。
电子设备1812还可以包括允许电子设备1812与其他设备通信的通信连接1826。通信连接1826可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1812连接到其他电子设备的其他接口。通信连接1826可以包括有线连接或无线连接。通信连接1826可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据,并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号:该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备1812可以包括输入设备1824,比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1812中也可以包括输出设备1822,比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1824和输出设备1822可以经由有线连接、无线连接或其任意组合连接到电子设备1812。在一个实施例中,来自另一个电子设备的输入设备或输出设备可以被用作电子设备1812的输入设备1824或输出设备1822。
电子设备1812的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中,电子设备1812的组件可以通过网络互连。例如,存储器1818可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到,用于存储计算机可读指令的存储设备可以跨越网络分布。例如,可经由网络1828访问的电子设备1830可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1812可以访问电子设备1830并且下载计算机可读指令的一部分或所有以供执行。可替代地,电子设备1812可以按需要下载多条计算机可读指令,或者一些指令可以在电子设备1812处执行并且一些指令可以在电子设备1830处执行。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反,词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即,除非另外指定或从上下文中清楚,“X使用A或B”意指自然包括排列的任意一个。即,如果X使用A;X使用B;或X使用A和B二者,则“X使用A或B”在前述任一示例中得到满足。
而且,尽管已经相对于一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (20)

1.一种音频数据处理方法,其特征在于,包括:
接收客户端的音频数据;
接收请求客户端的音频数据请求,并根据所述请求客户端的音频数据请求,获取所述请求客户端的音频数据混音类型;
根据所述请求客户端的音频数据混音类型,对所述音频数据请求对应的客户端的音频数据进行混音预处理;以及
将混音预处理后的音频数据发送至所述请求客户端,以便所述请求客户端获取混音处理后的音频数据。
2.根据权利要求1所述的音频数据处理方法,其特征在于,所述请求客户端的音频数据混音类型包括客户端混音以及服务器混音;
所述根据所述请求客户端的音频数据混音类型,对所述音频数据请求对应的客户端的音频数据进行混音预处理的步骤包括:
如所述请求客户端的音频数据混音类型为客户端混音,则对所述音频数据请求对应的客户端的音频数据进行采集处理;以及
如所述请求客户端的音频数据混音类型为服务器混音,则对所述音频数据请求对应的客户端的音频数据依次进行解码、混音以及编码处理。
3.根据权利要求2所述的音频数据处理方法,其特征在于,所述对所述音频数据请求对应的客户端的音频数据依次进行解码、混音以及编码处理的步骤包括:
根据所述音频数据的丢包情况,对所有客户端的音频数据进行解码处理;
从解码处理后的音频数据中获取所述音频数据请求对应的客户端的音频数据;
将所述音频数据请求对应的客户端的音频数据转换为预设格式的音频数据;
对所述预设格式的音频数据进行混音处理;以及
根据当前网络情况,对混音处理后的音频数据进行压缩编码处理。
4.根据权利要求1所述的音频数据处理方法,其特征在于,所述音频数据处理方法还包括:
接收所述请求客户端的混音类型转换请求,并根据所述请求客户端的混音类型转换请求设定所述请求客户端的音频数据混音类型。
5.一种音频数据处理服务器,其特征在于,包括:
音频数据接收模块,用于接收客户端的音频数据;
混音类型获取模块,用于接收请求客户端的音频数据请求,并根据所述请求客户端的音频数据请求,获取所述请求客户端的音频数据混音类型;
混音预处理模块,用于根据所述请求客户端的音频数据混音类型,对所述音频数据请求对应的客户端的音频数据进行混音预处理;以及
发送模块,用于将混音预处理后的音频数据发送至所述请求客户端,以便所述请求客户端获取混音处理后的音频数据。
6.根据权利要求5所述的音频数据处理服务器,其特征在于,所述请求客户端的音频数据混音类型包括客户端混音以及服务器混音;
其中所述混音预处理模块包括:
第一音频数据处理单元,用于如所述请求客户端的音频数据混音类型为客户端混音,则对所述音频数据请求对应的客户端的音频数据进行采集处理;以及
第二音频数据处理单元,用于如所述请求客户端的音频数据混音类型为服务器混音,则对所述音频数据请求对应的客户端的音频数据依次进行解码、混音以及编码处理。
7.根据权利要求6所述的音频数据处理服务器,其特征在于,所述第二音频数据处理单元包括:
解码子单元,用于根据所述音频数据的丢包情况,对所有客户端的音频数据进行解码处理;
音频数据获取子单元,用于从解码处理后的音频数据中获取所述音频数据请求对应的客户端的音频数据;
格式转换子单元,用于将所述音频数据请求对应的客户端的音频数据转换为预设格式的音频数据
混音处理子单元,用于对所述预设格式的音频数据进行混音处理;以及
压缩编码子单元,用于根据当前网络情况,对混音处理后的音频数据进行压缩编码处理。
8.根据权利要求5所述的音频数据处理服务器,其特征在于,所述音频数据处理服务器还包括:
混音类型转换模块,用于接收所述请求客户端的混音类型转换请求,并根据所述请求客户端的混音类型转换请求设定所述请求客户端的音频数据混音类型。
9.一种音频数据处理系统,其特征在于,包括权利要求5-8中任一的音频数据处理服务器以及多个客户端。
10.一种音频数据处理方法,其特征在于,包括:
接收异地音频数据,其中所述异地音频数据包括一客户端标识符;
从所述异地音频数据获取所述客户端标识符,并根据所述客户端标识符,确定所述异地音频数据的混音类型;以及
根据所述异地音频数据的混音类型,对所述异地混音数据进行播放处理。
11.根据权利要求10所述的音频数据处理方法,其特征在于,所述根据所述客户端标识符,确定所述异地音频数据的混音类型的步骤包括:
判断所述客户端标识符是否为本地客户端标识符;
如所述客户端标识符为本地客户端标识符,则确定所述异地音频数据为服务器混音类型;
如所述客户端标识符为非本地客户端标识,则确定所述异地音频数据为客户端混音类型。
12.根据权利要求10所述的音频数据处理方法,其特征在于,所述根据所述异地音频数据的混音类型,对所述异地混音数据进行播放处理的步骤包括:
当所述音频数据为服务器混音类型时,对所述异地音频数据进行解码以及播放处理;以及
当所述音频数据为客户端混音类型时,对所述异地音频数据进行解码、混音以及播放处理。
13.根据权利要求10所述的音频数据处理方法,其特征在于,所述音频数据处理方法还包括:
在本地音频数据上设置本地客户端标识符;以及
将所述本地音频数据发送至其他客户端或服务器。
14.根据权利要求10所述的音频数据处理方法,其特征在于,如所述移动音频数据为服务器混音类型,则所述客户端标识符由音频数据处理服务器设置到所述异地音频数据中。
15.一种音频数据处理客户端,其特征在于,包括:
异地音频数据接收模块,用于接收异地音频数据,其中所述异地音频数据包括一客户端标识符;
混音类型确定模块,用于从所述异地音频数据获取所述客户端标识符,根据所述客户端标识符,确定所述异地音频数据的混音类型;以及
音频数据播放模块,用于根据所述异地音频数据的混音类型,对所述异地混音数据进行播放处理。
16.根据权利要求15所述的音频数据处理客户端,其特征在于,所述混音类型确定模块包括:
标识符判断单元,用于判断所述客户端标识符是否为本地客户端标识符;
第一混音类型确定单元,用于如所述客户端标识符为本地客户端标识符,则确定所述异地音频数据为服务器混音类型;
第二混音类型确定单元,用于如所述客户端标识符为非本地客户端标识,则确定所述异地音频数据为客户端混音类型。
17.根据权利要求15所述的音频数据处理客户端,其特征在于,所述音频数据播放模块包括:
第一音频数据播放单元,用于当所述音频数据为服务器混音类型时,对所述异地音频数据进行解码以及播放处理;
第二音频数据播放单元,用于当所述音频数据为客户端混音类型时,对所述异地音频数据进行解码、混音以及播放处理。
18.根据权利要求15所述的音频数据处理客户端,其特征在于,所述音频数据处理客户端包括:
标识符设定模块,用于在本地音频数据上设置本地客户端标识符;以及
音频数据发送模块,用于将所述本地音频数据发送至其他客户端或服务器。
19.根据权利要求15所述的音频数据处理客户端,其特征在于,如所述移动音频数据为服务器混音类型,则所述客户端标识符由音频数据处理服务器设置到所述异地音频数据中。
20.一种音频数据处理系统,其特征在于,包括多个权利要求15-19中任一的音频数据处理客户端以及至少一个音频数据处理服务器。
CN201610092373.5A 2016-02-18 2016-02-18 音频数据处理方法、服务器、客户端以及系统 Active CN105721469B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610092373.5A CN105721469B (zh) 2016-02-18 2016-02-18 音频数据处理方法、服务器、客户端以及系统
US15/764,737 US11196868B2 (en) 2016-02-18 2017-02-14 Audio data processing method, server, client and server, and storage medium
MYPI2018700977A MY189870A (en) 2016-02-18 2017-02-14 Audio data processing method, server, client and server
PCT/CN2017/073483 WO2017140235A1 (zh) 2016-02-18 2017-02-14 音频数据处理方法、服务器、客户端以及系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610092373.5A CN105721469B (zh) 2016-02-18 2016-02-18 音频数据处理方法、服务器、客户端以及系统

Publications (2)

Publication Number Publication Date
CN105721469A true CN105721469A (zh) 2016-06-29
CN105721469B CN105721469B (zh) 2019-09-20

Family

ID=56156111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610092373.5A Active CN105721469B (zh) 2016-02-18 2016-02-18 音频数据处理方法、服务器、客户端以及系统

Country Status (4)

Country Link
US (1) US11196868B2 (zh)
CN (1) CN105721469B (zh)
MY (1) MY189870A (zh)
WO (1) WO2017140235A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017140235A1 (zh) * 2016-02-18 2017-08-24 腾讯科技(深圳)有限公司 音频数据处理方法、服务器、客户端以及系统、存储介质
CN109889549A (zh) * 2019-04-03 2019-06-14 海能达通信股份有限公司 媒体数据下发方法及装置、关键任务一键通系统
CN110536171A (zh) * 2019-08-26 2019-12-03 腾讯科技(深圳)有限公司 互动场景中的多媒体处理方法、装置及电子设备
CN111768782A (zh) * 2020-06-30 2020-10-13 广州酷狗计算机科技有限公司 音频识别方法、装置、终端及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220208210A1 (en) * 2019-02-19 2022-06-30 Sony Interactive Entertainment Inc. Sound output control apparatus, sound output control system, sound output control method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984353A (zh) * 2006-04-19 2007-06-20 华为技术有限公司 一种实现混音的方法和装置
CN103327014A (zh) * 2013-06-06 2013-09-25 腾讯科技(深圳)有限公司 一种语音处理方法、装置及系统
WO2014085093A1 (en) * 2012-11-29 2014-06-05 Dolby Laboratories Licensing Corporation Systems for providing services in a voice conferencing environment
CN104917671A (zh) * 2015-06-10 2015-09-16 腾讯科技(深圳)有限公司 基于移动终端的音频处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945006B2 (en) * 2004-06-24 2011-05-17 Alcatel-Lucent Usa Inc. Data-driven method and apparatus for real-time mixing of multichannel signals in a media server
US7769806B2 (en) * 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8407287B2 (en) * 2009-07-14 2013-03-26 Radvision Ltd. Systems, methods, and media for identifying and associating user devices with media cues
US8958567B2 (en) * 2011-07-07 2015-02-17 Dolby Laboratories Licensing Corporation Method and system for split client-server reverberation processing
US20140369528A1 (en) * 2012-01-11 2014-12-18 Google Inc. Mixing decision controlling decode decision
CN103248882A (zh) * 2012-02-02 2013-08-14 腾讯科技(深圳)有限公司 多媒体数据传输的方法、多媒体数据传输装置及系统
WO2014100374A2 (en) * 2012-12-19 2014-06-26 Rabbit, Inc. Method and system for content sharing and discovery
CN104137523B (zh) * 2012-12-31 2017-02-08 华为技术有限公司 一种实现会议接入的方法、设备和系统
US20160196131A1 (en) * 2014-07-07 2016-07-07 Symphony Teleca Corporation Remote Embedded Device Update Platform Apparatuses, Methods and Systems
US10511718B2 (en) * 2015-06-16 2019-12-17 Dolby Laboratories Licensing Corporation Post-teleconference playback using non-destructive audio transport
CN105721469B (zh) 2016-02-18 2019-09-20 腾讯科技(深圳)有限公司 音频数据处理方法、服务器、客户端以及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984353A (zh) * 2006-04-19 2007-06-20 华为技术有限公司 一种实现混音的方法和装置
WO2014085093A1 (en) * 2012-11-29 2014-06-05 Dolby Laboratories Licensing Corporation Systems for providing services in a voice conferencing environment
CN103327014A (zh) * 2013-06-06 2013-09-25 腾讯科技(深圳)有限公司 一种语音处理方法、装置及系统
CN104917671A (zh) * 2015-06-10 2015-09-16 腾讯科技(深圳)有限公司 基于移动终端的音频处理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017140235A1 (zh) * 2016-02-18 2017-08-24 腾讯科技(深圳)有限公司 音频数据处理方法、服务器、客户端以及系统、存储介质
US11196868B2 (en) 2016-02-18 2021-12-07 Tencent Technology (Shenzhen) Company Limited Audio data processing method, server, client and server, and storage medium
CN109889549A (zh) * 2019-04-03 2019-06-14 海能达通信股份有限公司 媒体数据下发方法及装置、关键任务一键通系统
CN110536171A (zh) * 2019-08-26 2019-12-03 腾讯科技(深圳)有限公司 互动场景中的多媒体处理方法、装置及电子设备
CN111768782A (zh) * 2020-06-30 2020-10-13 广州酷狗计算机科技有限公司 音频识别方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN105721469B (zh) 2019-09-20
WO2017140235A1 (zh) 2017-08-24
MY189870A (en) 2022-03-15
US11196868B2 (en) 2021-12-07
US20180270360A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN105721469A (zh) 音频数据处理方法、服务器、客户端以及系统
KR101528367B1 (ko) 사운드 제어 시스템 및 사운드 제어 방법
US8386652B2 (en) Mobile computing device with adaptive response based on accessory firmware
US20180035143A1 (en) Popping-screen push system and method
WO2022227818A1 (zh) 用于配网的方法、装置和智能家居设备
CN109521956A (zh) 一种基于区块链的云存储方法、装置、设备及存储介质
CN102427465A (zh) 语音服务代理方法及装置、通过代理集成语音应用的系统
CN109634912B (zh) 数据迁移方法及系统
CN106572146A (zh) 消息发送方法及消息发送装置
CN105141567A (zh) 终端应用和服务端的交互数据处理方法及系统、交互方法
CN106776639A (zh) 基于结构化查询语言的数据处理方法及数据处理装置
CN104618418A (zh) 播放多媒体文件的方法及装置
CN111356023B (zh) 播放方式确定方法及装置
CN110602338B (zh) 音频处理方法、装置、系统、存储介质以及设备
CN112055251A (zh) 一种媒体数据播放方法、装置、设备及存储介质
CN108551481A (zh) 一种文件上传方法、装置、服务器及存储介质
CN103907311B (zh) 来自移动设备的远程访问
CN109889922A (zh) 流媒体数据的转发方法、装置、设备和存储介质
CN108829646A (zh) 数据存储及解析方法、装置、系统及存储介质
CN105391702A (zh) 音/视频通信方法、终端、服务器及平台
CN104754400B (zh) 一种基于移动终端的封套信息共享方法及装置
CN113342811A (zh) HBase表格数据处理方法及装置
CN112533185B (zh) 一种音响配网方法、装置、计算机设备和存储介质
JP2007317021A (ja) コンテンツ再生システム、コンテンツサーバ、およびコンテンツ変換プログラム
CN114500651A (zh) 一种区块链数据传输方法、装置和设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant