CN115631758A - 音频信号处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明提供了一种音频信号处理方法、装置、设备和存储介质，应用于计算机领域和互联网领域。该方法可以应用于音频接收端，音频信号处理方法包括：解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值；按照预设规则处理初始延迟值，生成与第一音频播放装置对应的目标延迟值；以及根据目标延迟值与参考音频信号，生成与第一音频播放装置对应的目标对比音频信号；其中，音频播放装置包括第一音频播放装置和第二音频播放装置，与第一音频播放装置对应的目标音频信号为目标对比音频信号，与第二音频播放装置对应的目标音频信号为参考音频信号。通过本方案可以提升音频信号的播放效果，减少音频信号延迟。

Description

音频信号处理方法、装置、设备和存储介质

技术领域

本发明涉及计算机领域和互联网领域，具体地涉及一种音频信号处理方法、装置、设备和存储介质。

背景技术

随着互联网技术的快速发展，用户可以基于网络通信技术实现文档、音频、视频等信息的交互，从而方便快捷地获取到所需的信息。而随着互联网通信需求的激增，以及用户在通信过程中对于信息获取的实时性需求的增强，信息在网络传输过程中通常会出现信息传输延迟、信息传输错误等情况。例如在网络语音通话等音频信号交互的应用场景中，可能会出现音频信号传输延迟、音频信号质量降低等情况，难以满足用户对于高质量音频通话的实际需求。

发明内容

鉴于上述问题，本发明提供了音频信号处理方法、装置、设备和存储介质。

根据本发明的第一个方面，提供了一种音频信号处理方法，其特征在于，应用于音频接收端，该音频信号处理方法包括：解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值；按照预设规则处理上述初始延迟值，生成与第一音频播放装置对应的目标延迟值；以及根据上述目标延迟值与上述参考音频信号，生成与上述第一音频播放装置对应的目标对比音频信号；其中，音频播放装置包括上述第一音频播放装置和第二音频播放装置，与上述第一音频播放装置对应的目标音频信号为上述目标对比音频信号，与上述第二音频播放装置对应的目标音频信号为上述参考音频信号。

本发明的第二方面提供了一种音频信号处理方法，应用于音频发送端，该音频信号处理方法包括：从M个音频信号中确定参考音频信号，其中，M为大于1的正整数；对M个上述音频信号中除上述参考音频信号之外的对比音频信号，进行相位延迟处理，得到与上述对比音频信号对应的初始延迟值；基于上述参考音频信号和上述初始延迟值，生成音频信息报文；以及向音频接收端发送上述音频信息报文，以便上述音频接收端根据上述音频信息报文生成与音频播放装置对应的目标音频信号。

本发明的第三方面提供了一种音频信号处理装置，安装音频接收端，上述音频信号处理装置包括：解析模块，用于解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值；延迟处理模块，用于按照预设规则处理上述初始延迟值，生成与第一音频播放装置对应的目标延迟值；以及目标对比音频信号生成模块，用于根据上述目标延迟值与上述参考音频信号，生成与上述第一音频播放装置对应的目标对比音频信号；其中，音频播放装置包括上述第一音频播放装置和第二音频播放装置，与上述第一音频播放装置对应的目标音频信号为上述目标对比音频信号，与上述第二音频播放装置对应的目标音频信号为上述参考音频信号。

本发明的第四方面提供了一种音频信号处理装置，安装于音频发送端，上述音频信号处理装置包括：参考音频信号确定模块，用于从M个音频信号中确定参考音频信号，其中，M为大于1的正整数；相位延迟处理模块，用于对M个上述音频信号中除上述参考音频信号之外的对比音频信号，进行相位延迟处理，得到与上述对比音频信号对应的初始延迟值；音频信息报文生成模块，用于基于上述参考音频信号和上述初始延迟值，生成音频信息报文；以及发送模块，用于向音频接收端发送上述音频信息报文，以便上述音频接收端根据上述音频信息报文生成与音频播放装置对应的目标音频信号。

本发明的第五方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得一个或多个处理器执行上述音频信号处理方法。

本发明的第六方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述音频信号处理方法。

根据本发明提供的音频信号处理方法、装置、设备和存储介质，通过对解析得到的初始延迟值进行处理后得到目标延迟值，再生成与第一音频播放装置对应的目标对比音频信号，可以至少部分克服相关技术中需要对多个音频信号进行解码以得到与音频播放装置对应的音频信号的处理过程，减少了音频信号的处理时长，提升音频信号传输的整体效率。同时基于能够提升音频播放效果的预设规则生成目标对比音频信号，可以对增强音频信息报文中的音频信号的播放效果。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚。

图1示意性示出了根据本发明实施例的音频信号处理方法、装置的应用场景图。

图2示意性示出了根据本发明实施例的应用于音频接收端的音频信号处理方法的流程图。

图3示意性示出了根据本发明实施例的应用于音频发送端的音频信号处理方法的流程图。

图4a示意性示出了根据本发明实施例的音频采集设备的示意图。

图4b示意性示出了根据本发明实施例的音频采集装置的示意图。

图5示意性示出了根据本发明实施例的音频信号处理方法的应用场景图。

图6示意性示出了根据本发明实施例的音频信号处理装置的结构框图。

图7示意性示出了根据本发明另一实施例的音频信号处理装置的结构框图。

图8示意性示出了根据本发明实施例的适于实现音频信号处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

在本发明的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、发明和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本发明的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

本发明的实施例提供了一种音频信号处理方法，可以应用于音频接收端，该音频信号处理方法包括：解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值；按照预设规则处理初始延迟值，生成与第一音频播放装置对应的目标延迟值；以及根据目标延迟值与参考音频信号，生成与第一音频播放装置对应的目标对比音频信号；其中，音频播放装置包括第一音频播放装置和第二音频播放装置，与第一音频播放装置对应的目标音频信号为目标对比音频信号，与第二音频播放装置对应的目标音频信号为参考音频信号。

根据本发明的实施例，通过对解析得到的初始延迟值进行处理后得到目标延迟值，再生成与第一音频播放装置对应的目标对比音频信号，可以至少部分克服相关技术中需要对多个音频信号进行解码以得到与音频播放装置对应的音频信号的处理过程，减少了音频信号的处理时长，提升音频信号传输的整体效率。同时基于能够提升音频播放效果的预设规则生成目标对比音频信号，可以对增强音频信息报文中的音频信号的播放效果。

本发明的实施例还提供了一种音频信号处理方法，可以应用于音频发送端，该音频信号处理方法包括：从M个音频信号中确定参考音频信号，其中，M为大于1的正整数；对M个音频信号中除参考音频信号之外的对比音频信号，进行相位延迟处理，得到与对比音频信号对应的初始延迟值；基于参考音频信号和初始延迟值，生成音频信息报文；以及向音频接收端发送音频信息报文，以便音频接收端根据音频信息报文生成与音频播放装置对应的目标音频信号。

根据本发明的实施例，通过对M个音频信号中的对比音频信号进行延迟处理，然后基于得到的初始延迟值和参考音频信号生成音频信息报文，可以至少部分降低了音频信息报文的数据量，减少音频信息报文的带宽占用空间，至少部分解决相关技术中音频信号传输中造成的网络拥堵问题，进而可以实现提升音频信号的传输效率的技术效果。

图1示意性示出了根据本发明实施例的音频信号处理方法、装置的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104、第一服务器105、第二服务器106和音频播放设备107。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

需要说明的是，终端设备101、102、103可以安装有一个或多个音频采集装置，用以采集一个或多个音频信号。或者，终端设备101、102、103可以通过接收其他设备发送的一个或多个音频信号。

第一服务器105和第二服务器106可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。

音频播放设备107可以是用于根据音频信号播放音频信息的设备，例如音箱设备等。应该理解的是，音频播放设备107可以具有一个或多个音频播放装置，例如音箱喇叭，该些音频播放装置各自可以具有相应的位置。

需要说明的是，本发明实施例所提供的应用于音频发送端的音频信号处理方法一般可以由第一服务器105执行。相应地，本发明实施例所提供的应用于音频发送端的音频信号处理装置一般可以设置于第一服务器105中。相应地，本发明实施例所提供的应用于音频发送端的音频信号处理方法还可以由终端设备101、102、103执行。相应地，本发明实施例所提供的应用于音频发送端的音频信号处理装置还可以设置于第一服务器105中。本发明实施例所提供的数据处理方法也可以由不同于第一服务器105且能够与终端设备101、102、103和/或第一服务器105通信的服务器或服务器集群执行。本发明实施例所提供的应用于音频发送端的音频信号处理方法也可以由不同于第一服务器105且能够与终端设备101、102、103和/或第一服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的应用于音频发送端的音频信号处理装置也可以设置于不同于第一服务器105且能够与终端设备101、102、103和/或第一服务器105通信的服务器或服务器集群中。

应该理解的是，本发明实施例所提供的应用于音频接收端的音频信号处理方法一般可以由第二服务器106执行。相应地，本发明实施例所提供的应用于音频接收端的音频信号处理装置一般可以设置于第二服务器106中。本发明实施例所提供的应用于音频接收端的音频信号处理方法还可以由能够与终端设备101、102、103和/或第一服务器105通信的其他终端设备和/或其他服务器执行。相应地，本发明实施例所提供的应用于音频接收端的音频信号处理装置还可以设置在能够与终端设备101、102、103和/或第一服务器105通信的其他终端设备和/或其他服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2~图5对本发明实施例的音频信号处理方法进行详细描述。

图2示意性示出了根据本发明实施例的应用于音频接收端的音频信号处理方法的流程图。

如图2所示，该实施例的音频信号处理方法，可以应用于音频接收端，该音频信号处理方法包括操作S210~操作S230。

在操作S210，解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值。

根据本发明的实施例，音频信息报文可以是基于任意报文协议封装后得到的，本发明的实施例对音频信息报文的具体封装格式不做限定，本领域技术人员可以根据实际需求进行选择。

根据本发明的实施例，初始延迟值可以表征对比音频信号相对于参考音频信号的相位延迟信息，每个对比音频信号可以各自对应有初始延迟值，从而可以通过参考音频信号和初始延迟值来至少部分表征对比音频信号的音频信息。

在操作S220，按照预设规则处理初始延迟值，生成与第一音频播放装置对应的目标延迟值。

在操作S230，根据目标延迟值与参考音频信号，生成与第一音频播放装置对应的目标对比音频信号；其中，音频播放装置包括第一音频播放装置和第二音频播放装置，与第一音频播放装置对应的目标音频信号为目标对比音频信号，与第二音频播放装置对应的目标音频信号为参考音频信号。

根据本发明的实施例，预设规则可以包括基于第一音频播放装置的音频播放属性来设定，例如可以基于第一音频播放装置的音频播放位置，音频播放风格等音频播放属性设定预设规则。通过预设规则处理后得到的目标延迟值，可以使后续生成的目标对比音频信号更符合对应的第一音频播放装置的音频播放属性，从而可以通过第一音频播放装置和第二音频播放装置各自对应的目标音频信号来提升音频信息报文的整体音频播放效果。

需要说明的是，本发明的实施例对初始延迟值、参考音频信号、第一音频播放装置和第二音频播放装置各自的数量不做限定，本领域技术人员可以根据实际需求进行设计。

根据本发明的实施例，通过对解析得到的初始延迟值进行处理后得到目标延迟值，再生成与第一音频播放装置对应的目标对比音频信号，可以至少部分克服相关技术中需要对多个音频信号进行解码以得到与音频播放装置对应的音频信号的处理过程，减少了音频信号的处理时长，提升音频信号传输的整体效率。同时基于能够提升音频播放效果的预设规则生成目标对比音频信号，可以对增强音频信息报文中的音频信号的播放效果。

根据本发明的实施例，初始延迟值的数量包括M-1，第一音频播放装置的数量包括N，N≠M，M为大于1的正整数，N为正整数。

操作S220中，按照预设规则处理初始延迟值，生成与第一音频播放装置对应的目标延迟值可以包括如下操作。

基于预设插值算法处理M-1个初始延迟值，得到N个第一音频播放装置各自对应的目标延迟值。

根据本发明的实施例，在第一音频播放装置的数量N与初始延迟值的数量不同的时候，难以根据音频信息报文中的初始延迟值来生成与第一音频播放装置一一对应的目标音频信号。通过预设插值算法处理M-1个初始延迟值，可以生成与第一音频播放装置各自对应的目标延迟值，从而可以满足与音频接收端的音频播放需求，至少部分避免了相关技术中根据音频接收端的音频播放装置的数量来设定音频发送端的音频采集装置的数量的问题，减少了对于音频发送端的音频采集装置的数量要求，至少部分提升了音频的播放效果。

根据本发明的实施例，预设插值算法可以包括相关技术中的任意插值算法（也称插值缩放算法），例如最近邻插值法（Nearest Neighbour Interpolation）、牛顿插值算法、拉格朗日插值算法等，本发明的实施例对预设插值算法的具体类型不做限定，只要能够满足生成与第一音频播放装置的数量对应的目标延迟值即可。

在本发明的一个实施例中，在N＞M的情况下，即第一音频播放装置的数量大于初始延迟值的数量的情况下，通过本发明的实施例提供的音频信号处理方法可以至少部分减少采集音频信号的音频采集装置的数量，在保障音频播放效果的情况下，降低音频采集成本。

根据本发明的实施例，音频信息报文还包括与初始延迟值对应的音频对比位置。

音频信号处理方法还可以包括如下操作：

按照预设规则处理音频对比位置，得到与第一音频播放装置对应的目标音频对比位置。

其中，根据目标延迟值与参考音频信号，生成与第一音频播放装置对应的目标对比音频信号可以包括如下操作。

根据与第一音频播放装置对应的目标延迟值和目标音频对比位置，对参考音频信号进行信号转换，得到与第一音频播放装置对应的目标对比音频信号。

根据本发明的实施例，音频对比位置包括M-1个，第一音频播放装置包括N个，N≠M，M为大于1的正整数，N为正整数。

上述操作中，按照预设规则处理音频对比位置，得到与第一音频播放装置对应的目标音频对比位置可以包括如下操作：

基于预设插值算法处理M-1个音频对比位置，得到N个第一音频播放装置各自对应的目标音频对比位置。

根据本发明的实施例，通过生成与第一音频播放装置对应的目标音频对比位置，可以使后续生成的目标对比音频信号更加准确地表征第一音频播放装置的音频播放位置，从而可以通过多个音频播放装置来有效地模拟音频播放声场，至少部分实现立体声播放效果，以提升用户的音频收听体验。

应该理解的是，用于音频对比位置的预设插值算法，可以与用于处理初始延迟值的预设插值算法相同，也可以基于第一音频播放装置各自的播放位置，选择不同的预设插值算法，本发明的实施例对预设插值算法的具体算法类型不做限定。

图3示意性示出了根据本发明实施例的应用于音频发送端的音频信号处理方法的流程图。

如图3所示，该实施例的音频信号处理方法，可以应用于音频发送端，该音频信号处理方法包括操作S310~操作S340。

在操作S310，从M个音频信号中确定参考音频信号，其中，M为大于1的正整数。

在操作S320，对M个音频信号中除参考音频信号之外的对比音频信号，进行相位延迟处理，得到与对比音频信号对应的初始延迟值。

在操作S330，基于参考音频信号和初始延迟值，生成音频信息报文。

在操作S340，向音频接收端发送音频信息报文，以便音频接收端根据音频信息报文生成与音频播放装置对应的目标音频信号。

根据本发明的实施例，参考音频信号可以基于任意规则从M个音频信号中确定，例如可以基于音频信号各自的信号质量、音频信号各自包含的音频信息等音频属性信息来确定参考音频信号。本发明的实施例对音频信号的具体确定方式不做限定，本领域技术人员可以根据实际需求进行设计。相应地，参考音频信号的数量可以是一个或多个，本领域技术人员可以根据实际需求选择相应数量的参考音频信号，本发明的实施例对参考音频信号的数量不做限定，只要能够满足参考音频信号的数量小于音频信号的数量M个即可。

根据本发明的实施例，初始延迟值可以是相对于参考音频信号的信号相位的延迟值，通过将初始延迟值和参考音频信号处理后生成音频信息报文，可以至少避免相关技术中将M个音频信号全部打包处理后生成音频信息报文所造成的报文数据量较大的技术问题，减少音频信息报文占用的网络带宽，从而至少部分解决相关技术中，音频信息的传输延迟、卡顿的技术问题，提升音频信号的传输效率。

需要说明的是，可以基于相关技术中的硬件来处理对比音频信号，例如包含有维纳滤波器、LMS（Least Mean Square）自适应算法电路的比较电路来处理对比音频信号，从而得到相应的初始延迟值。但不仅限于此，还可以基于相关程序语言编辑后得到的软件程序来处理对比音频信号，本发明的实施例对得到初始延迟值的具体方式不做限定，本领域技术人员可以根据实际需求进行设计。

根据本发明的实施例，通过对M个音频信号中的对比音频信号进行延迟处理，然后基于得到的初始延迟值和参考音频信号生成音频信息报文，可以至少部分降低了音频信息报文的数据量，减少音频信息报文的带宽占用空间，至少部分解决相关技术中音频信号传输中造成的网络拥堵问题，进而可以实现提升音频信号的传输效率的技术效果。

根据本发明的实施例，音频信号处理方法还可以包括如下操作。

利用M个音频采集装置分别采集M个音频信号，其中，M个音频采集装置与M个音频信号一一对应。

根据本发明的实施例，音频采集装置可以分别设置在不同的音频采集设备上，例如可以基于M个便携式麦克风来分别采集相对应的音频信号。或者多个音频采集装置还可以安装在同一音频采集设备中，本发明的实施例对音频采集装置的具体安装形式不做限定，本领域技术人员可以根据实际需求进行选择。

根据本发明的实施例，M个音频采集装置呈阵列形式安装于音频采集设备上。

图4a示意性示出了根据本发明实施例的音频采集设备的示意图。

图4b示意性示出了根据本发明实施例的音频采集装置的示意图。

结合图4a和图4b所示，音频采集设备400可以包括基于相控阵技术制备得到的蜂巢麦克风，该音频采集设备400（即蜂巢麦克风）的部分区域410可以包括基于阵列形式排列的多个音频采集装置（即音频采集信道）411。相应地，每个音频采集装置411各自可以具有相应的音频采集位置等音频采集属性信息。

需要说明的是，每个音频采集装置还可以采集到产生音频信号的发声源的位置，发生源的位置也可以确定为音频位置。

根据本发明的实施例，音频信号处理方法还可以包括如下操作：

根据M个音频信号各自对应的初始音频位置，确定对比音频信号相对于参考音频信号的音频对比位置。

操作S330中，基于参考音频信号和初始延迟值，生成音频信息报文包括如下操作。

按照预设打包规则处理参考音频信号，以及与对比音频信号相对应的音频对比位置和初始延迟值，得到音频信息报文。

根据本发明的实施例，音频对比位置可以基于相关技术中的任意方法来确定。例如，可以基于“音频采集时间差=音频采集距离差/声波速率”的转换公式来确定对比音频信号相对于参考音频信号的音频对比位置。即在确定参考音频信号的音频采集位置，以及参考音频信号和对比音频信号各自的音频采集时刻，就可以通过上述转换公式计算得到音频对比位置。

根据本发明的实施例，可以基于相关技术中的任意报文协议设定预设打包规则，只要能够满足生成的音频信息报文能够被音频接收端解析即可，本领域技术人员可以根据实际需求设定具体的预设打包规则，本发明的实施例对此不做限定。

图5示意性示出了根据本发明实施例的音频信号处理方法的应用场景图。

如图5所示，该应用场景中可以包括音频接收端510和音频发送端520。在音频接收端510中，可以包含有M个音频接收模块5111、5112……至511M，M个音频接收模块5111、5112……至511M分别可以一一对应地接收M个音频信号。其中，音频接收模块5111采集到的音频信号可以确定为参考音频信号，音频接收模块5112至511M各自采集到的音频信号可以确定为对比音频信号。

需要说明的是，M个音频信号可以是由一个音频源产生的，也可以是由多个音频源产生的，本发明的实施例对产生M个音频信号的音频源的数量不做限定。音频信号可以通过麦克风中的音频采集装置采集到，然后经I2S/TDM接口等音频输入接口传输至音频接收模块5111、5112……至511M，使音频接收模块5111、5112……至511M各自可以实现接口转换和数据存储功能。

在一个实施例中，音频接收模块5111、5112……至511M之后还可以与相关技术中的音频信号增强模块电连接，以实现对音频信号的噪声抑制、增益补偿等信号增强处理。

例如，可以基于3A电路构建音频信号增强模块，即通过AES（Acoustic EchoCancellation）回声消除电路+ANS（Automatic Noise Suppression）背景噪声抑制电路+AGC（Automatic Gain Control）自动增益补偿电路构建音频信号增强模块。但不仅限于此，还可以基于相关技术中基于人工智能算法构建的信号增强芯片等信号增强元件构建音频信号增强模块，以实现对音频信号的信号增强处理。

信号比较电路模块5122至512M中，可以将各自对应的对比音频信号与参考音频信号进行处理，得到M-1个对比音频信号各自对应的初始延迟值。相应地，还可以基于音频采集装置的位置或音频信号产生的位置，来确定M-1个对比音频信号各自相对于参考音频信号的音频对比位置。

需要说明的是，信号比较电路模块5122至512M中的任意一个或多个，可以基于信号延迟比较电路、维纳滤波器和LMS（least Mean Square，最小均方算法）电路等自适应算法电路构建得到。

记录模块5132至513M可以分别记录信号比较电路模块5122至512M中生成的初始延迟值和音频对比位置。

编码模块514可以将参考音频信号转为预设编码格式，例如PCM（Pulse CodeModulation）格式、AAC（Advanced Audio Coding，高级音频编码）格式等。还可以基于网络带宽要求、音频信息报文传输延迟要求等因素设计编码模块的具体编码方式，本发明的实施例对编码模块514的具体编码方式不做限定，本领域技术人员可以根据实际需求进行设计。

报文生成模块515可以接收参考音频信号，以及记录模块5132至513M各自传输来的初始延迟值和音频对比位置。然后基于预设报文协议对参考音频信号、M-1个初始延迟值和M-1个音频对比位置打包，得到音频信息报文。音频信息报文可以通过网络接口发送至音频接收端520。

音频接收端520在接受到音频信息报文后，可以通过报文解析模块521对音频信息报文进行解析，得到参考音频信号、M-1个初始延迟值和M-1个音频对比位置。解码模块522可以对编码后的参考音频信号进行解码处理。相应地，还可以对解码后的参考音频信号进行混音等信号处理，得到可在音频播放装置播放的参考音频信号。

解析记录模块523可以记录M-1个初始延迟值和M-1个音频对比位置。在更新模块524可以基于插值缩放算法来处理M-1个初始延迟值和M-1个音频对比位置，生成与音频播放装置532至53N各自对应的目标延迟值和目标音频对比位置。

例如，可以基于DSP（Digital Signal Processing，数字信号处理）电路来执行插值缩放运算得到N-1个目标延迟值和N-1个目标音频对比位置。

目标音频信号生成模块525可以基于参考音频信号，以及N-1个目标延迟值，分别对参考音频信号进行相应的延迟处理，并根据N-1个目标音频对比位置各各自对应的音频播放装置，生成音频播放装置532至53N各自对应的目标对比音频信号。相应地，音频播放装置531可以用于播放上述处理过后得到的参考音频信号。

应该理解的是，音频播放装置531、532至53N可以通过相关技术中的音频接口与音频接收端520电连接，以实现目标音频信号的播放。该些音频接口例如可以是IIS（Integrated Interchip Sound）接口、TDM（Time Division Multiplexing，时分复用）接口。但不仅限于此，还可以是其他的音频接口，本发明的实施例对音频接口的具体类型不做限定。

需要说明的是，在目标音频信号为模拟音频信号的情况下，可以额外加入DAC（Digital to Analog Converter）电路等元件来处理后进行目标音频信号的播放。

根据本发明的实施例提供的音频信号处理方法，可以不限定音频采集装置的数量，生成与音频播放装置数量对应的目标音频信号，从而可以至少部分减少音频采集装置数量对于音频播放效果的限制。即使在仅有一个音频采集装置的情况下，也可以基于上述实施例中提供的音频信号处理方法实现目标音频信号的音量大小、音源远近等立体声播放效果，从而至少部分减少了音频采集装置等硬件采购成本，提升音频信号的播放效果。

根据本发明的实施例提供的音频信号处理方法，还可以实现通过网络传输对于音频信号播放的远程控制，在减少网络带宽占用的情况下，适应多种应用场景中音频传输要求。且在音频信号较高导致音频信号的数据量较大的情况下，可以大幅度降低网络带宽占用水平，提升网络中音频信息传输的时效性，避免出现音频信号传输卡顿、延迟等情况的发生。

基于上述音频信号处理方法，本发明还提供了一种音频信号处理装置。以下将结合图6和图7对该装置进行详细描述。

图6示意性示出了根据本发明实施例的音频信号处理装置的结构框图。

如图6所示，该实施例的音频信号处理装置600可以安装于音频接收端，音频信号处理装置600包括解析模块610、延迟处理模块620和目标对比音频信号生成模块630。

解析模块610用于解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值。

延迟处理模块620用于按照预设规则处理初始延迟值，生成与第一音频播放装置对应的目标延迟值。

目标对比音频信号生成模块630用于根据目标延迟值与参考音频信号，生成与第一音频播放装置对应的目标对比音频信号；其中，音频播放装置包括第一音频播放装置和第二音频播放装置，与第一音频播放装置对应的目标音频信号为目标对比音频信号，与第二音频播放装置对应的目标音频信号为参考音频信号。

根据本发明的实施例，音频信息报文还包括与初始延迟值对应的音频对比位置。

音频信号处理装置600还包括目标音频对比位置确定模块。

目标音频对比位置确定模块用于按照预设规则处理音频对比位置，得到与第一音频播放装置对应的目标音频对比位置。

目标对比音频信号生成模块包括目标对比音频信号生成单元。

目标对比音频信号生成单元用于根据与第一音频播放装置对应的目标延迟值和目标音频对比位置，对参考音频信号进行信号转换，得到与第一音频播放装置对应的目标对比音频信号。

根据本发明的实施例，音频对比位置包括M-1个，第一音频播放装置包括N个，N≠M，M为大于1的正整数，N为正整数。

目标音频对比位置确定模块包括目标音频对比位置确定单元。

目标音频对比位置确定单元用于基于预设插值算法处理M-1个音频对比位置，得到N个第一音频播放装置各自对应的目标音频对比位置。

根据本发明的实施例，初始延迟值的数量包括M-1，第一音频播放装置的数量包括N，N≠M，M为大于1的正整数，N为正整数。

延迟处理模块包括延迟处理单元。

延迟处理单元用于基于预设插值算法处理M-1个初始延迟值，得到N个第一音频播放装置各自对应的目标延迟值。

图7示意性示出了根据本发明另一实施例的音频信号处理装置的结构框图。

如图7所示，该实施例的音频信号处理装置700可以安装于音频发送端，音频信号处理装置700包括参考音频信号确定模块710、相位延迟处理模块720、音频信息报文生成模块730和发送模块740。

参考音频信号确定模块710用于从M个音频信号中确定参考音频信号，其中，M为大于1的正整数。

相位延迟处理模块720用于对M个音频信号中除参考音频信号之外的对比音频信号，进行相位延迟处理，得到与对比音频信号对应的初始延迟值。

音频信息报文生成模块730用于基于参考音频信号和初始延迟值，生成音频信息报文。

发送模块740用于向音频接收端发送音频信息报文，以便音频接收端根据音频信息报文生成与音频播放装置对应的目标音频信号。

根据本发明的实施例，音频信号处理装置700还包括音频对比位置确定模块。

音频对比位置确定模块用于根据M个音频信号各自对应的初始音频位置，确定对比音频信号相对于参考音频信号的音频对比位置；

音频信息报文生成模块包括音频信息报文生成单元。

音频信息报文生成单元用于按照预设打包规则处理参考音频信号，以及与对比音频信号相对应的音频对比位置和初始延迟值，得到音频信息报文。

根据本发明的实施例，音频信号处理装置700还包括音频信号采集模块。

音频信号采集模块用于利用M个音频采集装置分别采集M个音频信号，其中，M个音频采集装置与M个音频信号一一对应。

根据本发明的实施例，M个音频采集装置呈阵列形式安装于音频采集设备上。

根据本发明的实施例，解析模块610、延迟处理模块620和目标对比音频信号生成模块630中，或者参考音频信号确定模块710、相位延迟处理模块720、音频信息报文生成模块730和发送模块740中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，解析模块610、延迟处理模块620和目标对比音频信号生成模块630中，或者参考音频信号确定模块710、相位延迟处理模块720、音频信息报文生成模块730和发送模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，解析模块610、延迟处理模块620和目标对比音频信号生成模块630中，或者参考音频信号确定模块710、相位延迟处理模块720、音频信息报文生成模块730和发送模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图8示意性示出了根据本发明实施例的适于实现音频信号处理方法的电子设备的方框图。

如图8所示，根据本发明实施例的电子设备800包括处理器801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储部分808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器 801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备800还可以包括输入/输出（I/O）接口805，输入/输出（I/O）接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。

本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本发明实施例所提供的方法。

在该计算机程序被处理器801执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (12)

1.一种音频信号处理方法，其特征在于，应用于音频接收端，所述音频信号处理方法包括：

解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值；

按照预设规则处理所述初始延迟值，生成与第一音频播放装置对应的目标延迟值；以及

根据所述目标延迟值与所述参考音频信号，生成与所述第一音频播放装置对应的目标对比音频信号；

其中，音频播放装置包括所述第一音频播放装置和第二音频播放装置，与所述第一音频播放装置对应的目标音频信号为所述目标对比音频信号，与所述第二音频播放装置对应的目标音频信号为所述参考音频信号。

2.根据权利要求1所述的方法，其特征在于，所述音频信息报文还包括与所述初始延迟值对应的音频对比位置；

所述音频信号处理方法还包括：

按照所述预设规则处理所述音频对比位置，得到与所述第一音频播放装置对应的目标音频对比位置；

其中，根据所述目标延迟值与所述参考音频信号，生成与所述第一音频播放装置对应的目标对比音频信号包括：

根据与所述第一音频播放装置对应的目标延迟值和目标音频对比位置，对所述参考音频信号进行信号转换，得到与所述第一音频播放装置对应的目标对比音频信号。

3.根据权利要求2所述的方法，其特征在于，所述音频对比位置包括M-1个，所述第一音频播放装置包括N个，N≠M，M为大于1的正整数，N为正整数；

其中，按照所述预设规则处理所述音频对比位置，得到与所述第一音频播放装置对应的目标音频对比位置包括：

基于预设插值算法处理M-1个所述音频对比位置，得到N个所述第一音频播放装置各自对应的目标音频对比位置。

4.根据权利要求1所述的方法，其特征在于，所述初始延迟值的数量包括M-1，所述第一音频播放装置的数量包括N，N≠M，M为大于1的正整数，N为正整数；

其中，按照预设规则处理所述初始延迟值，生成与第一音频播放装置对应的目标延迟值包括：

基于预设插值算法处理M-1个所述初始延迟值，得到N个所述第一音频播放装置各自对应的目标延迟值。

5.一种音频信号处理方法，其特征在于，应用于音频发送端，所述音频信号处理方法包括：

从M个音频信号中确定参考音频信号，其中，M为大于1的正整数；

对M个所述音频信号中除所述参考音频信号之外的对比音频信号，进行相位延迟处理，得到与所述对比音频信号对应的初始延迟值；

基于所述参考音频信号和所述初始延迟值，生成音频信息报文；以及

向音频接收端发送所述音频信息报文，以便所述音频接收端根据所述音频信息报文生成与音频播放装置对应的目标音频信号。

6.根据权利要求5所述的方法，其特征在于，还包括：

根据M个所述音频信号各自对应的初始音频位置，确定所述对比音频信号相对于所述参考音频信号的音频对比位置；

其中，所述基于所述参考音频信号和所述初始延迟值，生成音频信息报文包括：

按照预设打包规则处理所述参考音频信号，以及与所述对比音频信号相对应的音频对比位置和初始延迟值，得到所述音频信息报文。

7.根据权利要求5所述的方法，其特征在于，还包括：

利用M个音频采集装置分别采集M个所述音频信号，其中，M个所述音频采集装置与M个所述音频信号一一对应。

8.根据权利要求7所述的方法，其特征在于，M个所述音频采集装置呈阵列形式安装于音频采集设备上。

9.一种音频信号处理装置，其特征在于，安装音频接收端，所述音频信号处理装置包括：

解析模块，用于解析来自音频发送端的音频信息报文，得到参考音频信号，以及与对比音频信号对应的初始延迟值；

延迟处理模块，用于按照预设规则处理所述初始延迟值，生成与第一音频播放装置对应的目标延迟值；以及

目标对比音频信号生成模块，用于根据所述目标延迟值与所述参考音频信号，生成与所述第一音频播放装置对应的目标对比音频信号；

其中，音频播放装置包括所述第一音频播放装置和第二音频播放装置，与所述第一音频播放装置对应的目标音频信号为所述目标对比音频信号，与所述第二音频播放装置对应的目标音频信号为所述参考音频信号。

10.一种音频信号处理装置，其特征在于，安装于音频发送端，所述音频信号处理装置包括：

参考音频信号确定模块，用于从M个音频信号中确定参考音频信号，其中，M为大于1的正整数；

相位延迟处理模块，用于对M个所述音频信号中除所述参考音频信号之外的对比音频信号，进行相位延迟处理，得到与所述对比音频信号对应的初始延迟值；

音频信息报文生成模块，用于基于所述参考音频信号和所述初始延迟值，生成音频信息报文；以及

发送模块，用于向音频接收端发送所述音频信息报文，以便所述音频接收端根据所述音频信息报文生成与音频播放装置对应的目标音频信号。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1~8中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~8中任一项所述的方法。

Images