发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种基于时间戳同步的回声消除方法及系统,结合时间戳对信号进行标记,保证数据的准确性;且有效解决了吞音问题,提高了回声处理精度。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供一种基于时间戳同步的回声消除方法,包括以下步骤:
获取参考音频信号和音频输入信号;
采用时间戳分别对参考音频信号和音频输入信号进行标记;
根据参考音频信号和音频输入信号的时间戳计算获取音频时延;
根据参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息;
根据音频时延和消除调整信息对音频输入信号进行回声消除。
为了有效解决音频回声问题,结合时间戳和吞音处理提高对音频回声的消除效果。首先,采集参考音频信号,一般是采集远端的音频作为参考音频,同时采集音频输入信号,为了保证数据的精准性,结合时间戳同步对获取的参考音频信号和音频输入信号进行标记,为后续提供精准的计算数据;根据时间戳记录的时间点计算出音频的时延值;同时,在回声问题中还考虑到吞音问题,对参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息,上述吞音消除处理主要是指根据参考音频信号和音频输入信号的幅值差异去调整具体的滤波算法中的相关参数,以此来达到吞音消除的效果;结合音频时延和消除调整信息进行音频回声消除,以得到没有回声的目标音频。
本方法结合时间戳同步标记以及吞音消除处理对音频回声问题进行有效解决,保证里回声消除效果,提高了回声处理精度。
基于第一方面,在本发明的一些实施例中,所述获取参考音频信号的方法包括以下步骤:
采集播放的音频数据,以得到参考音频信号。
基于第一方面,在本发明的一些实施例中,所述获取参考音频信号的方法包括以下步骤:
通过麦克风录入播放的音频数据,以得到对比数据;
将播放的音频数据与对比数据进行对比,生成对比结果;
根据对比结果调节播放的音频数据和对比数据,使得播放的音频数据与对比数据的信号一致,以得到参考音频信号。
基于第一方面,在本发明的一些实施例中,所述根据参考音频信号和音频输入信号的时间戳计算获取音频时延的方法包括以下步骤:
提取并根据参考音频信号和音频输入信号的时间戳记录的参考音频信号到输出的时间、音频空气中传播时间和将音频录入到软件的时间计算获取音频时延。
基于第一方面,在本发明的一些实施例中,所述根据参考音频信号和音频输入信号进行吞音消除处理的方法包括以下步骤:
提取并根据参考音频信号和音频输入信号的幅值调整滤波算法中的震荡因子和音频信号的阀值,使得滤波算法中的各个参数与参考音频信号和音频输入信号相匹配。
第二方面,本发明实施例提供一种基于时间戳同步的回声消除系统,包括音频获取模块、时间戳标记模块、时延计算模块、吞音处理模块以及回声消除模块,其中:
音频获取模块,用于获取参考音频信号和音频输入信号;
时间戳标记模块,用于采用时间戳分别对参考音频信号和音频输入信号进行标记;
时延计算模块,用于根据参考音频信号和音频输入信号的时间戳计算获取音频时延;
吞音处理模块,用于根据参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息;
回声消除模块,用于根据音频时延和消除调整信息对音频输入信号进行回声消除。
为了有效解决音频回声问题,结合时间戳和吞音处理提高对音频回声的消除效果。首先,通过音频获取模块采集参考音频信号,一般是采集远端的音频作为参考音频,同时采集音频输入信号,为了保证数据的精准性,时间戳标记模块结合时间戳同步对获取的参考音频信号和音频输入信号进行标记,为后续提供精准的计算数据;通过时延计算模块根据时间戳记录的时间点计算出音频的时延值;同时,在回声问题中还考虑到吞音问题,通过吞音处理模块对参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息,上述吞音消除处理主要是指根据参考音频信号和音频输入信号的幅值差异去调整具体的滤波算法中的相关参数,以此来达到吞音消除的效果;回声消除模块结合音频时延和消除调整信息进行音频回声消除,以得到没有回声的目标音频。
本系统结合时间戳同步标记以及吞音消除处理对音频回声问题进行有效解决,保证里回声消除效果,提高了回声处理精度。
基于第二方面,在本发明的一些实施例中,所述音频获取模块包括播放音频子模块,用于采集播放的音频数据,以得到参考音频信号。
基于第二方面,在本发明的一些实施例中,所述音频获取模块包括音频录入子模块、对比子模块以及信号调节子模块,其中:
音频录入子模块,用于通过麦克风录入播放的音频数据,以得到对比数据;
对比子模块,用于将播放的音频数据与对比数据进行对比,生成对比结果;
信号调节子模块,用于根据对比结果调节播放的音频数据和对比数据,使得播放的音频数据与对比数据的信号一致,以得到参考音频信号。
基于第二方面,在本发明的一些实施例中,所述时间戳标记模块包括时间提取子模块,用于提取并根据参考音频信号和音频输入信号的时间戳记录的参考音频信号到输出的时间、音频空气中传播时间和将音频录入到软件的时间计算获取音频时延。
基于第二方面,在本发明的一些实施例中,所述吞音处理模块包括算法调整子模块,用于提取并根据参考音频信号和音频输入信号的幅值调整滤波算法中的震荡因子和音频信号的阀值,使得滤波算法中的各个参数与参考音频信号和音频输入信号相匹配。
本发明实施例至少具有如下优点或有益效果:
本发明实施例提供一种基于时间戳同步的回声消除方法及系统,首先,采集参考音频信号,一般是采集远端的音频作为参考音频,同时采集音频输入信号,为了保证数据的精准性,结合时间戳同步对获取的参考音频信号和音频输入信号进行标记,为后续提供精准的计算数据;根据时间戳记录的时间点计算出音频的时延值;同时,在回声问题中还考虑到吞音问题,对参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息,以此来达到吞音消除的效果;结合音频时延和消除调整信息进行音频回声消除,以得到没有回声的目标音频。本发明结合时间戳同步标记以及吞音消除处理对音频回声问题进行有效解决,保证里回声消除效果,提高了回声处理精度。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例
如图1所示,第一方面,本发明实施例提供一种基于时间戳同步的回声消除方法,包括以下步骤:
S1、获取参考音频信号和音频输入信号;首先,采集参考音频信号,一般是采集远端的音频作为参考音频,同时采集音频输入信号。
S2、采用时间戳分别对参考音频信号和音频输入信号进行标记;为了保证数据的精准性,结合时间戳同步对获取的参考音频信号和音频输入信号进行标记,为后续提供精准的计算数据。
S3、根据参考音频信号和音频输入信号的时间戳计算获取音频时延;
采用现有的时间戳转换工具,转换出时间戳记录的时间信息,确定参考音频信号的时间和实时采集的音频输入信号的时间,将其转换成为格式为xx年xx月xx时xx分xx秒的时间信息,计算参考音频信号的时间和实时采集的音频输入信号的时间差值,该时间差值即为音频时延。
S4、根据参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息;
同时,在回声问题中还考虑到吞音问题,对参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息,上述吞音消除处理主要是指根据参考音频信号和音频输入信号的幅值差异去调整具体的滤波算法中的相关参数,以此来达到吞音消除的效果。
S5、根据音频时延和消除调整信息对音频输入信号进行回声消除。
本方法结合时间戳同步标记以及吞音消除处理对音频回声问题进行有效解决,保证里回声消除效果,提高了回声处理精度。
基于第一方面,在本发明的一些实施例中,所述获取参考音频信号的方法包括以下步骤:
采集播放的音频数据,以得到参考音频信号。
回声消除中一个重要的因子就是对远端参考信号的采集。一般是通过软件直接采集播放的音频数据,作为参考音频。
如图2所示,基于第一方面,在本发明的一些实施例中,所述获取参考音频信号的方法包括以下步骤:
S11、通过麦克风录入播放的音频数据,以得到对比数据;
S12、将播放的音频数据与对比数据进行对比,生成对比结果;
S13、根据对比结果调节播放的音频数据和对比数据,使得播放的音频数据与对比数据的信号一致,以得到参考音频信号。
在选取参考音频数据的时候,还可以把播放的声音通过麦克风采集进来做比对,通过可调电阻,把两个信号的大小调节的误差在一定范围内。此方法可以把参考信号调节的和输入信号幅度差距很小,使得播放的音频数据与对比数据的信号一致,进而保证回声消除的效果。
基于第一方面,在本发明的一些实施例中,所述根据参考音频信号和音频输入信号的时间戳计算获取音频时延的方法包括以下步骤:
提取并根据参考音频信号和音频输入信号的时间戳记录的参考音频信号到输出的时间、音频空气中传播时间和将音频录入到软件的时间计算获取音频时延。
做回声消除的时候,音频参考信号一般和音频输入信号之间有一个时间差,回声消除就是依靠这个时间差来进行回声消除的。这个时延主要由三个部分组成,第一个是获取的参考信号到输出的时间,第二个是空气中传播的时间,第三个是录入到软件计算的时间。时间戳对音频信号进行标记,保证数据的精准性。对延时进行处理一般包含两种,一种是需要用户填写的固定延时,另外一种是采用延时算法自动计算出来的延时。在进行音频时延计算时对这三个时间进行把控。
基于第一方面,在本发明的一些实施例中,所述根据参考音频信号和音频输入信号进行吞音消除处理的方法包括以下步骤:
提取并根据参考音频信号和音频输入信号的幅值调整滤波算法中的震荡因子和音频信号的阀值,使得滤波算法中的各个参数与参考音频信号和音频输入信号相匹配。
吞音问题也是回声消除中常见的问题,这个问题产生的根源是音频参考信号和音频输入信号的幅值不同导致滤波算法参数不匹配造成的。因此,结合音频参考信号和音频输入信号之间的幅值差对算法中的震荡因子和音频信号的阀值大小进行调整,以消除吞音问题。
如图3所示,第二方面,本发明实施例提供一种基于时间戳同步的回声消除系统,包括音频获取模块100、时间戳标记模块200、时延计算模块300、吞音处理模块400以及回声消除模块500,其中:
音频获取模块100,用于获取参考音频信号和音频输入信号;
时间戳标记模块200,用于采用时间戳分别对参考音频信号和音频输入信号进行标记;
时延计算模块300,用于根据参考音频信号和音频输入信号的时间戳计算获取音频时延;
吞音处理模块400,用于根据参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息;
回声消除模块500,用于根据音频时延和消除调整信息对音频输入信号进行回声消除。
为了有效解决音频回声问题,结合时间戳和吞音处理提高对音频回声的消除效果。首先,通过音频获取模块100采集参考音频信号,一般是采集远端的音频作为参考音频,同时采集音频输入信号,为了保证数据的精准性,时间戳标记模块200结合时间戳同步对获取的参考音频信号和音频输入信号进行标记,为后续提供精准的计算数据;通过时延计算模块300根据时间戳记录的时间点计算出音频的时延值;同时,在回声问题中还考虑到吞音问题,通过吞音处理模块400对参考音频信号和音频输入信号进行吞音消除处理,生成消除调整信息,上述吞音消除处理主要是指根据参考音频信号和音频输入信号的幅值差异去调整具体的滤波算法中的相关参数,以此来达到吞音消除的效果;回声消除模块500结合音频时延和消除调整信息进行音频回声消除,以得到没有回声的目标音频。
本系统结合时间戳同步标记以及吞音消除处理对音频回声问题进行有效解决,保证里回声消除效果,提高了回声处理精度。
如图3所示,基于第二方面,在本发明的一些实施例中,所述音频获取模块100包括播放音频子模块110,用于采集播放的音频数据,以得到参考音频信号。
在选取参考音频时,可以通过播放音频子模块110直接采集播放的音频数据将其直接作为参考音频信号。
如图3所示,基于第二方面,在本发明的一些实施例中,所述音频获取模块100包括音频录入子模块120、对比子模块130以及信号调节子模块140,其中:
音频录入子模块120,用于通过麦克风录入播放的音频数据,以得到对比数据;
对比子模块130,用于将播放的音频数据与对比数据进行对比,生成对比结果;
信号调节子模块140,用于根据对比结果调节播放的音频数据和对比数据,使得播放的音频数据与对比数据的信号一致,以得到参考音频信号。
在选取参考音频数据的时候,还可以把播放的声音通过麦克风采集进来做比对,信号调节子模块140通过可调电阻,把两个信号的大小调节的误差在一定范围内。此方法可以把参考信号调节的和输入信号幅度差距很小,使得播放的音频数据与对比数据的信号一致,进而保证回声消除的效果。
如图3所示,基于第二方面,在本发明的一些实施例中,所述时间戳标记模块200包括时间提取子模块210,用于提取并根据参考音频信号和音频输入信号的时间戳记录的参考音频信号到输出的时间、音频空气中传播时间和将音频录入到软件的时间计算获取音频时延。
做回声消除的时候,音频参考信号一般和音频输入信号之间有一个时间差,回声消除就是依靠这个时间差来进行回声消除的。这个时延主要由三个部分组成,第一个是获取的参考信号到输出的时间,第二个是空气中传播的时间,第三个是录入到软件计算的时间。时间戳对音频信号进行标记,保证数据的精准性。对延时进行处理一般包含两种,一种是需要用户填写的固定延时,另外一种是采用延时算法自动计算出来的延时。在进行音频时延计算时通过时间提取子模块210对这三个时间进行把控。
如图3所示,基于第二方面,在本发明的一些实施例中,所述吞音处理模块400包括算法调整子模块410,用于提取并根据参考音频信号和音频输入信号的幅值调整滤波算法中的震荡因子和音频信号的阀值,使得滤波算法中的各个参数与参考音频信号和音频输入信号相匹配。
吞音问题也是回声消除中常见的问题,这个问题产生的根源是音频参考信号和音频输入信号的幅值不同导致滤波算法参数不匹配造成的。因此,通过算法调整子模块410结合音频参考信号和音频输入信号之间的幅值差对算法中的震荡因子和音频信号的阀值大小进行调整,以消除吞音问题。
本系统还包括存储器、处理器和通信接口,该存储器、处理器和通信接口相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块,处理器通过执行存储在存储器内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。
其中,存储器可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。