CN115113855A - 音频数据处理方法、装置、电子设备和存储介质 - Google Patents

音频数据处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115113855A
CN115113855A CN202210612686.4A CN202210612686A CN115113855A CN 115113855 A CN115113855 A CN 115113855A CN 202210612686 A CN202210612686 A CN 202210612686A CN 115113855 A CN115113855 A CN 115113855A
Authority
CN
China
Prior art keywords
audio data
audio
features
feature
amplitude spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210612686.4A
Other languages
English (en)
Other versions
CN115113855B (zh
Inventor
马东鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210612686.4A priority Critical patent/CN115113855B/zh
Publication of CN115113855A publication Critical patent/CN115113855A/zh
Application granted granted Critical
Publication of CN115113855B publication Critical patent/CN115113855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/31—Programming languages or programming paradigms
    • G06F8/313—Logic programming, e.g. PROLOG programming language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/51—Source to source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本申请提供了一种音频数据处理方法、装置、电子设备和存储介质，涉及人工智能技术领域，可以应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，方法包括：获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱；对混音幅度谱和参考幅度谱进行特征提取，得到初始音频特征；对初始音频特征进行特征分割处理，得到至少两个音频分割特征；基于目标预测模型对至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜；根据幅度谱掩膜和混音幅度谱进行声学数据重构，得到混合音频数据对应的预估近端音频数据。本申请能够有效提高近端音频数据预估的准确性。

Description

音频数据处理方法、装置、电子设备和存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种音频数据处理方法、装置、电子设备和存储介质。
背景技术
音视频通话过程中，近端设备仅能够直接采集到受回声信号和噪声等干扰的混合音频信号，因此需去除其中的干扰信号，以得到纯净的近端语音信号。其中，回音消除(Acoustic Echo Cancelling,AEC)是干扰信号处理过程中必不可少的处理环节，AEC具体是指透过音波干扰方式消除麦克风与喇叭因空气产生回受路径(feedback path)而产生的杂音。传统的AEC往往采用自适应滤波方式进行线性消除，然而该方式无法处理混合音频信号中的非线性部分，音频处理效果较差，无法满足实际需求。
发明内容
本申请提供了一种音频数据处理方法、装置、设备和存储介质，可以显著降低音频数据处理的计算量和内存占用。
一方面，本申请提供了一种音频数据处理方法，所述方法包括：
获取待识别程序对应的待识别伪代码；
基于所述待识别伪代码在源代码特征库中进行相似代码搜索，得到所述待识别伪代码对应的多条候选源代码；
将所述多条候选源代码分别与所述待识别伪代码进行组合，得到多个代码对；
对所述多个代码对进行分类识别处理，得到分类识别结果，所述分类识别结果表征所述多个代码对中的候选源代码与所述待识别伪代码间的同源概率；
基于所述分类识别结果从所述多条候选源代码中确定出与所述待识别程序匹配的目标源代码。
另一方面提供了一种音频数据处理装置，所述装置包括：
伪代码获取模块：用于获取待识别程序对应的待识别伪代码；
相似代码搜索模块：用于基于所述待识别伪代码在源代码特征库中进行相似代码搜索，得到所述待识别伪代码对应的多条候选源代码；
代码组合模块：用于将所述多条候选源代码分别与所述待识别伪代码进行组合，得到多个代码对；
分类识别模块：用于对所述多个代码对进行分类识别处理，得到分类识别结果，所述分类识别结果表征所述多个代码对中的候选源代码与所述待识别伪代码间的同源概率；
源代码确定模块：用于基于所述分类识别结果从所述多条候选源代码中确定出与所述待识别程序匹配的目标源代码。
另一方面提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的音频数据处理方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的音频数据处理方法。
另一方面提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的音频数据处理方法。
另一方面提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的音频数据处理方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时实现如上述的音频数据处理方法。
本申请提供的音频数据处理方法、装置、设备、存储介质、服务器、终端、计算机程序和计算机程序产品，具有如下技术效果：
本申请的技术方案通过获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱；对混音幅度谱和参考幅度谱进行特征提取，得到初始音频特征；对初始音频特征进行特征分割处理，得到至少两个音频分割特征；基于目标预测模型对至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜；根据幅度谱掩膜和混音幅度谱进行声学数据重构，得到混合音频数据对应的预估近端音频数据。如此，基于音频分割特征进行掩膜预测，并进行近端音频数据预估，能够有效去除混合音频数据中的线性和非线性回声信号干扰，提高近端音频数据的预估准确性，同时能够降低对目标预测模型的模型大小需求，以及降低音频数据处理的计算量和内存占用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种音频数据处理方法的流程示意图；
图3是本申请实施例提供的另一种音频数据处理方法的流程示意图；
图4是本申请实施例提供的另一种音频数据处理方法的流程示意图；
图5是本申请实施例提供的一种音频数据处理方法的流程框架图；
图6是本申请实施例提供的另一种音频数据处理方法的流程示意图；
图7是本申请实施例提供的另一种音频数据处理方法的流程框架图；
图8是本申请实施例提供的另一种音频数据处理方法的流程示意图；
图9是本申请实施例提供的一种音频数据处理系统的框架示意图；
图10是本申请实施例提供一种音频数据处理装置的框架示意图；
图11是本申请实施例提供的一种音频数据处理方法的电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
语音识别(Automatic Speech Recognition,ASR)，也被称为自动语音识别，其目标是以设备自动将人类的语音内容转换为相应的文字。
回音消除(Acoustic Echo Cancelling,AEC)，是透过音波干扰方式消除麦克风与喇叭因空气产生回受路径(feedback path)而产生的杂音。
波束形成(beam forming,BF)，是阵列信号处理中非常重要的任务，基本处理过程为：1.采用空间分布的传感器阵列采集场数据；2.对所采集的阵列数据进行线性加权组合处理得到一个标量波束输出。
循环神经网络(Recurrent Neural Network,RNN)，是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。
长短期记忆网络(LSTM，Long Short-Term Memory)，是一种时间循环神经网络，是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。
门控循环网络(GRU，Gated Recurrent Unit)，是一种时间循环神经网络，能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象。
语音质量的感知评估(Perceptual evaluation of speech quality,PESQ)，用来衡量回音消除后音频和Clean音频之间相似度。
字符错误率(Character Error Rate，CER)。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
AEC等音频数据处理装置是能够进行通话的终端设备中必不可少的信号处理基础组件，其性能关乎整个终端设备中语音设备的性能以及用户体验。传统的AEC往往采用自适应滤波方式，进行线性消除，二信号中的非线性部分往往难以处理。近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，神经网络也被提出用于AEC，以替换传统AEC，或与传统AEC混合使用，以提高干扰信号消除效果。但是，终端(如ARM芯片)的计算及内存资源有限，而基于神经网络的音频数据处理装置运行时需占用大量计算资源和内存，增加终端上线难度，对终端性能要求很高。本申请的技术方案能够解决上述问题，显著降低了模型大小、计算量以及内存占用。
本申请实施例提供的方案涉及人工智能的机器学习/深度学习和语音技术等，具体通过如下实施例进行说明。
请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以至少包括终端01和服务器02。在实际应用中，终端01和服务器02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请实施例中的服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体地，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术能够应用于各种领域，如医疗云、云物联、云安全、云教育、云会议、人工智能云服务、云应用、云呼叫和云社交等，云技术基于云计算(cloud computing)商业模式应用，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”，“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务))平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分，在IaaS层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
具体地，上述涉及的服务器02可以包括实体设备，可以具体包括有网络通信子模块、处理器和存储器等等，也可以包括运行于实体设备中的软体，可以具体包括有应用程序等。
具体地，终端01可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能语音交互设备、智能家电、智能可穿戴设备、车载终端设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。
本申请实施例中，终端01或服务器02上可以运行音频数据处理装置，以进行音频数据处理。具体的，终端01可以用于采集混合音频数据和远端参考音频数据，然后对其进行频域转换和特征提取等，得到初始音频特征，然后对初始音频特征进行特征分割，得到音频分割特征，进而调用目标预测模型进行掩膜预测，得到幅度谱掩膜，进而实现音频数据重构，以得到预估近端音频数据。可以理解的，终端01也可以将混合音频数据和远端参考音频数据发送至服务器02，以使服务器02对其进行音频数据处理，以得到预估近端音频数据。
具体的，服务器02还可以用于提供目标特征提取网络和目标预测模型的模型训练服务，以及还可以用于存储样本混合音频数据、样本参考音频数据和样本近端音频数据等。
此外，可以理解的是，图1所示的仅仅是一种音频数据处理方法的应用环境，该应用环境可以包括更多或更少的节点，本申请在此不做限制。
本申请实施例涉及的应用环境，或应用环境中的终端01和服务器02等可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。分布式系统可以为区块链系统，该区块链系统可以提供上述的音频数据处理服务和数据存储服务等。
以下基于上述应用环境介绍本申请的一种音频数据处理方法，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。请参考图2，图2是本申请实施例提供的一种音频数据处理方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体地，如图2所示，方法可以包括下述步骤S201-S209。
S201：获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱。
本申请实施例中，混合音频数据为近端音频数据受到回声信号、回声信号和远端音频信号等干扰所生成的音频数据，是基于目标近端的麦克风采集到的音频信号生成的；近端音频数据为实际所需的近端纯净语音信号，可以用于发送至远端播放或其它后续任务，如语音识别任务等；远端参考音频数据为目标近端所订阅的目标远端的音频数据；幅度谱为信号幅度—频率(角频率)曲线。一些实施例中，请参考图3，S201可以包括下述步骤。
S2011：对混合音频数据和远端参考音频数据进行频域转换处理，得到混合音频数据的混合频域数据和远端参考音频数据的远端频域数据。
S2012：对混合频域数据和远端频域数据进行取模操作，得到混音幅度谱和参考幅度谱。
具体的，混合频域数据可以为对混合音频数据进行频域转换所得到的频谱数据，远端频域数据可以为对远端参考音频数据进行频域转换所得到的频谱数据，对频谱数据进行取模操作后，得到相应的幅度谱。其中，混音幅度谱和参考幅度谱的维度相同，频域转换可以采用快速傅里叶变换(FFT，fast Fourier transform)。
S203：对混音幅度谱和参考幅度谱进行特征提取，得到初始音频特征。
本申请实施例中，对混音幅度谱和参考幅度谱进行融合处理，得到融合幅度谱；基于目标特征提取网络对融合幅度谱进行特征提取，得到初始音频特征。如此，实现混音幅度谱和参考幅度谱的信息融合和交换，提高后续音频分割特征间的相似性，进而提高预估效果。其中，融合处理可以具体为特征拼接，目标特征提取网络可以为全连接网络。示例性的，混音幅度谱和参考幅度谱的特征大小均为T×M，融合幅度谱的特征大小为T×2M，将融合幅度谱输入目标特征提取网络，以将融合幅度谱映射至音频特征空间，得到特征大小为T×N的初始音频特征。
S205：对初始音频特征进行特征分割处理，得到至少两个音频分割特征。
具体的，特征分割处理可以为对初始音频特征进行均等分割，得到至少两个特征大小相同的音频分割特征。示例性的，将T×N的初始音频特征均等分割为第一音频分割特征和第二音频分割特征，其特征大小均为T×N/2。音频分割特征的大小决定目标预测模型中网络结构的大小，初始音频特征的特征维度较高，通常大于384维，需要的网络结构也大于384维，通过特征分割，降低特征维度，进而能够降低网络模型体积。
S207：基于目标预测模型对至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜。
本申请实施例中，目标预测模型的大小，如神经网络层数等，与音频分割特征的特征大小对应设置，若音频分割特征的特征大小为T×N/2，相应的，目标预测模型的大小为N/2，若音频分割特征的特征大小为T×N/4，相应的，目标预测模型的大小为N/4。如此，对输入目标预测模型的初始音频特征进行分割处理，以降低单个音频分割特征的特征尺寸，进而成倍减少目标预测模型中网络分支的网络层数，能够显著降低运行内存占用，同时提高模型收敛速度，降低训练成本。
具体的，幅度谱掩膜表征近端幅度谱与混音幅度谱间的比，近端幅度谱是近端音频数据的频域转换数据，幅度谱掩膜与混音幅度谱的特征大小相同。
一些实施例中，目标预测模型包括至少两个循环网络分支和第一全连接网络；循环网络分支与音频分割特征一一对应设置，即循环网络分支数与音频分割特征数量一致，不同循环网络分支可以共享权重。相应的，请参考图4，S207可以包括下述步骤S301-S305。
S301：将至少两个音频分割特征分别输入对应的循环神经网络分支，以进行分组特征提取，得到至少两个音频分割特征各自对应的目标分组特征。
实际应用中，将每一音频分割特征输入一个循环神经网络分支，以进行特征提取，得到该音频分割特征的目标分组特征。一些实施例中，每一循环神经网络分支至少包括至少两层循环神经网络；相应的，将至少两个音频分割特征中的每一音频分割特征输入对应的循环神经网络分支，以循环神经网络分支中前一层循环神经网络的输出作为后一层循环神经网络的输入，对每一音频分割特征进行特征提取，得到目标分组特征。目标分组特征与输入的音频分割的特征大小相同。
具体的，将每一音频分割特征输入循环神经网络分支中的第一层循环神经网络，得到中间分组特征，然后将中间分组特征输入下一层循环神经网络，以得到更新的中间分组特征，依次类推，至最后一层循环神经网络输出更新的中间分组特征，将其作为该分支的目标分组特征。具体的，循环神经网络可以基于LSTM或GRU等构建。
S303：对各目标分组特征进行特征融合，得到目标融合特征。
具体的，将各个循环网络分支输出的目标分组特征进行融合，得到特征大小与初始音频特征相同的目标融合特征，这里的特征融合可以为特征拼接等操作。
S305：基于第一全连接网络对目标融合特征进行特征变换处理，得到幅度谱掩膜。
具体的，将目标融合特征输入第一全连接网络，以输出幅度谱掩膜，第一全连接网络可以为linear全连接网络，模型大小与目标融合特征的大小相对应，目标融合特征为T×N的情况下，第一全连接网络的大小也为N。
如此，成倍缩减模型计算量和体积，进而降低内存占用，同时通过权重共享，进一步缩减模型参数量，有效降低内存占用和训练成本。
一个实施例中，请参考图5，目标特征提取网络可以基于linear全连接网络构建，目标预测模型包括两个循环网络分支(图中虚线框定部分，第一网络分支和第二网络分支)，每一网络分支中包括两层LSTM网络，该LSTM网络为多层LSTM，每层LSTM网络的大小为N/2，两循环网络分支中的第一层LSTM网络彼此权重共享，第二层LSTM网络彼此权重共享，可以理解的，该模型中参数量和运算量最大的网络部分为LSTM。
具体的，幅度谱掩膜(REF Magnitude)和混音幅度谱(Mic Magnitude)的特征大小为T×M，通过Concat操作对二者进行融合处理，得到融合幅度谱(C Magnitude)，特征大小为T×2M；将该融合幅度谱作为目标特征提取网络(Linear)的输入，得到T×N的初始音频特征，进而通过sp l it操作进行分割，得到两个T×N/2的音频分割特征；两个音频分割特征分别作为目标预测模型的第一网络分支和第二网络分支的输入，分别通过第一网络分支和第二网络分支中的第一层LSTM进行特征提取，得到两个中间分组特征，然后分别输入两网络分支中的第二层LSTM，得到两个T×N/2的目标分组特征，进而对其进行concat操作，得到T×N的目标融合特征，最后输入第一全连接网络，进行掩膜预测，得到T×M的幅度谱掩膜(Mask)。如此，将循环神经网络的大小降低为原来的二分之一，计算量降低至原来的四分之一，大幅缩减模型计算量和体积，进而降低内存占用，同时通过权重共享，进一步缩减模型参数量，有效降低内存占用和训练成本。
另一些实施例中，目标预测模型包括第一全连接网络、顺序设置的至少两组循环神经网络组和设置于相邻循环神经网络组间的第二全连接网络，循环神经网络组包括至少两个循环网络分支，每组循环神经网络组中的循环网络分支与音频分割特征一一对应设置，即每组循环神经网络组中的循环网络分支数与音频分割特征数量一致，同组循环神经网络组中的多个循环网络分支共享权重；相应的，请参考图6，S207可以包括步骤S401-S413。
S401：将至少两个音频分割特征分别输入首组循环神经网络组中的至少两个循环网络分支，以进行分组特征提取，得到至少两个音频分割特征各自的中间分组特征。
实际应用中，将每一音频分割特征输入第一组循环神经网络组中的一个循环神经网络分支，以进行特征提取，得到该音频分割特征的中间分组特征，如将初始音频特征分割为三个音频分割特征，相应的，每个循环神经网络组中包括三个循环网络分支，将三个音频分割特征分别作为第一组循环神经网络组中的三个循环网络分支的输入，得到各自的中间分组特征。具体的，每个循环网络分支中包括至少一层循环神经网络，循环神经网络可以基于LSTM或GRU等构建。
S403：对各中间分组特征进行分组特征融合，得到中间融合特征。
S405：基于首个第二全连接网络对中间融合特征进行融合特征提取，得到中间特征。
S407：对中间特征进行中间特征分割，得到至少两个中间分割特征。
具体的，对第一组循环神经网络组中输出的至少两个中间分组特征进行特征融合操作，得到中间融合特征并将其作为第一组循环神经网络组和第二组循环神经网络组间的第二全连接网络的输入，得到中间特征，进而分割操作得到中间分割特征。第二全连接网络可以为linear全连接网络，模型大小与中间特征的大小相对应。
S409：以至少两个中间分割特征作为下一循环神经网络组的输入，重复执行上述分组特征提取、分组特征融合、融合特征提取和中间特征分割的步骤，至得到末组循环神经网络组输出的至少两个音频分割特征各自的目标分组特征。
具体的，将S407中得到的至少两个中间分割作为第二组循环神经网络组中各循环网络分支的输入，通过其中的每一循环网络分支对每一中间分割特征进行分组特征提取，得到更新的中间分组特征，对各个更新的中间分组特征进行融合操作，得到更新的中间融合特征，中间融合特征与初始音频特征的特征大小相同。然后将中间融合特征输入第二个第二全连接网络进行特征提取，得到更新的中间特征，对更新的中间特征进行特征分割，进而得到更新的中间分割特征，以作为下一循环神经网络组的输入，依次类推，至最后一组循环神经网络组输出更新的至少两个中间分组特征，将其作为目标分组特征。
S411：对各目标分组特征进行特征融合，得到目标融合特征。
具体的，将末组循环神经网络组中各循环网络分支输出的目标分组特征进行融合，得到特征大小与初始音频特征相同的目标融合特征，这里的特征融合可以为特征拼接等操作。
S413：基于第一全连接网络对目标融合特征进行特征变换处理，得到幅度谱掩膜。
具体的，将目标融合特征输入第一全连接网络，以输出幅度谱掩膜，第一全连接网络可以为linear全连接网络。通过特征分割和设置权重共享的循环网络分支，能够降低模型运存占用和训练成本，同时在每一循环网络组后增加特征融合操作，以将分组特征还原为分组前的特征大小，然后经过第二全连接层进行特征提取，以实现中间分组特征间的信息交换，从而避免特征分割导致的信息损失，在降低模型体积和计算量的同时提高模型性能和预测准确性。
一个实施例中，请参考图7，目标特征提取网络可以基于linear全连接网络构建，目标预测模型包括两组循环神经网络组(第一网络组和第二网络组)和一个第二全连接网络，每组循环神经网络组中包括两个循环网络分支(第一网络分支和第二网络分支)，每一循环网络分支中包括一层LSTM网络，循环神经网络组中的两LSTM权重共享。
具体的，幅度谱掩膜(REF Magnitude)和混音幅度谱(Mic Magnitude)的特征大小为T×M，通过Concat操作对二者进行融合处理，得到融合幅度谱(C Magnitude)，特征大小为T×2M；该融合幅度谱作为目标特征提取网络(Linear)的输入，得到T×N的初始音频特征，进而通过sp l it操作进行分割，得到两个T×N/2的音频分割特征。两个音频分割特征分别作为目标预测模型的第一网络组中第一网络分支和第二网络分支的输入，分别通过第一网络分支和第二网络分支中的LSTM进行特征提取，得到两个中间分组特征，然后将第一网络组输出的两个中间分组特征进行concat操作，得到T×N的中间融合特征，以作为第二全连接网络的输入，得到中间特征；对该中间特征进行sp l i t操作，得到两个中间分割特征，以作为第二网络组中的第一网络分支和第二网络分支的输入，通过第二网络组的第一网络分支和第二网络分支进行特征提取，得到目标分组特征，经concat操作和第二全连接网络的特征变换后，得到T×M的幅度谱掩膜(Mask)。
可以理解的，音频处理系统架构中计算量最大的部分为循环网络分支，通过特征分割成倍降低循环网络分支的模型大小(如图中LSTM由N降低至N/2)，针对内存占用相对较小的全连接网络部分，输入特征与初始音频特征的大小相同，在通过循环神经网络进行特征提取前，将分组特征还原为分组前，通过全连接网络进行分组特征间的信息交换，从而使输入每组网络组中的分割特征都进行过一次信息融合，大幅降低模型计算量以及模型体积的同时，确保特征信息的完整性，提高预测准确率。
S209：根据幅度谱掩膜和混音幅度谱进行声学数据重构，得到混合音频数据对应的预估近端音频数据。
一些实施例中，S209之前，方法还包括：对混合频域数据进行取相位角操作，得到混音相位谱。相应的，S209具体可以包括：将幅度谱掩膜与混音幅度谱进行相乘处理，得到目标幅度谱；基于目标幅度谱和混音相位谱进行声学数据重构，得到预估近端音频数据，预估近端音频数据相当于对混合音频数据进行回音消除和噪声消除后的数据。
具体的，目标幅度谱相当于对近端音频数据进行频域转换和取模操作得到的近端幅度谱，将目标幅度谱与混音相位谱进行声学数据重构，可得到预估近端音频数据。这里的声学数据重构可以为将目标幅度谱与混音相位谱合成为目标频域数据，然后对目标频域数据进行时域转换处理，得到预估近端音频数据，其中，时域转换处理可以为逆傅里叶变换。
在另一些实施例中，除幅度谱掩膜输出层外，目标预测模型还可以设置相位谱掩膜输出层，以使目标预测模型基于由混音幅度谱和参考幅度谱提取的音频分割特征，输出幅度谱掩膜和相位谱掩膜；然后，将幅度谱掩膜与混音幅度谱进行相乘处理，得到目标幅度谱，将相位谱掩膜与混音相位谱相乘处理，得到目标相位谱，进而基于目标幅度谱和目标相位谱进行声学数据重构，得到预估近端音频数据。如此，以预测得到的相位谱进行数据重构，进一步优化预估近端音频数据的真实性和准确性。
在另一些实施例中，除设置幅度谱掩膜输出层和相位谱掩膜输出层外，在输入层中输入相位谱与幅度谱数据。具体的，将混音相位谱与混音幅度谱进行特征相加处理，得到混音特征谱；将参考相位谱与参考幅度谱进行特征相加处理，得到参考特征谱，其中，特征相加处理可以为add操作；然后，对混音特征谱和参考特征谱进行特征融合处理，如concat操作，得到融合特征谱，以融合特征谱作为目标特征提取网络的输入，得到初始音频特征，进而输入目标预测网络，得到幅度谱掩膜与相位谱掩膜；然后，将幅度谱掩膜与混音幅度谱进行相乘处理，得到目标幅度谱，将相位谱掩膜与混音相位谱相乘处理，得到目标相位谱，通过声学数据重构得到预估近端音频数据。如此，优化输入数据的信息完整性，以提高预估近端音频数据的真实性和准确性。
基于上述部分或全部实施方式，本申请实施例中，请参考图8，方法还可以包括样本训练数据的获取步骤，具体包括下述S501-S505。
S501：获取样本近端音频数据、样本远端音频数据和样本远端音频数据对应的房间冲激响应。
S503：将样本远端音频数据和房间冲激响应进行卷积处理，得到样本参考音频数据。
S505：将样本回声数据和样本近端音频数据进行混音处理，得到样本混合音频数据。
实际应用中，房间冲激响应可以为采集的实际冲激响应，也可以为模拟冲激响应，将房间冲激响应与样本近端音频数据进行卷积可以生成样本参考音频数据，该样本参考音频数据为模拟的回声信号，与样本近端音频数据混音后生成样本混合音频数据。基于样本混合音频数据、样本参考音频数据和样本近端音频数据构建训练数据集，具体的，将样本混合音频数据对应的样本混音幅度谱和样本参考音频数据对应的样本参考幅度谱作为输入样本，将样本近端音频数据作为样本标签。
一些情况下，还可以采集或模拟生成环境噪声数据，将样本回声数据、样本近端音频数据和环境噪声数据基于预设信噪比进行混音处理，得到样本参考音频数据。进一步地，还可以基于非线性函数对样本参考音频数据进行非线性处理，得到更新的样本参考音频数据，以作为训练数据。如此，提高训练数据与应用场景中实际音频的匹配性，优化模型训练效果。
进一步的，基于样本混合音频数据、样本参考音频数据和样本近端音频数据，对初始特征提取网络和初始预测模型进行训练，得到目标特征提取网络和目标预测模型。模型训练方法可以具体包括下述步骤。
S601：基于初始特征提取网络对样本混合音频数据的样本混音幅度谱和样本参考音频数据的样本参考幅度谱进行特征提取，得到样本音频特征。
S603：对样本音频特征进行特征分割，得到至少两个样本分割特征。
S605：基于初始预测模型对至少两个样本分割特征进行掩膜预测处理，得到样本幅度谱掩膜。
S607：根据样幅度谱掩膜和样本混音幅度谱进行声学数据重构，得到样本预估音频数据。
S609：根据样本近端预估音频数据和样本近端音频数据进行损失计算，得到模型损失。
S611：根据模型损失，对初始特征提取网络和初始预测模型进行迭代训练，以调整初始特征提取网络和初始预测模型的参数，至满足训练收敛条件，得到目标特征提取网络和目标预测模型。
具体的，可以基于SiSNR Loss计算上述模型损失。
综上，本申请的技术方案基于音频分割特征进行掩膜预测，并进行近端音频数据预估，能够有效去除混合音频数据中的线性和非线性回声信号干扰，提高近端音频数据的预估准确性，同时能够降低对目标预测模型的模型大小需求，以及降低音频数据处理的计算量和内存占用，满足终端上线需求。具体的，在分割为两组音频分割特征的情况下，网络模型的大小缩小至接近二分之一，降低体积和计算量的同时，将运算速度提升至两倍以上，在ARM平台上，实际测试得到的在线识别指标RTF(real_time_factor，实时率)为0.15，模型PESQ指标也显著提升。
以下结合图9介绍本申请的音频数据处理流程，具体包括下述步骤：
S1.分别对混合音频数据(MIC singal)和远端参考音频数据(REF singal)进行FFT变换，得到混音幅度谱和参考幅度谱，以及混合音频数据的混音相位谱(Phase)。
S2.对混音幅度谱和参考幅度谱进行concat操作，得到融合幅度谱。
S3.将融合幅度谱输入目标特征提取网络，得到初始音频特征。
S4.对初始音频特征进行split操作，得到多个音频分割特征。
S5.将多个音频分割特征输入目标预测网络，得到幅度谱掩膜(Mask)。
S6.将幅度谱掩膜和混音幅度谱相乘，得到目标幅度谱。
S7.基于目标幅度谱和混音相位谱进行声学数据重构，得到预估近端音频数据(Clean singal)。
本申请实施例还提供了一种音频数据处理装置700，如图10所示，图10示出了本申请实施例提供的一种音频数据处理装置的结构示意图，装置可以包括下述模块。
幅度谱获取模块10：用于获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱；
特征提取模块20：用于对混音幅度谱和参考幅度谱进行特征提取，得到初始音频特征；
特征分割模块30：用于对初始音频特征进行特征分割处理，得到至少两个音频分割特征；
掩膜预测模块40：用于基于目标预测模型对至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜；
数据重构模块50：用于根据幅度谱掩膜和混音幅度谱进行声学数据重构，得到混合音频数据对应的预估近端音频数据。
一些实施例中，目标预测模型包括至少两个循环网络分支和第一全连接网络；掩膜预测模块40包括：
第一分组特征提取单元：用于将至少两个音频分割特征分别输入对应的循环神经网络分支，以进行分组特征提取，得到至少两个音频分割特征各自对应的目标分组特征；
第一特征融合单元：用于对各目标分组特征进行特征融合，得到目标融合特征；
第一特征变换单元：用于基于第一全连接网络对目标融合特征进行特征变换处理，得到幅度谱掩膜。
一些实施例中，每一循环神经网络分支至少包括至少两层循环神经网络；分组特征提取单元可以具体用于：将至少两个音频分割特征中的每一音频分割特征输入对应的循环神经网络分支，以循环神经网络分支中前一层循环神经网络的输出作为后一层循环神经网络的输入，对每一音频分割特征进行特征提取，得到目标分组特征。
一些实施例中，目标预测模型包括第一全连接网络、至少两组循环神经网络组和设置于相邻循环神经网络组间的第二全连接网络和，循环神经网络组包括至少两个循环网络分支；掩膜预测模块40包括：
第二分组特征提取单元：用于将至少两个音频分割特征分别输入首组循环神经网络组中的至少两个循环网络分支，以进行分组特征提取，得到至少两个音频分割特征各自的中间分组特征；
分组特征融合单元：用于对各中间分组特征进行分组特征融合，得到中间融合特征；
融合特征提取单元：用于基于首个第二全连接网络对中间融合特征进行融合特征提取，得到中间特征；
中间特征分割单元：用于对中间特征进行中间特征分割，得到至少两个中间分割特征；
目标分组特征提取单元：用于以至少两个中间分割特征作为下一循环神经网络组的输入，重复执行上述分组特征提取、分组特征融合、融合特征提取和中间特征分割的步骤，至得到末组循环神经网络组输出的至少两个音频分割特征各自的目标分组特征；
第二特征融合单元：用于对各目标分组特征进行特征融合，得到目标融合特征；
第二特征变换单元：用于基于第一全连接网络对目标融合特征进行特征变换处理，得到幅度谱掩膜。
一些实施例中，特征提取模块20包括：
幅度谱融合单元：用于对混音幅度谱和参考幅度谱进行融合处理，得到融合幅度谱；
幅度谱特征提取单元：用于基于目标特征提取网络对融合幅度谱进行特征提取，得到初始音频特征。
一些实施例中，幅度谱获取模块10包括：
频域转换单元：用于对混合音频数据和远端参考音频数据进行频域转换处理，得到混合音频数据的混合频域数据和远端参考音频数据的远端频域数据；
取模操作单元：用于对混合频域数据和远端频域数据进行取模操作，得到混音幅度谱和参考幅度谱。
一些实施例中，装置还可以包括相位谱获取模块：用于在根据幅度谱掩膜和混音幅度谱进行声学数据重构，得到混合音频数据对应的预估近端音频数据之前，对混合频域数据进行取相位角操作，得到混音相位谱。
一些实施例中，数据重构模块50包括：
目标幅度谱生成单元：用于将幅度谱掩膜与混音幅度谱进行相乘处理，得到目标幅度谱；
声学数据重构单元：用于基于目标幅度谱和混音相位谱进行声学数据重构，得到预估近端音频数据。
一些实施例中，装置还可以包括：
样本音频获取模块：用于获取样本近端音频数据、样本远端音频数据和样本远端音频数据对应的房间冲激响应；
卷积处理模块：用于将样本远端音频数据和房间冲激响应进行卷积处理，得到样本参考音频数据；
混音处理模块：用于将样本回声数据和样本近端音频数据进行混音处理，得到样本混合音频数据。
一些实施例中，装置还可以包括模型训练模块：用于基于样本混合音频数据、样本参考音频数据和样本近端音频数据，对初始特征提取网络和初始预测模型进行训练，得到目标特征提取网络和目标预测模型。
需要说明的是，上述装置实施例与方法实施例基于相同的实施方式。
本申请实施例提供了一种音频数据处理设备，该调度设备可以为终端或服务器，包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的音频数据处理方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及音频数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置等电子设备中执行。图11是本申请实施例提供的一种音频数据处理方法的电子设备的硬件结构框图。如图11所示，该电子设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在电子设备900上执行存储介质920中的一系列指令操作。电子设备900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备900还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质，存储介质可设置于电子设备之中以保存用于实现方法实施例中一种音频数据处理方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的音频数据处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
由上述本申请提供的音频数据处理方法、装置、设备、服务器、终端、存储介质和程序产品的实施例可见，本申请的技术方案通过获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱；对混音幅度谱和参考幅度谱进行特征提取，得到初始音频特征；对初始音频特征进行特征分割处理，得到至少两个音频分割特征；基于目标预测模型对至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜；根据幅度谱掩膜和混音幅度谱进行声学数据重构，得到混合音频数据对应的预估近端音频数据。如此，基于音频分割特征进行掩膜预测，并进行近端音频数据预估，能够有效去除混合音频数据中的线性和非线性回声信号干扰，提高近端音频数据的预估准确性，同时能够降低对目标预测模型的模型大小需求，以及降低音频数据处理的计算量和内存占用。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种音频数据处理方法，其特征在于，所述方法包括：
获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱；
对所述混音幅度谱和所述参考幅度谱进行特征提取，得到初始音频特征；
对所述初始音频特征进行特征分割处理，得到至少两个音频分割特征；
基于目标预测模型对所述至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜；
根据所述幅度谱掩膜和所述混音幅度谱进行声学数据重构，得到所述混合音频数据对应的预估近端音频数据。
2.根据权利要求1所述的方法，其特征在于，所述目标预测模型包括至少两个循环网络分支和第一全连接网络；所述基于目标预测模型对所述至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜包括：
将所述至少两个音频分割特征分别输入对应的循环神经网络分支，以进行分组特征提取，得到所述至少两个音频分割特征各自对应的目标分组特征；
对各目标分组特征进行特征融合，得到目标融合特征；
基于所述第一全连接网络对所述目标融合特征进行特征变换处理，得到所述幅度谱掩膜。
3.根据权利要求2所述的方法，其特征在于，每一所述循环神经网络分支至少包括至少两层循环神经网络；所述将所述至少两个音频分割特征分别输入对应的循环神经网络分支，以进行分组特征提取，得到所述至少两个音频分割特征各自对应的目标分组特征包括：
将所述至少两个音频分割特征中的每一音频分割特征输入对应的循环神经网络分支，以所述循环神经网络分支中前一层循环神经网络的输出作为后一层循环神经网络的输入，对所述每一音频分割特征进行特征提取，得到所述目标分组特征。
4.根据权利要求1所述的方法，其特征在于，所述目标预测模型包括第一全连接网络、至少两组循环神经网络组和设置于相邻循环神经网络组间的第二全连接网络和，所述循环神经网络组包括至少两个循环网络分支；所述基于目标预测模型对所述至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜包括：
将所述至少两个音频分割特征分别输入首组循环神经网络组中的至少两个循环网络分支，以进行分组特征提取，得到所述至少两个音频分割特征各自的中间分组特征；
对各中间分组特征进行分组特征融合，得到中间融合特征；
基于首个第二全连接网络对所述中间融合特征进行融合特征提取，得到中间特征；
对所述中间特征进行中间特征分割，得到至少两个中间分割特征；
以所述至少两个中间分割特征作为下一循环神经网络组的输入，重复执行上述分组特征提取、分组特征融合、融合特征提取和中间特征分割的步骤，至得到末组循环神经网络组输出的所述至少两个音频分割特征各自的目标分组特征；
对各目标分组特征进行特征融合，得到目标融合特征；
基于所述第一全连接网络对所述目标融合特征进行特征变换处理，得到所述幅度谱掩膜。
5.根据权利要求1所述的方法，其特征在于，所述对所述混音幅度谱和所述参考幅度谱进行特征提取，得到初始音频特征包括：
对所述混音幅度谱和所述参考幅度谱进行融合处理，得到融合幅度谱；
基于目标特征提取网络对所述融合幅度谱进行特征提取，得到所述初始音频特征。
6.根据权利要求1所述的方法，其特征在于，所述获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱包括：
对所述混合音频数据和所述远端参考音频数据进行频域转换处理，得到所述混合音频数据的混合频域数据和所述远端参考音频数据的远端频域数据；
对所述混合频域数据和所述远端频域数据进行取模操作，得到所述混音幅度谱和所述参考幅度谱。
7.根据权利要求6所述的方法，其特征在于，在所述根据所述幅度谱掩膜和所述混音幅度谱进行声学数据重构，得到所述混合音频数据对应的预估近端音频数据之前，所述方法包括：
对所述混合频域数据进行取相位角操作，得到混音相位谱。
8.根据权利要求7所述的方法，其特征在于，所述根据所述幅度谱掩膜和所述混音幅度谱进行声学数据重构，得到所述混合音频数据对应的预估近端音频数据包括：
将所述幅度谱掩膜与所述混音幅度谱进行相乘处理，得到目标幅度谱；
基于所述目标幅度谱和所述混音相位谱进行声学数据重构，得到所述预估近端音频数据。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本近端音频数据、样本远端音频数据和所述样本远端音频数据对应的房间冲激响应；
将所述样本远端音频数据和所述房间冲激响应进行卷积处理，得到样本参考音频数据；
将所述样本回声数据和所述样本近端音频数据进行混音处理，得到样本混合音频数据。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
基于所述样本混合音频数据、样本参考音频数据和所述样本近端音频数据，对初始特征提取网络和初始预测模型进行训练，得到目标特征提取网络和所述目标预测模型。
11.一种音频数据处理装置，其特征在于，所述装置包括：
幅度谱获取模块：用于获取混合音频数据的混音幅度谱和远端参考音频数据的参考幅度谱；
特征提取模块：用于对所述混音幅度谱和所述参考幅度谱进行特征提取，得到初始音频特征；
特征分割模块：用于对所述初始音频特征进行特征分割处理，得到至少两个音频分割特征；
掩膜预测模块：用于基于目标预测模型对所述至少两个音频分割特征进行掩膜预测处理，得到幅度谱掩膜；
数据重构模块：用于根据所述幅度谱掩膜和所述混音幅度谱进行声学数据重构，得到所述混合音频数据对应的预估近端音频数据。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-10中任一项所述的音频数据处理方法。
13.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-10中任一项所述的音频数据处理方法。
14.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1-10中任一项所述的音频数据处理方法。
CN202210612686.4A 2022-05-31 2022-05-31 音频数据处理方法、装置、电子设备、存储介质和产品 Active CN115113855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210612686.4A CN115113855B (zh) 2022-05-31 2022-05-31 音频数据处理方法、装置、电子设备、存储介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210612686.4A CN115113855B (zh) 2022-05-31 2022-05-31 音频数据处理方法、装置、电子设备、存储介质和产品

Publications (2)

Publication Number Publication Date
CN115113855A true CN115113855A (zh) 2022-09-27
CN115113855B CN115113855B (zh) 2024-05-10

Family

ID=83327335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210612686.4A Active CN115113855B (zh) 2022-05-31 2022-05-31 音频数据处理方法、装置、电子设备、存储介质和产品

Country Status (1)

Country Link
CN (1) CN115113855B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030821A (zh) * 2023-03-27 2023-04-28 北京探境科技有限公司 音频处理方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265859A1 (en) * 2019-02-15 2020-08-20 Crestron Electronics, Inc. Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing sytem
CN111756942A (zh) * 2019-03-28 2020-10-09 三星电子株式会社 执行回声消除的通信设备和方法及计算机可读介质
CN112491449A (zh) * 2020-11-04 2021-03-12 北京百度网讯科技有限公司 声回波消除方法、装置、电子设备和存储介质
CN112837237A (zh) * 2021-01-28 2021-05-25 商汤集团有限公司 视频修复方法及装置、电子设备和存储介质
CN113192527A (zh) * 2021-04-28 2021-07-30 北京达佳互联信息技术有限公司 用于消除回声的方法、装置、电子设备和存储介质
US20210343306A1 (en) * 2020-04-29 2021-11-04 Qualcomm Incorporated Mixed adaptive and fixed coefficient neural networks for speech enhancement
CN114242098A (zh) * 2021-12-13 2022-03-25 北京百度网讯科技有限公司 一种语音增强方法、装置、设备以及存储介质
CN114530160A (zh) * 2022-02-25 2022-05-24 携程旅游信息技术（上海）有限公司 模型训练方法、回声消除方法、系统、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265859A1 (en) * 2019-02-15 2020-08-20 Crestron Electronics, Inc. Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing sytem
CN111756942A (zh) * 2019-03-28 2020-10-09 三星电子株式会社 执行回声消除的通信设备和方法及计算机可读介质
US20210343306A1 (en) * 2020-04-29 2021-11-04 Qualcomm Incorporated Mixed adaptive and fixed coefficient neural networks for speech enhancement
CN112491449A (zh) * 2020-11-04 2021-03-12 北京百度网讯科技有限公司 声回波消除方法、装置、电子设备和存储介质
CN112837237A (zh) * 2021-01-28 2021-05-25 商汤集团有限公司 视频修复方法及装置、电子设备和存储介质
CN113192527A (zh) * 2021-04-28 2021-07-30 北京达佳互联信息技术有限公司 用于消除回声的方法、装置、电子设备和存储介质
CN114242098A (zh) * 2021-12-13 2022-03-25 北京百度网讯科技有限公司 一种语音增强方法、装置、设备以及存储介质
CN114530160A (zh) * 2022-02-25 2022-05-24 携程旅游信息技术（上海）有限公司 模型训练方法、回声消除方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LINJUAN CHENG: "《Deep learning-based stereophonic acoustic echo suppression without decorrelation》", 《THE JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA》, 4 August 2021 (2021-08-04), pages 1 - 15 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030821A (zh) * 2023-03-27 2023-04-28 北京探境科技有限公司 音频处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN115113855B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN110600017B (zh) 语音处理模型的训练方法、语音识别方法、系统及装置
CN110379416B (zh) 一种神经网络语言模型训练方法、装置、设备及存储介质
CN111930992B (zh) 神经网络训练方法、装置及电子设备
EP3926623A1 (en) Speech recognition method and apparatus, and neural network training method and apparatus
JP2022529641A (ja) 音声処理方法、装置、電子機器及びコンピュータプログラム
CN112380377B (zh) 一种音频推荐方法、装置、电子设备及计算机存储介质
CN110400575A (zh) 通道间特征提取方法、音频分离方法和装置、计算设备
CN111627458A (zh) 一种声源分离方法及设备
CN111768795A (zh) 语音信号的噪声抑制方法、装置、设备及存储介质
CN108922513A (zh) 语音区分方法、装置、计算机设备及存储介质
US11423307B2 (en) Taxonomy construction via graph-based cross-domain knowledge transfer
CN111357051B (zh) 语音情感识别方法、智能装置和计算机可读存储介质
CN113555032B (zh) 多说话人场景识别及网络训练方法、装置
US20230051413A1 (en) Voice call control method and apparatus, computer-readable medium, and electronic device
EP4266308A1 (en) Voice extraction method and apparatus, and electronic device
CN112750462A (zh) 一种音频处理方法、装置及设备
CN108959388A (zh) 信息生成方法及装置
CN115113855B (zh) 音频数据处理方法、装置、电子设备、存储介质和产品
CN116737895A (zh) 一种数据处理方法及相关设备
JP2023549048A (ja) 音声認識方法と装置並びにコンピュータデバイス及びコンピュータプログラム
CN113657468A (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN111508530B (zh) 语音情感识别方法、装置及存储介质
CN111858916B (zh) 用于聚类句子的方法和装置
CN111090740A (zh) 一种用于对话系统的知识图谱生成方法
CN113657136B (zh) 识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant