CN112105902A - 基于机器学习的用于音频编码和解码的基于感知的损失函数 - Google Patents

基于机器学习的用于音频编码和解码的基于感知的损失函数 Download PDF

Info

Publication number
CN112105902A
CN112105902A CN201980030729.4A CN201980030729A CN112105902A CN 112105902 A CN112105902 A CN 112105902A CN 201980030729 A CN201980030729 A CN 201980030729A CN 112105902 A CN112105902 A CN 112105902A
Authority
CN
China
Prior art keywords
audio signal
neural network
audio
loss function
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980030729.4A
Other languages
English (en)
Other versions
CN112105902B (zh
Inventor
R·M·费杰吉恩
G·A·戴维森
吴致暐
V·库玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN202210834906.8A priority Critical patent/CN115410583A/zh
Publication of CN112105902A publication Critical patent/CN112105902A/zh
Application granted granted Critical
Publication of CN112105902B publication Critical patent/CN112105902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于训练神经网络以及用于通过训练的神经网络来实现音频编码器和解码器的计算机实现的方法。神经网络可以接收输入音频信号，生成编码音频信号并且对编码音频信号进行解码。损失函数生成模块可以接收解码音频信号和真值音频信号，并且可以生成与解码音频信号相对应的损失函数值。生成损失函数值可涉及应用心理声学模型。可以基于损失函数值来训练神经网络。训练可涉及更新神经网络的至少一个权重。

Description

基于机器学习的用于音频编码和解码的基于感知的损失函数
技术领域
本公开涉及音频信号处理。特别地，本公开涉及对音频数据进行编码和解码。
背景技术
音频编解码器是在给定特定音频文件或流媒体音频格式的情况下能够编码和/或解码数字音频数据的设备或计算机程序。音频编解码器的主要目标通常是用最小位数表示音频信号，同时将音频质量保持在适合于该位数的程度。这种音频数据压缩既可以减小音频数据所需的存储空间，又可以减小音频数据传输所需的带宽。
发明内容
文中公开了各种音频处理方法。一些这样的方法可以是计算机实现的音频处理方法，其包括通过经由控制系统实现的神经网络接收输入音频信号，该控制系统包括一个或多个处理器以及一个或多个非暂时性存储介质。这样的方法可包括通过神经网络并基于输入音频信号生成编码音频信号。一些这样的方法可包括通过控制系统对编码音频信号进行解码，以产生解码音频信号，并且通过经由控制系统实现的损失函数生成模块接收解码音频信号和真值(ground truth)音频信号。这样的方法可包括通过损失函数生成模块生成与解码音频信号相对应的损失函数值。生成损失函数值可包括应用心理声学模型。这样的方法可包括基于损失函数值训练神经网络。训练可包括更新神经网络的至少一个权重。
根据一些实现，训练神经网络可以包括基于损失函数值的反向传播。在一些示例中，神经网络可以包括自编码器。训练神经网络可包括改变与神经网络的至少一个权重相对应的至少一个非暂时性存储介质位置的物理状态。
在一些实现中，神经网络的第一部分可以生成编码音频信号，并且神经网络的第二部分可以解码编码音频信号。在一些这样的实现中，神经网络的第一部分可以包括输入神经元层和多个隐藏神经元层。在某些情况下，输入神经元层可包括比最终隐藏神经元层更多的神经元。神经网络的第一部分的至少一些神经元可以被配置有修正线性单元(ReLU)激活函数(activation function)。在一些示例中，神经网络的第二部分的隐藏层中的至少一些神经元可以被配置具有ReLU激活函数，并且第二部分的输出层中的至少一些神经元可以被配置具有S型(Sigmoidal)激活函数。
根据一些示例，心理声学模型可以至少部分地基于一个或多个心理声学掩蔽阈值。在一些实现中，心理声学模型可以包括对外耳传递函数建模，分组为临界频带，频域掩蔽(包括但不限于水平相关的扩展)，对频率相关的听力阈值进行建模和/或计算噪声掩蔽比。在一些示例中，损失函数可以涉及计算平均噪声掩蔽比，并且训练可以涉及使平均噪声掩蔽比最小化。
文中公开了一些音频编码方法和设备。在一些示例中，音频编码方法可包括通过控制系统接收当前输入的音频信号，该控制系统包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质。该控制系统被配置为实现音频编码器，该音频编码器包括已经根据文中公开的方法中的任一个被训练的神经网络。这样的方法可包括经由音频编码器以压缩音频格式编码当前输入的音频信号，并且输出压缩音频格式的编码音频信号。
文中公开了一些音频解码方法和设备。在一些示例中，音频解码方法可以包括：通过控制系统接收当前输入的压缩音频信号，该控制系统包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质。控制系统被配置为实现音频解码器，该音频解码器包括已经根据文中公开的方法中的任一个被训练的神经网络。这样的方法可包括经由音频解码器解码当前输入的压缩音频信号，并输出解码音频信号。一些这样的方法可包括经由一个或多个换能器再现解码音频信号。
可以由一个或多个设备根据存储在一种或多种非暂时性介质上的指令(例如，软件)来执行文中所述的方法中的一些或全部。这样的非暂时性介质可以包括诸如文中所述的那些的存储设备，包括但不限于随机存取存储器(RAM)设备，只读存储器(ROM)设备等。因此，可以在其上存储有软件的非暂时性介质中实现本公开中描述的主题的各个创新方面。该软件可以例如包括用于控制至少一个设备以处理音频数据的指令。该软件可以例如由诸如文中公开的那些的控制系统的一个或多个组件执行。该软件可以例如包括用于执行文中公开的方法中的一种或多种的指令。
可以经由装置来实现本公开的至少一些方面。例如，一个或多个设备可以被配置用于至少部分地执行文中公开的方法。在一些实施方式中，一种装置可以包括接口系统和控制系统。接口系统可以包括一个或多个网络接口、控制系统与存储器系统之间的一个或多个接口、控制系统与另一设备之间的一个或多个接口、和/或一个或多个外部设备接口。控制系统可包括通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑器件、或离散硬件组件中的至少一者。因此，在一些实现中，控制系统可以包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质。
根据一些这样的示例，该装置可以包括接口系统和控制系统。该控制系统可以例如被配置用于实现文中公开的方法中的一种或多种。例如，控制系统可以被配置为实现音频编码器。音频编码器可以包括已经根据文中公开的方法中的一种或多种训练的神经网络。控制系统可以被配置用于接收当前输入的音频信号，用于以压缩音频格式对当前输入的音频信号进行编码，以及用于(例如经由接口系统)输出压缩音频格式的编码音频信号。
替代地或附加地，控制系统可以被配置为实现音频解码器。音频解码器可以包括已经根据以下过程被训练的神经网络，该过程包括通过该神经网络并通过接口系统接收输入的训练音频信号，并通过神经网络且基于输入的训练音频信号生成编码的训练音频信号。该过程可以包括经由控制系统对编码的训练音频信号进行解码以产生解码的训练音频信号，并通过经由控制系统实现的损失函数生成模块来接收解码的训练音频信号和真值音频信号。该过程可以包括通过损失函数生成模块生成与解码的训练音频信号相对应的损失函数值。生成损失函数值可能包括应用心理声学模型。该过程可包括基于损失函数值训练神经网络。
音频编码器可以进一步被配置为接收当前输入的音频信号，以压缩音频格式对当前输入的音频信号进行编码，以及输出压缩音频格式的编码音频信号。
在一些实现中，公开的系统可以包括音频解码装置。该音频解码装置可以包括接口系统和控制系统，该控制系统包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质。该控制系统可以被配置为实现音频解码器。
音频解码器可以包括已经根据以下过程被训练的神经网络，该过程包括通过神经网络并经由接口系统接收输入的训练音频信号，并且通过神经网络且基于输入的训练音频信号生成编码的训练音频信号。该过程可以包括经由控制系统对编码的训练音频信号进行解码以产生解码的训练音频信号，并通过经由控制系统实现的损失函数生成模块来接收解码的训练音频信号和真值音频信号。该过程可以包括通过损失函数生成模块生成与解码的训练音频信号相对应的损失函数值。生成损失函数值可包括应用心理声学模型。该过程可包括基于损失函数值训练神经网络。
音频解码器可以进一步被配置为接收压缩音频格式的当前输入的编码音频信号，用于以解压缩音频格式对当前输入的编码音频信号进行解码，并且用于输出解压缩音频格式的解码音频信号。根据一些实现，该系统可以包括被配置用于再现解码音频信号的一个或多个换能器。
说明书中描述的主题的一种或多种实现的细节在附图和以下描述中被阐述。其他特征、方面和优点将从说明书、附图和权利要求书变得显而易见。请注意，以下附图的相对尺寸可能未按比例绘制。各个附图中相同的附图标记和标志通常指示相同的元件。
附图说明
图1是示出可以被配置为执行文中公开的方法中的至少一些的装置的组件的示例的框图。
图2示出了根据一个示例的用于根据基于感知的损失函数来实现机器学习的过程的框图。
图3示出了根据文中公开的一些实现的神经网络训练过程的示例。
图4A-4D示出了适合于实现文中公开的一些方法的神经网络的替代示例。
图5A是概述根据一个示例的训练用于音频编码和解码的神经网络的方法的块的流程图。
图5B是概述根据一个示例的使用经训练的神经网络进行音频编码的方法的块的流程图。
图5C是概述根据一个示例的使用经训练的神经网络进行音频解码的方法的块的流程图。
图6是示出损失函数生成模块的框图，该损失函数生成模块被配置为基于均方误差生成损失函数。
图7A是近似人耳道的典型声学响应的函数的曲线图。
图7B示出了损失函数生成模块，其被配置为基于人耳道的典型声学响应来生成损失函数。
图8示出了损失函数生成模块，其被配置为基于分带操作来生成损失函数。
图9A示出了根据一些示例的频率掩蔽中所包含的过程。
图9B示出了扩展函数的示例。
图10示出了损失函数生成模块的替代性实现的一个示例。
图11显示了针对一些公开的实现的客观测试结果的示例。
图12显示了由使用各种损失函数训练的神经网络产生的对应于男性讲话者的音频数据的主观测试结果的示例。
图13显示了由使用与图12中所示相同类型的损失函数训练的神经网络产生的对应于女性讲话者的音频数据的主观测试结果的示例。
具体实施方式
以下描述针对出于描述本公开的一些创新方面的目的的某些实现以及其中可以实现这些创新方面的上下文的示例。然而，文中的教导可以以各种不同的方式被应用。而且，所描述的实施例可以以各种硬件、软件、固件等来实现。例如，本申请的各方面可以至少部分地体现在装置、包括多于一个的设备的系统、方法、计算机程序产品等中。因此，本申请的各方面可以采取硬件实施例、软件实施例(包括固件、驻留软件、微代码等)和/或结合了软件和硬件方面两者的实施例的形式。这样的实施例在文中可以被称为“电路”、“模块”或“引擎”。本申请的一些方面可以采取在一种或多种非暂时性介质中体现的计算机程序产品的形式，在非暂时性介质上体现有计算机可读程序代码。这样的非暂时性介质可以例如包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或上述的任意适当组合。因此，本公开的教导不旨在限于附图中示出和/或文中描述的实现，而是具有广泛的适用性。
发明人研究了与包括但不限于音频数据编码和解码的音频数据处理有关的各种机器学习方法。特别地，发明人研究了使用与人类感知声音的方式有关的损失函数来训练不同类型的神经网络的各种方法。根据通过神经网络编码产生的音频数据，评估了这些损失函数中的每一个的有效性。根据客观和主观标准评估了音频数据。在一些示例中，由已经通过使用基于均方误差的损失函数训练的神经网络处理的音频数据被用作评估根据文中公开的方法产生的音频数据的基础。在某些情况下，通过主观标准进行评估的过程涉及让人类听众评估所得的音频数据并获得听众的反馈。
文中公开的技术基于上述研究。本公开提供了使用基于感知的损失函数来训练用于音频数据编码和/或解码的神经网络的各种示例。在一些示例中，基于感知的损失函数是基于心理声学模型的。心理声学模型可以例如至少部分地基于一个或多个心理声学掩蔽阈值。在一些示例中，心理声学模型可以包括对外耳传递函数进行建模，将音频数据分组为临界频带，频域掩蔽(包括但不限于水平相关的扩展)，对频率相关的听力阈值进行建模，和/或噪声掩蔽比的计算。在一些实施方式中，损失函数可以涉及计算平均噪声掩蔽比。在一些这样的示例中，训练过程可以包括最小化平均噪声掩蔽比。
图1是示出可以被配置为执行文中公开的方法中的至少一些的装置的组件的示例的框图。在一些示例中，装置105可以是或可以包括个人计算机，台式计算机或被配置为提供音频处理的其他本地设备。在一些示例中，装置105可以是或可以包括服务器。根据一些示例，装置105可以是被配置为经由网络接口与服务器通信的客户端设备。可以经由硬件、经由存储在非暂时性介质上的软件、经由固件和/或通过其组合来实现装置105的组件。图1所示的部件的类型和数量以及文中公开的其他附图仅作为示例被示出。替代性实现可以包括更多、更少和/或不同的组件。
在该示例中，装置105包括接口系统110和控制系统115。接口系统110可以包括一个或多个网络接口，控制系统115与存储系统之间的一个或多个接口，和/或一个或多个外部设备接口(诸如一个或多个通用串行总线(USB)接口)。在一些实现中，接口系统110可以包括用户界面系统。用户界面系统可以被配置为从用户接收输入。在一些实现中，用户界面系统可以被配置为向用户提供反馈。例如，用户界面系统可以包括具有相应的触摸和/或手势检测系统的一个或多个显示器。在一些示例中，用户界面系统可以包括一个或多个麦克风和/或扬声器。根据一些示例，用户界面系统可以包括用于提供触觉反馈的装置，诸如马达，振动器等。控制系统115可以例如包括通用单芯片或多芯片处理器，数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其他可编程逻辑器件，离散门或晶体管逻辑器件，和/或离散硬件组件。
在一些示例中，装置105可以在单个设备中实现。然而，在一些实现中，装置105可以在一个以上的设备中实现。在一些这样的实现中，控制系统115的功能可以被包括在一个以上的设备中。在一些示例中，装置105可以是另一设备的组件。
图2示出了根据一个示例的用于根据基于感知的损失函数来实现机器学习的过程的框图。在该示例中，输入音频信号205被提供给机器学习模块210。在一些示例中，输入音频信号205可以对应于人类语音。然而，在其他示例中，输入音频信号205可以对应于其他声音，例如音乐等。
根据一些示例，可以经由诸如控制系统115之类的一个或多个控制系统来实现系统200的元件，包括但不限于机器学习模块210。机器学习模块210可以例如经由诸如接口系统110之类的接口系统接收输入音频信号205。在一些情况下，机器学习模块210可以被配置为实现一个或多个神经网络，例如文中公开的神经网络。但是，在其他实现中，机器学习模块210可以配置为实现一种或多种其他类型的机器学习，例如非负矩阵分解，鲁棒主成分分析，稀疏编码，概率潜在成分分析等。
在图2所示的示例中，机器学习模块210将输出音频信号215提供给损失函数生成模块220。损失函数生成模块225和可选的真值模块220可以例如经由诸如控制系统115的控制系统来实现。在一些示例中，损失函数生成模块225、机器学习模块210和可选的真值模块220可以经由同一设备实现，而在其他示例中，损失函数生成模块225、可选的真值模块220和机器学习模块210可以经由不同的设备来实现。
根据该示例，损失函数生成模块225接收输入音频信号205，并且将输入音频信号205用作“真值”以用于误差确定。然而，在一些替代实现中，损失函数生成模块225可以接收来自可选的真值模块220的真值数据。这样的实现可以例如涉及诸如语音增强或语音去噪之类的任务，其中真值不是原始输入音频信号。不管真值数据是输入音频信号205还是从可选的真值模块接收的数据，损失函数生成模块225都根据损失函数算法和真值数据来评估输出音频信号，并提供损失函数值230到机器学习模块210。在一些这样的实现中，机器学习模块210包括优化器模块315的实现，其在下文参考图3被描述。在其他示例中，系统200包括与机器学习模块210和损失函数生成模块225分开但与之通信的优化器模块315的实现。损失函数的各种示例在文中被公开。在此示例中，损失函数生成模块225应用基于感知的损失函数，其可以基于心理声学模型。根据该示例，经由机器学习模块210实现的机器学习过程(例如，训练神经网络的过程)部分地基于损失函数值230。
与使用基于均方误差(MSE)、L1-范数等的传统损失函数的机器学习过程产生的输出音频信号的感知质量相比，采用基于感知的损失函数(诸如基于心理声学模型的损失函数)用于机器学习(例如，用于训练神经网络)可以提高输出音频信号215的感知质量。例如，与由通过基于MSE的损失函数针对相同时间长度训练的具有相同架构的神经网络产生的输出音频信号的感知质量相比，通过基于心理声学模型的损失函数针对给定时间长度训练的神经网络可以提高输出音频信号215的感知质量。而且，经由基于心理声学模型的损失函数被训练收敛的神经网络通常将产生与经由基于MSE的损失函数被训练收敛的具有相同架构的神经网络的输出音频信号相比感知质量更高的输出音频信号。
一些公开的损失函数利用心理声学原理来确定输出音频信号215中的哪些差异对于普通人而言是可听见的，而哪些差异对于普通人而言是不可听见的。在一些示例中，基于心理声学模型的损失函数可以采用心理声学现象，例如时间掩蔽、频率掩蔽、等响度曲线、水平相关掩蔽、和/或人类听力阈值。在一些实现中，感知损失函数可以在时域中操作，而在其他实现中，感知损失函数可以在频域中操作。在替代实现中，感知损失函数可以涉及时域操作和频域操作两者。在一些示例中，损失函数可以使用一帧输入来计算损失函数，而在其他示例中，损失函数可以使用多个输入帧来计算损失函数。
图3示出了根据文中公开的一些实现的神经网络训练过程的示例。与文中提供的其他附图一样，元件的数量和类型仅作为示例。根据一些示例，系统301的元件可以经由诸如控制系统115的一个或多个控制系统来实现。在图3所示的示例中，神经网络300是自编码器(autoencoder)。设计自编码器的技术在Goodfellow，Ian，Yoshua Bengio和AaronCourville的《深度学习(Deep Learning)》(麻省理工学院出版社，2016年)的第14章中进行了介绍，该文献通过引用并入本文。
神经网络300包括节点层，节点在文中也称为“神经元”。每个神经元都有一个实值激活函数(activation function)，其输出通常称为“激活”，它定义了被给定一个输入或一组输入的神经元的输出。根据一些示例，神经网络300的神经元可以采用S型激活函数，ELU激活函数和/或双曲正切激活函数。替代地或附加地，语音神经网络300的神经元可以采用修正线性单元(ReLU)激活函数。
神经元之间的每个连接(也称为“突触(synapse)”)具有可修改的实值权重。神经元可以是输入神经元(从网络外部接收数据)，输出神经元，或对从输入神经元到输出神经元的路径中数据进行修改的隐藏神经元。在图3所示的示例中，神经元层1中的神经元是输入神经元，神经元层7中的神经元是输出神经元，神经元层2-6中的神经元是隐藏神经元。尽管图3中显示了五个隐藏层，但某些实现可能包含更多或更少的隐藏层。神经网络300的某些实现可以包括更多或更少的隐藏层，例如10个或更多个隐藏层。例如，一些实现可以包括10、20、30、40、50、60、70、80、90个或更多个隐藏层。
在此，神经网络300的第一部分(编码部分305)被配置为生成编码音频信号，而神经网络300的第二部分(解码部分310)被配置为对编码音频信号进行解码。在该示例中，编码音频信号是压缩音频信号，而解码音频信号是解压缩音频信号。因此，输入音频信号205被编码部分305压缩，如由用于示出神经元层1-4的块的减小的尺寸所暗示的。在一些示例中，输入神经元层可以包括比编码部分305的隐藏神经元层中的至少一个更多的神经元。然而，在替代实施方案中，神经元层1-4全部可具有相同数目的神经元，或基本相似数目的神经元。
因此，由编码部分305提供的压缩音频信号然后经由解码部分310的神经元层被解码以构建输出信号215，该输出信号215是输入音频信号205的估计。然后，可以使用诸如基于心理声学的损失函数的感知损失函数在训练阶段期间确定神经网络300的参数的更新。这些参数随后可被用于解码(例如，解压缩)已经使用由从训练算法接收的参数确定的权重被编码(例如，压缩)的任何音频信号。换句话说，在对于神经网络300确定了令人满意的权重之后，可以与训练过程分开地进行编码和解码。
根据该示例，损失函数生成模块225接收音频输入信号205的至少一部分，并将其用作真值数据。此处，损失函数生成模块225根据损失函数算法和真值数据评估输出音频信号，并将损失函数值230提供给优化器模块315。在该示例中，利用损失函数生成模块225所使用的损失函数以及神经网络有关的信息来初始化优化器模块315。根据该示例，优化器模块315使用该信息以及优化器模块315从损失函数生成模块225接收的损失值一起来计算损失函数相对于神经网络权重的梯度。一旦知道了该梯度，优化器模块315就使用优化算法来生成神经网络权重的更新320。根据一些实现，优化器模块315可以采用优化算法，诸如随机梯度下降或亚当(Adam)优化算法。亚当优化算法在DP Kingma和JL Ba，“Adam:a Methodfor Stochastic Optimization”，国际学习表示法会议(ICLR)，2015年，第1-15页中公开，其通过引用而并入这里。在图3所示的示例中，优化器模块315被配置为向神经网络300提供更新320。在该示例中，损失函数生成模块225应用基于感知的损失函数，其可以基于心理声学模型。根据该示例，训练神经网络300的过程至少部分地基于反向传播。这种反向传播在图3中由神经元层之间的点划线箭头表示。反向传播(也称为“后向传播”)是在神经网络中用以在处理一批数据之后计算每个神经元的误差贡献的一种方法。后向传播技术有时称为误差的反向传播，因为误差可以在输出处被计算并通过神经网络层被分配回去。
神经网络300可以由诸如上文参考图1描述的控制系统115之类的控制系统来实现。因此，训练神经网络300可以包含改变与神经网络300中的权重相对应的非暂时性存储介质位置的物理状态。存储介质位置可以是控制系统或控制系统的一部分可访问的一个或多个存储介质的部分。如上所述，权重对应于神经元之间的连接。训练神经网络300还可包括改变与神经元的激活函数的值相对应的非暂时性存储介质位置的物理状态。
图4A-4C示出了适合于实现文中公开的方法中的一些方法的神经网络的替代示例。根据这些示例，输入神经元和隐藏神经元采用修正线性单位(ReLU)激活函数，而输出神经元采用S型激活函数。然而，神经网络300的替代实现可以包括其他激活函数和/或激活函数的其他组合，包括但不限于指数线性单元(ELU)和/或双曲正切激活函数。
根据这些示例，输入音频数据是256维音频数据。在图4A所示的示例中，编码部分305将输入音频数据压缩为32维音频数据，提供多达8倍的缩减。根据图4B中所示的示例，编码部分305将输入音频数据压缩为16维音频数据，提供多达16倍的缩减。在图4C中示出的神经网络300包括编码部分305，该编码部分305将输入音频数据压缩为8维音频数据，提供多达32倍的缩减。发明人基于图4B所示类型的神经网络进行了听力测试，下文描述其的一些结果。
图4D示出了根据替代示例的自编码器的编码部分的块的示例。编码部分305可以例如由诸如上文参考图1描述的控制系统115的控制系统来实现。编码部分305可以例如由控制系统的一个或多个处理器根据存储在一个或多个非暂时性存储介质中的软件来实现。图4D所示的元件的数量和类型仅仅是示例。编码部分305的其他实现可以包括更多、更少或不同的元件。
在该示例中，编码部分305包括三层神经元。根据一些示例，编码部分305的神经元可以采用ReLU激活函数。然而，根据一些替代示例，编码部分305的神经元可以采用S型激活函数和/或双曲正切激活函数。神经元层1-3中的神经元在维持N维输入数据的N维状态的同时处理N维输入数据。层450被配置为接收神经元层3的输出并应用池化(pooling)算法。池化是非线性下采样的一种形式。根据该示例，层450被配置为应用最大池化函数，该最大池化函数将神经元层3的输出划分成M个非重叠分区或“子区域”的集合，并且对于每个这样的子区域，输出最大值。
图5A是概述根据一个示例的训练用于音频编码和解码的神经网络的方法的块的流程图。在某些情况下，方法500可以由图1的装置或其它类型的装置执行。在一些示例中，方法500的块可以经由存储在一个或多个非暂时性介质上的软件来实现。像文中描述的其他方法一样，方法500的块不一定按所指示的顺序执行。而且，这样的方法可以包括比所示出和/或所描述的块更多或更少的块。
在此，块505涉及通过经由控制系统实现的神经网络接收输入音频信号，该控制系统包括一个或多个处理器以及一个或多个非暂时性存储介质。在一些示例中，神经网络可以是或可以包括自编码器。根据一些示例，块505可以涉及图1的控制系统115经由接口系统110接收输入音频信号。在一些示例中，块505可以涉及神经网络300接收输入音频信号205，如上文参考图2到4C所描述的。在一些实现中，输入音频信号205可以包括语音数据集的至少一部分，诸如已知为TIMIT的可公开的语音数据集。TIMIT是由不同性别和方言的美国英语说话者的音位和词汇转录语音的数据集。TIMIT受美国国防高级研究计划局(DARPA)委托。TIMIT的语料库设计是德州仪器(TI)，麻省理工学院(MIT)和SRI International之间的共同努力。根据一些示例，方法500可以包括例如经由快速傅立叶变换(FFT)，离散余弦变换(DCT)或短时傅立叶变换(STFT)将输入音频信号205从时域变换到频域。在一些实现中，可以在块510之前将最小/最大缩放应用于输入音频信号205。
根据该示例，块510涉及通过神经网络并基于输入音频信号生成编码音频信号。编码音频信号可以是或可以包括压缩音频信号。块510可以例如由神经网络的编码部分(诸如文中描述的神经网络300的编码部分305)执行。然而，在其他示例中，块510可以涉及经由不是神经网络的一部分的编码器生成编码音频信号。在一些这样的示例中，实现神经网络的控制系统还可以包括不是神经网络的一部分的编码器。例如，神经网络可以包括解码部分但不包括编码部分。
在该示例中，块515涉及经由控制系统对编码音频信号进行解码以产生解码音频信号。解码音频信号可以是或可以包括解压缩音频信号。在一些实现中，块515可以涉及产生解码的变换系数。块515可以例如由神经网络的解码部分(诸如文中描述的神经网络300的解码部分310)执行。然而，在其他示例中，块510可以涉及经由不是神经网络的一部分的解码器来生成解码音频信号和/或解码的变换系数。在一些这样的示例中，实现神经网络的控制系统还可以包括不是神经网络的一部分的解码器。例如，神经网络可以包括编码部分但不包括解码部分。
因此，在一些实现中，神经网络的第一部分可以被配置为生成编码音频信号，并且神经网络的第二部分可以被配置为对编码音频信号进行解码。在一些这样的实现中，神经网络的第一部分可以包括输入神经元层和多个隐藏神经元层。在一些示例中，输入神经元层可以包括比第一部分的隐藏神经元层中的至少一个隐藏神经元层更多的神经元。然而，在替代实现中，输入神经元层可具有与第一部分的隐藏神经元层相同数目的神经元，或基本相似数目的神经元。
根据一些示例，神经网络的第一部分的至少一些神经元可以被配置有修正线性单元(ReLU)激活函数。在一些实现中，神经网络的第二部分的隐藏层中的至少一些神经元可以配置有修正线性单元(ReLU)激活函数。根据一些这样的实现，第二部分的输出层中的至少一些神经元可以被配置成具有S型激活函数。
在一些实现中，块520可以包括通过经由控制系统实现的损失函数生成模块接收解码音频信号和/或解码的变换系数、以及真值信号。真值信号可以例如包括真值音频信号和/或真值变换系数。在一些这样的示例中，可以从诸如图2中示出并在上文描述的真值模块220的真值模块接收真值信号。然而，在一些实现中，真值信号可以是(或可以包括)输入音频信号或输入音频信号的一部分。损失函数生成模块可以例如是文中公开的损失函数生成模块225的实例。
根据一些实现，块525可以包括由损失函数生成模块生成与解码音频信号和/或解码的变换系数相对应的损失函数值。在一些这样的实现中，生成损失函数值可以涉及应用心理声学模型。在图5A所示的示例中，块530涉及基于损失函数值训练神经网络。训练可以涉及更新神经网络中的至少一个权重。在一些这样的示例中，诸如上文已经参考图3描述的优化器模块315之类的优化器可能已经通过损失函数生成模块225所使用的(一个或多个)损失函数和神经网络有关的信息被初始化。优化器模块315可以被配置为使用该信息以及优化器模块315从损失函数生成模块225接收的损失函数值，来计算损失函数相对于神经网络权重的梯度。在计算梯度之后，优化器模块315可以使用优化算法来生成神经网络的权重的更新并将这些更新提供给神经网络。训练神经网络可能涉及基于由优化器模块315提供的更新的反向传播。Goodpellow，Ian，Yoshua Bengio和Aaron Courville，Deep Learning，(MIT press，2016)的第五章和第七章中描述了在神经网络训练期间检测并解决过拟合的技术，其通过引用并入这里。训练神经网络可涉及改变与神经网络的至少一个权重或至少一个激活函数值相对应的至少一个非暂时性存储介质位置的物理状态。
心理声学模型可能会根据特定实现而改变。根据一些示例，心理声学模型可以至少部分地基于一个或多个心理声学掩蔽阈值。在一些实现中，应用心理声学模型可以包括对外耳传递函数进行建模，分组为临界频带，频域掩蔽(包括但不限于水平相关的扩展)，对频率相关的听力阈值进行建模，和/或计算噪声掩蔽比。下面参考图6-10B描述一些示例。
在某些实现中，损失函数生成模块的损失函数的确定可能涉及计算噪声掩蔽比(NMR)，例如平均NMR。训练过程可能涉及最小化平均NMR。一些示例在下文被描述。
根据一些示例，训练神经网络可以继续进行，直到损失函数相对“平坦”，使得当前损失函数值与先前损失函数值(例如前一损失函数值)之间的差等于或小于阈值。在图5所示的示例中，训练神经网络可以包括重复块505至535中的至少一些，直到当前损失函数值与先前损失函数值之间的差小于或等于预定值。
在已经训练了神经网络之后，神经网络(或其一部分)可被用于处理音频数据，例如，用于编码或解码音频数据。图5B是概述根据一个示例的使用经训练的神经网络进行音频编码的方法的块的流程图。在某些情况下，方法540可以由图1的装置或其它类型的装置执行。在一些示例中，方法540的块可以经由存储在一个或多个非暂时性介质上的软件来实现。像文中描述的其他方法一样，方法540的块不一定按所指示的顺序执行。而且，这样的方法可以包括比所示出和/或所描述的更多或更少的块。
在该示例中，块545涉及接收当前输入的音频信号。在该示例中，块545涉及通过控制系统接收当前输入的音频信号，该控制系统包括一个或多个处理器以及可操作地耦合至一个或多个处理器的一个或多个非暂时性存储介质。在此，控制系统被配置为实现包括已经根据文中公开的方法中的一种或多种被训练的神经网络的音频编码器。
在一些示例中，训练过程可以包括：通过神经网络并经由接口系统接收输入的训练音频信号；通过神经网络且基于输入的训练音频信号生成编码的训练音频信号；经由控制系统对编码的训练音频信号进行解码以产生解码的训练音频信号；通过经由控制系统实现的损失函数生成模块来接收解码的训练音频信号和真值音频信号；通过损失函数生成模块生成与解码的训练音频信号相对应的损失函数值，其中生成损失函数值包括应用心理声学模型；以及基于损失函数值训练神经网络。
根据此实现，块550涉及经由音频编码器以压缩音频格式对当前输入的音频信号进行编码。这里，块555涉及输出压缩音频格式的编码音频信号。
图5C是概述根据一个示例的使用经训练的神经网络进行音频解码的方法的块的流程图。在某些情况下，方法560可以由图1的装置或其它类型的装置执行。在一些示例中，方法560的块可以经由存储在一个或多个非暂时性介质上的软件来实现。像文中描述的其他方法一样，方法560的块不一定按所指示的顺序执行。而且，这样的方法可以包括比所示出和/或所描述的更多或更少的块。
在该示例中，块565涉及接收当前输入的压缩音频信号。在一些这样的示例中，当前输入的压缩音频信号可能已经根据方法540或通过类似方法产生。在该示例中，块565涉及通过控制系统接收当前输入的压缩音频信号，该控制系统包括一个或多个处理器以及可操作地耦合至一个或多个处理器的一个或多个非暂时性存储介质。在此，控制系统被配置为实现包括已经根据文中公开的方法中的一种或多种被训练的神经网络的音频解码器。
根据该实现，块570涉及经由音频解码器对当前输入的压缩音频信号进行解码。例如，块570可以包括解压缩当前输入的压缩音频信号。在此，块575涉及输出解码音频信号。根据一些示例，方法540可以包括经由一个或多个换能器来再现解码音频信号。
如上所述，发明人已经研究了使用与人类感知声音的方式有关的损失函数来训练不同类型的神经网络的各种方法。根据通过神经网络编码产生的音频数据来评估每个损失函数的有效性。在一些示例中，由已经通过使用基于均方误差(MSE)的损失函数被训练的神经网络处理的音频数据被用作用于评估根据文中公开的方法产生的音频数据的基础。
图6是示出损失函数生成模块的块图，该损失函数生成模块被配置为基于均方误差生成损失函数。在此，将由神经网络产生的音频信号的估计幅值和真值/真实音频信号的幅值两者都提供给损失函数生成模块225。损失函数生成模块225基于MSE值生成损失函数值230。损失函数值230可以被提供给优化器模块，该优化器模块被配置为生成对神经网络的权重的更新以用于训练。
发明人已经评估了至少部分地基于人耳的一个或多个部分的声学响应的模型(也可以称为“耳模型”)的损耗函数的一些实现。图7A是近似人耳道的典型声学响应的函数的曲线图。
图7B示出了损失函数生成模块，其被配置为基于人耳道的典型声学响应来生成损失函数。在该示例中，将函数W应用于通过神经网络产生的音频信号和真值/真实音频信号。
在某些示例中，函数W可以如下：
Figure BDA0002764377350000181
式1已用于出于对人耳道的声学响应进行建模的目的的音频质量感知评估(PEAQ)算法的实现。在式1中，f表示音频信号的频率。在该示例中，损失函数生成模块225基于两个结果值之间的差来生成损失函数值230。损失函数值230可以被提供给优化器模块，该优化器模块被配置为生成对神经网络的权重的更新以用于训练。
当与由根据基于MSE的损失函数训练的神经网络产生的音频信号进行比较时，通过使用诸如图7B中所示的损失函数训练神经网络而产生的音频信号仅提供了轻微的改进。例如，使用基于感知客观听力质量分析(POLQA)的客观标准，基于MSE的音频数据的得分为3.41，而通过使用如图7B所示的损失函数训练神经网络而产生的音频数据得分为3.48。
在一些实验中，发明人测试了由根据基于分带操作的损失函数训练的神经网络产生的音频信号。图8示出了损失函数生成模块，其被配置为基于分带操作来生成损失函数。在该示例中，损失函数生成模块225被配置为对由神经网络产生的音频信号和真值/真实音频信号执行分带操作，并计算结果之间的差。
在一些实施方式中，分带操作基于“Zwicker”带，其是根据Fastl，H.&Zwicker，E.(2007)，《心理声学：事实和模型》(第3版，Springer)的第6章(临界带和激发)定义的临界带，其通过引用并入这里。在替代实现中，分带操作基于“Moore”带，其是根据Moore，B.C.J.(2012)，《听力心理学概论》(Emerald Group Publishing)的第三章(频率选择性，掩蔽和临界带)定义的临界带，其通过引用并入这里。但是，其他示例可能涉及本领域技术人员已知的其他类型的分带操作。
根据他们的实验，发明人得出的结论是，单独的分带操作不可能提供令人满意的结果。例如，使用基于POLQA的客观标准，基于MSE的音频数据获得3.41分，而在一个示例中，通过使用分带操作对神经网络进行训练而产生的音频数据仅获得1.62分。
在一些实验中，发明人测试了由根据至少部分地基于频率掩蔽的损失函数训练的神经网络产生的音频信号。图9A示出了根据一些示例的频率掩蔽所涉及的过程。在该示例中，在频域中计算扩展函数。该扩展函数可以例如是依赖于电平和频率的函数，其可以根据输入音频数据(例如根据每个输入音频帧)被估计。然后可以执行与输入音频的频谱的卷积，这产生激励图案。输入音频数据和扩展函数之间的卷积结果是人类听觉滤波器如何对传入声音的激励做出反应的近似值。因此，该过程是人类听力机制的模拟。在一些实现中，音频数据被分组到频率区段中，并且卷积过程包括将每个频率区段的扩展函数与该频率区段的相应音频数据进行卷积。
可以调整激励图案以产生掩模图案。在一些示例中，可以将激励图案向下调整例如20dB，以产生掩模图案。
图9B示出了扩展函数的示例。根据该示例，扩展函数是简化的不对称三角函数，其可被预先计算以进行高效实现。在此简化示例中，垂直轴表示分贝，水平轴表示Bark子带。根据一个这样的示例，扩展函数被如下地计算：
Sl＝27 (式2)
Figure BDA0002764377350000201
在式2和3中，Sl表示图9B的扩展函数的在峰值频率左侧的部分的斜率，而Su表示扩频函数的在峰值频率右侧的部分的斜率。斜率单位是dB/Bark。在式3中，f代表扩展函数的中心频率或峰值频率，L代表音频数据的电平或幅度。在一些示例中，为了简化扩展函数的计算，可以假设L为常数。根据一些这样的示例，L可以是70dB。
在一些这样的实现中，可以如下地计算激励图案：
Figure BDA0002764377350000202
在式4中，E表示激励函数(在文中也称为激励图案)，SF表示扩频函数，并且BP表示分频率区段的音频数据的带状模式。在一些实现中，可调整激励图案以产生掩蔽图案。在一些示例中，可以将激励图案向下调整，例如向下调整20dB，24dB，27dB等，以产生掩蔽图案。
图10示出了损失函数生成模块的替代实现的示例。损失函数生成模块225的元件可以例如由诸如参考图1在上文描述的控制系统115之类的控制系统来实现。
在该示例中，将参考音频信号xref提供给损失函数生成模块225的快速傅立叶变换(FFT)块1005a，该参考音频信号xref是文中其他各处所引用的真值信号的实例。由诸如文中公开的那些神经网络之一的神经网络产生的测试音频信号x被提供给损失函数生成模块225的FFT块1005b。
根据该示例，FFT块1005a的输出被提供给耳模型块1010a，并且FFT块1005b的输出被提供给耳模型块101b。耳模型块1010a和1010b可以例如被配置为应用基于人耳的一个或多个部分的典型声学响应的函数。在一个这样的示例中，耳模型块1010a和1010b可以被配置为应用上文式1中所示的函数。
根据该实现，将耳模型块1010a和1010b的输出提供给差值计算块1015，其被配置为计算耳模型块1010a的输出与耳模型块1010b的输出之间的差值。差值计算块1015的输出可以被认为是测试信号x中的噪声的近似值。
在该示例中，将耳模型块1010a的输出提供给分带块1020a，并且将差值计算块1015的输出提供给分带块1020b。分带块1020a和1020b被配置为应用相同类型的分带过程，其可以是以上公开的分带过程(例如，Zwicker或Moore分带过程)之一。然而，在替代实施方式中，分带块1020a和1020b可以被配置为应用本领域技术人员已知的任何合适的分带过程。
分带块1020a的输出被提供给频率掩蔽块1025，其被配置为施加频率掩蔽操作。掩蔽块1025可以例如被配置为应用文中公开的频率掩蔽操作中的一个或多个。如以上参考图9B所述，使用简化的频率掩蔽过程可以提供潜在的优点。然而，在替代实现中，掩蔽块1025可被配置为应用本领域技术人员已知的一个或多个其他频率掩蔽操作。
根据该示例，掩蔽块1025的输出和分带块1020b的输出都被提供给噪声掩蔽比(NMR)计算块1030。如上所述，差计算块1015的输出可以被认为是测试信号x中的噪声的近似值。因此，分带块1020b的输出可以被认为是测试信号x中的噪声的频带形式。根据一个示例，NMR计算块1030可以如下计算NMR：
Figure BDA0002764377350000211
在式5中，BPnoise代表分带块1020b的输出，MP代表掩蔽块1025的输出。根据一些示例，由NMR计算块1030计算出的NMR可以是在由分带块1020a和1020b输出的所有频带上的平均NMR。由NMR计算块1030计算出的NMR可以用作损失函数值230，用于训练神经网络，例如上文所述的神经网络。例如，损失函数值230可以被提供给优化器模块，该优化器模块被配置为生成神经网络的更新的权重。
图11示出了一些公开的实现的客观测试结果的示例。图11示出了由如下神经网络产生的音频数据的PESQ得分之间的比较，该神经网络使用基于MSE、幂定律、NMR-Zwicker(基于像Zwicker分带过程那样的分带过程的NMR，但是具有比Zwicker所定义的那些频带略窄的)、以及NMR-Moore(基于Moore分带过程的NMR)。基于上面参考图4B所述的神经网络的输出的这些结果示出NMR-Zwicker和NMR-Moore结果均比MSE和幂定律结果好一些。
图12示出了由使用各种损失函数训练的神经网络产生的、对应于男性讲话者的音频数据的主观测试结果的示例。在此示例中，主观测试结果是具有隐藏参考和锚点的多重刺激测试(MUSHRA)的等级。在ITU-R BS.1534中被描述的MUSHRA是一种公知的方法，用于进行编解码器收听测试，以评估有损音频压缩算法的输出的感知质量。MUSHRA方法的优点是可以同时显示许多刺激，因此受试者可以直接在它们之间进行任何比较。与其他方法相比，使用MUSHRA方法执行测试所需的时间可以大大减少。之所以如此，部分原因在于所有编解码器的结果都在相同样本上同时呈现，因此可以将配对t测试或分析用于统计分析。图12中沿x轴的数字是不同音频文件的标识号。
更具体地说，图12示出了由使用基于MSE的损失函数、基于幂定律的损失函数、基于NMR-Zwicker的损失函数和使用基于NMR-Moore的损失函数训练的同一神经网络生成的音频数据，通过应用3.5kHz低通滤波器(MUSHRA技术的标准“锚”之一)产生的音频数据以及参考音频数据的MUSHRA评分之间的比较。在此示例中，MUSHRA评分是从11个不同的收听者那里获得的。如图12所示，由使用基于NMR-Moore的损失函数训练的神经网络产生的音频数据的平均MUSHRA评分显著高于任何其他评分。两者之间的差约为30MUSHRA点，是一个罕见的大效果。第二高的平均MUSHRA评分是对于由使用基于NMR-Zwicker的损失函数训练的神经网络生成的音频数据的。
图13示出了由与图12所示相同类型的损失函数训练的神经网络生成的、对应于女性讲话者的音频数据的主观测试结果的示例。如图12中那样，沿图13中x轴的数字是不同音频文件的标识号。在此示例中，最高平均MUSHRA评分再次分配给了由使用基于NMR的损失函数训练的神经网络生成的音频数据。尽管在该示例中，NMR-Moore和NMR-Zwicker音频数据与其他音频数据之间的感知差异没有图12中所示的感知差异明显，但图13中所示的结果仍然表明存在显着改善。
在不脱离本公开的范围的情况下，文中定义的一般原理可以应用于其他实现。因此，权利要求书无意限于文中所展示的实施方案，而是应被赋予与本公开、原理及新颖特征一致的最广范围。
从以下列举的示例实施例(EEE)中可以理解本发明的各个方面：
1.一种计算机实现的音频处理方法，包括：
通过经由包括一个或多个处理器和一个或多个非暂时性存储介质的控制系统实现的神经网络，接收输入音频信号；
通过神经网络并基于输入音频信号生成编码音频信号；
经由所述控制系统对编码音频信号进行解码以产生解码音频信号；
通过经由所述控制系统实现的损失函数生成模块，接收解码音频信号和真值音频信号；
通过损失函数生成模块生成与解码音频信号相对应的损失函数值，其中生成损失函数值包括应用心理声学模型；以及
基于所述损失函数值来训练神经网络，其中训练包括更新神经网络的至少一个权重。
2.EEE 1的方法，其中训练神经网络包括基于损失函数值的反向传播。
3.EEE 1或EEE 2的方法，其中神经网络包括自编码器。
4.EEE 1-3中任一项的方法，其中训练神经网络包括改变对应于神经网络的至少一个权重的至少一个非暂时性存储介质位置的物理状态。
5.EEE 1-4中任一项的方法，其中神经网络的第一部分生成编码音频信号，并且神经网络的第二部分对编码音频信号进行解码。
6.EEE 5的方法，其中神经网络的第一部分包括输入神经元层和多个隐藏神经元层，其中输入神经元层比最终隐藏神经元层包含更多的神经元。
7.EEE 5的方法，其中神经网络的第一部分的至少一些神经元被配置有修正线性单元(ReLU)激活函数。
8.EEE 5的方法，其中在神经网络第二部分的隐藏层中的至少一些神经元被配置有修正线性单元(ReLU)激活函数，并且在第二部分的输出层中的至少一些神经元被配置有S型激活函数。
9.EEE 1至8中任一项的方法，其中，所述心理声学模型至少部分地基于一个或多个心理声学掩蔽阈值。
10.EEE 1-9中任一项的方法，其中所述心理声学模型涉及以下中的一项或多项：对外耳传递函数建模；分组为临界频段；频域掩蔽，包括但不限于水平相关扩展；频率相关的听力阈值的建模；或计算噪声掩蔽比。
11.EEE 1-10中任一项的方法，其中，所述损失函数包括计算平均噪声掩蔽比，并且其中，所述训练包括最小化所述平均噪声掩蔽比。
12.一种音频编码方法，包括：
通过控制系统接收当前输入的音频信号，该控制系统包括一个或多个处理器和可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统被配置为实现包括已根据EEE 1-11中的方法中的任一种训练的神经网络的音频编码器；
通过音频编码器，以压缩音频格式对当前输入的音频信号进行编码；和
输出压缩音频格式的编码音频信号。
13.一种音频解码方法，包括：
通过控制系统接收当前输入的压缩音频信号，该控制系统包括一个或多个处理器和可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统被配置为：实现包括已根据EEE 1-11中的方法的任何一种进行了训练的神经网络的音频解码器；
通过音频解码器对当前输入的压缩音频信号进行解码；以及
输出解码音频信号。
14.EEE 13的方法，还包括经由一个或多个换能器再现解码音频信号。
15.一种装置，包括：
接口系统；和
控制系统，包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统配置为实现EEE 1-14中任一项的方法。
16.一个或多个非暂时性介质，其上存储有软件，该软件包括用于控制一个或多个设备以执行EEE 1-14中任一项的方法的指令。
17.一种音频编码装置，包括：
接口系统；和
控制系统，包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统配置为实现音频编码器，该音频编码器包括已根据EEE 1-11所述的方法中的任一个被训练的神经网络，其中，所述控制系统配置为：
接收当前输入的音频信号；
以压缩音频格式编码当前输入的音频信号；
输出压缩音频格式的编码音频信号。
18.一种音频编码装置，包括：
接口系统；和
控制系统，包括一个或多个处理器和可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统配置为实现包括已根据以下操作被训练的神经网络的音频编码器，该操作包括：
通过神经网络并通过接口系统接收输入的训练音频信号；
通过神经网络并基于输入的训练音频信号生成编码的训练音频信号；
经由控制系统对编码的训练音频信号进行解码以产生解码的训练音频信号；
通过经由所述控制系统实现的损失函数生成模块，接收解码的训练音频信号和真值音频信号；
通过所述损失函数生成模块生成与所述解码后的训练音频信号对应的损失函数值，其中，产生损失函数值包括：应用心理声学模型；和
根据损失函数值训练神经网络；
其中，音频编码器进一步被配置为：
接收当前输入的音频信号；
以压缩音频格式编码当前输入的音频信号；
输出压缩音频格式的编码音频信号。
19.一种包括音频解码装置的系统，包括：
接口系统；
控制系统，该控制系统包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统配置为实现音频解码器，该音频解码器包括已根据以下操作被训练的神经网络，该操作包括：
通过神经网络并通过接口系统接收输入的训练音频信号；
通过神经网络并基于输入的训练音频信号生成编码的训练音频信号；
经由控制系统对编码的训练音频信号进行解码以生成解码的训练音频信号；
通过经由控制系统实现的损失函数生成模块，接收解码的训练音频信号和真值音频信号；
通过损失函数生成模块生成与所述解码后的训练音频信号对应的损失函数值，其中，产生所述损失函数值包括应用心理声学模型；和
基于损失函数值训练神经网络；
其中，音频解码器进一步配置为：
接收压缩音频格式的当前输入的编码音频信号；
以解压缩的音频格式对当前输入的编码音频信号进行解码；和
输出解压缩音频格式的解码音频信号。
20.EEE 19的系统，其中该系统进一步包括一个或多个换能器，其被配置用于再现解码的音频信号。

Claims (19)

1.一种用于训练经由控制系统实现的自编码神经网络的计算机实现的方法，该控制系统包括一个或多个处理器以及一个或多个非暂时性存储介质，该方法包括：
通过自编码神经网络接收包括音频数据的输入音频信号；
通过自编码神经网络的编码部分并基于输入的音频信号生成编码音频信号；
通过自编码神经网络的解码部分对编码音频信号进行解码，以产生解码音频信号和解码变换系数中的至少一个；
通过经由控制系统实现的损失函数生成模块，接收解码音频信号和解码变换系数中的所述至少一个以及真值音频信号；
通过损失函数生成模块生成与解码音频信号和解码变换系数中的所述至少一个相对应的损失函数值；以及
基于所述损失函数值训练所述自编码神经网络，其中训练包含更新所述自编码神经网络的至少一个权重，
其中生成损失函数值包括应用心理声学模型，该心理声学模型包括噪声掩蔽比的计算。
2.如权利要求1所述的方法，其中训练自编码神经网络包括基于所述损失函数值的反向传播。
3.如权利要求1或权利要求2所述的方法，其中训练自编码神经网络包括改变与所述自编码神经网络的至少一个权重相对应的至少一个非暂时性存储介质位置的物理状态。
4.如前述权利要求中任一项所述的方法，其中，所述自编码神经网络的编码部分包括输入神经元层和多个隐藏神经元层，其中，与最终隐藏神经元层相比，所述输入神经元层包括更多的神经元。
5.如前述权利要求中任一项所述的方法，其中，所述自编码神经网络的编码部分的至少一些神经元被配置有修正线性单元(ReLU)激活函数。
6.如前述权利要求中任一项所述的方法，其中，所述自编码神经网络的解码部分的隐藏层中的至少一些神经元被配置有修正线性单元(ReLU)激活函数，并且其中，所述解码部分的输出层中的至少一些神经元被配置有S型激活函数。
7.如权利要求1至6中任一项所述的方法，其中，所述心理声学模型至少部分地基于一个或多个心理声学掩蔽阈值。
8.如权利要求1至7中任一项所述的方法，其中，所述心理声学模型涉及以下中的一项或多项：
对外耳传递函数进行建模；
分组为临界频段；
频域掩蔽，包括但不限于电平相关扩散；以及
频率相关听力阈值的建模。
9.如权利要求8所述的方法，其中，生成损失函数值包括：
将所述解码音频信号变换到频域以生成经频率变换的解码音频信号；
将真值音频信号变换到频域以生成经频率变换的真值音频信号；
将外耳传递函数应用于经频率变换的解码音频信号以生成第一中间信号；
将外耳传递函数应用于经频率变换的真值音频信号以生成第二中间信号；
确定第一中间信号与第二中间信号之间的差以产生差信号；
对第一中间信号进行分带操作以生成第一中间信号的多个频带；
对第二中间信号进行分带操作以生成第二中间信号的多个频带；
对第二中间信号的所述多个频带进行频率掩蔽操作以生成多个掩蔽频带；
使用所述第一中间信号的所述多个频带和所述掩蔽频带确定噪声掩蔽比；并且
使用噪声屏蔽比作为损失函数值。
10.如权利要求1至9中任一项所述的方法，其中，所述损失函数包含计算平均噪声掩蔽比，并且其中所述训练包含使所述平均噪声掩蔽比最小化。
11.如权利要求1至10中的任一项所述的方法，其中，所述噪声掩蔽比的计算包含分带处理。
12.如权利要求11所述的方法，其中，所述分带过程是Zwicker分带过程或Moore分带过程。
13.一种音频编码器，包括根据如权利要求1至12中任一项所述的方法被训练的神经网络的编码部分，其中，所述音频编码器还被配置为：
接收当前输入的音频信号；
以压缩音频格式编码所述当前输入的音频信号；以及
输出压缩音频格式的编码信号。
14.一种音频编码装置，包括：
接口系统；以及
控制系统，其包括一个或多个处理器以及可操作地耦合到所述一个或多个处理器的一个或多个非暂时性存储介质，所述控制系统被配置为实现根据权利要求13所述的音频编码器。
15.一种音频解码器，包括根据如权利要求1至12中的任一项所述的方法训练的神经网络的解码部分，其中，所述音频解码器还被配置为：
接收压缩音频格式的当前输入的编码音频信号；
以解压缩音频格式解码当前输入的编码音频信号；以及
输出解压缩音频格式的解码音频信号。
16.一种音频解码装置，包括：
接口系统；
控制系统，包括一个或多个处理器以及可操作地耦合到一个或多个处理器的一个或多个非暂时性存储介质，该控制系统配置为实现音频解码器，所述音频解码器包括根据如权利要求1至12中任一项所述的方法被训练的神经网络的解码部分，其中所述音频解码器还被配置为：
接收压缩音频格式的当前输入的编码音频信号；
以解压缩音频格式解码当前输入的编码音频信号；以及
输出解压缩音频格式的解码音频信号。
17.一种包括如权利要求16所述的音频解码装置的系统，其中，所述系统还包括被配置为用于再现所述解码音频信号一个或多个换能器。
18.一个或多个非暂时性介质，其上存储有软件，该软件包括用于控制一个或多个设备以执行如权利要求1-12中任一项所述的方法的指令。
19.一种具有指令的计算机程序产品，该指令在由计算设备或系统执行时使所述计算设备或系统执行如权利要求1至12中任一项所述的方法。
CN201980030729.4A 2018-04-11 2019-04-10 基于机器学习的用于音频编码和解码的基于感知的损失函数 Active CN112105902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210834906.8A CN115410583A (zh) 2018-04-11 2019-04-10 基于机器学习的用于音频编码和解码的基于感知的损失函数

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862656275P 2018-04-11 2018-04-11
US62/656,275 2018-04-11
EP18173673.7 2018-05-22
EP18173673 2018-05-22
US201962829552P 2019-04-04 2019-04-04
US62/829,552 2019-04-04
PCT/US2019/026824 WO2019199995A1 (en) 2018-04-11 2019-04-10 Perceptually-based loss functions for audio encoding and decoding based on machine learning

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210834906.8A Division CN115410583A (zh) 2018-04-11 2019-04-10 基于机器学习的用于音频编码和解码的基于感知的损失函数

Publications (2)

Publication Number Publication Date
CN112105902A true CN112105902A (zh) 2020-12-18
CN112105902B CN112105902B (zh) 2022-07-22

Family

ID=66182689

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980030729.4A Active CN112105902B (zh) 2018-04-11 2019-04-10 基于机器学习的用于音频编码和解码的基于感知的损失函数
CN202210834906.8A Pending CN115410583A (zh) 2018-04-11 2019-04-10 基于机器学习的用于音频编码和解码的基于感知的损失函数

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210834906.8A Pending CN115410583A (zh) 2018-04-11 2019-04-10 基于机器学习的用于音频编码和解码的基于感知的损失函数

Country Status (5)

Country Link
US (2) US11817111B2 (zh)
EP (1) EP3775821A1 (zh)
JP (2) JP7387634B2 (zh)
CN (2) CN112105902B (zh)
WO (1) WO2019199995A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360555A (zh) * 2021-12-24 2022-04-15 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
CN114400014A (zh) * 2021-12-09 2022-04-26 慧之安信息技术股份有限公司 一种基于深度学习的音频码流压缩方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3775821A1 (en) * 2018-04-11 2021-02-17 Dolby Laboratories Licensing Corporation Perceptually-based loss functions for audio encoding and decoding based on machine learning
US11183201B2 (en) * 2019-06-10 2021-11-23 John Alexander Angland System and method for transferring a voice from one body of recordings to other recordings
JP7328799B2 (ja) * 2019-06-12 2023-08-17 株式会社日立製作所 ストレージシステムおよび記憶制御方法
JP7399646B2 (ja) * 2019-08-14 2023-12-18 キヤノンメディカルシステムズ株式会社 データ圧縮装置およびデータ圧縮方法
US11501787B2 (en) * 2019-08-22 2022-11-15 Google Llc Self-supervised audio representation learning for mobile devices
EP4134946A1 (en) * 2019-11-29 2023-02-15 Neural DSP Technologies Oy Neural modeler of audio systems
KR102529272B1 (ko) * 2019-12-20 2023-05-08 한국전자통신연구원 보안 통신 방법 및 이를 수행하는 장치
US11790926B2 (en) 2020-01-28 2023-10-17 Electronics And Telecommunications Research Institute Method and apparatus for processing audio signal
EP4229627A1 (en) * 2020-10-15 2023-08-23 Dolby Laboratories Licensing Corporation Method and apparatus for processing of audio using a neural network
JP7488422B2 (ja) 2020-10-16 2024-05-21 ドルビー・インターナショナル・アーベー フィルタバンク領域でオーディオサンプルを処理するための生成ニューラルネットワークモデル
US11900902B2 (en) * 2021-04-12 2024-02-13 Adobe Inc. Deep encoder for performing audio processing
CN116306889A (zh) * 2022-09-08 2023-06-23 维沃移动通信有限公司 模型训练方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030115041A1 (en) * 2001-12-14 2003-06-19 Microsoft Corporation Quality improvement techniques in an audio encoder
CA2482427A1 (en) * 2002-04-18 2003-10-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a time-discrete audio signal and apparatus and method for decoding coded audio data
US20040044533A1 (en) * 2002-08-27 2004-03-04 Hossein Najaf-Zadeh Bit rate reduction in audio encoders by exploiting inharmonicity effects and auditory temporal masking
CN101501759A (zh) * 2006-06-30 2009-08-05 弗劳恩霍夫应用研究促进协会 具有动态可变规整特性的音频编码器、音频解码器和音频处理器
CN101790757A (zh) * 2007-08-27 2010-07-28 爱立信电话股份有限公司 语音与音频信号的改进的变换编码
CN101872618A (zh) * 1995-12-01 2010-10-27 Dts（Bvi）有限公司 多通道音频编码器
CN105070293A (zh) * 2015-08-31 2015-11-18 武汉大学 基于深度神经网络的音频带宽扩展编码解码方法及装置
CN106782575A (zh) * 2011-06-01 2017-05-31 三星电子株式会社 音频编码方法和设备、音频解码方法和设备
CN107516527A (zh) * 2016-06-17 2017-12-26 中兴通讯股份有限公司 一种语音编解码方法和终端

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3578933B2 (ja) 1999-02-17 2004-10-20 日本電信電話株式会社 重み符号帳の作成方法及び符号帳設計時における学習時のｍａ予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体
JP2009223437A (ja) 2008-03-13 2009-10-01 Toyota Motor Corp 新規信号生成装置、新規信号生成方法
CA2800208C (en) * 2010-05-25 2016-05-17 Nokia Corporation A bandwidth extender
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
PL2951820T3 (pl) 2013-01-29 2017-06-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie i sposób wyboru jednego spośród pierwszego algorytmu kodowania i drugiego algorytmu kodowania
US9728184B2 (en) 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
US9679258B2 (en) 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
US9858919B2 (en) 2013-11-27 2018-01-02 International Business Machines Corporation Speaker adaptation of neural network acoustic models using I-vectors
US9390712B2 (en) 2014-03-24 2016-07-12 Microsoft Technology Licensing, Llc. Mixed speech recognition
US10515301B2 (en) 2015-04-17 2019-12-24 Microsoft Technology Licensing, Llc Small-footprint deep neural network
US10891540B2 (en) * 2015-12-18 2021-01-12 National Technology & Engineering Solutions Of Sandia, Llc Adaptive neural network management system
US11373672B2 (en) * 2016-06-14 2022-06-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
US9875747B1 (en) * 2016-07-15 2018-01-23 Google Llc Device specific multi-channel data compression
US11080591B2 (en) * 2016-09-06 2021-08-03 Deepmind Technologies Limited Processing sequences using convolutional neural networks
US11538455B2 (en) * 2018-02-16 2022-12-27 Dolby Laboratories Licensing Corporation Speech style transfer
EP3775821A1 (en) * 2018-04-11 2021-02-17 Dolby Laboratories Licensing Corporation Perceptually-based loss functions for audio encoding and decoding based on machine learning
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
EP3876383A1 (en) * 2020-03-02 2021-09-08 Nokia Technologies Oy Data communications
EP4229627A1 (en) * 2020-10-15 2023-08-23 Dolby Laboratories Licensing Corporation Method and apparatus for processing of audio using a neural network

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872618A (zh) * 1995-12-01 2010-10-27 Dts（Bvi）有限公司 多通道音频编码器
US20030115041A1 (en) * 2001-12-14 2003-06-19 Microsoft Corporation Quality improvement techniques in an audio encoder
CA2482427A1 (en) * 2002-04-18 2003-10-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a time-discrete audio signal and apparatus and method for decoding coded audio data
US20040044533A1 (en) * 2002-08-27 2004-03-04 Hossein Najaf-Zadeh Bit rate reduction in audio encoders by exploiting inharmonicity effects and auditory temporal masking
CN101501759A (zh) * 2006-06-30 2009-08-05 弗劳恩霍夫应用研究促进协会 具有动态可变规整特性的音频编码器、音频解码器和音频处理器
CN101790757A (zh) * 2007-08-27 2010-07-28 爱立信电话股份有限公司 语音与音频信号的改进的变换编码
CN106782575A (zh) * 2011-06-01 2017-05-31 三星电子株式会社 音频编码方法和设备、音频解码方法和设备
CN105070293A (zh) * 2015-08-31 2015-11-18 武汉大学 基于深度神经网络的音频带宽扩展编码解码方法及装置
CN107516527A (zh) * 2016-06-17 2017-12-26 中兴通讯股份有限公司 一种语音编解码方法和终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANGSHUL MAJUMDAR ET AL: "Asymmetric stacked autoencoder", 《2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS 》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114400014A (zh) * 2021-12-09 2022-04-26 慧之安信息技术股份有限公司 一种基于深度学习的音频码流压缩方法和装置
CN114360555A (zh) * 2021-12-24 2022-04-15 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112105902B (zh) 2022-07-22
EP3775821A1 (en) 2021-02-17
CN115410583A (zh) 2022-11-29
US20210082444A1 (en) 2021-03-18
WO2019199995A1 (en) 2019-10-17
JP2021521476A (ja) 2021-08-26
US20240079019A1 (en) 2024-03-07
US11817111B2 (en) 2023-11-14
JP2024003166A (ja) 2024-01-11
JP7387634B2 (ja) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112105902B (zh) 基于机器学习的用于音频编码和解码的基于感知的损失函数
CN101410892B (zh) 改进的离散余弦变换域中的音频信号响度测量及修改
Liutkus et al. Informed source separation through spectrogram coding and data embedding
RU2439718C1 (ru) Способ и устройство для обработки звукового сигнала
CN102792374B (zh) 多通道音频中语音相关通道的缩放回避的方法和系统
US8972270B2 (en) Method and an apparatus for processing an audio signal
EP3598442A1 (en) Systems and methods for modifying an audio signal using custom psychoacoustic models
WO2020016440A1 (en) Systems and methods for modifying an audio signal using custom psychoacoustic models
KR102556098B1 (ko) 심리음향 기반 가중된 오류 함수를 이용한 오디오 신호 부호화 방법 및 장치, 그리고 오디오 신호 복호화 방법 및 장치
KR102284104B1 (ko) 입력 신호를 처리하기 위한 인코딩 장치 및 인코딩된 신호를 처리하기 위한 디코딩 장치
Sun et al. A model compression method with matrix product operators for speech enhancement
Braun et al. Effect of noise suppression losses on speech distortion and ASR performance
Abdullah et al. Towards more efficient DNN-based speech enhancement using quantized correlation mask
WO2024051412A1 (zh) 语音编码、解码方法、装置、计算机设备和存储介质
EP2476114B1 (en) Audio signal encoding employing interchannel and temporal redundancy reduction
CN113470688B (zh) 语音数据的分离方法、装置、设备及存储介质
EP2489036B1 (en) Method, apparatus and computer program for processing multi-channel audio signals
Raj et al. Multilayered convolutional neural network-based auto-CODEC for audio signal denoising using mel-frequency cepstral coefficients
US8788277B2 (en) Apparatus and methods for processing a signal using a fixed-point operation
EP2571170A1 (en) Encoding method, decoding method, encoding device, decoding device, program, and recording medium
WO2023086311A1 (en) Control of speech preservation in speech enhancement
Raj et al. Audio signal quality enhancement using multi-layered convolutional neural network based auto encoder–decoder
RU2782364C1 (ru) Устройство и способ отделения источников с использованием оценки и управления качеством звука
Gunjal et al. Traditional Psychoacoustic Model and Daubechies Wavelets for Enhanced Speech Coder Performance
Yan Audio compression via nonlinear transform coding and stochastic binary activation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant