CN114554353B - 音频处理方法、装置、设备及存储介质 - Google Patents

音频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114554353B
CN114554353B CN202210173776.8A CN202210173776A CN114554353B CN 114554353 B CN114554353 B CN 114554353B CN 202210173776 A CN202210173776 A CN 202210173776A CN 114554353 B CN114554353 B CN 114554353B
Authority
CN
China
Prior art keywords
signal
boundary
audio
audio signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210173776.8A
Other languages
English (en)
Other versions
CN114554353A (zh
Inventor
周岭松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202210173776.8A priority Critical patent/CN114554353B/zh
Publication of CN114554353A publication Critical patent/CN114554353A/zh
Application granted granted Critical
Publication of CN114554353B publication Critical patent/CN114554353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开是关于一种音频处理方法、装置、设备及存储介质，该方法应用于音频处理设备，所述音频处理设备包括扬声器和前馈麦克风，所述方法包括：获取环境音频信号，根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；将所述第一音频信号输入预设的神经网络模型，得到第二音频信号；将所述第一音频信号和所述第二音频信号发送给所述音频处理设备的扬声器；控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。本公开可以确保耳机的通透性，使耳机能够提供更清晰的语音且不提升噪声，进而可以提升用户的体验。

Description

音频处理方法、装置、设备及存储介质
技术领域
本公开涉及信号处理技术领域，尤其涉及一种音频处理方法、装置、设备及存储介质。
背景技术
日常生活中，当用户戴着耳机要与他人对话时，往往无法听清他人的讲话。为了实现更清晰地对话，通常需要摘下耳机，这会给用户带来不便，影响用户的体验。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种音频处理方法、装置、设备及存储介质，用以解决相关技术中的缺陷。
根据本公开实施例的第一方面，提供一种音频处理方法，应用于音频处理设备，所述音频处理设备包括扬声器和前馈麦克风；所述方法包括：
获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
将所述第一音频信号和所述第二音频信号发送给所述扬声器；
控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
在一实施例中，所述将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，包括：
将所述第一音频信号划分为多帧音频信号；
将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号。
在一实施例中，所述将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，包括：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
在一实施例中，所述基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，包括：
确定所述第二边界的平滑程度等级；
基于所述平滑程度等级对应的优化策略，对所述第二边界进行优化。
在一实施例中，所述确定所述第二边界的平滑程度等级，包括：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值相同，将所述平滑程度等级确定为预设第一等级。
在一实施例中，所述确定所述第二边界的平滑程度等级，包括：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值满足以下任一项，将所述平滑程度等级确定为预设第二等级：
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于第一设定阈值，且所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值小于第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于所述第一设定阈值，且所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值小于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值。
在一实施例中，所述确定所述第二边界的平滑程度等级，包括：
响应于确定所述平滑程度等级不是所述预设第一等级或所述预设第二等级，将所述平滑程度等级确定为预设第三等级。
在一实施例中，所述基于所述平滑程度等级对应的优化策略，对所述第二边界进行优化，包括：
响应于确定所述平滑程度等级为预设第一等级，维持所述第二边界的边界信号数值不变；
响应于确定所述平滑程度等级为预设第二等级，基于二阶平滑补偿方式对所述第二边界的边界信号数值进行优化；
响应于确定所述平滑程度等级为预设第三等级，基于三阶平滑补偿方式对所述第二边界的边界信号数值进行优化。
根据本公开实施例的第二方面，提供一种音频处理装置，应用于音频处理设备，所述音频处理设备包括扬声器和前馈麦克风；所述装置包括：
环境音频获取模块，用于获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
第一音频获取模块，用于根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
第二音频获取模块，用于将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
音频信号发送模块，用于将所述第一音频信号和所述第二音频信号发送给所述扬声器；
音频信号播放模块，用于控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
在一实施例中，所述第二音频获取模块，包括：
信号划分单元，用于将所述第一音频信号划分为多帧音频信号；
语音增强单元，用于将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
信号优化单元，用于基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号。
在一实施例中，所述语音增强单元还用于：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
在一实施例中，所述信号优化单元还用于：
确定所述第二边界的平滑程度等级；
基于所述平滑程度等级对应的优化策略，对所述第二边界进行优化。
在一实施例中，所述信号优化单元还用于：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值相同，将所述平滑程度等级确定为预设第一等级。
在一实施例中，所述信号优化单元还用于：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值满足以下任一项，将所述平滑程度等级确定为预设第二等级：
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于第一设定阈值，且所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值小于第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于所述第一设定阈值，且所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值小于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
在一实施例中，所述信号优化单元还用于：
响应于确定所述平滑程度等级不是所述预设第一等级或所述预设第二等级，将所述平滑程度等级确定为预设第三等级。
在一实施例中，所述信号优化单元还用于：
响应于确定所述平滑程度等级为预设第一等级，维持所述第二边界的边界信号数值不变；
响应于确定所述平滑程度等级为预设第二等级，基于二阶平滑补偿方式对所述第二边界的边界信号数值进行优化；
响应于确定所述平滑程度等级为预设第三等级，基于三阶平滑补偿方式对所述第二边界的边界信号数值进行优化。
根据本公开实施例的第三方面，提供一种音频处理设备，所述设备包括：
扬声器、前馈麦克风、处理器以及用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时，实现：
获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
将所述第一音频信号和所述第二音频信号发送给所述扬声器；
控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现：
获取环境音频信号，其中，所述环境音频信号为音频处理设备的前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
将所述第一音频信号和所述第二音频信号发送给所述音频处理设备的扬声器；
控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开通过获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号，并根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号，进而将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠，然后将所述第一音频信号和所述第二音频信号发送给所述音频处理设备的扬声器，进而控制所述扬声器同步播放所述第一音频信号和所述第二音频信号，可以确保耳机的通透性，使耳机能够提供更清晰的语音且不提升噪声，进而可以提升用户的体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开一示例性实施例示出的一种音频处理方法的流程图；
图2是根据本公开一示例性实施例示出的如何将所述第一音频信号输入预设的神经网络模型的流程图；
图3是根据本公开一示例性实施例示出的如何将所述多帧音频信号分别输入至所述神经网络模型进行语音增强的流程图；
图4A是根据本公开一示例性实施例示出的如何基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化的流程图；
图4B是根据本公开一示例性实施例示出的两帧增强音频信号的示意图；
图4C是根据本公开一示例性实施例示出的处理帧和播放帧的示意图；
图5是根据本公开一示例性实施例示出的一种音频处理装置的框图；
图6是根据本公开一示例性实施例示出的又一种音频处理装置的框图；
图7是根据本公开一示例性实施例示出的一种音频处理设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
日常生活中，当用户戴着耳机要与他人对话时，为了实现更清晰地对话，通常需要摘下耳机，这会给用户带来不便。为了解决这一问题，相关技术中可以通过语音增强算法，使得语音更清晰。具体地，相关技术中考虑到语音频带范围通常为300Hz至3400Hz，因而对不同频段的声音分别处理：1)对于300Hz以下的低频噪声，设计一个反相的声波，使得漏进耳机的声音叠加反相的声波，正好相互抵消；2)对于300Hz至3400Hz的语音频段，使其先经过预先设计的通透滤波器，再经过一个带通滤波器，带通滤波器在300Hz至3400Hz具备正向增益，从而对语音能量进行放大。最后，反相声波叠加带通滤波后的声波，再由喇叭播放，即可在降低噪声的同时提升语音，使得用户听到更清晰的语音。然而发明人在应用中发现，实际环境中的噪声是全频带分布的，在300Hz至3400Hz频段也会包含噪声，因而在放大语音的同时也会放大噪声，实际用户体验是噪声和语音一起变大了。另外，300Hz以下也存在语音的可能，如果进行声波抵消，就可能损伤语音。有鉴于此，本公开实施例提供以下的音频处理方法、装置、设备及存储介质，用以解决相关技术中的上述缺陷。
图1是根据一示例性实施例示出的一种音频处理方法的流程图；本实施例的方法可以应用于音频处理设备，如TWS(True Wireless Stereo，真正无线立体声)耳机、助听器等。其中，该音频处理设备可以包括扬声器和前馈麦克风等。在一实施例中，音频处理设备除了包括前馈麦克风之外，还可以包括反馈麦克风，该反馈麦克风可以用于采集耳道内的声音信号。
如图1所示，该方法包括以下步骤S101-S105：
在步骤S101中，获取环境音频信号。
其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号。
本实施例中，当用户佩戴音频处理设备后，该音频处理设备可以基于前馈麦克风采集周围环境中的声音信号。
在一实施例中，音频处理设备可以在检测到当前满足音频处理条件时，基于前馈麦克风采集周围环境中的声音信号。其中，当前满足音频处理条件，可以包括：当前检测到用于打开人声增强模式的控制指令，该人声增强模式可以指实施本实施例中的步骤S101-S105。
以音频处理设备为耳机为例，当用户戴着耳机要与他人对话时，往往无法听清他人的讲话。为了实现更清晰地对话，用户可以触发用于打开耳机的人声增强模式的控制指令，进而耳机可以响应于检测到该控制指令，获取环境音频信号。
在步骤S102中，根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号。
本实施例中，当获取环境音频信号后，可以根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号。
值得说明的是，上述第一滤波器组可以用于实现音频处理设备的声音通透功能。本实施例中，通过设计滤波器组实现声音通透功能的解释和说明可以参见相关中的内容，本实施例对此不进行限定。
在步骤S103中，将所述第一音频信号输入预设的神经网络模型，得到第二音频信号。
其中，上述神经网络模型可以通过机器学习的方式进行训练得到，该模型可以用于将第一音频信中的人声信号和噪音信号进行分离，其中，上述噪音信号的频段与所述人声信号频段重叠。
值得说明的是，人声的频段大约分布在300Hz至3400Hz频段，噪声信号是全频带分布的。因而在语音处理等场景中，一般将低于300Hz的噪声称为为低频噪声，高于3400Hz的噪声称为高频噪声。针对这些高频和低频噪音，一般是在环境音频信号之后，就会根据噪音频带分布原理对这些频段的噪音进行处理。而本实施例中，噪音信号的频段不是指前述的低频噪音和高频噪音，而是与人声信号频段重叠的噪音，即300Hz至3400Hz频段内的噪音。
在步骤S104中，将所述第一音频信号和所述第二音频信号发送给所述扬声器。
在步骤S105中，控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
本实施例中，当将所述第一音频信号输入预设的神经网络模型，得到第二音频信号后，可以将所述第一音频信号和所述第二音频信号发送给所述扬声器，进而可以控制所述扬声器同步播放所述第一音频信号和所述第二音频信号，以使所述第一音频信号和所述第二音频信号发生叠加后传入用户的耳中，实现对外界人声的通透感知。
由上述描述可知，本实施例的方法通过获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号，并根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号，进而将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠，然后将所述第一音频信号和所述第二音频信号发送给所述音频处理设备的扬声器，进而控制所述扬声器同步播放所述第一音频信号和所述第二音频信号，可以确保耳机的通透性，使耳机能够提供更清晰的语音且不提升噪声，进而可以提升用户的体验。
图2是根据本公开一示例性实施例示出的如何将所述第一音频信号输入预设的神经网络模型的流程图。本实施例在上述实施例的基础上以如何将所述第一音频信号输入预设的神经网络模型，得到第二音频信号为例进行示例性说明。如图2所示，上述步骤S103中所述的将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，包括以下步骤S201-S203：
在步骤S201中，将所述第一音频信号划分为多帧音频信号。
本实施例中，当根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号后，可以将所述第一音频信号划分为多帧音频信号，即对所述第一音频信号进行按帧划分。
在步骤S202中，将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号。
本实施例中，当将所述第一音频信号划分为多帧音频信号后，可以将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，即增强每帧音频信号中的人声，并去除噪声，从而可以得到多帧增强音频信号。
在另一实施例中，上述将所述多帧音频信号分别输入至所述神经网络模型进行语音增强的方式可以参见下述图3所示实施例，在此先不进行详述。
在步骤S203中，基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号。
值得说明的是，由于本实施例的音频处理是按帧执行的，即将每帧音频信号处理完了交给耳机的扬声器进行播放。考虑到音频数据的连续性，相关技术中的一种方案是采用重叠相加的方式，以保证声音听起来没有断续。然而该重叠相加的方式会引入固有延迟，如对于48kHz的音频数据，经过1024点的FFT(快速傅立叶变换，Fast Fourier transform)算法处理，再进行重叠率50％的重叠相加运算后，会产生10ms左右的延迟，即，相对于透过耳机泄露进来的人声，喇叭播放的人声会有10ms左右的延迟，这两个声音叠加在一起，则会形成梳状滤波效应。
为了避免发生梳状滤波效应，本实施例中不对各帧音频信号进行重叠相加，即可避免引入上述10ms左右的固定延迟。然而，如果不进行重叠相加，经过语音增强处理后，帧与帧的边界通常不连续，即会引入人为噪声，因而本实施例中基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号。也即是说，可以基于每帧音频信号的前一帧音频信号的边界信号值对当前帧音频信号的边界信号值进行优化，从而使当前帧音频信号的边界与前一帧信号的相连处变得较为平滑，即边界信号的数值变化幅度较小。
在另一实施例中，上述基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化的方式还可以参见下述图4A所示实施例，在此先不进行详述。
由上述描述可知，本实施例的方法通过将所述第一音频信号划分为多帧音频信号，并将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号，进而基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号，由于是对第一音频信号进行按帧划分，并对每帧音频信号进行语音增强，因而可以确保耳机的通透性，使耳机能够提供更清晰的语音且不提升噪声，而通过基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，可以解决语音增强后的帧边界不连续的问题，确保透过耳机泄露进来的语音和耳机播放的语音能够更好的对齐，避免发生梳状滤波效应，进而可以提升用户的耳机使用体验。
图3是根据本公开一示例性实施例示出的如何将所述多帧音频信号分别输入至所述神经网络模型进行语音增强的流程图；本实施例在上述实施例的基础上以如何将所述多帧音频信号分别输入至所述神经网络模型进行语音增强为例进行示例性说明。如图3所示，上述步骤S202中所述的将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，包括以下步骤S301-S302：
在步骤S301中，基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号。
本实施例中，当将所述第一音频信号划分为多帧音频信号后，可以将所述多帧音频信号分别输入至所述神经网络模型，以基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号。
举例来说，可以基于样本帧音频信号训练预设的神经网络模型，进而当满足训练轮数和/或预测精度等条件后，截止模型训练过程，得到训练好的神经网络模型，该神经网络模型的输入可以为每帧音频信号，输出可以为每帧音频信号中的语音信号和/或噪声信号。从而可以基于该深度模型的输出，确定每帧音频信号中的语音信号和噪声信号。示例性地，当神经网络模型的输出为每帧音频信号中的语音信号时，可以将除语音信号之外的信号确定为噪声信号，从而可以实现确定每帧音频信号中的语音信号和噪声信号。
在步骤S302中，对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
本实施例中，当基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号后，可以对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号，如此即可实现对所述多帧音频信号进行语音增强。
由上述描述可知，本实施例通过基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号，并对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号，可以实现对基于第一音频信号划分的每帧音频信号进行语音增强，进而可以确保耳机的通透性，使耳机能够提供更清晰的语音且不提升噪声。
图4A是根据本公开一示例性实施例示出的如何基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化的流程图；本实施例在上述实施例的基础上，以如何基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化为例进行示例性说明。如图4A所示，上述步骤S203中所述的基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，可以包括以下步骤S401-S402：
在步骤S401中，确定所述第二边界的平滑程度等级；
在步骤S402中，基于所述平滑程度等级对应的优化策略，对所述每帧增强音频信号的边界进行优化。
本实施例中，当需要基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化时，可以确定所述第二边界的平滑程度等级，进而基于所述平滑程度等级对应的优化策略，对所述每帧增强音频信号的边界进行优化。
在一实施例中，当确定上述平滑程度等级为预设第一等级时，可以维持所述第二边界的边界信号数值不变，所述预设第一等级对应于较低强度的音频信号边界。
而当确定所述平滑程度等级为预设第二等级时，可以基于二阶平滑补偿方式对所述第二边界的边界信号数值进行优化，所述预设第二等级对应于中等强度的音频信号边界。
而当确定所述平滑程度等级为预设第三等级时，可以基于三阶平滑补偿方式对所述第二边界的边界信号数值进行优化，所述预设第三等级对应于较高强度的音频信号边界。
本实施例中确定所述第二边界的平滑程度等级的方式可以包括以下(1)～(3)中的几种情况中的至少一种：
(1)响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值相同，将所述平滑程度等级确定为预设第一等级；
(2)响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值满足以下任一项，将所述平滑程度等级确定为预设第二等级：
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于第一设定阈值，且所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值小于第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于所述第一设定阈值，且所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值小于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
(3)响应于确定所述平滑程度等级不是所述预设第一等级或所述预设第二等级，将所述平滑程度等级确定为预设第三等级。
下面通过具体的例子来解释如何确定上述第二边界的平滑程度等级以及每个平滑程度等级所对应的优化策略。
举例来说，图4B是根据本公开一示例性实施例示出的两帧增强音频信号的示意图。如图4B所示，q0～q2为前一帧信号的第一边界的边界信号值，即已优化的一帧增强音频信号的边界信号值；而p0～p2为相连的后一帧信号的第二边界的边界信号值，即待优化的当前帧增强音频信号的边界信号值。
本实施例中可以预先将边界强度划分为较低强度、中等强度以及较高强度三个等级。对于较低强度的边界，表面该边界已经较为平滑，因而可以不进行优化处理，即维持原本的边界信号值；而对于中等强度的边界，可以采用二阶平滑补偿方式；对于较高强度的边界，可以采用三阶平滑补偿方式。通过针对不同强度的边界采用不同的优化策略，可以提高帧与帧之间的连续性，从而实现后续提升用户的听音体验。示例性地，不同强度的边界的判断条件以及相应的优化策略如下1)～3)所示：
1)、若满足：p2＝p1＝p0＝q0＝q1＝q2，则可以确定当前帧增强音频信号的边界的平滑程度等级为预设第一等级(即较低强度的边界等级)，进而可以维持所述当前帧增强音频信号的边界信号数值不变。
2)、若满足下式(1)的条件：
其中，ap＝|p2-p0|，α、β为预设的帧边界阈值，进而，为上文中所述的第一设定阈值，β为上文中所述的第二设定阈值，下文中也相同。
则可以确定当前帧增强音频信号的边界的平滑程度等级为预设第二等级(即中等强度的边界等级)，进而可以基于以下式子(2)～(3)确定P0和P1(即，p0和p1优化后的值，下同)：
P0＝(p1+2*p0+q0+2)/4； (2)
P1＝(2*p1+p0+q0+2)/4； (3)
若满足下式(4)的条件：
其中，aq＝|q2-q0|，下文中也相同。
则也可以确定当前帧增强音频信号的边界的平滑程度等级为预设第二等级(即中等强度的边界等级)，进而可以基于以下式子(5)～(6)确定Q0和Q1(即，q0和q1优化后的值，下同)：
Q0＝(q1+2*q0+p0+2)/4； (5)
Q1＝(2*q1+q0+p0+2)/4； (6)
若满足下式(7)的条件：
则也可以确定当前帧增强音频信号的边界的平滑程度等级为预设第二等级(即中等强度的边界等级)，进而可以基于以下式子(8)确定P0：
P0＝(2*p1+p0+q0+2)/4； (8)
若满足下式(9)的条件：
则也可以确定当前帧增强音频信号的边界的平滑程度等级为预设第二等级(即中等强度的边界等级)，进而可以基于以下式子(10)确定Q0：
Q0＝(2*q1+q0+p0+2)/4； (10)
3)、若不满足上述两种情形，则可以确定当前帧增强音频信号的边界的平滑程度等级为预设第三等级(即较高强度的边界等级)，进而可以基于以下式子(11)～(15)确定P0、P1和Q0、Q1：
P0＝p0+δ； (10)
Q0＝q0-δ； (12)
其中，δ＝((q0-p0)*3+(p1-q1)+4)/8； (13)
P1＝p1+((P0-p1)*3+(p2-Q0)+4)/8； (14)
Q1＝q1+((q1-Q0)*3+(P0-q2)+4)/8。 (15)
由上述描述可知，本实施例中是将每次优化处理过的帧边界保存下来，用于下一帧的边界优化，而当前帧的边界优化也是需要基于前一帧的边界来实现的。在此基础上，当完成当前帧增强音频信号的优化后，可以将当前帧与上一帧的边界进行拼接处理，并对拼接后的帧数据进行播放。示例性地，图4C是根据本公开一示例性实施例示出的处理帧和播放帧的示意图。其中，将优化处理的每帧增强音频信号简称为处理帧，并将优化处理后用于播放的每帧优化音频信号简称为播放帧。如图4C所示，每个处理帧的头部边界(即，连接前一帧的边界)可以为p2p1p0，而该处理帧的尾部边界(即，连接后一帧的边界)可以为q0q1q2。然而，播放帧的划分方式与处理帧不同。具体地，每个播放帧的头部边界是自身原本的头部边界p2p1p0与前一帧的尾部边界q0q1q2拼接成的，而自身的尾部边界q0q1q2则留给下一帧进行边界优化以及播放，如此即可实现处理帧与播放帧的并行处理，可以提高处理效率。
图5是根据一示例性实施例示出的一种音频处理装置的框图；本实施例的装置可以应用于音频处理设备，如TWS(True Wireless Stereo，真正无线立体声)耳机、助听器等。
如图5所示，该装置可以包括：环境音频获取模块110、第一音频获取模块120、第二音频获取模块130、音频信号发送模块140和音频信号播放模块150，其中：
环境音频获取模块110，用于获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
第一音频获取模块120，用于根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
第二音频获取模块130，用于将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
音频信号发送模块140，用于将所述第一音频信号和所述第二音频信号发送给所述扬声器；
音频信号播放模块150，用于控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
由上述描述可知，本实施例的装置通过获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号，并根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号，进而将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠，然后将所述第一音频信号和所述第二音频信号发送给所述音频处理设备的扬声器，进而控制所述扬声器同步播放所述第一音频信号和所述第二音频信号，可以确保耳机的通透性，使耳机能够提供更清晰的语音且不提升噪声，进而可以提升用户的使用体验。
图6是根据又一示例性实施例示出的一种音频处理装置的框图；本实施例的装置可以应用于音频处理设备，如TWS(True Wireless Stereo，真正无线立体声)耳机、助听器等。其中，环境音频获取模块210、第一音频获取模块220、第二音频获取模块230、音频信号发送模块240和音频信号播放模块250与前述图5所示实施例中的环境音频获取模块110、第一音频获取模块120、第二音频获取模块130、音频信号发送模块140和音频信号播放模块150的功能相同，在此不进行赘述。
本实施例中，第二音频获取模块230，可以包括：
信号划分单元231，用于将所述第一音频信号划分为多帧音频信号；
语音增强单元232，用于将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
信号优化单元233，用于基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号。
在一实施例中，语音增强单元232还用于：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
在一实施例中，信号优化单元233还用于：
确定所述第二边界的平滑程度等级；
基于所述平滑程度等级对应的优化策略，对所述第二边界进行优化。
在一实施例中，信号优化单元233还用于：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值相同，将所述平滑程度等级确定为预设第一等级。
在一实施例中，信号优化单元233还用于：响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值满足以下任一项，将所述平滑程度等级确定为预设第二等级：
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于第一设定阈值，且所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值小于第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于所述第一设定阈值，且所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值小于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值。
在一实施例中，信号优化单元233还用于：响应于确定所述平滑程度等级不是所述预设第一等级或所述预设第二等级，将所述平滑程度等级确定为预设第三等级。
在一实施例中，信号优化单元233还用于：
响应于确定所述平滑程度等级为预设第一等级，维持所述第二边界的边界信号数值不变；
响应于确定所述平滑程度等级为预设第二等级，基于二阶平滑补偿方式对所述第二边界的边界信号数值进行优化；
响应于确定所述平滑程度等级为预设第三等级，基于三阶平滑补偿方式对所述第二边界的边界信号数值进行优化。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种音频处理设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种音频处理方法，其特征在于，应用于音频处理设备，所述音频处理设备包括扬声器和前馈麦克风；所述方法包括：
获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
将所述第一音频信号和所述第二音频信号发送给所述扬声器；
控制所述扬声器同步播放所述第一音频信号和所述第二音频信号；
所述将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，包括：
将所述第一音频信号划分为多帧音频信号；
将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号；
所述将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，包括：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，包括：
确定所述第二边界的平滑程度等级；
基于所述平滑程度等级对应的优化策略，对所述第二边界进行优化。
3.根据权利要求2所述的方法，其特征在于，所述确定所述第二边界的平滑程度等级，包括：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值相同，将所述平滑程度等级确定为预设第一等级。
4.根据权利要求2所述的方法，其特征在于，所述确定所述第二边界的平滑程度等级，包括：
响应于确定所述第一边界的边界信号值与所述第二边界的边界信号值满足以下任一项，将所述平滑程度等级确定为预设第二等级：
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于第一设定阈值，且所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值小于第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值小于所述第一设定阈值，且所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值小于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第二边界中的第一边界信号值与所述第二边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值；
所述第一边界中第一边界信号值与所述第二边界中第一边界信号值之间差值的绝对值大于或等于所述第一设定阈值，或者所述第一边界中的第一边界信号值与所述第一边界中的第三边界信号值之间差值的绝对值大于或等于所述第二设定阈值。
5.根据权利要求2所述的方法，其特征在于，所述确定所述第二边界的平滑程度等级，包括：
响应于确定所述平滑程度等级不是预设第一等级或预设第二等级，将所述平滑程度等级确定为预设第三等级。
6.根据权利要求2所述的方法，其特征在于，所述基于所述平滑程度等级对应的优化策略，对所述第二边界进行优化，包括：
响应于确定所述平滑程度等级为预设第一等级，维持所述第二边界的边界信号数值不变；
响应于确定所述平滑程度等级为预设第二等级，基于二阶平滑补偿方式对所述第二边界的边界信号数值进行优化；
响应于确定所述平滑程度等级为预设第三等级，基于三阶平滑补偿方式对所述第二边界的边界信号数值进行优化。
7.一种音频处理装置，其特征在于，应用于音频处理设备，所述音频处理设备包括扬声器和前馈麦克风；所述装置包括：
环境音频获取模块，用于获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
第一音频获取模块，用于根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
第二音频获取模块，用于将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
音频信号发送模块，用于将所述第一音频信号和所述第二音频信号发送给所述扬声器；
音频信号播放模块，用于控制所述扬声器同步播放所述第一音频信号和所述第二音频信号；
所述第二音频获取模块，包括：
信号划分单元，用于将所述第一音频信号划分为多帧音频信号；
语音增强单元，用于将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
信号优化单元，用于基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号；
所述语音增强单元还用于：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
8.一种音频处理设备，其特征在于，所述设备包括：
扬声器、前馈麦克风、处理器以及用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时，实现：
获取环境音频信号，其中，所述环境音频信号为所述前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
将所述第一音频信号和所述第二音频信号发送给所述扬声器；
控制所述扬声器同步播放所述第一音频信号和所述第二音频信号；
所述将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，包括：
将所述第一音频信号划分为多帧音频信号；
将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号；
所述将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，包括：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现：
获取环境音频信号，其中，所述环境音频信号为音频处理设备的前馈麦克风所采集的所述音频处理设备周围环境中的声音信号；
根据预设的第一滤波器组对所述环境音频信号进行滤波，得到第一音频信号；
将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，其中，所述神经网络模型通过机器学习的方式进行训练得到，用于将第一音频信中的人声信号和噪音信号进行分离；所述噪音信号的频段与所述人声信号频段重叠；
将所述第一音频信号和所述第二音频信号发送给所述音频处理设备的扬声器；
控制所述扬声器同步播放所述第一音频信号和所述第二音频信号；
所述将所述第一音频信号输入预设的神经网络模型，得到第二音频信号，包括：
将所述第一音频信号划分为多帧音频信号；
将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，得到多帧增强音频信号；
基于所述多帧增强音频信号中前一帧信号的第一边界对相连的后一帧信号的第二边界进行优化，得到优化后的各帧信号；
所述将所述多帧音频信号分别输入至所述神经网络模型进行语音增强，包括：
基于所述神经网络模型识别所述多帧音频信号中的语音信号和噪声信号；
对所述多帧音频信号中的语音信号进行保留，并删除所述噪声信号。
CN202210173776.8A 2022-02-24 2022-02-24 音频处理方法、装置、设备及存储介质 Active CN114554353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210173776.8A CN114554353B (zh) 2022-02-24 2022-02-24 音频处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210173776.8A CN114554353B (zh) 2022-02-24 2022-02-24 音频处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114554353A CN114554353A (zh) 2022-05-27
CN114554353B true CN114554353B (zh) 2024-01-16

Family

ID=81676818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210173776.8A Active CN114554353B (zh) 2022-02-24 2022-02-24 音频处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114554353B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1115528A (zh) * 1993-12-25 1996-01-24 索尼公司 噪声减少方法、噪声减少装置和电话机
WO1998047298A2 (en) * 1997-04-15 1998-10-22 Mci Worldcom, Inc. A system, method and article of manufacture for switched telephony communication
JP2002300615A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置
AU2004233448A1 (en) * 2003-12-03 2005-06-23 Envysion, Inc. Monitoring an environment
CN101860660A (zh) * 2009-04-09 2010-10-13 佳能株式会社 帧速率转换装置及帧速率转换方法
CN101901601A (zh) * 2010-05-17 2010-12-01 天津大学 一种车内降噪语音通讯的方法与系统
CN101996639A (zh) * 2009-08-12 2011-03-30 财团法人交大思源基金会 音频信号分离装置及其操作方法
CN102005061A (zh) * 2010-11-24 2011-04-06 西安交通大学 基于分层-补洞的卡通动画再利用方法
CN102016984A (zh) * 2008-05-02 2011-04-13 杜比实验室特许公司 用于动态声音传送的系统和方法
CN102682765A (zh) * 2012-04-27 2012-09-19 中咨泰克交通工程集团有限公司 高速公路音频车辆检测装置及其方法
AU2013100996A4 (en) * 2012-07-30 2013-08-15 Treefrog Developments, Inc. Housing For Encasing A Tablet Computer
CN110648692A (zh) * 2019-09-26 2020-01-03 苏州思必驰信息科技有限公司 语音端点检测方法及系统
CN113810828A (zh) * 2021-09-17 2021-12-17 北京小米移动软件有限公司 音频信号处理方法、装置、可读存储介质及耳机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007202789B9 (en) * 2007-06-15 2011-08-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
EP3644009A1 (de) * 2018-10-24 2020-04-29 Hahn-Schickard-Gesellschaft für angewandte Forschung e.V. Dehnungsmessstruktur mit einem strukturierten träger

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1115528A (zh) * 1993-12-25 1996-01-24 索尼公司 噪声减少方法、噪声减少装置和电话机
WO1998047298A2 (en) * 1997-04-15 1998-10-22 Mci Worldcom, Inc. A system, method and article of manufacture for switched telephony communication
JP2002300615A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置
AU2004233448A1 (en) * 2003-12-03 2005-06-23 Envysion, Inc. Monitoring an environment
CN102016984A (zh) * 2008-05-02 2011-04-13 杜比实验室特许公司 用于动态声音传送的系统和方法
CN101860660A (zh) * 2009-04-09 2010-10-13 佳能株式会社 帧速率转换装置及帧速率转换方法
CN101996639A (zh) * 2009-08-12 2011-03-30 财团法人交大思源基金会 音频信号分离装置及其操作方法
CN101901601A (zh) * 2010-05-17 2010-12-01 天津大学 一种车内降噪语音通讯的方法与系统
CN102005061A (zh) * 2010-11-24 2011-04-06 西安交通大学 基于分层-补洞的卡通动画再利用方法
CN102682765A (zh) * 2012-04-27 2012-09-19 中咨泰克交通工程集团有限公司 高速公路音频车辆检测装置及其方法
AU2013100996A4 (en) * 2012-07-30 2013-08-15 Treefrog Developments, Inc. Housing For Encasing A Tablet Computer
CN110648692A (zh) * 2019-09-26 2020-01-03 苏州思必驰信息科技有限公司 语音端点检测方法及系统
CN113810828A (zh) * 2021-09-17 2021-12-17 北京小米移动软件有限公司 音频信号处理方法、装置、可读存储介质及耳机

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Modeling and control for cooperative transport of a slung fluid container using quadrotors;Hassan SAYYAADI;Ali SOLTANI;;Chinese Journal of Aeronautics(第02期);全文 *
Satellite-based Observational Study of the Tibetan Plateau Vortex:Features of Deep Convective Cloud Tops;Yi-Xuan SHOU;Feng LU;Hui LIU;Peng CUI;Shaowen SHOU;Jian LIU;;Advances in Atmospheric Sciences(第02期);全文 *
改进谱减法结合神经网络的语音增强研究;姚远;王秋菊;周伟;鲍程毅;彭磊;;电子测量技术(第07期);全文 *
深度学习在音频信号处理中的研究探析;刘明;黄继风;;信息通信(第03期);全文 *
联合噪声分类和掩码估计的语音增强方法;凌佳佳;袁晓兵;;电子设计工程(第17期);全文 *

Also Published As

Publication number Publication date
CN114554353A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
EP3163748B1 (en) Method, device and terminal for adjusting volume
CN107493500B (zh) 多媒体资源播放方法及装置
CN106454644B (zh) 音频播放方法及装置
KR20230009487A (ko) 능동 잡음 제거 방법 및 장치
CN112037825B (zh) 音频信号的处理方法及装置、存储介质
CN111988704B (zh) 声音信号处理方法、装置以及存储介质
CN114363770B (zh) 通透模式下的滤波方法、装置、耳机以及可读存储介质
CN113596665A (zh) 啸叫声的抑制方法、装置、耳机及存储介质
CN114554353B (zh) 音频处理方法、装置、设备及存储介质
CN113596662B (zh) 啸叫声的抑制方法、啸叫声的抑制装置、耳机及存储介质
CN113810828A (zh) 音频信号处理方法、装置、可读存储介质及耳机
CN115278441A (zh) 语音检测方法、装置、耳机及存储介质
CN113938557B (zh) 智能终端自适应方法、装置及介质
CN115065921A (zh) 一种防止助听器啸叫的方法及装置
CN114513723A (zh) 啸叫声抑制方法、装置、耳机及存储介质
CN113473304A (zh) 啸叫声抑制方法、装置、耳机及存储介质
CN115942108A (zh) 一种视频处理方法及电子设备
WO2023245390A1 (zh) 智能耳机的控制方法、装置、电子设备和存储介质
CN113825082B (zh) 一种用于缓解助听延迟的方法及装置
CN113825081B (zh) 一种基于掩蔽治疗系统的助听方法及装置
CN112201268B (zh) 回声消除方法、回声消除装置及存储介质
CN111383648B (zh) 一种回波消除方法和装置
CN113660594B (zh) 一种助听系统自调节降噪方法及装置
CN114255775A (zh) 电子设备、语音信号处理方法及装置
CN116631419A (zh) 语音信号的处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant