CN112017677A - 音频信号的处理方法、终端设备及存储介质 - Google Patents

音频信号的处理方法、终端设备及存储介质 Download PDF

Info

Publication number
CN112017677A
CN112017677A CN202010953528.6A CN202010953528A CN112017677A CN 112017677 A CN112017677 A CN 112017677A CN 202010953528 A CN202010953528 A CN 202010953528A CN 112017677 A CN112017677 A CN 112017677A
Authority
CN
China
Prior art keywords
transfer function
audio signal
low
frequency
frequency transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010953528.6A
Other languages
English (en)
Other versions
CN112017677B (zh
Inventor
朱宗霞
安康
吴劼
舒开发
韩菲菲
杨征
李钉云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202010953528.6A priority Critical patent/CN112017677B/zh
Priority to PCT/CN2020/125633 priority patent/WO2022052256A1/zh
Priority to US18/044,921 priority patent/US20230276165A1/en
Publication of CN112017677A publication Critical patent/CN112017677A/zh
Application granted granted Critical
Publication of CN112017677B publication Critical patent/CN112017677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/222—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only  for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

本发明公开了一种音频信号的处理方法，包括以下步骤：获取骨传导拾震器件采集的骨导音频信号；获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。本发明还公开了一种终端设备及计算机可读存储介质，达成了提升终端设备采集的语音信号的完整性的效果。

Description

音频信号的处理方法、终端设备及存储介质
技术领域
本发明涉及音频处理技术领域，尤其涉及音频信号的处理方法、终端设备及计算机可读存储介质。
背景技术
骨传导是一种声音传导方式，即将声音转化为不同频率的机械振动，通过人的颅骨、骨迷路、内耳淋巴液、螺旋器、听觉中枢来传递声波。相对于通过振膜产生声波的经典声音传导方式，骨传导省去了许多声波传递的步骤，能在嘈杂的环境中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到他人。由于骨传导存在上述优势，因而出现了基于骨传导采集用户声音信号的设备。
但是，在现有的骨传导设备中，源于骨传导拾震器件自身的硬件缺陷，会导致通过骨传导拾震器件采集的音频信号出现高频衰减严重的现象。这样导致骨传导音频采集设备采集的音频信号不完整。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种音频信号的处理方法、终端设备及计算机可读存储介质，旨在达成提升终端设备采集的语音信号的完整性的目的。
为实现上述目的，本发明提供一种音频信号的处理方法，所述音频信号的处理方法包括以下步骤：
获取骨传导拾震器件采集的骨导音频信号；
获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；
基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。
可选地，所述获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数的步骤包括：
获取所述骨导音频信号的低频特性；
获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数。
可选地，所述音频信号的处理方法应用于终端设备，所述获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数的步骤包括：
将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；
接收所述服务器发送的所述低频传递函数及所述高频传递函数。
可选地，所述音频信号的处理方法应用于终端设备，所述获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数的步骤包括：
将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备；
接收所述服务器发送的所述低频传递函数和所述高频传递函数。
可选地，所述低频传递函数与所述高频传递函数一一对应，关联保存于数据库中。
可选地，所述获取骨传导拾震器件采集的骨导音频信号的步骤之后，还包括：
获取麦克风采集到的气导音频信号；
根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数；
关联保存所述初始音频的低频特性、所述低频传递函数及所述高频传递函数。
可选地，所述根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数的步骤包括：
获取所述骨导音频信号的第一低频特性，以及所述气导音频信号的第二低频特性；
获取所述骨导音频信号的第一高频特性，以及所述气导音频信号的第二高频特性；
根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。
可选地，所述低频传递传递函数及所述高频传递函数基于训练语音信号得到，其中，所述训练语音信号包括同一语音对应的所述骨传导音频信号和所述气导音频信号。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频信号处理程序，所述音频信号处理程序被所述处理器执行时实现如上所述的音频信号的处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有音频信号处理程序，所述音频信号处理程序被处理器执行时实现如上所述的音频信号的处理方法的步骤。
本发明实施例提出的一种音频信号的处理方法、终端设备及计算机可读存储介质，先获取骨传导拾震器件采集的骨导音频信号，然后获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数，并基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频，由于可以通过低频传递函数和高频传递函数，扩展骨传导拾震器件采集的骨导音频信号的高频部分，从而使得终端设备可以基于骨传导拾震器件采集到的初始音频得到完整的音频信号。这样达成了提高设备采集的音频信号的完整性的效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明音频信号的处理方法的一实施例的流程示意图；
图3为本发明音频信号的处理方法的另一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于在现有的骨传导设备中，源于骨传导拾震器件自身的硬件缺陷，会导致通过骨传导拾震器件采集的音频信号出现高频衰减严重的现象。这样导致骨传导音频采集设备采集的音频信号不完整。
为解决上述缺陷，本发明实施例提出一种音频信号的处理方法，其主要解决方案包括以下步骤：
获取骨传导拾震器件采集的骨导音频信号；
获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；
基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。
由于可以通过低频传递函数和高频传递函数，扩展骨传导拾震器件采集的骨导音频信号的高频部分，从而使得终端设备可以基于骨传导拾震器件采集到的初始音频得到完整的音频信号。这样达成了提高设备采集的音频信号的完整性的效果。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是骨传导耳机等终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括骨传导拾震器件等，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及音频信号处理程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的音频信号处理程序，并执行以下操作：
获取骨传导拾震器件采集的骨导音频信号；
获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；
基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。
进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：
获取所述骨导音频信号的低频特性；
获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数。
进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：
将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；
接收所述服务器发送的所述低频传递函数及所述高频传递函数。
进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：
将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备；
接收所述服务器发送的所述低频传递函数和所述高频传递函数。
进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：
获取麦克风采集到的气导音频信号；
根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数；
关联保存所述初始音频的低频特性、所述低频传递函数及所述高频传递函数。
进一步地，处理器1001可以调用存储器1005中存储的音频信号处理程序，还执行以下操作：
获取所述骨导音频信号的第一低频特性，以及所述气导音频信号的第二低频特性；
获取所述骨导音频信号的第一高频特性，以及所述气导音频信号的第二高频特性；
根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。
参照图2，在本发明音频信号的处理方法的一实施例中，所述音频信号的处理方法包括以下步骤：
步骤S10、获取骨传导拾震器件采集的骨导音频信号；
步骤S20、获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；
步骤S30、基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。
骨传导是一种声音传导方式，即将声音转化为不同频率的机械振动，通过人的颅骨、骨迷路、内耳淋巴液、螺旋器、听觉中枢来传递声波。相对于通过振膜产生声波的经典声音传导方式，骨传导省去了许多声波传递的步骤，能在嘈杂的环境中实现清晰的声音还原，而且声波也不会因为在空气中扩散而影响到他人。由于骨传导存在上述优势，因而出现了基于骨传导采集用户声音信号的设备。
但是，在现有的骨传导设备中，源于骨传导拾震器件自身的硬件缺陷，会导致通过骨传导拾震器件采集的音频信号出现高频衰减严重的现象。这样导致骨传导音频采集设备采集的音频信号不完整。
为解决现有的骨传导音频采集设备，只能适用于低频环境，而无法采集音源语音的高频部分的缺陷，本发明实施例提出一种音频信号的处理方法。
在本实施例中，上述音频信号的处理方法应用于终端设备，上述终端设备设置有骨传导拾震器件。其中，上述骨传导拾震器件用于采集因音源语音而产生振动的物体的振动波，并将该振动波转换为语音信号。
示例性地，上述终端设备设置为骨传导耳机，当用户佩戴骨传导耳机时，在用户说话的过程中，会导致肢体同时产生振动，因此，设置于骨传导耳机上的骨传导拾震器件可以采集用户肢体的振动波，并将该振动波转换为音频信号。
当终端设备上设置有骨传导拾震器件时，可以通过骨传导拾震器件采集音频，然后获取骨传导拾震器件采集的初始音频后。
进一步地，当获取到该骨导音频信号后，可以获取与该骨导音频信号匹配的预存的低频传递函数，以及该低频传递函数对应的预存的高频传递函数。可以理解的是，上述高频传递函数和上述低频传递函数为预先保存的数据。其中，所述低频传递函数和所述高频传递函数为同一音源对应骨传导音频信号与气导音频信号之间对应的传递函数。
具体地，当获取到该骨导音频信号后，可以获取该初始音频的低频特性。进而查询数据库中与该低频特性匹配的预存低频
示例性地，当获取到骨传导拾震器件采集的骨导音频信号时，先对采集到的信号进行转换，以将时域信号转换为频域信号。需要说明的是，终端设备可以先获取通过骨传导拾震器件采集的骨导音频信号，其中，终端设备直接获取到的上述骨导音频信号为时域信号。因此，在获取到上述初始音频后，可以基于FFT(fast Fourier transform，快速傅里叶变换)，将骨导音频信号从时域信号转换为频域信号。进一步地，可以对转换后的骨导音频信号进行信号分析，从而提取该骨导音频信号的低频特性。其中，上述低频特性可以包括该骨导音频信号的谐波能量变化，以及幅值和频率分布情况等特性。进而，当获取到该骨导音频信号的低频特性后，可以基于该低频特性，在数据库中查找与该低频特性匹配的低频传递函数，例如，低频各频率点不丢失，且每频率△SPL(灵敏度差值)＝±0.1dB，则认为该低频特性与预存的低频特性匹配。其中，数据库中可以将预存的低频特性与低频传递函数关联保存。使得当获取到的骨导音频信号的低频特性，与数据库中保存的预存的低频特性匹配时，或该匹配的低频特性关联的低频传递函数。进一步的，数据库中还保存有与该低频传递函数一一对应，且关联保存的高频传递函数，因此，当获取到该低频传递函数后，还可以获取该低频传递函数对应的高频传递函数。
可选地，作为一种实现方式，在获取到上述骨导音频信号的低频特性后，也可以将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备，然后接收所述服务器发送的所述低频传递函数及所述高频传递函数。由于上述传递函数保存云端服务器，使得数据库管理者可以更加便捷地更新数据库中保存的上述低频传递函数和高频传递函数，以适应更多的应用场景和不同声音特征的用户。
需要说明的是，上述低频传递传递函数及所述高频传递函数基于训练语音信号得到，其中，所述训练语音信号包括同一语音对应的所述骨传导音频信号和所述气导音频信号。
示例性地，在训练过程中，可以通过骨传导拾震器件以及麦克风同时采集同一音源输出的语音。在本示例中，将骨传导拾震器件采集到的该语音对应的音频信号描述为骨导音频信号。将麦克风等采集到的该音频对应的音频信号描述为气导音频信号(即麦克风采集的通过空气传播的声波对应的音频信号)。然后将该骨导音频信号及该气导音频信号从时域信号转换为频域信号。并对转换为频域信号后的骨导音频信号和气导音频信号进行信号分析，获取骨导音频信号的第一低频特性和第一高频特性，以及所述气导音频信号对应第二低频特性和第二高频特性。进而根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。
具体地，在本示例中，在一训练过程中，可以同时录制骨导音频信号及气导音频信号，并将骨导音频信号及气导音频信号，通过FFT从时域转换频域，并提取频域信号中的频率、幅值等特性，确定每份语音产生的低频特性(<预设频率值，例如2KHz)和高频特性(>预设频率值)。其中，低频特性一般只是谐波能量的变化，而高频特性就是复杂的衰减、频率丢失等变化。进一步地，x1(n)表示骨导音频信号中，低频部分用频域表示，x2(n)表示骨导音频信号中，高频部分用频域表示；y1(n)表示气导音频信号中，低频部分用频域表示，y2(n)表示气导音频信号中，高频部分用频域表示。进一步地，可以根据以下公式计算低频部分对应的频域传递函数h1(n)：
h1(n)＝x1(n)/y1(n)；
根据以下公式计算高频部分对应的频域传递函数h2(n)：
h2(n)＝x2(n)/y2(n)
进一步的，在本示例中，可以再通过逆变换得到低频部分对应的时域传递函数h1(t)和高频部分对应的时域传递函数h2(t)。其中，低频部分对应的时域传递函数h1(t)和高频部分对应的时域传递函数h2(t)只能配对使用，不可单独使用。并且，每一组训练语音就会均可以生成低频部分对应的时域传递函数h1(t)和高频部分对应的时域传递函数h2(t)并将其关联保存至数据库中。
进一步地，当获取到骨传导拾震器件当前时刻采集到的骨导音频信号对应的低频传递函数和高频传递函数后，可以基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展。
具体地，当获取到骨导音频信号x(t)后，可以基于以下公式对骨导音频信号x(t)进行频域扩展：
y(t)＝x(t)/[h1(t)*h2(t)]
其中，y(t)、h1(t)和h2(t)分别为扩展后的音频信号、低频传递函数和高频传递函数。当对骨导音频信号进行扩展后，可以将扩展后骨导音频信号作为终端设备的输出音频。
示例性地，当终端设备为骨传导耳机时，上述骨传导耳机可以作为移动终端的音频采集设备，进而骨传导耳机可以将扩展后骨导音频信号作为输出音频发送至与自身连接的终端设备。
需要说明的是，为提高通过本实施例记载的音频信号的处理方法得到的输出音频的质量，可以根据实时接收到的初始音频，动态更新该初始音频匹配的低频传递函数和高频传递函数。例如，每秒更新10-50次。
在本实施例公开的技术方案中，先获取骨传导拾震器件采集的骨导音频信号，然后获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数，并基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频，由于可以通过低频传递函数和高频传递函数，扩展骨传导拾震器件采集的骨导音频信号的高频部分，从而使得终端设备可以基于骨传导拾震器件采集到的初始音频得到完整的音频信号。这样达成了提高设备采集的音频信号的完整性的效果。
参照图3，基于上述实施例，在另一实施例中，所述步骤S20包括：
步骤S21、将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；
步骤S22、接收所述服务器发送的所述低频传递函数及所述高频传递函数。
在本实施例中，可以将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备，接收所述服务器发送的所述低频传递函数和所述高频传递函数。
需要说明的是，服务器接收到上述骨导音频信号后，对比上述初始音频的低频特性与预存的低频特性。其中，上述预存的低频特性可以是预存的训练语音信号中的骨传导音频信号的低频特性。进而使得服务器可以获取与上述骨导音频信号匹配的，基于训练语音信号确定的低频传递函数和高频传递函数。并将获取到的低频传递函数和高频传递函数发送至终端设备。
在本实施例公开的技术方案中，由于确定低频传递函数和高频传递函数的过程可以由服务器完成，这样达成了降低终端设备的运行开销的效果。
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频信号处理程序，所述音频信号处理程序被所述处理器执行时实现如上各个实施例所述的音频信号的处理方法的步骤。
可选地，所述终端设备为骨传导耳机。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有音频信号处理程序，所述音频信号处理程序被处理器执行时实现如上各个实施例所述的音频信号的处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是骨传导耳机等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音频信号的处理方法，其特征在于，所述音频信号的处理方法包括以下步骤：
获取骨传导拾震器件采集的骨导音频信号；
获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数，其中，所述低频传递函数和所述高频传递函数为同一语音对应的骨导音频信号与气导音频信号之间对应的传递函数；
基于所述低频传递函数及所述高频传递函数对所述骨导音频信号进行频域扩展，并将扩展后的所述初始音频作为输出音频。
2.如权利要求1所述的音频信号的处理方法，其特征在于，所述获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数的步骤包括：
获取所述骨导音频信号的低频特性；
获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数。
3.如权利要求2所述的音频信号的处理方法，其特征在于，所述音频信号的处理方法应用于终端设备，所述获取与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数的步骤包括：
将所述低频特性发送至服务器，其中，所述服务器设置为根据接收到的所述低频特性，获取云端数据库中保存的，与所述低频特性匹配的所述低频传递函数，以及所述低频传递函数对应的所述高频传递函数，并将所述低频传递函数及所述高频传递函数发送至所述终端设备；
接收所述服务器发送的所述低频传递函数及所述高频传递函数。
4.如权利要求1所述的音频信号的处理方法，其特征在于，所述音频信号的处理方法应用于终端设备，所述获取所述骨导音频信号匹配的低频传递函数，以及所述低频传递函数对应的高频传递函数的步骤包括：
将所述骨导音频信号发送至服务器，其中，所述服务器设置为根据接收到的所述骨导音频信号，获取云端数据库中保存的与所述初始音频匹配的低频，以及所述低频传递函数对应的所述高频传递函数，并将获取到的所述低频传递函数和所述高频传递函数发送至所述终端设备；
接收所述服务器发送的所述低频传递函数和所述高频传递函数。
5.如权利要求1所述的音频信号的处理方法，其特征在于，所述低频传递函数与所述高频传递函数一一对应，关联保存于数据库中。
6.如权利要求1所述的音频信号的处理方法，其特征在于，所述获取骨传导拾震器件采集的骨导音频信号的步骤之后，还包括：
获取麦克风采集到的气导音频信号；
根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数；
关联保存所述初始音频的低频特性、所述低频传递函数及所述高频传递函数。
7.如权利要求6所述的音频信号的处理方法，其特征在于，所述根据所述骨导音频信号及所述气导音频信号确定所述低频传递函数及所述高频传递函数的步骤包括：
获取所述骨导音频信号的第一低频特性，以及所述气导音频信号的第二低频特性；
获取所述骨导音频信号的第一高频特性，以及所述气导音频信号的第二高频特性；
根据第一低频特性及所述第二低频特性确定所述低频传递函数，以及根据所述第一高频特性和第二高频特性确定所述高频传递函数。
8.如权利要求1所述的音频信号的处理方法，其特征在于，所述低频传递传递函数及所述高频传递函数基于训练语音信号得到，其中，所述训练语音信号包括同一语音对应的所述骨传导音频信号和所述气导音频信号。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频信号处理程序，所述音频信号处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的音频信号的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有音频信号处理程序，所述音频信号处理程序被处理器执行时实现如权利要求1至8中任一项所述的音频信号的处理方法的步骤。
CN202010953528.6A 2020-09-10 2020-09-10 音频信号的处理方法、终端设备及存储介质 Active CN112017677B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010953528.6A CN112017677B (zh) 2020-09-10 2020-09-10 音频信号的处理方法、终端设备及存储介质
PCT/CN2020/125633 WO2022052256A1 (zh) 2020-09-10 2020-10-31 音频信号的处理方法、终端设备及存储介质
US18/044,921 US20230276165A1 (en) 2020-09-10 2020-10-31 Audio signal processing method, terminal device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953528.6A CN112017677B (zh) 2020-09-10 2020-09-10 音频信号的处理方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN112017677A true CN112017677A (zh) 2020-12-01
CN112017677B CN112017677B (zh) 2024-02-09

Family

ID=73522769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953528.6A Active CN112017677B (zh) 2020-09-10 2020-09-10 音频信号的处理方法、终端设备及存储介质

Country Status (3)

Country Link
US (1) US20230276165A1 (zh)
CN (1) CN112017677B (zh)
WO (1) WO2022052256A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205824A (zh) * 2021-04-30 2021-08-03 紫光展锐(重庆)科技有限公司 声音信号处理方法、装置、存储介质、芯片及相关设备
CN113314134A (zh) * 2021-05-11 2021-08-27 紫光展锐(重庆)科技有限公司 一种骨传导信号补偿方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147077A (ja) * 2011-01-07 2012-08-02 Jvc Kenwood Corp 骨伝導型音声伝達装置
WO2016129717A1 (ko) * 2015-02-11 2016-08-18 재단법인 다차원 스마트 아이티 융합시스템 연구단 골전도를 이용하는 착용형 장치
CN109640212A (zh) * 2019-02-20 2019-04-16 广州明医医疗科技有限公司 音质改善方法及骨传导耳机
US20200219525A1 (en) * 2019-01-04 2020-07-09 Samsung Electronics Co., Ltd. Processing method of audio signal and electronic device supporting the same
CN111631728A (zh) * 2020-05-26 2020-09-08 广州大学 一种骨传导传递函数的测量方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361573A (ja) * 2003-06-03 2004-12-24 Mitsubishi Electric Corp 音響信号処理装置
US9497530B1 (en) * 2015-08-31 2016-11-15 Nura Holdings Pty Ltd Personalization of auditory stimulus
FR3040807B1 (fr) * 2015-09-07 2022-10-14 3D Sound Labs Procede et systeme d'elaboration d'une fonction de transfert relative a la tete adaptee a un individu
CN105721973B (zh) * 2016-01-26 2019-04-05 王泽玲 一种骨传导耳机及其音频处理方法
CN110996215B (zh) * 2020-02-26 2020-06-02 恒玄科技(北京)有限公司 确定耳机降噪参数的方法、装置以及计算机可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147077A (ja) * 2011-01-07 2012-08-02 Jvc Kenwood Corp 骨伝導型音声伝達装置
WO2016129717A1 (ko) * 2015-02-11 2016-08-18 재단법인 다차원 스마트 아이티 융합시스템 연구단 골전도를 이용하는 착용형 장치
US20200219525A1 (en) * 2019-01-04 2020-07-09 Samsung Electronics Co., Ltd. Processing method of audio signal and electronic device supporting the same
CN109640212A (zh) * 2019-02-20 2019-04-16 广州明医医疗科技有限公司 音质改善方法及骨传导耳机
CN111631728A (zh) * 2020-05-26 2020-09-08 广州大学 一种骨传导传递函数的测量方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205824A (zh) * 2021-04-30 2021-08-03 紫光展锐(重庆)科技有限公司 声音信号处理方法、装置、存储介质、芯片及相关设备
CN113205824B (zh) * 2021-04-30 2022-11-11 紫光展锐(重庆)科技有限公司 声音信号处理方法、装置、存储介质、芯片及相关设备
CN113314134A (zh) * 2021-05-11 2021-08-27 紫光展锐(重庆)科技有限公司 一种骨传导信号补偿方法及装置
CN113314134B (zh) * 2021-05-11 2022-11-11 紫光展锐(重庆)科技有限公司 一种骨传导信号补偿方法及装置

Also Published As

Publication number Publication date
WO2022052256A1 (zh) 2022-03-17
US20230276165A1 (en) 2023-08-31
CN112017677B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
JP6849797B2 (ja) 音響信号の聴取試験および変調
US10506105B2 (en) Adaptive filter unit for being used as an echo canceller
CN108648756A (zh) 语音交互方法、装置和系统
CN112017677B (zh) 音频信号的处理方法、终端设备及存储介质
CN112017687B (zh) 一种骨传导设备的语音处理方法、装置及介质
CN109905808B (zh) 用于调节智能语音设备的方法和装置
CN204721589U (zh) 骨导声音传播装置
WO2022052246A1 (zh) 语音信号的检测方法、终端设备及存储介质
CN115442709A (zh) 音频处理方法、虚拟低音增强系统、设备和存储介质
CN108200492A (zh) 语音控制优化方法、装置以及集成入耳式麦克风的耳机和穿戴设备
JPWO2018167960A1 (ja) 会話装置、音声処理システム、音声処理方法、および音声処理プログラム
CN107452398B (zh) 回声获取方法、电子设备及计算机可读存储介质
CN104936096A (zh) 骨导声音传播装置和方法
CN116980804B (zh) 音量调整方法、装置、设备及可读存储介质
US9295423B2 (en) System and method for audio kymographic diagnostics
CN111988702B (zh) 音频信号的处理方法、电子设备及存储介质
US9258655B2 (en) Method and device for frequency compression with harmonic correction
KR101551666B1 (ko) 노이즈의 프로파일화 및 그 적용이 가능한 보청기, 이를 이용한 노이즈 적용 보청기시스템
CN110022514B (zh) 音频信号的降噪方法、装置、系统及计算机存储介质
JP3435687B2 (ja) 収音装置
CN107153796B (zh) 一种信息处理方法及电子设备
JPH07146700A (ja) ピッチ強調方法および装置ならびに聴力補償装置
CN110996205A (zh) 耳机的控制方法、耳机及可读存储介质
CN109963230A (zh) 一种声音采集方法和装置
CN111048107B (zh) 音频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant