CN113395629B - 一种耳机及其音频处理方法、装置、存储介质 - Google Patents

一种耳机及其音频处理方法、装置、存储介质 Download PDF

Info

Publication number
CN113395629B
CN113395629B CN202110813086.XA CN202110813086A CN113395629B CN 113395629 B CN113395629 B CN 113395629B CN 202110813086 A CN202110813086 A CN 202110813086A CN 113395629 B CN113395629 B CN 113395629B
Authority
CN
China
Prior art keywords
bone conduction
conduction signal
signal
earphone
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110813086.XA
Other languages
English (en)
Other versions
CN113395629A (zh
Inventor
陈强
李松洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202110813086.XA priority Critical patent/CN113395629B/zh
Publication of CN113395629A publication Critical patent/CN113395629A/zh
Priority to PCT/CN2021/138812 priority patent/WO2023000602A1/zh
Application granted granted Critical
Publication of CN113395629B publication Critical patent/CN113395629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Abstract

本申请公开了一种耳机及其音频处理方法、装置、存储介质,包括:获取耳机处于佩戴状态下的骨导信号以及麦克风信号;对所述骨导信号进行相位调整,以得到调整后骨导信号;将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。本申请通过播放包含相位调整后骨导信号的音频流,使得所述调整后骨导信号与所述通过用户骨骼传导至耳道的声音之间产生同频干扰,进而削弱所述通过用户骨骼传导至耳道的声音,改善了用户的使用体验。

Description

一种耳机及其音频处理方法、装置、存储介质
技术领域
本发明涉及耳机技术领域,特别涉及一种耳机及其音频处理方法、装置、存储介质。
背景技术
随着科学技术的不断发展,耳机在人们日常生活中应用的越来越广泛。人们在进行讲话时,讲话的声音可以通过骨传导和空气传导到自己的耳道中。当用户佩戴耳机进行讲话时,由于耳机塞入耳道导致耳道空间变小,使得通过骨传导至用户耳道中自话音增益变大,因此用户在佩戴耳机讲话时会存在因为获得的自话音过大而无法听清楚周围的环境音的情况。
尤其是一些长期在高强度的噪声环境下工作导致听力受损的用户,他们往往会选择使用辅听耳机来补偿听力损伤问题。例如图1所示,在传统的辅听耳机中通常使用MIC(microphone,麦克风)基于空气传导采集外界音频信号,因为无法分辨出声音来源的对象,所以辅听耳机会利用辅听算法将采集到的声音统一放大,因此听力受损的用户在使用辅听耳机时不仅会获取到辅听耳机采集并放大的自话音,还会因辅听耳机塞入耳道导致通过骨传导至用户耳道中自话音增益变大,严重影响了用户的使用体验。综上所述,现有技术中存在当用户佩戴耳机讲话时,通过用户骨骼传导至耳道的自话音音量过高的问题。
发明内容
有鉴于此,本发明的目的在于提供一种耳机及其音频处理方法、装置、存储介质,能够有效削弱通过用户骨骼传导至耳道的声音,改善了用户的使用体验。其具体方案如下:
本申请的第一方面提供了一种耳机音频处理方法,包括:
获取耳机处于佩戴状态下的骨导信号以及麦克风信号;
对所述骨导信号进行相位调整,以得到调整后骨导信号;
将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
可选的,所述获取耳机处于佩戴状态下的骨导信号,包括:
通过骨传导传感器采集耳机处于佩戴状态下的骨导信号;
对所述骨传导传感器采集到的所述骨导信号进行降噪处理,以得到降噪后的所述骨导信号;
相应的,所述对所述骨导信号进行相位调整,包括:
对降噪后的所述骨导信号进行相位调整。
可选的,所述对所述骨传导传感器采集到的所述骨导信号进行降噪处理,包括:
通过云端服务器获取训练后的神经网络自适应滤波器;
利用所述训练后的神经网络自适应滤波器,对所述骨传导传感器采集到的所述骨导信号进行滤波处理,以削减所述骨导信号中的通过空气传导的自话音成分。
可选的,所述神经网络自适应滤波器的训练过程,包括:
获取训练集;所述训练集包括预先收集的麦克风信号以及相应的降噪前骨导信号和降噪后骨导信号;所述降噪前骨导信号为通过骨传导传感器采集到的骨导信号;所述降噪后骨导信号为对所述降噪前骨导信号中的通过空气传导的自话音成分进行削减后得到的骨导信号;
将所述训练集中的所述麦克风信号和所述降噪前骨导信号作为输入侧的训练数据,并将所述训练集中的所述降噪后骨导信号作为输出侧的训练数据,对神经网络自适应滤波器进行训练,以得到所述训练后的神经网络自适应滤波器。
可选的,所述获取耳机处于佩戴状态下的骨导信号,包括:
通过骨传导传感器采集耳机处于佩戴状态下的骨导信号;
相应的,所述对所述骨导信号进行相位调整,包括:
直接对所述骨传导传感器采集到的所述骨导信号进行相位调整。
可选的,所述对所述骨导信号进行相位调整,以得到调整后骨导信号,包括:
对所述骨导信号进行反相处理,以得到调整后骨导信号。
可选的,所述将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放之前,还包括:
基于听力损伤补偿算法和/或语音增强算法对所述音频流进行处理。
本申请的第二方面提供了一种耳机音频处理装置,包括:
信号获取模块,用于获取耳机处于佩戴状态下的骨导信号以及麦克风信号;
相位调整模块,用于对所述骨导信号进行相位调整,以得到调整后骨导信号;
音频播放模块,用于将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
本申请的第三方面提供了一种耳机,所述耳机包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现前述耳机音频处理方法。
本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现前述耳机音频处理方法。
本申请中,首先获取耳机处于佩戴状态下的骨导信号以及麦克风信号,然后对所述骨导信号进行相位调整,以得到调整后骨导信号,最后将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。通过播放包含所述调整后骨导信号的音频流,使得所述调整后骨导信号和所述通过用户骨骼传导至耳道的声音之间因为频率相同且存在一定的相位差,在用户的耳道内产生同频干扰,进而在用户耳道内削弱所述通过用户骨骼传导至耳道的声音,改善了用户的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为一种传统的辅听耳机音频处理方法示意图;
图2为本申请提供的一种耳机音频处理方法流程图;
图3为本申请提供的一种具体的耳机音频处理方法流程图;
图4为本申请提供的一种具体的耳机音频处理方法流程图;
图5为本申请提供的一种具体的耳机音频处理方法示意图;
图6为本申请提供的一种耳机音频处理装置结构示意图;
图7为本申请提供的一种耳机结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中辅听耳机使用麦克风基于空气传导采集外界音频信号,因为无法分辨出声音来源的对象,所以辅听耳机会将采集到的声音统一放大。因此听力受损的用户在使用辅听耳机时不仅会获取到辅听耳机采集并放大的自话音,还会因辅听耳机塞入耳道导致通过骨传导至用户耳道中自话音增益变大,严重影响了用户的使用体验。为此,本申请提供了一种耳机音频处理方案,能够有效削弱通过用户骨骼传导至耳道的声音,改善了用户的使用体验。
图2为本申请实施例提供的一种耳机音频处理方法流程图。参见图2所示,该耳机音频处理方法包括:
S11:获取耳机处于佩戴状态下的骨导信号以及麦克风信号。
本实施例中,在耳机处于佩戴状态下,获取用户讲话时产生的骨导信号和麦克风信号。可以理解的是,当用户讲话时通过牙齿、牙床、上下颌骨等骨骼可以传递用户说话的声音,进而被用户耳廓上佩戴的耳机中的骨传导传感器采集到相应的骨导信号。本实施例中,所述骨导信号可以通过设置于耳机中的包含骨传导传感器的VPU(即Voice PickupUnit,音频拾取单元)来进行采集。所述麦克风信号则可以由设置于耳机上的麦克风基于空气传导进行采集。可以理解的是,所述麦克风信号包含通过空气传导的自话音成分和外界的环境音成分。
S12:对所述骨导信号进行相位调整,以得到调整后骨导信号。
本实施例中,所述骨导信号与通过用户骨骼传导至耳道的声音的频率相同,因此基于同频干扰原理,当所述骨导信号与所述通过用户骨骼传导至耳道的声音存在一定的相位差时,两个信号可以产生同频干扰。因此需要对所述骨导信号进行相位调整,以使调整后骨导信号与所述通过用户骨骼传导至耳道的声音之间的相位差为预设相位差。可以理解的是,所述骨导信号与所述通过用户骨骼传导至耳道的声音之间存在一定的相位差即可以产生同频干扰,但在实际的应用中为了简化处理过程和提升同频干扰效果,通常采取将所述骨导信号进行反相处理。对所述骨导信号进行相位调整的方法有多种,例如,利用反相器可以将所述骨导信号的相位反相,或利用全通滤波器对所述骨导信号的相位进行调整。
S13:将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
在耳机处于佩戴状态时,由于耳道空间的狭小,会使得用户讲话时通过用户骨骼传导至耳道的自话音增益变大,尤其在辅听耳机中,所述辅听耳机会将其通过麦克风采集到的声音全部放大,因此叠加在用户耳道内的自话音的音量会更大,使得用户无法更好的听清周围环境声音。为了削弱通过用户骨骼传导至耳道的自话音,可以将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,因为所述调整后骨导信号与所述通过用户骨骼传导至耳道的声音之间存在一定的相位差,因此两个信号会在用户的耳道内产生同频干扰,进而可以削弱甚至消除通过用户骨骼传导至耳道的自话音,以使得用户可以更好的听清环境声音,改善了用户的使用体验。可以理解的是,所述音频播放单元具体为设置于耳机上的扬声器。
本实施例中,为了满足听力障碍人群的使用需求,可以在将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放之前,基于听力损伤补偿算法和/或语音增强算法对所述音频流进行处理,以使得听力障碍人群在使用耳机时可以获得更好的体验。
可见,本申请实施例,获取耳机处于佩戴状态下的骨导信号以及麦克风信号,然后对所述骨导信号进行相位调整,以得到调整后骨导信号,最后将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与所述通过用户骨骼传导至耳道的声音之间产生同频干扰。在听力障碍人群使用所述耳机时还可以利用听力损伤补偿算法和/或语音增强算法对所述音频流进行处理。本申请实施例通过播放包含所述调整后骨导信号的音频流,使得所述调整后骨导信号和所述通过用户骨骼传导至耳道的声音之间因为频率相同且存在一定的相位差,在用户的耳道内产生同频干扰,进而在用户耳道内削弱所述通过用户骨骼传导至耳道的声音,改善了用户的使用体验。
图3为本申请实施例提供的一种具体的耳机音频处理方法流程图。参见图3所示,该耳机音频处理方法包括:
S21:通过骨传导传感器采集耳机处于佩戴状态下的骨导信号。
本实施例中,关于上述步骤S21的具体过程,可以参考前述实施例中公开的相应内容,在此不再进行赘述。
S22:对所述骨传导传感器采集到的所述骨导信号进行降噪处理,以得到降噪后的所述骨导信号。
本实施例中,在用户讲话时会引起空气振动,从而导致通过所述骨传导传感器采集到的所述骨导信号中通常会存在通过空气传导的自话音成分等噪声信号。为此,本实施例可以对所述骨传导传感器采集到的所述骨导信号进行降噪处理,以得到降噪后的所述骨导信号。
本实施例中,为了对所述骨传导传感器采集到的所述骨导信号进行降噪处理,具体可以通过神经网络自适应滤波器完成。首先,可以通过云端服务器获取训练后的神经网络自适应滤波器,可以理解的是,所述神经网络自适应滤波器的训练过程由所述云端服务器完成,所述耳机可以利用所述云端服务器下发的所述训练后的神经网络自适应滤波器对所述骨导信号进行滤波处理。
本实施例中,所述耳机利用所述训练后的神经网络自适应滤波器,基于所述麦克风信号为参考信号对所述骨传感传感器采集到的所述骨导信号进行滤波处理,以削减所述骨导信号中的通过空气传导的自话音成分。可以理解的是,通过所述神经网络自适应滤波器对所述骨导信号进行滤波,会降低所述骨导信号中通过空气传导的自话音成分,因此滤波处理后的所述骨导信号与所述通过用户骨骼传导至耳道的声音之间的相似度更高,以使得所述骨导信号基于同频干扰原理消除通过用户骨骼传导至耳道的声音的效果更好。
为进一步说明所述神经网络自适应滤波器的工作原理,本申请实施例还将对所述神经网络自适应滤波器的训练过程进行详细的阐述。为对空白的神经网络自适应滤波器模型进行训练,首先应获取包含有训练数据的训练集。所述训练集包括麦克风基于空气传导采集的麦克风信号,以及相应的降噪前骨导信号和降噪后骨导信号。其中,所述降噪前骨导信号为通过骨传导传感器采集到的骨导信号,所述降噪后骨导信号为对所述降噪前骨导信号中的通过空气传导的自话音成分进行削减后得到的骨导信号。也即,本实施例中,所述麦克风信号以及相应的降噪前骨导信号和降噪后骨导信号为一组训练数据。本实施例中,为了采集到每组训练数据,可以在采集所述麦克风信号的同时,通过佩戴的所述骨传导传感器采集对应的骨导信号,然后对所述骨导信号进行降噪,以得到降噪后的所述骨导信号,由此得到相应的一组训练数据。可以理解的是,为了保证训练后的所述神经网络自适应滤波器的滤波效果,所述训练集中包含的训练数据的组数应该足够多,以保证训练后的所述神经网络自适应滤波器能够更好的削减所述降噪前骨导信号中的通过空气传导的噪声成分。
本实施例中,对所述空白的神经网络自适应滤波器模型进行训练时,应将所述训练集中的麦克风信号和所述降噪前骨导信号作为输入侧的训练数据,并将所述训练集中的所述降噪后骨导信号作为输出侧的训练数据,以得到训练后的神经网络自适应滤波器,使得训练后的所述神经网络自适应滤波器后续能够利用麦克风信号消除降噪前骨导信号中通过空气传导的噪声成分,进而得到降噪后骨导信号。
S23:对降噪后的所述骨导信号进行相位调整,以得到调整后骨导信号。
S24:基于听力损伤补偿算法和/或语音增强算法对包含所述调整后骨导信号和所述麦克风信号的音频流进行处理。
S25:将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
本实施例中,关于上述步骤S23、S24、S25的具体过程,可以参考前述实施例中公开的相应内容,在此不再进行赘述。
可见,本申请实施例,通过骨传导传感器采集耳机处于佩戴状态下的骨导信号,对所述骨传导传感器采集到的所述骨导信号进行降噪处理,以得到降噪后的所述骨导信号。对所述骨导信号进行降噪处理具体可以通过神经网络自适应滤波器完成。所以首先通过云端服务器获取训练后的神经网络自适应滤波器,并利用所述训练后的神经网络自适应滤波器,对所述骨传导传感器采集到的所述骨导信号进行滤波处理,以削减所述骨导信号中的通过空气传导的自话音成分,然后对所述骨导信号进行相位调整,以得到调整后骨导信号。然后基于听力损伤补偿算法和/或语音增强算法对包含所述调整后骨导信号和所述麦克风信号的音频流进行处理,最后将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与所述通过用户骨骼传导至耳道的声音之间产生同频干扰,通过上述方法能够有效的削减甚至消除所述通过用户骨骼传导至耳道的声音,使得用户可以更好的听清环境音,改善了用户的使用体验。
图4为本申请实施例提供的一种具体的耳机音频处理方法流程图。参见图4所示,该耳机音频处理方法包括:
S31:通过骨传导传感器采集耳机处于佩戴状态下的骨导信号。
S32:直接对所述骨传导传感器采集到的所述骨导信号进行相位调整,以得到调整后骨导信号。
S33:将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
本实施例中,在用户讲话时会引起空气振动,从而导致通过所述骨传导传感器采集到的所述骨导信号中通常会存在通过空气传导的自话音成分等噪声信号。但由于所述噪声信号在所述骨导信号中所占比例较小,在耳机内部运算资源相对紧张的应用场景下,为了降低运算压力,本实施例可以选择不对所述骨传导传感器采集到的所述骨导信号进行降噪处理,直接对所述骨导信号进行相位调整,以得到调整后骨导信号。可以理解的是,所述调整后骨导信号可以在用户耳道内削弱部分通过用户骨骼传导至耳道的声音。
本实施例中,通过骨传导传感器采集耳机处于佩戴状态下的骨导信号,然后直接对所述骨传导传感器采集到的所述骨导信号进行相位调整,以得到调整后骨导信号,最后将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。本实施例既简化了信号处理的步骤,也能有效削弱通过用户骨骼传导至耳道的声音。
为了进一步说明所述耳机音频处理方法,本申请实施例还提供了一种具体的耳机音频处理方法示意图,参见图5所示。
当用户佩戴所述耳机讲话时,所述耳机中的骨传导传感器采集用户讲话时通过牙齿、牙床、上下颌骨等骨骼传导的骨导信号,同时利用麦克风采集通过空气传导的麦克风信号,然后将所述骨导信号和所述麦克风信号输入至所述耳机中的神经网络自适应滤波器中,使得所述神经网络自适应滤波器以所述麦克风信号为参考信号,削减所述骨导信号中的通过空气传导的自话音成分,以得到较为纯净的骨导信号。可以理解的是,在实际应用中所述骨导信号通过所述神经网络自适应滤波器去除通过空气传导的自话音成分之后,可能还存在一定的噪声信号,由于滤波后的所述骨导信号与所述通过用户骨骼传导至耳道的声音之间的相似度满足预设标准,因此所述噪声信号可以忽略不计。然后对滤波后的所述骨导信号进行反相调整,以得到调整后骨导信号,并基于辅听算法模块对包含所述调整后骨导信号和所述麦克风信号的音频流进行处理,其中,所述辅听算法模块包含听力损伤补偿单元和/或语音增强单元。最后将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与所述通过用户骨骼传导至耳道的声音之间在用户的耳道中产生同频干扰,进而削弱所述通过用户骨骼传导至耳道的声音,使得用户在佩戴所述耳机讲话时,可以更好的听清环境音,有效改善了用户的使用体验。
参见图6所示,本申请实施例还相应公开了一种耳机音频处理装置,包括:
信号获取模块11,用于获取耳机处于佩戴状态下的骨导信号以及麦克风信号;
相位调整模块12,用于对所述骨导信号进行相位调整,以得到调整后骨导信号;
音频播放模块13,用于将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
可见,本申请实施例,获取耳机处于佩戴状态下的骨导信号以及麦克风信号,然后对所述骨导信号进行相位调整,以得到调整后骨导信号,最后将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。通过播放包含所述调整后骨导信号的音频流,使得所述调整后骨导信号和所述通过用户骨骼传导至耳道的声音之间因为频率相同且存在一定的相位差,在用户的耳道内产生同频干扰,进而在用户耳道内削弱所述通过用户骨骼传导至耳道的声音,改善了用户的使用体验。
在一些具体实施例中,所述信号获取模块11,具体包括:
骨导信号采集子模块,用于通过骨传导传感器采集耳机处于佩戴状态下的骨导信号;
骨导信号降噪子模块,用于对所述骨传导传感器采集到的所述骨导信号进行降噪处理,以得到降噪后的所述骨导信号;
在一些具体实施例中,所述相位调整模块12,具体包括:
第一相位调整单元,用于对降噪后的所述骨导信号进行相位调整;
第二相位调整单元,用于直接对所述骨传导传感器采集到的所述骨导信号进行相位调整;
第三相位调整单元,用于对所述骨导信号进行反相处理,以得到调整后骨导信号。
在一些具体实施例中,所述骨导信号降噪子模块,具体包括:
滤波器获取子模块,用于通过云端服务器获取训练后的神经网络自适应滤波器;
信号滤波子模块,用于利用所述训练后的神经网络自适应滤波器,对所述骨传导传感器采集到的所述骨导信号进行滤波处理,以削减所述骨导信号中的通过空气传导的自话音成分。
在一些具体实施例中,所述云端服务器,具体包括:
训练集获取模块,用于获取训练集;所述训练集包括预先收集的麦克风信号以及相应的降噪前骨导信号和降噪后骨导信号;所述降噪前骨导信号为通过骨传导传感器采集到的骨导信号;所述降噪后骨导信号为对所述降噪前骨导信号中的通过空气传导的自话音成分进行削减后得到的骨导信号;
滤波器训练模块,用于将所述训练集中的所述麦克风信号和所述降噪前骨导信号作为输入侧的训练数据,并将所述训练集中的所述降噪后骨导信号作为输出侧的训练数据,对神经网络自适应滤波器进行训练,以得到所述训练后的神经网络自适应滤波器。
在一些具体实施例中,所述耳机音频处理方法,还包括:
音频流处理模块,用于基于听力损伤补偿算法和/或语音增强算法对所述音频流进行处理。
进一步的,本申请实施例还提供了一种耳机。图7是根据一示例性实施例示出的耳机20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种耳机20的结构示意图。该耳机20,具体可以包括:至少一个处理器21、至少一个存储器22、麦克风23、通信接口24、输入输出接口25、骨传导传感器26和音频播放单元27。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的音耳机频处理方法中的相关步骤。
本实施例中,通信接口24能够为耳机20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括计算机程序221,存储方式可以是短暂存储或者永久存储。
其中,计算机程序221除了包括能够用于完成前述任一实施例公开的由耳机20执行的耳机音频处理方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请实施例还公开了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的耳机音频处理方法步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的耳机及其音频处理方法、装置、存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种耳机音频处理方法,其特征在于,包括:
获取耳机处于佩戴状态下的通过骨传导传感器采集到的骨导信号以及麦克风信号;
利用通过云端服务器获取的训练后的神经网络自适应滤波器,对所述骨导信号进行滤波处理以削减所述骨导信号中的通过空气传导的自话音成分,得到降噪后的所述骨导信号;
对降噪后的所述骨导信号进行相位调整,以得到调整后骨导信号;
将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
2.根据权利要求1所述的耳机音频处理方法,其特征在于,所述神经网络自适应滤波器的训练过程,包括:
获取训练集;所述训练集包括预先收集的麦克风信号以及相应的降噪前骨导信号和降噪后骨导信号;所述降噪前骨导信号为通过骨传导传感器采集到的骨导信号;所述降噪后骨导信号为对所述降噪前骨导信号中的通过空气传导的自话音成分进行削减后得到的骨导信号;
将所述训练集中的所述麦克风信号和所述降噪前骨导信号作为输入侧的训练数据,并将所述训练集中的所述降噪后骨导信号作为输出侧的训练数据,对神经网络自适应滤波器进行训练,以得到所述训练后的神经网络自适应滤波器。
3.根据权利要求1所述的耳机音频处理方法,其特征在于,所述对降噪后的所述骨导信号进行相位调整,以得到调整后骨导信号,包括:
对降噪后的所述骨导信号进行反相处理,以得到调整后骨导信号。
4.根据权利要求1至3任一项所述的耳机音频处理方法,其特征在于,所述将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放之前,还包括:
基于听力损伤补偿算法和/或语音增强算法对所述音频流进行处理。
5.一种耳机音频处理装置,其特征在于,包括:
信号获取模块,用于获取耳机处于佩戴状态下的通过骨传导传感器采集到的骨导信号以及麦克风信号;
骨导信号降噪子模块,用于利用通过云端服务器获取的训练后的神经网络自适应滤波器,对所述骨导信号进行滤波处理以削减所述骨导信号中的通过空气传导的自话音成分,得到降噪后的所述骨导信号;
相位调整模块,用于对降噪后的所述骨导信号进行相位调整,以得到调整后骨导信号;
音频播放模块,用于将包含所述调整后骨导信号和所述麦克风信号的音频流输入至所述耳机的音频播放单元进行播放,以便所述音频流中的所述调整后骨导信号与通过用户骨骼传导至耳道的声音之间产生同频干扰。
6.一种耳机,其特征在于,所述耳机包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至4任一项所述的耳机音频处理方法。
7.一种计算机可读存储介质,其特征在于,用于存储计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至4任一项所述的耳机音频处理方法。
CN202110813086.XA 2021-07-19 2021-07-19 一种耳机及其音频处理方法、装置、存储介质 Active CN113395629B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110813086.XA CN113395629B (zh) 2021-07-19 2021-07-19 一种耳机及其音频处理方法、装置、存储介质
PCT/CN2021/138812 WO2023000602A1 (zh) 2021-07-19 2021-12-16 一种耳机及其音频处理方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110813086.XA CN113395629B (zh) 2021-07-19 2021-07-19 一种耳机及其音频处理方法、装置、存储介质

Publications (2)

Publication Number Publication Date
CN113395629A CN113395629A (zh) 2021-09-14
CN113395629B true CN113395629B (zh) 2022-07-22

Family

ID=77626462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110813086.XA Active CN113395629B (zh) 2021-07-19 2021-07-19 一种耳机及其音频处理方法、装置、存储介质

Country Status (2)

Country Link
CN (1) CN113395629B (zh)
WO (1) WO2023000602A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395629B (zh) * 2021-07-19 2022-07-22 歌尔科技有限公司 一种耳机及其音频处理方法、装置、存储介质
CN114095826B (zh) * 2021-11-23 2024-04-09 歌尔科技有限公司 骨传导耳机的控制方法、骨传导耳机及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129717A1 (ko) * 2015-02-11 2016-08-18 재단법인 다차원 스마트 아이티 융합시스템 연구단 골전도를 이용하는 착용형 장치
CN110087162A (zh) * 2019-05-31 2019-08-02 深圳市荣盛智能装备有限公司 一种骨传导降噪通信方法及通信耳机
CN111010646A (zh) * 2020-03-11 2020-04-14 恒玄科技(北京)有限公司 一种对耳机透传的方法、系统以及耳机
CN212970064U (zh) * 2020-10-10 2021-04-13 东莞智富宝科技服务有限公司 一种基于骨传导技术的通话抗风噪的耳机
CN112822585A (zh) * 2020-12-29 2021-05-18 歌尔科技有限公司 一种入耳式耳机的音频播放方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009102811A1 (en) * 2008-02-11 2009-08-20 Cochlear Americas Cancellation of bone conducted sound in a hearing prosthesis
EP3182721A1 (en) * 2015-12-15 2017-06-21 Sony Mobile Communications, Inc. Controlling own-voice experience of talker with occluded ear
WO2020248113A1 (zh) * 2019-06-11 2020-12-17 深圳市汇顶科技股份有限公司 一种骨传声信号处理方法、装置、芯片、耳机及存储介质
CN113132841B (zh) * 2019-12-31 2022-09-09 华为技术有限公司 降低耳机闭塞效应的方法及相关装置
CN111447523B (zh) * 2020-03-31 2022-02-18 歌尔科技有限公司 耳机及其降噪方法、计算机可读存储介质
CN111935573B (zh) * 2020-08-11 2022-06-14 Oppo广东移动通信有限公司 音频增强方法、装置、存储介质及可穿戴设备
CN113395629B (zh) * 2021-07-19 2022-07-22 歌尔科技有限公司 一种耳机及其音频处理方法、装置、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129717A1 (ko) * 2015-02-11 2016-08-18 재단법인 다차원 스마트 아이티 융합시스템 연구단 골전도를 이용하는 착용형 장치
CN110087162A (zh) * 2019-05-31 2019-08-02 深圳市荣盛智能装备有限公司 一种骨传导降噪通信方法及通信耳机
CN111010646A (zh) * 2020-03-11 2020-04-14 恒玄科技(北京)有限公司 一种对耳机透传的方法、系统以及耳机
CN212970064U (zh) * 2020-10-10 2021-04-13 东莞智富宝科技服务有限公司 一种基于骨传导技术的通话抗风噪的耳机
CN112822585A (zh) * 2020-12-29 2021-05-18 歌尔科技有限公司 一种入耳式耳机的音频播放方法、装置及系统

Also Published As

Publication number Publication date
WO2023000602A1 (zh) 2023-01-26
CN113395629A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US11626125B2 (en) System and apparatus for real-time speech enhancement in noisy environments
JP6017825B2 (ja) 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット
EP2999234B1 (en) Squeal suppression method and device for active noise removal (anr) earphone
US10803857B2 (en) System and method for relative enhancement of vocal utterances in an acoustically cluttered environment
JP6069829B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
CN112954530B (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN113395629B (zh) 一种耳机及其音频处理方法、装置、存储介质
US11330358B2 (en) Wearable audio device with inner microphone adaptive noise reduction
CN109068217A (zh) 一种入耳式耳机的侧音增强方法、装置及入耳式耳机
JP6151613B2 (ja) 音声信号振幅抑圧装置
JP6197930B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
WO2021129197A1 (zh) 一种语音信号处理方法及装置
US11533555B1 (en) Wearable audio device with enhanced voice pick-up
JP2008228198A (ja) 再生音調整装置及び再生音調整方法
US11750984B2 (en) Machine learning based self-speech removal
CN114697783A (zh) 耳机风噪识别方法及装置
CN116156385B (zh) 滤波方法、滤波装置、芯片和耳机
JP2006197580A (ja) 音声信号振幅制限器
JP3539300B2 (ja) 吃音矯正装置
US20230024984A1 (en) Speech signal processing method and apparatus
CN115515041A (zh) 音频播放方法、装置、耳机和存储介质
JPH04156600A (ja) 音声認識装置
Hohmann Signal processing in hearing aids
CN116723450A (zh) 用于运行听力设备的方法
CN115705848A (zh) 一种降噪方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant