CN111886878A - 一种用于降噪的助听方法、装置、芯片、耳机及存储介质 - Google Patents

一种用于降噪的助听方法、装置、芯片、耳机及存储介质 Download PDF

Info

Publication number
CN111886878A
CN111886878A CN202080001642.7A CN202080001642A CN111886878A CN 111886878 A CN111886878 A CN 111886878A CN 202080001642 A CN202080001642 A CN 202080001642A CN 111886878 A CN111886878 A CN 111886878A
Authority
CN
China
Prior art keywords
sound
sample
scene
heart rate
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080001642.7A
Other languages
English (en)
Inventor
郭红敬
王乐临
李国梁
王鑫山
韩文凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN111886878A publication Critical patent/CN111886878A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17873General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3027Feedforward
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation

Abstract

本申请涉及信号处理领域,尤其涉及一种用于降噪的助听方法、装置、芯片、耳机及存储介质。一种用于降噪的助听方法,包括:识别用户所处的场景;若检测数据包含场景对应的样本数据库中的样本数据,则进入助听模式,在助听模式下,播放全部或部分外部声音,外部声音由参考麦克风采集。解决了现有技术中用于降噪的助听方法不能适用多种应用场景的问题,也提升了用户体验。

Description

一种用于降噪的助听方法、装置、芯片、耳机及存储介质
技术领域
本申请涉及信号处理领域,尤其涉及一种用于降噪的助听方法、装置、芯片、耳机及存储介质。
背景技术
当用户在噪杂的街道时,外界的噪声会极大的影响电子设备的使用体验。国内外各大厂商和公司为了减小噪声的干扰提出了各种解决方案,主要通过两种途径:第一,设计耳机结构,例如使用隔音材料物理上隔离噪声,比如使用耳罩、耳塞或者将耳朵包裹起来;第二,使用信号处理技术通过多个麦克风在耳机内部声场空间产生一个与外部噪声信号反向的语音以消除噪声的影响,即主动降噪技术。以上提到的降噪技术同时也带来了一定的问题,比如,当在马路上带着降噪耳机欣赏音乐,用户就没办法听到马路上喇叭声或者警报声等,或者当别人与你交谈时,用户必须要将耳机取下才能交谈,这使得用户可能忽视这些感兴趣的声音。现有技术为了解决该问题,检测到感兴趣的声音时,就会播放感兴趣的声音,以使得用户即使佩戴了降噪耳机也可以听到感兴趣的声音,可以称之为语音直通(Monitor/talk through/hear through)或者助听,但是这种方法并不能适用多种应用场景。若对于所有的场景,助听模式的触发条件都一样,则可能导致用户在不期望进入助听模式时进入了助听模式,在用户期望进入助听模式时,没有进入助听模式。例如,用户在不同的场景,所感兴趣的声音可能不同,在睡眠场景下,用户可能不愿意被被人打扰,即使有人叫自己的名字,也不想该“名字”的关键词被耳机传输到耳内,而用户在其他场景下,例如办公场景,对于“名字”的关键词,还是希望听到。而现有技术的助听技术并不能适用于多种应用场景或者场景变化的情况。
发明内容
针对现有技术中用于降噪的助听方法不能适用多种应用场景的问题,本申请提供了一种用于降噪的助听方法、装置、芯片、耳机及存储介质。
本申请的实施例的第一方面提供了一种用于降噪的助听方法,包括:识别用户所处的场景;若检测数据包含场景对应的样本数据库中的样本数据,则进入助听模式,在助听模式下,播放全部或部分外部声音,外部声音由参考麦克风采集。
另外,结合第一方面,在第一方面的一种实现方式中,检测数据为外部声音,样本数据库为样本声音库,样本数据为样本声音;或者
检测数据为心率信号,样本数据库为样本心率库,样本数据为样本心率。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,不同的场景对应的样本声音库不同;或者,不同的场景对应的样本心率库不同。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,样本声音库中的样本声音配置有优先级;
不同的场景对应的样本声音库中的样本声音的优先级不同。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,播放部分外部声音包括:
播放外部声音中的与样本声音对应的目标声音。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,播放外部声音中的与样本声音对应的目标声音之前,还包括:
从外部声音中分离样本声音对应的目标声音;
增大目标声音的增益。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,若外部声音包含场景对应的样本声音库中的多个样本声音,播放外部声音中的与样本声音对应的目标声音包括:
播放与多个样本声音中的一个样本声音对应的目标声音。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,播放与多个外部声音中的一个样本声音对应的目标声音包括:
若外部声音包含场景对应的样本声音库中的第一样本声音和第二样本声音,则根据第一样本声音和第二样本声音的优先级,选择第一样本声音对应的目标声音进行播放;第一样本声音的优先级高于第二样本声音的优先级。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,样本声音包括环境声、关键词和声纹信息中的一种或多种,关键词包括人物称谓或打招呼惯用语中的一种或两种;
环境声包括:警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,场景包括办公场景、居家场景、室外场景和出行场景中的一种或多种,或者场景包括静止场景或运动场景中的一种或两种;
办公场景对应的样本声音库中的环境声为警报声、爆炸声、建筑坍塌声和广播播报声中的一种或多种;
室外场景和出行场景对应的样本声音库中的环境声为警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种;
居家场景对应的样本声音库中的环境声为警报声、爆炸声和建筑坍塌声中的一种或多种;
运动场景对应的样本心率库中的样本心率为高于200次/分或者低于60次/分的心率信号;
静止场景对应的样本心率库中的样本心率为高于120次/分或者低于50次/分的心率信号。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,场景对应的样本声音库中的样本声音中的环境声的优先级高于关键词和声纹信息中的一种或两种的优先级。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,识别用户所处的场景之后,还包括判断外部声音是否包含场景对应的样本声音库中的样本声音,或者判断心率信号是否属于场景对应的样本心率库中的样本心率。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,根据样本声音的优先级给样本声音配置权重,样本声音的优先级越高,样本声音的权重越大;
判断外部声音是否包含场景对应的样本声音库中的样本声音包括:
若外部声音包含的样本声音的强度乘以权重的累加和大于预设值,则判断外部声音包含场景对应的样本声音库中的样本声音。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,还包括建立场景对应的样本声音库或者建立场景对应的样本心率库;
建立场景对应的样本声音库包括:
根据场景对样本声音库录入样本声音、删除样本声音和调整样本声音的优先级中的一种或多种;
建立场景对应的样本心率库包括:
根据场景对样本心率库录入样本心率或者删除样本心率。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,包括:
若进入助听模式,播放全部或部分外部声音时,全部或部分外部声音的播放音量在预设时间段内增加到预设音量值。
另外,结合第一方面及其上述实现方式,在第一方面的另一种实现方式中,在助听模式下,保持降噪模式的降噪强度或者降噪模式的降噪强度降低;在降噪模式下,使用主动降噪技术以抵消外部声音。
本申请的实施例的第二方面提供了一种用于降噪的助听装置,包括:
场景识别模块,用于识别用户所处的场景;
助听模块,若检测数据包含场景对应的样本数据库中的样本数据,用于进入助听模式;
播放模块,在助听模式下,用于播放全部或部分外部声音,外部声音由参考麦克风采集。
另外,结合第二方面,在第二方面的一种实现方式中,检测数据为外部声音,样本数据库为样本声音库,样本数据为样本声音;或者
检测数据为心率信号,样本数据库为样本心率库,样本数据为样本心率。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,不同的场景对应的样本声音库不同;或者,不同的场景对应的样本心率库不同。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,还包括优先级配置模块,用于给样本声音库中的样本声音配置优先级;不同的场景对应的样本声音库中的样本声音的优先级不同。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,播放模块播放部分外部声音时,播放外部声音中的与样本声音对应的目标声音。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,还包括分离模块和增强模块;
分离模块和增强模块与播放模块连接;
分离模块用于从外部声音中分离样本声音对应的目标声音;
增强模块用于增大目标声音的增益。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,若外部声音包含场景对应的样本声音库中的多个样本声音,播放模块播放外部声音中的与样本声音对应的目标声音时,播放与多个样本声音中的一个样本声音对应的目标声音。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,播放模块播放与多个外部声音中的一个样本声音对应的目标声音时,若外部声音包含场景对应的样本声音库中的第一样本声音和第二样本声音,则播放模块根据第一样本声音和第二样本声音的优先级,选择第一样本声音对应的目标声音进行播放;第一样本声音的优先级高于第二样本声音的优先级。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,样本声音包括环境声、关键词和声纹信息中的一种或多种,关键词包括人物称谓或打招呼惯用语中的一种或两种;
环境声包括:警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,场景包括办公场景、居家场景、室外场景和出行场景中的一种或多种,或者场景包括静止场景或运动场景中的一种或两种;
办公场景对应的样本声音库中的环境声为警报声、爆炸声、建筑坍塌声和广播播报声中的一种或多种;
室外场景和出行场景对应的样本声音库中的环境声为警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种;
居家场景对应的样本声音库中的环境声为警报声、爆炸声和建筑坍塌声中的一种或多种;
运动场景对应的样本心率库中的样本心率为高于200次/分或者低于60次/分的心率信号;
静止场景对应的样本心率库中的样本心率为高于120次/分或者低于50次/分的心率信号。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,优先级配置模块还用于设置场景对应的样本声音库中的样本声音中的环境声的优先级高于关键词和声纹信息中的一种或两种的优先级。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,还包括判断模块;
判断模块与场景识别模块连接;
判断模块用于判断外部声音是否包含场景对应的样本声音库中的样本声音,或者用于判断心率信号是否属于场景对应的样本心率库中的样本心率。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,优先级配置模块还用于根据样本声音的优先级给样本声音配置权重,样本声音的优先级越高,样本声音的权重越大;
若外部声音包含的样本声音的强度乘以权重的累加和大于预设值,则判断模块判断外部声音包含场景对应的样本声音库中的样本声音。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,还包括建库模块,用于建立场景对应的样本声音库或者用于建立场景对应的样本心率库;
建库模块还包括录入模块、删除模块或者调整模块中的一个或多个;
录入模块、删除模块和调整模块分别根据场景对样本声音库录入样本声音、删除样本声音和调整样本声音的优先级,或者
录入模块、删除模块分别用于根据场景对样本心率库录入样本心率或者删除样本心率。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,播放模块播放的全部或部分外部声音的播放音量在预设时间段内增加到预设音量值。
另外,结合第二方面及其上述实现方式,在第二方面的另一种实现方式中,还包括降噪模块,在助听模式下,降噪模块用于保持降噪模式的降噪强度或者降噪模式的降噪强度降低;在降噪模式下,降噪模块还用于使用主动降噪技术以抵消外部声音。
本申请的实施例的第三方面提供了一种芯片,用于执行上述第一方面的用于降噪的助听方法,包括存储器和处理器;
存储器与处理器耦合;
存储器,用于存储程序指令;
处理器,用于调用存储器存储的程序指令,使得芯片执行上述第一方面的用于降噪的助听方法。
本申请的实施例的第四方面提供了一种耳机,包括上述第三方面的芯片。
本申请的实施例的第五方面提供了一种计算机可读存储介质,包括:其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现上述第一方面的用于降噪的助听方法
与现有技术相比,本申请实施例的有益效果在于:申请实施例提供了一种用于降噪的助听方法,通过识别用户所处的场景,若检测数据包含场景对应的样本数据库中的样本数据,则进入助听模式,以适应用户所处的场景改变的情况,也提升了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的用于降噪的助听方法的流程图;
图2为本申请实施例的又一用于降噪的助听方法的流程图;
图3为本申请实施例的再一用于降噪的助听方法的流程图;
图3A为本申请实施例的再一用于降噪的助听方法的流程图;
图4为本申请实施例的再一用于降噪的助听方法的流程图;
图5为本申请实施例的再一用于降噪的助听方法的流程图;
图6为本申请实施例的再一用于降噪的助听方法的流程图;
图7为本申请实施例的再一用于降噪的助听方法的流程图;
图8为本申请实施例的一种用于降噪的助听装置的结构示意图;
图8A为本申请实施例的又一用于降噪的助听装置的结构示意图;
图8B为本申请实施例的再一用于降噪的助听装置的结构示意图;
图8C为本申请实施例的再一用于降噪的助听装置的结构示意图;
图8D为本申请实施例的再一用于降噪的助听装置的结构示意图;
图8E为本申请实施例的再一用于降噪的助听装置的结构示意图;
图9为本申请实施例的一种芯片的结构示意图;
图10为本申请实施例的一种耳机的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的部分实施例采用举例的方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在各例子中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本申请实施例提供了一种用于降噪的助听方法,该助听方法可以用于各种类型的降噪耳机中,例如耳戴式耳机、头戴式耳机、入耳式耳机和半入耳式耳机等。耳机可以通过有线或者无线方式与手机、平板、电脑、电视等电子设备进行通信。请参考图1,图1是本申请实施例的用于降噪的助听方法的流程图,该方法包括以下步骤:
S101:识别用户所处的场景;
S102:若检测数据包含场景对应的样本数据库中的样本数据,则进入助听模式,在助听模式下,播放全部或部分外部声音,外部声音由参考麦克风采集。
在步骤S101中,识别用户所处的场景,按照用户所处的地理位置,该场景可以包括室内场景或者室外场景,例如,可以用全球定位系统(Global Positioning System,GPS)定位识别用户处在室内还是室外场景,进一步地,室内场景又可以包括居家场景或者办公场景,例如,可以通过用户上班打卡信息确定识别用户所处的为办公场景,或者通过用户在APP上打开门锁来识别用户所处的为居家场景;另外,室内场景还可以包括出行场景,例如,在机场或者地铁站内,比如可以通过用户刷地铁卡或者APP中的机票信息确定,当然也可以通过手机自带的智能助手(里面含有用户日程管理、行程安排、闹钟等)判断用户状态。按照用户的运动状态,场景可以包括运动场景或静止场景,本实施例中,可以使用速度传感器、温度传感器、气压传感器、心率传感器识别用户所处的场景,也可以使用GPS、机器学习、计算机视觉等一种或者多种技术实现场景识别,本实施例对识别用户所处的场景的具体技术不做限制,可以根据需求选择,对场景的数量也不做限制,可以一个或者多个,用户可以根据需求自定义各种场景。
在步骤102中,参考麦克风的作用是为了采集外部声音,可以理解为用户周围环境中的声音,外部声音也可以理解为外部噪声,但是在某些场景下,外部噪声中有可能包含有用信息,比如,汽车鸣笛声,或者是地铁报站声,都是用户感兴趣的声音。本实施例中的参考麦克风可以设置在耳机上,例如,设置在远离用户口腔的位置,以避免采集到用户自己发出的声音。
本实施例中,每个场景都有对应的样本数据库,样本数据库中存储有样本数据,一般来说,场景确定后,该场景对应的样本数据库也确定了,由此,用户所处的场景确定后,助听模式启动的条件也随之确定,例如,在第一时间段,若识别出用户处于第一场景,若该场景对应的样本数据库中的样本数据包括第一样本数据,则若检测数据包含第一样本数据,则进入助听模式,在第二时间段,用户处于第二场景,若该场景对应的样本声音库中不包括该第一样本数据,则若检测数据包含第一样本数据,这种情况下也不会进入助听模式,以使得用户避免听到不感兴趣的声音。这种场景改变的情况时有发生,而在不同场景下,用户对进入助听模式的条件要求往往有所差别,例如,若对于场景A,用户对样本数据a1感兴趣,则可以设置场景A对应的样本数据库中的样本数据包括a1,若检测数据包含该A场景对应的样本数据库中的a1,则进入助听模式。若对于场景B,用户对样本数据b1感兴趣,则可以设置场景B对应的样本数据库中的样本数据包括b1,若检测数据包含该B场景对应的样本数据库中的b1,则进入助听模式,由此,每种场景都有对应的样本声音库,可以适应用户多变的需求,也可以适应不同用户的需求。本实施例中的检测数据可以理解为检测到的数据,即采集到的数据,可以为检测到的音频数据,也可以为生物特征数据等。
若进入助听模式,在该助听模式下,用户可以获取到外界声音。可以播放全部外部声音,也可以播放部分外部声音,部分外部声音可以为从全部外部声音中分离得到,该部分外部声音可以是用户感兴趣的声音。本实施例中,播放全部或部分外部声音可以通过耳内的麦克风实现,例如,可以通过音乐播放通道实现,即在播放音乐的同时,播放全部或部分外部声音。本实施例中,在进入助听模式时,可以停止音乐播放,也可以维持音乐播放的音量,也可以降低音乐播放的音量,当降低音乐播放的音量或者停止音乐播放时,可以使得用户更加关注扬声器播放的全部或者部分外部声音,能提高警示作用。
申请实施例提供了一种用于降噪的助听方法,通过识别用户所处的场景,若检测数据包含场景对应的样本数据库中的样本数据,则进入助听模式,以适应用户所处的场景改变的情况,也提升了用户体验。
基于上述实施例公开的内容,本实施例中,检测数据为外部声音,样本数据库为样本声音库,样本数据为样本声音。
请参考图2,图2是本申请实施例的用于降噪的助听方法的流程图,该方法包括以下步骤:
S201:识别用户所处的场景;
S202:若外部声音包含场景对应的样本声音库中的样本声音,则进入助听模式,在助听模式下,播放全部或部分外部声音,外部声音由参考麦克风采集。
步骤201与上述步骤101相同或近似,场景包括室内场景、室外场景、出行场景,室内场景可以包括办公场景、居家场景等,居家场景还可以包括睡眠场景,出行场景可以包括乘坐飞机、火车、地铁、巴士等交通工具,识别用户场景是为了满足用户在各种场景下的不同需求,以使得在各个场景下可以有各自的样本声音库。本实施例中,可以使用速度传感器、温度传感器、气压传感器、心率传感器识别用户所处的场景,也可以配合其他技术实现场景识别,例如GPS、机器学习、计算机视觉等,本实施例对识别用户所处的场景的具体技术不做限制,可以根据需求选择。
本实施例中,每个场景都有对应的样本声音库,样本声音库中存储有样本声音,一般来说,场景确定后,该场景对应的样本声音库也确定了,由此,用户所处的场景确定后,助听模式启动的条件也随之确定,例如,在第一时间段,用户处于室外场景,若该场景对应的样本声音库中的样本声音包括汽车鸣笛声,则若外部声音包含汽车鸣笛声,进入助听模式,在第二时间段,用户处于居家场景,若该场景对应的样本声音库中不包括汽车鸣笛声,则若外部声音包含汽车鸣笛声,例如,玩具播放了汽车鸣笛声,或者是街道上的汽车鸣笛声传到了房间内,这种情况下也不会进入助听模式,以使得用户避免听到不感兴趣的声音。这种场景改变的情况时有发生,而在不同场景下,用户感兴趣的声音往往有所差别,例如,在睡眠场景下,各种关键词也可能都不是用户感兴趣的声音,在睡眠场景下,感兴趣的声音可以包括各种警报声。本实施例中,不同场景下对应的样本声音库可以相同,也可以不同。例如,若用户在睡眠场景下,不介意被人打扰,睡眠场景对应的样本声音库中的样本声音可以跟办公场景对应的样本声音库中的样本声音相同,可以包括相同的关键词,即两个场景可以对应同一个样本声音库。若用户在睡眠场景下,不愿意被人打扰,则睡眠场景下对应的样本声音库中可以不包括各种关键词,每种场景都有对应的样本声音库,可以适应多变的需求,也可以适应不同用户的需求。
识别出用户所处的场景之后,如果外部声音包含该场景对应的样本声音库中的样本声音,则进入助听模式。例如,如果识别出用户所处的场景为办公场景,假设样本声音库中的样本声音有警报声,而外部声音中包含警报声,例如,火警声,则进入助听模式,以使得用户可以获取到外界声音。在该助听模式下,可以播放全部外部声音,例如,如果用户处于办公场景,如果外部声音中有火警声,可以播放参考麦克风采集到的全部声音,其中可能也包含呼救声或者同事之间的谈话声;在该助听模式下,也可以播放部分外部声音,例如,可以仅仅播放该火警声,以起到足够的警示作用。
基于上述实施例公开的内容,本实施例中,检测数据为心率信号,样本数据库为样本心率库,样本数据为样本心率。如图3所示,包括:
S301:识别用户所处的场景;
S302:若心率信号属于场景对应的样本心率库中的样本心率,则进入助听模式,在助听模式下,播放全部或部分外部声音,外部声音由参考麦克风采集。
本实施例中,检测数据可以通过心率传感器检测得到,在用户心率处于非正常范围时,进入助听模式,非正常范围可以为医学上普遍认为的用户身体可能出现病变的范围。如仅仅以用户的心率是否处于正常范围来判断是否进入助听模式,则可能有不准确的问题,例如,在剧烈运动时,心率值偏高,可能处于非正常范围,若此时开启助听模式,将使得用户在剧烈运动时被外界声音打扰,由此,需要根据场景来确定该场景对应的样本心率库。在步骤301中,场景可以包括运动场景或静止场景等,本实施例中,识别用户所处的是运动场景还是静止场景可以根据APP上的计步数据实现或者其他方式时间,例如,若步数增加的速度超过预定速度,可以确定用户处于运动场景,当步数增加的速度低于预定速度,则可以确定用户处于静止场景,当用户可能处于危险状态时,例如,用户的心率信号不正常时,需要开启助听模式,以使得用户与外界的沟通通道保持畅通,但是在不同的场景下,用户心率值是不同的,例如在运动场景下,在跑步或者骑车时,心率值一般比较快,而在静止场景下,心率值一般较慢,为了适应不同的场景,每个场景可以配置对应的样本心率库。本实施例中,需要识别用户所处的场景,例如运动场景或者静止场景,在其他实施例中,也可以根据用户需求设置其他场景,或者是将场景进一步细分,例如,将运动场景细分为小运动量场景、中运动量场景或者大运动量场景。本实施例中,识别用户所处的场景可以通过速度传感器、加速度传感器、计步器或者GPS等一种或者多种传感器实现,通过GPS可以识别出用户在健身房、在家还是在公司,以识别出用户处于运动状态还是静止状态,如一种识别方式不足以完成识别出用户所处场景,也可以使用多种识别方式相结合的方式,本实施例对识别方式不作限制。本实施例中,在判断心率信号是否属于所述场景对应的样本心率库中的样本心率时,可以进行多次判断,即若检测到心率信号属于样本心率库中的样本心率的次数超过预设次数,则可以进入助听模式,若检测到心率信号属于样本心率库中的样本心率的次数未超过预设次数,则可以由用户选择是否开启助听模式,这种多次检测的设置是为了避免误检测,以进一步改善用户体验感。本实施例中,在进入助听模式后,也可以默认或者由用户选择是否关闭降噪模式或者是调节降噪模式下的降噪强度。
请参考图3A,本实施例中,S3011与前述实施例中的步骤S301相同或相似,本实施例对此不做赘述。S3012:判断心率信号是否属于场景对应的样本心率库中的样本心率,若心率信号属于场景对应的样本心率库中的样本心率,则可以直接执行步骤S3015开启助听模式,若心率信号不属于场景对应的样本心率库中的样本心率,则可以开启预设模式或者由用户选择模式,预设模式可以为降噪模式或者助听模式,也可以为同时开启降噪模式和助听模式。另外,若心率信号属于场景对应的样本心率库中的样本心率,也可以执行步骤S3013:计算次数,该次数为判断心率信号属于场景对应的样本心率库中的样本心率的次数,计算次数之后,执行S3014,若次数大于或者等于预设次数,则执行S3015开启助听模式,本实施例中,计算次数并且判断次数是否大于或等于预设次数,可以避免虚警,即避免因误检测导致开启了助听模式,本实施例中,计算次数也可以理解为计算心率属于场景对应的样本心率库中的样本心率的持续时间,若该持续时间超过或者等于预设持续时间,也可以开启助听模式。若次数少于预设次数,可以开启预设模式或者由用户选择模式,用户在收到选择模式的提醒后,可以根据需求选择助听模式或者降噪模式,或者选择同时开启助听模式和降噪模式,实现助听和降噪的协调,在实现降噪的同时,还可以听到外界的有用信息。步骤S3017之后,还可以执行步骤S3018调整降噪强度或助听强度,例如,可以通过改变助听的增益或者算法参数或者降噪强度,或者在不同频段使用不同的助听增益,带来更佳的用户体验。本实施例中,步骤S3015之后,还可以执行步骤S3016:逐渐增大播放的外部声音的音量,实现淡入淡出功能,使得用户在模式切换过程中舒适,不至于在一开始进入助听模式时就听到较大音量的外部声音。
本申请实施例提供了一种用于降噪的助听方法,通过识别用户所处的场景,若外部声音包含该场景对应的样本声音库中的样本声音或者是心率信号属于该场景对应的样本心率库中的样本心率,则进入助听模式,以适应用户所处的场景改变的情况,也提升了用户体验。
基于上述实施例公开的内容,本实施例中,不同的场景对应的所述样本声音库不同。本实施例中,用户在不同场景下,感兴趣的声音有所不同,例如,在室内场景,汽车鸣笛声不是用户感兴趣的声音,因为该汽车鸣笛声大概率是电视或者玩具发出来的,或者是由于房子隔音效果不好,马路上的汽车鸣笛声还是可以被参考麦克风采集到,但是,若室内场景对应的样本声音库中不包含汽车鸣笛声,则即使马路上的汽车鸣笛声被参考麦克风采集到,也不可能进入助听模式,以避免用户听到不感兴趣的声音,而对于室外场景,汽车鸣笛声是用户感兴趣的声音,因此,室外场景对应的样本声音库的样本声音可以包括该汽车鸣笛声。
一般来说,正常人安静状态下的心率为60-100次/分,在运动时的心率一般为120-180次/分,运动场景又可以细分为小运动量120-140次/分,中运动量为141-160次/分,大运动量为161-180次/分。因此,在不同的场景下,样本心率库可以设置不同,则在不同场景下,助听模式的触发条件不同。
基于上述实施例公开的内容,本实施例中,不同的场景对应的样本声音库不同包括:不同的场景对应的样本声音库中的样本声音的数量不同。不同场景下,用户感兴趣声音的数量一般是不同的,例如,对于室外场景,样本声音库中的样本声音的数量较多,而对于居家场景,样本声音库中的样本声音的数量较少,对于睡眠场景,样本声音库中的样本声音的数量可能就更少了。
基于上述实施例公开的内容,本实施例中,样本声音库中的样本声音配置有优先级。本实施例中,样本声音库中的样本声音不止一个,当样本声音库中的样本声音有多个时,对每个样本声音配置优先级,以区分用户对不同的样本声音的感兴趣的程度,当然,在对样本声音库中的样本配置优先级时,对多个样本声音配置的优先级可以相同,对多个样本声音配置的优先级也可以不同,本实施例对此不作限制。本实施例中,不同的场景对应的样本声音库中的样本声音的优先级可以不同。例如,办公场景和室外场景对应的样本声音库中的样本声音都可以包括用户姓名,但是用户姓名这种样本声音在办公场景的优先级可能高于用户姓名在室外场景对应的样本声音库中的优先级,本实施例中,优先级可以通过权重来体现,也可以通过设置级数来实现,本实施例对此不作限制。
基于上述实施例公开的内容,本实施例中,播放部分外部声音包括:播放外部声音中的与样本声音对应的目标声音。如图4所示,本实施例中,步骤S401与前述实施例公开的步骤S201相同或相似,本实施例对此不做赘述。步骤S401识别用户所处的场景之后,执行步骤S402,如果外部声音包含该场景对应的样本声音库中的样本声音,则进入助听模式,在助听模式下,播放外部声音中的与样本声音对应的目标声音。例如,如果识别出用户所处的场景为办公场景,假设样本声音库中的样本声音有警报声,例如,火警声,而外部声音中包含火警声,则进入助听模式,以使得用户可以获取到外界声音,在该助听模式下,可以仅仅播放该外部声音中的火警声。在助听模式下,播放外部声音中的与样本声音对应的目标声音,可以使得用户仅仅获取到感兴趣的声音,以免用户获取到感兴趣的声音之外的其他声音,在一定程度上,可以突出重点,使得用户可以很快地对该感兴趣的声音做出反应。本实施例中的目标声音是外部声音中的与样本声音对应的声音。可以理解的是,样本声音库中的样本声音是比较标准的,而若外部声音包含场景对应的样本声音库中的样本声音,该外部声音中检测到的可能与样本声音库中的样本声音相同或者近似,因此,播放外部声音中与样本声音对应的目标声音,相比较于播放样本声音库中的样本声音,可以使得用户听到的声音更接近在真实环境中传输的声音,可以提高用户感知的声音的真实性,以提升用户体验,例如,若样本声音库中的样本声音包括汽车鸣笛声,外部声音包含该汽车鸣笛声,但是外部声音的汽车鸣笛声与样本声音库中的汽车鸣笛声有所差异,例如,外部声音中的汽车鸣笛声还包含汽车距离用户的远近信息,或者是该汽车属于公交还是私家车等信息,由此,播放外部声音中与该样本声音库中的样本声音对应的目标声音,可以保留外部声音中该目标声音的多维度的信息,以提高用户感知声音的真实性,提升用户体验。
基于上述实施例公开的内容,本实施例中,播放外部声音中的与样本声音对应的目标声音之前,还包括:
S501:从外部声音中分离样本声音对应的目标声音;
S502:增大目标声音的增益。
如图5,步骤503与前述实施例公开的步骤S402中的播放外部声音中的与样本声音对应的目标声音相同或相似,本实施例对此不做赘述。本实施例中,为了播放外部声音中的与样本声音对应的目标声音,可以通过语音分离技术实现,从外部声音中分离样本声音对应的目标声音,进而播放已经分离出来的目标声音。另外,本实施例中,对于已经分离出来的目标声音,还可以执行步骤S502,增大该目标声音的增益,以增大该目标声音的音量,使得用户可以清晰的听到该目标声音,以引起用户足够的重视,步骤S502可以通过语音增强等技术实现。
基于上述实施例公开的内容,本实施例中,若外部声音包含场景对应的样本声音库中的多个样本声音,播放外部声音中的与样本声音对应的目标声音包括:播放与多个样本声音中的一个样本声音对应的目标声音。本实施例中,当外部声音包含场景对应的样本声音库中的多个样本声音时,若播放与该多个样本声音对应的目标声音,则用户听到多个目标声音,这可能使得用户在每个目标声音上分散注意力,以使得用户忽视更重要的目标声音,例如,若识别到用户所处的场景为室外场景,而室外场景对应的样本声音库中的样本声音包括用户姓名和汽车鸣笛声,若此时外部声音既包含用户姓名,又包含汽车鸣笛声,则如果同时播放用户姓名和汽车鸣笛声,可能会使得用户听不清楚用户姓名,或者是使得用户听不清楚汽车鸣笛声。由此,当外部声音包含场景对应的样本声音库中的多个样本声音时,可以播放与该多个样本声音中的一个样本声音对应的目标声音,以使得用户至少听清楚一个目标声音,使得用户把关注重点放在一个目标声音上。
基于上述实施例公开的内容,本实施例中,所述播放与多个外部声音中的一个样本声音对应的目标声音包括:若外部声音包含场景对应的样本声音库中的第一样本声音和第二样本声音,则根据第一样本声音和第二样本声音的优先级,选择第一样本声音对应的目标声音进行播放;第一样本声音的优先级高于第二样本声音的优先级。本实施例中,播放与多个外部声音中的一个样本声音对应的目标声音时,可以根据样本声音的优先级确定播放哪一个样本声音对应的目标声音,当外部声音包含场景对应的样本声音库中的多个样本声音时,选择与该多个样本声音中优先级最高的样本声音对应的目标声音进行播放。例如,若外部声音包含的场景对应的样本声音库中的样本声音包括第一样本声音和第二样本声音,则可以根据第一样本声音和第二样本声音的优先级,选择优先级较高的样本声音对应的目标声音进行播放,若第一样本声音的优先级高于第二样本声音的优先级,则选择第一样本声音对应的目标声音进行播放。在具体的应用场景中,若识别到用户所处的场景为室外场景,而室外场景对应的样本声音库中的样本声音包括用户姓名和汽车鸣笛声,若此时外部声音既包含用户姓名,又包含汽车鸣笛声,则可以选择优先级较高的汽车鸣笛声对应的目标声音进行播放,以使得用户听清楚汽车鸣笛声,引起足够的警觉。由此,当外部声音包含场景对应的样本声音库中的多个样本声音时,可以播放与该多个样本声音中的优先级最高的样本声音对应的目标声音,以使得用户仅清楚一个目标声音,使得用户把关注重点放在该目标声音上。
基于上述实施例公开的内容,本实施例中,所述样本声音包括环境声、关键词和声纹信息中的一种或多种,关键词包括人物称谓或打招呼惯用语中的一种或两种;环境声包括:警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种。本实施例中,环境声中列举的警报声包括多种警报声,例如火警,也称之为消防警报,再例如地震预警,广播播放声也可以包括多种广播播放声,例如机场广播播报声、地铁广播播报声等,本实施例对警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声的具体内容不作限制。本实施例中的人物称谓可以是具体的职称或者外号,例如老板、社长、校长、律师、老王、小张等,打招呼惯用语可以是您好、嗨等,本实施例中,样本声音也可以是人物称谓加上打招呼惯用语,例如:嗨,小张。本实施例中,对样本声音的语言种类不作限制,可以是多国语言中的一种或多种。本实施例中的声纹信息是可以用电声学仪器显示的携带言语信息的声波频谱,一般来说,每个人的声纹信息都不同,在某些场景下,用户可能需要格外关注某一个人的声音,例如,在病房陪伴病人时,需要格外注意该病人的语音,若样本声音库中的样本声音包含该病人的声纹信息,则可以实现在该病人发出语音时,才会开启助听模式,而其他人的声音并不能触发进入助听模式,以避免用户被其他病人打扰到。
基于上述实施例公开的内容,本实施例中,场景可以包括办公场景、居家场景、室外场景或出行场景中的一种或多种,但是本实施例并不限于列举出来的场景,还可以系统自定义其他场景或者是用户可以根据需求增加其他场景。对于办公场景,该场景对应的样本声音库中的环境声为警报声、爆炸声、建筑坍塌声和广播播报声中的一种或多种,办公场景中不包含汽车鸣笛声,可以避免用户听到不感兴趣的声音,例如,有些用户的办公地点在繁华的街道,如果楼层低,参考麦克风采集的外部语音中可能会包含汽车鸣笛声或者是撞击声,而此时,用户在办公时,是不愿意进入助听模式而听到该汽车鸣笛声或者撞击声的,因此,在办公场景对应的样本声音库中不包含汽车鸣笛声,可以有效提升用户体验。对于室外场景和出行场景,室外场景或出行场景对应的所述样本声音库中的环境声为警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种,用户处于室外场景或出行场景时,接触到的外部声音的种类更多,而需要进入助听模式的情况也就更多,为了保证用户安全,目标样本库中的环境声中需要包括多种类型的样本声音。居家场景对应的样本声音库中的环境声为警报声、爆炸声和建筑坍塌声中的一种或多种。对于居家场景,居家场景对应的样本声音库中的样本声音也可以不包含撞击声、汽车鸣笛声和广播播报声,在家里的时候,如果有人看电视或者玩游戏,也可能听到此类的环境声,而样本声音库中的样本声音不包含这些环境声,以避免用户在不期望启动助听模式时进入了助听模式,以提升用户体验。本实施例中,还可以包括其他场景,对于其他场景,也可以设置对应的样本声音库中的样本声音。本实施例中,若样本声音库不包含某种样本声音,除了将其不设置在样本声音库中,还可以将该样本声音的优先级设置为最低,例如,可以将该样本声音的权重或者表达优先级的参数设置为零,优先级越低,参数越小,这样即使外部声音包含该样本声音,由于该样本声音的优先级最低或者权重为零,也不会启动助听模式。
本实施例中,该场景也可以包括静止场景或者运动场景中的一种或两种,若识别用户所处的场景为运动场景,则可以设置该场景对应的样本心率库中的样本心率为心率高于200次/分或者低于60次/分的心率信号,若在运动场景下,用户的心率信号属于该场景对应的样本心率库中的样本心率,即高于200次/分或者低于60次/分,则可以开启助听模式,以方便用户呼救时与周围的人沟通。若识别到用户处于静止场景,例如,用户坐在位置上办公或者在家睡觉,则静止场景对应的样本声音库中的样本声音可以为高于120次/分或者低于50次/分,在静止的场景下,若用户的心率信号属于该场景对应的样本心率库中的样本心率,即高于120次/分或者低于50次/分,则可以开启助听模式,以方便用户呼救时与周围的人沟通。
基于上述实施例公开的内容,本实施例中,场景对应的样本声音库中的样本声音中的环境声的优先级高于关键词和声纹信息中的一种或两种的优先级。例如,如果样本声音中包含环境声,则可以设置该环境声的优先级高于关键词或声纹信息,这样设置可以使得用户对身边可能引起危险的声音有足够的关注,例如,当外部声音中包含样本声音库中的汽车鸣笛声和用户姓名时,环境声的优先级更高,由此,进入助听模式后播放外部声音中的汽车鸣笛声,而不是播放用户姓名,以使得用户关注可能引起危险的环境声。若用户处于出行场景,例如在高铁或者飞机上,广播信息的重要程度比较高,则可以设置广播播报声为优先级最高,其次是交谈说话的声音,而汽车鸣笛声发生的可能性也比较小,因此可以设置汽车鸣笛声的优先级最低,甚至可以将其移除出样本声音库;本实施例中,多种环境声的优先级可以相同或不同,本实施对同属于环境声的样本声音的优先级不作限制,系统可以默认同属于环境声的样本声音的优先级,该同属于环境声的样本声音的优先级也可以由用户调整。
基于上述实施例公开的内容,本实施例中,识别用户所处的场景之后,还包括判断外部声音是否包含场景对应的样本声音库中的样本声音。如图6所示,在步骤S601之后,执行步骤S602:判断外部声音是否包含场景对应的样本声音库中的样本声音。步骤S601与前述实施例中的步骤S201相同或相似,在此处不做赘述。本实施例中,判断外部声音是否包含场景对应的样本声音库中的样本声音时,可以根据实际环境或者用户需求选择判断精度,本实施例对判断精度不做限制。判断外部声音是否包含场景对应的样本声音库中的样本声音采用的技术可以是语音识别或者关键词识别技术,本实施例对此不作限制。当外部声音包含场景对应的样本声音库中的样本声音时,执行步骤S603:进入助听模式,在助听模式下,播放全部或部分外部声音。本实施例中的步骤S603与前述实施例中的步骤S202相同或者近似,本实施例对此不作赘述,当外部声音不包含场景对应的样本声音库中的样本声音时,执行步骤S604:保持降噪模式,以使得用户仍然处于较安静的环境中。
本实施例中,识别用户所处的场景之后,还可以包括判断心率信号是否属于场景对应的样本心率库中的样本心率。如图7所示,在步骤S701之后,执行步骤S702:判断心率信号是否属于场景对应的样本心率库中的样本心率。步骤S701与前述实施例中的步骤S301相同或相似,在此处不做赘述。本实施例中,判断心率信号是否属于场景对应的样本心率库中的样本心率时,可以根据实际环境或者用户需求选择判断精度,本实施例对判断精度不做限制。当心率信号属于场景对应的样本心率库中的样本心率时,执行步骤S703:进入助听模式,在助听模式下,播放全部或部分外部声音。本实施例中的步骤S703与前述实施例中的步骤S302相同或者近似,本实施例对此不作赘述。当心率信号不属于场景对应的样本心率库中的样本心率时,执行步骤S704:保持降噪模式,以使得用户仍然处于较安静的环境中。
基于上述实施例公开的内容,本实施例中,根据样本声音的优先级给样本声音配置权重,样本声音的优先级越高,样本声音的权重越大;
判断外部声音是否包含场景对应的样本声音库中的样本声音包括:
若外部声音包含的样本声音的强度乘以权重的累加和大于预设值,则判断外部声音包含场景对应的样本声音库中的样本声音。
本实施例中,在判断外部声音是否包含场景对应的样本声音库中的样本声音时,还需要考虑到样本声音的优先级,可以给每个优先级配置权重,例如,若样本声音库中有三个样本声音,优先级最高的可以配置1.0的权重,优先级次之的可以配置0.5的权重,优先级最低的可以配置0.3的权重,该优先级的配置可以由系统默认,即可以默认为初始值,也可以由用户设置或者调整,本实施例对此不作限定。在某些应用场景下,优先级最高的样本声音的强度可能较弱,以至于可能出现判断外部声音不包含场景对应的样本声音库中的样本声音的情况,由此,可能会使得用户错过较重要的信息。例如,在陪护病人时,若设置该病人的声纹信息为样本声音库中优先级最高的,但是由于该病人声音较小,可能其强度超过不能达到预设值,而不能触发进入助听模式,若此时将该样本声音的权重设置为1.5或者2,则该病人的声音的强度乘以该权重可能就会超过预设值,以开启助听模式,或者,将该病人的声纹信息的权重设置为1,将关键词的权重设置为0.5,旁边的人说出了样本声音中的关键词以提醒用户该病人在求助,则该关键词的强度乘以该关键词对应的权重与该病人发出的声音的强度乘以该病人发出的声音对应的权重相加,就可能判断得到外部声音包含场景对应的样本声音库中的样本声音,以使得进入助听模式。本实施例中的累加和指的是外部声音包含的全部所述样本声音的强度乘以对应权重之后加和,本实施例中,优先级最高的也可以配置1.5的权重,优先级次之的可以配置1.0的权重,本实施例对具体的权重数值不作限定。在某些实施例中,当场景对应的样本声音库中仅包含一个样本声音时,也可以对该样本声音设置权重,例如,设置为1.5或者0.5,以调整判断的敏感度,适应不同的用户或者相同的用户在不同场景下的用户需求。
基于上述实施例公开的内容,本实施例中,用于降噪的助听方法还包括建立场景对应的样本声音库或者建立场景对应的样本心率库。本实施例中,可以在耳机出厂前设置默认的场景对应的样本声音库或者场景对应的样本心率库,也可以由用户自己设置。在耳机出厂前设置默认的各个场景对应的样本声音库以及各个场景样本心率库,即耳机出厂前可以对场景和场景对应的样本声音库有一个初始设置,耳机出厂前也可以对场景和场景对应的样本心率库有一个初始设置,另外用户可以在使用的过程中可以对其进行调整。对于用户设置各个场景以及对应的样本声音库的时间不做限制,例如,可以提醒用户在耳机与手机的第一次配对时设置,或者是当识别出用户所处场景时,提醒用户进行场景设置和该场景对应的样本声音库的设置,另外,用户也可以主动在手机的系统或者APP上对场景和场景对应的样本声音库进行设置。
基于上述实施例公开的内容,本实施例中,建立场景对应的样本声音库包括:根据场景对样本声音库录入样本声音、删除样本声音和调整样本声音的优先级中的一种或多种。本实施例中,场景也可以进行增加或者删除,用户在建立该场景对应的样本声音库时,可以录入样本声音,例如,用户可以输入一段关键词作为一个样本声音,例如,用户可以自定义关键词为老张、小明等称呼,用户也可以录入特定用户的音频以提取声纹信息作为一个样本声音,用户也可以在网上下载各种警报声作为样本声音,本实施例对录入的方式不作限制。本实施例中,删除的样本声音可以保存在已删除样本声音库中,以免日后用户还需要使用这些已经被删除的样本声音,避免了再次录入的麻烦,可以简化操作。本实施例中,若样本声音有设置优先级,则用户可以对该优先级进行调整,例如,可以将排名优先级第一的移动到排名优先级第二,另外,也可以通过设置权重的方式调整优先级,本实施例对调整优先级的具体方式不做限定。
基于上述实施例公开的内容,本实施例中,识别用户所处的场景包括:根据加速度传感器、温度传感器、气压传感器、心率传感器、GPS或者计算机视觉中的一种或多种识别用户所处的场景。以GPS为例进行说明,若用户打开了GPS,则可以方便的识别用户是在居家场景还是办公场景还是室外场景;以温度传感器为例,利用室内外温差可以识别是室外场景还是室内场景;本实施例中,若一种方式并不能精确识别出场景,也可以多种识别方式相结合完成场景识别。
基于上述实施例公开的内容,本实施例中,若进入助听模式,播放全部或部分外部声音时,全部或部分外部声音的播放音量在预设时间段内增加到预设音量值。在助听模式下,若突然播放全部或部分外部声音,可能会使得用户耳膜突然受到刺激,而用户突然听到音量较大的全部或部分外部声音,也会带来较差的用户体验。因此,在进入助听模式时,全部或部分外部声音的播放的音量可以设置为逐渐增大,即在预设时间内,播放音量增加到预设音量值,该预设时间段可以为1s或者更长或者更短,本实施例对预设时间段的长度不作限定,本实施例中,预设音量值可以根据用户需求来设置,例如,可以设置为与外部声音的实际音量相同的大小,或者为了保护用户听力,可以设置为小于外部声音的实际音量的大小,或者为了起到突出强调作用,可以设置为大于外部声音的实际音量大小。本实施例对此不作限定。
基于上述实施例公开的内容,本实施例中,在助听模式下,保持降噪模式的降噪强度或者降噪模式的降噪强度降低;在所述降噪模式下,使用主动降噪技术以抵消所述外部声音。本实施例中,当进入助听模式时,降噪模式依然开启,该降噪模式下的降噪强度可以不变或者降低。降噪模式下的降噪强度降低可以理解为耳内播放的与外部声音相位相反的信号的音量降低。
本申请实施例还可提供一种用于降噪的助听装置,用于执行前述实施例中提出的用于降噪的助听方法,图8为本实施例提供的一种用于降噪的助听装置的结构示意图,用于降噪的助听装置80包括:
场景识别模块81,用于识别用户所处的场景;
助听模块82,若检测数据包含场景对应的样本数据库中的样本数据,用于进入助听模式;
播放模块83,在助听模式下,用于播放全部或部分外部声音,外部声音由参考麦克风采集。
可选的,检测数据为外部声音,样本数据库为样本声音库,样本数据为样本声音;或者检测数据为心率信号,样本数据库为样本心率库,样本数据为样本心率。
可选的,不同的场景对应的样本声音库不同;或者,不同的场景对应的样本心率库不同。
可选的,请参考图8A,用于降噪的助听装置80还包括优先级配置模块84,用于给样本声音库中的样本声音配置优先级;不同的场景对应的样本声音库中的样本声音的优先级不同。
可选的,播放模块播放部分外部声音时,播放外部声音中的与样本声音对应的目标声音。
可选的,请参考图8B,用于降噪的助听装置80还包括分离模块85和增强模块86;
分离模块85和增强模块86与播放模块83连接;
分离模块85用于从外部声音中分离样本声音对应的目标声音;
增强模块86用于增大目标声音的增益。
可选的,若外部声音包含场景对应的样本声音库中的多个样本声音,播放模块83播放外部声音中的与样本声音对应的目标声音时,播放与多个样本声音中的一个样本声音对应的目标声音。
可选的,播放模块83播放与多个外部声音中的一个样本声音对应的目标声音时,若外部声音包含场景对应的样本声音库中的第一样本声音和第二样本声音,则播放模块83根据第一样本声音和第二样本声音的优先级,选择第一样本声音对应的目标声音进行播放;第一样本声音的优先级高于第二样本声音的优先级。
可选的,样本声音包括环境声、关键词和声纹信息中的一种或多种,关键词包括人物称谓或打招呼惯用语中的一种或两种;
环境声包括:警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种。
可选的,场景包括办公场景、居家场景、室外场景和出行场景中的一种或多种,或者场景包括静止场景或运动场景中的一种或两种;
办公场景对应的样本声音库中的环境声为警报声、爆炸声、建筑坍塌声和广播播报声中的一种或多种;
室外场景和出行场景对应的样本声音库中的环境声为警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种;
居家场景对应的样本声音库中的环境声为警报声、爆炸声和建筑坍塌声中的一种或多种;
运动场景对应的样本心率库中的样本心率为高于200次/分或者低于60次/分的心率信号;
静止场景对应的样本心率库中的样本心率为高于120次/分或者低于50次/分的心率信号。
可选的,优先级配置模块还用于设置场景对应的样本声音库中的样本声音中的环境声的优先级高于关键词和声纹信息中的一种或两种的优先级。
可选的,请参考图8C,用于降噪的助听装置80还包括判断模块87;
判断模块87与场景识别模块81连接;
判断模块87用于判断外部声音是否包含场景对应的样本声音库中的样本声音,或者用于判断心率信号是否属于场景对应的样本心率库中的样本心率。
可选的,优先级配置模块还用于根据样本声音的优先级给样本声音配置权重,样本声音的优先级越高,样本声音的权重越大;
若外部声音包含的样本声音的强度乘以权重的累加和大于预设值,则判断模块判断外部声音包含场景对应的样本声音库中的样本声音。
可选的,请参考图8D,用于降噪的助听装置80还包括建库模块88,用于建立场景对应的样本声音库或者用于建立场景对应的样本心率库;
建库模块88还包括录入模块、删除模块或者调整模块中的一个或多个;
录入模块、删除模块和调整模块分别根据场景对样本声音库录入样本声音、删除样本声音和调整样本声音的优先级,或者
录入模块、删除模块分别用于根据场景对样本心率库录入样本心率或者删除样本心率。
可选的,播放模块播放的全部或部分外部声音的播放音量在预设时间段内增加到预设音量值。
可选的,请参考图8E,用于降噪的助听装置80还包括降噪模块89,在助听模式下,降噪模块89用于保持降噪模式的降噪强度或者降噪模式的降噪强度降低;在降噪模式下,降噪模块89还用于使用主动降噪技术以抵消外部声音。
申请实施例提供了一种用于降噪的助听装置,通过识别用户所处的场景,若检测数据包含场景对应的样本数据库中的样本数据,则进入助听模式,以适应用户所处的场景改变的情况,也提升了用户体验。
本申请实施例还可提供一种芯片,用于执行上述实施例提出的一种用于降噪的助听方法;如图9所示,芯片90包括存储器91和处理器92;
存储器91与处理器92耦合;
存储器91,用于存储程序指令;
处理器92,用于调用存储器存储的程序指令,使得芯片执行上述任一实施例提出的用于降噪的助听方法。
本申请实施例提供的芯片其具体的实现过程及有益效果参见上述,在此不再赘述。
本申请实施例还可提供一种耳机,包括上述任一所述实施例提供的芯片,其具体的实现过程及有益效果参见上述,在此不再赘述。请参考图10,本实施例中,耳机外部有一个参考麦克风ref,其采集的数据一路用于主动降噪模块10做主动降噪处理,另一路传到目标声音提取模块12进行信号处理,处理以后送入到音乐播放模块13,通过音乐通道在耳机内部扬声器播放出来,其中控制中心11用于控制各个模块实现上述实施例提到的用于降噪的助听方法,控制中心11可以控制各个模块的开关以及参数调整,例如,选择或者调节主动降噪模块10的降噪方法或者滤波器参数。本实施例以控制中心在耳机端为例进行说明,但是该控制中心11可在耳机端,也可以在手机端。本实施例中,目标声音提取模块12通过信号分离、滤波、语音增强等技术完成目标声音的提取工作,并将目标声音传输到音乐播放模块,使得目标声音与音乐同时播放,若此时音乐未播放,也可以仅播放外部声音,本实施例中,目标声音可以理解为待播放的外部声音,即前述实施例中的全部或部分外部声音,也可以是外部声音中的与样本声音对应的目标声音。主动降噪模块可使用前馈(Feedforward,FF)、反馈(Feedback,FB)、混合(Hybird)结构。音乐播放模块13主要用于传输手机发送的音频信号。本实施例中,耳机还可以有误差麦克风error,误差麦克风和扬声器均在耳内环境中。本申请实施例还可提供一种计算机可读存储介质,包括:其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中任一项的用于降噪的助听方法,其具体的实现过程及有益效果参见上述,在此不再赘述。
应注意,本申请上述方法实施例可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable rom,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解,在本申请实施例中,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (35)

1.一种用于降噪的助听方法,其特征在于,包括:
识别用户所处的场景;
若检测数据包含所述场景对应的样本数据库中的样本数据,则进入助听模式,在所述助听模式下,播放全部或部分外部声音,所述外部声音由参考麦克风采集。
2.根据权利要求1所述的用于降噪的助听方法,其特征在于,所述检测数据为所述外部声音,所述样本数据库为样本声音库,所述样本数据为样本声音;或者
所述检测数据为心率信号,所述样本数据库为样本心率库,所述样本数据为样本心率。
3.根据权利要求2所述的用于降噪的助听方法,其特征在于,不同的所述场景对应的所述样本声音库不同;或者,不同的所述场景对应的所述样本心率库不同。
4.根据权利要求2或3所述的用于降噪的助听方法,其特征在于,所述样本声音库中的所述样本声音配置有优先级;
不同的所述场景对应的所述样本声音库中的所述样本声音的优先级不同。
5.根据权利要求4所述的降噪的助听方法,其特征在于,所述播放部分所述外部声音包括:
播放所述外部声音中的与所述样本声音对应的目标声音。
6.根据权利要求5所述的降噪的助听方法,其特征在于,所述播放所述外部声音中的与所述样本声音对应的目标声音之前,还包括:
从所述外部声音中分离所述样本声音对应的所述目标声音;
增大所述目标声音的增益。
7.根据权利要求5或6所述的降噪的助听方法,其特征在于,若所述外部声音包含所述场景对应的所述样本声音库中的多个所述样本声音,所述播放所述外部声音中的与所述样本声音对应的目标声音包括:
播放与多个所述样本声音中的一个所述样本声音对应的所述目标声音。
8.根据权利要求7所述的用于降噪的助听方法,其特征在于,所述播放与多个所述外部声音中的一个所述样本声音对应的所述目标声音包括:
若所述外部声音包含所述场景对应的所述样本声音库中的第一样本声音和第二样本声音,则根据所述第一样本声音和所述第二样本声音的所述优先级,选择所述第一样本声音对应的所述目标声音进行播放;所述第一样本声音的优先级高于所述第二样本声音的优先级。
9.根据权利要求4至8中任一项所述的用于降噪的助听方法,其特征在于,所述样本声音包括环境声、关键词和声纹信息中的一种或多种,所述关键词包括人物称谓或打招呼惯用语中的一种或两种;
所述环境声包括:警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种。
10.根据权利要求9所述的用于降噪的助听方法,其特征在于,所述场景包括办公场景、居家场景、室外场景和出行场景中的一种或多种,或者所述场景包括静止场景或运动场景中的一种或两种;
所述办公场景对应的所述样本声音库中的所述环境声为所述警报声、所述爆炸声、所述建筑坍塌声和所述广播播报声中的一种或多种;
所述室外场景和所述出行场景对应的所述样本声音库中的所述环境声为所述警报声、所述撞击声、所述爆炸声、所述建筑坍塌声、所述汽车鸣笛声和所述广播播报声中的一种或多种;
所述居家场景对应的所述样本声音库中的所述环境声为所述警报声、所述爆炸声和所述建筑坍塌声中的一种或多种;
所述运动场景对应的所述样本心率库中的样本心率为高于200次/分或者低于60次/分的心率信号;
所述静止场景对应的所述样本心率库中的样本心率为高于120次/分或者低于50次/分的心率信号。
11.根据权利要求9或10所述的用于降噪的助听方法,其特征在于,所述场景对应的所述样本声音库中的所述样本声音中的所述环境声的所述优先级高于所述关键词和所述声纹信息中的一种或两种的所述优先级。
12.根据权利要求4至11中任一项所述的用于降噪的助听方法,其特征在于,所述识别用户所处的场景之后,还包括判断所述外部声音是否包含所述场景对应的所述样本声音库中的样本声音,或者判断所述心率信号是否属于所述场景对应的所述样本心率库中的所述样本心率。
13.根据权利要求12所述的用于降噪的助听方法,其特征在于,根据所述样本声音的优先级给样本声音配置权重,所述样本声音的优先级越高,所述样本声音的权重越大;
所述判断所述外部声音是否包含所述场景对应的所述样本声音库中的样本声音包括:
若所述外部声音包含的所述样本声音的强度乘以所述权重的累加和大于预设值,则判断所述外部声音包含所述场景对应的所述样本声音库中的所述样本声音。
14.根据权利要求4至13中任一项所述的用于降噪的助听方法,其特征在于,还包括建立所述场景对应的所述样本声音库或者建立所述场景对应的所述样本心率库;
所述建立所述场景对应的所述样本声音库包括:
根据所述场景对所述样本声音库录入所述样本声音、删除所述样本声音和调整所述样本声音的所述优先级中的一种或多种;
所述建立所述场景对应的所述样本心率库包括:
根据所述场景对所述样本心率库录入所述样本心率或者删除所述样本心率。
15.根据权利要求1至14中任一项所述的用于降噪的助听方法,其特征在于,包括:
若进入所述助听模式,播放全部或部分所述外部声音时,所述全部或部分所述外部声音的播放音量在预设时间段内增加到预设音量值。
16.根据权利要求1至15中任一项所述的用于降噪的助听方法,其特征在于,在所述助听模式下,保持降噪模式的降噪强度或者所述降噪模式的降噪强度降低;在所述降噪模式下,使用主动降噪技术以抵消所述外部声音。
17.一种用于降噪的助听装置,其特征在于,包括:
场景识别模块,用于识别用户所处的场景;
助听模块,若检测数据包含所述场景对应的样本数据库中的样本数据,用于进入助听模式;
播放模块,在所述助听模式下,用于播放全部或部分外部声音,所述外部声音由参考麦克风采集。
18.根据权利要求17所述的用于降噪的助听装置,其特征在于,所述检测数据为所述外部声音,所述样本数据库为样本声音库,所述样本数据为样本声音;或者
所述检测数据为心率信号,所述样本数据库为样本心率库,所述样本数据为样本心率。
19.根据权利要求18所述的用于降噪的助听装置,其特征在于,不同的所述场景对应的所述样本声音库不同;或者,不同的所述场景对应的所述样本心率库不同。
20.根据权利要求18或19所述的用于降噪的助听装置,其特征在于,还包括优先级配置模块,用于给所述样本声音库中的所述样本声音配置优先级;不同的所述场景对应的所述样本声音库中的所述样本声音的优先级不同。
21.根据权利要求20所述的用于降噪的助听装置,其特征在于,所述播放模块播放部分所述外部声音时,播放所述外部声音中的与所述样本声音对应的目标声音。
22.根据权利要求21所述的用于降噪的助听装置,其特征在于,还包括分离模块和增强模块;
所述分离模块和所述增强模块与所述播放模块连接;
所述分离模块用于从所述外部声音中分离所述样本声音对应的所述目标声音;
所述增强模块用于增大所述目标声音的增益。
23.根据权利要求21或22所述的用于降噪的助听装置,其特征在于,若所述外部声音包含所述场景对应的所述样本声音库中的多个所述样本声音,所述播放模块播放所述外部声音中的与所述样本声音对应的目标声音时,播放与多个所述样本声音中的一个所述样本声音对应的所述目标声音。
24.根据权利要求23所述的用于降噪的助听装置,其特征在于,所述播放模块播放与多个所述外部声音中的一个所述样本声音对应的所述目标声音时,若所述外部声音包含所述场景对应的所述样本声音库中的第一样本声音和第二样本声音,则所述播放模块根据所述第一样本声音和所述第二样本声音的所述优先级,选择所述第一样本声音对应的所述目标声音进行播放;所述第一样本声音的优先级高于所述第二样本声音的优先级。
25.根据权利要求20至24中任一项所述的用于降噪的助听装置,其特征在于,所述样本声音包括环境声、关键词和声纹信息中的一种或多种,所述关键词包括人物称谓或打招呼惯用语中的一种或两种;
所述环境声包括:警报声、撞击声、爆炸声、建筑坍塌声、汽车鸣笛声和广播播报声中的一种或多种。
26.根据权利要求25所述的用于降噪的助听装置,其特征在于,所述场景包括办公场景、居家场景、室外场景和出行场景中的一种或多种,或者所述场景包括静止场景或运动场景中的一种或两种;
所述办公场景对应的所述样本声音库中的所述环境声为所述警报声、所述爆炸声、所述建筑坍塌声和所述广播播报声中的一种或多种;
所述室外场景和所述出行场景对应的所述样本声音库中的所述环境声为所述警报声、所述撞击声、所述爆炸声、所述建筑坍塌声、所述汽车鸣笛声和所述广播播报声中的一种或多种;
所述居家场景对应的所述样本声音库中的所述环境声为所述警报声、所述爆炸声和所述建筑坍塌声中的一种或多种;
所述运动场景对应的所述样本心率库中的样本心率为高于200次/分或者低于60次/分的心率信号;
所述静止场景对应的所述样本心率库中的样本心率为高于120次/分或者低于50次/分的心率信号。
27.根据权利要求25至26中任一项所述的用于降噪的助听装置,其特征在于,所述优先级配置模块还用于设置所述场景对应的所述样本声音库中的所述样本声音中的所述环境声的所述优先级高于所述关键词和所述声纹信息中的一种或两种的所述优先级。
28.根据权利要求20至27中任一项所述的用于降噪的助听装置,其特征在于,还包括判断模块;
所述判断模块与所述场景识别模块连接;
所述判断模块用于判断所述外部声音是否包含所述场景对应的所述样本声音库中的样本声音,或者用于判断所述心率信号是否属于所述场景对应的所述样本心率库中的所述样本心率。
29.根据权利要求28所述的用于降噪的助听装置,其特征在于,所述优先级配置模块还用于根据所述样本声音的优先级给样本声音配置权重,所述样本声音的优先级越高,所述样本声音的权重越大;
若所述外部声音包含的所述样本声音的强度乘以所述权重的累加和大于预设值,则所述判断模块判断所述外部声音包含所述场景对应的所述样本声音库中的所述样本声音。
30.根据权利要求20至29所述的用于降噪的助听装置,其特征在于,还包括建库模块,用于建立所述场景对应的所述样本声音库或者用于建立所述场景对应的所述样本心率库;
所述建库模块还包括录入模块、删除模块或者调整模块中的一个或多个;
所述录入模块、所述删除模块和所述调整模块分别根据所述场景对所述样本声音库录入所述样本声音、删除所述样本声音和调整所述样本声音的所述优先级中,或者
所述录入模块、所述删除模块分别用于根据所述场景对所述样本心率库录入所述样本心率或者删除所述样本心率。
31.根据权利要求17至30所述的用于降噪的助听装置,其特征在于,所述播放模块播放的所述全部或部分所述外部声音的播放音量在预设时间段内增加到预设音量值。
32.根据权利要求17至31所述的用于降噪的助听装置,其特征在于,还包括降噪模块,在所述助听模式下,所述降噪模块用于保持降噪模式的降噪强度或者所述降噪模式的降噪强度降低;在所述降噪模式下,所述降噪模块还用于使用主动降噪技术以抵消所述外部声音。
33.一种芯片,用于实现用于降噪的助听方法,其特征在于,包括存储器和处理器;
所述存储器与所述处理器耦合;
所述存储器,用于存储程序指令;
所述处理器,用于调用所述存储器存储的程序指令,使得所述芯片执行上述权利要求1至16中任一项所述的用于降噪的助听方法。
34.一种耳机,其特征在于,包括如权利要求33所述的芯片。
35.一种计算机可读存储介质,其特征在于,包括:其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述权利要求1至16中任一项所述的用于降噪的助听方法。
CN202080001642.7A 2020-02-13 2020-02-13 一种用于降噪的助听方法、装置、芯片、耳机及存储介质 Pending CN111886878A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/075014 WO2021159369A1 (zh) 2020-02-13 2020-02-13 一种用于降噪的助听方法、装置、芯片、耳机及存储介质

Publications (1)

Publication Number Publication Date
CN111886878A true CN111886878A (zh) 2020-11-03

Family

ID=73199302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080001642.7A Pending CN111886878A (zh) 2020-02-13 2020-02-13 一种用于降噪的助听方法、装置、芯片、耳机及存储介质

Country Status (3)

Country Link
US (1) US20220225035A1 (zh)
CN (1) CN111886878A (zh)
WO (1) WO2021159369A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770214A (zh) * 2021-01-28 2021-05-07 歌尔科技有限公司 耳机的控制方法、装置及耳机
CN113724682A (zh) * 2021-09-10 2021-11-30 朝阳聚声泰(信丰)科技有限公司 一种汽车降噪结构及降噪方法
WO2022135340A1 (zh) * 2020-12-22 2022-06-30 华为技术有限公司 一种主动降噪的方法、设备及系统
CN115312067A (zh) * 2022-10-12 2022-11-08 深圳市婕妤达电子有限公司 基于人声的声音信号识别方法、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4017021A1 (en) * 2020-12-21 2022-06-22 Sonova AG Wireless personal communication via a hearing device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915753A (zh) * 2012-10-23 2013-02-06 华为终端有限公司 一种电子设备的智能控制音量的方法及实现装置
CN105205955A (zh) * 2015-09-25 2015-12-30 小米科技有限责任公司 一种发出提示信号的方法和装置
CN105225662A (zh) * 2015-08-24 2016-01-06 深圳市冠旭电子有限公司 智能蓝牙耳机自动播放外部语音的方法及智能蓝牙耳机
CN105759948A (zh) * 2014-12-18 2016-07-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN106464751A (zh) * 2014-05-19 2017-02-22 微软技术许可有限责任公司 噪声敏感的警报呈现
CN106445459A (zh) * 2016-10-12 2017-02-22 深圳市金立通信设备有限公司 一种控制耳机播放音频的方法及终端
WO2018045536A1 (zh) * 2016-09-08 2018-03-15 华为技术有限公司 声音信号处理的方法、终端和耳机
CN108021349A (zh) * 2016-10-28 2018-05-11 中兴通讯股份有限公司 调整耳机工作状态的方法、装置、耳机及智能终端
CN109257498A (zh) * 2018-09-29 2019-01-22 维沃移动通信有限公司 一种声音处理方法及移动终端
CN109493884A (zh) * 2018-12-06 2019-03-19 江苏满运软件科技有限公司 一种外部声源安全提醒方法、系统、设备以及介质
CN110708630A (zh) * 2019-11-12 2020-01-17 广州酷狗计算机科技有限公司 控制耳机的方法、装置、设备及存储介质
CN111028834A (zh) * 2019-10-30 2020-04-17 支付宝(杭州)信息技术有限公司 语音信息提醒方法、装置、服务器和语音信息提醒设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155340B2 (en) * 2008-07-24 2012-04-10 Qualcomm Incorporated Method and apparatus for rendering ambient signals
CN103825993B (zh) * 2014-03-11 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种通话时环境声音的处理方法及装置
US10497353B2 (en) * 2014-11-05 2019-12-03 Voyetra Turtle Beach, Inc. Headset with user configurable noise cancellation vs ambient noise pickup
CN105100356B (zh) * 2015-07-07 2018-04-06 上海斐讯数据通信技术有限公司 一种音量自动调节的方法和系统
US10291949B2 (en) * 2016-10-26 2019-05-14 Orcam Technologies Ltd. Wearable device and methods for identifying a verbal contract
CN106550147A (zh) * 2016-10-28 2017-03-29 努比亚技术有限公司 一种语音播报提醒装置及其方法
CN106601272B (zh) * 2016-11-24 2019-09-17 歌尔股份有限公司 耳机及其语音识别方法
CN108777827B (zh) * 2018-06-14 2019-12-31 Oppo广东移动通信有限公司 无线耳机、音量调整方法及相关产品

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915753A (zh) * 2012-10-23 2013-02-06 华为终端有限公司 一种电子设备的智能控制音量的方法及实现装置
CN106464751A (zh) * 2014-05-19 2017-02-22 微软技术许可有限责任公司 噪声敏感的警报呈现
CN105759948A (zh) * 2014-12-18 2016-07-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN105225662A (zh) * 2015-08-24 2016-01-06 深圳市冠旭电子有限公司 智能蓝牙耳机自动播放外部语音的方法及智能蓝牙耳机
CN105205955A (zh) * 2015-09-25 2015-12-30 小米科技有限责任公司 一种发出提示信号的方法和装置
WO2018045536A1 (zh) * 2016-09-08 2018-03-15 华为技术有限公司 声音信号处理的方法、终端和耳机
CN106445459A (zh) * 2016-10-12 2017-02-22 深圳市金立通信设备有限公司 一种控制耳机播放音频的方法及终端
CN108021349A (zh) * 2016-10-28 2018-05-11 中兴通讯股份有限公司 调整耳机工作状态的方法、装置、耳机及智能终端
CN109257498A (zh) * 2018-09-29 2019-01-22 维沃移动通信有限公司 一种声音处理方法及移动终端
CN109493884A (zh) * 2018-12-06 2019-03-19 江苏满运软件科技有限公司 一种外部声源安全提醒方法、系统、设备以及介质
CN111028834A (zh) * 2019-10-30 2020-04-17 支付宝(杭州)信息技术有限公司 语音信息提醒方法、装置、服务器和语音信息提醒设备
CN110708630A (zh) * 2019-11-12 2020-01-17 广州酷狗计算机科技有限公司 控制耳机的方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022135340A1 (zh) * 2020-12-22 2022-06-30 华为技术有限公司 一种主动降噪的方法、设备及系统
CN112770214A (zh) * 2021-01-28 2021-05-07 歌尔科技有限公司 耳机的控制方法、装置及耳机
CN113724682A (zh) * 2021-09-10 2021-11-30 朝阳聚声泰(信丰)科技有限公司 一种汽车降噪结构及降噪方法
CN115312067A (zh) * 2022-10-12 2022-11-08 深圳市婕妤达电子有限公司 基于人声的声音信号识别方法、装置及存储介质
CN115312067B (zh) * 2022-10-12 2022-12-27 深圳市婕妤达电子有限公司 基于人声的声音信号识别方法、装置及存储介质

Also Published As

Publication number Publication date
WO2021159369A1 (zh) 2021-08-19
US20220225035A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN111886878A (zh) 一种用于降噪的助听方法、装置、芯片、耳机及存储介质
EP3081011B1 (en) Name-sensitive listening device
US9344815B2 (en) Method for augmenting hearing
US9648436B2 (en) Augmented reality sound system
CN102056036B (zh) 再现设备、头戴式耳机和再现方法
JP4694656B2 (ja) 補聴器
US20200186912A1 (en) Audio headset device
CN108551604B (zh) 一种降噪方法、降噪装置及降噪耳机
JP6673828B2 (ja) 自閉症における言語処理向上のための装置
EP3221863A1 (en) Automated audio adjustment
CN110100447A (zh) 信息处理方法及装置、多媒体设备及存储介质
JP7167910B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017216685A (ja) 聴力補助装置に関するパラメータ値を自動的に決定するための方法
CN111045642A (zh) 一种音量调节方法、车载终端及计算机存储介质
CN110520323A (zh) 用于控制车辆音频系统的方法、装置、移动用户设备和计算机程序
CN112911441A (zh) 降噪方法、装置、音频设备和计算机可读存储介质
CN110602582A (zh) 具有全自然用户界面的耳机装置及其控制方法
CN112947886A (zh) 保护用户听力的方法、装置和电子设备
CN113038337B (zh) 一种音频播放方法、无线耳机和计算机可读存储介质
CN115132212A (zh) 一种语音控制方法和装置
EP4078995A1 (en) A hearing device comprising a stress evaluator
JP2007187748A (ja) 音選択加工装置
CN113259826B (zh) 在电子终端中实现助听的方法和装置
US11252497B2 (en) Headphones providing fully natural interfaces
US11615801B1 (en) System and method of enhancing intelligibility of audio playback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103